生活：
上午來回跑著修電腦，原以為硬盤又壞了，氣吼吼地去找學(xué)八地下的維修點(diǎn)算賬，結(jié)果人一檢查發(fā)現(xiàn)，硬盤沒毛病....是接口接觸不良.....哦漏看來以后再遇到這種問題，先拆機(jī)重裝一下硬盤再說........
然后回到所里已經(jīng)11點(diǎn)了，實(shí)在不想吃食堂的飯...午飯就吃了一個(gè)蘋果，下午四點(diǎn)多餓的不行了又吃了一個(gè)面包~晚上還要加班弄懂ResNet~估計(jì)一會(huì)得晚飯也不吃了吧~減肥~減肥~減肥~
【今日無圖】
科研：
先吐槽一句：貴所打印機(jī)真多.....終于把打印機(jī)搞定了...............................................................
剛弄懂的幾個(gè)名詞：
1.魯棒性（Robustness）
原本是應(yīng)用在生物學(xué)領(lǐng)域，在機(jī)器學(xué)習(xí)領(lǐng)域說為“健壯性”好像更好
計(jì)算機(jī)科學(xué)中，健壯性（英語：Robustness）是指一個(gè)計(jì)算機(jī)系統(tǒng)在執(zhí)行過程中處理錯(cuò)誤，以及算法在遭遇輸入、運(yùn)算等異常時(shí)繼續(xù)正常運(yùn)行的能力。 諸如模糊測試之類的形式化方法中，必須通過制造錯(cuò)誤的或不可預(yù)期的輸入來驗(yàn)證程序的健壯性。很多商業(yè)產(chǎn)品都可用來測試軟件系統(tǒng)的健壯性。健壯性也是失效評(píng)定分析中的一個(gè)方面。（WIKI）
2.自編碼網(wǎng)絡(luò)（AutoEncoder）
簡單講就是在正常的對(duì)原始圖片進(jìn)行壓縮（encoder)之后，再利用很多池化層balabala，使特征圖的尺寸變回原來的大小(decoder)，得到一張?zhí)幚砗蟮膱D片。最后，如果處理后的圖片與原圖片相比，各方面差距不那么大，那么之前的壓縮網(wǎng)絡(luò)是很好的，可以使用的。
你的輸出和原始輸入一樣,就是autoencoder。
所以，后面部分的擴(kuò)展decoder，相當(dāng)于對(duì)前面壓縮網(wǎng)絡(luò)encoder的一個(gè)可用有效性的證明。
最近幾年，用的很廣泛，相關(guān)論文還沒有看。
論文：
1.《Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes》(FRRU)
提出背景：已有的許多網(wǎng)絡(luò)能夠?qū)?b>識(shí)別（recogntiton)有很高的accurcy，但是往往忽略的對(duì)location accuracy的注意，比如boundary之類的....
@1 文章的主要思路是采用 two streams.一個(gè)是residual stream(殘差)，用于允許low level features 在網(wǎng)絡(luò)中毫不費(fèi)力的傳播；另一個(gè)是pooling stream(普通的前饋網(wǎng)絡(luò)），用于對(duì)high-level feature的識(shí)別。
The result of the second(red) conv unit is used in two ways:
Firstly,it forms the pooling stream input of the next FRRU in the network and second it is the basis for the computed residual.(計(jì)算結(jié)果可以重復(fù)利用）
@2 為什么這樣做呢？作者發(fā)現(xiàn)，如果pooling layer太多，會(huì)造成邊緣定位困難（difficulties tracking low-level features,such as edges and boundaries,in deeper layers);但是，如果pooling layers太少，又會(huì)造成相反的效果，可以定位邊界之類，但是perform poorly at recognizing the actual objects.
＠３本網(wǎng)絡(luò)沒有局限于ｐｒｅ－ｔｒａｉｎｅｄ。
ｐｒｅ－ｔｒａｉｎｅｄ（ｗｈｅｒｅ?。帷。欤幔颍纾濉。睿酰恚猓澹颉。铮妗。鳎澹椋纾瑁簦蟆。妫铮颉。簦瑁濉。簦幔颍纾澹簟。簦幔螅搿。悖幔睢。猓濉。穑颍澹螅澹簟。猓。幔睢。幔酰椋欤椋幔颍。悖欤幔螅螅椋妫椋悖幔簦椋铮睢。簦幔螅腩A(yù)先設(shè)置權(quán)重）的壞處：訓(xùn)練后，新的網(wǎng)絡(luò)元素或新的激活功能通常不能添加，限制了設(shè)計(jì)空間。
但是 ｉｔ?。椋蟆。猓澹簦簦澹颉。簦瑁幔睢。螅悖颍幔簦悖琛。酰螅椋睿纭。簦瑁濉。洌幔簦帷。铮妗。簦瑁濉。簦幔颍纾澹簟。幔穑穑穑欤椋悖幔簦椋铮睿ū仁褂媚繕?biāo)應(yīng)用程序數(shù)據(jù)從頭開始開始訓(xùn)練網(wǎng)絡(luò)相比更好）
@４ 為了利用反向傳播算法，the entire forward pass has to be stored in the memory。所以為了解決訓(xùn)練時(shí)的這個(gè)問題（測試時(shí)不會(huì)出現(xiàn)這個(gè)問題）：partition the computation graph into several subsequent blocks by manually placing cut points in the graph.(在圖中手動(dòng)放置定位點(diǎn)）
@５ 為防止過擬合：translation augmentation?。ΓΑamma augmentation.
2.ResNet
天才般的，在向后傳播的過程中，將N層都化為深度為3層，大大減少了梯度彌散或爆炸。這個(gè)地方等到學(xué)長七點(diǎn)才弄明白，實(shí)在是受不了了（出虛汗...),明天來了再好好理解這一塊，還有FRRU里面涉及的部分。
明天見啦~
