深度學習應用開發(fā) 課件 cha4 9-經(jīng)典的卷積神經(jīng)網(wǎng)絡

目錄1ResNet介紹01任務殘差網(wǎng)絡結構02任務ResNet創(chuàng)新點04任務BatchNormalization03任務1ResNet介紹1ResNet介紹ResNet網(wǎng)絡殘差網(wǎng)絡是由來自MicrosoftResearch的4位學者提出的卷積神經(jīng)網(wǎng)絡，在2015年的ILSVRC中獲得了圖像分類和物體識別的冠軍。殘差網(wǎng)絡的特點是容易優(yōu)化，并且能夠通過增加相當?shù)纳疃葋硖岣邷蚀_率。其內部的殘差塊使用了跳躍連接，緩解了在深度神經(jīng)網(wǎng)絡中增加深度帶來的梯度消失問題。2殘差網(wǎng)絡結構2殘差網(wǎng)絡結構ResNet提出的動機：加深網(wǎng)絡的深度能夠提高分類和識別的精度，自然地，我們會認為網(wǎng)絡設計的越深越好，但是事實上卻不是這樣，常規(guī)的網(wǎng)絡的堆疊(plainnetwork)在網(wǎng)絡很深的時候，效果卻越來越差了。這里其中的原因之一即是網(wǎng)絡越深，梯度消失的現(xiàn)象就越來越明顯，網(wǎng)絡的訓練效果也不會很好。但是現(xiàn)在淺層的網(wǎng)絡又無法明顯提升網(wǎng)絡的識別效果了，所以現(xiàn)在要解決的問題就是怎樣在加深網(wǎng)絡的情況下又解決梯度消失的問題。2殘差網(wǎng)絡結構ResNet引入了殘差網(wǎng)絡結構(residualnetwork)，殘差網(wǎng)絡堆疊形成的深層網(wǎng)絡可以很好地解決梯度消失問題，使更深的網(wǎng)絡訓練效果也更好。目前網(wǎng)絡的深度達到了1000多層，最終的網(wǎng)絡分類的效果也是非常好，2殘差網(wǎng)絡結構殘差網(wǎng)絡的作用：普通的直連的卷積網(wǎng)絡和ResNet的最大區(qū)別在于，ResNet有很多旁路的支線將輸入直接連接到后面的層，使得后面的層可以直接學習殘差，這種結構也被稱為shortcut或者skipconnections。傳統(tǒng)的卷積層或全連接層在傳遞信息時，或多或少會存在信息的丟失，損耗等問題。ResNet在某種程度上解決了這個問題，通過直接將輸入信息繞道傳到輸出，保護信息的完整性，整個網(wǎng)絡只需要學習輸入，輸出差別的那一部分，簡化了學習目標和難度。殘差網(wǎng)絡結構3BatchNormalization3BatchNormalizationBatchNormalization（BN），批標準化，是谷歌于2015年提出的深度學習領域經(jīng)典算法，該算法目前已經(jīng)被大量的應用。BN和普通的數(shù)據(jù)標準化類似，是將分散的數(shù)據(jù)統(tǒng)一的一種做法，也是優(yōu)化神經(jīng)網(wǎng)絡的一種方法。BN的優(yōu)點是：可以選擇比較大的初始學習率，加快網(wǎng)絡的收斂。減少正則化參數(shù)的Dropout、L2正則項參數(shù)的選擇問題，BN具有提高網(wǎng)絡泛化能力的特性。不需要使用局部響應歸一化層局部響應歸一化是Alexnet網(wǎng)絡用到的方法?？梢园延柧殧?shù)據(jù)徹