【總結】卷積神經(jīng)網(wǎng)絡總結

1、1 卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是深度學習的一種， 已成為當前圖像懂得領域的討論熱點它的權值共享網(wǎng)絡結構使之更類似于生物神經(jīng)網(wǎng)絡， 降低了網(wǎng)絡模型的復雜度， 削減了權值的數(shù)量； 這個優(yōu)點在網(wǎng)絡的輸入是多維圖像時表現(xiàn)得更為明顯 , 圖像可以直接作為網(wǎng)絡的輸入， 防止了傳統(tǒng)識別算法中復雜的特點提取和數(shù)據(jù)重建過程 . 卷積網(wǎng)絡是為識別二維外形而特別設計的一個多層感知器，這種網(wǎng)絡結構對平移、比例縮放以及其他形式的變形具有肯定不變性. 在典型的 cnn中，開頭幾層通常是卷積層和下采樣層的交替, 在靠近輸出層的最終幾層網(wǎng)絡通常是全連接網(wǎng)絡； 卷積神經(jīng)網(wǎng)絡的訓練過程主要是學習卷積層的卷積核參數(shù)和層間連接權重等網(wǎng)

2、絡參數(shù) , 猜測過程主要是基于輸入圖像和網(wǎng)絡參數(shù)運算類別標簽；卷積神經(jīng)網(wǎng)絡的關鍵是：網(wǎng)絡結構 含卷積層、下采樣層、全連接層等 和反向傳播算法等；在本節(jié)中, 我們先介紹典型 cnn的網(wǎng)絡結構和反向傳播算法, 然后概述常用的其他cnn網(wǎng)絡結構和方法；神經(jīng)網(wǎng)絡參數(shù)的中文名稱主要參考文獻18 卷積神經(jīng)網(wǎng)絡的結構和反向傳播算法主要參考文獻17 ；1.1 網(wǎng)絡結構1.1.1 卷積層在卷積層 , 上一層的特點圖 feature map 被一個可學習的卷積核進行卷積, 然后通過一個激活函數(shù) activation function,就可以得到輸出特點圖. 每個輸出特點圖可以組合卷積多個特點圖的值 17：xlf

3、ul jjulxl 1k lbl7 / 5其中 ,jjijj i m jjul 稱為卷積層 l的第j 個通道的凈激活 netactivation,它通過對前一層輸出特點xlj圖1 進行卷積求和與偏置后得到的,xlj 是卷積層 l的第 j 個通道的輸出；f g 稱為激活函數(shù), 通常可使用 sigmoid和tanh 等函數(shù)；m j 表示用于運算ulj 的輸入特點圖子集,lkij 是卷j積核矩陣 ,bl 是對卷積后特點圖的偏置；對于一個輸出特點圖ll 1xx對j ，每個輸入特點圖j應的卷積核lkij 可能不同 ,“ * ”是卷積符號；1.1.2 下采樣層下采樣層將每個輸入特點圖通過下面的公式下采樣輸

4、出特點圖17：xlf ul jjull downxl 1blxjjjjjj其中 ,ul 稱為下采樣層 l的第 j 通道的凈激活 , 它由前一層輸出特點圖l 1 進行下采樣加權、偏置后得到 ,是下采樣層的權重系數(shù) ,lbj 是下采樣層的偏置項 . 符號downg 表示下采樣函數(shù) , 它通過對輸入特點圖l 1 通過滑動窗口方法劃分為多個不重疊的nn圖像塊 ,xj然后對每個圖像塊內(nèi)的像素求和、求均值或最大值, 于是輸出圖像在兩個維度上都縮小了n倍；1.1.3 全連接層在全連接網(wǎng)絡中 , 將全部二維圖像的特點圖拼接為一維特點作為全連接網(wǎng)絡的輸入. 全連接層 l的輸出可通過對輸入加權求和并通過激活函數(shù)的

5、響應得到17 ：xlf ul jjulwl xl 1bl其中 ,ul 稱為全連接層 l 的凈激活 , 它由前一層輸出特點圖xl 1 進行加權和偏置后得到ll的； w 是全連接網(wǎng)絡的權重系數(shù),b 是全連接層 l 的偏置項；1.2 反向傳播算法神經(jīng)網(wǎng)絡有兩類基本運算模式: 前向傳播和學習 . 前向傳播是指輸入信號通過前一節(jié)中一個或多個網(wǎng)絡層之間傳遞信號, 然后在輸出層得到輸出的過程. 反向傳播算法是神經(jīng)網(wǎng)絡有監(jiān)督學習中的一種常用方法, 其目標是依據(jù)訓練樣本和期望輸出來估量網(wǎng)絡參數(shù). 對于卷積神經(jīng)網(wǎng)絡而言 , 主要優(yōu)化卷積核參數(shù) k、下采樣層網(wǎng)絡權重 、全連接層網(wǎng)絡權重 w 和各層的偏置參數(shù) b 等

6、. 反向傳播算法的本質在于答應我們對每個網(wǎng)絡層運算有效誤差, 并由此推導出一個網(wǎng)絡參數(shù)的學習規(guī)章, 使得實際網(wǎng)絡輸出更加接近目標值18 ；我們以平方誤差缺失函數(shù)的多分類問題為例介紹反向傳播算法的思路. 考慮一個多分類問題的訓練總誤差 , 定義為輸出端的期望輸出值和實際輸出值的差的平方17:e w, k, b1 n2tnyn2 n1其中 ,tn是第 n 個樣本的類別標簽真值 ,yn 是第 n個樣本通過前向傳播網(wǎng)絡猜測輸出的類別標簽 . 對于多分類問題 , 輸出類別標簽常用一維向量表示, 即輸入樣本對應的類別標簽維度為正數(shù) , 輸出類別標簽的其他維為0 或負數(shù) , 這取決于挑選的激活函數(shù)類型, 當

7、激活函數(shù)選為 sigmoid, 輸出標簽為 0, 當激活函數(shù)為 tanh, 輸出標簽為 -1；反向傳播算法主要基于梯度下降方法, 網(wǎng)絡參數(shù)第一被初始化為隨機值, 然后通過梯度下降法向訓練誤差減小的方向調(diào)整. 接下來 , 我們以多個“卷積層 -采樣層”連接多個全連接層的卷積神經(jīng)網(wǎng)絡為例介紹反向傳播算法；第一介紹網(wǎng)絡第 l 層的靈敏度 sensitivity 17， 18 ：lelul其中 ,l 描述了總誤差 e 怎樣隨著凈激活u 而變化 . 反向傳播算法實際上通過全部網(wǎng)絡層的靈敏度建立總誤差對全部網(wǎng)絡參數(shù)的偏導數(shù), 從而得到使得訓練誤差減小的方向；1.2.1 卷積層為運算卷積層 l 的靈敏度 ,

8、 需要用下一層下采樣層 l + 1的靈敏度表示卷積層 l 的靈敏度, 然后運算總誤差 e 對卷積層參數(shù) 卷積核參數(shù) k、偏置參數(shù) b 的偏導數(shù) .由于下采樣層的靈敏度尺寸小于卷積層的靈敏度尺寸, 因此需要將下采樣層 l + 1 的靈敏度上采樣到卷積層l 的靈敏度大小 , 然后將第 l 層凈激活的激活函數(shù)偏導與從第l + 1 層的上采樣得到的靈敏度逐項相乘 . 分別由式 1 和2,通過鏈式求導可得第 l 層中第 j 個通道的靈敏度 17:lel1 ful oupl 1 ujljjjj其中 ,up g 表示一個上采樣操作 , 符號 表示每個元素相乘. 如下采樣因子為 n, 就up g 將每個像素在

9、水平和垂直方向上復制n 次, 于是就可以從 l + 1 層的靈敏度上采樣成卷積層 l 的靈敏度大小 . 函數(shù)upg 可以用 kronecker乘積up xx1n n 來實現(xiàn)；然后 , 使用靈敏度對卷積層 l中的參數(shù)運算偏導. 對于總誤差 e 對偏移量lbj 的偏導 , 可l以對卷積層 l 的靈敏度中全部節(jié)點進行求和來運算：eblju ,vj u, v對于總誤差關于卷積核參數(shù)的偏導, 由式 1, 使用鏈式求導時需要用全部與該卷積核相乘的特點圖元素來求偏導:ekl1iju ,vj u,v pjll1u, v其中 , plu, v是在運算xl 時, 與lkij 逐元素相乘的l 1 元素 .jjxj1

10、.2.2 下采樣層為運算下采樣層 l 的靈敏度 , 需要用下一層卷積層 l + 1的靈敏度表示下采樣層l 的靈敏度 , 然后運算總誤差 e 對下采樣參數(shù)權重系數(shù)、偏置參數(shù) b的偏導數(shù) .為運算我們需要下采樣層l 的靈敏度 , 我們必需找到當前層的靈敏度與下一層的靈敏度的對應點 ,這樣才能對靈敏度進行遞推 . 另外, 需要乘以輸入特點圖與輸出特點圖之間的連接權值 , 這個權值實際上就是卷積核的參數(shù). 分別由式 1 和2,通過鏈式求導可得第 l 層第 j 個通道的靈敏度17:lll 1l 1jf u j oconv2j,rot 180k j , full 其中 , 對卷積核旋轉 180 度使用卷積

11、函數(shù)運算相互關在matlab中, 可用conv2函數(shù)實現(xiàn), 對卷積邊界進行補零處理.然后 , 總誤差對偏移量 b 的偏導與前面卷積層的一樣, 只要對靈敏度中全部元素的靈敏度求和即可 :eblju ,vlju, vd對于下采樣權重, 我們先定義下采樣算子ldownxl1 ， 然后可通過下面的公jj式運算總誤差 e 對的偏導 :elllju ,vj od ju, v這里我們假定下采樣層的下一層為卷積層, 假如下一層為全連接層, 也可以做類似的推導.全連接層 l 的靈敏度可通過下式運算:ll 1 tl 1 wo flu 輸出層的神經(jīng)元靈敏度可由下面的公式運算:ln ynt o flu 總誤差對偏移項

12、的偏導如下:ebleululblll接下來可以對每個神經(jīng)元運用靈敏度進行權值更新. 對一個給定的全連接層l, 權值更新方向可用該層的輸入xl 1和靈敏度的內(nèi)積來表示 :1.2.4 網(wǎng)絡參數(shù)更新過程卷積層參數(shù)可用下式更新:下采樣層參數(shù)可用下式更新:exlwlkl ijbll1 l tekl ijeblelblebl全連接層參數(shù)可用下式更新:wlewl其中 , 對于每個網(wǎng)絡參數(shù)都有一個特定的學習率.如學習率太小 , 就訓練的速度慢; 如學習率太大 , 就可導致系統(tǒng)發(fā)散. 在實際問題中 , 假如總誤差在學習過程中發(fā)散, 那么將學習率調(diào)小 ; 反之, 假如學習速度過慢, 那么將學習率調(diào)大.1.3 常用

13、的其他網(wǎng)絡結構和方法1.3.1 卷積層傳統(tǒng)卷積神經(jīng)網(wǎng)絡的卷積層采納線性濾波器與非線性激活函數(shù), 一種改進的方法在卷積層使用多層感知機模型作為微型神經(jīng)網(wǎng)絡, 通過在輸入圖像中滑動微型神經(jīng)網(wǎng)絡來得到特點圖 , 該方法能夠增加神經(jīng)網(wǎng)絡的表示才能, 被稱為 network in net-work 19. 為明白決既能夠保證網(wǎng)絡的稀疏性, 又能夠利用稠密矩陣的高性能運算, szegedy 等11 提出 inception 網(wǎng)絡 . inception網(wǎng)絡的一層含有一個池化操作和三類卷積操作: 1 *1 、3 *3 、5 * 5卷積；1.3.2 池化池化 pooling是卷積神經(jīng)網(wǎng)絡中一個重要的操作, 它

14、能夠使特點削減, 同時保持特點的局部不變性 . 常用的池化操作有 : 空間金字塔池化 spatial pyramid pooling, spp 10、最大池化max pooling 、平均池化 mean pooling 、隨機池化 stochastic pooling20等.1.3.3 激活函數(shù)常用激活函數(shù)有 : relu 8 、leakly relu 21 、parametric relu 、randomized relu 、elu等.1.3.4 缺失函數(shù)缺失函數(shù)的挑選在卷積神經(jīng)網(wǎng)絡中起重要作用, 代表性的缺失函數(shù)有 : 平方誤差缺失、互熵缺失 cross entropy loss、hinge缺失等 .1.3.5 優(yōu)化方法和技巧卷積神經(jīng)網(wǎng)絡常用的優(yōu)化方法包含隨機梯度下降方法stochastic gradient descent, sgd,常用的技巧有權值初始化8 、權值衰減 weight decay18 、batch normalization22等.1.4 卷積神經(jīng)網(wǎng)絡的優(yōu)勢卷積神經(jīng)網(wǎng)絡在下采樣層可以保持肯定局部平移不變形, 在卷積層通過感受野和權值共享削減了神經(jīng)網(wǎng)絡需要訓練的參數(shù)的個數(shù). 每個神經(jīng)元只需要感受局部的圖像區(qū)域, 在更高層將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局的信息.因此 , 可以削減網(wǎng)絡連接的數(shù)目 , 即削減神經(jīng)網(wǎng)絡需積神經(jīng)網(wǎng)絡以其