卷積神經(jīng)網(wǎng)絡(luò)原理推導(dǎo)-文檔資料

1、1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理推導(dǎo)原理推導(dǎo)阿育王6262016.3.62說明： 先導(dǎo)知識：CNN網(wǎng)絡(luò)結(jié)構(gòu)、BP網(wǎng)絡(luò)學(xué)習(xí)算法 參考文獻(xiàn)：Notes on Convolutional Neural Networks3典型的典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)中，包含：網(wǎng)絡(luò)結(jié)構(gòu)中，包含：卷積層、下采樣層、全連接層卷積層、下采樣層、全連接層41.全連接層學(xué)習(xí)算法 1.1工作信號正向傳播 1.2誤差信號反向傳播5全連接層網(wǎng)絡(luò)結(jié)構(gòu)圖62.1工作信號正向傳播(1)當(dāng)前第l層的輸出xl：先求ul：第l-1層的輸出xl-1（第l層的輸入）與其對應(yīng)權(quán)值Wl相乘，再加上基bl再利用激活函數(shù)f(.) 得xl：sigmoid

2、或Relu7逐層 傳播，直至得到最終輸出層結(jié)果利用網(wǎng)絡(luò)輸出值與真實(shí)值之間的誤差，進(jìn)行反向傳播，調(diào)整權(quán)值。參數(shù)：c表示分類數(shù)目，N表示訓(xùn)練樣本數(shù) tnk表示第n個(gè)樣本真實(shí)值的第k維 ynk表示第n個(gè)樣本輸出值的第k維8(2)誤差第n個(gè)樣本的誤差：每類（共c類）誤差的和總誤差：每個(gè)樣本（共N個(gè)）誤差的和92.2誤差信號反向傳播 反向傳播回來的誤差可以看做是每個(gè)神經(jīng)元的基的靈敏度 靈敏度的意思就是基b變化多少，誤差會變化多少 也就是誤差對基的變化率，即導(dǎo)數(shù)（公式1）10(1)反向計(jì)算各層靈敏度 輸出層第L層靈敏度： 全連接層第l層靈敏度（公式2）：11(2)權(quán)值調(diào)整導(dǎo)數(shù)：權(quán)值更新（公式3）：對于每一

3、個(gè)權(quán)值Wij都有一個(gè)特定的學(xué)習(xí)率Ij誤差誤差E對于第對于第l層權(quán)值矩陣層權(quán)值矩陣Wl的導(dǎo)數(shù)的導(dǎo)數(shù)第第l層的輸入層的輸入（即第（即第l-1層層的輸出）的輸出）xl-1第第l層的層的靈敏度靈敏度向量向量l=X122.卷積層學(xué)習(xí)算法 2.1工作信號正向傳播 2.2誤差信號反向傳播13卷積層典型結(jié)構(gòu)圖卷積層卷積層輸入層輸入層14子采樣層典型結(jié)構(gòu)圖卷積層卷積層子采樣層子采樣層 假定每個(gè)卷積層假定每個(gè)卷積層l都會接一個(gè)下采樣層都會接一個(gè)下采樣層l+1 152.1工作信號正向傳播(1)當(dāng)前第l層的第j個(gè)輸出xlj：先從第l-1層的特征圖里，選擇若干個(gè)組成第l層輸入特征圖集合Mj；再利用卷積核Klij分別與輸

4、入特征圖中的每個(gè)map即xl-1i進(jìn)行卷積，并求和；最后加上基blj，使用激活函數(shù)f即可。16(2)確定需要更新的權(quán)值基b卷積核k說明：此時(shí)需要分別計(jì)算誤差對它們的變化率 和172.2誤差信號反向傳播(1)計(jì)算基的梯度上采樣第l+1層第j個(gè)靈敏度map：說明：第l+1層為下采樣層，其中一個(gè)像素對應(yīng)的靈敏度對應(yīng)于第l層卷積層的輸出map的一塊像素（采樣窗口大?。?，因此，上采樣使其靈敏度map大小與卷積層的map大小一致18求第I層第j個(gè)靈敏度map（公式2可得）：說明：在下采樣層map的權(quán)值W都取一個(gè)相同值，而且是一個(gè)常數(shù)。第l層靈敏度l：對第l層中的靈敏度map中所有節(jié)點(diǎn)進(jìn)行求和，由公式1可知

5、，得到基的梯度。19(2)計(jì)算卷積核的梯度對于一個(gè)給定的權(quán)值，對所有共享該權(quán)值的連接對該點(diǎn)求梯度；然后對這些梯度進(jìn)行求和。說明： 是 中的在卷積的時(shí)候與 逐元素相乘的patch20 213.子采樣層學(xué)習(xí)算法 3.1工作信號正向傳播 3.2誤差信號反向傳播223.1工作信號正向傳播(1)當(dāng)前第l層的第j個(gè)輸出xlj：down(.)表示一個(gè)下采樣函數(shù)。有N個(gè)輸入maps，就有N個(gè)輸出maps，只是每個(gè)輸出map都變小n*n倍。每個(gè)輸出map都對應(yīng)一個(gè)屬于自己的乘性基和一個(gè)加性基b。23(2)確定需要更新的權(quán)值加性基b乘性基說明：此時(shí)需要分別計(jì)算誤差對它們的變化率 和243.2誤差信號反向傳播計(jì)算加性基的梯度計(jì)算第I層第j個(gè)靈敏度map加性基的梯度：25(2)計(jì)算乘性基的梯度保存正向傳播時(shí)下采樣層的特征map：乘性基的梯度26 274. 特征圖組合 人工選擇 網(wǎng)絡(luò)選擇28第l層第