卷積神經(jīng)網(wǎng)絡(luò)原理推導(dǎo)

1、精選ppt卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理推導(dǎo)原理推導(dǎo)阿育王6262016.3.6精選ppt說(shuō)明： 先導(dǎo)知識(shí)：CNN網(wǎng)絡(luò)結(jié)構(gòu)、BP網(wǎng)絡(luò)學(xué)習(xí)算法 參考文獻(xiàn)：Notes on Convolutional Neural Networks精選ppt典型的典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)中，包含：網(wǎng)絡(luò)結(jié)構(gòu)中，包含：卷積層、下采樣層、全連接層卷積層、下采樣層、全連接層精選ppt1.全連接層學(xué)習(xí)算法 1.1工作信號(hào)正向傳播 1.2誤差信號(hào)反向傳播精選ppt全連接層網(wǎng)絡(luò)結(jié)構(gòu)圖精選ppt2.1工作信號(hào)正向傳播(1)當(dāng)前第l層的輸出xl：先求ul：第l-1層的輸出xl-1（第l層的輸入）與其對(duì)應(yīng)權(quán)值Wl相乘，再加上基b

2、l再利用激活函數(shù)f(.) 得xl：sigmoid或Relu精選ppt逐層 傳播，直至得到最終輸出層結(jié)果利用網(wǎng)絡(luò)輸出值與真實(shí)值之間的誤差，進(jìn)行反向傳播，調(diào)整權(quán)值。參數(shù)：c表示分類(lèi)數(shù)目，N表示訓(xùn)練樣本數(shù) tnk表示第n個(gè)樣本真實(shí)值的第k維 ynk表示第n個(gè)樣本輸出值的第k維精選ppt(2)誤差第n個(gè)樣本的誤差：每類(lèi)（共c類(lèi)）誤差的和總誤差：每個(gè)樣本（共N個(gè)）誤差的和精選ppt2.2誤差信號(hào)反向傳播 反向傳播回來(lái)的誤差可以看做是每個(gè)神經(jīng)元的基的靈敏度 靈敏度的意思就是基b變化多少，誤差會(huì)變化多少 也就是誤差對(duì)基的變化率，即導(dǎo)數(shù)（公式1）精選ppt(1)反向計(jì)算各層靈敏度 輸出層第L層靈敏度： 全連接

3、層第l層靈敏度（公式2）：精選ppt(2)權(quán)值調(diào)整導(dǎo)數(shù)：權(quán)值更新（公式3）：對(duì)于每一個(gè)權(quán)值Wij都有一個(gè)特定的學(xué)習(xí)率Ij誤差誤差E對(duì)于第對(duì)于第l層權(quán)值矩陣層權(quán)值矩陣Wl的導(dǎo)數(shù)的導(dǎo)數(shù)第第l層的輸入層的輸入（即第（即第l-1層層的輸出）的輸出）xl-1第第l層的層的靈敏度靈敏度向量向量l=X精選ppt2.卷積層學(xué)習(xí)算法 2.1工作信號(hào)正向傳播 2.2誤差信號(hào)反向傳播精選ppt卷積層典型結(jié)構(gòu)圖卷積層卷積層輸入層輸入層精選ppt子采樣層典型結(jié)構(gòu)圖卷積層卷積層子采樣層子采樣層 假定每個(gè)卷積層假定每個(gè)卷積層l都會(huì)接一個(gè)下采樣層都會(huì)接一個(gè)下采樣層l+1 精選ppt2.1工作信號(hào)正向傳播(1)當(dāng)前第l層的第j

4、個(gè)輸出xlj：先從第l-1層的特征圖里，選擇若干個(gè)組成第l層輸入特征圖集合Mj；再利用卷積核Klij分別與輸入特征圖中的每個(gè)map即xl-1i進(jìn)行卷積，并求和；最后加上基blj，使用激活函數(shù)f即可。精選ppt(2)確定需要更新的權(quán)值基b卷積核k說(shuō)明：此時(shí)需要分別計(jì)算誤差對(duì)它們的變化率 和精選ppt2.2誤差信號(hào)反向傳播(1)計(jì)算基的梯度上采樣第l+1層第j個(gè)靈敏度map：說(shuō)明：第l+1層為下采樣層，其中一個(gè)像素對(duì)應(yīng)的靈敏度對(duì)應(yīng)于第l層卷積層的輸出map的一塊像素（采樣窗口大?。虼?，上采樣使其靈敏度map大小與卷積層的map大小一致精選ppt求第I層第j個(gè)靈敏度map（公式2可得）：說(shuō)明：在

5、下采樣層map的權(quán)值W都取一個(gè)相同值，而且是一個(gè)常數(shù)。第l層靈敏度l：對(duì)第l層中的靈敏度map中所有節(jié)點(diǎn)進(jìn)行求和，由公式1可知，得到基的梯度。精選ppt(2)計(jì)算卷積核的梯度對(duì)于一個(gè)給定的權(quán)值，對(duì)所有共享該權(quán)值的連接對(duì)該點(diǎn)求梯度；然后對(duì)這些梯度進(jìn)行求和。說(shuō)明： 是 中的在卷積的時(shí)候與 逐元素相乘的patch精選ppt 精選ppt3.子采樣層學(xué)習(xí)算法 3.1工作信號(hào)正向傳播 3.2誤差信號(hào)反向傳播精選ppt3.1工作信號(hào)正向傳播(1)當(dāng)前第l層的第j個(gè)輸出xlj：down(.)表示一個(gè)下采樣函數(shù)。有N個(gè)輸入maps，就有N個(gè)輸出maps，只是每個(gè)輸出map都變小n*n倍。每個(gè)輸出map都對(duì)應(yīng)一個(gè)屬于自己的乘性基和一個(gè)加性基b。精選ppt(2)確定需要更新的權(quán)值加性基b乘性基說(shuō)明：此時(shí)需要分別計(jì)算誤差對(duì)它們的變化率 和精選ppt3.2誤差信號(hào)反向傳播計(jì)算加性基的梯度計(jì)算第I層第j個(gè)靈敏度map加性基的梯度：精選ppt(2)計(jì)算乘性基的梯度保存正向傳播時(shí)下采樣層的特征map：乘性基的梯度精選ppt 精選ppt4. 特征圖組合 人工選擇 網(wǎng)絡(luò)選擇精選ppt第l層第j個(gè)輸出特征圖xlj：說(shuō)明：ij表示在得到第j個(gè)輸出map的第i個(gè)輸入ma