卷積神經(jīng)網(wǎng)絡(luò)原理推導(dǎo).ppt

卷積神經(jīng)網(wǎng)絡(luò) CNN 原理推導(dǎo) 阿育王6262016 3 6 說(shuō)明 先導(dǎo)知識(shí) CNN網(wǎng)絡(luò)結(jié)構(gòu) BP網(wǎng)絡(luò)學(xué)習(xí)算法參考文獻(xiàn) NotesonConvolutionalNeuralNetworks 典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)中 包含 卷積層 下采樣層 全連接層 1 全連接層學(xué)習(xí)算法 1 1工作信號(hào)正向傳播1 2誤差信號(hào)反向傳播 全連接層網(wǎng)絡(luò)結(jié)構(gòu)圖 2 1工作信號(hào)正向傳播 1 當(dāng)前第l層的輸出xl 先求ul 第l 1層的輸出xl 1 第l層的輸入 與其對(duì)應(yīng)權(quán)值Wl相乘 再加上基bl 再利用激活函數(shù)f 得xl sigmoid或Relu 逐層傳播 直至得到最終輸出層結(jié)果利用網(wǎng)絡(luò)輸出值與真實(shí)值之間的誤差 進(jìn)行反向傳播 調(diào)整權(quán)值 參數(shù) c表示分類數(shù)目 N表示訓(xùn)練樣本數(shù)tnk表示第n個(gè)樣本真實(shí)值的第k維ynk表示第n個(gè)樣本輸出值的第k維 2 誤差 第n個(gè)樣本的誤差 每類 共c類 誤差的和 總誤差 每個(gè)樣本 共N個(gè) 誤差的和 2 2誤差信號(hào)反向傳播 反向傳播回來(lái)的誤差可以看做是每個(gè)神經(jīng)元的基的靈敏度靈敏度的意思就是基b變化多少 誤差會(huì)變化多少也就是誤差對(duì)基的變化率 即導(dǎo)數(shù) 公式1 1 反向計(jì)算各層靈敏度 輸出層第L層靈敏度 全連接層第l層靈敏度 公式2 2 權(quán)值調(diào)整 導(dǎo)數(shù) 權(quán)值更新 公式3 對(duì)于每一個(gè)權(quán)值Wij都有一個(gè)特定的學(xué)習(xí)率 Ij 2 卷積層學(xué)習(xí)算法 2 1工作信號(hào)正向傳播2 2誤差信號(hào)反向傳播 卷積層典型結(jié)構(gòu)圖 卷積層 輸入層 子采樣層典型結(jié)構(gòu)圖 卷積層 子采樣層 假定每個(gè)卷積層l都會(huì)接一個(gè)下采樣層l 1 2 1工作信號(hào)正向傳播 1 當(dāng)前第l層的第j個(gè)輸出xlj 先從第l 1層的特征圖里 選擇若干個(gè)組成第l層輸入特征圖集合Mj 再利用卷積核Klij分別與輸入特征圖中的每個(gè)map即xl 1i進(jìn)行卷積 并求和 最后加上基blj 使用激活函數(shù)f即可 2 確定需要更新的權(quán)值 基b 卷積核k說(shuō)明 此時(shí)需要分別計(jì)算誤差對(duì)它們的變化率和 2 2誤差信號(hào)反向傳播 1 計(jì)算基的梯度 上采樣第l 1層第j個(gè)靈敏度map 說(shuō)明 第l 1層為下采樣層 其中一個(gè)像素對(duì)應(yīng)的靈敏度 對(duì)應(yīng)于第l層卷積層的輸出map的一塊像素 采樣窗口大小 因此 上采樣使其靈敏度map大小與卷積層的map大小一致 求第I層第j個(gè)靈敏度map 公式2可得 說(shuō)明 在下采樣層map的權(quán)值W都取一個(gè)相同值 而且是一個(gè)常數(shù) 第l層靈敏度 l 對(duì)第l層中的靈敏度map中所有節(jié)點(diǎn)進(jìn)行求和 由公式1可知 得到基的梯度 2 計(jì)算卷積核的梯度 對(duì)于一個(gè)給定的權(quán)值 對(duì)所有共享該權(quán)值的連接對(duì)該點(diǎn)求梯度 然后對(duì)這些梯度進(jìn)行求和 說(shuō)明 是中的在卷積的時(shí)候與逐元素相乘的patch 在matlab中實(shí)現(xiàn)代碼 3 利用公式3進(jìn)行權(quán)值調(diào)整 3 子采樣層學(xué)習(xí)算法 3 1工作信號(hào)正向傳播3 2誤差信號(hào)反向傳播 3 1工作信號(hào)正向傳播 1 當(dāng)前第l層的第j個(gè)輸出xlj down 表示一個(gè)下采樣函數(shù) 有N個(gè)輸入maps 就有N個(gè)輸出maps 只是每個(gè)輸出map都變小n n倍 每個(gè)輸出map都對(duì)應(yīng)一個(gè)屬于自己的乘性基 和一個(gè)加性基b 2 確定需要更新的權(quán)值 加性基b 乘性基 說(shuō)明 此時(shí)需要分別計(jì)算誤差對(duì)它們的變化率和 3 2誤差信號(hào)反向傳播 計(jì)算加性基的梯度 計(jì)算第I層第j個(gè)靈敏度map 加性基的梯度 2 計(jì)算乘性基的梯度 保存正向傳播時(shí)下采樣層的特征map 乘性基的梯度 3 利用公式3進(jìn)行權(quán)值調(diào)整 4 特征圖組合 人工選擇網(wǎng)絡(luò)選擇 第l層第j個(gè)輸出特征圖xlj 說(shuō)明 ij表示在得到第j個(gè)輸出map的第i個(gè)輸入map的權(quán)值 需要滿足約束 處理 ij 對(duì)變量 ij的約束可以通過(guò)將變量 ij表示為一組無(wú)