卷積神經(jīng)網(wǎng)絡(luò)純凈版ppt課件.ppt

1 ConvolutionalNeuralNetworks卷積神經(jīng)網(wǎng)絡(luò) 2 Contents 機(jī)器學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)之間的關(guān)系什么是神經(jīng)網(wǎng)絡(luò)梯度下降算法反向傳播算法神經(jīng)網(wǎng)絡(luò)的訓(xùn)練什么是卷積什么是池化LeNet 5其它的工作 3 ConvolutionalNeuralNetworks 機(jī)器學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)之間的關(guān)系 4 ConvolutionalNeuralNetworks 什么是神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) Artificialneuralnetwork ANN 簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò) NN 神經(jīng)網(wǎng)絡(luò)其實(shí)就是按照一定規(guī)則連接起來(lái)的多個(gè)神經(jīng)元神經(jīng)元 每個(gè)連接都有一個(gè)權(quán)值 圖1 一個(gè)全連接的神經(jīng)網(wǎng)絡(luò) 5 ConvolutionalNeuralNetworks 梯度下降算法 梯度下降算法是用來(lái)求函數(shù)最小值的算法每次沿著梯度的反方向 即函數(shù)值下降最快的方向 去修改值 就能走到函數(shù)的最小值附近 之所以是最小值附近而不是最小值那個(gè)點(diǎn) 是因?yàn)槲覀兠看我苿?dòng)的步長(zhǎng)不會(huì)那么恰到好處 有可能最后一次迭代走遠(yuǎn)了越過(guò)了最小值那個(gè)點(diǎn) 6 ConvolutionalNeuralNetworks 反向傳播算法 BackPropagation 反向傳播算法是計(jì)算多層復(fù)合函數(shù)的所有變量的偏導(dǎo)數(shù)的利器 上面梯度下降的例子中就是求梯度 簡(jiǎn)單的理解就是鏈?zhǔn)椒▌t 根據(jù)鏈?zhǔn)椒▌t 我們求e對(duì)a的偏導(dǎo)和e對(duì)d的偏導(dǎo)是如下所示 可以看出 它們都求了e對(duì)c的偏導(dǎo) 對(duì)于權(quán)值動(dòng)則數(shù)萬(wàn)的深度模型中的神經(jīng)網(wǎng)絡(luò) 這樣的冗余所導(dǎo)致的計(jì)算量是相當(dāng)大的BP算法則機(jī)智地避開(kāi)了這種冗余 BP算法是反向 自上往下 來(lái)求偏導(dǎo)的 7 ConvolutionalNeuralNetworks 梯度下降算法 反向傳播算法 8 ConvolutionalNeuralNetworks 9 ConvolutionalNeuralNetworks 10 ConvolutionalNeuralNetworks 11 ConvolutionalNeuralNetworks 什么是卷積 右圖展示了卷積的過(guò)程 和信號(hào)處理的卷積有所區(qū)別卷積降低了網(wǎng)絡(luò)模型的復(fù)雜度 對(duì)于很難學(xué)習(xí)的深層結(jié)構(gòu)來(lái)說(shuō) 這是非常重要的 減少了權(quán)值的數(shù)量黃色部分是卷積核 12 ConvolutionalNeuralNetworks 什么是池化 池化層主要的作用是下采樣 通過(guò)去掉FeatureMap中不重要的樣本 進(jìn)一步減少參數(shù)數(shù)量 池化的方法很多 最常用的是MaxPooling MaxPooling實(shí)際上就是在n n的樣本中取最大值 作為采樣后的樣本值 右圖是2 2max 13 ConvolutionalNeuralNetworks LeNet 5 14 LeNet 5 1 輸入圖像是32x32的大小 卷積核的大小是5x5的 由于不考慮對(duì)圖像的邊界進(jìn)行拓展 則卷積核將有28x28個(gè)不同的位置 也就是C1層的大小是28x28 這里設(shè)定有6個(gè)不同的C1層 每一個(gè)C1層內(nèi)的權(quán)值是相同的 2 S2層是一個(gè)下采樣層 即池化層 在斯坦福關(guān)于深度學(xué)習(xí)的教程中 這個(gè)過(guò)程叫做Pool 但在LeNet 5系統(tǒng) 下采樣層比較復(fù)雜 由4個(gè)點(diǎn)下采樣的加權(quán)平均為1個(gè)點(diǎn) 因?yàn)檫@4個(gè)加權(quán)系數(shù)也需要學(xué)習(xí)得到 這顯然增加了模型的復(fù)雜度 15 LeNet 5 3 根據(jù)對(duì)前面C1層同樣的理解 我們很容易得到C3層的大小為10 x10 只不過(guò) C3層的變成了16個(gè)10 x10網(wǎng)絡(luò) 有16個(gè)卷積核 如果S2層只有1個(gè)平面 那么由S2層得到C3就和由輸入層得到C1層是完全一樣的 但是 S2層由多層 那么 只需要按照一定的順利組合這些層就可以了 具體的組合規(guī)則 在LeNet 5系統(tǒng)中給出了下面的表格 簡(jiǎn)單的說(shuō) 例如對(duì)于C3層第0張?zhí)卣鲌D 其每一個(gè)節(jié)點(diǎn)與S2層的第0張?zhí)卣鲌D 第1張?zhí)卣鲌D 第2張?zhí)卣鲌D 總共3個(gè)5x5個(gè)節(jié)點(diǎn)相連接 后面依次類推 C3層每一張?zhí)卣饔成鋱D的權(quán)值是相同的 C3層featuremap S2層featuremap 16 LeNet 5 S4層是在C3層基礎(chǔ)上下采樣 前面已述 C5層是一個(gè)卷積層 有120個(gè)特征圖 每個(gè)單元與S4層的全部16個(gè)單元的5 5鄰域相連 故C5特征圖的大小為1 1 這構(gòu)成了S4和C5之間的全連接 之所以仍將C5標(biāo)示為卷積層而非全連接層 是因?yàn)槿绻鸏eNet 5的輸入變大 而其他的保持不變 那么此時(shí)特征圖的維數(shù)就會(huì)比1 1大 C5層有48120個(gè)可訓(xùn)練連接 F6層有84個(gè)單元 之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì) 與C5層全相連 有10164個(gè)可訓(xùn)練參數(shù) 如同經(jīng)典神經(jīng)網(wǎng)絡(luò) F6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積 再加上一個(gè)偏置 然后將其傳遞給sigmoid函數(shù)產(chǎn)生節(jié)點(diǎn)的輸出 17 LetNet 5 比特面編碼 將一個(gè)灰度圖像為8bit 像素中每個(gè)像素的第j個(gè)比特抽取出來(lái) 就得到一個(gè)稱為比特平面的二值圖像 于是圖像完全可以用一組共8個(gè)比特平面來(lái)表示 對(duì)灰度圖像的編碼轉(zhuǎn)為對(duì)比特平面的二值化方塊編碼 為此 將每個(gè)比特面分為不重疊的m n個(gè)元素的子塊 18 卷積層的訓(xùn)練 layerl 1layerl L 1層的誤差 L 1層的輸出 L層的誤差 L層的輸入 19 卷積層的誤差傳播 20 卷積層的誤差傳播 21 卷積層的誤差傳播 卷積操作 22 卷積層filter權(quán)重梯度的計(jì)算 23 卷積層filter權(quán)重梯度的計(jì)算 與誤差傳播類似 相當(dāng)于l層的誤差項(xiàng) sensitivitymap 與l 1層的輸出項(xiàng)做卷積操作 得到卷積核 filter 的梯度 24 池