卷積神經(jīng)網(wǎng)路概要ppt課件

1、;.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò);.2目錄 1.概述 2.核心思想 3.文字識(shí)別系統(tǒng)LeNet-5 4.優(yōu)點(diǎn);.31.概述 卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。 它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。 該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。;.4 在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過一個(gè)數(shù)字濾波器去獲得觀測數(shù)據(jù)的最顯著的特征。 這個(gè)方法能夠獲取對(duì)平移、

2、縮放和旋轉(zhuǎn)不變的觀測數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問到最基礎(chǔ)的特征，例如定向邊緣或者角點(diǎn)。;.52.核心思想卷積神經(jīng)網(wǎng)絡(luò)通過以下特性來保證圖像對(duì)位移、縮放、扭曲的魯棒性：局部感受野權(quán)值共享時(shí)間/空間亞采樣;.6局部感受野BP神經(jīng)網(wǎng)絡(luò)全連接卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò) 局部連接局部連接;.7全連接網(wǎng)絡(luò)。如果我們有全連接網(wǎng)絡(luò)。如果我們有1000 x1000像素的圖像，像素的圖像，有有1百萬個(gè)隱層神經(jīng)元，每個(gè)隱層神經(jīng)元都連接圖像百萬個(gè)隱層神經(jīng)元，每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)，就有的每一個(gè)像素點(diǎn)，就有1000 x1000 x1000000=1012個(gè)連接，也就

3、是個(gè)連接，也就是1012個(gè)權(quán)值參數(shù)。個(gè)權(quán)值參數(shù)。局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附件局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附件10 x10的窗口相連接，則的窗口相連接，則1百萬個(gè)隱層神經(jīng)元就只有百萬個(gè)隱層神經(jīng)元就只有100w乘以乘以100，即，即108個(gè)參數(shù)。其權(quán)值連接個(gè)數(shù)比原個(gè)參數(shù)。其權(quán)值連接個(gè)數(shù)比原來減少了四個(gè)數(shù)量級(jí)。來減少了四個(gè)數(shù)量級(jí)。;.8權(quán)值共享 隱含層的每一個(gè)神經(jīng)元都連接10 x10個(gè)圖像區(qū)域，也就是說每一個(gè)神經(jīng)元存在10 x10=100個(gè)連接權(quán)值參數(shù)。 如果設(shè)定每個(gè)神經(jīng)元這100個(gè)參數(shù)是相同的，也就是說每個(gè)神經(jīng)元用的是同一個(gè)卷積核去卷積圖像，參數(shù)個(gè)數(shù)與神經(jīng)元個(gè)數(shù)無關(guān)。

4、無論隱層的神經(jīng)元個(gè)數(shù)有多少，兩層間的連接只有100個(gè)參數(shù) 隱層的參數(shù)個(gè)數(shù)和隱層的神經(jīng)元個(gè)數(shù)無關(guān)，只和濾波器的大小和濾波器種類的多少有關(guān)。;.9;.10Feature Map 假如一種濾波器，也就是一種卷積核就是提出圖像的一種特征。 提取不同的特征，需要多個(gè)濾波器。每種濾波器的參數(shù)不一樣，表示它提出輸入圖像的不同特征。這樣每種濾波器去卷積圖像就得到對(duì)圖像的不同特征的放映，我們稱之為Feature Map。 100種卷積核就有100個(gè)Feature Map。這100個(gè)Feature Map就組成了一層神經(jīng)元。 每層參數(shù)個(gè)數(shù)=100種卷積核x每種卷積核共享100個(gè)參數(shù)=100 x100=10K，也就

5、是1萬個(gè)參數(shù)。;.11隱層神經(jīng)元個(gè)數(shù) 隱層的神經(jīng)元個(gè)數(shù)和原圖像，也就是輸入的大小（神經(jīng)元個(gè)數(shù)）、濾波器的大小和濾波器在圖像中的滑動(dòng)步長都有關(guān)。 例如，圖像是1000 x1000像素，而濾波器大小是10 x10，假設(shè)濾波器沒有重疊，也就是步長為10，這樣隱層的神經(jīng)元個(gè)數(shù)就是(1000 x1000 )/ (10 x10)=100 x100個(gè)神經(jīng)元了。 注意：這只是一種濾波器，也就是一個(gè)Feature Map的神經(jīng)元個(gè)數(shù)如果100個(gè)Feature Map就是100倍了。 由此可見，圖像越大，神經(jīng)元個(gè)數(shù)和需要訓(xùn)練的權(quán)值參數(shù)個(gè)數(shù)的差距就越大;.12網(wǎng)絡(luò)結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò)含多層； 每層含多個(gè)二維Featu

6、re Map； 每個(gè)Feature Map含多個(gè)神經(jīng)元。;.13 C層為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來； S層是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。 卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層（C-層）都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層（S-層）。;.143.文字識(shí)別系統(tǒng)LeNet-5;.15;.16 1. 輸入圖像是32x32的大小，局部滑動(dòng)窗的大小是5x5的，由于不考慮對(duì)圖像的邊界進(jìn)行拓展，則滑動(dòng)窗將有28x28個(gè)不同的位

7、置，也就是C1層的大小是28x28。 C1層是一個(gè)卷積層（通過卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音），由6個(gè)特征圖Feature Map構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入中5*5的鄰域相連。;.17 C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共156*(28*28)=122,304個(gè)連接。;.18C1層：輸入圖片大?。?2*32卷積窗大?。?*5卷積窗種類： 6輸出特征圖數(shù)量：6輸出特征圖大?。?8*28(32-5+1)神經(jīng)元數(shù)量：4707 (28*28)*6)連接數(shù)：12304 (5*5+1)*

8、6*(28*28)可訓(xùn)練參數(shù)：156 (5*5+1)*6;.19 2. S2層是一個(gè)下采樣層，利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息。 S2層每個(gè)單元的4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置，結(jié)果通過sigmoid函數(shù)計(jì)算。;.20 簡單的說，由4個(gè)點(diǎn)下采樣為1個(gè)點(diǎn)，也就是4個(gè)數(shù)的加權(quán)平均。因此S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4（行和列各1/2），因此有6個(gè)14*14的特征圖。 S2層有（1+1）*6=12個(gè)可訓(xùn)練參數(shù)，有（2*2+1）*14*14*6=5880個(gè)連接。;.21S2層：輸入圖片大?。?28*28)*6卷積窗大

9、?。?*2卷積窗種類：6輸出下采樣圖數(shù)量：6輸出下采樣圖大小：(14*14)*6神經(jīng)元數(shù)量：1176(14*14)*6連接數(shù)：5880(4+1)*(14*14)*6可訓(xùn)練參數(shù)：12(6*2);.22卷積和子采樣過程卷積和子采樣過程;.23 卷積過程包括：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個(gè)偏置bx ，得到卷積層Cx 。;.24;.25 子采樣過程包括：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過標(biāo)量子采樣過程包括：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過標(biāo)量Wx+1加權(quán)，再增加偏置加權(quán)，再增加偏置bx+1 ，然后通過，然后

10、通過一個(gè)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+1 。;.26 從一個(gè)平面到下一個(gè)平面的映射可以看作是作卷積運(yùn)算，S-層可看作是模糊濾波器，起到二次特征提取的作用。 隱層與隱層之間空間分辨率遞減，而每層所含的平面數(shù)遞增，這樣可用于檢測更多的特征信息。;.27 3. C3層也是一個(gè)卷積層，它同樣通過5x5的卷積核去卷積層S2，然后得到的特征map就只有10 x10個(gè)神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個(gè)特征map了。 注意：C3中的每個(gè)特征map是連接到S2中的所有6個(gè)或者幾個(gè)特征map的，表示本層的特征map是上

11、一層提取到的特征map的不同組合;.28C3層：輸入圖片大小：(14*14)*6卷積窗大?。?*5卷積窗種類：16輸出特征圖數(shù)量：16輸出特征圖大?。?0*10(14-5+1)神經(jīng)元數(shù)量：1600 (10*10)*16)連接數(shù)：151600 （部分連接）可訓(xùn)練參數(shù)：1516 ;.29簡單的說，例如對(duì)于簡單的說，例如對(duì)于C3層第層第0張?zhí)卣鲌D，其每一個(gè)節(jié)點(diǎn)與張?zhí)卣鲌D，其每一個(gè)節(jié)點(diǎn)與S2層的第層的第0張?zhí)卣鲌D，第張?zhí)卣鲌D，第1張?zhí)卣鲌D，第張?zhí)卣鲌D，第2張?zhí)貜執(zhí)卣鲌D，總共征圖，總共3個(gè)個(gè)5x5個(gè)節(jié)點(diǎn)相連接。后面依次類推，個(gè)節(jié)點(diǎn)相連接。后面依次類推，C3層每一張?zhí)卣饔成鋱D的權(quán)值是相同的。層每一張?zhí)卣饔?/p>

12、射圖的權(quán)值是相同的。;.30 前6個(gè)feature map與S2層相連的3個(gè)feature map相連接，后面6個(gè)feature map與S2層相連的4個(gè)feature map相連接，后面3個(gè)feature map與S2層部分不相連的4個(gè)feature map相連接，最后一個(gè)與S2層的所有feature map相連。 卷積核大小依然為5*5，所以總共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516個(gè)參數(shù)。而圖像大小為10*10，所以共有151600個(gè)連接。;.31 4. S4層是一個(gè)下采樣層，由16個(gè)5*5大小的特征圖構(gòu)成。特征圖中的每

13、個(gè)單元與C3中相應(yīng)特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。 S4層有32個(gè)可訓(xùn)練參數(shù)（每個(gè)特征圖1個(gè)因子和一個(gè)偏置）和16*5*5（2*2+1）=2000個(gè)連接。;.32S4層：輸入圖片大?。?10*10)*16卷積窗大小：2*2卷積窗種類：16輸出下采樣圖數(shù)量：16輸出下采樣圖大?。?5*5)*16神經(jīng)元數(shù)量：400(5*5)*16連接數(shù)：2000(4+1)*(5*5)*16可訓(xùn)練參數(shù)：32(16*2);.33 5.C5是卷積層，總共120個(gè)feature map，每個(gè)feature map與S4層所有的feature map相連接，卷積核大小是5*5，而S4層的feature

14、 map的大小也是5*5，這構(gòu)成了S4和C5之間的全連接，所以C5的feature map就變成了1個(gè)點(diǎn)，共計(jì)有120（25*16+1）=48120個(gè)參數(shù)。;.34C5層：輸入圖片大?。?5*5)*16卷積窗大?。?*5卷積窗種類：120輸出特征圖數(shù)量：120輸出特征圖大?。?*1(5-5+1)神經(jīng)元數(shù)量：120 (1*120)連接數(shù)：48120 16*25+1*1*120(全連接）可訓(xùn)練參數(shù)：48120 16*25+1*1*120;.35 6. F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來自于輸出層的設(shè)計(jì)），與C5層全相連。有84*（120+1）=10164個(gè)可訓(xùn)練參數(shù)。 如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，

15、F6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。;.36F6層：輸入圖片大小：(1*1)*120卷積窗大?。?*1卷積窗種類：84輸出特征圖數(shù)量：84輸出特征圖大小：1神經(jīng)元數(shù)量：84 連接數(shù)：10164 120*84（全連接）可訓(xùn)練參數(shù)：10164 120*84;.37OUTPUT層：輸入圖片大?。?*84輸出特征圖數(shù)量：1*10;.384.卷積神經(jīng)網(wǎng)路的優(yōu)點(diǎn) （1）識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。;.39 （2）卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。;.40 （3）它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。 流的分類方式幾乎都是基于統(tǒng)計(jì)特征的，這就意味著在進(jìn)行分辨前必須提取某些特征。然而，顯式的特征提取并不容易，在一些應(yīng)用問題中也并非總是可靠的。卷