第六周第九章卷積網(wǎng)絡(luò)

DeepLearning卷積網(wǎng)絡(luò)卷積網(wǎng)絡(luò)神經(jīng)元與神經(jīng)網(wǎng)絡(luò)全局感受野與局部感受野權(quán)值共享卷積運(yùn)算池化卷積計算公式CNN的前向后向算法常用 N（LeNet,AlexNet,VggNet, Net）神經(jīng)元與神經(jīng)網(wǎng)絡(luò)Neuronsandneural從左向右依次是輸入層（inputlayer），隱藏層（hiddenlayer），輸出層（outputlayer）神經(jīng)元與神經(jīng)網(wǎng)絡(luò)Neuronsandneural輸入xi與對應(yīng)權(quán)重wi相乘再求和，然后加上偏移b得到中間結(jié)果??=σ??????????+中間結(jié)果z經(jīng)過激活函數(shù)??????=f(??

得到輸出使 作為使1+??激活函數(shù)，它通常記作σ(z)神經(jīng)元與神經(jīng)網(wǎng)絡(luò)Neuronsandneural前 公式：??∈????×1,??∈????×??,??∈??m×1,??∈????×??=????+??

????1

??1???????

??

???? ??1??????+ ??????????+神經(jīng)元與神經(jīng)網(wǎng)絡(luò)Neuronsandneural反 公式：??∈????×1,??∈????×??,??∈??m×1,??∈????×1

??11

??

??=

?????=????

??1

????

??????? ?????

?????

??

??

????=??

??=??? ???

??????

??????? ??????=?????1 ????全局感受野與局部感受野Fullyreceptivefieldslocalreceptive全連接層Fullyreceptivefields)神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元與前一層所有神經(jīng)元全部互相連接。也就是說神經(jīng)元可以完整的看見前一層的整幅圖，右圖所示的一張200*200的，與40000個隱藏層神經(jīng)元連接就有共16億個參數(shù)，多么巨大的參數(shù)量，這需要消耗很多的計算資源。全局感受野與局部感受野Fullyreceptivefieldslocalreceptive局部感受野l(fā)ocalreceptivefields）研究發(fā)現(xiàn)眼睛觀察圖像的時候并不是全的，每個神經(jīng)元只感受局部的圖像區(qū)域（局部感受野），通過在更將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局圖像信息，如右圖每個隱藏層神經(jīng)元與的局部感受野相連，參數(shù)量減少為共4百萬個參數(shù)。權(quán)重共享眼睛在觀察圖像時還有一種平移不變性，例一只貓把它平移到的任意位置眼睛都可以識別出它還是那只貓。我們知道神經(jīng)元對何種圖像模式“敏感”主要是由參數(shù)決定的。如果讓右圖中的局部連接共享同一套參數(shù)值（類似濾波器），那么隱藏層神經(jīng)元就相當(dāng)于在圖像中的各個局部感受野觀察同一種模式?？梢娡ㄟ^這種參數(shù)共享神經(jīng)網(wǎng)絡(luò)就擁有了平移不變性。于此同時參數(shù)量進(jìn)一步大大減少，此時參數(shù)已經(jīng)與輸入神經(jīng)元、隱藏層神經(jīng)元數(shù)量無關(guān)，只與感受野（卷積核）大小有關(guān)，只有個參數(shù)。卷積運(yùn)算Convolution通過卷積操作得到一幅特征圖featuremap)卷積運(yùn)算Convolution用多種卷積核提取多個特征圖卷積運(yùn)算Convolution卷積層是局部連接,卷積核還會考慮通道維度，假如將灰度圖，換成3通道的RGB彩，此時輸入就是（200×200）×3，每個卷積實(shí)際上是10×10×3出為1911911單通道的。也就是說輸入特征圖中每個10103的區(qū)域被卷積之后得到一個輸出特征值。池化特征圖的后面一般是緊跟一個池化層來壓縮卷積層輸出的信息。最大池化（maxpooling）是只保留每個小區(qū)域的最大值。如右圖是把特征圖中每個2區(qū)域中的4個特征值壓縮為1個特征值（最大），除了最大池化還有平均池化（取平均而非取最大）最大池化這種取最大的壓縮策略是有著現(xiàn)實(shí)意義的，壓縮之后我丟失了該特征對應(yīng)的精確位置信息，但是仍然知道大概的區(qū)域，只要一個特征在某個區(qū)域出現(xiàn)過，它相對于其它特征圖的位置是精確還是模糊差別并不大。池化池化池化并沒有像卷積一樣隱含考慮通道維度。只是把輸入特征中每K×k×1個區(qū)域壓縮為1（假設(shè)池化核大小KernelSize=K）。假如右圖換成5通道的特征，即輸入為445，輸出將會是225。卷積計算公式Convolution我們的輸入特征為??????????????????=7×7，卷積核大小????????????????????33，每次滑動步長為????????????=2。按 可以得中??????????????????????????????????????=73按 可以得Stride= (???????????????????????????????????????)27?3=2個特征值，加上第一步的12卷積計算公式例如InputSize=10KernelSize=3Stride=???????????????????????????????????????+1=10?3+1Stride 此時可以 （???????????????????????????????????????）+2×??????????????????????+1=10?3+2×1 1=4卷積計算公式Convolution卷積計算公式修改????????????????????

???????????????????????????????????????+2×+此時一般令????????????=1，關(guān)系式??????????????????????=2OutputSize=???????????????????????????????????????+2×??????????????????????+1=31527394CNN前向后向算法

?=?*

?

=??

思考：各有N個樣…*

?

==?????

做一個batch訓(xùn)練，怎么=

????

（在x?時，要保存原來的索引 w,

?=?

?

=???

=

= ?

Average

也可參作 =1的卷4

......

...141414 =

+??12+??21+??22

????11

.

????12

. ,

? ?? =

+??13+??22+??23

.

. ??11??12??13

Max

=??????

,

,

,??22??11=????????12,??13,??22,??23????

=

if??11isthemaxof{??11,??12,??21,??22