卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)初步解析

陳遙單層感知器感知器可謂是最早的人工神經(jīng)網(wǎng)絡(luò)。單層感知器是一個(gè)具有一層神經(jīng)元、采用閾值激活函數(shù)的前向網(wǎng)絡(luò)。通過(guò)對(duì)網(wǎng)絡(luò)權(quán)值的訓(xùn)練，可以使感知器對(duì)一組輸人矢量的響應(yīng)達(dá)到元素為0或1的目標(biāo)輸出，從而實(shí)現(xiàn)對(duì)輸人矢量分類(lèi)的目的。單層感知器作用范圍感知器是一個(gè)簡(jiǎn)單的二類(lèi)分類(lèi)的線性分類(lèi)模型，要求我們的樣本是線性可分的。多層感知器多層感知器的思路是，盡管原始數(shù)據(jù)是非線性可分的，但是可以通過(guò)某種方法將其映射到一個(gè)線性可分的高維空間中，從而使用線性分類(lèi)器完成分類(lèi)。圖1中，從X到O這幾層，正展示了多層感知器的一個(gè)典型結(jié)構(gòu)，即輸入層-隱層-輸出層。輸入層-隱層是全連接的網(wǎng)絡(luò)，即每個(gè)輸入節(jié)點(diǎn)都連接到所有的隱層節(jié)點(diǎn)上。更詳細(xì)地說(shuō)，可以把輸入層視為一個(gè)向量

x

，而隱層節(jié)點(diǎn)

j

有一個(gè)權(quán)值向量

θj

以及偏置

bj

，激活函數(shù)使用

sigmoid

或

tanh

，那么這個(gè)隱層節(jié)點(diǎn)的輸出應(yīng)該是若輸入層有

m

個(gè)節(jié)點(diǎn)，隱層有

n

個(gè)節(jié)點(diǎn)，那么

Θ

=

[θT]

為

n×m

的矩陣，x

為長(zhǎng)為

m

的向量，b

為長(zhǎng)為

n

的向量，激活函數(shù)作用在向量的每個(gè)分量上，

f(x)

返回一個(gè)向量隱層-輸出層可以視為級(jí)聯(lián)在隱層上的一個(gè)感知器。若為二分類(lèi)，則常用LogisticRegression；若為多分類(lèi)，則常用Softmax

Regression。核心！權(quán)值、偏置估計(jì)（結(jié)論如下，推導(dǎo)見(jiàn)“卷積神經(jīng)網(wǎng)絡(luò)全面解析”）殘差定義：假設(shè)有層

p,

q,

r

，分別有

l,

m,

n

個(gè)節(jié)點(diǎn)，依序前者輸出全連接到后者作為輸入。t為標(biāo)簽，y為輸出，E為損失函數(shù)，為p層輸出向量，Φ表示激活函數(shù)，層

q

有權(quán)重矩陣

[Θq]m×l

，偏置向量

[bq]m×1

，層

r有權(quán)重矩陣

[Θr]n×m

，偏置向量

[br]n×1

。那么其中，運(yùn)算

w

=

u○v

表示

wi

=

uivi

。函數(shù)作用在向量或者矩陣上，表示作用在其每個(gè)分量上。卷積神經(jīng)網(wǎng)絡(luò)的三大優(yōu)點(diǎn)局部感受野權(quán)值共享：在卷積神經(jīng)網(wǎng)中，同一個(gè)卷積核內(nèi)，所有的神經(jīng)元的權(quán)值是相同的，從而大大減少需要訓(xùn)練的參數(shù)。作為補(bǔ)充，在CNN中的每個(gè)隱層，一般會(huì)有多個(gè)卷積核。池化：在卷積神經(jīng)網(wǎng)絡(luò)中，沒(méi)有必要一定就要對(duì)原圖像做處理，而是可以使用某種“壓縮”方法，這就是池化，也就是每次將原圖像卷積后，都通過(guò)一個(gè)池化的過(guò)程，來(lái)減小圖像的規(guī)模。卷積神經(jīng)網(wǎng)絡(luò)的正向過(guò)程卷積下采樣光柵化多層感知器預(yù)測(cè)。卷積考慮一個(gè)大小為5×5的圖像，和一個(gè)3×3的卷積核。這里的卷積核共有9個(gè)參數(shù)，記為

Θ

=[θij]3×3

f(x)=act()卷積總結(jié)公式：如果卷積層

c

中的一個(gè)卷積核j連接到輸入圖

X1,

X2,

...,

Xi

，且這個(gè)卷積核的權(quán)重矩陣為

，那么這個(gè)卷積核的輸出為這個(gè)輸出矩陣大小為（m-p+1)(n-q+1).下采樣（池化）下采樣，即池化，目的是減小特征圖，池化規(guī)模一般為2×2。常用的池化方法有：最大池化（Max

Pooling）:取4個(gè)點(diǎn)的最大值。這是最常用的池化方法。均值池化（Mean

Pooling):取4個(gè)點(diǎn)的均值。高斯池化可訓(xùn)練池化:訓(xùn)練函數(shù)

f

，接受4個(gè)點(diǎn)為輸入，輸出1個(gè)點(diǎn)。不常用。由于特征圖的變長(zhǎng)不一定是2的倍數(shù)，所以在邊緣處理上也有兩種方案：忽略邊緣。即將多出來(lái)的邊緣直接省去。保留邊緣。即將特征圖的變長(zhǎng)用0填充為2的倍數(shù)，然后再池化。一般使用這種方式。對(duì)神經(jīng)中樞

j

的輸出

Oj

，使用池化函數(shù)

downsample

，池化后的結(jié)果為光柵化圖像經(jīng)過(guò)池化-下采樣后，得到的是一系列的特征圖，而多層感知器接受的輸入是一個(gè)向量。因此需要將這些特征圖中的像素依次取出，排列成一個(gè)向量。具體說(shuō)，對(duì)特征圖

X1,

X2,

...,

Xj

，光柵化后得到的向量多層感知器預(yù)測(cè)

將光柵化后的向量連接到多層感知器CNN參數(shù)更新多層感知器層殘差定義使用多層感知器的參數(shù)估計(jì)方法，得到其最低的一個(gè)隱層

s

的殘差向量

δs

?，F(xiàn)在需要將這個(gè)殘差傳播到光柵化層

r

，光柵化的時(shí)候并沒(méi)有對(duì)向量的值做修改，因此其激活函數(shù)為恒等函數(shù)，其導(dǎo)數(shù)為單位向量。光柵化層從上一層傳過(guò)來(lái)的殘差為重新整理成為一系列的矩陣即可，若上一層

Q

有

q

個(gè)池化核，則傳播到池化層的殘差池化層對(duì)應(yīng)池化過(guò)程中常用的兩種池化方案，這里反傳殘差的時(shí)候也有兩種上采樣方案：最大池化：將1個(gè)點(diǎn)的殘差直接拷貝到4個(gè)點(diǎn)上。均值池化：將1個(gè)點(diǎn)的殘差平均到4個(gè)點(diǎn)上。即傳播到卷積層的殘差卷積層對(duì)權(quán)值和偏置的更新：其中，rot180

是將一個(gè)矩陣旋轉(zhuǎn)180度；

Oq'是連接到該卷積層前的池化層的輸出。

卷積層的殘差反傳？整體思路以層為單位，分別實(shí)現(xiàn)卷積層、池化層、光柵化層、MLP隱層、分類(lèi)層這五個(gè)層的類(lèi)。其中每個(gè)類(lèi)都有output和backpro