卷積神經(jīng)網(wǎng)絡(luò)(CNN,ConvNet)及其原理詳解

卷積神經(jīng)網(wǎng)絡(luò)(CNN,ConvNet)及其原理詳解卷積神經(jīng)網(wǎng)絡(luò)(CNN，有時(shí)被稱為ConvNet)是很吸引人的。在短時(shí)間內(nèi)，它們變成了一種顛覆性的技術(shù)，打破了從文本、視頻到語音等多個(gè)領(lǐng)域所有最先進(jìn)的算法，遠(yuǎn)遠(yuǎn)超出了其最初在圖像處理的應(yīng)用范圍。CNN由許多神經(jīng)網(wǎng)絡(luò)層組成。卷積和池化這兩種不同類型的層通常是交替的。網(wǎng)絡(luò)中每個(gè)濾波器的深度從左到右增加。最后通常由一個(gè)或多個(gè)全連接的層組成:tmapsiOutput圖1卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)例子Fully強(qiáng)nn濾波器的深度從左到右增加。最后通常由一個(gè)或多個(gè)全連接的層組成:tmapsiOutput圖1卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)例子Fully強(qiáng)nn啓侖dCcsnvoluiiiemSulbSBiTiplli怕Foaluromapsf.nmopsConvnets背后有三個(gè)關(guān)鍵動機(jī)：局部感受野、共享權(quán)重和池化。讓我們一起看一下。局部感受野如果想保留圖像中的空間信息，那么用像素矩陣表示每個(gè)圖像是很方便的。然后，編碼局部結(jié)構(gòu)的簡單方法是將相鄰輸入神經(jīng)元的子矩陣連接成屬于下一層的單隱藏層神經(jīng)元。這個(gè)單隱藏層神經(jīng)元代表一個(gè)局部感受野。請注意，此操作名為"卷積”，此類網(wǎng)絡(luò)也因此而得名。當(dāng)然，可以通過重疊的子矩陣來編碼更多的信息。例如，假設(shè)每個(gè)子矩陣的大小是5x5,并且將這些子矩陣應(yīng)用到28x28像素的MNIST圖像。然后，就能夠在下一隱藏層中生成23x23的局部感受野。事實(shí)上，在觸及圖像的邊界之前，只需要滑動子矩陣23個(gè)位置。定義從一層到另一層的特征圖。當(dāng)然可以有多個(gè)獨(dú)立從每個(gè)隱藏層學(xué)習(xí)的特征映射。例如，可以從28x28輸入神經(jīng)元開始處理MNIST圖像，然后（還是以5x5的步幅）在下一個(gè)隱藏層中得到每個(gè)大小為23x23的神經(jīng)元的k個(gè)特征圖。共享權(quán)重和偏置假設(shè)想要從原始像素表示中獲得移除與輸入圖像中位置信息無關(guān)的相同特征的能力。一個(gè)簡單的直覺就是對隱藏層中的所有神經(jīng)元使用相同的權(quán)重和偏置。通過這種方式，每層將從圖像中學(xué)習(xí)到獨(dú)立于位置信息的潛在特征。理解卷積的一個(gè)簡單方法是考慮作用于矩陣的滑動窗函數(shù)。在下面的例子中，給定輸入矩陣I和核K,得到卷積輸出。將3x3核K（有時(shí)稱為濾波器或特征檢測器）與輸入矩陣逐元素地相乘以得到輸出卷積矩陣中的一個(gè)元素。所有其他元素都是通過在I上滑動窗口獲得的：KKConvolved11111100011100□11100110011□0101010101434243234圖2卷積運(yùn)算的一個(gè)例子：用粗體表示參與計(jì)算的單元在這個(gè)例子中，一觸及I的邊界就停止滑動窗口（所以輸出是3x3）或者，可以選擇用零填充輸入（以便輸出為5x5）,這是有關(guān)填充的選擇。另一個(gè)選擇是關(guān)于滑窗所采用的滑動方式的步幅。步幅可以是1或大于1大步幅意味著核的應(yīng)用更少以及更小的輸出尺寸，而小步幅產(chǎn)生更多的輸出并保留更多的信息。濾波器的大小、步幅和填充類型是超參數(shù)，可以在訓(xùn)練網(wǎng)絡(luò)時(shí)進(jìn)行微調(diào)。TensorFlow中的ConvNet在TensorFlow中，如果想添加一個(gè)卷積層，可以這樣寫：tf+nn*conv2d{input,filter,stridesfpaddingfuse_cudrun_on_gpu=None/ormat=NDne,naine=None)參數(shù)說明如下:input:張量，必須是half、float32、float64三種類型之一。filter:張量必須具有與輸入相同的類型。strides:整數(shù)列表。長度是4的一維向量。輸入的每一維度的滑動窗口步幅。必須與指定格式維度的順序相同。padding:可選字符串為SAME、VALID。要使用的填充算法的類型。use_cudnn_on_gpu:—個(gè)可選的布爾值，默認(rèn)為True。data_format:可選字符串為NHWC、NCHW，默認(rèn)為NHWC。指定輸入和輸出數(shù)據(jù)的數(shù)據(jù)格式。使用默認(rèn)格式NHWC,數(shù)據(jù)按照以下順序存儲:［batch,in_height,in_width,in_channels］?；蛘?，格式可以是NCHW，數(shù)據(jù)存儲順序?yàn)椋海踒atch,in_channels,in_height,in_width］。name:操作的名稱（可選）卜圖提供了一個(gè)卷積的例子:假設(shè)我們要總結(jié)一個(gè)特征映射的輸出。我們可以使用從單個(gè)特征映射產(chǎn)生的輸出的空間鄰接性，并將子矩陣的值聚合成單個(gè)輸出值，從而合成地描述與該物理區(qū)域相關(guān)聯(lián)的含義。最大池化一個(gè)簡單而通用的選擇是所謂的最大池化算子，它只是輸出在區(qū)域中觀察到的最大輸入值。在TensorFlow中，如果想要定義一個(gè)大小為2x2的最大池化層，可以這樣寫：tf.nn.max_po01(valuerksizefStrides,pddding；da.ta_format=1NHWCname=None)參數(shù)說明如下：value:形狀為［batch,height,width,channels］和類型是tf.float32的四維張量。ksize:長度＞=4的整數(shù)列表。輸入張量的每個(gè)維度的窗口大小。

strides:長度＞=4的整數(shù)列表。輸入張量的每個(gè)維度的滑動窗口的步幅。padding:—個(gè)字符串，可以是VALID或SAME。data_format:—個(gè)字符串，支持NHWC和NCHW。name:操作的可選名稱。卜圖給出了最大池化操作的示例：464667圖4池化操作的一個(gè)例子ConvNet總結(jié)CNN基本上是幾層具有非線性激活函數(shù)的卷積，以及將池化層應(yīng)用于卷積的結(jié)果。每層應(yīng)用不同的濾波器（成百上千個(gè)）理解的關(guān)鍵是濾波器不是預(yù)先設(shè)定好的，而是在訓(xùn)練階段學(xué)習(xí)的，以使得恰當(dāng)?shù)膿p失函數(shù)被最小化。已經(jīng)觀察到較低層會學(xué)習(xí)檢測基本特征，而較高層檢測更復(fù)雜的特征，例如形狀或面部。請注意，由于有池化層，靠后的層中的神經(jīng)元看到的更多的是原始圖像，因此它們能夠編輯前幾層中學(xué)習(xí)的基本特征。到目前為止，苗述了ConvNet的基本概念。CNN在時(shí)間維度上對音頻和文本數(shù)據(jù)進(jìn)行一維卷積和池化操作，沿（高度x寬度）維度對圖像進(jìn)行二維處理，沿（高度x寬度x時(shí)間）維度對視頻進(jìn)行三維處