深度學(xué)習(xí)史上最詳細(xì)的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)

1、.卷積神經(jīng)網(wǎng)絡(luò)講解人：導(dǎo) 師： 深度學(xué)習(xí)二.內(nèi) 容 卷積神經(jīng)網(wǎng)絡(luò)（CNN）介紹 LeNet5模型的介紹分析 LeNet5模型相關(guān)代碼 LeNet5 模型的訓(xùn)練代碼實驗結(jié)果 .卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)數(shù)據(jù)輸入層/ Input layer卷積計算層/ CONV layerReLU激勵層 / ReLU layer池化層 / Pooling layer全連接層 / FC layer.數(shù)據(jù)輸入層該層要做的處理主要是對原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，其中包括：去均值：把輸入數(shù)據(jù)各個維度都中心化為0 歸一化：幅度歸一化到同樣的范圍 PCA/白化：用PCA降維；白化是對數(shù)據(jù)各個特征軸上的幅度歸一化卷積神經(jīng)網(wǎng)絡(luò)（CNN)

2、介紹. 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹去均值與歸一化效果圖：去相關(guān)與白化效果圖：. 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹卷積計算層這一層就是卷積神經(jīng)網(wǎng)絡(luò)最重要的一個層次，也是“卷積神經(jīng)網(wǎng)絡(luò)”的名字來源。在這個卷積層，有兩個關(guān)鍵操作： 局部關(guān)聯(lián)。每個神經(jīng)元看做一個濾波器(filter) 窗口(receptive field)滑動， filter對局部數(shù)據(jù)計算. 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹卷積計算層這個帶有連接強(qiáng)弱的紅色方框就叫做 filter 或 kernel 或 feature detector。 而filter的范圍叫做filter size，這里所展示的是2x2的filter size。. 卷積神經(jīng)網(wǎng)絡(luò)

3、（CNN)介紹卷積計算層. 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹卷積計算層. 卷積層的計算過程卷積運算的特點：通過卷積運算，可以使原信號特征增強(qiáng)，并且降低噪音. 卷積層的計算過程 同一個圖片，經(jīng)過兩個（紅色、綠色）不同的filters掃描過后可得到不同特點的Feature Maps。 每增加一個filter，就意味著你想讓網(wǎng)絡(luò)多抓取一個特征。.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹激勵層把卷積層輸出結(jié)果做非線性映射CNN采用的激勵函數(shù)一般為ReLU(The Rectified Linear Unit/修正線性單元)，它的特點是收斂快，求梯度簡單.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹激勵層 和前饋神經(jīng)網(wǎng)絡(luò)一樣，經(jīng)過線性組合和偏

4、移后，會加入非線性增強(qiáng)模型的擬合能力。 將卷積所得的Feature Map經(jīng)過ReLU變換（elementwise）后所得到的output就如下圖所展示.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹池化層池化層夾在連續(xù)的卷積層中間，用于壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合。簡而言之，如果輸入是圖像的話，那么池化層的作用就是壓縮圖像。池化層用的方法有Max pooling 和 average pooling，而實際用的較多的是Max pooling對于每個2*2的窗口選出最大的數(shù)作為輸出矩陣的相應(yīng)元素的值，比如輸入矩陣第一個2*2窗口中最大的數(shù)是6，那么輸出矩陣的第一個元素就是6，如此類推。.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹池化過程.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹池化過程.卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹全連接層兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部。也就是跟傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的連接方式是一樣的：當(dāng)抓取到足以用來識別圖片的特征后，接下來的就是如何進(jìn)行分類。 全連接層（也叫前饋層）就可以用來將最后的輸出映射到線性可分的空間。 通常卷積網(wǎng)絡(luò)的最后會將末端得到的長方體平攤(flatten)成一個長長的