深學習史上最詳細的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)學習教案

1、會計學1深學習深學習(xux)史上最詳細的卷積循環(huán)神經(jīng)史上最詳細的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)第一頁，共20頁。CNN）介紹nLeNet5模型(mxng)的介紹n分析LeNet5模型(mxng)相關(guān)代碼nLeNet5 模型(mxng)的訓練代碼n實驗結(jié)果第1頁/共19頁第二頁，共20頁。數(shù)據(jù)輸入層/ Input layer卷積計算(j sun)層/ CONV layerReLU激勵層 / ReLU layer池化層 / Pooling layer全連接層 / FC layer第2頁/共19頁第三頁，共20頁。該層要做的處理主要是對原始圖像數(shù)據(jù)進行預處理，其中包括：去均值：把輸入(shr)數(shù)據(jù)各個維度都

2、中心化為0 歸一化：幅度歸一化到同樣的范圍 PCA/白化：用PCA降維；白化是對數(shù)據(jù)各個特征軸上的幅度歸一化卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)第3頁/共19頁第四頁，共20頁。 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)去相關(guān)(xinggun)與白化效果圖：第4頁/共19頁第五頁，共20頁。 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)這一層就是卷積神經(jīng)網(wǎng)絡(luò)最重要的一個層次，也是“卷積神經(jīng)網(wǎng)絡(luò)”的名字(mng zi)來源。在這個卷積層，有兩個關(guān)鍵操作： 局部關(guān)聯(lián)。每個神經(jīng)元看做一個濾波器(filter) 窗口(receptive field)滑動， filter對局部數(shù)據(jù)計算第5頁/共19頁第

3、六頁，共20頁。 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)這個帶有連接強弱的紅色(hngs)方框就叫做filter或kernel或feature detector。 而filter的范圍叫做filter size，這里所展示的是2x2的filter size。第6頁/共19頁第七頁，共20頁。 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)第7頁/共19頁第八頁，共20頁。 卷積神經(jīng)網(wǎng)絡(luò)（CNN)介紹(jisho)第8頁/共19頁第九頁，共20頁。卷積運算的特點：通過卷積運算，可以使原信號特征增強，并且(bngqi)降低噪音第9頁/共19頁第十頁，共20頁。 同一個圖片，經(jīng)過兩個（紅色、綠色）不同的

4、filters掃描(somio)過后可得到不同特點的Feature Maps。 每增加一個filter，就意味著你想讓網(wǎng)絡(luò)多抓取一個特征。第10頁/共19頁第十一頁，共20頁。激勵(jl)層把卷積層輸出(shch)結(jié)果做非線性映射CNN采用的激勵函數(shù)一般為ReLU(The Rectified Linear Unit/修正線性單元)，它的特點是收斂快，求梯度簡單第11頁/共19頁第十二頁，共20頁。激勵(jl)層 和前饋神經(jīng)網(wǎng)絡(luò)一樣，經(jīng)過線性組合和偏移后，會加入非線性增強模型的擬合能力。 將卷積所得的Feature Map經(jīng)過ReLU變換（elementwise）后所得到的output就如下(r

5、xi)圖所展示第12頁/共19頁第十三頁，共20頁。池化層池化層夾在連續(xù)的卷積層中間，用于壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合。簡而言之，如果輸入是圖像的話(dehu)，那么池化層的作用就是壓縮圖像。池化層用的方法(fngf)有Max pooling 和 average pooling，而實際用的較多的是Max pooling對于每個2*2的窗口選出最大的數(shù)作為輸出矩陣的相應元素的值，比如輸入矩陣第一個2*2窗口中最大的數(shù)是6，那么輸出矩陣的第一個元素就是6，如此類推。第13頁/共19頁第十四頁，共20頁。池化過程(guchng)第14頁/共19頁第十五頁，共20頁。池化過程(guchng)第15頁

6、/共19頁第十六頁，共20頁。全連接(linji)層兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部。也就是跟傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的連接方式(fngsh)是一樣的：當抓取到足以用來識別圖片的特征后，接下來的就是如何進行分類。 全連接層（也叫前饋層）就可以用來將最后的輸出映射到線性可分的空間。 通常卷積網(wǎng)絡(luò)的最后會將末端得到的長方體平攤(flatten)成一個長長的向量，并送入全連接層配合輸出層進行分類。第16頁/共19頁第十七頁，共20頁。第17頁/共19頁第十八頁，共20頁。 End第18頁/共19頁第十九頁，共20頁。NoImage內(nèi)容(nirng)總結(jié)會計學。第2頁/共19頁。歸一化：幅度歸一化到同樣的范圍。第6頁/共19頁。同一個圖片，經(jīng)過兩個（紅色、綠色）不同的filters掃描過后可得到(d do)不同特點的Feature Maps。每增加一個filter，就意味