卷積神經(jīng)網(wǎng)絡(luò)CNN代碼解析

1、 卷積神經(jīng)網(wǎng)絡(luò)CNN代碼解析 deepLearnToolbox-master是一個(gè)深度學(xué)習(xí)matlab包，里面含有很多機(jī)器學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)CNN，深度信念網(wǎng)絡(luò)DBN，自動(dòng)編碼AutoEncoder（堆棧SAE，卷積CAE）的作者是 Rasmus Berg Palm (rasmusbergpalm)代碼下載：這里我們介紹deepLearnToolbox-master中的CNN部分。DeepLearnToolbox-master中CNN內(nèi)的 函數(shù)：調(diào)用關(guān)系為：該模型使用了mnist的數(shù)字mnist_uint8.mat作為訓(xùn)練樣本，作為cnn的一個(gè)使用樣例，每個(gè)樣本特征為一個(gè)28*28=的向

2、量。網(wǎng)絡(luò)結(jié)構(gòu)為：讓我們來(lái)看看各個(gè)函數(shù)：一、Test_example_CNN:2三、cnntrain.m5四、cnnff.m6五、cnnbp.m7五、cnnapplygrads.m10六、cnntest.m111、 Test_example_CNN:Test_example_CNN:1設(shè)置CNN的基本參數(shù)規(guī)格，如卷積、降采樣層的數(shù)量，卷積核的大小、降采樣的降幅2 cnnsetup函數(shù) 初始化卷積核、偏置等3 cnntrain函數(shù) 訓(xùn)練cnn，把訓(xùn)練數(shù)據(jù)分成batch，然后調(diào)用3.1 cnnff 完成訓(xùn)練的前向過(guò)程，3.2 cnnbp計(jì)算并傳遞神經(jīng)網(wǎng)絡(luò)的error，并計(jì)算梯度（權(quán)重的修改量）3.3

3、 cnnapplygrads 把計(jì)算出來(lái)的梯度加到原始模型上去4 cnntest 函數(shù)，測(cè)試當(dāng)前模型的準(zhǔn)確率該模型采用的數(shù)據(jù)為mnist_uint8.mat，含有70000個(gè)手寫數(shù)字樣本其中60000作為訓(xùn)練樣本，10000作為測(cè)試樣本。把數(shù)據(jù)轉(zhuǎn)成相應(yīng)的格式，并歸一化。設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)初始化網(wǎng)絡(luò)，對(duì)數(shù)據(jù)進(jìn)行批訓(xùn)練，驗(yàn)證模型準(zhǔn)確率繪制均方誤差曲線二、Cnnsetup.m該函數(shù)你用于初始化CNN的參數(shù)。設(shè)置各層的mapsize大小，初始化卷積層的卷積核、bias尾部單層感知機(jī)的參數(shù)設(shè)置* bias統(tǒng)一設(shè)置為0權(quán)重設(shè)置為：-11之間的隨機(jī)數(shù)/sqrt（6/（輸入神經(jīng)元數(shù)量+輸出神經(jīng)元數(shù)量）對(duì)于

4、卷積核權(quán)重，輸入輸出為fan_in, fan_outfan_out = net.layersl.outputmaps * net.layersl.kernelsize 2;%卷積核初始化，1層卷積為1*6個(gè)卷積核，2層卷積一共6*12=72個(gè)卷積核。對(duì)于每個(gè)卷積輸出featuremap， %fan_in = 表示該層的一個(gè)輸出map，所對(duì)應(yīng)的所有卷積核，包含的神經(jīng)元的總數(shù)。1*25,6*25fan_in = numInputmaps * net.layersl.kernelsize 2;fin =1*25 or 6*25fout=1*6*25 or 6*12*25 net.layersl.ki

5、j = (rand(net.layersl.kernelsize) - 0.5) * 2 * sqrt(6 / (fan_in + fan_out);1 卷積降采樣的參數(shù)初始化2尾部單層感知機(jī)的參數(shù)（權(quán)重和偏量）設(shè)置：三、cnntrain.m該函數(shù)用于訓(xùn)練CNN。生成隨機(jī)序列，每次選取一個(gè)batch（50）個(gè)樣本進(jìn)行訓(xùn)練。批訓(xùn)練：計(jì)算50個(gè)隨機(jī)樣本的梯度，求和之后一次性更新到模型權(quán)重中。在批訓(xùn)練過(guò)程中調(diào)用：Cnnff.m 完成前向過(guò)程Cnnbp.m 完成誤差傳導(dǎo)和梯度計(jì)算過(guò)程Cnnapplygrads.m 把計(jì)算出來(lái)的梯度加到原始模型上去四、cnnff.m1、取得CNN的輸入2、兩次卷積核降采

6、樣層處理3、尾部單層感知機(jī)的數(shù)據(jù)處理，需要把subFeatureMap2連接成為一個(gè)(4*4)*12=192的向量，但是由于采用了50樣本批訓(xùn)練的方法，subFeatureMap2被拼合成為一個(gè)192*50的特征向量fv；Fv作為單層感知機(jī)的輸入，全連接的方式得到輸出層五、cnnbp.m該函數(shù)實(shí)現(xiàn)2部分功能，計(jì)算并傳遞誤差，計(jì)算梯度1、計(jì)算誤差和LossFunction2、 計(jì)算尾部單層感知機(jī)的誤差3、 把單層感知機(jī)的輸入層featureVector的誤差矩陣，恢復(fù)為subFeatureMap2的4*4二維矩陣形式插播一張圖片：4、 誤差在特征提取網(wǎng)絡(luò)【卷積降采樣層】的傳播如果本層是卷積層，它的誤差是從后一層（降采樣層）傳過(guò)來(lái)，誤差傳播實(shí)際上是用降采樣的反向過(guò)程，也就是降采樣層的誤差復(fù)制為2*2=4份。卷積層的輸入是經(jīng)過(guò)sigmoid處理的，所以，從降采樣層擴(kuò)充來(lái)的誤差要經(jīng)過(guò)sigmoid求導(dǎo)處理。如果本層是降采樣層，他的誤差是從后一層（卷積層）傳過(guò)來(lái)，誤差傳播實(shí)際是用卷積的反向過(guò)程，也就是卷積層的誤差，反卷積（卷積核轉(zhuǎn)180度）卷積層的誤差，原理參看插圖。5、 計(jì)算特征抽取層和尾部單層感知機(jī)的梯