深度學(xué)習(xí)報(bào)告

1、電子科技大學(xué)實(shí)驗(yàn)報(bào)告（實(shí)驗(yàn)）課程名稱 深度學(xué)習(xí)學(xué)生姓名：李寒雪指導(dǎo)教師：楊波學(xué)號：2015060101029一、實(shí)驗(yàn)名稱：基于MINST數(shù)據(jù)的CNN設(shè)計(jì)二、網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)設(shè)計(jì)如上圖所示：分為特征提取子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)，特征提取子網(wǎng)絡(luò)分為卷積和池化部分，MNIST數(shù)據(jù)是28x28的矩陣，選擇卷 積函數(shù)為20個(gè)9x9的濾波器，即圖中的W1（20 x9x9），于是可以將 原來的一個(gè)輸入數(shù)據(jù)（28x28）降解為20個(gè)特征矩陣（20 x20），接 下來這20個(gè)特征矩陣各自經(jīng)過ReLU激活函數(shù)后作為進(jìn)入池化層的 輸入，池化層采用2x2的平均池化，那么池化層的輸出20個(gè)10 x10 的特征矩陣，再講它們r(jià)es

2、hape為2000 x1的列向量作為分類子網(wǎng)絡(luò) 的輸入；分類子網(wǎng)絡(luò)采用單隱層，因此包含兩個(gè)隱層矩陣參數(shù)W3(100 x2000)和W4(10 x100)，隱層采用ReLU激活方便誤差反向傳播時(shí)計(jì)算更新參數(shù)，因?yàn)槭嵌喾诸悊栴}，輸出層采用softmax激活函 數(shù)。三、訓(xùn)練方法 對真實(shí)數(shù)據(jù)標(biāo)記與模型預(yù)測標(biāo)記之間的誤差目標(biāo)函數(shù)最小化，利用梯 度下降算法更新參數(shù)，在模型隱層和卷積池化層的參數(shù)利用誤差反向 傳播算法計(jì)算它們的更新值。對所有MNIST訓(xùn)練數(shù)據(jù)輸入一遍，每 次輸入更新一次模型參數(shù)，最后利用更新好的模型參數(shù)在所有測試數(shù)據(jù)上進(jìn)行準(zhǔn)確率計(jì)算。關(guān)鍵更新過程和驗(yàn)證過程如下:1、模型向前計(jì)算預(yù)測標(biāo)記過程：

3、X: 28x280像(矩陣)，為方便計(jì)算保素值可歸一化為【01W1 I 9x9x20的濾波器(蚯陣).可初始化為：W1 = randn(9.乩20);V1: 20 x20 x20的Featur&MapJ陣，iX. valid);Y1:與VI 同尺寸矩陣,Y1 =max(0,V1);Y2; 10 x10 x20的矩陣，Y2 = (Y1(1:2:en0,1:2:end,:)十 Y1(2:2：End:2:end,:)+Y1(1:2:end,2:2:endf:)+Y1(2:2:end2:2:end,:)/4;y2: 2000 x1 的列向 v2 = reshap(Y2, , 1);W3: 100 x2

4、000的矩陣.可初始化為；W3 = (2*nd(100,2000)-1)您0; Iv3: 1OOXI 的列向量，v3 = W3+y2;y3:與v3同尺寸，y3=max(0pv3);W4： 10 x100的矩陣,可初始化為；W4 = (2*rand(10,100)-1 yiO；v: 10 x1 的列向量.v = W4xy3;y：與v同尺寸，y = Softmax(v);I haaii.fc rff lip_fcBBir1jrMiii|p rindcff-ri0Bn3i2、模型向后誤差傳播參數(shù)更新過程：dW4: W4的更新量(矩陣)dW4 = alpha*delta*y3;e: 10 x1的輸出偏

5、差列向量=d-y;d:與e同尺寸，delta = e; %交叉Jffi+SoftrdW3: W3的更新量(矩陣)dW3 = alpha*delta3*y2;e3: 100 x1 維的列向量，e3 = W4P * delta;b3:與93同尺寸 t delta3 = (v3 0) .* b3;2: 2000 x1 維的列向量，e2 = W3，*deltas；E2; 10 x10 x20的矩陣.E2 = reshape(e2, size(Y2);El: 20 x20 x20的矩陣.E1=?E1 = zeros(size(Y1); E2_4= 一E2/4;b1;與El 同尺寸deltal = (VI

6、 0) .*E1(1:2:endJ:2:end,:) = E2_4;E1；E1(1:2;end,2:2:日 nd,:) = E2_4;E1(2:2:endT1:2:endt:)二 E2_4;口 j “-心 2:2:end!2:2:endt:) = E2 4;用M各頁直接(不翻轉(zhuǎn))對X滑宙派波，RJtvalld區(qū)域% *3斜止務(wù)huiraiy Janrnii:. m.i:湘3 $ ：:e、L匚 rin rriTguiCnn.irniCnn.nn | +Erublit djilJilipB u4iih ifcrDlbriAYr3 H尊UghcTiJi：的tdityLommand Window21

7、22 23 24 25 2G 11 ZB ZQ 3E 31 32 3334 35 始Tor K 1FMIT95Bendul = ze-rciE 12,20,20):x = X_TestC 孔孔 I:);far j = 1:1avlC! r - - j ) = filter! (Wl (i a: j j ), x_ va Lid) jcho1 = maLKiB.vll:2 - (Tl( iZzefiEl, 1:3 lend. :1+Y1I2:2 :endr3 :2:efid,: )f-lyZ 二 reshape(rZ00B.1 J;v2二制*方y(tǒng)3 = naixl 6心1 ：v 二 bl4+-y2;y = SoftnaxCvl;f口 = nax(yljjj = inM(D_7e5t(EJkJ 3d.cMpI k. = 1)d.truelkJ - j;if d_ciMip(k = d_true (acc = acl5.e,);EKturacy Is 0.57660 raise nuiHeir is HL畫