基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別

1、基于BP神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識別匯報(bào)人 ：李烽第1頁文件起源：Y. Le Cun, B. Boser, J. S. Denker, R. E. Howard, W. Habbard, L. D. Jackel, and D. Henderson. Handwritten digit recognition with a back-propagation network. In Advances in neural information processing systems 2, 1989第2頁 本文使用BP網(wǎng)絡(luò)進(jìn)行手寫數(shù)字識別，與以往將特征向量作為輸入不一樣，該網(wǎng)絡(luò)直接將圖像作為輸入，說明BP網(wǎng)

2、絡(luò)具有處理大量低級信息（low level information）能力.早前對簡單數(shù)字圖像工作說明網(wǎng)絡(luò)結(jié)構(gòu)極大地影響了網(wǎng)絡(luò)泛化能力。良好泛化能力可經(jīng)過在網(wǎng)絡(luò)設(shè)計(jì)過程中引入先驗(yàn)知識得到。一個(gè)基本設(shè)計(jì)原則是降低自由參數(shù)（free parameters）,而不用過分降低網(wǎng)絡(luò)計(jì)算能力。其次，要在網(wǎng)絡(luò)結(jié)構(gòu)中涉及合適約束條件。INTRODUCTION第3頁ZIPCODE RECOGNITION選擇手寫數(shù)字識別作為研究對象是因?yàn)檫@是一個(gè)相對簡單機(jī)器視覺任務(wù)：1.將黑白像素點(diǎn)作為輸入；2.數(shù)字能夠很好地與背景分離開；3.輸出只有10個(gè)類別；第4頁存在問題：1. 普通要得到很好訓(xùn)練效果，隱層數(shù)目不能太少，當(dāng)圖

3、片大時(shí)候，需要權(quán)值會非常多！2. 對平移、尺度改變敏感（比如數(shù)字偏左上角，右下角時(shí)即識別失敗）3. 圖片在相鄰區(qū)域是相關(guān)，而這種網(wǎng)絡(luò)只是一股腦把全部像素扔進(jìn)去，沒有考慮圖片相關(guān)性。用最簡單神經(jīng)網(wǎng)絡(luò)進(jìn)行識別28*28像素圖片第5頁ZIPCODE RECOGNITION選取數(shù)據(jù)集來自紐約郵局真實(shí)數(shù)據(jù)，包含各式各樣手寫數(shù)字。作為補(bǔ)充，還加入了35種字體打印數(shù)字。訓(xùn)練集：7291條手寫數(shù)字，2549條打印數(shù)字測試集：條手寫數(shù)字，700條打印數(shù)字訓(xùn)練集與測試集中打印數(shù)字字體不一樣訓(xùn)練集與測試集中包含歧義、未分類、無分類數(shù)據(jù)第6頁P(yáng)REPROCESSING 在字符識別過程中，識別算法不需要關(guān)心圖像彩色信息

4、。所以，需要將彩色圖像轉(zhuǎn)化為灰度圖像。經(jīng)過灰度化處理后圖像中還包含有背景信息。所以，我們還得深入處理，將背景噪聲屏蔽掉，突顯出字符輪廓信息。二值化處理就能夠?qū)⑵渲凶址@現(xiàn)出來，并將背景去除掉。第7頁THE NETWORK預(yù)處理之后，多層神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。網(wǎng)絡(luò)中全部連接都是自適應(yīng)。輸入：歸一化圖像輸出：10個(gè)類，如數(shù)字 2 結(jié)果以下：-1 -1 1 -1 -1 -1 -1 -1 -1 -1全連接網(wǎng)絡(luò)因?yàn)橛刑嘧杂蓞?shù)而不能進(jìn)行良好泛化：全局、局部局部感受野、權(quán)值共享、feature map第8頁每種濾波器參數(shù)不一樣，表示它提出輸入圖像不一樣特征，比如不一樣邊緣。這么每種濾波器去卷積圖像就得到對圖

5、像不一樣特征放映，我們稱之為Feature Map。一個(gè)feature map中全部神經(jīng)元使用相同過濾器，不一樣層feature map 使用不一樣過濾器。第9頁卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)普通地，C層為特征提取層，每個(gè)神經(jīng)元輸入與前一層局部感受野相連，并提取該局部特征，一旦該局部特征被提取后，它與其它特征間位置關(guān)系也隨之確定下來；S層是特征映射層，網(wǎng)絡(luò)每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上全部神經(jīng)元權(quán)值相等。特征映射結(jié)構(gòu)采取影響函數(shù)核小sigmoid函數(shù)作為卷積網(wǎng)絡(luò)激活函數(shù)，使得特征映射含有位移不變性。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，得到輸出。卷積神經(jīng)

6、網(wǎng)絡(luò)中每一個(gè)特征提取層（C-層）都緊跟著一個(gè)用來求局部平均與二次提取計(jì)算層（S-層），這種特有兩次特征提取結(jié)構(gòu)減小了特征分辨率。第10頁卷積和子采樣過程用一個(gè)可訓(xùn)練濾波器fx去卷積一個(gè)輸入圖像（第一階段是輸入圖像，后面階段就是卷積feature map），然后加一個(gè)偏置bx，得到卷積層Cx。卷積層輸出= Sigmoid( Sum(卷積) +偏移量)子采樣（subsampling）過程包含：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后經(jīng)過標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后經(jīng)過一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大約縮小四倍feature map Sx+1輸出= Sigmoid( 采樣*權(quán)重 +偏

7、移量)第11頁6個(gè)5X5模板LeNet-5手寫識別系統(tǒng)LeNet-5共有7層，不包含輸入，每層都包含可訓(xùn)練參數(shù)（連接權(quán)重）。輸入圖像為32*32大小。這要比Mnist數(shù)據(jù)庫（一個(gè)公認(rèn)手寫數(shù)據(jù)庫）中最大字母還大。這么做原因是希望潛在顯著特征如筆畫斷電或角點(diǎn)能夠出現(xiàn)在最高層特征監(jiān)測子感受野中心第12頁輸入圖像是32x32大小，局部滑動(dòng)窗（卷積核）大小是5x5，因?yàn)椴豢紤]對圖像邊界進(jìn)行拓展，則滑動(dòng)窗將有28x28個(gè)不一樣位置，也就是C1層大小是28x28。這里設(shè)定有6個(gè)不一樣C1層，每一個(gè)C1層內(nèi)權(quán)值是相同。C1層是一個(gè)卷積層（為何是卷積？卷積運(yùn)算一個(gè)主要特點(diǎn)就是，經(jīng)過卷積運(yùn)算，能夠使原信號特征增強(qiáng)

8、，而且降低噪音）每個(gè)層有多個(gè)Feature Map，每個(gè)Feature Map經(jīng)過一個(gè)卷積濾波器提取輸入一個(gè)特征(每種特征都不一樣)，然后每個(gè)Feature Map有多個(gè)神經(jīng)元。第13頁下一頁卷積過程第14頁 S2層是一個(gè)下采樣層（利用圖像局部相關(guān)性原理，對圖像進(jìn)行子抽樣，減小圖像規(guī)模同時(shí)保留有用信息），有6個(gè)14*14特征圖。特征圖中每個(gè)單元與C1中相對應(yīng)特征圖2*2鄰域相連接，局部感受野互不覆蓋。S2層每個(gè)單元4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果經(jīng)過sigmoid函數(shù)計(jì)算。每個(gè)單元2*2感受野并不重合，所以S2中每個(gè)特征圖大小是C1中特征圖大小1/4（行和列各1/2

9、）LeNet-5文字識別第15頁C3層也是一個(gè)卷積層，它一樣經(jīng)過5x5卷積核去卷積層S2，然后得到feature map就只有10 x10個(gè)神經(jīng)元，不過它有16種不一樣卷積核，所以就存在16個(gè)feature map了。這里需要注意一點(diǎn)是：C3中每個(gè)feature map是連接到S2中全部6個(gè)或者幾個(gè)feature map，表示本層feature map是上一層提取到特征map不一樣組合LeNet-5LeNet-5文字識別第16頁S4層是一個(gè)下采樣層，由16個(gè)5*5大小特征圖組成。特征圖中每個(gè)單元與C3中對應(yīng)特征圖2*2鄰域相連接，跟C1和S2之間連接一樣。LeNet-5LeNet-5文字識別第

10、17頁C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層全部16個(gè)單元5*5鄰域相連。因?yàn)镾4層特征圖大小也為5*5（同濾波器一樣），故C5特征圖大小為1*1：這組成了S4和C5之間全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)榧偃鏛eNet-5輸入變大，而其它保持不變，那么此時(shí)特征圖維數(shù)就會比1*1大。LeNet-5LeNet-5文字識別第18頁F6層有84個(gè)單元（之所以選這個(gè)數(shù)字原因來自于輸出層設(shè)計(jì)），與C5層全相連。F6層計(jì)算輸入向量和權(quán)重向量之間點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i一個(gè)狀態(tài)。因?yàn)榻?jīng)典BP網(wǎng)絡(luò)是一個(gè)一維節(jié)點(diǎn)分布排列，而卷積神經(jīng)網(wǎng)絡(luò)是

11、二維網(wǎng)絡(luò)結(jié)構(gòu)。所以，要把卷積神經(jīng)網(wǎng)絡(luò)每一層，按照一定次序和規(guī)則映射為一維節(jié)點(diǎn)分布，然后，按照這個(gè)分布創(chuàng)建一個(gè)多層反向傳輸算法網(wǎng)絡(luò)結(jié)構(gòu)，就能夠按照普通BP訓(xùn)練算法去學(xué)習(xí)網(wǎng)絡(luò)參數(shù)輸出普通組織為“one-of-c”形式，也就是只有該輸入對應(yīng)類輸出節(jié)點(diǎn)輸出為正，其它類位或者節(jié)點(diǎn)為-1LeNet-5LeNet-5文字識別第19頁第一階段，向前傳輸階段：a）從樣本集中取一個(gè)樣本(X,Yp)，X是輸入向量，Yp是理想輸出向量，將X輸入網(wǎng)絡(luò)；b）計(jì)算對應(yīng)實(shí)際輸出Op。 在此階段，信息從輸入層經(jīng)過逐層變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行過程。在此過程中，網(wǎng)絡(luò)執(zhí)行是計(jì)算（實(shí)際上就是輸入與

12、每層權(quán)值矩陣相點(diǎn)乘，得到最終輸出結(jié)果）： Op=Fn（F2（F1（XpW（1）W（2）W（n）第二階段，向后傳輸階段a）算實(shí)際輸出Op與對應(yīng)理想輸出Yp差；b）按極小化誤差方法反向傳輸調(diào)整權(quán)矩陣。BP訓(xùn)練過程第20頁RESULTS在SUN SPARC上花了3天時(shí)間模擬訓(xùn)練了30次30次訓(xùn)練之后，訓(xùn)練集（7291條手寫數(shù)字和2549個(gè)打印數(shù)字）上錯(cuò)誤率為1.1%，均方差為0.017在測試集（條手寫數(shù)字加上700條打印數(shù)字）上，錯(cuò)誤率為3.4%，均方差為0.024第21頁CONCLUSION 卷積神經(jīng)網(wǎng)絡(luò)（CNNs）是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法。它利用空間關(guān)系降低需要學(xué)習(xí)參數(shù)數(shù)目以提升

13、普通前向BP算法訓(xùn)練性能。CNNs作為一個(gè)深度學(xué)習(xí)架構(gòu)提出是為了最小化數(shù)據(jù)預(yù)處理要求。在CNN中，圖像一小部分（局部感受野）作為層級結(jié)構(gòu)最低層輸入，信息再依次傳輸?shù)讲灰粯訉?，每層?jīng)過一個(gè)數(shù)字濾波器去取得觀察數(shù)據(jù)最顯著特征。 卷積神經(jīng)網(wǎng)絡(luò)每一個(gè)隱藏層神經(jīng)元提取圖像局部特征，將其映射成一個(gè)平面，特征映射函數(shù)采取sigmoid 函數(shù)作為卷積網(wǎng)絡(luò)激活函數(shù)，使得特征映射含有位移不變性。第22頁CONCLUSION 每個(gè)神經(jīng)元與前一層局部感受野(local receptive field)相連。注意，不是局部連接神經(jīng)元權(quán)值相同，而是同一平面層神經(jīng)元權(quán)值相同，有相同程度位移、旋轉(zhuǎn)不變性，所以網(wǎng)絡(luò)能夠并行學(xué)習(xí)。其