基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識(shí)別

CONTENTSONE研究意義TWO研究相關(guān)神經(jīng)網(wǎng)絡(luò)識(shí)別文字研究的意義，目的，識(shí)別文字能夠進(jìn)行的相關(guān)工作。研究主要涉及的領(lǐng)域、研究中所使用的相關(guān)理論、以及研究所使用的技術(shù)和方法。THREE研究結(jié)果FOUR算法改進(jìn)到目前為止，研究的結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對(duì)字符進(jìn)行識(shí)別能達(dá)到的效果。對(duì)前面所述的研究進(jìn)行創(chuàng)新性的改進(jìn)，使得能夠更高效地識(shí)別，主要有四種改進(jìn)。FIVE擴(kuò)展及實(shí)際運(yùn)用對(duì)算法的進(jìn)行實(shí)際運(yùn)用性的擴(kuò)展，以及實(shí)際運(yùn)用。01研究意義神經(jīng)網(wǎng)絡(luò)識(shí)別文字研究的意義，目的，識(shí)別文字能夠進(jìn)行的相關(guān)工作。簡化文字輸入字符識(shí)別能夠?qū)⒆址咚?、快效的輸入到?jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)人機(jī)交互，減輕人們的勞動(dòng)，將人力從枯燥冗雜的工作中解放出來，提高處理效率，因而具有重要的研究價(jià)值。車牌號(hào)碼識(shí)別車牌智能自動(dòng)識(shí)別作為智能交通管理系統(tǒng)中的重要組成部分，應(yīng)用非常廣泛，高速公路收費(fèi)管理、超速違章自動(dòng)拍照、停車場管理、小區(qū)進(jìn)出車輛管理、交通數(shù)據(jù)采集等許多系統(tǒng)中都需要識(shí)別車牌號(hào)碼?？爝f信息錄入快遞信息錄入能夠極大地減輕快遞工作人員文字信息錄入的工作，使得工作人員能夠從辛苦、單一無聊的工作中解放出來，有效地加速中國快遞業(yè)的發(fā)展。郵件文字錄入在傳統(tǒng)模式郵件寄送過程中，郵件的分類主要靠人工閱讀并分類，再往各個(gè)地區(qū)發(fā)送，整個(gè)過程費(fèi)時(shí)耗力。近年來，著計(jì)算機(jī)理論與技術(shù)為背景的人工智能運(yùn)用的不斷普及，使得機(jī)器錄入成為現(xiàn)實(shí)。SIGNIFICANCEOFRESEARCH研究意義SR02研究相關(guān)研究主要涉及的領(lǐng)域、研究中所使用的相關(guān)理論、以及研究所使用的技術(shù)和方法。DOMAINOFKNOWLEDGE領(lǐng)域DK機(jī)器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心。人工智能(ArtificialIntelligence,AI)，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。21世紀(jì)，已經(jīng)取得了長足的進(jìn)步，但是到目前為止，還沒有一臺(tái)計(jì)算機(jī)能產(chǎn)生“自我”的意識(shí)。深度學(xué)習(xí)深度學(xué)習(xí)(DeepLearning,DL)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個(gè)像素強(qiáng)度值的向量，或者更抽象地表示成一系列邊、特定形狀的區(qū)域等。機(jī)器學(xué)習(xí)人工智能集成學(xué)習(xí)集成學(xué)習(xí)(ensemblelearning)集成學(xué)習(xí)是使用一系列學(xué)習(xí)器進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各個(gè)學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個(gè)學(xué)習(xí)器更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。。THETWONEURALNETWORKOFRECGNIZATION兩種神經(jīng)網(wǎng)絡(luò)MR反向傳播神經(jīng)網(wǎng)絡(luò)向傳播(backpropagation,BP)算法是1986年由Hinton和McClelland為首的科學(xué)家提出的概念。BP神經(jīng)網(wǎng)絡(luò)是一種采用這種算法進(jìn)行高效訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最強(qiáng)大最廣泛的神經(jīng)網(wǎng)絡(luò)之一。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)。一般包括卷積層(convolutionallayer)、池化層(poolinglayer)和全連接層(denselayer)。THETWOFRAMEOFNEURALNETWORK兩種框架FNTensorFlowTensorFlow是一個(gè)采用數(shù)據(jù)流圖（dataflowgraphs），用于數(shù)值計(jì)算的開源軟件庫。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的線（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活的架構(gòu)讓你可以在多種平臺(tái)上展開計(jì)算，例如臺(tái)式計(jì)算機(jī)中的一個(gè)或多個(gè)CPU（或GPU），服務(wù)器，移動(dòng)設(shè)備等等。KerasKeras是一種高度模塊化，使用簡單上手快，合適深度學(xué)習(xí)初學(xué)者使用的深度學(xué)習(xí)框架。Keras由純Python編寫而成并以Tensorflow、Theano以及CNTK為后端。Keras為支持快速實(shí)驗(yàn)而生，能夠把你的idea迅速轉(zhuǎn)換為結(jié)果。03研究結(jié)果到目前為止，研究的結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對(duì)字符進(jìn)行識(shí)別能達(dá)到的效果。BP-NNBP神經(jīng)網(wǎng)絡(luò)BNCONVOLUTIONALNEURALNETWORK卷積神經(jīng)網(wǎng)絡(luò)BNCOMMITTEEOFNEURALNETWORKS神經(jīng)網(wǎng)絡(luò)集成CNTHECURVEOFERROR誤差曲線(mnist)ERTHEERRORRATEOFRECOGNITION誤差率(mnist)ER97.3%搭建BP-NN搭建組合BP-NN搭建CNN+調(diào)參搭建組合CNNInput(Batch_size*28*28)->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10)Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->OutputMulti-(Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->Output)->Combination->FinaloutputMulti-(Input->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10))->Combination->Finaloutput98.3%99.1%99.4%04算法改進(jìn)對(duì)前面所述的研究進(jìn)行創(chuàng)新性的改進(jìn)，使得能夠更高效地識(shí)別，主要有四種改進(jìn)。在傳統(tǒng)CNN上添加了DropOut、Regularization、BatchNormalization優(yōu)化層。優(yōu)化層傳統(tǒng)為sigmod、tanh，本文采用ReLU、PReLU、LeaklyReLU等激活函數(shù)激活函數(shù)傳統(tǒng)優(yōu)化器為SGD、Momentum，采用Adam優(yōu)化器進(jìn)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化優(yōu)化器010203IMPROVEMENTOFALGORITHM神經(jīng)網(wǎng)絡(luò)參數(shù)改進(jìn)IA殘差網(wǎng)絡(luò)(residualnetwork,ResNet)，通過殘差網(wǎng)絡(luò)，可以把網(wǎng)絡(luò)層弄的很深，現(xiàn)在達(dá)到了1000多層，最終的網(wǎng)絡(luò)分類的效果也是令人十分滿意。ResNet緊接卷積神經(jīng)網(wǎng)絡(luò)(DenselyConnectedConvolutionalNetworks,DenseNet)，可以看做是ResNet的一個(gè)特例，通過緊密連接，能夠減輕梯度消失。DenseNetHarmonica算法是優(yōu)秀一種調(diào)參算法，十分高效，并且能夠適應(yīng)于幾乎一切場景。在機(jī)器學(xué)習(xí)里面，調(diào)參尤其重要。HarmonicaBagging算法是一種集成學(xué)習(xí)算法。因?yàn)閱我荒Ｐ途哂芯窒扌?，任何一種模型，都有其缺陷，通過多模型組合能夠趨近完美。盡管是很簡單的思想，但其所帶來的效果令人驚嘆。Bagging01020304IMPROVEMENTOFALGORITHM算法改進(jìn)IA

原因/理由：單一模型具有局限性。任何一種模型，都有其缺陷，通過多模型組合能夠趨近完美。

啟發(fā)：某一次聽說有人用多分類器跑mnist到100%正確率。一個(gè)計(jì)算天才去算10000道四則運(yùn)算題，很大某一道題可能會(huì)犯錯(cuò)，那么他就只能算是趨近完美。但如果十個(gè)計(jì)算天才一起去做這10000道題，每道題由多數(shù)人投票決定，那么，最終的效果必定是更優(yōu)秀的。盡管是很簡單的思想，但其所帶來的效果令人驚嘆。(Error:0.9%->0.6%）因?yàn)閱我荒Ｐ偷木鸵呀?jīng)足夠優(yōu)秀，所以數(shù)字上反應(yīng)并不明顯CONBINATIONCLASSIFICATIONMODEL集成學(xué)習(xí)--BaggingCM1.在參數(shù)空間中，隨機(jī)采樣（比如）100個(gè)點(diǎn)2.對(duì)每個(gè)點(diǎn)計(jì)算低度數(shù)傅里葉基的特征向量，捕捉參數(shù)之間的相關(guān)性3.對(duì)于計(jì)算好的100個(gè)特征向量，跑拉鎖算法，得到（比如）5個(gè)重要的特征，以及這些特征對(duì)應(yīng)的參數(shù)4.固定這些參數(shù)的值，得到了新的調(diào)參數(shù)問題（參數(shù)個(gè)數(shù)減少，搜索空間降低）。5.回到第一步。重復(fù)若干輪之后，固定了很多參數(shù)的值，得到令人滿意的參數(shù)Harmonica

調(diào)參算法HA論文：《HyperparameterOptimization:ASpectralApproach》/abs/1706.00764 Insteadofhopingeachfewstackedlayersdirectlyfitadesiredunderlyingmapping,weexplicitlylettheselayersfitaresidualmapping.Formally,denotingthedesiredunderlyingmappingasH(x),weletthestackednonlinearlayersfitanothermappingofF(x):H(x)-x.TheoriginalmappingisrecastintoF(x)+x.

并不通過簡單的stack的方式把網(wǎng)絡(luò)的深度增加就可以提高performance(因?yàn)樘荻认?彌散問題、神經(jīng)退化問題(神經(jīng)元或其他失效))。假設(shè)原本期望的映射函數(shù)為H(x)，我們讓堆疊的非線性層去擬合另一個(gè)映射F(x):H(x)-x，而原來函數(shù)映射則變?yōu)镕(x)+x。學(xué)習(xí)到的F(x)即為殘差。

殘差：殘差在數(shù)理統(tǒng)計(jì)中是指實(shí)際觀察值與估計(jì)值（擬合值）之間的差?！皻埐睢碧N(yùn)含了有關(guān)模型基本假設(shè)的重要信息。如果回歸模型正確的話，我們可以將殘差看作誤差的觀測值。RESIDUALNETWORK殘差網(wǎng)絡(luò)RN論文：《DeepResidualLearningforImageRecognition》CVPR2015/2016最佳論文/abs/1512.03385Foreachlayer,thefeaturemapsofallprecedinglayersaretreatedasseparateinputswhereasitsownfeaturemapsarepassedonasinputstoallsubsequentlayers.一個(gè)詞概括就是：Dense，多層神經(jīng)網(wǎng)絡(luò)組合成一個(gè)DenseBlock，每一個(gè)DenseBlock都緊密相連。DENSELYCONNECTEDCONVOLUTIONNETWORK緊