基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別培訓(xùn)課件

基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別3基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)基于人工神經(jīng)網(wǎng)絡(luò)使用卷積核作為特征抽取器自動(dòng)訓(xùn)練特征抽取器（即卷積核，即閾值參數(shù)）卷積核一次訓(xùn)練多次使用，可以在線學(xué)習(xí)（模型在訓(xùn)練好之后，在使用中繼續(xù)訓(xùn)練）。局部感受野+權(quán)值共享+下采樣使模型參數(shù)大幅減小。4基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別5基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別6基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別7卷積w13w12w11w23w22w21w33w32w3110-110-110-1ConvolvewithThresholdw13w12w11w23w22w21w33w32w31卷積其實(shí)是一個(gè)圖像處理核卷積用于增強(qiáng)圖像的某種特征，降低噪音基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別8卷積features基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別9卷積基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別子采樣利用圖像局部相關(guān)性的原理，減少訓(xùn)練維數(shù)，同時(shí)保留了有用信息降低圖像分辨率增強(qiáng)網(wǎng)絡(luò)對(duì)大小變化的適用性10基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別子采樣11基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別12基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別為什么不把S2中的每個(gè)特征圖連接到每個(gè)C3的特征圖呢？原因有2點(diǎn)。第一，不完全的連接機(jī)制將連接的數(shù)量保持在合理的范圍內(nèi)。第二，也是最重要的，其破壞了網(wǎng)絡(luò)的對(duì)稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征。13基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別訓(xùn)練過程訓(xùn)練算法與傳統(tǒng)的BP算法差不多。主要包括4步，這4步被分為兩個(gè)階段：第一階段，向前傳播階段：a）從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b）計(jì)算相應(yīng)的實(shí)際輸出Op。

在此階段，信息從輸入層經(jīng)過逐級(jí)的變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算（實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二階段，向后傳播階段a）算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。14基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別15LeNet5基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別16LeNet5基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別優(yōu)點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：

a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；b）特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生；c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強(qiáng)。17基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別缺點(diǎn)實(shí)踐中，具有類標(biāo)號(hào)的數(shù)據(jù)較少，而不具有類標(biāo)號(hào)的數(shù)據(jù)非常豐富，為每個(gè)數(shù)據(jù)人工設(shè)置類標(biāo)號(hào)是非常費(fèi)時(shí)和枯燥的。然而，為了使得監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練具有較高的泛化能力，需要大量具有類標(biāo)號(hào)的訓(xùn)練樣本，這也是制約臨督卷積神經(jīng)網(wǎng)絡(luò)在實(shí)踐巾應(yīng)用的主要因素。18基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)的非監(jiān)督深層網(wǎng)絡(luò)含有較多的權(quán)值，當(dāng)具有類標(biāo)號(hào)的訓(xùn)練樣本較少時(shí)，僅使用監(jiān)督訓(xùn)練的方法不能充分訓(xùn)練深層網(wǎng)絡(luò)。近年來，深層學(xué)習(xí)的研究表明，可以先使用沒有類標(biāo)號(hào)的訓(xùn)練樣本逐層非脆督訓(xùn)練深層網(wǎng)絡(luò)，而后，再使用少量具有類標(biāo)號(hào)的訓(xùn)練樣本監(jiān)督訓(xùn)練深層網(wǎng)絡(luò)，進(jìn)行權(quán)值微調(diào)，這樣在具有類標(biāo)號(hào)的訓(xùn)練樣本較少時(shí)，也能訓(xùn)練出泛化能力較高