基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別課件

基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別1基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別ppt課件2基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別ppt課件3卷積神經(jīng)網(wǎng)絡(luò)基于人工神經(jīng)網(wǎng)絡(luò)使用卷積核作為特征抽取器自動訓(xùn)練特征抽取器（即卷積核，即閾值參數(shù)）卷積核一次訓(xùn)練多次使用，可以在線學(xué)習(xí)（模型在訓(xùn)練好之后，在使用中繼續(xù)訓(xùn)練）。局部感受野+權(quán)值共享+下采樣使模型參數(shù)大幅減小。卷積神經(jīng)網(wǎng)絡(luò)基于人工神經(jīng)網(wǎng)絡(luò)4基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別ppt課件5基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別ppt課件67卷積w13w12w11w23w22w21w33w32w3110-110-110-1ConvolvewithThresholdw13w12w11w23w22w21w33w32w31卷積其實(shí)是一個(gè)圖像處理核卷積用于增強(qiáng)圖像的某種特征，降低噪音7卷積w13w12w11w23w22w21w33w32w3178卷積features8卷積features89卷積9卷積9子采樣利用圖像局部相關(guān)性的原理，減少訓(xùn)練維數(shù)，同時(shí)保留了有用信息降低圖像分辨率增強(qiáng)網(wǎng)絡(luò)對大小變化的適用性子采樣利用圖像局部相關(guān)性的原理，減少訓(xùn)練維數(shù)，同時(shí)保留了有用10子采樣子采樣11基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別ppt課件12為什么不把S2中的每個(gè)特征圖連接到每個(gè)C3的特征圖呢？原因有2點(diǎn)。第一，不完全的連接機(jī)制將連接的數(shù)量保持在合理的范圍內(nèi)。第二，也是最重要的，其破壞了網(wǎng)絡(luò)的對稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征。為什么不把S2中的每個(gè)特征圖連接到每個(gè)C3的特征圖呢？原因有13訓(xùn)練過程訓(xùn)練算法與傳統(tǒng)的BP算法差不多。主要包括4步，這4步被分為兩個(gè)階段：第一階段，向前傳播階段：a）從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b）計(jì)算相應(yīng)的實(shí)際輸出Op。

在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算（實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二階段，向后傳播階段a）算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。訓(xùn)練過程訓(xùn)練算法與傳統(tǒng)的BP算法差不多。主要包括41415LeNet515LeNet51516LeNet516LeNet516優(yōu)點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：

a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；b）特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生；c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強(qiáng)。優(yōu)點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：17缺點(diǎn)實(shí)踐中，具有類標(biāo)號的數(shù)據(jù)較少，而不具有類標(biāo)號的數(shù)據(jù)非常豐富，為每個(gè)數(shù)據(jù)人工設(shè)置類標(biāo)號是非常費(fèi)時(shí)和枯燥的。然而，為了使得監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練具有較高的泛化能力，需要大量具有類標(biāo)號的訓(xùn)練樣本，這也是制約臨督卷積神經(jīng)網(wǎng)絡(luò)在實(shí)踐巾應(yīng)用的主要因素。缺點(diǎn)實(shí)踐中，具有類標(biāo)號的數(shù)據(jù)較少，而不具有類標(biāo)號的數(shù)據(jù)非常豐18卷積神經(jīng)網(wǎng)絡(luò)的非監(jiān)督深層網(wǎng)絡(luò)含有較多的權(quán)值，當(dāng)具有類標(biāo)號的訓(xùn)練樣本較少時(shí)，僅使用監(jiān)督訓(xùn)練的方法不能充分訓(xùn)練深層網(wǎng)絡(luò)。近年來，深層學(xué)習(xí)的研究表明，可以先使用沒有類標(biāo)號的訓(xùn)練樣本逐層非脆督訓(xùn)練深層網(wǎng)絡(luò)，而后，再使用少量具有類標(biāo)號的訓(xùn)練樣本監(jiān)督訓(xùn)練深層網(wǎng)絡(luò)，進(jìn)行權(quán)值微調(diào)，這樣在具有類標(biāo)號的訓(xùn)練樣本較少時(shí)，也能訓(xùn)練出泛化能力較高的深層網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)