增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)及其在人臉檢測(cè)中的應(yīng)用

1、2022-6-30增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)及其在人臉檢測(cè)中的應(yīng)用及其在人臉檢測(cè)中的應(yīng)用12022-6-30主要內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)1基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)2結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)的后期學(xué)習(xí)3實(shí)驗(yàn)結(jié)果422022-6-30卷積神經(jīng)網(wǎng)絡(luò)三種結(jié)構(gòu)性方法：（1）局部感受域（2）權(quán)值共享（3）空間域或時(shí)間域上的次采樣圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖32022-6-30卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)（1）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合。（2）特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生。（3）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng)。（4）方便并行化處理。42022-6-30基于結(jié)構(gòu)增

2、長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)定義： 利用增量的方式從最簡(jiǎn)單的網(wǎng)絡(luò)開始增長(zhǎng)，生成一個(gè)檢測(cè)速度很快而網(wǎng)絡(luò)規(guī)模卻相對(duì)較小的卷積神經(jīng)網(wǎng)絡(luò)。目的： 構(gòu)造大規(guī)模的網(wǎng)絡(luò)會(huì)提高一定的識(shí)別率，但是網(wǎng)絡(luò)參數(shù)大，花費(fèi)時(shí)間長(zhǎng)。在精確度與檢測(cè)速度這兩者之間保持一個(gè)最佳平衡。52022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò) 不使用先驗(yàn)知識(shí)為網(wǎng)絡(luò)事先設(shè)定結(jié)構(gòu)，而是根據(jù)訓(xùn)練的情況，讓它自己“長(zhǎng)大”，直到可以達(dá)到要求為止。學(xué)習(xí)過程分為兩個(gè)階段：（1）前期學(xué)習(xí)（2）后期學(xué)習(xí)62022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)圖2 初始情況下的卷積神經(jīng)網(wǎng)絡(luò)a需訓(xùn)練參數(shù)：89個(gè)72022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)如果N1輸出大于0，則表示輸入

3、為人臉；如果輸出小于或等于0，則表示輸入為非人臉。學(xué)習(xí)算法：停止學(xué)習(xí)：樣本的誤差收斂速度低于所設(shè)定的值；繼續(xù)學(xué)習(xí)：網(wǎng)絡(luò)的平均誤差沒有達(dá)到期望要求，訓(xùn)練過程進(jìn)入第一輪增長(zhǎng)。82022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)圖3 網(wǎng)絡(luò)a經(jīng)過第一輪的增長(zhǎng)得到的卷積神經(jīng)網(wǎng)絡(luò)b全部參數(shù)：181個(gè)需訓(xùn)練參數(shù)：92個(gè)92022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法： 權(quán)值修改路線始終沿著新增加的神經(jīng)元；已經(jīng)訓(xùn)練好的路線神經(jīng)元不做修改。停止學(xué)習(xí)：樣本的誤差收斂速度低于所設(shè)定的值；繼續(xù)學(xué)習(xí)：網(wǎng)絡(luò)的平均誤差沒有達(dá)到期望要求，訓(xùn)練過程進(jìn)入第二輪增長(zhǎng)。102022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)圖4 網(wǎng)絡(luò)b經(jīng)過

4、第二輪的增長(zhǎng)得到卷積神經(jīng)網(wǎng)絡(luò)c全部參數(shù)：240個(gè)需訓(xùn)練參數(shù)：62個(gè)112022-6-30基于結(jié)構(gòu)增長(zhǎng)的卷積神經(jīng)網(wǎng)絡(luò)下面給出整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的增長(zhǎng)算法：122022-6-30結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)的后期學(xué)習(xí)學(xué)習(xí)目的：較好地解決非人臉樣本收集不足的問題。 結(jié)構(gòu)固定的神經(jīng)網(wǎng)絡(luò)在每一次訓(xùn)練后都會(huì)更新全部的權(quán)值，容易丟失原有的訓(xùn)練“記憶”。 結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)為后期新樣本增加了新的神經(jīng)元來進(jìn)行后期學(xué)習(xí)，學(xué)習(xí)過程只更新新增加的神經(jīng)元權(quán)值，已經(jīng)訓(xùn)練好的神經(jīng)元不做修改。 既保留了前期訓(xùn)練的結(jié)果，又學(xué)習(xí)了新的知識(shí)。132022-6-30結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)的后期學(xué)習(xí)圖5 結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)進(jìn)行后期訓(xùn)練142022-6-30結(jié)構(gòu)增長(zhǎng)式網(wǎng)絡(luò)

5、的后期學(xué)習(xí)新增加的神經(jīng)元為分支7。為了防止后期學(xué)習(xí)造成過擬合：使用交叉驗(yàn)證技術(shù)，采用一個(gè)獨(dú)立的驗(yàn)證集，在此驗(yàn)證集上誤差達(dá)到最小時(shí)，就停止訓(xùn)練。152022-6-30實(shí)驗(yàn)結(jié)果與Carcia神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，分成兩部分：前期訓(xùn)練結(jié)果比較： 比較經(jīng)過前期訓(xùn)練的網(wǎng)絡(luò)的檢測(cè)速度與精確度性能。后期訓(xùn)練結(jié)果比較： 關(guān)于兩個(gè)網(wǎng)絡(luò)對(duì)于新增樣本的后期學(xué)習(xí)的效果比較。162022-6-30實(shí)驗(yàn)結(jié)果：前期訓(xùn)練結(jié)果比較從Cmu圖片庫中選取樣本。采用4858幅樣本對(duì)兩者進(jìn)行前期的成批訓(xùn)練。采用10000幅同樣大小識(shí)別圖片對(duì)前期效果進(jìn)行測(cè)試。 為平衡識(shí)別率與識(shí)別速度，增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)的最終分支數(shù)選為6。實(shí)驗(yàn)結(jié)果：6支路I

6、CNN較Carcia識(shí)別率略低，識(shí)別時(shí)間只有后者的63%。172022-6-30實(shí)驗(yàn)結(jié)果：前期訓(xùn)練結(jié)果比較表1 前期訓(xùn)練結(jié)果比較182022-6-30實(shí)驗(yàn)結(jié)果：前期訓(xùn)練結(jié)果比較再使用一些來源于網(wǎng)絡(luò)的圖片為兩者的檢測(cè)率做一下比較：網(wǎng)絡(luò)類型網(wǎng)絡(luò)類型檢測(cè)率檢測(cè)率虛警數(shù)虛警數(shù)增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)91.8%213Carcia網(wǎng)絡(luò)92.5%187表2 前期檢測(cè)結(jié)果在網(wǎng)絡(luò)圖片上的比較192022-6-30實(shí)驗(yàn)結(jié)果：后期訓(xùn)練結(jié)果比較采用原來進(jìn)行訓(xùn)練的4858幅樣本，并另外收集1000幅樣本，包括500幅人臉樣本和500幅非人臉樣本，總共5858幅樣本作為后期訓(xùn)練樣本。另外，再?gòu)腃mu圖片庫中選擇8000幅圖片作為驗(yàn)證圖片集。6支路ICNN識(shí)別率為98.28%Carcia網(wǎng)絡(luò)識(shí)別率為98.67%時(shí)間上，前者是后者的六分之一。202022-6-30實(shí)驗(yàn)結(jié)果：后期訓(xùn)練結(jié)果比較再重新使用先前的網(wǎng)絡(luò)圖片為兩者的檢測(cè)率進(jìn)行比較：網(wǎng)絡(luò)類型網(wǎng)絡(luò)類型檢測(cè)率檢測(cè)率虛警數(shù)虛警數(shù)增長(zhǎng)式卷積神經(jīng)網(wǎng)絡(luò)92.3%158Carcia網(wǎng)絡(luò)92.5%187表3 后期訓(xùn)練結(jié)果在網(wǎng)絡(luò)圖片上的比較21ICNN的兩大改進(jìn)：2022-6-30第一：根據(jù)訓(xùn)練要求，網(wǎng)絡(luò)結(jié)構(gòu)不斷增長(zhǎng)，最