增長式卷積神經(jīng)網(wǎng)絡(luò)及其在人臉檢測中的應(yīng)用

1、2022-6-30增長式卷積神經(jīng)網(wǎng)絡(luò)增長式卷積神經(jīng)網(wǎng)絡(luò)及其在人臉檢測中的應(yīng)用及其在人臉檢測中的應(yīng)用12022-6-30主要內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)1基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)2結(jié)構(gòu)增長式網(wǎng)絡(luò)的后期學(xué)習(xí)3實驗結(jié)果422022-6-30卷積神經(jīng)網(wǎng)絡(luò)三種結(jié)構(gòu)性方法：（1）局部感受域（2）權(quán)值共享（3）空間域或時間域上的次采樣圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖32022-6-30卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點（1）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合。（2）特征提取和模式分類同時進(jìn)行，并同時在訓(xùn)練中產(chǎn)生。（3）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強。（4）方便并行化處理。42022-6-30基于結(jié)構(gòu)增

2、長的卷積神經(jīng)網(wǎng)絡(luò)定義： 利用增量的方式從最簡單的網(wǎng)絡(luò)開始增長，生成一個檢測速度很快而網(wǎng)絡(luò)規(guī)模卻相對較小的卷積神經(jīng)網(wǎng)絡(luò)。目的： 構(gòu)造大規(guī)模的網(wǎng)絡(luò)會提高一定的識別率，但是網(wǎng)絡(luò)參數(shù)大，花費時間長。在精確度與檢測速度這兩者之間保持一個最佳平衡。52022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò) 不使用先驗知識為網(wǎng)絡(luò)事先設(shè)定結(jié)構(gòu)，而是根據(jù)訓(xùn)練的情況，讓它自己“長大”，直到可以達(dá)到要求為止。學(xué)習(xí)過程分為兩個階段：（1）前期學(xué)習(xí)（2）后期學(xué)習(xí)62022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)圖2 初始情況下的卷積神經(jīng)網(wǎng)絡(luò)a需訓(xùn)練參數(shù)：89個72022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)如果N1輸出大于0，則表示輸入

3、為人臉；如果輸出小于或等于0，則表示輸入為非人臉。學(xué)習(xí)算法：停止學(xué)習(xí)：樣本的誤差收斂速度低于所設(shè)定的值；繼續(xù)學(xué)習(xí)：網(wǎng)絡(luò)的平均誤差沒有達(dá)到期望要求，訓(xùn)練過程進(jìn)入第一輪增長。82022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)圖3 網(wǎng)絡(luò)a經(jīng)過第一輪的增長得到的卷積神經(jīng)網(wǎng)絡(luò)b全部參數(shù)：181個需訓(xùn)練參數(shù)：92個92022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法： 權(quán)值修改路線始終沿著新增加的神經(jīng)元；已經(jīng)訓(xùn)練好的路線神經(jīng)元不做修改。停止學(xué)習(xí)：樣本的誤差收斂速度低于所設(shè)定的值；繼續(xù)學(xué)習(xí)：網(wǎng)絡(luò)的平均誤差沒有達(dá)到期望要求，訓(xùn)練過程進(jìn)入第二輪增長。102022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)圖4 網(wǎng)絡(luò)b經(jīng)過

4、第二輪的增長得到卷積神經(jīng)網(wǎng)絡(luò)c全部參數(shù)：240個需訓(xùn)練參數(shù)：62個112022-6-30基于結(jié)構(gòu)增長的卷積神經(jīng)網(wǎng)絡(luò)下面給出整個網(wǎng)絡(luò)結(jié)構(gòu)的增長算法：122022-6-30結(jié)構(gòu)增長式網(wǎng)絡(luò)的后期學(xué)習(xí)學(xué)習(xí)目的：較好地解決非人臉樣本收集不足的問題。 結(jié)構(gòu)固定的神經(jīng)網(wǎng)絡(luò)在每一次訓(xùn)練后都會更新全部的權(quán)值，容易丟失原有的訓(xùn)練“記憶”。 結(jié)構(gòu)增長式網(wǎng)絡(luò)為后期新樣本增加了新的神經(jīng)元來進(jìn)行后期學(xué)習(xí)，學(xué)習(xí)過程只更新新增加的神經(jīng)元權(quán)值，已經(jīng)訓(xùn)練好的神經(jīng)元不做修改。 既保留了前期訓(xùn)練的結(jié)果，又學(xué)習(xí)了新的知識。132022-6-30結(jié)構(gòu)增長式網(wǎng)絡(luò)的后期學(xué)習(xí)圖5 結(jié)構(gòu)增長式網(wǎng)絡(luò)進(jìn)行后期訓(xùn)練142022-6-30結(jié)構(gòu)增長式網(wǎng)絡(luò)

5、的后期學(xué)習(xí)新增加的神經(jīng)元為分支7。為了防止后期學(xué)習(xí)造成過擬合：使用交叉驗證技術(shù)，采用一個獨立的驗證集，在此驗證集上誤差達(dá)到最小時，就停止訓(xùn)練。152022-6-30實驗結(jié)果與Carcia神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，分成兩部分：前期訓(xùn)練結(jié)果比較： 比較經(jīng)過前期訓(xùn)練的網(wǎng)絡(luò)的檢測速度與精確度性能。后期訓(xùn)練結(jié)果比較： 關(guān)于兩個網(wǎng)絡(luò)對于新增樣本的后期學(xué)習(xí)的效果比較。162022-6-30實驗結(jié)果：前期訓(xùn)練結(jié)果比較從Cmu圖片庫中選取樣本。采用4858幅樣本對兩者進(jìn)行前期的成批訓(xùn)練。采用10000幅同樣大小識別圖片對前期效果進(jìn)行測試。 為平衡識別率與識別速度，增長式卷積神經(jīng)網(wǎng)絡(luò)的最終分支數(shù)選為6。實驗結(jié)果：6支路I

6、CNN較Carcia識別率略低，識別時間只有后者的63%。172022-6-30實驗結(jié)果：前期訓(xùn)練結(jié)果比較表1 前期訓(xùn)練結(jié)果比較182022-6-30實驗結(jié)果：前期訓(xùn)練結(jié)果比較再使用一些來源于網(wǎng)絡(luò)的圖片為兩者的檢測率做一下比較：網(wǎng)絡(luò)類型網(wǎng)絡(luò)類型檢測率檢測率虛警數(shù)虛警數(shù)增長式卷積神經(jīng)網(wǎng)絡(luò)91.8%213Carcia網(wǎng)絡(luò)92.5%187表2 前期檢測結(jié)果在網(wǎng)絡(luò)圖片上的比較192022-6-30實驗結(jié)果：后期訓(xùn)練結(jié)果比較采用原來進(jìn)行訓(xùn)練的4858幅樣本，并另外收集1000幅樣本，包括500幅人臉樣本和500幅非人臉樣本，總共5858幅樣本作為后期訓(xùn)練樣本。另外，再從Cmu圖片庫中選擇8000幅圖片作為驗證圖片集。6支路ICNN識別率為98.28%Carcia網(wǎng)絡(luò)識別率為98.67%時間上，前者是后者的六分之一。202022-6-30實驗結(jié)果：后期訓(xùn)練結(jié)果比較再重新使用先前的網(wǎng)絡(luò)圖片為兩者的檢測率進(jìn)行比較：網(wǎng)絡(luò)類型網(wǎng)絡(luò)類型檢測率檢測率虛警數(shù)虛警數(shù)增長式卷積神經(jīng)網(wǎng)絡(luò)92.3%158Carcia網(wǎng)絡(luò)92.5%187表3 后期訓(xùn)練結(jié)果在網(wǎng)絡(luò)圖片上的比較21ICNN的兩大改進(jìn)：2022-6-30第一：根據(jù)訓(xùn)練要求，網(wǎng)絡(luò)結(jié)構(gòu)不斷增長，最