人臉識(shí)別中AlexNet網(wǎng)絡(luò)設(shè)計(jì)和改進(jìn)方法研究

１卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)1.1AlexNet在人臉識(shí)別領(lǐng)域的應(yīng)用Alexnet網(wǎng)絡(luò)利用ReLU激活功能作用于每個(gè)卷積層和完全連接層，并且局部響應(yīng)歸一化層連接在第一個(gè)卷積層和第二個(gè)卷積層之后。卷積1層，卷積2層和卷積5層的輸出上均與最大池化層相連接。AlexNet(后文稱為原網(wǎng)絡(luò))的基本架構(gòu)如圖1所示。圖1AlexNet結(jié)構(gòu)圖本設(shè)計(jì)使用ORL人臉數(shù)據(jù)庫(kù)的新卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行訓(xùn)練；對(duì)于訓(xùn)練過(guò)程中發(fā)生的過(guò)擬合問(wèn)題，Hinton提出了“Dropout”方法，即在網(wǎng)絡(luò)學(xué)習(xí)的時(shí)候以固定的(概率),通常設(shè)置為0.5,再把輸入層或者隱藏層的神經(jīng)元輸出設(shè)置為0,這個(gè)神經(jīng)元沒(méi)法連續(xù)正向傳播和誤差反向傳播，但在測(cè)試時(shí)，p乘以輸入層或者隱層的神經(jīng)元輸出作為該層的輸出。由于網(wǎng)絡(luò)中每個(gè)輸入圖像神經(jīng)元被隨機(jī)設(shè)置為0,因此需要要求圖像中最基本的特征是由隱藏層神經(jīng)元提取，采用“Dropout”解決過(guò)擬合問(wèn)題。1.2AlexNet的改進(jìn)本文網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖2所示。圖2本文網(wǎng)絡(luò)的結(jié)構(gòu)圖（1）用7x7和5x5的兩個(gè)小卷積核替代原來(lái)的11x11的大卷積核，為了保證原結(jié)構(gòu)maxpooll（第一最大池化層）的輸出不發(fā)生變化，Convl-1（第一卷積層的第一卷積核）、Convl-2（第一卷積層的第二卷積核）個(gè)數(shù)保持不變，并對(duì)其進(jìn)行補(bǔ)充操作。后面的模型結(jié)構(gòu)圖和原網(wǎng)絡(luò)相同，原來(lái)的FC8層變?yōu)镕C7層，具體參數(shù)如表1所示。表1Conv1-1和Conv1-2具體參數(shù)（2）在激活函數(shù)與池化層之間刪除LRN層。（3）本文網(wǎng)絡(luò)模型減少了1層（FC7層），第一層變?yōu)閮蓚€(gè)小卷積模塊形式。其中改進(jìn)層具體參數(shù)變化如表2所示。表2原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)參數(shù)對(duì)比1.3人臉圖像的預(yù)處理人臉原圖片的尺寸是112x92,標(biāo)準(zhǔn)化變?yōu)?56x256的人臉，就可以隨機(jī)在標(biāo)準(zhǔn)化后的圖片上裁剪一個(gè)227x227的圖像來(lái)訓(xùn)練，并橫向的進(jìn)行翻轉(zhuǎn)、平移等-系列的操作來(lái)拓展數(shù)據(jù)集大小。0RL人臉數(shù)據(jù)庫(kù)的樣例如圖3所示。圖３ORL人臉數(shù)據(jù)庫(kù)樣例對(duì)ORL數(shù)據(jù)庫(kù)做以下處理：（1）將數(shù)據(jù)庫(kù)中的訓(xùn)練集、驗(yàn)證集、測(cè)試集的比例設(shè)置為3：1：1,然后再把ORL中圖片標(biāo)準(zhǔn)化大小，如圖4所示，經(jīng)cvResize函數(shù)將原圖112x92標(biāo)準(zhǔn)化256x256。圖4人臉標(biāo)準(zhǔn)化過(guò)程（2）將訓(xùn)練集、驗(yàn)證集、測(cè)試集的40個(gè)人分別分為40類制作標(biāo)簽，放到40個(gè)編號(hào)0?39的文件夾內(nèi)。（3）制作標(biāo)簽txt文件。（4）轉(zhuǎn)換Imdb格式的數(shù)據(jù)集。（5）訓(xùn)練集均值文件。至此，人臉圖像的預(yù)處理結(jié)束。２網(wǎng)絡(luò)的訓(xùn)練和測(cè)試本文利用批量隨機(jī)梯度下降的方式，準(zhǔn)確率提升得更快。對(duì)于ORL人臉數(shù)據(jù)庫(kù)原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練，最大迭代次數(shù)均為10000,批處理圖片大小分別為4個(gè)和8個(gè)，動(dòng)量均為0.9,常數(shù)因子均為0.1（本實(shí)驗(yàn)由于最大迭代次數(shù)和步長(zhǎng)設(shè)置相同,所以此參數(shù)可以忽略），初始權(quán)值均為0.0005,步長(zhǎng)均為10000,初始學(xué)習(xí)速率均為0.0001,均為訓(xùn)練1次測(cè)試一次，訓(xùn)練1000次存儲(chǔ)一個(gè)模型。每次訓(xùn)練網(wǎng)絡(luò)，更新的參數(shù)都會(huì)遍歷它的批處理量。更新公式為：其中：表示更新前的權(quán)值，表示更新后的權(quán)值，表示動(dòng)量，表示初始學(xué)習(xí)速率，Ｌ表示步長(zhǎng)，表示第批圖像的誤差對(duì)偏導(dǎo)的平均值。３實(shí)驗(yàn)與結(jié)果分析AlexNet網(wǎng)絡(luò)和本文網(wǎng)絡(luò)通過(guò)迭代次數(shù)找到最適合ORL人臉數(shù)據(jù)庫(kù)的網(wǎng)絡(luò)模型。本設(shè)計(jì)的測(cè)試集的識(shí)別率只是通過(guò)網(wǎng)絡(luò)模型測(cè)試人臉數(shù)據(jù)的優(yōu)劣性，最終的識(shí)別率是全部樣本的識(shí)別率。同時(shí)通過(guò)比較各個(gè)集合的損失值得出網(wǎng)絡(luò)模型在保留盡可能多的人臉信息的前提下保證其識(shí)別率的準(zhǔn)確性。3.1卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別AlexNet網(wǎng)絡(luò)的迭代次數(shù)取為1000~10000）,本文網(wǎng)絡(luò)的迭代次數(shù)取為（1000~10000）用這些模型進(jìn)行人臉識(shí)別的測(cè)試來(lái)比較它們的損失值和識(shí)別率。圖5表示出對(duì)應(yīng)于ORL中的原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的迭代次數(shù)的訓(xùn)練集成本函數(shù)損失。圖5原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)訓(xùn)練集損失曲線由圖5可以看出本文網(wǎng)絡(luò)只有在迭代2000、3000、3500、4000、4500、4800、9400、9600次的時(shí)候訓(xùn)練集損失的值要比改進(jìn)前的網(wǎng)絡(luò)高，其余的時(shí)候遠(yuǎn)遠(yuǎn)低于原網(wǎng)絡(luò)，最后趨于零達(dá)到平穩(wěn)。圖6顯示于ORL中原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的迭代次數(shù)的驗(yàn)證集成本函數(shù)損失圖6原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)驗(yàn)證集損失曲線由圖6可以看出驗(yàn)證集本文網(wǎng)絡(luò)在迭代1000次、2200次、9500次、9700次的時(shí)候損失值比原網(wǎng)絡(luò)損失值高，其余的時(shí)候均比原網(wǎng)絡(luò)損失值低,最后趨于零達(dá)到平穩(wěn)。圖7顯示了對(duì)應(yīng)于ORL中原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的迭代次數(shù)的測(cè)試集成本函數(shù)損失。圖7原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)測(cè)試集損失曲線由圖7可以看出本文網(wǎng)絡(luò)下降的速度比原網(wǎng)絡(luò)下降的快，在迭代5000次之后，基本趨于穩(wěn)定，雖然在迭代8000-9500次的時(shí)候損失值略高于原網(wǎng)絡(luò)，但是原網(wǎng)絡(luò)的損失值一直在上下震蕩，最后本文網(wǎng)絡(luò)的損失值收斂在0.1附近。圖8顯示了ORL中原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的迭代次數(shù)樣本集成本函數(shù)損失。圖8原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)樣本集損失曲線圖8和圖7的曲線類似，不同的是圖8的樣本集損失值一直處在原網(wǎng)絡(luò)的下方，最后樣本集的損失值也收斂在0.1附近。圖9顯示了ORL人臉數(shù)據(jù)庫(kù)中原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)迭代次數(shù)訓(xùn)練集的準(zhǔn)確率。圖9原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)驗(yàn)證集對(duì)訓(xùn)練集測(cè)試的準(zhǔn)確率曲線

由圖9可以看出本文網(wǎng)絡(luò)驗(yàn)證集對(duì)訓(xùn)練集的準(zhǔn)確率的上升速度比原網(wǎng)絡(luò)快，并且在迭代6000次之前都是穩(wěn)步上升的，而迭代6000次之后原網(wǎng)絡(luò)上下強(qiáng)烈震蕩，本文網(wǎng)絡(luò)減小了震蕩，在97.5%的時(shí)候趨于平穩(wěn)。圖10顯示了ORL人臉數(shù)據(jù)庫(kù)原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)迭代次數(shù)中每次迭代的測(cè)試集識(shí)別率。圖10原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)測(cè)試集識(shí)別率曲線由圖10可以看出在迭代6000次之前，原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)對(duì)測(cè)試集的識(shí)別率均穩(wěn)步上升，其中原網(wǎng)絡(luò)識(shí)別率最高為97.5%,而本文網(wǎng)絡(luò)識(shí)別率最高為98.75%。但在迭代6000次之后原網(wǎng)絡(luò)發(fā)生強(qiáng)烈震蕩，本文網(wǎng)絡(luò)也略微下降，在迭代8000?9200次的時(shí)候略低于原網(wǎng)絡(luò)測(cè)試集的識(shí)別率，本文網(wǎng)絡(luò)隨后繼續(xù)上升直到識(shí)別率為96.25%的時(shí)候趨于穩(wěn)定。圖11顯示了ORL原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)迭代次數(shù)的樣本集識(shí)別率。圖11原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)樣本集識(shí)別率曲線圖11和圖10基本相似，不同的本文網(wǎng)絡(luò)的樣本集識(shí)別率幾乎一直在原網(wǎng)絡(luò)樣本集識(shí)別率之上（除了迭代9000?10000次）。其中，原網(wǎng)絡(luò)對(duì)樣本集的最高識(shí)別率為98.75%,本文網(wǎng)絡(luò)對(duì)樣本集的最高識(shí)別率為99%。原網(wǎng)絡(luò)和本文網(wǎng)絡(luò)對(duì)全部樣本的識(shí)別率分別在98.5％和98.75%達(dá)到平衡。綜上所說(shuō)，本文網(wǎng)絡(luò)損失曲線和識(shí)別率曲線要比原網(wǎng)絡(luò)損失曲線和識(shí)別率曲線震蕩減小趨于平穩(wěn)，達(dá)到的實(shí)踐效果更好。測(cè)量對(duì)于相應(yīng)的人臉數(shù)據(jù)庫(kù)訓(xùn)練集和測(cè)試集的每個(gè)模型的正確識(shí)別率，結(jié)果如表3、表4所示。表3AlexNet網(wǎng)絡(luò)0RL人臉數(shù)據(jù)庫(kù)的正確識(shí)別率（%）表4本文網(wǎng)絡(luò)ORL人臉數(shù)據(jù)庫(kù)的正確識(shí)別率由上述表格的數(shù)據(jù)得到，原網(wǎng)絡(luò)最佳的模型AlexNet網(wǎng)絡(luò)的_iter_9000;本文最佳的網(wǎng)絡(luò)模型本文網(wǎng)絡(luò)的_iter_6000;本文人臉的識(shí)別率是以測(cè)試集的識(shí)別率為準(zhǔn)，本文網(wǎng)絡(luò)的人臉識(shí)別率比原網(wǎng)絡(luò)高1.25%,在一定程度內(nèi)能提高識(shí)別率的收斂速度。3.2AlexNet網(wǎng)絡(luò)的模型和本文網(wǎng)絡(luò)的模型與其他算法的比較傳統(tǒng)人臉識(shí)別算法的識(shí)別率如表5所示。表5傳統(tǒng)算法ORL人臉數(shù)據(jù)庫(kù)的正確識(shí)別率（%）表6AlexNet網(wǎng)絡(luò)和本文網(wǎng)絡(luò)與用于ORL庫(kù)的其他算法的比較AlexNet網(wǎng)絡(luò)結(jié)構(gòu)模型對(duì)ORL人臉數(shù)據(jù)庫(kù)的識(shí)別率是97.5%,樣本識(shí)別率是98.75%。而本文網(wǎng)絡(luò)結(jié)構(gòu)模型對(duì)ORL人臉數(shù)據(jù)庫(kù)的識(shí)別率達(dá)到98.75%,樣本識(shí)別率是99%。表6是本文設(shè)計(jì)的網(wǎng)絡(luò)與傳統(tǒng)算法在ORL人臉數(shù)據(jù)庫(kù)識(shí)別率的對(duì)比。從中可以得出結(jié)論，本文所設(shè)計(jì)的網(wǎng)絡(luò)對(duì)ORL人臉數(shù)據(jù)庫(kù)中的識(shí)別率提高1.25%,樣本識(shí)別率提升0.25%。3.3實(shí)驗(yàn)總結(jié)本文提出了一個(gè)7層網(wǎng)絡(luò)應(yīng)用于0RL人臉數(shù)據(jù)庫(kù)的人臉識(shí)別，提高了AlexNet網(wǎng)絡(luò)中的超參數(shù)的批處理量，在迭代次數(shù)很小的時(shí)候就達(dá)到飽和程度，發(fā)現(xiàn)訓(xùn)練的收斂程度更快，驗(yàn)證的準(zhǔn)確率更高。從訓(xùn)練集、驗(yàn)證集、測(cè)試集的損失曲線可以看出本文網(wǎng)絡(luò)損失更少，并且訓(xùn)練出的模型測(cè)試人臉的識(shí)別率為98.75%（比原網(wǎng)絡(luò)提高1.25%）,所有樣本的識(shí)別率可以達(dá)到99%（比原網(wǎng)絡(luò)提高0.25%）,人臉