人臉識(shí)別文獻(xiàn)綜述解讀

文獻(xiàn)綜述1引言在計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域，人臉識(shí)別技術(shù)（FaceRecognitionTechnology，簡(jiǎn)稱FRT）是極具挑戰(zhàn)性課題之一。近年來，伴隨相關(guān)技術(shù)飛速發(fā)展和實(shí)際需求日益增加，它已逐步引發(fā)越來越多研究人員關(guān)注。人臉識(shí)別在許多領(lǐng)域有實(shí)際和潛在應(yīng)用，在諸如證件檢驗(yàn)、銀行系統(tǒng)、軍隊(duì)安全、安全檢驗(yàn)等方面都有相當(dāng)寬廣應(yīng)用前景。人臉識(shí)別技術(shù)用于司法領(lǐng)域，作為輔助伎倆，進(jìn)行身份驗(yàn)證，罪犯識(shí)別等;用于商業(yè)領(lǐng)域，如銀行信用卡身份識(shí)別、安全識(shí)別系統(tǒng)等等。正是因?yàn)槿四樧R(shí)別有著寬廣應(yīng)用前景，它才越來越成為當(dāng)前模式識(shí)別和人工智能領(lǐng)域一個(gè)研究熱點(diǎn)。即使人類能夠毫不費(fèi)勁識(shí)別出人臉及其表情，不過人臉機(jī)器自動(dòng)識(shí)別依然是一個(gè)高難度課題。它牽涉到模式識(shí)別、圖像處理及生理、心理等方面很多知識(shí)。與指紋、視網(wǎng)膜、虹膜、基因、聲音等其余人體生物特征識(shí)別系統(tǒng)相比，人臉識(shí)別系統(tǒng)愈加友好、直接，使用者也沒有心理障礙。而且經(jīng)過人臉表情/姿態(tài)分析，還能取得其余識(shí)別系統(tǒng)難以取得一些信息。自感人臉識(shí)別能夠表述為：對(duì)給定場(chǎng)景靜態(tài)或視頻序列圖像，利用人臉數(shù)據(jù)庫(kù)驗(yàn)證、比對(duì)或指認(rèn)校驗(yàn)場(chǎng)景中存在人像，同時(shí)能夠利用其余間接信息，比如人種、年紀(jì)、性別、面部表情、語音等，以減小搜索范圍提升識(shí)別效率。自上世紀(jì)90年代以來，人臉識(shí)別研究得到了長(zhǎng)足發(fā)展，國(guó)內(nèi)外許多著名理工大學(xué)及TT企業(yè)都成立了專門人臉識(shí)別研究組，相關(guān)研究綜述見文件[1-3]。本文對(duì)近年來自感人臉識(shí)別研究進(jìn)行了綜述，分別從人臉識(shí)別包括理論，人臉檢測(cè)與定位相關(guān)算法及人臉識(shí)別關(guān)鍵算法等方面進(jìn)行了分類整理，并對(duì)具備經(jīng)典意義方法進(jìn)行了較為詳盡分析對(duì)比。另外，本文還分析介紹了當(dāng)前人臉識(shí)別優(yōu)勢(shì)與困難。2人臉識(shí)別相關(guān)理論圖像是人們出生以來體驗(yàn)最豐富最主要部分，圖像能夠以各種各樣形式出現(xiàn)，我們只有意識(shí)到不一樣種類圖像區(qū)分，才能愈加好了解圖像。要建立一套完整人臉識(shí)別系統(tǒng)(FaceRecognetionSystem，簡(jiǎn)稱FRS)，必定要綜合利用以下幾大學(xué)科領(lǐng)域知識(shí)：2.1數(shù)字圖像處理技術(shù)數(shù)字圖像處理又稱為計(jì)算機(jī)圖像處理，它是指將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并利用計(jì)算機(jī)對(duì)其進(jìn)行處理過程，數(shù)字圖像處理最早出現(xiàn)于20世紀(jì)50年代，當(dāng)初電子計(jì)算機(jī)己經(jīng)發(fā)展到一定水平，人們開始利用計(jì)算機(jī)來處理圖形和圖像信息。數(shù)字圖像處理作為一門學(xué)科大約形成于20世紀(jì)60年代早期。與人類對(duì)視覺機(jī)理研究歷史相比，數(shù)字圖像處理是一門相對(duì)年輕學(xué)科，但在其短短歷史中，它卻以不一樣程度成功使用于幾乎全部與成像關(guān)于領(lǐng)域?，F(xiàn)在，數(shù)字圖像處理技術(shù)己被廣泛應(yīng)用于辦公自動(dòng)化、工業(yè)機(jī)器人、地理數(shù)據(jù)處理、醫(yī)學(xué)數(shù)據(jù)處理、地球資源遙感、交互式計(jì)算機(jī)輔助設(shè)計(jì)等領(lǐng)域，尤其在機(jī)器視覺應(yīng)用系統(tǒng)中成為關(guān)鍵技術(shù)之一。通常圖像都是模擬圖像，對(duì)于模擬圖像只能采取模擬處理方式進(jìn)行處理，計(jì)算機(jī)不能接收和處理模擬信號(hào)，只有將連續(xù)模擬信號(hào)變換為離散數(shù)字信號(hào)，或者說將模擬圖像變換為數(shù)字圖像才能接收。數(shù)字圖像處理就是對(duì)給定數(shù)字圖像進(jìn)行一些變換過程。對(duì)含有噪聲圖像，要除去噪聲、濾去干擾，提升信噪比；對(duì)信息微弱圖像要進(jìn)行灰度變換等增強(qiáng)處理；對(duì)已經(jīng)退化含糊圖像要進(jìn)行各種復(fù)原處理；對(duì)失真圖像要進(jìn)行幾何校正等變換。除此之外，圖像合成，圖像邊緣提取與分割，圖像編碼、壓縮與傳輸，圖像分析等技術(shù)也屬于圖像處理內(nèi)容。由此可見，圖像處理就是為了達(dá)成改進(jìn)圖像質(zhì)量，將圖像變換成便于人們觀察和適于機(jī)器識(shí)別目標(biāo)[4]。2.2神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是一門以對(duì)大腦生理研究結(jié)果為基礎(chǔ)，以用機(jī)器模擬大腦一些生理與機(jī)制，實(shí)現(xiàn)某方面功效為目標(biāo)學(xué)科[6]。研究神經(jīng)網(wǎng)絡(luò)，尤其是神經(jīng)學(xué)習(xí)機(jī)理，對(duì)認(rèn)識(shí)和促進(jìn)人本身發(fā)展有特殊意義。神經(jīng)網(wǎng)絡(luò)有許多具備非線性映射能力神經(jīng)元組成，神經(jīng)元之間經(jīng)過權(quán)系數(shù)連接。網(wǎng)絡(luò)信息分布式就存在連接系數(shù)中，使網(wǎng)絡(luò)具備很高容錯(cuò)性和魯棒性。神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)被有效地用到組合優(yōu)化、圖像處理、模式識(shí)別、自動(dòng)控制等方面?；谏窠?jīng)網(wǎng)絡(luò)技術(shù)人臉識(shí)別方法是人臉識(shí)別研究領(lǐng)域中一大主要分支。2.3模式識(shí)別模式識(shí)別[7]，就是經(jīng)過計(jì)算機(jī)用數(shù)學(xué)技術(shù)方法來研究模式自動(dòng)處理和判讀。這門學(xué)科使用計(jì)算機(jī)方法實(shí)現(xiàn)人模式識(shí)別能力，即對(duì)各種事物或現(xiàn)象進(jìn)行分析、描述、判別和識(shí)別。在人臉識(shí)別中，假如是個(gè)人識(shí)別，則每一個(gè)人就是一個(gè)模式，預(yù)先存在數(shù)據(jù)庫(kù)里圖像就是樣本；假如是性別識(shí)別、種族識(shí)別或年紀(jì)識(shí)別，則不一樣性別、種族或年紀(jì)就組成一個(gè)模式；假如是表情識(shí)別，則不一樣表情就是一個(gè)模式。人臉識(shí)別重在討論個(gè)人識(shí)別，人臉識(shí)別最終目標(biāo)就是利用人臉圖像確定待識(shí)別人到底與數(shù)據(jù)庫(kù)里哪個(gè)人是同一個(gè)人，這是一個(gè)“是誰”問題；或要判斷這個(gè)人與庫(kù)里某個(gè)人是不是同一個(gè)人，這是一個(gè)“認(rèn)識(shí)或不認(rèn)識(shí)”問題。圖像識(shí)別是指對(duì)視覺圖像目標(biāo)按其物理特征進(jìn)行分類，屬于模式識(shí)別范圍。圖像識(shí)別系統(tǒng)基本結(jié)構(gòu)如圖1所表示。圖像預(yù)處理圖像預(yù)處理分類決議結(jié)果圖像特征提取輸入圖像圖1圖像識(shí)別系統(tǒng)基本結(jié)構(gòu)2.4計(jì)算機(jī)視覺在客觀世界中，人類經(jīng)過視覺識(shí)別文字和周圍環(huán)境，感知外界信息。人們75%信息量都來自視覺，所以讓計(jì)算機(jī)或機(jī)器人具備視覺，是人工智能主要步驟，也是人類多年以來夢(mèng)想。在信號(hào)處理理論與高性能計(jì)算機(jī)出現(xiàn)后，這種希望正在逐步實(shí)現(xiàn)。用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺信息處理形成了一門新興學(xué)科——計(jì)算機(jī)視覺。計(jì)算機(jī)視覺是一門用計(jì)算機(jī)來實(shí)現(xiàn)人視覺功效，實(shí)現(xiàn)客觀三維世界識(shí)別學(xué)科。計(jì)算機(jī)視覺最終目標(biāo)是模擬人類視覺能力，了解并解釋周圍世界，其研究一個(gè)關(guān)鍵內(nèi)容是圖像識(shí)別。3人臉檢測(cè)與定位人臉檢測(cè)與定位是自感人臉識(shí)別系統(tǒng)首先需要處理關(guān)鍵問題，也即檢測(cè)圖像中是否有些人臉存在，若有，則將其從背景中分割出來并確定其在圖像中位置。在一些能夠控制拍攝條件場(chǎng)所，如警察拍攝罪犯照片時(shí)將人臉限定在標(biāo)尺內(nèi)，此時(shí)人臉定位因?yàn)榧航?jīng)具備了人臉位置先驗(yàn)知識(shí)而相對(duì)比較簡(jiǎn)單；證件照（身份證、護(hù)照等）因?yàn)楸尘跋鄬?duì)簡(jiǎn)單，定位也比較輕易。但在通常情況實(shí)際應(yīng)用中，人臉在圖像中位置預(yù)先未能得知，人臉檢測(cè)與定位將受到以下原因制約：(1)人臉在圖像中位置、角度和尺度不一樣以及光照改變；(2)發(fā)型、眼鏡、胡須以及人臉表情改變等；(3)圖像中噪聲影響。所以從某種程度上說，人臉檢測(cè)與定位甚至比人臉模式識(shí)別更為關(guān)鍵。按照人臉檢測(cè)技術(shù)發(fā)展歷程，本文依據(jù)采取主要技術(shù)方法將人臉檢測(cè)分為以下四種類型:基于特征檢測(cè)方法、基于膚色檢測(cè)方法、基于模板匹配方法、基于外觀統(tǒng)計(jì)學(xué)習(xí)方法。3.1基于特征檢測(cè)方法基于特征人臉檢測(cè)方法依據(jù)人臉面部幾何特征、紋理特征、膚色特征進(jìn)行人臉和非人臉判別，見下表：表1基于特征人臉檢測(cè)與關(guān)鍵特征定位算法人臉特征主要算法主要參考文件邊緣、輪廓邊緣檢測(cè)算子；橢圓擬合等[8,9]器官特征形態(tài)學(xué)運(yùn)算；自適應(yīng)域值；局部特征檢測(cè)；模板匹配；概率決議等[10,11]紋理特征（膚色、頭發(fā)、胡須等）灰度共生矩陣（二階紋理統(tǒng)計(jì)特征）；神經(jīng)網(wǎng)絡(luò)分類器；自組織映射網(wǎng)絡(luò)等[12,13]3.2基于膚色檢測(cè)方法利用人臉膚色信息進(jìn)行人臉檢測(cè)曾經(jīng)一度成為人臉檢測(cè)領(lǐng)域研究熱點(diǎn)，涌現(xiàn)了大量學(xué)術(shù)文件，Lee等[14]最早利用人臉膚色信息進(jìn)行人臉定位；Saber[15]利用膚色、人臉形狀及幾何對(duì)稱信息實(shí)現(xiàn)人臉檢測(cè)和面部特征抽取；Jones[16]利用大量樣本圖像對(duì)膚色檢測(cè)問題進(jìn)行了分析，并建立了人臉膚色統(tǒng)計(jì)模型用于人臉檢測(cè)，收到了很好檢測(cè)效果；Terrillon[17]使用高斯模型和混合高斯模型在不一樣色度空間建立膚色模型進(jìn)行人臉檢測(cè)，并進(jìn)行了對(duì)比分析，結(jié)果發(fā)覺混合高斯模型比通常高斯模型具備愈加好泛化能力；Hadid[18]基于Skin-Locus建立膚色模型，提取彩色人臉區(qū)域?qū)崿F(xiàn)人臉檢測(cè)，但需要在固定成像參數(shù)下才確保有良好性能，魯棒性有待提升；Martinkauppi[19]對(duì)Skin-Locus理論進(jìn)行了細(xì)致分析，發(fā)覺人臉膚色在各種光照條件下能夠用兩個(gè)二次或者數(shù)次多項(xiàng)式進(jìn)行擬合；Comanieiu[20]采取Mean-Shift算法進(jìn)行局部搜索實(shí)現(xiàn)人臉檢測(cè)與跟蹤，該算法提升了人臉檢測(cè)速度，對(duì)遮擋和光照魯棒性很好，但對(duì)于復(fù)雜背景和多個(gè)人臉目標(biāo)檢測(cè)不夠魯棒；Hsu[21]采取光照賠償方法克服光照問題，從一定程度上處理了偏色、復(fù)雜背景和多人臉目標(biāo)檢測(cè)問題，對(duì)人臉位置、尺度、旋轉(zhuǎn)、姿態(tài)和表情等改變具備很好魯棒性；Sobottka和Pitas[22]結(jié)合膚色(HSV)和人臉形狀信息來定位人臉和進(jìn)行面部特征提取；Terrillon[23]等利用高斯模型對(duì)膚色象素進(jìn)行聚類，并采取神經(jīng)網(wǎng)絡(luò)對(duì)二值圖像幾何距進(jìn)行學(xué)習(xí)實(shí)現(xiàn)人臉檢測(cè)；Garcia和Tziritas[24]采取量化膚色區(qū)域合并結(jié)合小波分析實(shí)現(xiàn)人臉檢測(cè)?？傉f來，基于膚色檢測(cè)方法魯棒性提升依賴于膚色模型質(zhì)量，在背景相對(duì)簡(jiǎn)單情況下能夠取得良好檢測(cè)效果;但在復(fù)雜背景中，尤其是背景中存在較多類膚色區(qū)域時(shí)，檢測(cè)質(zhì)量將急劇下降。而且，膚色模型在不一樣人種之間會(huì)存在較大差異，因而極難建立一個(gè)通用性很強(qiáng)人臉膚色統(tǒng)計(jì)模型。所以，基于膚色檢測(cè)人臉檢測(cè)方法應(yīng)用受到一定限制。3.3基于模板匹配方法基于模板匹配方法首先需要人工定義一組標(biāo)準(zhǔn)或參數(shù)化人臉模式（通常為正面），稱之為模板。對(duì)于給定輸入圖像，經(jīng)過計(jì)算其與標(biāo)準(zhǔn)模板相關(guān)系數(shù)并依攝影關(guān)系數(shù)判斷是否為人臉，詳見表2。這種人臉檢測(cè)方法實(shí)現(xiàn)簡(jiǎn)單，不過因?yàn)槿四槼叨取⒆藨B(tài)和形狀不確定性，基于模板人臉檢測(cè)方法通常達(dá)不到很高準(zhǔn)確率。表2基于模板匹配人臉檢測(cè)方法模板種類主要算法主要參考文件固定模板人臉子模板（眼睛、鼻子）梯度圖像；相關(guān)匹配等[25,26]人臉形狀模板邊緣檢測(cè)；相關(guān)匹配等[27,28]分塊百分比模板[29]重心模板Laplancian邊緣檢測(cè)；相關(guān)匹配等[30]變形模板彈性模型能量函數(shù)度量[31]Snakes能量函數(shù)度量[32]PDM模型ASM搜索[33]3.4基于統(tǒng)計(jì)學(xué)習(xí)方法與上述方法不一樣，基于統(tǒng)計(jì)學(xué)習(xí)方法主要采取大量人臉與非人臉樣本對(duì)檢測(cè)分類器進(jìn)行訓(xùn)練，將人臉檢測(cè)轉(zhuǎn)化為二類模式分類問題。Propp等人是最早采取神經(jīng)網(wǎng)絡(luò)[34]進(jìn)行人臉檢測(cè)學(xué)者之一，他們經(jīng)過結(jié)構(gòu)一個(gè)4層（兩個(gè)隱藏層）神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人臉檢測(cè)，但沒有相關(guān)檢測(cè)性能報(bào)道；后人在他們基礎(chǔ)上經(jīng)過優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提出了時(shí)延神經(jīng)網(wǎng)絡(luò)（TDNN），自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、概率決議神經(jīng)網(wǎng)絡(luò)（PDBNN）。Feraud等人經(jīng)過結(jié)構(gòu)自協(xié)商神經(jīng)網(wǎng)絡(luò)（SNNN）[35]進(jìn)行非線性主元分析，能夠檢測(cè)正面到左右60度旋轉(zhuǎn)人臉，他們方法日后被Listen和Multrak采取。Sung、Rowley、Lin&Kung等[36]采取K-mean聚類算法在特征空間建立“人臉”和“非人臉”族，采取自舉（bootstrap）方法首先建立一個(gè)僅使用人臉樣本和少許非人臉樣本訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)分類器對(duì)一組圖像進(jìn)行訓(xùn)練，將誤檢非人臉樣本加入非人臉樣本庫(kù)；然后訓(xùn)練新分類器，如此不停迭代，直到搜集到足夠多非人臉樣本，這種方法日后被許多學(xué)者所采取。Carleson、Yang等[37]人提出SNoW（SparseNetworkofWinnows）學(xué)習(xí)方法，對(duì)檢測(cè)不一樣特征、表情、姿態(tài)和光照條件下人臉收到了很好效果。其實(shí)質(zhì)就是采取Winnow算法進(jìn)行權(quán)值更新稀疏神經(jīng)網(wǎng)絡(luò)；H.Schneiderman[38]提出基于后驗(yàn)概率估量方法，先對(duì)樣本進(jìn)行小波變換，然后對(duì)這些特征進(jìn)行統(tǒng)計(jì)，經(jīng)過統(tǒng)計(jì)計(jì)算訓(xùn)練樣本直方圖求得人臉與非人臉概率分布實(shí)現(xiàn)人臉檢測(cè)。不一樣于傳統(tǒng)基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化分類器，如貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)分類器等，支持向量機(jī)分類器（SVM）以基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理最小化泛化誤差，經(jīng)過結(jié)構(gòu)最優(yōu)分類超平面實(shí)現(xiàn)模式分類。在這一領(lǐng)域，Osuna等人最早提出采取SVM分類器進(jìn)行人臉檢測(cè)，并提出了針對(duì)大規(guī)模數(shù)據(jù)集SVM訓(xùn)練算法。試驗(yàn)結(jié)果顯示基于SVM人臉檢測(cè)速度比早先Sung等人提出神經(jīng)網(wǎng)絡(luò)人臉檢測(cè)快足足30倍。Nefian[39]等人采取隱馬爾可夫模型（HiddenMarkovModels簡(jiǎn)稱HMM）檢測(cè)人臉。HMM是一個(gè)雙重隨機(jī)過程，采取節(jié)點(diǎn)表示狀態(tài)，有向邊表示狀態(tài)之間轉(zhuǎn)移。所以適合描述信號(hào)統(tǒng)計(jì)特征。Nefian等經(jīng)過檢測(cè)區(qū)域中每個(gè)子區(qū)域，采取K-L變換系數(shù)作為觀察矢量，經(jīng)過B-W和維特比算法取得HMM模型參數(shù)，依據(jù)區(qū)域觀察序列輸出概率判決是否為人臉。3.5AdaBoost算法訓(xùn)練器康柏研究院Viola[40]在國(guó)際計(jì)算機(jī)學(xué)術(shù)年會(huì)上發(fā)表論文標(biāo)志著人臉檢測(cè)技術(shù)開始走向?qū)嵱谩Ｋ麄兘?jīng)過綜合AdaBoost[41,42,43]和Cascade算法實(shí)現(xiàn)了實(shí)時(shí)人臉檢測(cè)，使得人臉檢測(cè)開始邁向?qū)嵱没缆?。而且首次引入了“積分圖像”(IntegalImage)概念，大大加緊了檢測(cè)過程中特征計(jì)算速度。利用Adaboost學(xué)習(xí)算法提升一個(gè)簡(jiǎn)單分類器(弱分類器)性能，理論上最終形成強(qiáng)分類器訓(xùn)練錯(cuò)誤率靠近零，而且推廣性好。Viola在他試驗(yàn)中定義了180000種矩形特征，經(jīng)過試驗(yàn)選擇一小部分特征形成一個(gè)有效分類器。繼Viola等提出用于人臉檢測(cè)AdaBoost算法之后，許多學(xué)者對(duì)他們算法進(jìn)行了繼承和發(fā)展。首先，Lienlxart等人提出了新旋轉(zhuǎn)Haar-Like特征，能夠用于旋轉(zhuǎn)人臉快速檢測(cè)，同時(shí)提出了一些其余Boosting法：如DiscreteAdaBoost,RealAdaBoost,GentleAdaBoost等。Froba在AdaBoost算法基礎(chǔ)上提出了基于灰度圖像正面和平面內(nèi)旋轉(zhuǎn)人臉實(shí)時(shí)檢測(cè)系統(tǒng)，在EOM(EdgeOrientationMatching)基礎(chǔ)上進(jìn)行擴(kuò)展，引入SNoW算法進(jìn)行校驗(yàn)，得到一個(gè)更為魯棒系統(tǒng)。國(guó)內(nèi)李子清在AdaBoost算法基礎(chǔ)上提出了FloatBoost算法，實(shí)現(xiàn)多視角人臉檢測(cè)，經(jīng)過從粗到精、從簡(jiǎn)單到復(fù)雜金字塔型人臉檢測(cè)；與傳統(tǒng)Adaboost算法相比，能在提升人臉檢測(cè)速度同時(shí)提升檢測(cè)精度。Liu提出了基于Kullback-LeiblerBoosting(KLB)算法分類器，處理了傳統(tǒng)AdaBoost算法存在弱分類器最優(yōu)組合以及最優(yōu)分類器和特征選擇問題。Viola本人也對(duì)AdaBoost算法進(jìn)行了改進(jìn)，提出了不對(duì)稱AdaBoost算法，用于快速圖像檢索和人臉檢測(cè)?？傉f來，基于Boosting和Cascade算法系統(tǒng)在速度方面具備很大優(yōu)越性，經(jīng)過Haar-Like特征訓(xùn)練一些弱分類器，再組合成一個(gè)強(qiáng)分類器。怎樣在提升檢測(cè)精度同時(shí)不降低檢測(cè)速度，能夠從以下方面綜合考慮：采取更優(yōu)特征描述方法，綜合AdaBoost和強(qiáng)分類器。3.6多個(gè)方法結(jié)合人臉檢測(cè)與精準(zhǔn)定位是一個(gè)頗具挑戰(zhàn)性研究課題，一些效果很好人臉檢測(cè)系統(tǒng)并不只是采取上述某種方法，而是將多個(gè)方法有機(jī)地融合。主流方法大多是基于統(tǒng)計(jì)學(xué)習(xí)，所以受學(xué)習(xí)樣本影響較大，不一樣本集合對(duì)算法性能也有一定影響。復(fù)雜背景中正面人臉檢測(cè)已經(jīng)有了比很好結(jié)果，多姿態(tài)人臉檢測(cè)依然是現(xiàn)在研究重點(diǎn)，即使取得了一些進(jìn)展，但怎樣利用人臉深度信息處理姿態(tài)和光照問題還有待深入研究。4人臉識(shí)別方法識(shí)他人臉主要依據(jù)那些在不一樣個(gè)體之間存在較大差異而對(duì)于同一個(gè)人則比較穩(wěn)定特征。詳細(xì)特征形式隨識(shí)別方法不一樣而不一樣。早期研究較多靜態(tài)人臉識(shí)別方法有基于幾何特征人臉識(shí)別方法和基于相關(guān)匹配人臉識(shí)別方法?，F(xiàn)在，靜止圖像人臉識(shí)別方法主要有三個(gè)研究方向：一是基于統(tǒng)計(jì)識(shí)別方法，包含特征臉（Eigenface）方法[44]和隱馬爾科夫模型（HiddenMarkovModel）[45]方法；二是基于連接機(jī)制識(shí)別方法，包含通常神經(jīng)網(wǎng)絡(luò)方法[46]和彈性圖匹配[47]（ElasticGraphMatching）方法；三是其余一些綜合方法或處理非二維灰度圖像方法。4.1基于幾何特征人臉識(shí)別方法常采取幾何特征[48]有些人臉五官如眼睛、鼻子、嘴巴等局部形狀特征，臉型特征以及五官在臉上分布幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)一些先驗(yàn)知識(shí)。在這種基于幾何特征識(shí)別中，識(shí)別總歸為特征矢量之間匹配，基于歐氏距離判決是最慣用識(shí)別方法。識(shí)別所采取幾何特征是以人臉器官形狀和幾何關(guān)系為基礎(chǔ)特征矢量，其分量通常包含人臉指定兩點(diǎn)間歐式距離、曲率、角度等?；趲缀翁卣髯R(shí)別方法具備以下優(yōu)點(diǎn)：符合人類識(shí)他人臉機(jī)理，易于了解；對(duì)每幅圖像只需存放一個(gè)特征矢量，存放量?。粚?duì)光照改變不太敏感。這種方法一樣存在以下問題：從圖像中抽取穩(wěn)定特征比較困難，尤其是特征受到遮擋時(shí)這種情況更為顯著；對(duì)強(qiáng)烈表情改變和姿態(tài)改變魯棒性較差；通常幾何特征只描述了部件基本形狀與結(jié)構(gòu)關(guān)系，忽略了局部細(xì)微特征，造成部分信息丟失，更適合于粗分類。4.2基于模板匹配人臉識(shí)別方法模板匹配法[49][50]是一個(gè)經(jīng)典模式識(shí)別方法，這種方法大多是用歸一化相互關(guān)直接計(jì)算兩幅圖像之間匹配程度。因?yàn)檫@種方法要求兩幅圖像上目標(biāo)要有相同尺度取向和光照條件，所以預(yù)處理要做尺度歸一化和灰度歸一化工作。最簡(jiǎn)單人臉模板是將人臉看成一個(gè)橢圓，檢測(cè)人臉也就是檢測(cè)圖像中橢圓。另一個(gè)方法是將人臉用一組獨(dú)立小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。但這些模板取得必須利用各個(gè)特征輪廓，而傳統(tǒng)基于邊緣提取方法極難取得較高連續(xù)邊緣。即使取得了可靠度高邊緣，也極難從中自動(dòng)提取所需特征量。為此，用彈性模板方法提取特征顯示出其獨(dú)到優(yōu)越性。彈性模板由一組依照特征形狀先驗(yàn)知識(shí)設(shè)計(jì)可調(diào)參數(shù)所定義。為了求出這組參數(shù)，需要利用圖像邊緣、峰值、谷值和強(qiáng)度信息及特征形狀先驗(yàn)知識(shí)設(shè)計(jì)適宜能量函數(shù)。參數(shù)向能量減小方向調(diào)整，當(dāng)能量達(dá)成最小時(shí)，這組參數(shù)對(duì)應(yīng)模板形狀最符合特征形狀。4.3特征臉方法特征臉（Eigenface）[51]方法是從主成份分析（PrincipalComponentAnalysis,PCA）[53]導(dǎo)出一個(gè)人臉識(shí)別和描述技術(shù)。PCA實(shí)質(zhì)上是K-L展開網(wǎng)絡(luò)遞推實(shí)現(xiàn)，K-L變換是圖像壓縮中一個(gè)最優(yōu)正交變換，其生成矩陣通常為訓(xùn)練樣本總體散布矩陣。特征臉方法就是將包含人臉圖像區(qū)域看作是一個(gè)隨機(jī)向量，所以能夠采取K-L變換取得其正交K-L基底，對(duì)應(yīng)其中較大特征值基底具備與人臉相同形狀，所以又稱之為特征臉。利用這些基底線性組合能夠描述、表示和迫近人臉圖像，所以能夠進(jìn)行人臉識(shí)別和合成。識(shí)別過程就是將人臉圖像映射到由特征臉張成子空間上，比較其與已知人臉在特征臉空間中位置。近年來，據(jù)此發(fā)展了多個(gè)對(duì)特征臉改進(jìn)方法，如雙子空間法、相形歧義分析方法、Fisher臉方法等。另首先，Albert等將PCA與人臉拓?fù)潢P(guān)系結(jié)合起來提出TPCA（topologicalprincipalcomponentanalysis）方法，識(shí)別率較單一PCA類方法有所提升。另外，與K-L變換思想比較靠近，但不是從統(tǒng)計(jì)角度出發(fā)。另一個(gè)變換是奇異值分解（SVD）方法,即將圖像矩陣奇異值作為模式特征矢量。4.4隱馬爾科夫模型隱馬爾科夫模型（HiddenMarkovModel，HMM）[52]是用于描述信號(hào)統(tǒng)計(jì)特征一組統(tǒng)計(jì)模型。HMM使用馬爾科夫鏈來模擬信號(hào)統(tǒng)計(jì)特征改變，而這種改變又是間接地經(jīng)過觀察序列來描述，所以，隱馬爾科夫過程是一個(gè)雙重隨機(jī)過程。在HMM中，節(jié)點(diǎn)表示狀態(tài)，有向邊表示狀態(tài)之間轉(zhuǎn)移，一個(gè)狀態(tài)能夠具備特征空間中任意特征，對(duì)同一特征,不一樣狀態(tài)表現(xiàn)出這一特征概率不一樣。因?yàn)镠MM是一個(gè)統(tǒng)計(jì)模型，對(duì)于同一特征序列，可能會(huì)對(duì)應(yīng)于許多狀態(tài)序列，特征序列與狀態(tài)序列之間對(duì)應(yīng)關(guān)系是非確定。這種模型對(duì)于狀態(tài)序列來說是隱,故稱為隱馬爾科夫模型。HMM有三個(gè)主要問題：評(píng)定、估量及解碼。我們關(guān)心是前兩個(gè)問題，評(píng)定用于處理識(shí)別問題，通常采取比較有效“向前-向后”法；估量用來產(chǎn)生用于識(shí)別各個(gè)單元HMM，采取Baum-Welch方法。4.5基于神經(jīng)網(wǎng)絡(luò)方法利用神經(jīng)網(wǎng)絡(luò)，人們就不需要為人臉識(shí)別清楚地定義特征。Kohonen將自組織映射（self-organizingmap，縮寫SOM）網(wǎng)絡(luò)應(yīng)用于人臉回顧。即使當(dāng)輸入圖像帶有強(qiáng)烈噪聲或有部分丟失，準(zhǔn)確回顧能力依然能夠取得。Lawrenceetal.[53]使用了一個(gè)混合神經(jīng)網(wǎng)絡(luò)系統(tǒng)，主要包含了一個(gè)改進(jìn)五層SOM網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)（Convolutionalneuralnetworks），其中CNN具備局部權(quán)值共享拓?fù)浣Y(jié)構(gòu)。這種結(jié)構(gòu)與基于接收區(qū)域（receptivefields）生物網(wǎng)絡(luò)有更多相同點(diǎn)，而且提升了對(duì)局部變形忍耐性。多層感知機(jī)神經(jīng)網(wǎng)絡(luò)（Multi-layerperceptronneuralnetworks）和徑向基函數(shù)網(wǎng)絡(luò)（radialbasisfunctionnetworks）也已經(jīng)被用于人臉識(shí)別。4.6彈性匹配方法彈性圖匹配方法[54][55]是一個(gè)基于動(dòng)態(tài)鏈接結(jié)構(gòu)（DynamicLinkArchitecture,DLA）方法。它將人臉用格狀稀疏圖表示，圖中節(jié)點(diǎn)用圖像位置Gabor小波分解得到特征向量標(biāo)識(shí)，圖邊用連接節(jié)點(diǎn)距離向量標(biāo)識(shí)。匹配時(shí)，首先尋找與輸入圖像最相同模型圖,再對(duì)圖中每個(gè)節(jié)點(diǎn)位置進(jìn)行最好匹配，這么產(chǎn)生一個(gè)變形圖，其節(jié)點(diǎn)迫近模型圖對(duì)應(yīng)點(diǎn)位置。Wiskott等人使用彈性圖匹配方法，以FERET圖像庫(kù)做試驗(yàn)，準(zhǔn)確率達(dá)成97.3%。彈性圖匹配方法對(duì)光照、位移、旋轉(zhuǎn)及尺度改變都不敏感，是一個(gè)優(yōu)于特征臉方法人臉識(shí)別方法。此方法主要缺點(diǎn)是對(duì)每個(gè)存放人臉需計(jì)算其模型圖，計(jì)算量大，存放量大。為此，Wiskott在原有方法基礎(chǔ)上提出聚束圖匹配，部分克服了這些缺點(diǎn)。在聚束圖中,全部節(jié)點(diǎn)都已經(jīng)定位在對(duì)應(yīng)目標(biāo)上。對(duì)于大量數(shù)據(jù)庫(kù),這么能夠大大降低識(shí)別時(shí)間，另外,利用聚束圖還能夠匹配不一樣人最相同特征。所以能夠取得關(guān)于未知人性別、胡須和眼鏡等相關(guān)信息。Lee等提出了一個(gè)基于彈性圖動(dòng)態(tài)鏈接模型方法，既取得較高識(shí)別速度，也取得了較理想識(shí)別率，在一定程度上克服了以往方法總是在速度與識(shí)別率之間進(jìn)行折中缺點(diǎn)。4.7其它人臉識(shí)別方法以上幾個(gè)經(jīng)典人臉識(shí)別方法，每種方法各有其優(yōu)缺點(diǎn)，所以能夠把多個(gè)方法綜合起來，或同時(shí)利用不一樣種類特征。要從大量人臉數(shù)據(jù)庫(kù)中進(jìn)行識(shí)別，單靠擴(kuò)展單一個(gè)類特征數(shù)目是不夠，而要擴(kuò)展與原特征集正交其它種類特征。Jia等在正面人臉幾何特征基礎(chǔ)上，將側(cè)面輪廓特征、眼睛形狀特征以及人臉輪廓特征也加入特征矢量，取得了較采取單一正面人臉幾何特征為特征矢量方法更高識(shí)別率。Lai等結(jié)合小波變換與傅立葉變換提出與平移、縮放、平面內(nèi)旋轉(zhuǎn)無關(guān)光譜臉人臉表征方法?，F(xiàn)在人臉識(shí)別研究對(duì)象基本上都是針對(duì)二維灰度圖像，除此之外，還有深度人臉圖像識(shí)別和紅外人臉圖像識(shí)別方法。深度圖像包含了人臉深度信息，Gordon針對(duì)深度圖像提出了一個(gè)基于模板用圖像數(shù)據(jù)曲率作描述子識(shí)別方法。他使用一個(gè)旋轉(zhuǎn)激光掃描系統(tǒng)取得人臉深度圖像，取得曲面數(shù)據(jù)以柱坐標(biāo)形式存放，然后依照曲面上各點(diǎn)法向最大和最小曲率振幅和相位值定位眼睛、鼻子和兩側(cè)臉部區(qū)域紅外人臉圖像（也叫溫譜圖）對(duì)每個(gè)人來說都是唯一。所以能夠利用溫譜圖識(shí)他人臉。另外在黑暗中也能捕捉紅外光，所以用紅外人臉圖像在黑暗中也能進(jìn)行識(shí)別。對(duì)于多CCD攝像機(jī)系統(tǒng)，能夠得到多視點(diǎn)人臉圖像，從而能夠取得人臉立體模型，含有三維信息特征能有效處理人臉在光照偽裝或年紀(jì)改變等情況下識(shí)別問題。5人臉識(shí)別系統(tǒng)優(yōu)勢(shì)與關(guān)鍵技術(shù)難題人臉是三維非剛性體，利用人臉生物特征自感人臉識(shí)別系統(tǒng)與基于其余人體生物特征識(shí)別系統(tǒng)相比，既具備其獨(dú)特優(yōu)勢(shì)，也存在一些困難。5.1人臉識(shí)別優(yōu)勢(shì)自感人臉識(shí)別技術(shù)優(yōu)勢(shì)主要表現(xiàn)在：(1)非接觸式數(shù)據(jù)采集人臉圖像能夠經(jīng)過標(biāo)準(zhǔn)視頻或熱成像技術(shù)非接觸式采集，因而不會(huì)對(duì)用戶造成生理上傷害，具備非直接侵犯性。(2)可隱蔽性強(qiáng)用于捕捉人臉圖像成像設(shè)備能夠隱蔽安裝，尤其適合處理重大安全問題、罪犯監(jiān)控、過濾敏感人物(間諜、恐怖分子)及實(shí)施抓捕，是其它基于指紋、虹膜、視網(wǎng)膜、掌紋等生物特征識(shí)別技術(shù)所無法比擬。(3)方便、快捷及便于事后追蹤自感人臉識(shí)別系統(tǒng)經(jīng)過非接觸方式捕捉人臉圖像，因而無需用戶過多干預(yù)。且能夠在事件發(fā)生同時(shí)統(tǒng)計(jì)當(dāng)事人面像，從而確保系統(tǒng)具備良好事后追蹤能力。(4)可交互性強(qiáng)人類能夠輕而易舉地識(shí)別不一樣個(gè)體在不一樣時(shí)期不一樣狀態(tài)下人臉，而指紋、虹膜、視網(wǎng)膜等其余生物特征常人極難識(shí)別。所以與授權(quán)用戶交互和主動(dòng)配合能夠從很大程度上提升人臉識(shí)別系統(tǒng)可靠性和可用性。5.2人臉識(shí)別系統(tǒng)若干關(guān)鍵技術(shù)問題現(xiàn)所研究一些人臉識(shí)別系統(tǒng)大多在約束環(huán)境下工作，假如注冊(cè)原型圖像和系統(tǒng)工作條件基本一致而且用戶主動(dòng)配合，尚能夠達(dá)成令人滿意效果。但真正實(shí)用人臉識(shí)別系統(tǒng)需要在大規(guī)模人臉庫(kù)、工作環(huán)境非可控和用戶不配合（罪犯監(jiān)控與搜捕）等非約束環(huán)境下工作，即使經(jīng)過采取圖像預(yù)處理技術(shù)（亮度均衡和姿態(tài)學(xué)習(xí)等）能從一定程度上得以賠償，但大光照和姿態(tài)改變依然使得系統(tǒng)穩(wěn)定性急劇下降，即使是現(xiàn)在性能最好人臉識(shí)別商業(yè)系統(tǒng)識(shí)別率也不到80%而誤識(shí)率卻高達(dá)10%以上，基本無法滿足實(shí)際應(yīng)用需求。FERET和FRVTS對(duì)人臉識(shí)別關(guān)鍵算法評(píng)測(cè)最少揭示了面臨兩個(gè)主要挑戰(zhàn)：光照和姿態(tài)改變。另外，人臉局部遮擋、人臉老化、成像設(shè)備差異、化裝、飾物等原因影響在非約束、非合作（如視頻監(jiān)控）環(huán)境下是不可防止?，F(xiàn)有許多算法因?yàn)榉N種原因未能應(yīng)用于人臉識(shí)別，最少?zèng)]有在大型人臉庫(kù)上進(jìn)行實(shí)際測(cè)試。而且，上述問題往往在實(shí)際應(yīng)用中共同出現(xiàn)，這深入增加了人臉識(shí)別難度。下面就人臉識(shí)別系統(tǒng)所面臨五個(gè)主要技術(shù)挑戰(zhàn)分別加以分析：(1)光照改變光照改變，尤其在室外環(huán)境下，是基于2D人臉圖像人臉識(shí)別關(guān)鍵算法碰到最為棘手問題。因?yàn)楣庹赵斐扇四槇D像改變甚至超出不一樣個(gè)體之間差異，進(jìn)而改變?nèi)四槇D像在特征子空間分布，致使基于圖像比正確識(shí)別算法性能急劇下降。即使人們提出了一些應(yīng)對(duì)光照改變處理方案，如啟發(fā)式拋棄主元方法、基于朗伯光照模型3D光照子空間、光照錐、人臉3D模型合成虛擬圖像等等。但大多都是基于理想條件和經(jīng)驗(yàn)數(shù)據(jù)獲取人臉模型，因而極難走向?qū)嵱?。面向?qū)嶋H應(yīng)用環(huán)境光照改變問題依然有待于深入研究。(2)姿態(tài)改變?nèi)四樧藨B(tài)改變和光照改變一樣，是實(shí)用人臉識(shí)別系統(tǒng)真正走向應(yīng)用所面臨巨大障礙。即使能獲取人臉全部不一樣視角、不一樣光照和表情下樣本圖像，但這將造成人臉特征數(shù)據(jù)庫(kù)急劇膨脹和人臉識(shí)別關(guān)鍵算法時(shí)間復(fù)雜度和空間復(fù)雜度急劇上升?，F(xiàn)在多數(shù)人臉識(shí)別關(guān)鍵算法在正面人臉情況下識(shí)別性能尚能接收，不過實(shí)際應(yīng)用中輸入人臉圖像難以確保總是準(zhǔn)正面人臉圖像。所以，怎樣提升人臉關(guān)鍵特征定位算法性能，據(jù)此估量待識(shí)他人臉圖像姿態(tài)并進(jìn)行人臉姿態(tài)校正是現(xiàn)在人臉識(shí)別系統(tǒng)急需處理且極具挑戰(zhàn)性研究課題。(3)人臉圖像獲取質(zhì)量現(xiàn)在大多數(shù)人臉識(shí)別關(guān)鍵算法都是基于圖像質(zhì)量較高人臉庫(kù)測(cè)試結(jié)果，因而取得了較高識(shí)別率。但實(shí)用人臉識(shí)別系統(tǒng)往往會(huì)要求對(duì)低質(zhì)量人臉圖像進(jìn)行識(shí)別，如視頻監(jiān)控、信息安全和門禁系統(tǒng)尤其是罪犯搜捕等應(yīng)用場(chǎng)所獲取人臉圖像質(zhì)量低下，因而對(duì)人臉關(guān)鍵特征定位、特征抽取及人臉識(shí)別關(guān)鍵算法性能產(chǎn)生嚴(yán)重影響。主要存在以下三個(gè)特點(diǎn)：（1）視頻流質(zhì)量不高。視頻流通常都是室外（或室內(nèi)但光照條件差）而且用戶非合作狀態(tài)下獲取，因而人臉圖像光照和姿態(tài)存在很大隨機(jī)性；（2）全自動(dòng)安全監(jiān)控系統(tǒng)。被監(jiān)控對(duì)象往往會(huì)存在局部遮擋和偽裝(墨鏡、帽子)情況，從而造成面部特征甚至是關(guān)鍵特征（眼睛）丟失，怎樣很好地處理這類問題也很值得我們關(guān)注；（3）人臉圖像小。因?yàn)槭艿讲蹲綏l件限制（如成像距離等），人臉圖像通常都