人臉識(shí)別方法綜述

人臉識(shí)別方法綜述

1引言及文獻(xiàn)綜述隨著社會(huì)的發(fā)展，各方面對(duì)快速有效的自動(dòng)身份驗(yàn)證有所增加。生物特征是人體的固有屬性，具有很強(qiáng)的自身穩(wěn)定性和個(gè)人差異，因此是身份驗(yàn)證的理想依據(jù)。在這種情況下，人類特征的身份驗(yàn)證是最自然、最直接的手段。與其他人類生物特征相比，它具有直接、友好、方便的特點(diǎn)，并且易于被用戶接受。人臉識(shí)別是人類視覺(jué)最杰出的能力之一,它的研究涉及模式識(shí)別、圖像處理、生理學(xué)、心理學(xué)、認(rèn)知科學(xué),與基于其它生物特征的身份鑒別方法以及計(jì)算機(jī)人機(jī)感知交互領(lǐng)域都有密切聯(lián)系,因此早在六七十年代即引起了研究者的強(qiáng)烈興趣.進(jìn)入九十年代,由于各方面對(duì)人臉識(shí)別系統(tǒng)的迫切需求,人臉識(shí)別的研究重新變得非常熱門.目前美國(guó)等國(guó)有許多研究組在從事人臉識(shí)別的研究,這些研究受到軍方、警方及大公司的高度重視和資助,美國(guó)軍方每年還專門組織人臉識(shí)別比賽以促進(jìn)這一領(lǐng)域的發(fā)展.在國(guó)內(nèi),也開(kāi)始有一些學(xué)校從事人臉識(shí)別相關(guān)的研究.近幾年來(lái)關(guān)于人臉識(shí)別的研究取得了很大進(jìn)步,國(guó)際上發(fā)表有關(guān)論文的數(shù)量大幅增長(zhǎng),IEEE的PAMI匯刊還于1997年7月出版了人臉識(shí)別專輯,每年的國(guó)際會(huì)議上關(guān)于人臉識(shí)別的專題也屢屢可見(jiàn).而目前人臉識(shí)別綜述的文章還是截止到1994年,因此我們認(rèn)為非常有必要對(duì)近幾年的研究工作進(jìn)行一下總結(jié).在本文中我們將對(duì)人臉識(shí)別方法進(jìn)行綜述,其中主要介紹近三、四年的研究工作,之前的研究工作請(qǐng)參看文.2節(jié)的研究方法人臉自動(dòng)識(shí)別系統(tǒng)包括兩個(gè)主要技術(shù)環(huán)節(jié)(如圖1所示):首先是人臉檢測(cè)和定位,即從輸入圖像中找到人臉及人臉存在的位置,并將人臉從背景中分割出來(lái),然后才是對(duì)歸一化的人臉圖像進(jìn)行特征提取與識(shí)別.這兩個(gè)環(huán)節(jié)的研究獨(dú)立性很強(qiáng).由于在很多特定情況下人臉檢測(cè)與定位的工作比較簡(jiǎn)單,因此“特征提取與識(shí)別”環(huán)節(jié)得到了更為廣泛和深入的研究;而近幾年來(lái)隨著人們?cè)絹?lái)越關(guān)心各種復(fù)雜情形下的人臉自動(dòng)識(shí)別系統(tǒng),人臉檢測(cè)與定位才得到了較多的重視.評(píng)價(jià)一個(gè)人臉自動(dòng)識(shí)別系統(tǒng)的標(biāo)準(zhǔn),一個(gè)是誤識(shí)率即將某人錯(cuò)識(shí)別為其他人,另一個(gè)是虛警率即將其他人識(shí)別為這個(gè)人.這二者之間是存在矛盾的,所以在實(shí)際問(wèn)題中往往需要進(jìn)行某種折衷.如,在安全性要求較高的計(jì)算機(jī)登錄系統(tǒng)中,必須要求虛警率要盡可能低,而誤識(shí)率則可以高一些,這樣只是增加合法用戶的等錄時(shí)間,并不會(huì)降低計(jì)算機(jī)系統(tǒng)的安全性.這一點(diǎn)同樣適用于特征提取與識(shí)別環(huán)節(jié),但是對(duì)于人臉檢測(cè)與定位,我們一般則要求誤識(shí)率要盡可能低,因?yàn)檫@樣才可以保證所要識(shí)別的人不會(huì)在這一步就丟失.常用的人臉識(shí)別實(shí)驗(yàn)庫(kù)以美國(guó)軍方的FERET庫(kù)最為權(quán)威,它包括多人種、多年齡段、各種表情變化、光照變化、姿態(tài)變化的圖像,圖像的數(shù)量和實(shí)驗(yàn)人數(shù)也非常多,可以充分地驗(yàn)證人臉識(shí)別算法.另外如MIT、ORL等庫(kù)也可以用來(lái)驗(yàn)證算法在某些方面的能力.目前尚沒(méi)有專門測(cè)試人臉檢測(cè)和定位算法的圖像庫(kù).3人臉區(qū)域檢測(cè)人臉檢測(cè)的基本思想是用知識(shí)或統(tǒng)計(jì)的方法對(duì)人臉建模,比較所有可能的待檢測(cè)區(qū)域與人臉模型的匹配度,從而得到可能存在人臉的區(qū)域.其方法大致可分為基于統(tǒng)計(jì)和基于知識(shí)兩類.前者將人臉圖像視為一個(gè)高維向量,從而將人臉檢測(cè)問(wèn)題轉(zhuǎn)化為高維空間中分布信號(hào)的檢測(cè)問(wèn)題;而后者則利用人的知識(shí)建立若干規(guī)則,從而將人臉檢測(cè)問(wèn)題轉(zhuǎn)化為假設(shè)/驗(yàn)證問(wèn)題.3.1工神經(jīng)網(wǎng)絡(luò)方法(1)事例學(xué)習(xí).將人臉檢測(cè)視為區(qū)分非人臉樣本與人臉樣本的兩類模式分類問(wèn)題,通過(guò)對(duì)人臉樣本集和非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器.目前國(guó)際上普遍采用人工神經(jīng)網(wǎng)絡(luò).(2)子空間方法.Pentland等將KL變換引入了人臉檢測(cè),在人臉識(shí)別中利用的是主元子空間(特征驗(yàn)),而人臉檢測(cè)利用的是次元子空間(特征臉空間的補(bǔ)空間).用待檢測(cè)區(qū)域在次元子空間上的投影能量,也即待檢測(cè)區(qū)域到特征臉子空間的距離做為檢測(cè)統(tǒng)計(jì)量,距離越小,表明越像人臉.子空間方法的特點(diǎn)在于簡(jiǎn)便易行,但由于沒(méi)有利用反例樣本信息,對(duì)與人臉類似的物體辨別能力不足.(3)空間匹配濾波器方法.包括各種模板匹配方法、合成辨別函數(shù)方法等.3.2基于知識(shí)建模的面部檢測(cè)方法(1)利用mosaic方法篩選細(xì)胞可能存在的位置雖然人臉在外觀上變化很大,但遵循一些幾乎是普遍適用的規(guī)則,如五官的空間位置分布大致符合‘三停五眼’等,檢測(cè)圖像中是否有人臉即是測(cè)試該圖像中是否存在滿足這些規(guī)則的圖像塊.這種方法一般有兩種思路:一種是“從上到下”,其中最為簡(jiǎn)單有效的是Yang等人提出的Mosaic方法,它給出了基于人臉區(qū)域灰度分布的規(guī)則,依據(jù)這些規(guī)則對(duì)圖像從粗分辨率到高分辨率進(jìn)行篩選,以樣本滿足這些規(guī)則的程度做為檢測(cè)的判據(jù).類似的工作還有.另一種思路則是從下至上,先直接檢測(cè)幾個(gè)器官可能分布的位置,然后將這些位置點(diǎn)分別組合,用器官分布的幾何關(guān)系準(zhǔn)則進(jìn)行篩選,找到可能存在的人臉.(2)人臉檢測(cè)算法人臉的輪廓可以簡(jiǎn)單地看成一個(gè)近似橢圓,而人臉檢測(cè)可以通過(guò)橢圓檢測(cè)來(lái)完成.Goyindaraju提出認(rèn)知模型方法,將人臉建模為兩條直線(左右兩側(cè)面頰)和上下兩個(gè)弧(頭部和下巴),通過(guò)修正Hough變換來(lái)檢測(cè)直線和弧.近期Tankus利用凸檢測(cè)的方法進(jìn)行人臉檢測(cè).(3)復(fù)雜背景下人臉及器官檢測(cè)同民族人的面部膚色在顏色空間中的分布相對(duì)比較集中,顏色信息在一定程度上可以將人臉同大部分背景區(qū)分開(kāi)來(lái).Lee等設(shè)計(jì)了膚色模型表征人臉顏色,利用感光模型進(jìn)行復(fù)雜背景下人臉及器官的檢測(cè)與分割.Dai利用了SGLD(空間灰度共生矩陣)紋理圖信息做為特征進(jìn)行低分辨率的人臉檢測(cè).Saber等則將顏色、形狀等結(jié)合在一起來(lái)進(jìn)行人臉檢測(cè).(4)活體人臉檢測(cè)通常相對(duì)背景人總是在運(yùn)動(dòng)的,利用運(yùn)動(dòng)信息可以簡(jiǎn)單有效的將人從任意復(fù)雜背景中分割出來(lái).其中包括利用瞬眼、說(shuō)話等方法的活體人臉檢測(cè)方法.文獻(xiàn)對(duì)利用運(yùn)動(dòng)信息進(jìn)行頭部運(yùn)動(dòng)跟蹤檢測(cè)進(jìn)行了綜述和探討.(5)人臉的確定法人臉具有一定的軸對(duì)稱性,各器官也具有一定的對(duì)稱性.Zabrodshky提出連續(xù)對(duì)稱性檢測(cè)方法,檢測(cè)一個(gè)圓形區(qū)域的對(duì)稱性,從而確定是否為人臉;Riesfield提出廣義對(duì)稱變換方法檢測(cè)局部對(duì)稱性強(qiáng)的點(diǎn)來(lái)進(jìn)行人臉器官定位.我們則定義方向?qū)ΨQ變換,分別在不同方向上考察對(duì)稱性,不僅能夠用來(lái)尋找強(qiáng)對(duì)稱點(diǎn),而且可描述有強(qiáng)對(duì)稱性物體的形狀信息,在進(jìn)行人臉器官定位時(shí)更為有效.4人臉特征識(shí)別方法人臉識(shí)別本質(zhì)上是三維塑性物體二維投影圖像的匹配問(wèn)題,它的困難體現(xiàn)在:(1)人臉?biāo)苄宰冃?如表情等)的不確定性;(2)人臉模式的多樣性(如胡須、發(fā)型、眼鏡、化妝等);(3)圖像獲取過(guò)程中的不確定性(如光照的強(qiáng)度、光源方向等).識(shí)別人臉主要依據(jù)人臉上的特征,也就是說(shuō)依據(jù)那些在不同個(gè)體之間存在較大差異而對(duì)于同一個(gè)人則比較穩(wěn)定的度量.由于人臉變化復(fù)雜,因此特征表述和特征提取十分困難.在對(duì)人臉圖像進(jìn)行特征提取和分類之前一般需要做幾何歸一化和灰度歸一化.幾何歸一化是指根據(jù)人臉定位結(jié)果將圖像中人臉變換到同一位置和同樣大小,灰度歸一化是指對(duì)圖像進(jìn)行光照補(bǔ)償?shù)忍幚?光照補(bǔ)償能夠一定程度地克服光照變化的影響而提高識(shí)別率.關(guān)于人臉特征提取與識(shí)別的方法可概述如下:4.1幾何特征分類方法人臉由眼睛、鼻子、嘴巴、下巴等部件構(gòu)成,正因?yàn)檫@些部件的形狀、大小和結(jié)構(gòu)上的各種差異才使得世界上每個(gè)人臉千差萬(wàn)別,因此對(duì)這些部件的形狀和結(jié)構(gòu)關(guān)系的幾何描述,可以做為人臉識(shí)別的重要特征.幾何特征最早是用于人臉側(cè)面輪廓的描述與識(shí)別,首先根據(jù)側(cè)面輪廓曲線確定若干顯著點(diǎn),并由這些顯著點(diǎn)導(dǎo)出一組用于識(shí)別的特征度量如距離、角度等.Jia等由正面灰度圖中線附近的積分投影模擬側(cè)面輪廓圖是一種很有新意的方法.采用幾何特征進(jìn)行正面人臉識(shí)別一般是通過(guò)提取人眼、口、鼻等重要特征點(diǎn)的位置和眼睛等重要器官的幾何形狀作為分類特征,但Roder對(duì)幾何特征提取的精確性進(jìn)行了實(shí)驗(yàn)性的研究,結(jié)果不容樂(lè)觀.可變形模板法可以視為幾何特征方法的一種改進(jìn),其基本思想是:設(shè)計(jì)一個(gè)參數(shù)可調(diào)的器官模型(即可變形模板,如圖2所示),定義一個(gè)能量函數(shù),通過(guò)調(diào)整模型參數(shù)使能量函數(shù)最小化,此時(shí)的模型參數(shù)即做為該器官的幾何特征.這種方法思想很好,但是存在兩個(gè)問(wèn)題,一是能量函數(shù)中各種代價(jià)的加權(quán)系數(shù)只能由經(jīng)驗(yàn)確定,難以推廣;二是能量函數(shù)優(yōu)化過(guò)程十分耗時(shí),難以實(shí)際應(yīng)用.基于參數(shù)的人臉表示可以實(shí)現(xiàn)對(duì)人臉顯著特征的一個(gè)高效描述,但它需要大量的前處理和精細(xì)的參數(shù)選擇.同時(shí),采用一般幾何特征只描述了部件的基本形狀與結(jié)構(gòu)關(guān)系,忽略了局部細(xì)微特征,造成部分信息的丟失,更適合于做粗分類,而且目前已有的特征點(diǎn)檢測(cè)技術(shù)在精確率上還遠(yuǎn)不能滿足要求,計(jì)算量也較大.4.2特征臉?lè)椒ǖ母倪M(jìn)Turk和Pentland提出特征臉的方法,它根據(jù)一組人臉訓(xùn)練圖像構(gòu)造主元子空間,由于主元具有臉的形狀,也稱為特征臉(如圖3所示).識(shí)別時(shí)將測(cè)試圖像投影到主元子空間上,得到一組投影系數(shù),和各個(gè)已知人的人臉圖像比較進(jìn)行識(shí)別.在中Pentland等報(bào)告了相當(dāng)好的結(jié)果,在200個(gè)人的3000幅圖像中得到95%的正確識(shí)別率,在FERET數(shù)據(jù)庫(kù)上對(duì)150幅正面人臉象只有一個(gè)誤識(shí)別.但系統(tǒng)在進(jìn)行特征臉?lè)椒ㄖ靶枰鞔罅款A(yù)處理工作如歸一化等.在傳統(tǒng)特征臉的基礎(chǔ)上,研究者注意到特征值大的特征向量(即特征臉)并不一定是分類性能好的方向,據(jù)此發(fā)展了多種特征(子空間)選擇方法,如Peng的雙子空間方法、Weng的線性歧義分析方法、Belhumeur的FisherFace方法等.事實(shí)上,特征臉?lè)椒ㄊ且环N顯式主元分析人臉建模,一些線性自聯(lián)想、線性壓縮型BP網(wǎng)則為隱式的主元分析方法,它們都是把人臉表示為一些向量的加權(quán)和,這些向量是訓(xùn)練集叉積陣的主特征向量,Valentin對(duì)此作了詳細(xì)討論.總之,特征臉?lè)椒ㄊ且环N簡(jiǎn)單、快速、實(shí)用的基于變換系數(shù)特征的算法,但由于它在本質(zhì)上依賴于訓(xùn)練集和測(cè)試集圖像的灰度相關(guān)性,而且要求測(cè)試圖像與訓(xùn)練集比較像,所以它有著很大的局限性.4.3局部特征的局部識(shí)別主元子空間的表示是緊湊的,特征維數(shù)大大降低,但它是非局部化的,其核函數(shù)的支集擴(kuò)展在整個(gè)坐標(biāo)空間中,同時(shí)它是非拓?fù)涞?某個(gè)軸投影后臨近的點(diǎn)與原圖像空間中點(diǎn)的臨近性沒(méi)有任何關(guān)系,而局部性和拓?fù)湫詫?duì)模式分析和分割是理想的特性,似乎這更符合神經(jīng)信息處理的機(jī)制,因此尋找具有這種特性的表達(dá)十分重要.基于這種考慮,Atick提出基于局部特征的人臉特征提取與識(shí)別方法(如圖4所示).這種方法在實(shí)際應(yīng)用取得了很好的效果,它構(gòu)成了FaceIt人臉識(shí)別軟件的基礎(chǔ).4.4人臉圖像特征模型Lades等人針對(duì)畸變不變性的物體識(shí)別提出了動(dòng)態(tài)鏈接模型(DLA),將物體用稀疏圖形來(lái)描述(見(jiàn)圖5),其頂點(diǎn)用局部能量譜的多尺度描述來(lái)標(biāo)記,邊則表示拓?fù)溥B接關(guān)系并用幾何距離來(lái)標(biāo)記,然后應(yīng)用塑性圖形匹配技術(shù)來(lái)尋找最近的已知圖形.Wiscott等人在此基礎(chǔ)上作了改進(jìn),用FERET圖像庫(kù)做實(shí)驗(yàn),用300幅人臉圖像和另外300幅圖像作比較,準(zhǔn)確率達(dá)到97.3%.此方法的缺點(diǎn)是計(jì)算量非常巨大.Nastar將人臉圖像(Ⅰ)(x,y)建模為可變形的3D網(wǎng)格表面(x,y,I(x,y))(如圖6所示),從而將人臉匹配問(wèn)題轉(zhuǎn)化為可變形曲面的彈性匹配問(wèn)題.利用有限元分析的方法進(jìn)行曲面變形,并根據(jù)變形的情況判斷兩張圖片是否為同一個(gè)人.這種方法的特點(diǎn)在于將空間(x,y)和灰度I(x,y)放在了一個(gè)3D空間中同時(shí)考慮,實(shí)驗(yàn)表明識(shí)別結(jié)果明顯優(yōu)于特征臉?lè)椒?Lanitis等提出靈活表現(xiàn)模型方法,通過(guò)自動(dòng)定位人臉的顯著特征點(diǎn)將人臉編碼為83個(gè)模型參數(shù),并利用辨別分析的方法進(jìn)行基于形狀信息的人臉識(shí)別.4.5基于模糊神經(jīng)網(wǎng)絡(luò)的識(shí)別目前神經(jīng)網(wǎng)絡(luò)方法在人臉識(shí)別中的研究方興未艾.Valentin提出一種方法,首先提取人臉的50個(gè)主元,然后用自相關(guān)神經(jīng)網(wǎng)絡(luò)將它映射到5維空間中,再用一個(gè)普通的多層感知器進(jìn)行判別,對(duì)一些簡(jiǎn)單的測(cè)試圖像效果較好;Intrator等提出了一種混合型神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行人臉識(shí)別,其中非監(jiān)督神經(jīng)網(wǎng)絡(luò)用于特征提取,而監(jiān)督神經(jīng)網(wǎng)絡(luò)用于分類.Lee等將人臉的特點(diǎn)用六條規(guī)則描述,然后根據(jù)這六條規(guī)則進(jìn)行五官的定位,將五官之間的幾何距離輸入模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別,效果較一般的基于歐氏距離的方法有較大改善;Laurence等采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識(shí)別,由于卷積神經(jīng)網(wǎng)絡(luò)中集成了相鄰像素之間的相關(guān)性知識(shí),從而在一定程度上獲得了對(duì)圖像平移、旋轉(zhuǎn)和局部變形的不變性,因此得到非常理想的識(shí)別結(jié)果;Lin等提出了基于概率決策的神經(jīng)網(wǎng)絡(luò)方法(PDBNN),其主要思想是采用虛擬(正反例)樣本進(jìn)行強(qiáng)化和反強(qiáng)化學(xué)習(xí),從而得到較為理想的概率估計(jì)結(jié)果,并采用模塊化的網(wǎng)絡(luò)結(jié)構(gòu)(OCON)加快網(wǎng)絡(luò)的學(xué)習(xí).這種方法在人臉檢測(cè)、人臉定位和人臉識(shí)別的各個(gè)步驟上都得到了較好的應(yīng)用;其它研究還有:Dai等提出用Hopfield網(wǎng)絡(luò)進(jìn)行低分辨率人臉聯(lián)想與識(shí)別;Gutta等提出將RBF與樹(shù)型分類器結(jié)合起來(lái)進(jìn)行人臉識(shí)別的混合分類器模型;Phillips等人將MatchingPursuit濾波器用于人臉識(shí)別;我們則采用統(tǒng)計(jì)學(xué)習(xí)理論中的支撐向量機(jī)進(jìn)行人臉?lè)诸?神經(jīng)網(wǎng)絡(luò)方法在人臉識(shí)別上的應(yīng)用比起前述幾類方法來(lái)有一定的優(yōu)勢(shì),因?yàn)閷?duì)人臉識(shí)別的許多規(guī)律或規(guī)則進(jìn)行顯性的描述是相當(dāng)困難的,而神經(jīng)網(wǎng)絡(luò)方法則可以通過(guò)學(xué)習(xí)的過(guò)程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá),它的適應(yīng)性更強(qiáng),一般也比較容易實(shí)現(xiàn).4.6動(dòng)態(tài)人臉圖像的形成Brunelli等對(duì)模板匹配方法作了大量實(shí)驗(yàn),結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下,模板匹配的效果優(yōu)于其他方法,但它對(duì)光照、旋轉(zhuǎn)和表情變化比較敏感,影響了它的直接使用.Goudail等人采用局部自相關(guān)性作為人臉識(shí)別的判斷依據(jù),它具有平移不變性,在臉部表情變化時(shí)比較穩(wěn)定.在最近的一些工作中,Benarie等提出VFR的