人臉特征提取與識(shí)別(參考)

1、 本科生畢業(yè)設(shè)計(jì)（論文）文獻(xiàn)綜述題 目： 人臉特征提取與識(shí)別 姓 名： 學(xué) 號(hào)： 學(xué) 院： 專(zhuān) 業(yè)： 年 級(jí)： 指導(dǎo)教師： （簽名）系主任（或教研室主任）： （簽章）目錄1前言12人臉特征提取與識(shí)別方法12.1 基于幾何特征的方法12.2 基于特征臉的方法22.3 局部特征分析 LFA方法32.4 基于彈性模型的方法42.5 神經(jīng)網(wǎng)絡(luò)方法42.6 其他方法53總結(jié)5致謝：6參考文獻(xiàn)：6文獻(xiàn)綜述：人臉特征提取與識(shí)別人臉特征提取與識(shí)別1 前言近年來(lái)，Internet和多媒體技術(shù)飛速發(fā)展，多媒體（包括圖像、視頻等）數(shù)據(jù)規(guī)模急劇膨脹。為了快速、準(zhǔn)確地找到感興趣的圖像或視頻，人們提出了基于內(nèi)容的圖像檢索

2、(content-based image retrieval，簡(jiǎn)稱(chēng)CBIR)技術(shù)，研究讓計(jì)算機(jī)對(duì)圖像進(jìn)行分類(lèi)和檢索的算法。CBIR涉及圖像內(nèi)容表示、相似性度量、高維索引技術(shù)等方面。1圖像內(nèi)容的表示是需要首先解決的問(wèn)題。為了實(shí)現(xiàn)對(duì)圖像內(nèi)容的存取、訪問(wèn)和檢索，MPEG-7提出了圖像內(nèi)容描述子的概念，例如顏色描述子、紋理描述子、形狀描述子等。圖像顏色內(nèi)容通常用顏色直方圖來(lái)表示，紋理特征以紋理模式區(qū)分圖像，形狀特征用于包含特定形狀對(duì)象的圖像檢索。顏色直方圖（或稱(chēng)為顏色譜）因其簡(jiǎn)單、有效的性能而在大多數(shù)CBIR系統(tǒng)中得到應(yīng)用，但是顏色直方圖對(duì)紋理圖像的檢索效果不好。不同的紋理圖像可能有非常相似的顏色直方

3、圖。所謂圖像紋理，它反映的是圖像的一種局部結(jié)構(gòu)化特征，具體表現(xiàn)為圖像像素點(diǎn)某鄰域內(nèi)像素點(diǎn)灰度級(jí)或者顏色的某種變化，而且這種變化是空間統(tǒng)計(jì)相關(guān)的，它由紋理基元和基元的排列兩個(gè)要素構(gòu)成。紋理分析方法有統(tǒng)計(jì)方法、結(jié)構(gòu)方法和基于模型的方法。2 人臉特征提取與識(shí)別方法 人臉識(shí)別本質(zhì)上是三維塑性物體二維投影圖像的匹配問(wèn)題，它的困難體現(xiàn)在：(1)人臉?biāo)苄宰冃?如表情等)的不確定性；(2)人臉模式的多樣性(如胡須、發(fā)型、眼鏡、化妝等)；(3)圖像獲取過(guò)程中的不確定性(如光照的強(qiáng)度、光源方向等)。識(shí)別人臉主要依靠人臉上的特征。也就是說(shuō)依據(jù)那些在不同個(gè)體上存在的較大差異而對(duì)同一個(gè)人則比較穩(wěn)定的度量。由于人臉變化復(fù)

4、雜，因此特征表述和特征提取十分困難。 在對(duì)人臉圖像進(jìn)行特征提取和分類(lèi)之前一般需要做幾何歸一化和灰度歸一化。幾何歸一化是指根據(jù)人臉定位結(jié)果將圖像中人臉變換到同一位置和同樣大小，灰度歸一化是指對(duì)圖像進(jìn)行光照補(bǔ)償?shù)忍幚?，光照補(bǔ)償能夠一定程度地克服光照變化的影響而提高識(shí)別率。 2.1 基于幾何特征的方法 人臉由眼睛、鼻子、嘴巴、下巴等部件構(gòu)成，正因?yàn)檫@些部件的形狀、大小和結(jié)構(gòu)上的各種差異才使得世界上每個(gè)人臉干差萬(wàn)別，因此對(duì)這些部件的形狀和結(jié)構(gòu)關(guān)系的幾何描述，可以作為人臉識(shí)別的重要特征。幾何特征最早是用于人臉側(cè)面輪廓的描述與識(shí)別，首先根據(jù)側(cè)面輪廓曲線確定若干顯著點(diǎn)，并由這些顯著點(diǎn)導(dǎo)出一組用于識(shí)別的特征度

5、量如距離、角度等。Jia等由正面灰度圖中線附近的積分投影模擬側(cè)面輪廓圖是一種很有新意的方法。2 采用幾何特征進(jìn)行正面人臉識(shí)別一般是通過(guò)提取人眼、口、鼻等重要特征點(diǎn)的位置和眼睛等重要器官的幾何形狀作為分類(lèi)特征，但Roder對(duì)幾何特征提取的精確性進(jìn)行了實(shí)驗(yàn)性的研究，結(jié)果不容樂(lè)觀。3可變形模板法可以視為幾何特征方法的一種改進(jìn)，其基本思想是：設(shè)計(jì)一個(gè)參數(shù)可調(diào)的器官模型(即可變形模板，如圖2-1，圖2-2所示)，定義一個(gè)能量函數(shù)，通過(guò)調(diào)整模型參數(shù)使能量函數(shù)最小化，此時(shí)的模型參數(shù)即做為該器官的幾何特征。這種方法思想很好，但是存在兩個(gè)問(wèn)題，一是能量函數(shù)中各種代價(jià)的加權(quán)系數(shù)只能由經(jīng)驗(yàn)確定，難以推廣；二是能量函

6、數(shù)優(yōu)化過(guò)程十分耗時(shí)，難以實(shí)際應(yīng)用。4圖2-1 可變形模板法的眼模型圖2-2 可變形模板法的嘴模型 基于參數(shù)的人臉表示可以實(shí)現(xiàn)對(duì)人臉顯著特征的一個(gè)高效描述，但它需要大量的前處理和精細(xì)的參數(shù)選擇。同時(shí)，采用一般幾何特征只描述了部件的基本形狀與結(jié)構(gòu)關(guān)系，忽略了局部細(xì)微特征，造成部分信息的丟失，更適合于做粗分類(lèi)，而且目前已有的特征點(diǎn)檢測(cè)技術(shù)在精確率上還遠(yuǎn)不能滿足要求，計(jì)算量也較大。2.2 基于特征臉的方法 Turk和Pentland提出特征臉的方法，它根據(jù)一組人臉訓(xùn)練圖像構(gòu)造主元子空間，由于主元具有臉的形狀，也稱(chēng)為特征臉(如圖 2-3所示)。識(shí)別時(shí)將測(cè)試圖像投影到主元子空間上，得到一組投影系數(shù)，和各個(gè)

7、己知的人臉圖像比較進(jìn)行識(shí)別。Pentland 等報(bào)告了相當(dāng)好的結(jié)果，在200個(gè)人的3000幅圖像中得到95的正確識(shí)別率，在FERET數(shù)據(jù)庫(kù)上對(duì)150幅正面人臉象只有一個(gè)誤識(shí)別。但系統(tǒng)在進(jìn)行特征臉?lè)椒ㄖ靶枰鞔罅款A(yù)處理工作，如歸一化等。 圖2-3 Pentland 得到的特征臉(主特征向量) 在傳統(tǒng)特征臉的基礎(chǔ)上，研究者注意到特征值大的特征人臉識(shí)向量(即特征臉)并不一定是分類(lèi)性能好的方向，據(jù)此發(fā)展了多種特征（子空間）選擇方法，如Peng的雙子空間方法、Weng的線性歧義分析方法、Belhumeur的 FisherFace方法等。事實(shí)上，特征臉?lè)椒ㄊ且环N顯式主元分析人臉建模，一些線性自聯(lián)想、線性

8、壓縮型BP網(wǎng)則為隱式的主元分析方法。它們都是把人臉表示為一些向量的加權(quán)和，這些向量是訓(xùn)練集叉積陣的主特征向量，Valetin對(duì)此作了詳細(xì)討論?？傊?，特征臉?lè)椒ㄊ且环N簡(jiǎn)單、快速、實(shí)用的基于變換系數(shù)特征的算法，但由于它在本質(zhì)上依賴(lài)于訓(xùn)練集和測(cè)試集圖像的灰度相關(guān)性，所以還有著很大的局限性。 52.3 局部特征分析 LFA方法 主元子空間的表示是緊湊的，特征維數(shù)大大降低，但它是非局部化的，其核函數(shù)的支集擴(kuò)展在整個(gè)坐標(biāo)空間中，同時(shí)它是非拓?fù)涞?，某個(gè)軸投影后鄰近的點(diǎn)與原圖像空間中點(diǎn)的鄰近性沒(méi)有任何關(guān)系，而局部性和拓?fù)湫詫?duì)模式分析和分割是理想的特性，似乎這更符合神經(jīng)信息處理的機(jī)制，因此尋找具有這種特性的表達(dá)

9、十分重要?；谶@種考慮，Atick提出基于局部特征的人臉特征提取與識(shí)別方法。這種方法在實(shí)際應(yīng)用取得了很好的效果，它構(gòu)成了Facelt軟件的基礎(chǔ)。 局部特征分析（Local Feature Analysis，LFA）是一種基于特征表示的面像識(shí)別技術(shù)，源于類(lèi)似搭建積木的局部統(tǒng)計(jì)的原理。LFA 基于所有的面像(包括各種復(fù)雜的式樣)都可以從由很多不能再簡(jiǎn)化的結(jié)構(gòu)單元子集綜合而成。這些單元使用復(fù)雜的統(tǒng)計(jì)技術(shù)而形成，它們代表了整個(gè)面像，通?？缭蕉鄠€(gè)像素（在局部區(qū)域內(nèi)）并代表了普遍的面部形狀，但并不是通常意義上的面部特征。實(shí)際上，面部結(jié)構(gòu)單元比面像的部位要多得多。 然而，要綜合形成一張精確逼真的面像，只需要

10、整個(gè)可用集合中很少的單元子集(1240特征單元)。要確定身份不僅僅取決于特性單元，還決定于它們的幾何結(jié)構(gòu)(比如它們的相關(guān)位置)。通過(guò)這種方式，LFA 將個(gè)人的特性對(duì)應(yīng)成一種復(fù)雜的數(shù)字表達(dá)方式，可以進(jìn)行對(duì)比和識(shí)別。“面紋”編碼方式是根據(jù)臉部的本質(zhì)特征和形狀來(lái)工作的，它可以抵抗光線、皮膚色調(diào)、面部毛發(fā)、發(fā)型、眼鏡、表情和姿態(tài)的變化，具有強(qiáng)大的可靠性，使它可以從百萬(wàn)人中精確地辨認(rèn)出一個(gè)人。銀晨面像識(shí)別系統(tǒng)用的就是這種方法。 2.4 基于彈性模型的方法 Lades等人針對(duì)畸變不變性的物體識(shí)別提出了動(dòng)態(tài)鏈接模型（DLA）6，將物體用稀疏圖形來(lái)描述，其頂點(diǎn)用局部能量的多尺度描述來(lái)標(biāo)記，邊則表示拓?fù)溥B接關(guān)系

11、并用幾何距離來(lái)標(biāo)記，然后應(yīng)用塑性圖形匹配技術(shù)來(lái)尋找最近的己知圖形。Wiscott等人在此基礎(chǔ)上作了改進(jìn)，用FERET等圖像庫(kù)做實(shí)驗(yàn)，用300幅人臉圖像和另外300幅圖像作比較，準(zhǔn)確率達(dá)到97.3；此方法的缺點(diǎn)是計(jì)算量非常巨大。 Nastar將人臉圖像I(x，y)建模為可變形的3D網(wǎng)格表面(x，y，I(x, y)，從而將人臉匹配問(wèn)題轉(zhuǎn)化為可變形曲面的彈性匹配問(wèn)題N1。利用有限元分析的方法進(jìn)行曲面變形，并根據(jù)變形的情況判斷兩張圖片是否為同一個(gè)人。這種方法的特點(diǎn)在于將空間(x，y)和灰度 I(x，y)放在了一個(gè) 3D 空間中同時(shí)考慮，實(shí)驗(yàn)表明識(shí)別結(jié)果明顯優(yōu)于特征臉?lè)椒ā?Lanitis等提出靈活表現(xiàn)

12、模型方法，通過(guò)自動(dòng)定位人臉的顯著特征，將人臉編碼為 83 個(gè)模型參數(shù)，并利用辨別分析的方法進(jìn)行基于形狀的人臉識(shí)別。2.5 神經(jīng)網(wǎng)絡(luò)方法 目前神經(jīng)網(wǎng)絡(luò)方法在人臉識(shí)別中的研究方興未艾。Valentin 提出一種方法，首先提取人臉的 50 個(gè)主元，然后用自相關(guān)神經(jīng)網(wǎng)絡(luò)將它映射到 5 維空間中，再用一個(gè)普通的多層感知器進(jìn)行判別，對(duì)一些簡(jiǎn)單的測(cè)試圖像效果較好；Intrator等提出了一種混合型神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行人臉識(shí)別，其中非監(jiān)督神經(jīng)網(wǎng)絡(luò)用于特征提取，而監(jiān)督神經(jīng)網(wǎng)絡(luò)用于分類(lèi)。Lee等將人臉的特點(diǎn)用六條規(guī)則描述，然后根據(jù)這六條規(guī)則進(jìn)行五官的定位，將五官之間的幾何距離輸入模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，效果較一般的基于歐

13、氏距離的方法有較大改善；Laurence等采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識(shí)別，由于卷積神經(jīng)網(wǎng)絡(luò)中集成了相鄰像素之間的相關(guān)性知識(shí)，從而在一定程度上獲得了對(duì)圖像平移、旋轉(zhuǎn)和局部變形的不變性，因此得到非常理想的識(shí)別結(jié)果；Lin等提出了基于概率決策的神經(jīng)網(wǎng)絡(luò)方法(PDBNN)，其主要思想是采用虛擬(正反例)樣本進(jìn)行強(qiáng)化和反強(qiáng)化學(xué)習(xí)，從而得到較為理想的概率估計(jì)結(jié)果，并采用模塊化的網(wǎng)絡(luò)結(jié)構(gòu)(OCON)加快網(wǎng)絡(luò)的學(xué)習(xí)。這種方法在人臉檢測(cè)、人臉定位和人臉識(shí)別的各個(gè)步驟上都得到了較好的應(yīng)用。其它研究還有：Dai等提出用Hopfield 網(wǎng)絡(luò)進(jìn)行低分辨率人臉聯(lián)想與識(shí)別；Gutta等提出將 RBF 與樹(shù)型分類(lèi)器結(jié)合起

14、來(lái)進(jìn)行人臉識(shí)別的混合分類(lèi)器模型；Phillips等人將Matching Pursuit濾波器用于人臉識(shí)別；還有人用統(tǒng)計(jì)學(xué)習(xí)理論中的支撐向量機(jī)（SVM）進(jìn)行人臉?lè)诸?lèi)。 7神經(jīng)網(wǎng)絡(luò)方法在人臉識(shí)別上的應(yīng)用比起前述幾類(lèi)方法來(lái)有一定的優(yōu)勢(shì)，因?yàn)閷?duì)人臉識(shí)別的許多規(guī)律或規(guī)則進(jìn)行顯性的描述是相當(dāng)困難的，而神經(jīng)網(wǎng)絡(luò)方法則可以通過(guò)學(xué)習(xí)的過(guò)程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá)，它的適應(yīng)性更強(qiáng)，一般也比較容易實(shí)現(xiàn)。2.6 其他方法 Brunelli等對(duì)模板匹配方法作了大量實(shí)驗(yàn)，結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其他方法，但它對(duì)光照、旋轉(zhuǎn)和表情變化比較敏感，影響了它的直接使用。Goud

15、ail等人采用局部自相關(guān)性作為人臉識(shí)別的判斷依據(jù)，它具有平移不變性，在臉部表情變化時(shí)比較穩(wěn)定。在最近的一些工作中，Benarie等提出VFR的表示框架并將它用于人臉識(shí)別的工作中，Lam等人研究了不同視點(diǎn)下的人臉匹配和識(shí)別問(wèn)題，Vetter 等人討論了由單幅人臉圖像生成其他視點(diǎn)的人臉圖像的可能性，Mirhosseini等則探討了多種信息融合的人臉識(shí)別方法。83 總結(jié)作為模式識(shí)別、圖像分析與理解等領(lǐng)域的典型研究課題，人臉識(shí)別不僅在理論上具有重要價(jià)值，而且在安全、金融等領(lǐng)域具有重要的應(yīng)用前景，因此在學(xué)術(shù)界和產(chǎn)業(yè)界都受到了廣泛的關(guān)注，目前已經(jīng)出現(xiàn)了一些實(shí)用的商業(yè)系統(tǒng)。然而，由于圖像采集條件和人臉自身屬

16、性的變化，例如圖像采集時(shí)的光照、視角、攝像設(shè)備的變化，人臉的表情、化妝、年齡變化等，都可能使得同一人的不同照片表觀差別很大，造成識(shí)別上的困難。因此，提高人臉識(shí)別系統(tǒng)對(duì)這些變化的魯棒性成為該領(lǐng)域研究人員的重要目標(biāo)之一。為實(shí)現(xiàn)魯棒的識(shí)別，可以從人臉建模、分類(lèi)器設(shè)計(jì)等不同角度入手：前者試圖從尋求對(duì)各種外界條件導(dǎo)致的圖像變化具有不變性的人臉描述入手；而后者則試圖使得分類(lèi)器對(duì)特征的變異有足夠的魯棒性。另外，也可以同時(shí)從兩個(gè)角度入手解決問(wèn)題。在人臉識(shí)別的早期，基于表觀(appearance)的人臉識(shí)別方法往往直接采用圖像灰度作為特征進(jìn)行分類(lèi)或者特征選擇的基礎(chǔ)，如 Correlation，Eigenface

17、s，F(xiàn)isherfaces等。而近年來(lái)，對(duì)圖像灰度進(jìn)行多尺度、多方向的Gabor 小波變換逐漸成為主流的思路之一，這主要是因?yàn)?Gabor 小波可以很好地模擬大腦皮層中單細(xì)胞感受野的輪廓，捕捉突出的視覺(jué)屬性，例如空間定位、方向選擇等。特別是 Gabor 小波可以提取圖像特定區(qū)域內(nèi)的多尺度、多方向空間頻率特征，像顯微鏡一樣放大灰度的變化，這樣，人臉圖像中的眼睛、鼻子和嘴以及其他一些局部特征被放大。因此，采用 Gabor 變換來(lái)處理人臉圖像，可以增強(qiáng)一些關(guān)鍵特征，以區(qū)分不同人臉圖像。Gabor 小波也因此在人臉識(shí)別中得到了廣泛的應(yīng)用，如彈性圖匹配、基于 Gabor 特征的 Fisher 判別、基于

18、 AdaBoost的 Gabor 特征分類(lèi)等。但是，由于多尺度、多方向的 Gabor 分解使得數(shù)據(jù)的維數(shù)大量增加，尤其當(dāng)圖像尺寸偏大時(shí)更為嚴(yán)重，為避免維數(shù)災(zāi)難問(wèn)題必須進(jìn)行降維。彈性圖匹配方法僅對(duì)人臉圖像中部分關(guān)鍵特征點(diǎn)進(jìn)行Gabor 變換，并將人臉描述為以這些特征點(diǎn)位置為頂點(diǎn)、以其 Gabor 變換系數(shù)為頂點(diǎn)屬性、以其關(guān)鍵點(diǎn)位置關(guān)系為邊屬性的屬性圖，從而將人臉識(shí)別問(wèn)題轉(zhuǎn)化為圖匹配問(wèn)題，但該方法對(duì)特征點(diǎn)的選擇和配準(zhǔn)有較高的要求。直接降維的方法是在 Gabor 變換系數(shù)下采樣，然后采用 Fisher 判別分析方法進(jìn)一步提取特征，但簡(jiǎn)單下采樣很可能造成一些重要信息的丟失。9近年來(lái)，基于局部二值模式(

19、local binary pattern,簡(jiǎn)稱(chēng)LBP)的人臉識(shí)別方法受到人們的關(guān)注，該方法來(lái)源于紋理分析領(lǐng)域。它首先計(jì)算圖像中每個(gè)像素與其局部鄰域點(diǎn)在亮度上的序關(guān)系，然后對(duì)二值序關(guān)系進(jìn)行編碼形成局部二值模式，最后采用多區(qū)域直方圖作為圖像的特征描述。該方法在 FERET 人臉圖像數(shù)據(jù)庫(kù)上取得了很好的識(shí)別性能。 LBP 方法本質(zhì)上提取的是圖像邊緣、角點(diǎn)等局部變化特征，它們對(duì)于區(qū)分不同的人臉是很重要的。但是，邊緣特征有方向性和尺度差異，角點(diǎn)特征也同樣有不同的尺度，或者說(shuō)邊緣、角點(diǎn)等圖像特征的方向性和尺度包含了更多的可以區(qū)分不同人臉的細(xì)節(jié)信息。致謝： 感謝一直以來(lái)給予我指導(dǎo)的李劍敏老師，在這期間給老師添了不少麻煩。李老師總是在百忙之中盡量的抽出時(shí)間來(lái)給我們分析、解決研究和設(shè)計(jì)中所遇到的各種問(wèn)題。謝謝所有幫助過(guò)我的人。參考文獻(xiàn)：1施智平，胡宏，李清勇，史忠植，段禪倫。基于紋理譜描述子的圖像檢索。北京：軟件學(xué)報(bào)，2005。2H.Zabrodsky et al. IEEE Trans.PAMI,1995,17:115411663張俊,何昕,李介谷.基于面部幾何特征點(diǎn)提取的人臉識(shí)別方法. 紅外與激光工程, 1999年8 月第28卷第4期4山世光.面部特征檢測(cè)與識(shí)別的研究與實(shí)現(xiàn).工