人臉檢測與識別

關(guān)于人臉檢測與識別12人臉識別是一個活躍的研究領(lǐng)域，是人類視覺最杰出的能力之一。雖然人臉識別的準確性要低于虹膜、指紋識別，但由于它的無侵害性和對用戶最自然、最直觀的方式，使人臉識別成為最容易被接受的生物特征識別方式。9.1概述第2頁,共100頁，2024年2月25日，星期天3（一）發(fā)展歷史人類天生就有通過人臉來辨識人的能力。1888年和1910年，Galton在《Nature》上發(fā)表過兩篇關(guān)于利用人臉進行身份識別的論文，開啟了人臉識別的學術(shù)和應用研究。人臉識別研究大致可分為三個階段第一階段：1965-1990年，初級階段第二階段：1991-1997年，活躍的重要時期第三階段：1997-現(xiàn)在，實用化研究時期第3頁,共100頁，2024年2月25日，星期天4（1）第一階段：1965-1990將人臉識別作為一個一般性的模式識別問題來研究；采用的主要技術(shù)方案：基于幾何結(jié)構(gòu)特征的人臉識別方法；非常重要的研究成果不多，基本沒有得到實際應用。第4頁,共100頁，2024年2月25日，星期天5（2）第二階段：1991-1997出現(xiàn)了代表性的人臉識別算法：MIT媒體實驗室的特克（Turk）和潘特蘭德（Pentland）提出的“特征臉”方法，是這一時期內(nèi)最負盛名的人臉識別方法。MIT人工智能實驗室的布魯內(nèi)里(Brunelli)和波基奧(Poggio)于1992年左右做的一個對比實驗，他們對比了基于結(jié)構(gòu)特征的方法與基于模板匹配的方法的識別性能，并給出了一個比較確定的結(jié)論：模板匹配的方法優(yōu)于基于特征的方法。貝爾胡米爾（Belhumeur）等提出的Fisherface人臉識別方法，該方法目前仍然是主流的人臉識別方法之一，產(chǎn)生了很多不同的變種，比如零空間法、子空間判別模型、增強判別模型、直接的LDA判別方法以及近期的一些基于核學習的改進策略。

MIT的馬哈丹(Moghaddam)則在特征臉的基礎上，提出了基于雙子空間進行貝葉斯概率估計的人臉識別方法第5頁,共100頁，2024年2月25日，星期天6洛克菲勒大學(Rockefeller

University)的艾提克(Atick)等提出了人臉局部特征分析技術(shù)（LFA），其本質(zhì)上是一種基于統(tǒng)計的低維對象描述方法，與只能提取全局特征而且不能保留局部拓撲結(jié)構(gòu)的PCA相比，LFA在全局PCA描述的基礎上提取的特征是局部的，并能夠同時保留全局拓撲信息，從而具有更佳的描述和判別能力。LFA技術(shù)已商業(yè)化為著名的FaceIt系統(tǒng)。柔性模型(Flexible

Models)

，包括主動形狀模型(ASM)和主動表觀模型(AAM)是這一時期內(nèi)在人臉建模方面的一個重要貢獻；美國軍方組織了著名的FERET人臉識別算法測試；商業(yè)化運作的人臉識別系統(tǒng)，如Visionics（現(xiàn)為Identix）的FaceIt系統(tǒng)。（2）第二階段：1991-1997第6頁,共100頁，2024年2月25日，星期天7（3）第3階段：1997-至今基奧蓋蒂斯(Georghiades)等人提出的基于光照錐

(Illumination

Cones)

模型的多姿態(tài)、多光照條件人臉識別方法是這一時期的重要成果之一；支持向量機為代表的統(tǒng)計學習理論被應用于人臉識別中；布蘭茲(Blanz)和維特(Vetter)等提出的基于3D變形(3D

Morphable

Model)模型的多姿態(tài)、多光照條件人臉圖像分析與識別方法是這一階段內(nèi)一項開創(chuàng)性的工作。2001年的國際計算機視覺大會(ICCV)上，康柏研究院的研究員維奧拉(Viola)和瓊斯(Jones)展示了一個基于簡單矩形特征和AdaBoost的實時人臉檢測系統(tǒng)，在CIF格式上檢測準正面人臉的速度達到了每秒15幀以上；FERET項目之后，涌現(xiàn)了若干人臉識別商業(yè)系統(tǒng)。非線性建模方法、統(tǒng)計學習理論、基于Boosting的學習技術(shù)、基于3D模型的人臉建模與識別方法等逐漸成為備受重視的技術(shù)發(fā)展趨勢。第7頁,共100頁，2024年2月25日，星期天8（二）人臉公共數(shù)據(jù)庫FERET人臉數(shù)據(jù)庫：FERET項目創(chuàng)建，含14051幅多姿態(tài)、不同光照條件的灰度人臉圖像，是人臉識別領(lǐng)域應用最廣泛的人臉數(shù)據(jù)庫之一；ORL人臉數(shù)據(jù)庫：包含40人共400張面部圖像，部分圖像包含了姿態(tài)、表情和面部飾物的變化，早期經(jīng)常被采用，由于變化模式較少，多數(shù)系統(tǒng)識別率均可達90%以上；MIT人臉數(shù)據(jù)庫：由麻省理工媒體實驗室創(chuàng)建，包含16位志愿者的2592張不同姿態(tài)、光照和大小的面部圖像；AR人臉數(shù)據(jù)庫：包含116人不同光照、表情、遮擋和老化的人臉圖像共3288幅；第8頁,共100頁，2024年2月25日，星期天9Yale人臉數(shù)據(jù)庫：由耶魯大學計算視覺與控制中心創(chuàng)建，包含15為志愿者的165張圖片，包含光照、表情和姿態(tài)的變化。CMU-PIE人臉數(shù)據(jù)庫：由美國卡耐基梅隆大學創(chuàng)建，包含68人的41368張多姿態(tài)、光照和表情的面部圖像；CAS-PEAL人臉數(shù)據(jù)庫：包含1040名中國人共99450幅頭肩部圖像，涵蓋姿態(tài)、表情、飾物和光照四種主要變化條件，部分人臉圖像具有背景、距離和時間跨度的變化。（二）人臉公共數(shù)據(jù)庫第9頁,共100頁，2024年2月25日，星期天10國際上對人臉及人臉面部表情識別的研究現(xiàn)在逐漸成為科研熱點。國內(nèi)外很多機構(gòu)都在進行這方面的研究,尤其美國、日本。進入90年代，對人臉表情識別的研究變得非?；钴S，吸引了大量的研究人員和基金支持，EI可檢索到的相關(guān)文獻就多達數(shù)千篇。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟發(fā)達國家和發(fā)展中國家如印度、新加坡都有專門的研究組進行這方面的研究。其中MIT、CMU、Maryland大學、Standford大學、日本城蹊大學、東京大學、ATR研究所的貢獻尤為突出。（三）研究和發(fā)展現(xiàn)狀第10頁,共100頁，2024年2月25日，星期天11（三）研究和發(fā)展現(xiàn)狀國內(nèi)關(guān)于人臉自動識別的研究始于二十世紀80年代，研究工作主要是集中在三大類方法的研究：基于幾何特征的人臉正面自動識別方法基于代數(shù)特征的人臉正面自動識別方法基于連接機制的人臉正面自動識別方法。第11頁,共100頁，2024年2月25日，星期天12人臉檢測子系統(tǒng)人臉識別子系統(tǒng)人臉定位與分割人臉圖像規(guī)一化特征提取基于先驗知識人臉檢測法基于統(tǒng)計人臉檢測法模式分類基于幾何的方法基于神經(jīng)網(wǎng)絡SVM等的方法基于統(tǒng)計的方法（四）人臉檢測與識別系統(tǒng)數(shù)據(jù)采集子系統(tǒng)第12頁,共100頁，2024年2月25日，星期天13（五）人臉識別過程第13頁,共100頁，2024年2月25日，星期天14一對一的驗證過程（五）人臉識別過程第14頁,共100頁，2024年2月25日，星期天15一對多的辨別過程（五）人臉識別過程第15頁,共100頁，2024年2月25日，星期天16（六）人臉識別中的關(guān)鍵問題光照問題目前許多算法對光照條件都有不同程度的依賴，過亮過暗或偏光都會導致識別率的下降；解決思路：尋求對光照變化不敏感的底層視覺特征；建立光照模型，進行有針對性的光照補償，消除非均勻正面光照造成的影響；用任意光照圖像生成算法生成多個不同光照條件下的訓練樣本，采用具有學習能力的識別方法。第16頁,共100頁，2024年2月25日，星期天17姿態(tài)估計與匹配姿態(tài)的變化（偏轉(zhuǎn)或俯仰等）會造成面部信息的部分缺失，影響人臉特征的精確提?。唤鉀Q思路建立多姿態(tài)人臉數(shù)據(jù)庫，通過多樣本學習方法進行識別；尋求基于姿態(tài)不變特征的方法，如基于彈性圖匹配的識別方法、基于膚色模型的識別方法；利用自動生成算法，在單視圖基礎上自動生成多角度視圖進行識別。（六）人臉識別中的關(guān)鍵問題第17頁,共100頁，2024年2月25日，星期天18（七）人臉識別的主要研究內(nèi)容(1)人臉檢測（FaceDetection）指在輸入圖像中確定所有人臉（如果存在）的位置、大小、位姿的過程。人臉檢測是自動人臉識別系統(tǒng)中的一個關(guān)鍵環(huán)節(jié)。(2)人臉識別人臉識別細分為兩類，一類是回答我是誰的問題，即辨認（Identification），另一類是回答這個人是我嗎？即確認（Verification）。顯然，用于Identification模式的識別系統(tǒng)對算法的運算速度的要求要高于Verification模式的識別系統(tǒng)。第18頁,共100頁，2024年2月25日，星期天19從人臉自動識別技術(shù)所依據(jù)的理論來講，人臉檢測與人臉識別都是模式識別問題。人臉檢測是把所有的人臉作為一個模式，而非人臉作為另一個模式，人臉檢測的過程就是將人臉模式與非人臉模式區(qū)別開來。人臉識別是把每一個人的人臉作為一個模式來對待，不同人的臉屬于不同的模式類，人臉識別的過程是將屬于不同人的臉歸于各自的模式。人臉檢測強調(diào)的是人臉之間的共性，而人臉識別則要區(qū)分不同人臉之間的差異，二者同屬于模式分類問題。（七）檢測與識別第19頁,共100頁，2024年2月25日，星期天209.2人臉檢測人臉檢測是人臉識別的第一步，其目的是從輸入圖象中判斷是否有人臉存在，如果有，則給出人臉的位置和大小。復雜背景下的人臉檢測比較困難，主要體現(xiàn)在：人臉自身的復雜性：人臉模式受許多因素的影響，這些因素包括人種、性別、膚色、面部佩戴物等。光照、背景的復雜性：由于人可能處于任何的背景之中，因而背景具有不確定性和無窮多樣性。位置、尺寸的復雜性：人臉通常處于一種不確定的大小和位置，包括人臉自身的旋轉(zhuǎn)、傾斜以及攝像機角度等因素的影響。第20頁,共100頁，2024年2月25日，星期天21人臉檢測的方法大致可分為基于人臉知識的檢測法：用典型的人臉形成的規(guī)則來對人臉進行編碼。通過面部特征之間的關(guān)系進行人臉定位；基于模板匹配的檢測法：存儲幾種標準的人臉模式，用來分別描述整個人臉和面部的特征，計算輸入圖像和存儲模式間的相互關(guān)系并用于檢測；基于統(tǒng)計學習的檢測法：通過使用大量的人臉與非人臉的樣本訓練，構(gòu)造分類器，通過判別圖像中所有可能的區(qū)域?qū)儆谀念惸Ｊ降姆椒▉韺崿F(xiàn)人臉的檢測。9.2人臉檢測與定位第21頁,共100頁，2024年2月25日，星期天22（一）基于知識的人臉檢測方法主要五種知識規(guī)則：輪廓規(guī)則：人臉的輪廓可近似為一個橢圓，則人臉檢測可以通過檢測橢圓來完成。也可將人臉抽象分為三段輪廓：頭頂輪廓線、左側(cè)臉輪和右側(cè)臉輪。器官分布規(guī)則：人臉的五官分布具有一定的幾何規(guī)則?？上葘θ四樀钠鞴倩蚱鞴俚慕M合建立模板，然后檢測圖像中幾個器官可能分布的位置及其分布組合，用器官分布的集合關(guān)系規(guī)則對其進行篩選，從而找到可能存在的人臉。膚色和紋理規(guī)則：人臉膚色聚類在顏色空間中一個較小的區(qū)域，可利用膚色模板有效地檢測出圖像中的人臉。對稱性規(guī)則：人臉具有一定的軸對稱特性，各器官也具有一定的對稱性。運動規(guī)則：在序列圖像中，可利用人臉或人臉的器官相對于背景的運動來檢測人臉。如利用眨眼或說話來分離人臉與背景；利用人體的運動可檢測運動的人臉。第22頁,共100頁，2024年2月25日，星期天23（1）基于膚色的人臉檢測人的膚色分布具有相對集中特性基于膚色的人臉檢測的技術(shù)問題：顏色空間：RGB空間YCbCr空間皮膚顏色分布模型區(qū)域模型：膚色的特征值分布在某取值范圍，如Y>80，85<Cb<135，135<cr<180高斯模型：假設膚色分布服從高斯分布第23頁,共100頁，2024年2月25日，星期天24（1）基于膚色的人臉檢測YCbCr空間膚色聚類區(qū)域CbCr平面膚色聚類區(qū)域第24頁,共100頁，2024年2月25日，星期天25（1）基于膚色的人臉檢測根據(jù)已建立的膚色模型，計算圖像中所有像素點顏色與膚色的相似程度。顏色空間轉(zhuǎn)換第25頁,共100頁，2024年2月25日，星期天26（二）基于模板匹配的檢測方法根據(jù)人臉的“三庭五眼”的關(guān)系，可以使用一個統(tǒng)一的模型來描畫出人臉的結(jié)構(gòu)圖，并將其作為人臉的模板。模板匹配的方法主要是通過計算模板和圖像之間的相關(guān)性來實現(xiàn)識別功能的。檢測時，將模板在被檢測的區(qū)域內(nèi)分別在行和列方向上移動，計算出相關(guān)值最大的區(qū)域就是人臉區(qū)域。Craw提出的正面人臉的固定形狀模板方法：先用Sobel算子提取邊緣，將邊緣組織在一起，根據(jù)幾何約束條件去搜索人臉模板。該方法簡單，易于實現(xiàn)，但無法處理尺寸、姿態(tài)和形狀變化的情況。彈性模板：固定模板方法的改進，能在有限的范圍內(nèi)自動地調(diào)整模板的范圍，自適應地定位出人臉的位置。第26頁,共100頁，2024年2月25日，星期天27Yuille利用彈性模板對臉部特征進行建模，用一個先驗的彈性模板來與臉部特征相匹配，臉部特征被表述成參數(shù)模板。輸入圖像的邊緣、波峰值、峰谷值等被對應于模板中的參數(shù)，而構(gòu)成一個能量函數(shù)。通過調(diào)整參數(shù)，將函數(shù)能量最小的彈性模板作為人臉的最佳匹配。可變形模板方法存在兩個問題：能量函數(shù)中各種代價的加權(quán)系數(shù)只能由經(jīng)驗確定，難以推廣；能量函數(shù)的優(yōu)化過程十分耗時，難以在實際中應用。（二）基于模板匹配的檢測方法第27頁,共100頁，2024年2月25日，星期天28（二）基于模板匹配的檢測方法人臉彈性圖匹配方法第28頁,共100頁，2024年2月25日，星期天29（三）基于統(tǒng)計模型的人臉檢測由于人臉圖象的復雜性，顯式地描述人臉特征具有一定困難，因此另一類方法——基于統(tǒng)計模型的方法越來越受到重視。將人臉區(qū)域看作一類模式，即模板特征，使用大量的“人臉”與“非人臉”樣本訓練，通過統(tǒng)計分析和機器學習技術(shù)構(gòu)造分類器，通過判別圖像屬于哪類模式的方法實現(xiàn)人臉的檢測。實際上，人臉檢測問題被轉(zhuǎn)化為統(tǒng)計模式識別的二分類問題。優(yōu)點：通過訓練可以自動地提取人臉的特征；缺點：所提取出的特征十分隱晦，缺乏認知學上的意義。此外，訓練時間長，計算量大，而且一般需要大量精心制作的樣本。

第29頁,共100頁，2024年2月25日，星期天30基于統(tǒng)計模型的人臉檢測可分為：基于特征空間的方法基于人工神經(jīng)網(wǎng)的方法基于概率模型的方法基于支持向量機的方法基于adaboost學習的方法（三）基于統(tǒng)計模型的人臉檢測第30頁,共100頁，2024年2月25日，星期天31（三）基于統(tǒng)計模型的人臉檢測基于特征空間的方法將人臉區(qū)域圖像變換到某一特征空間，根據(jù)其在特征空間中的分布規(guī)律劃分“人臉”與“非人臉”兩類模式。典型的有：基于主成分分析的人臉檢測基于事例學習的人臉檢測基于線性子空間的人臉檢測第31頁,共100頁，2024年2月25日，星期天32（1）基于主成分分析的人臉檢測主成分分析（PCA，Principal-ComponentAnalysis）是一種常用的方法。它根據(jù)圖像的統(tǒng)計特性進行的正交變換（K-L變換），以消除原有向量各個分量間的相關(guān)性。變換得到對應特征值依次遞減的特征向量，即特征臉。第32頁,共100頁，2024年2月25日，星期天33由MIT的Sung等人1995年提出，首先采用橢圓k-均值算法對人臉和非人臉樣本(大小為19×19)進行聚類，分別聚成六個人臉子類和非人臉子類。從而形成人臉和非人臉的大致分布。在此基礎上，定義一種混合馬氏距離和歐氏距離的距離度量來度量圖像間的相似程度。（2）基于事例學習的人臉檢測第33頁,共100頁，2024年2月25日，星期天34Yang(2000)等人提出了兩種混合線性子空間的人臉檢測方法。采用混合自組織映射(SOM)和Fisher線性判別（FLD）的方法，首先應用SOM神經(jīng)網(wǎng)絡算法進行人臉和非人臉的聚類，把人臉空間和非人臉分別聚類成26個子類；其次，根據(jù)聚類后的結(jié)果，把整個人臉樣本看成是一個多類問題，對于非人臉樣本也是如此。采用FLD方法對上述多類模式進行判決函數(shù)求解，進而對未知圖象的人臉和非人臉的歸類。（3）基于線性子空間的人臉檢測第34頁,共100頁，2024年2月25日，星期天35人工神經(jīng)網(wǎng)（ANN）方法是把模式的統(tǒng)計特性隱含在ANN的結(jié)構(gòu)和參數(shù)之中，對于人臉這類復雜的、難以顯式描述的模式，基于ANN的方法具有獨特的優(yōu)勢。Rowley（1998）等人直接采用多層感知神經(jīng)網(wǎng)絡進行人臉檢測，使用了多個ANN檢測多姿態(tài)的人臉。（4）基于神經(jīng)網(wǎng)絡的人臉檢測第35頁,共100頁，2024年2月25日，星期天36（4）基于神經(jīng)網(wǎng)絡的人臉檢測第36頁,共100頁，2024年2月25日，星期天37在上述框架下，Rowley等對正面端正人臉和正面旋轉(zhuǎn)人臉的檢測單獨進行了研究。對正面端正的人臉，僅使用了正面人臉檢測ANN，是一種三層前向網(wǎng)：輸入層對應20×20象素的圖象區(qū)域；隱層節(jié)點分為對應不同人臉區(qū)域的若干組，與輸入層部分連接；ANN輸出1到-1區(qū)間的值表示這個區(qū)域是否為人臉。Rowley等使用相同的“人臉”樣本和不同“自舉”過程收集的“非人臉”樣本訓練了多個正面人臉檢測ANN，對它們的檢測結(jié)果進行仲裁，以進一步減少錯誤報警。對于正面旋轉(zhuǎn)人臉的檢測使用了旋轉(zhuǎn)角度檢測器及正面人臉檢測ANN，并使用相似的多ANN仲裁方法降低錯誤報警。（4）基于神經(jīng)網(wǎng)絡的人臉檢測第37頁,共100頁，2024年2月25日，星期天38（4）基于神經(jīng)網(wǎng)絡的人臉檢測第38頁,共100頁，2024年2月25日，星期天39支持向量機（SupportVectorMachines，SVM）是Vapnik等提出的基于結(jié)構(gòu)風險最小化原理（StructuralRiskMinimizationPrinciple,SRM）的統(tǒng)計學習理論，用于分類與回歸問題。SRM使VC（VapnikCherovnenkis）維數(shù)的上限最小化，這使得SVM方法比基于經(jīng)驗風險最小化（EmpiricalRiskMinimizationPrinciple,ERM）的人工神經(jīng)網(wǎng)方法具有更好的泛化能力。（5）基于支持向量機的人臉檢測第39頁,共100頁，2024年2月25日，星期天40Osuna（1997）等人，把人臉檢測看成是一個人臉和非人臉的兩類模式的分類問題，并采用支持向量機(SVM)尋找分類的超平面。

（5）基于支持向量機的人臉檢測第40頁,共100頁，2024年2月25日，星期天41該方法的基本思路是對每一個19×19象素的檢測窗口使用SVM進行分類，以區(qū)分“人臉”和“非人臉”窗口。SVM的訓練使用了大量人臉樣本和“自舉”方法收集的“非人臉”樣本，并且使用逼近優(yōu)化的方法減少支持矢量的數(shù)量。需要說明的是，長期以來SVM的訓練需要求解計算復雜度極高的二次規(guī)劃問題，限制了該方法的應用。Platt提出的SMO（SequentialMinimalOptimization）算法解決了SVM訓練困難的問題。（5）基于支持向量機的人臉檢測第41頁,共100頁，2024年2月25日，星期天42基于概率模型方法的一種思路是計算輸入圖像區(qū)域region屬于人臉模式object的后驗概率p(object|region)，據(jù)此對所有可能的圖像窗口進行判別。（6）基于概率模型的方法第42頁,共100頁，2024年2月25日，星期天43基于后驗概率估計的人臉檢測方法：該方法利用貝葉斯原理將后驗概率估計轉(zhuǎn)化為一個似然度求解問題：將難以估計的先驗概率P(object)和P(object)用一個比率參數(shù)λ代替，作為調(diào)節(jié)檢測器敏感度的參量。（6）基于概率模型的方法第43頁,共100頁，2024年2月25日，星期天44隱馬爾可夫模型(HiddenMarkovModels,HMM)：Nefian等根據(jù)正面人臉由上到下各個區(qū)域（頭發(fā)、額頭、雙眼、鼻子、嘴）具有自然不變的順序這一事實，使用一個包含五個狀態(tài)的一維連續(xù)HMM加以表示。將頭部圖象按照這五個區(qū)域劃分為互有重疊的條塊，對各塊進行K-L變換，選取前若干個變換系數(shù)作為觀測向量訓練HMM。Nefian等還提出了基于嵌入式HMM的人臉檢測方法。該方法同時考慮到人臉由左到右各個特征的自然順序，使用了二維HMM，并且采用二維DCT變換的系數(shù)作為觀察向量。Meng等使用HMM描述人臉的小波特征中不同級間的相關(guān)性等方法?；贖MM的方法一般只使用“人臉”樣本進行訓練，主要針對用于人臉識別的頭肩部圖象。（6）基于概率模型的方法第44頁,共100頁，2024年2月25日，星期天45第45頁,共100頁，2024年2月25日，星期天46（7）基于Adaboost學習的方法Adaboost即AdaptiveBoosting算法是由Freund和Schapire于1995年提出。2001年，ViolaPaul和JonesMichael正式將Adaboost算法用于人臉檢測。Adaboost算法的檢測率很高平均可達94%以上，是目前比較熱門的人臉檢測算法。第46頁,共100頁，2024年2月25日，星期天47弱學習與強學習隨機猜測一個是或否的問題，將會有50%的正確率。如果一個假設能夠稍微地提高猜測正確的概率，那么這個假設就是弱學習算法。得到這個算法的過程稱為弱學習。如果一個假設能夠顯著地提高猜測正確的概率，那么這個假設就稱為強學習算法。得到這個算法的過程稱為強學習。第47頁,共100頁，2024年2月25日，星期天48矩形特征特征的選取和特征值的計算對Adaboost人臉檢測算法的速度起著重要作用。在AdaBoost算法中使用矩形特征（也叫Haar-Like特征）作為特征模板。用一個5元組表示一個矩形特征(x,y,w,h,angle)，其中(x,y)為矩形的左上角位置，(w,h)為矩形的寬和高，angle表示矩形的旋轉(zhuǎn)角度。計算一個矩形特征的特征值有幾種方法：黑色部分與白色部分像素和的差黑色部分與整個矩形面積的權(quán)重差等等。第48頁,共100頁，2024年2月25日，星期天49矩形特征對一些簡單的圖形結(jié)構(gòu)，比如邊緣、線段，比較敏感，但是其只能描述特定走向（水平、垂直、對角）的結(jié)構(gòu)，因此比較粗略。（如右圖所示）對于一個24X24的檢測窗口，其內(nèi)部的矩形特征的數(shù)量可達到160000以上。第49頁,共100頁，2024年2月25日，星期天50第50頁,共100頁，2024年2月25日，星期天51矩形特征（續(xù)）對于某一檢測窗口，由于特征數(shù)量巨大，必須通過特定算法甄選合適的矩形特征（最佳特征），并將其組合成強分類器才能檢測人臉。haar特征反映了圖像中灰度分布特點的特性，如何找到較好的haar特征來描述人臉圖像灰度分布的特點？下圖中的3個特征就能很好的描述圖像中人臉的眼部的灰度的分布特點（人眼的水平區(qū)域比面頰上部區(qū)域的灰度要暗一些）。第51頁,共100頁，2024年2月25日，星期天52積分圖：一種快速的矩形特征的選取算法，是一種間接的圖像表示方法。在一張積分圖上，點i(x,y)的積分值ii(x,y)是原圖像上該點的上方和左方所有點的亮度值的和。即：

其中ii(x,y)為積分圖，i(x,y)為原始圖像。第52頁,共100頁，2024年2月25日，星期天53原圖像積分圖圖像原圖像部分像素值對應積分圖圖像部分像素值第53頁,共100頁，2024年2月25日，星期天54當采用下面兩式，只需對原圖像掃描一次即可計算出積分圖：其中，，是對這一行及其以前行的像素值求和，并且有：第54頁,共100頁，2024年2月25日，星期天55xyABCD1234區(qū)域D的像素值=點4的積分圖像值+點1的積分圖像值-點2的積分圖像值-點3的積分圖像值第55頁,共100頁，2024年2月25日，星期天56積分圖與特征值計算（續(xù)）xyAB123456(1,1)此特征模板的特征值為：區(qū)域A的特征值-區(qū)域B的特征值第56頁,共100頁，2024年2月25日，星期天57第一步：弱分類器的選取一個弱分類器h(x,f,p,)由一個特征f，閾值和指示不等號方向的p組成：訓練一個弱分類器（特征f）就是在當前權(quán)重分布的情況下，確定f的最優(yōu)閾值以及不等號的方向，使得這個弱分類器（特征f）對所有訓練樣本的分類誤差最低。具體方法如下：AdaBoost算法學習第57頁,共100頁，2024年2月25日，星期天58對于每個特征f，計算所有訓練樣本的特征值，并將其排序。通過掃描排好序的特征值，可以為該特征確定一個最優(yōu)的閾值，從而訓練成一個弱分類器。具體來說，對排好序的表中的每個元素，計算下面四個值：1）全部人臉樣本的權(quán)重的和；2）全部非人臉樣本的權(quán)重的和；3）排序在該元素之前的人臉樣本的權(quán)重的和；4）排序在該元素之前的非人臉樣本的權(quán)重的和。第58頁,共100頁，2024年2月25日，星期天59這樣，當選取當前任意元素的特征值作為閾值時，所得到的弱分類器就在當前元素處把樣本分開——也就是說這個閾值對應的弱分類器將當前元素前的所有元素分類為人臉（或非人臉），而把當前元素后（含）的所有元素分類為非人臉（或人臉）?？梢哉J為這個閾值所帶來的分類誤差為:于是，通過把這個排序的表從頭到尾掃描一遍就可以為弱分類器選擇使分類誤差最小的閾值（最優(yōu)閾值），也就是選取了一個最佳弱分類器。同時，選擇最小權(quán)重錯誤率的過程中也決定了弱分類器的不等式方向。第59頁,共100頁，2024年2月25日，星期天60具體弱分類器學習演示表如下：通過演示表我們可以得到這個矩形特征的學習結(jié)果，這個弱分類器閾值為4，不等號方向為p=-1，這個弱分類器的權(quán)重錯誤率為0.1。

其中：第60頁,共100頁，2024年2月25日，星期天61第二步：由弱分類器確定強分類器經(jīng)過T次迭代后，得到T個最佳弱分類器，按照下面的方式組合成一個強分類器：其中。強分類器分類，相當對所有所有弱分類器的投票結(jié)果進行加權(quán)求和，并與平均投票結(jié)果進行比較來判斷最終的結(jié)果。第61頁,共100頁，2024年2月25日，星期天62首先了解兩個概念：（1）強分類器的訓練檢出率=被正確檢出的人臉數(shù)與人臉樣本總數(shù)的比例（2）強分類器的訓練誤判率=被誤判為人臉的非人臉樣本數(shù)與非人臉樣本總數(shù)的比例設強分類器訓練誤判率目標值為，訓練檢出率的目標值為。AdaBoost算法將根據(jù)和來確定強分類器包含的弱分類器數(shù)目T。強分類器中弱分類器數(shù)的確定第62頁,共100頁，2024年2月25日，星期天63預設強分類器包含的弱分類器個數(shù)為，然后根據(jù)值訓練一個強分類器，統(tǒng)計其檢出率和誤判率，當滿足且時，可認為滿足條件，不必再訓練弱分類器。若不滿足上述條件，則對進行調(diào)整。具體依據(jù)如下：（1）強分類器的檢出率（誤判率）隨著閾值的減小而增大，隨著閾值的增加而減小。極端的情況，如果將閾值設置為0，那么強分類器會將所有的樣本分類為人臉，這時檢出率和誤判率最大，為100%。（2）增加弱分類器的數(shù)目可以減小誤判率。根據(jù)以上兩條，得如下強分類器訓練程序流程圖：第63頁,共100頁，2024年2月25日，星期天64強分類器訓練程序流程圖第64頁,共100頁，2024年2月25日，星期天65

算法流程圖第65頁,共100頁，2024年2月25日，星期天66Adaboost算法是一種用來分類的方法，它的基本原理是把一些比較弱的分類方法合在一起，組合出新的很強的分類方法。例如在圖中需要用一些線段把紅色的球和深藍色的球分開，然而如僅果僅用一條線的話，是分不開的。關(guān)于AdaBoost算法形象理解第66頁,共100頁，2024年2月25日，星期天67使用AdaBoost算法來進行劃分的話，先畫出一條錯誤率最小的線段如圖a，但左下角的深藍色的球被錯劃分到紅色區(qū)域，因此加重被錯誤劃分的球的權(quán)重，再下一次劃分的時候，將更加考慮那些權(quán)重大的球，如圖c，最終得到一個準確的劃分，如下圖所示。第67頁,共100頁，2024年2月25日，星期天68級聯(lián)分類器單獨一個AdaBoost分類器即使很強，在誤檢率和檢測時間上滿足不了真正的實時人臉檢測系統(tǒng)的需要。采用級聯(lián)檢測策略能很好地解決這個問題。Adaboost算法引入了一種瀑布型的分類器---級聯(lián)分類器。在級聯(lián)分類器中，每一個待檢測窗口只有通過了當前層的強分類器（AdaBoost分類器）才能進入下一層。這樣大量的待檢測窗口只需要最初幾層簡單的判斷就可以被迅速淘汰，使得平均檢測成本大大降低。多層級聯(lián)結(jié)構(gòu)中，每一層的強分類器都是由AdaBoost算法訓練來的。第68頁,共100頁，2024年2月25日，星期天69級聯(lián)分類器的檢測示意圖如下圖：第69頁,共100頁，2024年2月25日，星期天70訓練L層級聯(lián)分類器的步驟如下：（1）訓練第i層強分類器；（2）保存強分類器的參數(shù)，即各弱分類器的參數(shù)、強分類器的閾值以及被誤判為人臉的非人臉樣本；（3）補充非人臉樣本集，組合前i層強分類器對候選非人臉樣本進行檢測，將被誤判為人臉的非人臉樣本加入到樣本集中（人臉樣本不更新）；（4）訓練第i+1層強分類器。第70頁,共100頁，2024年2月25日，星期天71多層級聯(lián)結(jié)構(gòu)的檢測率和誤檢率分析系統(tǒng)檢測率和系統(tǒng)誤檢率的計算：

D為級聯(lián)分類器的檢測率，為強分類器的檢測率。F為級聯(lián)分類器的誤檢率，為強分類器的誤檢率。n為級聯(lián)數(shù)目，由系統(tǒng)所要到達的檢測率和誤檢率決定。第71頁,共100頁，2024年2月25日，星期天72級聯(lián)分類器優(yōu)勢：（1）降低訓練難度：

對于一個強分類器與一個L層的級聯(lián)分類器，假設它們誤判率相同為F，可知級聯(lián)分類器的各層強分類器的誤判率要大于F，訓練一個誤判率較高的強分類器難度相對較小。（2）降低非人臉樣本選取難度

訓練級聯(lián)結(jié)構(gòu)的分類器，通過程序“自舉”非人臉樣本，逐層增加訓練難度，可以很好的解決非人臉樣本選取的難題。第72頁,共100頁，2024年2月25日，星期天73Adaboost算法的檢測機制人臉檢測過程需要對圖像進行有效的掃描，有效地掃描方式有如下兩種：圖像放縮法檢測人臉；檢測窗口放大法檢測人臉。第73頁,共100頁，2024年2月25日，星期天74圖像放縮法檢測人臉：將檢測圖像通過比例縮放處理，構(gòu)造圖像金字塔。對圖像金字塔中的每一個圖像采用檢測窗口進行掃描。檢測窗口放大法：不能使相鄰大小的窗口放大的倍數(shù)過大，因為這樣會漏檢過小的人臉；同時又要考慮到，如果相鄰窗口的大小相隔太小，檢測過程會有很多多余的計算，檢測速度會變慢。第74頁,共100頁，2024年2月25日，星期天75檢測窗口放大法檢測人臉：放大檢測窗口法將圖像保持不變，按比例不斷放大檢測窗口，直到檢測窗口達到圖像大小，停止放大。但是此方法需要重新調(diào)整計算Haar特征值，如果調(diào)整不好將會降低檢測率。第75頁,共100頁，2024年2月25日，星期天76采用了逐級等比放大檢測窗口后，通常同一個人臉會在不同的尺度和相鄰的位置上被檢測到很多次，所以還需要一個合并的過程將所檢測出來的矩形進行合并以得到唯一的人臉圖像位置和人臉圖像尺度。在同一尺度下，當檢測到人臉的兩個子窗口重疊部分超過當前窗口大小的1/2時，合并重疊的子窗口，合并的方法就是取平均值。此外，在不同尺度下檢測到的窗口如果發(fā)生重疊也需要合并，合并的方法也取平均值。后處理方法第76頁,共100頁，2024年2月25日，星期天77圖(a)是同一尺度下多個窗口重疊的結(jié)果，圖(b)是在不同尺度下多個窗口相互重疊的情況，圖(c)是最終合并的結(jié)果。圖10是檢測流程圖。第77頁,共100頁，2024年2月25日，星期天78（7）基于統(tǒng)計模型的方法總結(jié)不依賴于人臉的先驗知識和參數(shù)模型，可以避免不精確或不完整的知識造成的錯誤；采用了實例學習的方法獲取模型的參數(shù)，統(tǒng)計意義上更為可靠；通過增加學習的實例可以擴充檢測模式的范圍、提高檢測系統(tǒng)的魯棒性?；诮y(tǒng)計模型的方法大多適用于復雜背景圖象中的人臉檢測。目前基于統(tǒng)計模型的方法主要針對正面端正人臉的檢測。評估不同方法的性能需要共同的測試集，目前比較公認的測試集是Sung等的MIT測試集和Rowley等的CMU測試集（涵蓋了Sung等的測試集）。表2列出了幾個具有代表性的算法在該測試集上的檢測結(jié)果統(tǒng)計。第78頁,共100頁，2024年2月25日，星期天79（7）基于統(tǒng)計模型的方法總結(jié)第79頁,共100頁，2024年2月25日，星期天80基于統(tǒng)計模型的方法具有很強的適應能力和魯棒性，但由于需要對所有可能的檢測窗口進行窮舉搜索，計算復雜度很高，因此檢測速度有待于提高，另外“非人臉”樣本的選取仍然是一個較為困難的問題。（7）基于統(tǒng)計模型的方法總結(jié)第80頁,共100頁，2024年2月25日，星期天819.3人臉識別人臉識別算法框架第81頁,共100頁，2024年2月25日，星期天829.3.1人臉識別的特征人臉幾何特征形狀幾何特征幾何模板特征人臉代數(shù)特征：原始圖像經(jīng)過代數(shù)變換而獲得的特征：主成分分析獨立成分分析奇異值分解隱馬爾可夫模型第82頁,共100頁，2024年2月25日，星期天83（一）形狀幾何特征提取從臉部器官的形狀及相互位置關(guān)系出發(fā)，提取出人臉特征；常用的幾何特征有：人臉的五官（如眼睛、鼻子和嘴巴等的局部形狀）特征；臉型特征；五官在臉上分布的幾何特征。基于幾何特征的特征提取具有很強的直觀性，但由于在提取過程中過多依賴于先驗知識，沒有形成一個統(tǒng)一的、優(yōu)秀的特征提取標準，使得提取的特征或是過于嚴格，使識別的自適應性不強；或過于簡略，則不足以識別適度極高的人臉樣本。第83頁,共100頁，2024年2月25日，星期天84（二）基于幾何模板的特征提取彈性模板特征提取方法是一種基于動態(tài)鏈接結(jié)構(gòu)（DynamicLinkArchitecture，DLA）的方法。它將人臉用格狀的稀疏圖表示，圖中的節(jié)點用圖像位置的Gabor小波分解得到的特征向量標記，圖的邊用連接節(jié)點的距離向量標記。匹配時，首先尋找與輸入圖像最相似的模型圖，再對圖中的每個節(jié)點位置進行最佳匹配，這樣產(chǎn)生一個變形圖，其節(jié)點逼近模型圖的對應點的位置。第84頁,共100頁，2024年2月25日，星期天851997年，Wiskott等使用二維結(jié)構(gòu)的Gabor小波對人臉圖像進行處理，將人臉表達成由若干個特征點構(gòu)成的，具有一定拓撲結(jié)構(gòu)信息的人臉彈性圖；它將人臉用格狀的稀疏圖表示，圖中的節(jié)點用圖像位置的Gabor小波分解得到的特征向量標記，圖的邊用鏈接節(jié)點的距離向量標記；Wiscott提出的彈性圖匹配方法，以FERET圖像庫做實驗，準確率達到97.3%；彈性圖匹配方法對光照、位移、旋轉(zhuǎn)及尺度變化都不敏感，是一種優(yōu)于特征臉方法的人臉識別方法。此方法的主要缺點是對每個存儲的人臉需要計算其模型圖，其計算量和存儲量都較大。（二）基于幾何模板的特征提取第85頁,共100頁，2024年2月25日，星期天86彈性圖匹配算法采用標號圖來表示人臉圖像，標號圖的節(jié)點用一組描述人臉局部特征的二維Gabor小波變換系數(shù)來表示；標號圖的邊用描述相鄰兩個節(jié)點向?qū)恢玫亩攘啃畔肀硎尽Ｍㄟ^不同的人臉圖像的標號圖之間的匹配來實現(xiàn)人臉對應部位的局部特征之間聯(lián)系，從而能夠?qū)θ四槇D像解進行比較和分類識別。進而對圖中的每個節(jié)點位置進行最佳匹配。（二）基于幾何模板的特征提取第86頁,共100頁，2024年2月25日，星期天87（二）基于幾何模板的特征提取第87頁,共100頁，2024年2月25日，星期天88Gabor小波是以任意一個高斯函數(shù)作為窗函數(shù)的波函數(shù)。一個圖像像素與不同方向和頻率的Gabor核卷積后的系數(shù)集合稱為一個Jet。一個Jet描述了圖像I(x)給定像素x=(x,y)周圍的一小塊灰度值，基于小波變換，定義如下卷積：在彈性圖匹配算法中，人臉上的特征點采用Gabor濾波器進行特征抽取。Gabor核函數(shù)為：（二）基于幾何模板的特征提取第88頁,共100頁，2024年2月25日，星期天89（三）基于PCA的特征提取人臉識別的基準技術(shù)，并已成為事實上的工業(yè)標準基于主成分分析（PCA），PCA是將分散在一組變量上的信息集中到某幾個綜合指標（主成分）上的數(shù)學方法，實際上起著數(shù)據(jù)降維的作用，并保證降維過程最大化保留原數(shù)據(jù)的差異。有利于這對最大化類間差異（即不同人之間的差異）和最小化類內(nèi)差異（即同一人的不同圖像間的差異）。2維數(shù)據(jù)降到1維的例子： 綠色點表示二維數(shù)據(jù)，PCA的目標就是找到這樣一條直線，使得所有點在這條直線上的投影點之間的平均距離最大。也就是最大化地保留了原數(shù)據(jù)的差異性第89頁,共100頁，2024年2月25日，星期天90直接計算C的本征值和本征向量是困難的，可以通過對矩陣做奇異值分解間接求出m值的選擇：如果將本征向量恢復成圖像，這些圖像很像人臉，因此稱為“本征臉”

[M.Turk&A.Pentland,JCN91]（1）本征臉（eigenface）方法第90頁,共100頁，2024年2月25日，星期天91（2）本征特征方法利用PCA分析眼、鼻、嘴等局部特征，即本征特征方法

[R.Brunelli&T.Poggio,TPAMI93]

[A.Pentlandetal.,CVPR94]這實際上相當于：為若干重要的特征建立本征空間，然后將多個本征