山世光-人臉識(shí)別技術(shù)概述

山世光中科院計(jì)算所1引子人世間找不兩張完全一樣的臉！人臉是人類賴以區(qū)分不同人的根本途徑誰(shuí)決定了你的長(zhǎng)相？基因+成長(zhǎng)環(huán)境雙胞胎夫妻相世間一切盡在臉上！2提綱相關(guān)背景人臉識(shí)別的根本原理人臉檢測(cè)典型方法人臉識(shí)別的典型方法開(kāi)放問(wèn)題及討論3無(wú)處不在的身份驗(yàn)證4傳統(tǒng)方法有什么問(wèn)題？卡、鑰匙喪失青年公寓的鑰匙牌...密碼危機(jī)密碼遺忘紐約每天1000人以上忘記密碼密碼被猜中生日、號(hào)碼、車號(hào)、宿舍...Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)損失2002年，僅美國(guó)330萬(wàn)人次的身份盜用；670萬(wàn)信用卡詐騙案56Biometrics生理特征(whatyouare)Finger,face,palm,hand,foot,iris,vein...行為特征(howyoudo)步態(tài)，聲音，敲擊鍵盤(pán)，簽名...人人擁有，人各不同！78Biometrics孰優(yōu)孰劣？Universality(alluserspossessthisbiometric)Uniqueness(variesacrossusers)Permanence(doesnotchangeovertime)Collectability(canbemeasuredquantitatively)Performance(Lowerrorratesandprocessingtime)Acceptability(isitacceptabletotheusers?)Circumvention(canitbeeasilyspoofed?)9Biometrics比較BiometricsUniversalityUniquenessPermanenceCollectabilityPerformanceAcceptabilityCircumventionFaceHLMHLHLFingerprintMHHMHMLHandGeometryMMMHMMMIrisHHHMHLHRetinalScanHHMLHLHSignatureLLLHLHLVoiceMLLMLHLFacialThermogramHHLHMHH10為什么要做人臉識(shí)別？多學(xué)科領(lǐng)域的挑戰(zhàn)性難題模式識(shí)別：最典型、最困難的模式識(shí)別問(wèn)題人工智能：人類智能的根本表達(dá)計(jì)算機(jī)視覺(jué)：實(shí)現(xiàn)人眼的功能下一代人機(jī)交互讓計(jì)算機(jī)不再“熟視無(wú)睹〞讓計(jì)算機(jī)具有人類的情感廣泛的應(yīng)用前景…人臉識(shí)別相比其他生物特征識(shí)別的優(yōu)勢(shì)…

11應(yīng)用模式典型具體應(yīng)用特點(diǎn)說(shuō)明應(yīng)用領(lǐng)域身份識(shí)別出入境管理過(guò)濾敏感人物（間諜、恐怖分子等）國(guó)家安全公共安全嫌疑人照片比對(duì)公安系統(tǒng)用于確定犯罪嫌疑人身份敏感人物智能監(jiān)控監(jiān)控敏感人物（間諜、恐怖分子等）網(wǎng)上追逃在PDA等移動(dòng)終端上進(jìn)行現(xiàn)場(chǎng)比對(duì)會(huì)議代表身份識(shí)別防止非法人員進(jìn)入會(huì)場(chǎng)帶來(lái)危險(xiǎn)因素關(guān)鍵場(chǎng)所視頻監(jiān)控如銀行大廳，預(yù)警可能的不安全因素家政服務(wù)機(jī)器人能夠識(shí)別家庭成員的智能機(jī)器人人機(jī)交互自動(dòng)系統(tǒng)登陸自動(dòng)識(shí)別用戶身份，提供個(gè)性化界面智能Agent自動(dòng)識(shí)別用戶身份，提供個(gè)性化界面真實(shí)感虛擬游戲提供真實(shí)感的人物面像，增加交互性身份驗(yàn)證護(hù)照、身份證、駕照等各類證件查驗(yàn)海關(guān)、港口、機(jī)要部門等查驗(yàn)持證人的身份是否合法公共安全準(zhǔn)考證查驗(yàn)防止替考問(wèn)題教育機(jī)要部門物理門禁避免鑰匙和密碼被竊取造成失竊公共安全機(jī)要信息系統(tǒng)門禁避免單純的密碼被竊取造成信息被竊信息安全面像考勤系統(tǒng)方便，快捷，杜絕代考勤問(wèn)題企業(yè)應(yīng)用金融用戶身份驗(yàn)證避免單純的密碼被竊取造成財(cái)產(chǎn)損失金融安全電子商務(wù)身份驗(yàn)證安全可靠的身份驗(yàn)證手段金融安全智能卡安全可靠的授權(quán)信息安全會(huì)議代表身份驗(yàn)證防止非法人員進(jìn)入會(huì)場(chǎng)帶來(lái)危險(xiǎn)因素公共安全屏幕保護(hù)程序方便快捷的允許合法用戶打開(kāi)屏保人機(jī)交互12人臉識(shí)別相關(guān)研究?jī)?nèi)容生物特征識(shí)別人臉、指紋、虹膜、視網(wǎng)膜、掌紋、人機(jī)交互(HCI)人臉圖像編碼/壓縮表情分析，情感計(jì)算人臉動(dòng)畫(huà)faceanimation人臉屬性分類種族、性別、年齡Attractiveness判別13與其他生物特征識(shí)別的比較生物特征識(shí)別：未來(lái)的身份驗(yàn)證方法！生物：指紋、虹膜、人臉、掌紋、手形、視網(wǎng)膜、紅外溫譜行為：筆跡、步態(tài)、聲紋人臉識(shí)別的優(yōu)點(diǎn)可以隱蔽操作，特別適用于平安問(wèn)題、罪犯監(jiān)控與抓逃應(yīng)用非接觸式采集，沒(méi)有侵犯性，容易接受方便、快捷、強(qiáng)大的事后追蹤能力符合我們?nèi)祟惖淖R(shí)別習(xí)慣，可交互性強(qiáng)，無(wú)需專家評(píng)判人臉識(shí)別的缺乏不同人臉的相似性大平安性低，識(shí)別性能受外界條件的影響非常大1415Fromthesameperson?Yes?No?…16沒(méi)有想象的那么簡(jiǎn)單！Howmanyindividualsinthispicture?17沒(méi)有想象的那么簡(jiǎn)單！Howmanyindividualsinthispicture?18人臉識(shí)別的根本原理

及其計(jì)算模型探討19我們?nèi)祟惪渴裁醋R(shí)別？20人類視覺(jué)識(shí)別系統(tǒng)特性簡(jiǎn)介及其借鑒意義21局部特征vs全局特征明星漫畫(huà)：夸大了獨(dú)特之處問(wèn)題：Howtofindthesesalientfeaturesautomatically?22平均臉23局部特征vs全局特征ThatcherIllusion24人類視覺(jué)識(shí)別系統(tǒng)特性簡(jiǎn)介及其借鑒意義面部特征對(duì)識(shí)別的重要性分析不同的面部區(qū)域?qū)θ四樧R(shí)別的重要性是不同的，一般認(rèn)為面部輪廓、眼睛和嘴巴等特征對(duì)人臉識(shí)別是更重要的，人臉的上半?yún)^(qū)域?qū)ψR(shí)別的意義明顯比下半?yún)^(qū)域重要；鼻子在側(cè)面人臉識(shí)別中的重要性要高于其他特征異族人臉識(shí)別困難現(xiàn)象這涉及到識(shí)別算法的適應(yīng)性和泛化能力問(wèn)題，一方面可能需要盡可能大的學(xué)習(xí)集，另一方面也需要學(xué)習(xí)集必須具有較大的覆蓋能力性別和年齡階段對(duì)于識(shí)別性能的影響女性要比男性更難識(shí)別；年輕人比老年人更難識(shí)別頻域特性與人臉識(shí)別的關(guān)系低頻分量其實(shí)更多的是對(duì)人臉圖像外觀總體分布特性的描述，而高頻分量那么對(duì)應(yīng)局部的細(xì)節(jié)變化要想保存某人面部的一顆黑痣的信息，高頻分量是無(wú)能為力的，必須保存足夠的高頻分量才可以25Mark26人類視覺(jué)識(shí)別系統(tǒng)特性簡(jiǎn)介及其借鑒意義特異度對(duì)人臉識(shí)別的影響最“漂亮的〞、最“丑陋的〞、最“奇異的〞的人臉都是最容易被記住的，而群眾化的人臉那么不太容易被記住“群眾臉〞并不等于“平均臉〞，群眾臉是指經(jīng)?？梢砸?jiàn)到的“臉〞，而“平均臉〞并不多見(jiàn)光照變化與人臉識(shí)別反相照片〔負(fù)片〕的識(shí)別時(shí)很困難的；下方光源人臉圖像難以識(shí)別姿態(tài)不變性不變性？運(yùn)動(dòng)人臉圖像序列提供了更多的信息27人臉識(shí)別的分類傳感器可見(jiàn)光——模擬眼睛紅外主動(dòng)被動(dòng)3D人臉識(shí)別輸入模式靜態(tài)照片動(dòng)態(tài)視頻序列28基于可見(jiàn)光的人臉識(shí)別通常我們所說(shuō)的人臉識(shí)別是基于可見(jiàn)光人臉圖像的身份識(shí)別與驗(yàn)證的簡(jiǎn)稱光學(xué)人臉圖像〔以下簡(jiǎn)稱人臉圖像〕是外界光源〔包括太陽(yáng)光、室內(nèi)人造光源和其他物體外表反射而來(lái)的光線〕發(fā)出的光線照射在人臉上，經(jīng)人臉外表反射后傳輸?shù)綌z像機(jī)傳感器的光線強(qiáng)度的度量。入射光反射光29簡(jiǎn)化的人臉成像模型Lambert反射模型〔漫反射模型〕分別為物體外表點(diǎn)漫反射系數(shù)，法向量方向，光源的方向，二者夾角；k為入射光強(qiáng)度與視點(diǎn)無(wú)關(guān)〔區(qū)別鏡面反射〕30人臉圖像的生成要素人臉圖像實(shí)際上是三大類關(guān)鍵要素共同作用的結(jié)果人臉內(nèi)部屬性F人臉3D形狀〔外表法向量方向〕包括人臉外表的反射屬性〔包括反射系數(shù)等，通常簡(jiǎn)稱為紋理〕人臉表情、胡須等屬性的變化；外部成像條件L包括光源〔位置和強(qiáng)度等〕其他物體或者人體其他部件對(duì)人臉的遮擋〔比方眼鏡、帽子、頭發(fā)〕等。攝像機(jī)成像參數(shù)C包括攝像機(jī)位置〔視點(diǎn)〕、攝像機(jī)的焦距、光圈、快門速度等內(nèi)外部參數(shù)對(duì)識(shí)別人臉無(wú)益的干擾因素！31理想的識(shí)別模型從人臉圖像中剝離出人臉?lè)€(wěn)定不變的本質(zhì)屬性〔3D形狀與外表反射率〕外界條件及其攝像參數(shù)變化導(dǎo)致的圖像變化然后，從3D形狀與外表反射率屬性中提取不同人臉的差異信息，饋入到后端的判別分類器中進(jìn)行識(shí)別遺憾

一個(gè)病態(tài)問(wèn)題！32退而求其次…目前的多數(shù)系統(tǒng)采用的人臉建模方法仍然停留在圖像層面上，并沒(méi)有顯式地別離出3D形狀和紋理的步驟而是直接通過(guò)從“圖像〞中提取人臉表示特征并進(jìn)行分類來(lái)完成識(shí)別2D結(jié)構(gòu)信息——基于幾何結(jié)構(gòu)的人臉特征出現(xiàn)了少量利用3D信息進(jìn)行識(shí)別的方法：Morphablemodels2D圖像灰度數(shù)據(jù)統(tǒng)計(jì)特征—如模板匹配,Eigenface,Fisherface2D圖像變換特征——如Gabor,DCT,FFT…2D圖像的低維子空間分布線性：子空間，光照錐非線性：Kernel學(xué)習(xí)，流形等主流：Appearance-basedmethods33從“圖像〞中識(shí)別的道理何在？“圖像〞中包含什么？亮度變化(影調(diào)，shading)、陰影等反響了3D形狀A(yù)lbedo()：外表反射率外表反射率外表皮膚材質(zhì)特別是五官區(qū)域34問(wèn)題分解人臉識(shí)別/確認(rèn)面部特征定位人臉檢測(cè)X=(x1,x2,…

,xn)35FaceDetection36自動(dòng)人臉識(shí)別系統(tǒng)37FaceRecognition38基于幾何特征的例子建模：用面部關(guān)鍵特征的相對(duì)位置、大小、形狀、面積等參數(shù)來(lái)描述人臉人臉圖像f特征向量vv=(x1,x2,…,xn)對(duì)所有人臉提取同樣描述的幾何特征D={v1,v2,..,vp}待識(shí)別的人臉f提取的幾何特征為vf計(jì)算vf與D中所有vi的相似度s(vf,vi)(比方歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的人臉的身份即可判斷待識(shí)別人臉的身份信息39國(guó)內(nèi)外研究現(xiàn)狀及其分析40國(guó)內(nèi)外研究現(xiàn)狀——研究機(jī)構(gòu)國(guó)外研究機(jī)構(gòu)情況以美歐為主，各知名大學(xué)、研究所、企業(yè)研究院均設(shè)立了與人臉識(shí)別相關(guān)的研究組大學(xué)：CMU,MIT,UMD,USC,MichiganStateUniversity,UCLA,UniversityofManchester,UniversityofSurrey…評(píng)測(cè)：FERET(94-97),FRVT(2000/2002/2006),(X)M2VTS,FVC…國(guó)內(nèi)研究機(jī)構(gòu)簡(jiǎn)況大學(xué)：清華大學(xué)3家，哈爾濱工業(yè)大學(xué)，中山大學(xué)，南京理工大學(xué)，南京大學(xué)，上海交大，浙大，北交大…研究所：計(jì)算所，自動(dòng)化所等411997FERET測(cè)試結(jié)果測(cè)試類(訓(xùn)練/測(cè)試數(shù))最高識(shí)別率(大學(xué)，方法)所有參評(píng)方法的平均識(shí)別率FB(1196/1195)96%(UMD,PCA+LDA) 83%FC(1196/194) 82%(USC,EBGM) 30%DI(1196/722) 59%(USC,EBGM) 40%DII(864/234) 51%(USC,EBGM) 21%#數(shù)據(jù)來(lái)源：2000年的PAMI文章*說(shuō)明〔四種測(cè)試類均為正面人臉照片，略有表情變化，無(wú)眼鏡等飾物〕：FB：訓(xùn)練、測(cè)試集同一采集過(guò)程中在嚴(yán)格控制的光照條件下采集，略有表情變化，視覺(jué)效果上與訓(xùn)練集數(shù)據(jù)相差不大；FC：訓(xùn)練、測(cè)試集同一采集過(guò)程中不同攝像頭，有光照變化；DI：訓(xùn)練、測(cè)試集同一年內(nèi)，不同時(shí)間采集，有光照變化DII：一年后，不同攝像頭，不同光照條件42FERET測(cè)試(大于等于1196人的人臉庫(kù)上測(cè)試)*在同一攝像條件下采集的正面圖像識(shí)別中，典型的識(shí)別率為95%以上而對(duì)用不同的攝像機(jī)和不同的光照條件采集的正面測(cè)試圖像，典型的識(shí)別率驟降為80%以下而對(duì)一年后采集的正面測(cè)試圖像，最大的準(zhǔn)確率也僅僅接近50%*來(lái)源于2000年發(fā)表在PAMI上的文章，實(shí)際測(cè)試在1997年進(jìn)行性能下降很快！43FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下〔37437人(121,589幅圖像)的正面人臉簽證照〕人臉識(shí)別(Identification)最高首選識(shí)別率73%人臉驗(yàn)證(Verification)的等錯(cuò)誤率大約為5%-7%錯(cuò)誤接收率為0.01%時(shí)，最低錯(cuò)誤拒絕率30%左右錯(cuò)誤接受率為0.1%時(shí)，最低錯(cuò)誤拒絕率18%左右錯(cuò)誤接受率為1%時(shí)，最低錯(cuò)誤拒絕率10%左右44FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下〔37437人(121,589幅圖像)的正面人臉簽證照〕非理想條件測(cè)試(Verification，錯(cuò)誤接受率為1%)Gallery:787人正面中性表情，室內(nèi)為白熾燈光源室外同一天Probe庫(kù)包括435人(444幅圖像)，首選識(shí)別率54%室外152-505天之間的Probe庫(kù)包括103人(145幅圖像)，首選識(shí)別率46%45FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下〔37437人(121,589幅圖像)的正面人臉簽證照〕非理想條件測(cè)試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測(cè)試(Verification，錯(cuò)誤接受率為1%測(cè)試圖像為同樣光照)87人正面圖像作為Gallery左轉(zhuǎn)45度：40%右轉(zhuǎn)45度：55%抬頭30度：47%低頭30度：55%46FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下〔37437人(121,589幅圖像)的正面人臉簽證照〕非理想條件測(cè)試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測(cè)試(Verification，錯(cuò)誤接受率為1%測(cè)試圖像為同樣光照時(shí)間跨度問(wèn)題對(duì)大約3年后的照片，在錯(cuò)誤接受率為1%時(shí)最高首選識(shí)別率60%左右而錯(cuò)誤拒絕率為15%47FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下〔37437人(121,589幅圖像)的正面人臉簽證照〕非理想條件測(cè)試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測(cè)試(Verification，錯(cuò)誤接受率為1%測(cè)試圖像為同樣光照時(shí)間跨度問(wèn)題其它結(jié)論對(duì)視頻序列圖像的識(shí)別效果并不比對(duì)靜態(tài)圖像的識(shí)別效果好?數(shù)據(jù)庫(kù)的規(guī)模每增加一倍，總體性能下降大約2到3個(gè)百分點(diǎn)男性比女性更易于識(shí)別年輕人比老年人難識(shí)別48國(guó)際研究現(xiàn)狀在比較良好的環(huán)境條件情況下，對(duì)1000人左右根本正面人臉進(jìn)行識(shí)別的性能：首選識(shí)別率：95%以上等錯(cuò)誤率：2%以下在環(huán)境比較糟糕的情況下，對(duì)根本正面人臉進(jìn)行識(shí)別的性能：首選識(shí)別率：80%以下等錯(cuò)誤率：10%以上49WhoiswhoinFRcommunitySimonBaker,&T.Kanade,CMUThomasVetterRamaChellappaBabackMoghaddamAlexPentlandMichaelBlackPeterBelhumeurDavidKriegmanDavidYacobsRonenBasriAmnonShashuaSeong-WhanLeeC.vonMalsburgMattiPietik?inenT.PoggioA.ShashuaPaulViolaHarryWechlerTimCootesJosefKittlerJonathanPhillipsAliceO'TooleMatthewTurkTomHuangXiaoouTangWenyiZhaoChengjunLiuZhengyouZhangJieYangHaizhouAi…Toomanytolistallhere.50人臉圖像數(shù)據(jù)庫(kù)人臉庫(kù)FERET人臉庫(kù)，1196人CMU-PIE姿態(tài)光照表情人臉庫(kù)，68人CAS-PEAL人臉庫(kù),1040人,姿態(tài)表情飾物光照AR人臉庫(kù)，126人XM2VTS多模態(tài)人臉庫(kù)，200多人YaleFaceDatabaseB光照人臉庫(kù)，10人ORL,40人，Yale15人51文獻(xiàn)來(lái)源ProceedingofthefolLingconferencesCVPR,ICCV,ECCV,FG,ICPRJournalsIJCVIEEETrans.onPAMI,IP,NN,KDE,SMC(A/B)PatternRecognition,PatternRecognitionLettersImageandVisionComputingCVIUNeurocomputationNeurocomputing52國(guó)際商業(yè)系統(tǒng)國(guó)際上比較著名的商業(yè)系統(tǒng)CognitecAG——FaceVACSIdentix(LFA)——FaceItNevenVisionVissageFaceFINDER?來(lái)自ViisageTechnologyInc.(PCA)Hunter?來(lái)自LAUTechnologies(PCA)FaceSnap?RECORDER來(lái)自C-VIS(EBGM)TrueFace來(lái)自eTrueInc.(NeuralNetwork)SpotIt!來(lái)自ITCBioID…53人臉檢測(cè)典型方法介紹54人臉檢測(cè)方法基于規(guī)那么/知識(shí)方法人臉模式的變化滿足一定的規(guī)律，所以可以歸納描述人臉特征的規(guī)那么，如灰度分布、比例關(guān)系、紋理信息等基于模板的方法固定模板法，可變形模板法基于不變特征的方法，如彩色信息人臉的膚色在彩色空間中的分布相比照較集中，所以可用來(lái)檢測(cè)和跟蹤人臉?；谕庥^學(xué)習(xí)的方法---目前的主流方法將人臉檢測(cè)視為區(qū)分“非人臉樣本〞與“人臉樣本〞的模式識(shí)別問(wèn)題，通過(guò)對(duì)人臉樣本集和非人臉樣本集的學(xué)習(xí)產(chǎn)生分類器55基于膚色特征的檢測(cè)在很多人臉檢測(cè)和手的跟蹤應(yīng)用中，人的膚色信息已被證明是一種非常有效的特征有很多顏色空間可用來(lái)表征膚色，包括RGB,normalizedRGB,HSV(orHSI),YIQ,YES,CIEXYZ,和CIELUV等有許多建立膚色模型的方法最簡(jiǎn)單的方法是用Cr,Cb值定義膚色區(qū)域，選定閾值[Cr1,Cr2]和[Cb1,Cb2]一個(gè)像素點(diǎn)被歸為膚色點(diǎn)，如果它的(Cr,Cb)值落入下面的范圍：Cr1≤Cr≤Cr2andCb1≤Cb≤Cb256多種膚色模型andF.Berard,“Multi-modeltrackingoffacesforvideocommunications將膚色區(qū)域的RGB顏色歸一化，用其中的(r,g)值的顏色直方圖h(r,g)獲取膚色變量的閾值M.H.Yang,N.Ahuja,“Detectinghumanfacesincolorimages〞認(rèn)為人臉膚色區(qū)域的顏色值呈高斯分布，用高斯分布的均值和方差確定膚色變量的閾值T.S.JebaraandA.Pentland,“Parameterizedstructurefrommotionfro3Dadaptivefeedbacktrackingoffaces〞認(rèn)為不同的種族和國(guó)家的人的膚色分布不同，在顏色直方圖上形成多個(gè)聚類，可用高斯混合模型來(lái)表示57顏色空間RGB到“rg〞空間RGB到Y(jié)UV(YCrCb)空間，再轉(zhuǎn)化到“FI〞空間58高斯膚色模型一元正態(tài)分布膚色模型〔以F顏色特征為例〕59高斯膚色模型二元正態(tài)分布膚色模型〔以rg顏色特征為例〕60

多人臉訓(xùn)練膚色模型訓(xùn)練膚色模型手工標(biāo)注局部人臉(膚色區(qū)域)人臉圖像統(tǒng)計(jì)方法得到設(shè)置適宜的閾值截?cái)鄿y(cè)試階段逐像素判斷其是否在設(shè)定的膚色

特征范圍內(nèi)rg61提取膚色區(qū)域?qū)z測(cè)到的膚色區(qū)域進(jìn)行分析接近橢圓形有局部非膚色區(qū)域(五官、頭發(fā))62膚色模型的缺點(diǎn)膚色模型難以適應(yīng)各種環(huán)境光照變化對(duì)于背景和前景的光照變化，膚色通常不穩(wěn)定單純的膚色信息對(duì)于人臉檢測(cè)通常是不充分的如何適應(yīng)在不同光照下的人臉跟蹤如果環(huán)境光照有變化，原有的膚色模型可能不再適用，如何建立一個(gè)自適應(yīng)的膚色模型需要進(jìn)一步的研究63基于Appearance的方法ANNSVMNa?veBayesClassifierAdaBoost遍歷所有可能的“矩形窗口〞，判斷每個(gè)小窗口是否人臉？64基于AdaBoost

的快速人臉檢測(cè)65AdaBoost算法簡(jiǎn)介66人臉的特征表示方法矩形特征〔Haar-like特征〕矩形特征的值是所有白色矩形中點(diǎn)的亮度值的和減去所有灰色矩形中點(diǎn)的亮度值的和，所得到的差有4種類型的矩形特征67Haar-like特征的表示具體特征可以用一個(gè)五元組表示r(x,y,w,h,style)比方：r(2,2,4,2,A)表示下面的特征特征值即為白色四個(gè)像素與黑色四個(gè)像素的差值

68問(wèn)題如何快速計(jì)算任意矩形內(nèi)

所有像素的亮度之和？請(qǐng)大家設(shè)計(jì)一個(gè)算法要求計(jì)算量盡可能的小69需要一幅輔助圖像〔積分圖〕如以下圖所示：特征的快速計(jì)算ii(x,y)=該點(diǎn)左上面(紅色)區(qū)域內(nèi)所有像素值的和！

?￡￡=yyxxyxiyxii',')','(),(70從左到右、從上到下掃描一遍圖像，對(duì)圖像進(jìn)行如下操作，得到每個(gè)像素位置的積分圖像ii(x,y)ii(x,y)=ii(x,y-1)+s(x,y)s(x,y)=s(x-1,y)+I(x,y) 積分圖的計(jì)算I(x,y)棕紅色區(qū)域面積

ii(x,y-1)黃色區(qū)域面積s(x,y)

71Haar-Like特征的快速計(jì)算矩形特征的計(jì)算像素點(diǎn)1的積分值是矩形A中所有點(diǎn)的亮度值的和像素點(diǎn)2的積分值是A+B像素點(diǎn)3的積分值是A+C，像素點(diǎn)4的積分值是A+B+C+D.矩形D內(nèi)像素積分值：ii(4)－[ii(2)＋ii(3)]＋ii(1)72輸入圖像積分圖像基于積分圖像的Haar-like特征計(jì)算73何以快速？全部為定點(diǎn)加/減法操作！矩形區(qū)域和：2次加法1次減法矩形特征計(jì)算：1次減法，或2次減法，或者2次加法1次減法沒(méi)有乘法！74AdaBoost分類器AdaBoost分類器Adaboost學(xué)習(xí)算法是用來(lái)提高簡(jiǎn)單分類算法的性能的通過(guò)對(duì)一些弱分類器的組合來(lái)形成一個(gè)強(qiáng)分類器功能將分類性能不好的弱分類器提升為分類性能好的強(qiáng)分類器的學(xué)習(xí)算法思想學(xué)習(xí)一系列分類器，在這個(gè)序列中每一個(gè)分類器對(duì)它前一個(gè)分類器導(dǎo)致的錯(cuò)誤分類樣例給予更大的重視75AdaBoost用于人臉模式分類弱分類器其中，h表示弱分類器的值，表示弱學(xué)習(xí)算法尋找出的閾值，表示特征值，表示一個(gè)Harr-like特征。fi正例

(人臉)反例

(非人臉)76AdaBoost用于人臉模式分類輸入1.訓(xùn)練用人臉和非臉樣本2.指定要挑選出來(lái)的弱分類器的數(shù)目T這也是程序循環(huán)的次數(shù)

3.利用先驗(yàn)知識(shí)初始化權(quán)值向量一般可以平均設(shè)置77Adaboost學(xué)習(xí)算法流程挑選出的分類器數(shù)目<T？挑選錯(cuò)誤率最小的弱分類器加入強(qiáng)分類器，根據(jù)其錯(cuò)誤率計(jì)算其在強(qiáng)分類器中的系數(shù)。根據(jù)挑選出的分類器的錯(cuò)誤率更改每個(gè)樣本的權(quán)值，正確的權(quán)值減小，錯(cuò)誤的權(quán)值不變應(yīng)用當(dāng)前樣本的權(quán)值，計(jì)算每個(gè)弱分類器的錯(cuò)誤率否結(jié)束是78AdaBoost學(xué)習(xí)算法輸入訓(xùn)練樣本集合(x1,y1),(x2,y2),...,(xn,yn)

其中：每個(gè)樣本固定大小如20x20像素計(jì)算全部可能的Haar-like特征〔數(shù)十萬(wàn)個(gè)〕訓(xùn)練樣本可能多達(dá)100,000個(gè)初始化T，初始化每個(gè)樣本的權(quán)重79AdaBoost學(xué)習(xí)算法學(xué)習(xí)流程Fort=1,...,T1.歸一化權(quán)重，使得wt為一個(gè)概率分布：2.對(duì)每個(gè)特征j，訓(xùn)練一個(gè)弱分類器hj

并計(jì)算其帶權(quán)重的錯(cuò)誤率3.選擇誤差最小的弱分類器ht4.更新每個(gè)樣本的權(quán)重

其中：xi被正確分類，ei=0，否那么ei=1正確分類那么權(quán)重下降，否那么不變；錯(cuò)誤率越小，Beta也越小80AdaBoost學(xué)習(xí)算法最終得到的強(qiáng)分類器弱分類器錯(cuò)誤率越小，β就越小，α就越大H(x)為+，那么為正例〔人臉〕H(x)為-，那么為反例〔非人臉〕81人臉檢測(cè)器怎么應(yīng)用？82檢測(cè)系統(tǒng)的構(gòu)建——遍歷所有位置83檢測(cè)系統(tǒng)的構(gòu)建——遍歷不同大小84如何進(jìn)一步加速？遍歷所有可能的位置、大小，需要做多少次分類？320x240圖像，20x20模板，每次走1個(gè)像素，尺度縮小因子0.9，那么大約有：300x220+278x196+240x174+213x155+190x137+169x122+150x108+133x95+118x83+103x73+91x64+80x55+...=30多萬(wàn)如果再考慮3個(gè)角度的旋轉(zhuǎn)，

那么會(huì)超過(guò)100萬(wàn)次分類！問(wèn)題如何進(jìn)一步加速？85類比一下分析非人臉模式里面大量與人臉極其不同！只有少量的模式很難與人臉?lè)珠_(kāi)！類比篩沙子輸入：巨石，大石頭，小石頭，沙礫，粗沙，細(xì)沙目標(biāo)：只留下細(xì)沙〔人臉〕假設(shè)：大孔篩子容易做廉價(jià)，小細(xì)孔篩子難做昂貴方法1只用一個(gè)篩子，網(wǎng)眼非常小，所有的都要過(guò)這個(gè)篩子方法2用一系列篩子，網(wǎng)眼從大到小非常容易被截住的巨石首先被排除，然后是大石頭，再是小石頭，沙礫，粗沙，最后是細(xì)沙86基于AdaBoost的快速人臉檢測(cè)基于分級(jí)分類器的加速策略大量候選窗口可以利用非常少量的特征〔簡(jiǎn)單快速的分類器〕就可以排除是人臉的可能性！只有極少數(shù)需要大量的特征〔更復(fù)雜的更慢的分類器來(lái)判別是否人臉〕87分級(jí)分類器的構(gòu)建采用由粗到細(xì)的思想〔coarsetofine〕將少量區(qū)分性好的特征構(gòu)成的簡(jiǎn)單分類器置于前面假設(shè)干層效果：放過(guò)檢測(cè)絕大多數(shù)人臉的同時(shí)，排除大量非臉后面層包含更屢次重要的特征對(duì)非臉進(jìn)行進(jìn)一步排除訓(xùn)練方法關(guān)鍵思路每層訓(xùn)練用非臉樣本使用前面層分類器誤判為人臉的那些樣本88檢測(cè)過(guò)程流程圖AdaBoostLearnerFeaturesetFeatureSelect&ClassifierStage1False(Reject)AdaBoostLearnerStage2PassFalse(Reject)AdaBoostLearnerStage3PassFalse(Reject)Rejectasmanynegativesaspossible(minimizethefalsenegative)100%DetectionRate50%FalsePositive89分級(jí)分類器的訓(xùn)練算法90一些檢測(cè)結(jié)果91Project2人臉檢測(cè)系統(tǒng)兩種可選的方法基于膚色模型的方法最多2人1組基于AdaBoost的方法不要求大家實(shí)現(xiàn)Cascade，只需要實(shí)現(xiàn)AdaBoost即可最多3人1組92人臉識(shí)別的主要方法93發(fā)展階段1964~19901991~19971998-Current

主要特征作為一般識(shí)別問(wèn)題被研究；基于特征的方法是主流重點(diǎn)解決的是較理想條件下、用戶配合、中小規(guī)模人臉數(shù)據(jù)庫(kù)上的人臉識(shí)別問(wèn)題；基于Appearance的2D人臉圖像線性子空間分析和統(tǒng)計(jì)模式識(shí)別方法是主流；重點(diǎn)研究非理想條件下、用戶不配合、大規(guī)模人臉數(shù)據(jù)庫(kù)上的人臉識(shí)別問(wèn)題；基于3D模型和非線性建模的方法等可能是發(fā)展趨勢(shì)代表性的人臉識(shí)別技術(shù)與方法及其關(guān)鍵性事件和作品已知的最早的自動(dòng)人臉識(shí)別研究論文Bledsoe[1964]Eigenface[Turk&Pentland,1991]光照錐技術(shù)Georghiades,Kriegman，Belhumeur，1998]

基于特征的方法與基于模板的方法的對(duì)比[Brunelli&Poggio，1992]支持向量機(jī)SVM用于人臉識(shí)別中[Phillips,1999]第一個(gè)半自動(dòng)人臉識(shí)別系統(tǒng)美國(guó)DARPA啟動(dòng)FERET測(cè)試項(xiàng)目[Philips&Moon1994,1995]3D可變形模型[Vetter,1999]第一篇自動(dòng)人臉識(shí)別方面的博士論文[Kanade,1973]局部特征分析（LFA）人臉識(shí)別方法發(fā)展成為Visionics公司FaceIt商業(yè)系統(tǒng)[Atick,1995]基于AdaBoost的人臉檢測(cè)技術(shù)[Viola,1999]

基于剪影分析的（Profile）人臉識(shí)別基于雙子空間的貝葉斯概率學(xué)習(xí)[Moghaddam，1995]FaceRecognitionVendorTest2000[FRVT測(cè)試2000]

人臉識(shí)別研究綜述[Chellappa,1995]朗博反射與線性子空間分析[Basri&Jacobs,2001]

人臉的低維表示[Sirovich&Kirby,1987，1990]Fisherface[Belhumeur,1997]基于商圖像的人臉識(shí)別方法[Shashua,2001]

彈性圖匹配技術(shù)[Wiskott，1997]人臉檢測(cè)綜述[Yang&Kriegman,2002]

柔性模型，ASM,AAM[Cootes&Taylor,1997]FRVT2002測(cè)試

FERET’1996測(cè)試[Philips&Moon,1996]

技術(shù)特點(diǎn)基于特征的方法基于模板的方法

---基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法---

---統(tǒng)計(jì)學(xué)習(xí)理論

---基于Appearance的2D人臉子空間分析與建模

---非線性流形分析技術(shù)

基于2D圖像模型的人臉識(shí)別基于3D模型的人臉識(shí)別

94典型方法基于幾何特征的識(shí)別方法基于模板匹配的識(shí)別方法基于AdaBoost的人臉檢測(cè)特征臉(Eigenface)可變形模板方法主動(dòng)模型ASM/AAMFisherface,subspaceLDA雙子空間貝葉斯判別方法3DMorphableModelElasticGraphMatching局部特征分析(LFA)其他SVMrelatedLFArelatedGaborfeaturebasedmethodsIlluminationconesQuotientimagesSphericalharmonicsandLinearsubspacesAdaBoost-basedfacerecognitionManifoldanalysisfornon-linearmodelingICA,kernellearning,ISOMAP,LLE95重點(diǎn)介紹的幾個(gè)方法特征定位可變形模板方法ASM/AAM根底知識(shí)：主成分分析識(shí)別方法基于幾何特征的識(shí)別方法基于模板匹配的識(shí)別方法特征臉(Eigenface)Fisherface雙子空間貝葉斯判別方法3DMorphableModel局部特征與全局特征的融合96基于可變形模板

的面部特征自動(dòng)定位97面部特征提取可變形模板匹配DeformableTemplate98用可變形模板進(jìn)行面部特征定位可變形模板概念要點(diǎn)模板T：器官形狀的參數(shù)描述形式(先驗(yàn))直線、圓、拋物線、四次曲線等能量函數(shù)F=S(Tp,I)參數(shù)p定義的模板Tp與輸入圖像I的匹配程度參數(shù)優(yōu)化問(wèn)題

多參數(shù)非線性函數(shù)極小化p*=argminp(F)梯度下降法坐標(biāo)輪換法其它優(yōu)化算法99特征形狀模板100可變形模板——以下巴檢測(cè)為例參數(shù):(xc,yc),a,b,c,

左側(cè)拋物線:右側(cè)拋物線:能量函數(shù):其中:上：模板；下：邊緣圖101搜索流程102檢測(cè)結(jié)果103基于主動(dòng)模型的特征定位方法PCAASMAAM104主成分分析PCA方法105主成分分析PCA概況問(wèn)題描述為給定輸入：n維圖像空間中的m個(gè)點(diǎn)〔圖像〕尋求一個(gè)維的變換矩陣使得，各維之間數(shù)據(jù)的相關(guān)性最小——亦即一個(gè)去相關(guān)的過(guò)程Wy’xyxix’yi如何去相關(guān)？相關(guān)性的度量：協(xié)方差兩個(gè)隨機(jī)變量ξη各自離差的乘積的數(shù)學(xué)期望稱為這兩個(gè)隨機(jī)變量的協(xié)方差〔也叫相關(guān)矩〕，記作：協(xié)方差矩陣隨機(jī)向量X=(x1,x2,...,xn)的各個(gè)元素之間協(xié)方差組成協(xié)方差矩陣C，即：Cij=cov(xi,xj)107PCA：協(xié)方差矩陣的特征值分解協(xié)方差矩陣的性質(zhì)實(shí)對(duì)稱矩陣半正定矩陣所有的特征值大于或等于0特征值分解存在一個(gè)變換W，滿足對(duì)角線元素為特征值，W列向量為特征向量即：去相關(guān)Y=WTX，那么Y的協(xié)方差矩陣為“對(duì)角陣〞，對(duì)角線元素非0(特征值，方差)，非對(duì)角線元素為0，即：Y的不同元素之間的協(xié)方差為0對(duì)角陣108PCA：協(xié)方差矩陣計(jì)算輸入訓(xùn)練樣本集合的協(xié)方差矩陣定義為：其中是樣本均值。記：那么上述公式變?yōu)椋篜CA：計(jì)算方法計(jì)算過(guò)程為：計(jì)算樣本均值m中心平移每個(gè)訓(xùn)練樣本xi計(jì)算訓(xùn)練集合的樣本協(xié)方差矩陣對(duì)協(xié)方差矩陣進(jìn)行特征值分解 取協(xié)方差矩陣的特征向量形成變換矩陣W

變換重構(gòu)PCA：用于降維PCA:Reducespacedimensionalitywithminimumlossofdescriptioninformation.原始高維數(shù)據(jù)壓縮后低維數(shù)據(jù)PCA降維:Theory在變換后的特征空間中，每個(gè)特征向量wi對(duì)應(yīng)的特征值λi的大小代表該特征向量所描述的方向上的方差的大小所以…從W中去掉那些對(duì)應(yīng)較小特征值的特征向量，意味著在信息喪失最小的意義上降維!PCA降維:Practice按照其所相應(yīng)的特征值的大小對(duì)特征向量排序選擇頭d個(gè)對(duì)應(yīng)最大特征值的特征向量構(gòu)成變換矩陣Wnxd

原始數(shù)據(jù)(n維)壓縮（d維)

從n維空間到d維空間的投影(d<n)!數(shù)據(jù)約減：理想情況圖示原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差為0，沒(méi)有信息，可以完全去掉，而沒(méi)有任何損失！x1x22Ddatay11Ddata數(shù)據(jù)約減：非理想情況圖示x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+m原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差比較小，包含少量信息，去掉后有少量損失！115PCA降維:數(shù)據(jù)損失分析投影后數(shù)據(jù)局部喪失，但是可以證明：在只使用前d個(gè)特征向量的情況下，xi與其逆PCA重構(gòu)x’i之間的均方誤差為：最小均方誤差意義下的最正確變換x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+mPCA:小結(jié)一種多元統(tǒng)計(jì)分析方法變換后各維數(shù)據(jù)之間的相關(guān)性最小最小均方誤差意義下的最正確變換限定有效的參數(shù)空間范圍〔在訓(xùn)練集合對(duì)象變化論域下〕主動(dòng)統(tǒng)計(jì)模型118主動(dòng)形狀模型ASM統(tǒng)計(jì)形狀模型從訓(xùn)練圖像集合中可以派生出一個(gè)形狀模型集合對(duì)其進(jìn)行PCA分析，可以得到統(tǒng)計(jì)形狀模型其中為統(tǒng)計(jì)形狀參數(shù)119主動(dòng)形狀模型ASMASM模型局部紋理模型全局形狀約束PCA表達(dá)的統(tǒng)計(jì)模型ASM根本思路首先進(jìn)行不可靠但效率

很高的局部匹配，然后

通過(guò)全局形狀的統(tǒng)計(jì)約

束來(lái)對(duì)其進(jìn)行標(biāo)準(zhǔn)化i=1i=2i=3頭3個(gè)形狀模式的變化情況120ASM:搜索過(guò)程圖示初始化(平均)特征點(diǎn)局部紋理模型匹配統(tǒng)計(jì)形狀模型約束(PCA)最終結(jié)果迭代121特征點(diǎn)局部紋理模型匹配對(duì)每個(gè)特征點(diǎn)，在其法線鄰域內(nèi)搜索，尋找局部紋理模型的最正確匹配點(diǎn)局部紋理模型：法線方向紋理梯度，稱為Profile每個(gè)特征點(diǎn)的Profile模型都在訓(xùn)練時(shí)建立統(tǒng)計(jì)模型匹配方法在法線上逐點(diǎn)運(yùn)算，選擇馬氏距離最小的候選點(diǎn)每個(gè)特征點(diǎn)都是一個(gè)在法線上移動(dòng)的小機(jī)器人，以發(fā)現(xiàn)與自己Profile特征最正確匹配的候選點(diǎn)！122統(tǒng)計(jì)形狀模型約束(PCA)局部搜索的結(jié)果每個(gè)特征點(diǎn)局部“最優(yōu)〞，全局形狀可能異常所有特征點(diǎn)全局結(jié)構(gòu)統(tǒng)計(jì)約束修改得直接效果少數(shù)服從多數(shù)的折衷平滑效果，去除了鋸齒等異常形狀特征123ASM評(píng)價(jià)優(yōu)點(diǎn)局部紋理匹配簡(jiǎn)單，匹配速度快全局統(tǒng)計(jì)形狀約束可以有效防止無(wú)效形狀缺點(diǎn)算法收斂約束條件不夠強(qiáng)，沒(méi)有顯式的最優(yōu)值附近局部凸的匹配度目標(biāo)函數(shù)因此，經(jīng)常會(huì)出現(xiàn)非常遺憾的情況某次迭代搜索到一個(gè)正確結(jié)果，繼續(xù)迭代那么逐漸遠(yuǎn)離該正確結(jié)果124ASM結(jié)果例如左側(cè)為根據(jù)眼睛位置給出的初始形狀，右側(cè)為ASM結(jié)果125FaceAlignment126主動(dòng)表觀模型AAMAppearance=Shape+TextureShape如前所述Texture：形狀無(wú)關(guān)的灰度圖像面片Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理127AAM:訓(xùn)練數(shù)據(jù)準(zhǔn)備(續(xù))形狀平均形狀紋理128

AAM:形狀模型例如：訓(xùn)練得到的3種不同的形狀模式如前所述129AAM:紋理模型紋理訓(xùn)練集合紋理模型訓(xùn)練得到的第一紋理模式變化130主動(dòng)表觀模型AAM表觀模型=形狀模型+紋理模型紋理紋理模型統(tǒng)計(jì)表觀模型形狀和紋理串聯(lián)得到b后，再次應(yīng)用PCA，建立統(tǒng)計(jì)表觀模型用于合成模型圖像Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理3種變化模式131AAM:例如AAM作者的自畫(huà)像彩色模型(byGarethEdwards)3種變化模式HisshapeAmodeofthemodelTimCootes132AAM:用于圖像分析Given:anappearancemodel,anovelimage,astartingapproximationc0Find:thebestmatchingsyntheticimagetogettheparametersc問(wèn)題描述：133AAM及其搜索策略134AAM:搜索算法對(duì)當(dāng)前模型參數(shù)c計(jì)算模型圖像和當(dāng)前圖像之差：dg=gs-gm預(yù)測(cè)模型參數(shù)變化:dc=Adg嘗試新的模型參數(shù)：c’=c–kdc,k=1計(jì)算新的誤差函數(shù)：dg’如果|dg’|<|dg|，那么接受c’作為新的估計(jì)參數(shù)如果c’不被接受，嘗試k=1.5;0.5;0.25等迭代上述過(guò)程直到

|dg|不再發(fā)生變化為止135AAM：基于合成的圖像分析3D人臉2D人臉

圖像AnalysisSynthesis統(tǒng)計(jì)外觀模型SAM圖像表示模型參數(shù)c*136AAM優(yōu)化搜索過(guò)程實(shí)例137AAM總結(jié)與評(píng)價(jià)138基于面部幾何結(jié)構(gòu)的人臉識(shí)別基于模板匹配的人臉識(shí)別方法139基于幾何特征的例子建模：用面部關(guān)鍵特征的相對(duì)位置、大小、形狀、面積等參數(shù)來(lái)描述人臉人臉圖像f特征向量vv=(x1,x2,…,xn)對(duì)所有人臉提取同樣描述的幾何特征D={v1,v2,..,vp}待識(shí)別的人臉f提取的幾何特征為vf計(jì)算vf與D中所有vi的相似度s(vf,vi)(比方歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的人臉的身份即可判斷待識(shí)別人臉的身份信息140基于模板匹配的例子建模2D灰度矩陣，按行向量化為1D向量所有圖像均表示為這樣的向量識(shí)別計(jì)算輸入圖像的向量與人臉庫(kù)中所有向量的相似度，排序即可給出識(shí)別結(jié)果141EigenfacePCAPrincipalComponentAnalysis也稱為Hotteling變換或者Karhunen-Loeve變換〔KLT〕.尋求一個(gè)正交的坐標(biāo)系統(tǒng)，使得不同坐標(biāo)軸之間的相關(guān)性最??！Eigenface人臉識(shí)別方法x為輸入圖像y作為提取的特征S(x1,x2)=S(y1,y2)可以采用歐式距離也可以采用Cosine+y1*

+…+ym

≈+δ(I)143Eigenfaces—EigenvectorsoftheCovariancematrix可視化的“特征臉〞Leading8D:validsignalLast8D:DifferenceandNoise144EigenFace-basedfacerecognitionmethodDFFS145Fisherface：子空間線性判別分析EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最正確的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最正確的判別特征MostDiscriminatingFeatures(MDFs)146Fisher判別分析——FisherfacePCA’sproblem!!147根本思想FLD選擇一種最優(yōu)的投影變換，滿足:類間散度矩陣類內(nèi)散度矩陣148FDA的計(jì)算優(yōu)化分析說(shuō)明，滿足上述最大化的W是下述方程的解：

進(jìn)一步假設(shè)是非奇異的。那么可以通過(guò)求解下面的廣義特征值問(wèn)題來(lái)得到W如果Sw是奇異的，怎么辦？149Bayesian方法類內(nèi)差異〔〕相同個(gè)體的多幅圖象之間的差異，即包含了表情、不同光照條件、不同姿態(tài)等差異；類間差異〔〕不同人的人臉圖象之間的差異，包含了身份變化的信息；150基于雙子空間分析的Bayesian方法貝葉斯方法兩張圖象的相似度可以表示為它們之間的差屬于類內(nèi)差異的概率其中151類內(nèi)差異與類間差異(3)傳統(tǒng)的方法假設(shè)類內(nèi)差異與類間差異的分布為正態(tài)分布，那么類條件概率密度為152類條件概率密度的計(jì)算對(duì)協(xié)方差矩陣做特征分解:153類條件概率密度的計(jì)算其中的取值為：DIFSDFFSx1x2u2u1154類條件概率密度的計(jì)算155Bayesian方法的實(shí)現(xiàn)形成兩類模式空間和的訓(xùn)練集合分別進(jìn)行PCA分析分別得到變換矩陣和對(duì)角陣〔特征值〕通過(guò)下式計(jì)算兩幅人臉圖像的相似度或者M(jìn)APML156157局部特征與全局特征的融合單獨(dú)的slides1583DWorld圖像AnalysisSynthesis圖像模型圖像表示模型參數(shù)159基于3D變形模型的人臉建模輸入圖像Modeler結(jié)果DatabaseFaceAnalyzer3D人臉MorphableFaceModel3Dshape參數(shù)(PCA)Texture參數(shù)(PCA)光照模型、Camera內(nèi)外參數(shù)等，共22個(gè)160基于3D變形模型的人臉建模......3D形狀紋理1613DMorphableModelExtrinsicparametersmodeledusingPhysicalRelations:

-Pose:3x3Rotationmatrix

-Illumination: Phongshadingaccountsforcast shadowsandspecularHlights

NoLambertianAssumption.

162Photo-realisticimagesrenderedusingComputer