人臉識(shí)別授課課件

人臉識(shí)別人臉識(shí)別2人臉識(shí)別的意義與感性認(rèn)識(shí)人臉識(shí)別的現(xiàn)狀人臉識(shí)別的關(guān)鍵問題人臉識(shí)別的過程人臉識(shí)別的方法2人臉識(shí)別的意義與感性認(rèn)識(shí)人臉識(shí)別的感性認(rèn)識(shí)人臉識(shí)別是一個(gè)活躍的研究領(lǐng)域，是人類視覺最杰出的能力之一。雖然人臉識(shí)別的準(zhǔn)確性要低于虹膜、指紋的識(shí)別，但由于它的無侵害性和對(duì)用戶最自然、最直觀的方式，使人臉識(shí)別成為最容易被接受的生物特征識(shí)別方式。人臉識(shí)別的感性認(rèn)識(shí)人臉識(shí)別是一個(gè)活躍的研究領(lǐng)域，是人類視覺最人臉識(shí)別是人體生物認(rèn)證技術(shù)的一種，首先我們談?wù)勅梭w生物認(rèn)證技術(shù)人體生物的生物特征包括生理特征和行為特征兩大類。

⑴人體的生理特征主要包括人臉、指紋、掌紋、掌形、虹膜、視網(wǎng)膜、靜脈、DNA、顱骨等，這些特征是與生俱來的，是先天形成的；⑵而行為特征包括聲紋、簽名、步態(tài)、耳形、按鍵節(jié)奏、身體氣味等，這些特征是由后天的生活環(huán)境和生活習(xí)慣決定的。這些生物特征本身固有的特點(diǎn)決定了其在生物認(rèn)證中所起的作用是不同的.人臉識(shí)別是人體生物認(rèn)證技術(shù)的一種，首先我們談?wù)勅梭w生物認(rèn)證技生物特征識(shí)別：人臉臉部熱量圖指紋手形手部血管分布虹膜視網(wǎng)膜簽名語音生物特征識(shí)別：人臉臉部熱量圖指紋手形手部血管6基于生物特征的身份認(rèn)證生物特征=生理特征+行為特征生理特征(whatyouare?)與生俱來，如DNA、臉像、虹膜、指紋等行為特征(whatyoudo?)后天習(xí)慣使然，如筆跡、步態(tài)等6基于生物特征的身份認(rèn)證生物特征=生理特征+行為特征7常用生物特征的比較生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接受程度防欺騙性人臉HighLowMediumHighLowHighLow指紋MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh視網(wǎng)膜HighHighMediumLowHighLowHigh簽名LowLowLowHighLowHighLow聲音MediumLowLowMediumLowHighLow［A.Jain,L.HongandS.Pankanti.“Biometrics:PromisingFrontiersforEmergingIdentificationMarket”，CommunicationACM,2000］生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接受程度防欺騙性人臉HighLowMediumHighLowHighLow指紋MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh視網(wǎng)膜HighHighMediumLowHighLowHigh簽名LowLowLowHighLowHighLow聲音MediumLowLowMediumLowHighLow7常用生物特征的比較生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接人臉識(shí)別的意義BillGates:以人類生物特征進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)，在今后數(shù)年內(nèi)將成為IT產(chǎn)業(yè)最為重要的技術(shù)革命人臉識(shí)別的意義BillGates:以人類生物特征進(jìn)行身份9人臉識(shí)別的軍事應(yīng)用導(dǎo)彈基地、軍火庫房等要地的門禁或通道控制核能設(shè)施等重要軍事裝備的啟動(dòng)控制中國人民銀行規(guī)定所有的金庫安防監(jiān)控系統(tǒng)都要有人臉識(shí)別功能9人臉識(shí)別的軍事應(yīng)用導(dǎo)彈基地、軍火庫房等要地的門禁或通道控制研究現(xiàn)狀國際上對(duì)人臉及人臉面部表情識(shí)別的研究現(xiàn)在逐漸成為科研熱點(diǎn)。國內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的研究,尤其美國、日本。進(jìn)入90年代,對(duì)人臉表情識(shí)別的研究變得非常活躍,吸引了大量的研究人員和基金支持,EI可檢索到的相關(guān)文獻(xiàn)就多達(dá)數(shù)千篇。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟(jì)發(fā)達(dá)國家和發(fā)展中國家如印度、新加坡都有專門的研究組進(jìn)行這方面的研究。其中MIT、CMU、Maryland大學(xué)、Standford大學(xué)、日本城蹊大學(xué)、東京大學(xué)、ATR研究所的貢獻(xiàn)尤為突出。國內(nèi)眾多大學(xué)和研究所都有人員從事人臉及人臉表情識(shí)別的研究

研究現(xiàn)狀人臉識(shí)別的關(guān)鍵問題1.人臉面部形態(tài)（面型、眼睛、鼻子）2.人臉識(shí)別中的視覺特征（早期MARR理論框架3個(gè)層次計(jì)算理論、算法、實(shí)現(xiàn)機(jī)制；現(xiàn)多層次）3人臉識(shí)別中的光照問題4.人臉識(shí)別中的姿態(tài)問題人臉識(shí)別的關(guān)鍵問題1.人臉面部形態(tài)（面型、眼睛、鼻子）人臉識(shí)別的過程人臉識(shí)別的過程13人臉識(shí)別的過程登記過程識(shí)別過程一對(duì)一的驗(yàn)證過程一對(duì)多的辨別過程13人臉識(shí)別的過程登記過程14登記過程14登記過程15一對(duì)多的辨別過程15一對(duì)多的辨別過程本征臉（eigenface）方法是人臉識(shí)別的基準(zhǔn)技術(shù)，并已成為事實(shí)上的工業(yè)標(biāo)準(zhǔn)該方法基于主成分分析（PCA）PCA是將分散在一組變量上的信息集中到某幾個(gè)綜合指標(biāo)（主成分）上的數(shù)學(xué)方法，實(shí)際上起著數(shù)據(jù)降維的作用，并保證降維過程最大化保留原數(shù)據(jù)的差異這對(duì)最大化類間差異（即不同人之間的差異）并最小化類內(nèi)差異（即同一人的不同圖像間的差異）很有效用PCA將2維數(shù)據(jù)降到1維的例子，綠色點(diǎn)表示二維數(shù)據(jù)，PCA的目標(biāo)就是找到這樣一條直線，使得所有點(diǎn)在這條直線上的投影點(diǎn)之間的平均距離最大。也就是最大化地保留了原數(shù)據(jù)的差異性本征臉（eigenface）方法是人臉識(shí)別的基準(zhǔn)技術(shù)，并已成本征臉方法直接計(jì)算C的本征值和本征向量是困難的，可以通過對(duì)矩陣做奇異值分解間接求出m值的選擇：如果將本征向量恢復(fù)成圖像，這些圖像很像人臉，因此稱為“本征臉”[M.Turk&A.Pentland,JCN91]本征臉方法直接計(jì)算C的本征值和本征向量是困難的，可以通過對(duì)本征臉vs.本征特征本征臉利用全局特征，本征特征利用局部特征，二者各有優(yōu)勢(shì)待識(shí)別圖像本征臉識(shí)別結(jié)果本征特征識(shí)別結(jié)果[A.Pentlandetal.,CVPR94]本征臉vs.本征特征本征臉利用全局特征，本征特征利用局部本征臉vs.本征特征(2)(1)(3)(4)難題——能否自動(dòng)確定：該用哪些特征？（眼睛？鼻子？嘴？……）特征的確切位置在哪兒？（從哪兒到哪兒算眼睛？……）將二者結(jié)合，可以得到更好的識(shí)別效果同樣，這實(shí)際上相當(dāng)于：為若干重要的特征建立本征空間，然后將多個(gè)本征空間集成起來由于嘴部受表情影響很嚴(yán)重，因此未考慮嘴部特征本征臉vs.本征特征(2)(1)(3)(4)難題——能否幾種人臉識(shí)別的方法1

基于幾何特征的人臉識(shí)別方法2

基于相關(guān)匹配的方法3

基于神經(jīng)網(wǎng)絡(luò)的方法4

彈性圖匹配方法5基于三維模型的方法幾種人臉識(shí)別的方法1基于幾何特征的人臉識(shí)別方法

基于幾何特征的方法是早期的人臉識(shí)別方法之一。常采用的幾何特征有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特征。臉型特征以及五官在臉上分布的幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)的一些先驗(yàn)知識(shí)。識(shí)別所采用的幾何特征是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，本質(zhì)上是特征矢量之間的匹配。1

基于幾何特征的人臉識(shí)別方法基于幾何特征的方法是早期的人臉識(shí)別方法之一。1基2

基于相關(guān)匹配的方法基于相關(guān)匹配的方法包括模板匹配法和等強(qiáng)度線方法。①模板匹配法：Poggio和Brunelli專門比較了基于幾何特征的人臉識(shí)別方法和基于模板匹配的人臉識(shí)別方法。②等強(qiáng)度線法：等強(qiáng)度線利用灰度圖像的多級(jí)灰度值的等強(qiáng)度線作為特征進(jìn)行兩幅人臉圖像的匹配識(shí)別。2基于相關(guān)匹配的方法基于相關(guān)匹配的方法包括模板匹配法和等3

基于神經(jīng)網(wǎng)絡(luò)的方法Gutta等提出了混合神經(jīng)網(wǎng)絡(luò)、Lawrence等通過一個(gè)多級(jí)的SOM（自組織映射）實(shí)現(xiàn)樣本的聚類，將卷積神經(jīng)網(wǎng)絡(luò)CNN用于人臉識(shí)別、Lin等采用基于概率決策的神經(jīng)網(wǎng)絡(luò)方法；Demers等提出采用主元神經(jīng)網(wǎng)絡(luò)方法提取人臉圖像特征，用自相關(guān)神經(jīng)網(wǎng)絡(luò)進(jìn)一步壓縮特征，最后采用一個(gè)MLP（多層感知器）來實(shí)現(xiàn)人臉識(shí)別。Er等采用PCA（主成分分析）進(jìn)行維數(shù)壓縮，再用LDA（線性判別分析）抽取特征，然后基于RBF進(jìn)行人臉識(shí)別。Haddadnia等基于PZMI特征，并采用混合學(xué)習(xí)算法的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別。神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)是通過學(xué)習(xí)的過程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá)，它的適應(yīng)性較強(qiáng)。3基于神經(jīng)網(wǎng)絡(luò)的方法Gutta等提出了混合神經(jīng)網(wǎng)絡(luò)、Law4

彈性圖匹配方法Lades等提出采用動(dòng)態(tài)鏈接結(jié)構(gòu)(DLA，DynamicLinkArchitecture)的方法識(shí)別人臉。它將人臉用格狀的稀疏圖表示如圖所示。圖中的節(jié)點(diǎn)用圖像位置的Gabor小波分解得到的特征向量標(biāo)記4彈性圖匹配方法Lades等提出采用動(dòng)態(tài)鏈接結(jié)構(gòu)(DLA，5基于三維模型的方法該類方法一般先在圖像上檢測(cè)出與通用模型頂點(diǎn)對(duì)應(yīng)的特征點(diǎn)，然后根據(jù)特征點(diǎn)調(diào)節(jié)通用模型，最后通過紋理映射得到特定人臉的3D模型。Tibbalds基于結(jié)構(gòu)光源和立體視覺理論，通過攝像機(jī)獲取立體圖像，根據(jù)圖像特征點(diǎn)之間匹配構(gòu)造人臉的三維表面5基于三維模型的方法該類方法一般先在圖像上檢測(cè)出與通用總結(jié)與展望人臉自動(dòng)識(shí)別技術(shù)已取得了巨大的成就，隨著科技的發(fā)展，在實(shí)際應(yīng)用中仍然面臨困難，不僅要達(dá)到準(zhǔn)確、快速的檢測(cè)并分割出人臉部分，而且要有效的變化補(bǔ)償、特征描述、準(zhǔn)確的分類的效果。下一個(gè)大師在哪里？總結(jié)與展望人臉自動(dòng)識(shí)別技術(shù)已取得了巨大的成就，隨著科技人臉識(shí)別人臉識(shí)別28人臉識(shí)別的意義與感性認(rèn)識(shí)人臉識(shí)別的現(xiàn)狀人臉識(shí)別的關(guān)鍵問題人臉識(shí)別的過程人臉識(shí)別的方法2人臉識(shí)別的意義與感性認(rèn)識(shí)人臉識(shí)別的感性認(rèn)識(shí)人臉識(shí)別是一個(gè)活躍的研究領(lǐng)域，是人類視覺最杰出的能力之一。雖然人臉識(shí)別的準(zhǔn)確性要低于虹膜、指紋的識(shí)別，但由于它的無侵害性和對(duì)用戶最自然、最直觀的方式，使人臉識(shí)別成為最容易被接受的生物特征識(shí)別方式。人臉識(shí)別的感性認(rèn)識(shí)人臉識(shí)別是一個(gè)活躍的研究領(lǐng)域，是人類視覺最人臉識(shí)別是人體生物認(rèn)證技術(shù)的一種，首先我們談?wù)勅梭w生物認(rèn)證技術(shù)人體生物的生物特征包括生理特征和行為特征兩大類。

⑴人體的生理特征主要包括人臉、指紋、掌紋、掌形、虹膜、視網(wǎng)膜、靜脈、DNA、顱骨等，這些特征是與生俱來的，是先天形成的；⑵而行為特征包括聲紋、簽名、步態(tài)、耳形、按鍵節(jié)奏、身體氣味等，這些特征是由后天的生活環(huán)境和生活習(xí)慣決定的。這些生物特征本身固有的特點(diǎn)決定了其在生物認(rèn)證中所起的作用是不同的.人臉識(shí)別是人體生物認(rèn)證技術(shù)的一種，首先我們談?wù)勅梭w生物認(rèn)證技生物特征識(shí)別：人臉臉部熱量圖指紋手形手部血管分布虹膜視網(wǎng)膜簽名語音生物特征識(shí)別：人臉臉部熱量圖指紋手形手部血管32基于生物特征的身份認(rèn)證生物特征=生理特征+行為特征生理特征(whatyouare?)與生俱來，如DNA、臉像、虹膜、指紋等行為特征(whatyoudo?)后天習(xí)慣使然，如筆跡、步態(tài)等6基于生物特征的身份認(rèn)證生物特征=生理特征+行為特征33常用生物特征的比較生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接受程度防欺騙性人臉HighLowMediumHighLowHighLow指紋MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh視網(wǎng)膜HighHighMediumLowHighLowHigh簽名LowLowLowHighLowHighLow聲音MediumLowLowMediumLowHighLow［A.Jain,L.HongandS.Pankanti.“Biometrics:PromisingFrontiersforEmergingIdentificationMarket”，CommunicationACM,2000］生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接受程度防欺騙性人臉HighLowMediumHighLowHighLow指紋MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh視網(wǎng)膜HighHighMediumLowHighLowHigh簽名LowLowLowHighLowHighLow聲音MediumLowLowMediumLowHighLow7常用生物特征的比較生物特征普遍性獨(dú)特性穩(wěn)定性可采集性性能接人臉識(shí)別的意義BillGates:以人類生物特征進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)，在今后數(shù)年內(nèi)將成為IT產(chǎn)業(yè)最為重要的技術(shù)革命人臉識(shí)別的意義BillGates:以人類生物特征進(jìn)行身份35人臉識(shí)別的軍事應(yīng)用導(dǎo)彈基地、軍火庫房等要地的門禁或通道控制核能設(shè)施等重要軍事裝備的啟動(dòng)控制中國人民銀行規(guī)定所有的金庫安防監(jiān)控系統(tǒng)都要有人臉識(shí)別功能9人臉識(shí)別的軍事應(yīng)用導(dǎo)彈基地、軍火庫房等要地的門禁或通道控制研究現(xiàn)狀國際上對(duì)人臉及人臉面部表情識(shí)別的研究現(xiàn)在逐漸成為科研熱點(diǎn)。國內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的研究,尤其美國、日本。進(jìn)入90年代,對(duì)人臉表情識(shí)別的研究變得非常活躍,吸引了大量的研究人員和基金支持,EI可檢索到的相關(guān)文獻(xiàn)就多達(dá)數(shù)千篇。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟(jì)發(fā)達(dá)國家和發(fā)展中國家如印度、新加坡都有專門的研究組進(jìn)行這方面的研究。其中MIT、CMU、Maryland大學(xué)、Standford大學(xué)、日本城蹊大學(xué)、東京大學(xué)、ATR研究所的貢獻(xiàn)尤為突出。國內(nèi)眾多大學(xué)和研究所都有人員從事人臉及人臉表情識(shí)別的研究

研究現(xiàn)狀人臉識(shí)別的關(guān)鍵問題1.人臉面部形態(tài)（面型、眼睛、鼻子）2.人臉識(shí)別中的視覺特征（早期MARR理論框架3個(gè)層次計(jì)算理論、算法、實(shí)現(xiàn)機(jī)制；現(xiàn)多層次）3人臉識(shí)別中的光照問題4.人臉識(shí)別中的姿態(tài)問題人臉識(shí)別的關(guān)鍵問題1.人臉面部形態(tài)（面型、眼睛、鼻子）人臉識(shí)別的過程人臉識(shí)別的過程39人臉識(shí)別的過程登記過程識(shí)別過程一對(duì)一的驗(yàn)證過程一對(duì)多的辨別過程13人臉識(shí)別的過程登記過程40登記過程14登記過程41一對(duì)多的辨別過程15一對(duì)多的辨別過程本征臉（eigenface）方法是人臉識(shí)別的基準(zhǔn)技術(shù)，并已成為事實(shí)上的工業(yè)標(biāo)準(zhǔn)該方法基于主成分分析（PCA）PCA是將分散在一組變量上的信息集中到某幾個(gè)綜合指標(biāo)（主成分）上的數(shù)學(xué)方法，實(shí)際上起著數(shù)據(jù)降維的作用，并保證降維過程最大化保留原數(shù)據(jù)的差異這對(duì)最大化類間差異（即不同人之間的差異）并最小化類內(nèi)差異（即同一人的不同圖像間的差異）很有效用PCA將2維數(shù)據(jù)降到1維的例子，綠色點(diǎn)表示二維數(shù)據(jù)，PCA的目標(biāo)就是找到這樣一條直線，使得所有點(diǎn)在這條直線上的投影點(diǎn)之間的平均距離最大。也就是最大化地保留了原數(shù)據(jù)的差異性本征臉（eigenface）方法是人臉識(shí)別的基準(zhǔn)技術(shù)，并已成本征臉方法直接計(jì)算C的本征值和本征向量是困難的，可以通過對(duì)矩陣做奇異值分解間接求出m值的選擇：如果將本征向量恢復(fù)成圖像，這些圖像很像人臉，因此稱為“本征臉”[M.Turk&A.Pentland,JCN91]本征臉方法直接計(jì)算C的本征值和本征向量是困難的，可以通過對(duì)本征臉vs.本征特征本征臉利用全局特征，本征特征利用局部特征，二者各有優(yōu)勢(shì)待識(shí)別圖像本征臉識(shí)別結(jié)果本征特征識(shí)別結(jié)果[A.Pentlandetal.,CVPR94]本征臉vs.本征特征本征臉利用全局特征，本征特征利用局部本征臉vs.本征特征(2)(1)(3)(4)難題——能否自動(dòng)確定：該用哪些特征？（眼睛？鼻子？嘴？……）特征的確切位置在哪兒？（從哪兒到哪兒算眼睛？……）將二者結(jié)合，可以得到更好的識(shí)別效果同樣，這實(shí)際上相當(dāng)于：為若干重要的特征建立本征空間，然后將多個(gè)本征空間集成起來由于嘴部受表情影響很嚴(yán)重，因此未考慮嘴部特征本征臉vs.本征特征(2)(1)(3)(4)難題——能否幾種人臉識(shí)別的方法1

基于幾何特征的人臉識(shí)別方法2

基于相關(guān)匹配的方法3

基于神經(jīng)網(wǎng)絡(luò)的方法4

彈性圖匹配方法5基于三維模型的方法幾種人臉識(shí)別的方法1基于幾何特征的人臉識(shí)別方法

基于幾何特征的方法是早期的人臉識(shí)別方法之一。常采用的幾何特征有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特征。臉型特征以及五官在臉上分布的幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)的一些先驗(yàn)知識(shí)。識(shí)別所采用的幾何特征是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，本質(zhì)上是特征矢量之間的匹配。1

基于幾何特征的人臉識(shí)別方法基于幾何特征的方法是早期的人臉識(shí)別方法之一。1基2

基于相關(guān)匹配的方法基于相關(guān)匹配的方法包括模板匹配法和等強(qiáng)度線方法。①模板匹配法：Poggio和Brunelli專門比較了基于幾何特征的人臉識(shí)別方法和基于模板匹配的人臉識(shí)別方法。②等強(qiáng)度線法：等強(qiáng)度線