人臉識別的特征提取概論

1、人臉人臉識別的特征提取概述識別的特征提取概述 12021/3/23 主要內(nèi)容 n1.人臉識別的意義。 n1. 特征提取在人臉識別中的重要性。 n2. 特征提取的各種方法簡單介紹。 22021/3/23 人臉識別是人體生物認(rèn)證技術(shù)的一人臉識別是人體生物認(rèn)證技術(shù)的一種種, 首先首先我們談?wù)勅梭w生物認(rèn)證技術(shù)我們談?wù)勅梭w生物認(rèn)證技術(shù) n人體生物的生物特征包括人體生物的生物特征包括生理特征生理特征和和行為行為 特征特征兩大類。兩大類。 人體的人體的生理特征生理特征主要包括人臉、指紋、掌主要包括人臉、指紋、掌 紋、掌形、虹膜、視網(wǎng)膜、靜脈、紋、掌形、虹膜、視網(wǎng)膜、靜脈、DNADNA、顱、顱 骨骨等等, ,

2、這些這些特征是與生俱來的特征是與生俱來的, ,是先天形成是先天形成 的的; ; 而而行為特征行為特征包括聲紋、簽名、步態(tài)、耳形、包括聲紋、簽名、步態(tài)、耳形、 按鍵節(jié)奏、身體氣味等按鍵節(jié)奏、身體氣味等, ,這些特征是由后天這些特征是由后天 的生活環(huán)境和生活習(xí)慣決定的。的生活環(huán)境和生活習(xí)慣決定的。 n這些生物特征本身固有的特點(diǎn)決定了其在這些生物特征本身固有的特點(diǎn)決定了其在 生物認(rèn)證中所起的作用是不同的生物認(rèn)證中所起的作用是不同的. . 32021/3/23 4 生物特征識別技術(shù)(Biometrics) 2021/3/23 5 為什么要做人臉識別? n多學(xué)科領(lǐng)域的挑戰(zhàn)性難題 n模式識別:最典型、最困

3、難的模式識別問題 n人工智能:人類智能的基本體現(xiàn) n計(jì)算機(jī)視覺:實(shí)現(xiàn)人眼的功能 n下一代人機(jī)交互 n讓計(jì)算機(jī)不再“熟視無睹” n讓計(jì)算機(jī)具有人類的情感 n廣泛的應(yīng)用前景 n人臉識別相比其他生物特征識別的優(yōu)勢 2021/3/23 人臉識別 人臉識別是一個(gè)活躍的研究領(lǐng)域,是人類 視覺最杰出的能力之一。雖然人臉識別 的準(zhǔn)確性要低于虹膜、指紋的識別,但由 于它的無侵害性和對用戶最自然、最直 觀的方式,使人臉識別成為最容易被接受 的生物特征識別方式。 62021/3/23 人臉識別的商業(yè)前景 nBill Gates: 以人類生物 特征進(jìn)行身份驗(yàn)證的 生物識別技術(shù),在今后 數(shù)年內(nèi)將成為IT產(chǎn)業(yè) 最為重要的

4、技術(shù)革命 72021/3/23 所謂人臉識別系統(tǒng),是指不需要人為干預(yù),能夠自動獲取人 臉圖像并且辨別出其身份的系統(tǒng) 一個(gè)人臉識別系統(tǒng)至少要包含三個(gè)部分,即數(shù)據(jù)采集子系 統(tǒng)、人臉檢測子系統(tǒng)和人臉識別子系統(tǒng) 數(shù)據(jù)采集 子系統(tǒng) 人臉識別 子系統(tǒng) 人臉檢測 子系統(tǒng) 人臉識別系統(tǒng) 識別結(jié)果： He is ! 82021/3/23 人臉檢測和人臉識別 (1)人臉檢測（Face Detection） 人臉檢測（Face Detection）是指在輸入圖像中確定所有人臉（如 果存在）的位置、大小、位姿的過程。人臉檢測是自動人臉識別 系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)。 (2)人臉識別 人臉識別細(xì)分為兩類,一類是回答我是誰的

5、問題,即辨認(rèn) （Identification）,另一類是回答這個(gè)人是我嗎?即確認(rèn) （Verification）。顯然,用于Identification模式的識別系統(tǒng)對算法 的運(yùn)算速度的要求要高于Verification模式的識別系統(tǒng)。 人臉檢測和人臉識別是人臉識別技術(shù)兩大理論。兩者 的研究相對獨(dú)立。 對于人臉識別理論中特征提取方面的算法研究非常重對于人臉識別理論中特征提取方面的算法研究非常重 要要,是人臉識別能否成功的關(guān)鍵是人臉識別能否成功的關(guān)鍵。 92021/3/23 問題的提出? 1. 特征提取是人臉識別中最基本的問題之 一。 2. 特征提取不但從原始模式信息中提取出 最有利于模式分類的特

6、征,而且極大地降 低模式樣本的維數(shù)。 3. 特征提取是模式識別的前期工作,處理的 是否得當(dāng)影響后期的成果,可謂“大軍未 動,糧草先行” 所以對于人臉識別,有效的特征提取是解 決問題的關(guān)鍵之一。 102021/3/23 特征提取在一個(gè)人臉識別系統(tǒng)中的地 位 人臉的 檢測與 定位 人臉圖 像處理 特征提 取 特征匹 配 身份判 決 結(jié)論結(jié)論:特征提取特征提取在一個(gè)實(shí)際的人臉識別系統(tǒng)中也是在一個(gè)實(shí)際的人臉識別系統(tǒng)中也是 至關(guān)重要的。至關(guān)重要的。 112021/3/23 特征提取的作用 n1.是尋找針對模式的最具鑒別性的描述,以使此 類模式的特征能最大程度地區(qū)別于彼類。 n2.是在適當(dāng)?shù)那闆r下實(shí)現(xiàn)模式

7、數(shù)據(jù)描述的維數(shù) 壓縮,當(dāng)描述模式的原始數(shù)據(jù)空間對應(yīng)較大維數(shù) 時(shí),這一點(diǎn)會非常有意義,甚至必不可缺。 122021/3/23 特征提取要解決的關(guān)鍵問題。 n1.在人臉識別中存在的高維、非線性、 小樣本問題。 n2. 如何有效地利用原圖像數(shù)據(jù)。 132021/3/23 人臉識別中特征提取的困難 n特征提取的主要困難 (1) 外貌、表情、膚色等的不同,使人臉具有模式可變性 (2) 光照條件變化的影響,曝光及外在光源等引起的圖像 亮度、對比度的不同 (3) 眼鏡、頭發(fā)、飾物和其它外部物體等引起面部圖像 的部分遮擋 (4)人臉與攝像頭之間的相對運(yùn)動引起人臉姿態(tài)的多樣性 (5)復(fù)雜背景對人臉目標(biāo)的干擾 1

8、42021/3/23 人臉識別特征提取的主要方法 n(l)基于幾何特征的方法和模板匹配方法 n(2)基于子空間分析的方法 n(3)基于小波理論的人臉識別方法 n(4)基于神經(jīng)網(wǎng)絡(luò)的方法 n(5)基于隱馬爾可夫模型的方法 n(6)基于支持向量機(jī)的方法 n(7)基于三維模型的方法 152021/3/23 1基于幾何特征的方法和模板匹配 方法 n1.1基于幾何特征基于幾何特征 (GcometricalFeature)的的 方法方法 思想思想: 提取人臉面部具有代表性的部位(例如 眉毛、眼睛、鼻子、嘴巴等)的相對位置和相 對大小作為特征,再輔以人臉輪廓的形狀信息 作為特征。 特點(diǎn)特點(diǎn): 容易受光照、表

9、情、遮擋等因素的影響, 穩(wěn)定性不高。 162021/3/23 1.2模板匹配方法 思想思想: 在人臉識別中,就是把數(shù)據(jù)庫的人臉 圖像看作己知的模板,然后根據(jù)待識別圖 像和己知模板間相關(guān)性的大小來分類 。 特點(diǎn)特點(diǎn): 模板匹配方法的計(jì)算量較大,而且除 了光照、表情以外,圖像的平移旋轉(zhuǎn)和放 縮也會嚴(yán)重影響模板匹配中互相關(guān)的計(jì) 算. 172021/3/23 1.3總結(jié) n1.基于幾何特征的方法和模板匹配方法 一般優(yōu)于基于幾何特征的方法,但兩者對 外在條件要求比較苛刻。 n2.一般作為其他方法的輔助方法。 182021/3/23 2 基于子空間分析的方法 2.1基于子空間分析的方法是特征提取的主流 方

10、法。已形成形成一系列的方法群,但大致分為 線性與非線性兩種。 基本基本思想思想: 把高維空間中松散分布的人臉圖像,通過 線性或非線性變換壓縮到一個(gè)低維的子空間中 去,使人臉圖像的分布在低維的子空間中更緊湊, 更有利于分類,另外也使高維的計(jì)算減小為低維 計(jì)算. 在一定程度上緩解了“維數(shù)災(zāi)難” 192021/3/23 2.2主要方法 線性子空間方法: 主元分析(PCA)、奇 異值分解(SVD)、線 性判別分析(LDA)、 獨(dú)立主元分析(ICA)、 和非負(fù)矩陣因子 (NMF)等 非線性子空間方法: 核主成分分析、核 Fishe:判別分析、流 形學(xué)習(xí)方法等。 202021/3/23 2.3總結(jié) 1.子

11、空間分析的方法具有計(jì)算代價(jià)小、 描述能力強(qiáng)、可分性好等特點(diǎn),現(xiàn)己經(jīng)成 為人臉識別的主流方法之一。每種子空 間方法都有優(yōu)缺點(diǎn),但從理論上和大多數(shù) 的實(shí)驗(yàn)結(jié)果來看,基于可分性準(zhǔn)則的線性 判別分析在人臉識別研究中具有一定的 優(yōu)越性。 2.非線性方法的研究成為熱門,如基于核 的非線性子空間方法,流形學(xué)習(xí)方法等。 212021/3/23 3.基于小波理論的人臉識別方 法 小波分析被稱為小波分析被稱為“數(shù)學(xué)顯微鏡數(shù)學(xué)顯微鏡”。 主要主要思想思想: 人臉圖像圖像即二維信號,對人臉圖像進(jìn) 行小波變換,采用低頻圖像來表示人臉不但可降 低圖像的維數(shù)而且使特征更為有效。小波的多 分辨率分析是圖像模式識別的有效工具,

12、它是我 們對圖像進(jìn)行低維表示的數(shù)學(xué)基礎(chǔ)。很容易將 一維小波推廣到二維乃至更高維數(shù)的情形。在 人臉識別中作用越來越明顯。 222021/3/23 4 .基于神經(jīng)網(wǎng)絡(luò)的方法 n4.1原理; 人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Network,ANN)是由大量簡單的處理單元 (神經(jīng)元)相互連接而構(gòu)成的網(wǎng)絡(luò)系統(tǒng),它 在自學(xué)習(xí)、自組織、聯(lián)想及容錯(cuò)方面具 有較強(qiáng)的能力, 而且在學(xué)習(xí)過程中有自動提取特征的能 力 。 232021/3/23 4.2一些具體方法 nGutta等提出了混合神經(jīng)網(wǎng)絡(luò)、Lawrence等通過一個(gè)多 級的SOM（自組織映射）實(shí)現(xiàn)樣本的聚類,將卷積神經(jīng) 網(wǎng)絡(luò)CNN用于人臉

13、識別、Lin等采用基于概率決策的神 經(jīng)網(wǎng)絡(luò)方法; nDemers等提出采用主元神經(jīng)網(wǎng)絡(luò)方法提取人臉圖像特 征,用自相關(guān)神經(jīng)網(wǎng)絡(luò)進(jìn)一步壓縮特征,最后采用一個(gè) MLP（多層感知器）來實(shí)現(xiàn)人臉識別。 nEr等采用PCA（主成分分析）進(jìn)行維數(shù)壓縮,再用LDA （線性判別分析）抽取特征,然后基于RBF進(jìn)行人臉識 別。 nHaddadnia等基于PZMI特征,并采用混合學(xué)習(xí)算法的 RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識別。 n神經(jīng)網(wǎng)絡(luò)的優(yōu)勢是通過學(xué)習(xí)的過程獲得對這些規(guī)律和 規(guī)則的隱性表達(dá),它的適應(yīng)性較強(qiáng)。 242021/3/23 4.3人工神經(jīng)網(wǎng)絡(luò)在特征提取的 應(yīng)用 應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉的特征提取和分 類器的設(shè)計(jì),有比

14、較成熟的人臉特征提取 方法主要有: n多主分量提取算法 n自適應(yīng)主分量神經(jīng)網(wǎng)絡(luò)提取算法 一些不足:神經(jīng)元數(shù)目多,訓(xùn)練時(shí)間長。 252021/3/23 5.基于隱馬爾可夫模型識別 5.1基本思想基本思想: 在人臉識別過程中,我們往往不是單獨(dú)的用人臉的五官這 些相對獨(dú)立的特征來進(jìn)行的,而是把人臉作為一個(gè)整體來 考慮.而隱馬爾可夫模型恰恰很好的描述了這個(gè)系統(tǒng). 262021/3/23 5.2基于HMM的優(yōu)點(diǎn)。 第一、允許人臉有豐富的表情變化、較大的頭部轉(zhuǎn)動等. 第二、較高的識別率. 第三、擴(kuò)容性好,增加新樣本不需要對所有的樣本進(jìn)行訓(xùn) 練,只需訓(xùn)練新樣本。 第四、大部分訓(xùn)練可以在建立數(shù)據(jù)庫時(shí)完成,因而

15、計(jì)算時(shí) 間也是可以接受的。 272021/3/23 6.基于支持向量機(jī)的方法 6.1概述概述: SVM建立了一套較好的有限樣本下機(jī)器學(xué)習(xí)的理論框架 和通用方法, 既有嚴(yán)格的理論基礎(chǔ), 同時(shí)在解決小樣本、 非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢。 已經(jīng)應(yīng)用于手寫體識別、三維目標(biāo)識別、人臉識別、文 本圖像分類等實(shí)際問題中,性能優(yōu)于已有的學(xué)習(xí)方法,表 現(xiàn)出良好的學(xué)習(xí)能力。從有限訓(xùn)練樣本得到的決策規(guī)則 對獨(dú)立的測試集仍能夠得到較小的誤差。 282021/3/23 7.基于三維模型的方法 n7.1概述 由于三維面貌經(jīng)過平面投影會丟失一部分重要信息,導(dǎo)致以二 維圖像為輸入的人臉識別方法比較脆弱,易

16、受光照、姿態(tài)、表情的 影響,所以人們試圖以人臉原本的三維信息建模,直接在三維條件 下進(jìn)行識別,以便較好地解決傳統(tǒng)方法面臨的“光照”和“姿態(tài)” 這兩個(gè)瓶頸問題. 三維數(shù)據(jù)的表示主要有三維網(wǎng)格圖像和深度圖像 兩種?？杀?免或減少噪聲及表情變化對于識別率的影響. 292021/3/23 7.2 方法實(shí)現(xiàn) n 該類方法一般先在圖 像上檢測出與通用模 型頂點(diǎn)對應(yīng)的特征點(diǎn), 然后根據(jù)特征點(diǎn)調(diào)節(jié) 通用模型,最后通過紋 理映射得到特定人臉 的3D模型。Tibbalds 基于結(jié)構(gòu)光源和立體 視覺理論,通過攝像機(jī) 獲取立體圖像,根據(jù)圖 像特征點(diǎn)之間匹配構(gòu) 造人臉的三維表面 302021/3/23 7.2三維模型的

17、一些不足 n在信息來源、海量存儲、計(jì)算復(fù)雜度及 實(shí)現(xiàn)手段等方面都存在一定的困難。 312021/3/23 特征提取其它方法 n目前對特征提取研究較多還有下列方法: n彈性圖匹配方法。彈性圖匹配方法。 n基于數(shù)據(jù)場方法?；跀?shù)據(jù)場方法。 nKL變換。變換。 n奇異值分解。奇異值分解。 n混合方法。混合方法。 322021/3/23 人臉識別的總結(jié)和展望 n人臉自動識別技術(shù)已取得了巨大的成就,隨著科技的發(fā)展,在實(shí)際應(yīng)用中仍然面臨困 難,不僅要達(dá)到準(zhǔn)確、快速的檢測并分割出人臉部分,而且要有效的變化補(bǔ)償、特征 描述、準(zhǔn)確的分類的效果,還需要注重和提高以下幾個(gè)方面: n (1) 人臉的局部和整體信息的相互結(jié)合能有效地描述人臉的特征,基于混合模型 的方法值得進(jìn)一步深入研究,以便能準(zhǔn)確描述復(fù)雜的人臉模式布。 n (2) 多特征融合和多分類器融合的方法也是改善識別性能的一個(gè)手段。 n (3) 由于人臉為非剛體性,人臉之間的相似性以及各種變化因