超全的最新的人臉識(shí)別特征點(diǎn)定位方法

1、1.2 人臉特征點(diǎn)定位方法綜述目前為止，國(guó)內(nèi)外學(xué)者們已經(jīng)提出了人臉特征點(diǎn)定位的方法 3，依據(jù)定位所 需要的基本信息的類型，人臉特征點(diǎn)定位的方法可以大致分為以下六類：(1)灰度信息的方法； (2)先驗(yàn)規(guī)則的方法； (3)幾何形狀的方法； (4)統(tǒng)計(jì)模型的方法； (5)小波的方法； (6)3D 方法。1.2.1 基于灰度信息的方法幾何投影法： 幾何投影方法是利用人臉特征灰度與其他部分的差異， 先統(tǒng)計(jì) 出不同方向上的灰度值和， 根據(jù)和的變化找出特定的變化點(diǎn)， 然后利用投影灰度 值基于統(tǒng)計(jì)的方法將不同方向上的變化點(diǎn)位置相結(jié)合，找到人臉特征點(diǎn)的位置。 投影的方法計(jì)算量較低，但當(dāng)姿態(tài)變化較大或者背景較復(fù)雜

2、時(shí)容易失效。谷分析：圖像中亮度比周圍像點(diǎn)暗的區(qū)域就稱作谷，通過(guò)亮度比較的方法， 就可以對(duì)人臉的各個(gè)關(guān)鍵部位如眼睛、 眉毛、 鼻子、嘴巴等相對(duì)較暗的區(qū)域進(jìn)行 定位。雖然其受光照影響比較大， 但考慮到計(jì)算量低的優(yōu)勢(shì)也在定位方法中常見。1.2.1 先驗(yàn)規(guī)則的方法根據(jù)人臉特征的一般特點(diǎn)總結(jié)出一些經(jīng)驗(yàn)規(guī)則就稱作基于先驗(yàn)規(guī)則的方法。 人臉圖像有一些明顯的基本特征，比如人臉的長(zhǎng)度比例，滿足“三庭五眼” ，臉 部區(qū)域的雙眼、 鼻子和嘴巴等臉部特征處的亮度一般低于其周邊區(qū)域； 兩眼間的 對(duì)稱以及眼睛與鼻子的三角分布規(guī)律， 都是人臉識(shí)別的重要根據(jù)。 此方法雖然簡(jiǎn) 單，但是遠(yuǎn)遠(yuǎn)不能滿足復(fù)雜的人臉結(jié)構(gòu)的正確定位， 于

3、是該方法一般只用于粗定 位，精定位還要結(jié)合其他的方法來(lái)實(shí)現(xiàn)。鑲嵌圖法： 我們可以用一組相同大小的方格去劃分圖像， 每個(gè)方格的灰度取 格中各像素灰度的均值， 根據(jù)一定的規(guī)則確定哪些可能是人臉的方格區(qū)域， 將確 定的可能存在人臉的方格的變長(zhǎng)減半， 重新構(gòu)建鑲嵌圖， 重復(fù)第一步的工作， 找 到眼睛，鼻子， 嘴巴等臉部特征所在的位置， 然后對(duì)這兩次得到的臉部區(qū)域二值 化，利用邊緣檢測(cè)最終精確定位各個(gè)特征的位置。二值化定位： 得到圖像的直方圖， 選擇合適的閥值將圖像二值化， 二值化后 區(qū)域的相對(duì)位置和面積形狀等幾何信息就可以用來(lái)確定瞳孔的位置， 再通過(guò)眼睛 與其他特征點(diǎn)的位置關(guān)系和幾何關(guān)系等對(duì)其他的人臉

4、特征點(diǎn)進(jìn)行定位。 顯然該方 法受光照和圖像質(zhì)量等的影響較大。廣義對(duì)稱法：顯然，在人臉圖像中，眼睛眼、眉毛、鼻子等都具有較強(qiáng)的點(diǎn) 對(duì)稱性。為我們通過(guò)定義廣義對(duì)稱變換來(lái)描述點(diǎn)對(duì)稱性， 通過(guò)考察人眼中心點(diǎn)的 強(qiáng)對(duì)稱性和臉部特征的幾何分布來(lái)對(duì)人臉的特征點(diǎn)進(jìn)行定位， 該方法僅僅利用了 各點(diǎn)的對(duì)稱性，計(jì)算量很大，而且也會(huì)因?yàn)楣庹毡砬榈扔绊懏a(chǎn)生大量的候選點(diǎn)， 大大影響到定位精度。1.2.3 基于幾何形狀的方法Shake 算法：該方法利用一條由幾個(gè)控制點(diǎn)組成的閉合曲線， 再利用一個(gè)進(jìn) 行匹配的能量函數(shù)來(lái)作為評(píng)價(jià)標(biāo)準(zhǔn)， 當(dāng)不斷迭代最后使得能量函數(shù)最小化時(shí)就定 位到人臉特征點(diǎn)。Sn ake是主動(dòng)的，總是最小化能量

5、函數(shù)，因此表現(xiàn)出一種動(dòng)態(tài) 特性。但是由于人臉的多樣性和復(fù)雜性以及圖像中的噪聲等復(fù)雜因素的影響， 在 使用剛性模型分割人臉輪廓時(shí)遇到了很大的困難。另外，Sn ake模型也沒有利用關(guān)于對(duì)象的知識(shí)，所以過(guò)于靈活，很難做到精確的特征點(diǎn)提取?？勺冃文０宸椒ǎ?把眼睛特征為有兩條拋物線 （上下眼瞼）和一個(gè)圓（虹膜） 構(gòu)成的幾何圖形， 通過(guò)優(yōu)化的方法來(lái)調(diào)整其參數(shù)以達(dá)到最佳的匹配， 嘴巴、下巴 等也可以采用類似的幾何圖形建模。 但是，固定的幾何圖形并不能很好地建模實(shí) 際上會(huì)千差萬(wàn)別的眼睛形狀， 而光照、姿態(tài)和表情的變化更使得采用這種固定的 簡(jiǎn)單數(shù)學(xué)模型難以適應(yīng)這些復(fù)雜的變化， 因此很難實(shí)現(xiàn)魯棒的特征提取。 優(yōu)

6、化速 度慢、容易陷入局部極小也阻止了該算法的進(jìn)一步發(fā)展。基于點(diǎn)分布模型算法 :ASM 和 AAM 都是基于點(diǎn)分布模型 （Point Distribution Model，PDM ）的算法在PDM中，外形相似的特定類別物體，比如人臉、人手 的形狀通過(guò)若干關(guān)鍵的特征點(diǎn)的坐標(biāo)串接成原始形狀向量。 對(duì)訓(xùn)練集中的所有形 狀向量進(jìn)行對(duì)齊操作后，對(duì)它們進(jìn)行 PCA 分析建模，保留的主成分形成最終的 形狀模型，形狀模型的參數(shù)反映了形狀的主要可變化模式， ASM 搜索則首先通 過(guò)局部紋理模型匹配得到各個(gè)特征點(diǎn)的更佳的位置， 經(jīng)過(guò)相似變換對(duì)齊后， 通過(guò) 統(tǒng)計(jì)形狀模型對(duì)其進(jìn)行約束， 而后再進(jìn)行局部紋理模型的匹配，

7、形成一個(gè)迭代過(guò) 程，以期形狀模型最終匹配到輸入的形狀模式上去。在 ASM 中，僅使用了特證 點(diǎn)局部紋理特證作為啟發(fā)式信息，沒有使用全局的紋理約束，實(shí)踐中發(fā)現(xiàn) ASM 很容易陷入局部極小。而在 AAM 中，則采用了形狀和紋理二者融合的統(tǒng)計(jì)約束，即所謂的統(tǒng)計(jì)表 觀模型。 AAM 搜索借鑒了基于合成的分析技術(shù)的思想，通過(guò)模型參數(shù)的優(yōu)化調(diào) 整使得模型能夠不斷逼近實(shí)際輸入模式，模型參數(shù)的更新則放棄了 ASM 中的局 部紋理搜索過(guò)程，僅使用一個(gè)線性預(yù)測(cè)模型根據(jù)當(dāng)前模型和輸入模式之間的差別 來(lái)預(yù)測(cè)和更新模型參數(shù)。 AAM 盡管利用了全局紋理，但卻拋棄了局部紋理匹配 過(guò)程，因此會(huì)在一定程度上降低關(guān)鍵特證點(diǎn)配準(zhǔn)

8、的精度， 而且其線性預(yù)測(cè)模型也 有較大的局限性，在初始位置偏離目標(biāo)位置過(guò)大時(shí)，則很難收斂到正確位置。1.2.4 基于統(tǒng)計(jì)模型的方法膚色唇色分割法 :該方法是使用統(tǒng)計(jì)方法建立起人臉特征的色彩模型，定位 時(shí)遍歷候選區(qū)域，根據(jù)被測(cè)點(diǎn)的色彩與模型的匹配度篩選出候選的人臉特征點(diǎn)。 該方法主要是對(duì)人臉面部特征的色彩信息進(jìn)行研究，構(gòu)造人臉特征的色彩模型， 利用人臉膚色的色彩信息進(jìn)行特征點(diǎn)定位。 基于色彩信息實(shí)現(xiàn)簡(jiǎn)單， 但容易受環(huán) 境的影響，定位的可靠性不高。特征臉法 :該方法利用 K-L 變換將表征人臉的高維向量映射到由若干個(gè)特征 向量(也稱 Eigenface 特征臉)張成的子空間中，先用主成分分析模型重

9、構(gòu)被檢 區(qū)域，求出重構(gòu)圖與原圖之間的距離， 當(dāng)距離小于一定閾值時(shí)， 即被認(rèn)定為候選 區(qū)域。該方法的缺點(diǎn)是針對(duì)不同臉型要分別建模， 搜索時(shí)采用金字塔策略， 算法 復(fù)雜度高。另外，主成分分析著重優(yōu)化和解析圖像， 而沒有著重于特征點(diǎn)的定位。支持向量機(jī) :支持向量機(jī)( Support Vector Machines，SVM )是 Vapnik 等提出 的基于風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)理論， 用于分類與回歸問(wèn)題。 將 SVM 方法用 于臉部特征檢測(cè)， 使用了方形掃描窗口， 將眉毛與眼睛作為一個(gè)整體作為定位的 對(duì)象，從而減少了眉毛對(duì)定位的干擾。 Jefrey Huang 則采用該方法來(lái)檢測(cè)眼睛。 但是由于訓(xùn)

10、練需要求解計(jì)算復(fù)雜度極高的二次規(guī)劃問(wèn)題， 內(nèi)存需求量大， 其次是 訓(xùn)練樣本個(gè)數(shù)較大時(shí)，會(huì)得到大量的支持向量，使分類器計(jì)算量過(guò)高。模板匹配法 :模板匹配法是較早用于面部特征點(diǎn)定位的方法之一，也是使用 范圍較廣的一種。 這是由于模板匹配法具有比較直觀、 易于構(gòu)造等優(yōu)點(diǎn)。 在對(duì)圖 像進(jìn)行預(yù)處理的基礎(chǔ)上產(chǎn)生特征的候選區(qū)域， 之后通過(guò)一個(gè)具有幾何約束 （五官 模板的相關(guān)量）的模板對(duì)特征加以定位。 Sako 等人采用彩色直方圖方法分割臉 部區(qū)域和嘴唇區(qū)域， 并根據(jù)眼睛的結(jié)構(gòu)和灰度信息特點(diǎn)預(yù)先構(gòu)造了眼睛模板， 利 用此模板進(jìn)行搜索以確定眼睛的位置匹配的過(guò)程是利用事先建立的面部特征的 模板在候選窗口逐點(diǎn)滑動(dòng)進(jìn)

11、行特征匹配定位。 模板匹配需要考慮面部特征的尺寸 縮放、方向旋轉(zhuǎn)等變化， 所以計(jì)算量很大， 并且由于光照的不均勻變化往往引起 模板匹配的失敗，所以基于模板匹配的人臉檢測(cè)方法較適合于人臉尺寸、方向、 光照等有一定的約束條件或者先前已確定的情況。 該方法雖然速度較慢， 但正確 率較高。人工神經(jīng)網(wǎng)絡(luò) :人工神經(jīng)網(wǎng)絡(luò)（ ANN ）在模式識(shí)別中有著廣泛的應(yīng)用，特別 適合研究非線性問(wèn)題。 完整的人臉圖像受個(gè)體差異、 眼睛狀態(tài)和目標(biāo)對(duì)象姿態(tài)等 變化的影響較大， 而子特征點(diǎn) （包括左右眼角和上下眼眶頂點(diǎn)） 附近區(qū)域相對(duì)穩(wěn) 定，根據(jù)這一特點(diǎn)， Waite 等以各子特征點(diǎn)附近的灰度圖像為輸入，分別建立神 經(jīng)網(wǎng)絡(luò)。

12、檢測(cè)時(shí)， 先用各個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域進(jìn)行遍歷搜索， 再結(jié)合先驗(yàn)知識(shí) 對(duì)搜索結(jié)果進(jìn)行篩選和結(jié)合。 這個(gè)算法訓(xùn)練過(guò)程比較簡(jiǎn)單， 有較強(qiáng)的魯棒性。 但 缺點(diǎn)是區(qū)分度不足。貝葉斯概率網(wǎng)絡(luò)方法 :Kin 和 Cipolla 使用一個(gè) 3 層的概率網(wǎng)絡(luò)來(lái)對(duì)臉型 建模，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 1。他們?cè)谒阉髦胁捎昧俗缘紫蛏系乃阉鞑呗?，結(jié)合使用 高斯濾波器和邊緣檢測(cè)算法找出雙眉、鼻和嘴的候選點(diǎn)（對(duì)應(yīng)于網(wǎng)絡(luò)中的第 1 層），據(jù)鄰近候選點(diǎn)之間的相對(duì)關(guān)系兩兩配對(duì)為水平或垂直組合（對(duì)應(yīng)于網(wǎng)絡(luò)中 的第 2 層），并進(jìn)一步歸入臉部的上、下、左、右 4 個(gè)區(qū)域（對(duì)應(yīng)于網(wǎng)絡(luò)中的第 3 層），從而篩去虛警點(diǎn)。1.2.5 基于小波的方法

13、彈性圖匹配法 :該方法是面部關(guān)鍵特證定位的另一個(gè)重要算法，該方法將人臉面部關(guān)鍵特證點(diǎn)的屬性及其他們之間的位置關(guān)系通過(guò)一個(gè)屬性圖進(jìn)行描述， 圖的頂點(diǎn)對(duì)關(guān)鍵特征點(diǎn)的局部紋理建模（通過(guò) Gabor 特征），圖的邊則反映了特征 點(diǎn)之間的距離等位置關(guān)系。 對(duì)新輸入的圖像， 其特征點(diǎn)則通過(guò)基于相位預(yù)測(cè)的位 移估計(jì)結(jié)合圖匹配技術(shù)來(lái)定位。通過(guò)屬性圖的形變，一方面匹配頂點(diǎn)處的 Gabor 局部特征， 另一方面匹配全局幾何結(jié)構(gòu)特征。 盡管彈性圖匹配可以達(dá)到較高的定 位精度，但速度較慢。DWN （Gabor小波網(wǎng)絡(luò)）：Kr tger等將Gabor小波引入圖像處理領(lǐng)域，使用 一組同源派生的 Gabor 小波函數(shù)取代

14、RBF 神經(jīng)網(wǎng)絡(luò)的基函數(shù)，通過(guò)訓(xùn)練，可以 將目標(biāo)圖像分解為若干個(gè)小波函數(shù)的線性組合。 GWN 的訓(xùn)練中同時(shí)對(duì)相關(guān)權(quán)值 和小波函數(shù)本身的參數(shù)作優(yōu)化， 這使得 GWN 模型可以用很小數(shù)量的小波函數(shù)實(shí) 現(xiàn)對(duì)目標(biāo)對(duì)象的解析和重構(gòu)。 Feris 使用兩層的 GWN 樹模型來(lái)定位臉部特征， 兩層 GWN 分別用于表征全臉和各個(gè)臉部特征。 在訓(xùn)練中， 他們?yōu)槊糠?xùn)練圖建 立一個(gè) GWN 樹模型，并標(biāo)定出各臉部特征的位置，存入人臉庫(kù)中。實(shí)際搜索的 時(shí)候，他們首先通過(guò)全臉比對(duì)從庫(kù)中找出與目標(biāo)圖像最接近的一個(gè)模型， 然后以 該模型的標(biāo)定位置為搜索起點(diǎn)， 在小范圍內(nèi)， 通過(guò)與該模型中相應(yīng)的臉部特征信 息的比對(duì)求出臉

15、部特征的精確位置。1.2.6 3D 方法光流向量化技術(shù) ：光流指的是灰度值圖案在整個(gè)圖像范圍內(nèi)的運(yùn)動(dòng)。首先， 在每個(gè)點(diǎn)對(duì)各自的灰度值計(jì)算位移向量； 然后計(jì)算一個(gè)連續(xù)的向量場(chǎng)， 該向量場(chǎng) 能充分地再現(xiàn)光流。 兩個(gè)步驟的執(zhí)行都需要某些限制性假設(shè)， 而結(jié)果也做不到完 全無(wú)誤差。然而，可以獲得重要的時(shí)域信息， 無(wú)論是由有利位置產(chǎn)生的連續(xù)變化， 還是單個(gè)物體的不連續(xù)變化。 因?yàn)樽兓倪B續(xù)與否并不重要。 無(wú)論怎樣都應(yīng)該清 楚，孤立地考慮單幅圖像是沒有意義的。 檢測(cè)對(duì)象必須是至少包括兩幅連續(xù)圖像 的圖像序列。采用光流迭代的方法建立輸入人臉與參考人臉之間的稠密的像素級(jí)對(duì)應(yīng)關(guān) 系；Beymer等人提出的基于光流的向量化技術(shù)，是計(jì)算不同人臉圖像之間的密 集對(duì)應(yīng)的一個(gè)典型算法。在此方法中， 2D 的形狀由測(cè)試圖像和參考圖像之間的 光流域來(lái)描述。由于此算法很大精度的限制，因此在實(shí)際應(yīng)用中很難精確求解。 也存在計(jì)算復(fù)雜、計(jì)算速度慢的問(wèn)題。3D 形變模型 ：迄今為止，最成功的姿態(tài)和光照不變的人臉識(shí)別是 3D 變形模 型方法。該方法通過(guò)主成分分析對(duì)人臉的 3D 形狀和紋理