發(fā)明專利案例-人臉識別方法

1、說明書一種人臉比對方法技術(shù)領(lǐng)域本發(fā)明涉及生物特征識別技術(shù)領(lǐng)域，尤其涉及一種人臉比對的方法。背景技術(shù)人臉是人的重要信息，是區(qū)分不同的人的重要依據(jù)，因此人臉比對是較指紋、虹膜等 技術(shù)更自然、更直接的比對方式。人臉比對是將圖像或視頻輸入的人臉通過提取特定的人臉特征信息，與數(shù)據(jù)庫中已注 冊的人臉特征信息相比較，獲得匹配的人臉極其相似度，確認是否與數(shù)據(jù)庫中人臉為同一。人臉比對在很多場合下都具有非常重要的作用，例如手機彩信中的視頻彩信、人機界 面、權(quán)限控制、智能監(jiān)視系統(tǒng)等。比對的準確性、精度和魯棒性問題一直是業(yè)界關(guān)心的主 要問題。另外，在人臉比對中，如果當(dāng)前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫中已注冊人臉相比對，

2、 也會得出匹配的結(jié)果，這將導(dǎo)致識別的客體并不是真實的人臉，導(dǎo)致無權(quán)限的人得到權(quán)限。 因此，判斷當(dāng)前輸入為真實的人的臉還是靜態(tài)的照片非常重要，而現(xiàn)有技術(shù)還無法解決。因此，業(yè)界急需一種能夠確保輸入真實、具有較高準確性與魯棒性的人臉比對技術(shù)。發(fā)明內(nèi)容為彌補現(xiàn)有技術(shù)的不足，本發(fā)明目的是提供一種人臉比對方法，解決人臉表情變化和 姿態(tài)變化的影響，提高比對的準確性、精度和魯棒性，保障比對的真實性。為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：一種人臉比對方法，包含：人臉比對方法，其特征在于，包含：步驟601,人臉跟蹤，獲取特征點；步驟603,提取詳細的人臉特征數(shù)據(jù)；步驟605人臉比對，將該人臉特征數(shù)據(jù)與人臉數(shù)據(jù)庫

3、中的每一個人臉的特征數(shù)據(jù)進行 比對，獲得其相似性；具體方法為：(1) 選取數(shù)據(jù)庫中的一個人臉k的特征模板庫G Gj , k 0,K ;(2) 對特征模板Gj J G, j 0,M ,計算輸入人臉的特征Ji與J：之間的相 似度Sji ;(3) 計算輸入人臉與特征模板Gj的相似度Skj Skji ; N i J(4) 計算輸入人臉與人臉k的相似度為Sk max Skj ;(5) 重復(fù)步驟(1) - (4),獲得輸入人臉與數(shù)據(jù)庫中所有 K個人臉的相似度，取其中最大者Smax max Sk ,得到其對應(yīng)的人臉k' k其中，M為人的特征模板個數(shù)，N為選取的人的人臉特征點個數(shù)，i為人臉特征。步驟6

4、07,判斷是否已找到匹配的人臉；為相似度閾值，若Smax ,則判斷輸入人臉與數(shù)據(jù)庫中的人臉k'相匹配；步驟608,判斷表情是否有顯著變化；根據(jù)連續(xù)多幀人臉特征點進行分析，包括但不限于：嘴巴的張開與閉合，眼睛的張開與閉合，判斷人臉的表情是否發(fā)生了顯著的變化；在人臉表情有顯著變化時，執(zhí)行步驟 609,輸出比中的人臉。其中，該步驟603提取詳細的人臉特征數(shù)據(jù)的具體方法為：根據(jù)步驟601人臉檢測跟蹤得到的精確的人臉特征點位置，插值獲得其他選取的人臉特征點的位置；根據(jù)雙眼位置對圖像進行歸一化處理；計算得到人臉特征點i的Gabor特征JI,所有特征點的Gabor特征即組成一個人臉特征數(shù)據(jù)Gj J&

5、#39;i , i 1,2,., N , N為選取的人臉特征點個數(shù)。其中，該人臉特征點為人臉上的顯著特征點，人臉特征點的特征選取所有80個Gabor復(fù)系數(shù)，表達完整的人臉信息，完整表達不同人臉之間的差異性。其中，該步驟601人臉跟蹤，獲取特征點所選取的人臉特征為人臉的共同性的特征。進一步的，該人臉比對方法還包含步驟 604人臉注冊；保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù) 庫；具體方法為：將步驟603獲得的詳細人臉特征數(shù)據(jù)加入此人的人臉特征模板庫G Gj , j 0,M ,M為此人的特征模板個數(shù)，保存至數(shù)據(jù)庫。其中，該步驟601人臉跟蹤，獲取特征點的具體包含離線訓(xùn)練方法和在線跟蹤方法；該離線訓(xùn)練方法包含多層

6、結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點的離線模板訓(xùn)練方法；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方法 為該在線跟蹤方法提供人臉特征點離線模板;該多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟：步驟301,選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟302,對人臉圖像的特征點進行標記；步驟3031-3061 ,得到基準形狀模型；步驟3032-3062,得到全局形狀模型；步驟3033-3063,得到局部形狀模型。其中，該基準形狀模型、該全局形狀模型與該局部形狀模型的獲得方法為:用s表示一個人臉形狀向量：s s Pb其中，s為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉

7、形狀向量s表示為(sr,sg,sl)T ,其中sr、至和sl分別表示基準特征點、全局特 征點和局部特征點；剛性基準形狀的點分布模型srsR PRbR全局基準形狀的點分布模型sGsG PGbG局部形狀模型的點分布模型sGi,LisGi,LiPGi,LibGi,Li第i個局部形狀向量為sGi,LisGi，su,其中sGi , sLi分別表示屬于第i個局部形狀的全局和局部特征點。其中，該人臉特征點的表達方法為:給定灰度圖像r. z 、x(x,y)，一系列Jj(X)其中Gabor核j(X)I(x)中的一個像素x (x, y),其附近的局部圖像I(X')中的像素為Gabor系數(shù)J j(x)可表達

8、該點附近的局部外觀，定義為:I (x') j(x x')d2x'j為高斯包絡(luò)函數(shù)限定的平面波，I 2. 2 22kjkj x2- exp exp(ikjx) exp( ) 22kjkjxkjykv cos kv sinkv2 2其中，kv為頻率， 為方向，kj為特征小波矢量，kjx為特征小波x方向矢量，kjy為 特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選v 0，1，9,0，1，7, j8 i,且頻率波寬設(shè)為 2 ;Gabor核由10個頻率、8個方向組成80個Gabor復(fù)系數(shù)，用以表達像素點附近的外觀特征，用一個jet向量J Jj表示這些系數(shù)，Jj j exp( i j),

9、j 0,1，,79其中，j和j分別為第j個Gabor系數(shù)的幅值和相位；對80個Gabor復(fù)系數(shù)進行實驗篩選，得到該人臉特征點表達所用的小波特征其中，該人臉特征點的離線模板訓(xùn)練方法如下：步驟401,選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本;步驟402,對人臉圖像的特征點進行標記；步驟403,對圖像進行歸一化處理；步驟404,計算所有樣本的Gabor特征；步驟405,獲得各樣本Gabor特征之間的相似度；S (J,J')j j 'j CoS( j、j 2'j dkj) '2其中，J和J'為Gabor特征'j和'j分別為Gabor系數(shù)的幅值和相位，；

10、d為J和J'之間的相對位移;d d(J,J')yyyx xyxx yy xy yxxyxxy如果 xx yyxy yx 0 ,其中j j 'jkjx( j 'j)，xyj j 'j kjxkjy ,y xxyx和yy類似地進行定義;對每個特征點，計算N個Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值St時即認為兩者相似，St可通過實驗選取，選??；步驟406,計算各樣本Gabor特征的相似特征數(shù)n；步驟407,選擇n最大的樣本Gabor特征;步驟408,判斷n是否大于nT；若步驟 408的判斷結(jié)果為否，則執(zhí)行步驟411， 處理下一特征點，然后返回步驟4

11、04繼續(xù)執(zhí)行；若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409,將Gabor特征加入離線模板；對每一個 Gabor特征，設(shè)有 仆個與其相似的Gabor特征，將n值最大且大于閾值 m的Gabor特征加 入樣本特征集J； , 5也通過實驗選取，選取 5 =2；步驟410,將該Gabor#征從樣本中刪除，同時將與其相似度大于閾值 S/的Gabor#征從Ji中刪除，3大于St,選?。环祷夭襟E405，對步驟405-409作迭代計算；對Ji 重復(fù)上述過程，直到選不出樣本為止；最終的樣本特征集J'i 即為該人臉特征點的特征樣本，作為人臉特征的離線模板提供給該在線跟蹤方法使用。其中，該在線跟蹤方法包含：步

12、驟 501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，跟蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像轉(zhuǎn)換成標準尺寸的圖像；步驟504，判斷是否重新檢測；若步驟504的判斷結(jié)果為是，則執(zhí)行步驟505,利用基準形狀模型，基于ASMI犬約束，對齊基準特征點；步驟506,利用全局形狀模型，基于 AShM狀約束，對齊全局特征點；步驟507,利用局部形狀模型，基于 AShM狀約束，對齊局部特征點；步驟508， 更新在線特征模板，根據(jù)得到的臉部特征點的位置更新其小波特征作為該人臉的在線特征模板；步驟515，估計人臉姿態(tài)，根據(jù)六個基礎(chǔ)點的位置估計人臉的姿

13、態(tài)；返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟502至步驟508以及步驟515并執(zhí)行步驟516，輸出人臉特征點及人臉姿態(tài)信息；若步驟 504 的判斷結(jié)果若為否，則執(zhí)行步驟509，基于在線特征模板更新眼角點；然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點；然后執(zhí)行步驟511，更新其他特征點；然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀；然后執(zhí)行步驟513，基于形狀約束更新全局特征點；然后執(zhí)行步驟514，基于形狀約束更新局部特征點；然后返回步驟508，繼續(xù)執(zhí)行在線跟蹤方法步驟509 至步驟514。本發(fā)明的有益效果是：1. 本發(fā)明選取人臉上的顯著特征點作為比對依據(jù)，人臉特征點的特征從

14、所有80 個Gabor復(fù)系數(shù)中選取，表達了完整的人臉信息，使不同人臉之間的差異最大化，人臉比對的準確性和魯棒性較好。2. 使用本發(fā)明的人臉比對方法，消除了人臉表情、姿態(tài)的影響，在比對中判斷出了人臉的真實性，使得跟蹤和比對準確性、精度和魯棒性更高。3. 使用本發(fā)明，能夠判斷當(dāng)前輸入為真實的人臉還是靜態(tài)的照片。附圖說明下面結(jié)合附圖，通過對本發(fā)明的具體實施方式的詳細描述，將使本發(fā)明的技術(shù)方案及其他有益效果顯而易見。圖 1 為本發(fā)明人臉跟蹤方法的組成框架圖；圖 2 為本發(fā)明的人臉特征點示意圖；圖 3 為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法的流程圖；圖 4 為本發(fā)明人臉特征點的離線模板訓(xùn)練方法流程圖；圖 5

15、為本發(fā)明人臉跟蹤方法的流程圖；圖 6 為本發(fā)明人臉比對方法的流程圖。具體實施方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面進一步闡述本發(fā)明。本發(fā)明人臉比對方法主要包括兩個部分，一是訓(xùn)練部分，即注冊部分，一是比對部分。無論是訓(xùn)練部分，還是比對部分，都需先對人臉特征進行檢測、跟蹤，從而得到精確的人臉特征點的位置。1-圖 5示出了人臉檢測跟蹤、獲取特征點的具體方法。下面詳細說明：圖 1 表示了本發(fā)明跟蹤方法的組成框架。本發(fā)明人臉跟蹤方法包含離線訓(xùn)練方法102和在線跟蹤方法101 兩部分。離線訓(xùn)練方法102 包含：多層結(jié)構(gòu)人臉模型訓(xùn)練方法1021 和人臉特征點的離線模板訓(xùn)練

16、方法1022；前者為在線跟蹤方法101 提供人臉模型103，后者為人臉跟蹤方法101 提供人臉特征點離線模板104。圖 2 為本發(fā)明人臉特征點示意圖。圖3 為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法的流程圖。下面結(jié)合圖2 與圖 3 詳細說明本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法。人的面部特征具有很大的相似性，這些特征點的相對運動表達了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特征點，用人臉特征點集的統(tǒng)計關(guān)系表示人臉模型，即可以構(gòu)建出一個點分布模型（PDM來表達人臉的可能的形狀變化。本發(fā)明基于ASMJ原理，從一系列人臉圖像訓(xùn)練得到多層結(jié)構(gòu)人臉模型。多層結(jié)構(gòu)人臉模型訓(xùn)練方法首先執(zhí)行步驟301， 選取適當(dāng)?shù)娜四槇D像作為

17、訓(xùn)練樣本。然后執(zhí)行步驟302，對人臉圖像的特征點進行標記。然后執(zhí)行步驟3031-3061 ，得到基準形狀模型。具體為：步驟3031，基于剛性基準點組成形狀向量，來表示基準特征點的位置；然后執(zhí)行步驟3041，根據(jù)Procrustes 變換對齊所有形狀向量到一個統(tǒng)一的坐標框架下；然后執(zhí)行步驟 3051,由PCAf法獲得形狀約束參數(shù)，步驟3061，得到基準形狀模型。執(zhí)行步驟3032-3062，得到全局形狀模型。具體為：步驟3032，基于全局基準點組成形狀向量，來表示全局特征點的位置；然后執(zhí)行步驟3042，根據(jù)Procrustes 變換對齊所有形狀向量到一個統(tǒng)一的坐標框架下；然后執(zhí)行步驟 3052,由

18、PCA&法獲得形狀約束參數(shù)，步驟3062,得到全局形狀模型。執(zhí)行步驟3033-3063，得到局部形狀模型。具體為：步驟3033，基于局部基準點組成形狀向量，來表示局部特征點的位置；然后執(zhí)行步驟3043，根據(jù)Procrustes 變換對齊所有形狀向量到一個統(tǒng)一的坐標框架下；然后執(zhí)行步驟 3053,由PCA&法獲得形狀約束參數(shù)，步驟3063,得到局部形狀模型。步驟 3031-3061 、步驟 3032-3062 和步驟 3033-3063 的計算方法具體為：用向量 s 表示一個人臉形狀：(i)s Pb其中，s為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量?，F(xiàn)有的AS

19、M方法通過迭代過程搜索人臉形狀，迭代中所有的特征點位置同時更新，也 就是說特征點之間的相互影響是簡單的平行關(guān)系。鑒于人臉的復(fù)雜結(jié)構(gòu)，以及表情豐富的 特點，這種簡單的平行機制并不足以描述特征點之間的相互關(guān)系。例如，假設(shè)眼角位置固 定，則眼睛的開閉并不能影響口、鼻的特征點定位。本發(fā)明將人臉特征點組織為多個層次，以更好地適應(yīng)頭部運動、表情變化等對特征點 位置的不同影響，我們稱為多層結(jié)構(gòu)人臉模型。第一類為基準特征點，基本只受頭部姿態(tài) 的影響，如眼角、鼻端等。第二類為全局特征點，用來約束整個人臉的全局形狀，包括基 準特征點和其他關(guān)鍵點、如嘴角、眉端等。第三類為局部特征點，只用來約束人臉各組成 部分如眼、

20、嘴、眉的細部特征，位于其輪廓邊界上，如上下嘴唇的輪廓點，上下眼瞼等， 主要受表情變化影響?；诖耍景l(fā)明構(gòu)建的多層結(jié)構(gòu)人臉模型說明如下：如上所述，人臉形狀向量s可表示為（Sr ,Sg，Sl ）T ,其中SR、Sg和sL分別表示基準特 征點、全局特征點和局部特征點。基于此，人臉形狀模型可分為剛性基準形狀、全局基準 形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。對于剛性基準形狀和全 局基準形狀，其點分布模型（PDM可以從訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到如下，Sr Sr P3r（2）SG SG PGbG（ 3）對于局部形狀模型，第i個局部形狀向量為SGi,Li %，4,其中SGi , SLi分別表示屬于

21、第i個局部形狀的全局和局部特征點。亦有，SGi,Li SGi,LiPGi,LibGi,Li（4）以上（2）、（3）、（4）三式即構(gòu)成了本發(fā)明的多層結(jié)構(gòu)人臉模型。其中各參數(shù)均基于ASM的原理通過訓(xùn)練得到。圖2顯示了本發(fā)明優(yōu)選的一組特征點，其中所有的星形點 201為基 準特征點，所有的星形點201和空心原點202組成全局特征點，實心原點 203為局部特征 點。圖4為本發(fā)明人臉特征點的離線模板訓(xùn)練方法流程圖。人臉特征點的特征表達有很多種，如灰度特征、邊緣特征、小波特征等等。本發(fā)明采 用多尺度多方向Gabor小波來建模特征點附近的局部外觀，表達人臉特征點?；?Gabor 小波的特征表達具有人類視覺的

22、心理物理基礎(chǔ)，并且對于光照變化以及外觀變化下的表情 識別、人臉識別和特征點表示等都具有很好的魯棒性。本發(fā)明小波特征的計算方法為:給定灰度圖像I(x)中的一個像素 x (x，y),其附近的局部圖像I(X')中的像素為(x，y), 一系列Gabor系數(shù)Jj(x)可表達該點附近的局部外觀,定義為：Jj(x) I (x') j(x x')d2x'(5)其中Gabor核j為高斯包絡(luò)函數(shù)限定的平面波 22 22(6)kjkj xj (x) exp2 exp(ikjx) exp( )22kjkjxkjykv coskv sin其中，kv為頻率，為方向，kj為特征小波矢量，kj

23、x為特征小波x方向矢量，kjy為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選v 0,1,9,0,1，j81 i且頻率波寬設(shè)為2 o由此，本發(fā)明優(yōu)選的Gabor核由10個頻率、8個方向組成80個Gabor復(fù)系數(shù)，用以表達像素點附近的外觀特征。特別地，可用一個 jet向量J Jj表示這些系數(shù)，可寫成Jj jexXi j), j0,1，,79(8)其中，j和j分別為第j個Gabor系數(shù)的幅值和相位。給定一幅圖像，每個標記的人臉特征點都可以計算得到 Gabor小波的jet向量，該jet 向量即表達了該點的特征。然而，針對每一個人臉特征點，并非所有 80個Gabor復(fù)系數(shù)均 適合表達該特征。為使其能表達各種人

24、臉的共同特征，須對 80個Gabor復(fù)系數(shù)進行實驗篩 選。以嘴角特征點為例，本發(fā)明優(yōu)選的 Gabor復(fù)系數(shù)為：j 24,55。由此，優(yōu)選出的即為本發(fā)明方法中所用的小波特征。本發(fā)明人臉特征點的離線模板訓(xùn)練方法如下：首先執(zhí)行步驟401,選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。步驟402,對人臉圖像的特征點進行標記。步驟403,對圖像進行歸一化處理，以保證所有特征點的Gabor特征的計算條件是相近的，從而保證特征采樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點作為基準點，雙眼的 連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進行旋轉(zhuǎn)，同時對圖像進行縮放以使雙眼之間的距離（瞳距）達到一特定值。通過這種歸

25、一化處理后能保證Gabor特征表達的精度和魯棒性。然后執(zhí)行步驟404,計算所有樣本的Gabor特征。具體方法是：將標記的特征點坐標轉(zhuǎn)換至歸一化圖像中，對每個人臉特征點，根據(jù)式（5） - （8）計算其Gabor特征。則對每一個特征點而言，共得 N個Gabor特征Ji , i 0,，N。方法為:(9)然后，執(zhí)行步驟405,獲得各樣本Gabor特征之間的相似度;假設(shè)Gabor特征J和J',其相似度可由下式計算得到: j j 'jcos(j 'j dkj)S (J,J') j2 ,2 j j j其中,d為J和J'之間的相對位移，可由下式求得d d(J,J'

26、;)yyyx(10)yxx yy xy yxxyxx如果xx yyxy yxj j ( j 'j)，xy'k kj j j jx jy ，y,xxyx和yy類似地進行定義。對每個特征點，根據(jù)式（9）、（10）計算N個Gabor特征兩兩之間的相似度，當(dāng)其相似 度大于閾值St時即認為兩者相似，St可通過實驗選取，選取。然后執(zhí)行步驟406,計算各樣本Gabor特征的相似特征數(shù)n。然后執(zhí)行步驟407,選擇n最大的樣本Gabor特征。然后執(zhí)行步驟408,判斷n是否大于nT0若步驟408的判斷結(jié)果為否，則執(zhí)行步驟 411,處理下一特征點。然后返回步驟 404, 繼續(xù)執(zhí)行本發(fā)明方法。若步驟4

27、08的判斷結(jié)果為是，則執(zhí)行步驟409,將Gabor特征加入離線模板。對每一個 Gabor特征，設(shè)有ni個與其相似的Gabor特征，將n值最大且大于閾值 m的Gabor特征加 入樣本特征集J'i , 5也通過實驗選取，選取 5 =2。然后執(zhí)行步驟410,將該Gabor#征從樣本中刪除，同時將與其相似度大于閾值St'的Gabor#征從Ji中刪除，這里St'應(yīng)大于選取。然后返回步驟405，對步驟405-409作迭代計算。對Ji 重復(fù)上述過程，直到選不出樣本為止。最終的樣本特征集J 'i 即為該人臉特征點的特征樣本，作為人臉特征的離線模板提供給在線跟蹤使用。圖 5 為本

28、發(fā)明人臉跟蹤方法的流程圖。本發(fā)明方法包含：步驟 501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包括圖像格式、分辨率、顏色空間，跟蹤模式等。然后執(zhí)行步驟502， 輸入一幀圖像。本步驟是根據(jù)步驟501 設(shè)置好的格式輸入一幀圖像數(shù)據(jù)。然后執(zhí)行步驟503，圖像歸一化。本步驟是對輸入圖像進行歸一化處理。即根據(jù)前一幀的人臉信息，主要為雙眼的位置信息，將輸入圖像轉(zhuǎn)換成標準尺寸的圖像，優(yōu)選的尺寸可為 256X256。對人臉圖像進行歸一化處理，是為了保證所有特征點的計算條件相近，從而保證特征采樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點作為基準點，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線

29、作為縱軸，對圖像進行旋轉(zhuǎn)，同時對圖像進行縮放以使雙眼之間的距離（瞳距）達到一特定值。通過這種歸一化處理后能保證Gabor 特征表達的精度和魯棒性。然后執(zhí)行步驟504， 判斷是否重新檢測。本步驟是根據(jù)前一幀的檢測結(jié)果判斷是否重新進行人臉特征檢測，若為第一幀圖像，則直接進行特征檢測。步驟504 的判斷結(jié)果若為是，則繼續(xù)步驟505， 基于形狀約束獲得基準特征點。本步驟是利用基準形狀模型517,基于ASMI犬約束對齊基準特征點，基準特征點不會因為表情的變化而運動，如眼角、鼻端?；鶞市螤钅Ｐ?17 的獲得方法請參見圖2 和圖 3 及其對應(yīng)說明。步驟505 基于形狀約束獲得基準特征點的具體方法為:首先需對

30、圖像進行歸一化預(yù)處理。其次，根據(jù)雙眼的位置確定剛性基準點的位置。根據(jù)雙眼位置和人臉模型中的剛性基準形狀模型對齊剛性基準點，獲得這些基準點的初始位置。然后根據(jù)式（2）迭代更新其形 狀參數(shù)，直到滿足迭代終止條件，即獲得剛性基準點的準確位置。迭代過程中，剛性基準 點的精度根據(jù)其Gabor特征與離線特征模板的相似度進行判斷。具體步驟如下：(1) 對每一剛性基準點i ,計算其當(dāng)前位置Xi (xi,yi)的Gabor特征Ji ;(2) 根據(jù)式(9)、(10)計算Ji與離線特征模板J'i中每個Gabor特征的相似度，取 相似度最大者作為J與模板的相似度S,并獲得其相對位移為d-(3) 當(dāng)滿足以下條件

31、之一時，迭代過程結(jié)束，否則轉(zhuǎn)入步驟4)： a)所有剛性基準點的平均相似度S小于上一次迭代的平均相似度 Siast ； b) 90%以上的點的絕對位移值足夠小，即di| v'dxi2 dyi2 d這里閾值出根據(jù)所需保證的精度確定，如可選dT =2 ;(4) 對相對位移值di進行限定，減少突變誤差，使得|dxi| dxT, dyi| dyT,這里閾值dxT和dyT根據(jù)所需保證的精度確定，如可選 dxT=dyT =10；(5) 根據(jù)di對剛性基準點坐標進行更新：Xi Xi di ；(6) 根據(jù)更新的坐標Xi和剛性基準形狀模型及式(2)更新形狀參數(shù)。根據(jù)更新的 形狀參數(shù)獲得新的剛性基準點坐標值

32、；(7) 迭代次數(shù)t增加1次。若t超過閾值，則迭代過程結(jié)束，否則轉(zhuǎn)入步驟(1)。然后執(zhí)行步驟506,基于形狀約束獲得全局特征點。本步驟是利用全局形狀模型518,基于ASM形狀約束，對齊全局特征點。全局特征點除包括8個基準特征點外，還包括其他受表情影響較小的點，如嘴角、眉尖等。獲得全局形狀模型518的具體方法請參見圖2和圖3及其對應(yīng)說明。步驟506的基于形狀約束獲得全局特征點的具體方法與步驟505相同，不同的是其利用剛性基準點的位置以及全局基準形狀模型，并在迭代中固定剛性基準點的位置不變。然后執(zhí)行步驟507,基于形狀約束獲得局部特征點。本步驟是針對人臉的每一個局部特 征，利用局部形狀模型519,

33、基于ASMU狀約束對齊局部特征點。本發(fā)明人臉的局部特征點 主要包括左眼、右眼、嘴、鼻的輪廓點，如左(右)眼包括眼角、上、下眼瞼等，嘴部包 括兩個嘴角、上/下唇的中點，以及上/下唇中點與嘴角之間的輪廓點等。獲得局部形狀模 型519的具體方法請參見圖2和圖3及其對應(yīng)說明。步驟507基于形狀約束獲得局部特征點的具體方法與步驟 505相同,不同的是其利用局 部形狀模型，并固定全局基準點的位置不變。然后執(zhí)行步驟508,更新在線特征模板。本步驟是根據(jù)得到的臉部特征點計算其Gabor小波特征，作為新的在線特征模板 JJ。然后執(zhí)行步驟515,估計人臉姿態(tài)。本步驟是根據(jù) 6個基礎(chǔ)點的位置估計人臉的姿態(tài)， 6個基

34、礎(chǔ)點為：4個眼角點和2個鼻端點。本發(fā)明既可以構(gòu)建多層結(jié)構(gòu)人臉模型以適應(yīng)人臉表情的變化，也可以構(gòu)建不同角度下 的人臉形狀模型以適應(yīng)人臉角度的變化，不再贅述。然而，構(gòu)建的人臉模型畢竟只能采樣有限的角度，如正面人臉，左側(cè)面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特征跟蹤的精度，需估計出人臉的角度以選取適當(dāng)?shù)娜?臉形狀模型，并對其進行角度的補償。本發(fā)明根據(jù)人臉的剛性基準特征點的位置即能較好 地估計出人臉角度，說明如下。為減少人臉表情的影響，需選取人臉的基準特征點進行人臉姿態(tài)的估計，本發(fā)明選擇4 個眼角點和2個鼻端點作為參考。為估計人臉的姿態(tài)，這六個點的三維坐標必須先進行初 始化。一般地，特征點的

35、三維坐標 Xi Xi，yi，zi由通用的三維人臉模型，實際應(yīng)用中，可 要求用戶面向攝像頭以獲得其正面人臉圖像，根據(jù)檢測結(jié)果，特征點的xqnyi值自動調(diào)整為該用戶的值，深度值則仍采用三維模型的值進行近似。設(shè)人臉姿態(tài)參數(shù)face pan，皿，sw噸，其中 pan，tils swing為人臉三個方向的歐拉角，為人臉大小的縮放值。步驟515估計人臉姿態(tài)的具體步驟如下：1）構(gòu)建N個三角形。選擇任意三個非共線性的特征點組成一個三角形Ti ,對每一個Ti ,構(gòu)建一個局部坐標系統(tǒng)Cto2）由每個三角形獲得投影矩陣M圖像坐標與局部坐標系統(tǒng)Ct的關(guān)系可表示為(11)cCo.Xt4M rroytyto其中，c,r表

36、示坐標系統(tǒng)Ct中三維點xt,yt,0的投影圖像，c0,r0是參考點Xt0,yt。,0的投影圖像，M是2X2的投影矩陣。通過限定歐拉角在一到一的范圍，可以從M恢復(fù)出兩22組人臉姿態(tài)參數(shù)，進而生成完全投影矩陣 Pi,但其中只有一個是正確的。3）計算完全投影矩陣的投影偏差。根據(jù)完全投影矩陣Pi將特征點的三維坐標投影到圖像中，進而獲得其與實際特征點圖像坐標的偏差 derror o如果derro大于閾值d,則刪除該矩陣；否則保留該矩陣，并設(shè)置其權(quán)重為i d derm I4)加權(quán)得到最終結(jié)果。通過對 N個三角形的檢測，最終得到 K個完全投影矩陣Pi的一組參數(shù)i 1 K ,及其對應(yīng)的權(quán)重i , i 1 K。

37、對每個P,可得到唯i pan , tilt , swing , oKi 1face最終的人臉姿態(tài)參數(shù)為:(然后返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟502至508以及步驟515,并執(zhí)行步驟516,輸出人臉特征點及人臉姿態(tài)信息。步驟504的判斷結(jié)果若為否，則執(zhí)行步驟509,基于在線模板更新眼角點。本步驟是基于在線模板與特征點的上一幀位置的小波特征進行比較，計算4個眼角點的位移，從而得到眼角的新位置。步驟509的具體獲得方法為:(1) 根據(jù)前一幀的雙眼位置對圖像進行歸一化預(yù)處理；(2) 根據(jù)在線特征模板更新剛性基準點中的眼角特征點：對于眼角特征點Xi (xi,yi),計算其在當(dāng)前圖像的Gabor特

38、征Ji,然后根據(jù)式(10)計算Ji與在線特征模板J"i的位移d"i ,則眼角特征點可更新為：Xi Xi d"i。然后執(zhí)行步驟510,基于離線特征模板調(diào)整眼角點。本步驟是計算離線訓(xùn)練的特征模板與在線特征模板的距離和相似度， 根據(jù)該距離和相似度對眼角位置進行修改得到新的位置。獲得離線特征模板的具體方法見圖 4及其對應(yīng)的說明。步驟510的具體計算方法為：根據(jù)離線特征模板對眼角特征點進行再修正：對于眼角特征點Xi (xi,yi),根據(jù)式(9)、(10)計算在線特征模板J"i與離線特征模板J'i的相似度S'i和位移d'i ,則眼角特征點可進

39、一步修正為 XiXi 心，其中為相似2(1 exp(10( S'i)度調(diào)整值，根據(jù)精度要求進行設(shè)置，如優(yōu)選可設(shè)為0.55。然后執(zhí)行步驟511,更新其他特征點。首先,計算新的眼角特征點位置與上一幀位置的平均位移作為人臉剛性運動的初步估計，更新其他特征點所有特征點的坐標為: Xi Xi davgo然后對每一特征點，重復(fù)步驟509與510,對眼角特征點以外的其他特征點 的位置進行更新。然后執(zhí)行步驟512,根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀。本步驟是根據(jù)前一幀估計的人臉姿態(tài)進行誤差補償，對人臉的形狀模型進行更新，以得到該姿態(tài)下的形狀模型。然后執(zhí)行步驟513，基于形狀約束更新全局特征點

40、。本步驟是對全局特征點，根據(jù)補償?shù)娜中螤钅Ｐ瓦M行形狀約束，獲得形狀參數(shù)，根據(jù)該形狀參數(shù)獲得準確的全局特征點。本步驟是基于步驟512所更新的形狀模型約束更新全局特征點的位置。然后執(zhí)行步驟514，基于形狀約束更新局部特征點。本步驟是針對人臉的每一個局部特征，這一過程中，全局特征點不再更新。本步驟是基于步驟512 所更新的形狀模型約束更新其局部特征點的位置。然后執(zhí)行步驟508,對所有特征點，計算其 Gabor特征作為新的在線特征模板 Ji”以上過程根據(jù)檢測的人臉及人眼的位置完成了人臉特征點的檢測定位。由于各個人臉的差異性，其特征點的Gabor 特征與離線特征模板的相似度各不相同。為此，根據(jù)當(dāng)前人臉

41、特征點位置獲得其Gabor 特征作為后續(xù)幀人臉跟蹤的特征模板，即在線特征模板Ji" ，以提高人臉特征跟蹤的效率和精度。圖 6 為本發(fā)明人臉比對方法的流程圖。本發(fā)明方法包含：步驟 601，人臉跟蹤，獲取特征點。本步驟對輸入的視頻或者攝像頭實時畫面中的人臉進行處理，獲取特征點的精確位置。其詳細方法在圖1- 圖 5 及其對應(yīng)的說明書中詳細說明。應(yīng)該注意的是，本發(fā)明的跟蹤部分選取的人臉特征為人臉的共同性的特征，如圖2 中所示 28 個特征點。然后執(zhí)行步驟602，檢測圖像質(zhì)量，判斷是否滿足條件。本步驟是對于步驟601 所獲取的圖像質(zhì)量進行判斷，判斷圖像以及特征點的提取結(jié)果是否滿足注冊或比對的條

42、件。檢測的參數(shù)包括圖像的亮度、光照的均勻性等。若步驟 602 的判斷結(jié)果為否，則執(zhí)行步驟610。若步驟 602 的判斷結(jié)果為是，則執(zhí)行步驟603， 提取詳細的人臉特征數(shù)據(jù)。應(yīng)注意的是：為完整表達不同人臉之間的差異性，需提取適當(dāng)?shù)娜四樚卣鼽c，以便充分表達人臉信息。本發(fā)明選取人臉上的顯著特征點作為比對依據(jù)，除了圖2 中所示 28 個特征點外，還增加雙眉之間的中點、鼻根即雙眼之間的中點、鼻尖，等等。根據(jù)精度、運算性能等要求，可對特征點的選取適當(dāng)進行調(diào)整。而人臉特征點的特征必須選取式（8）中所有80 個 Gabor 復(fù)系數(shù)，表達完整的人臉信息，以使不同人臉之間的差異最大化。步驟603 的具體方法為：根

43、據(jù)人臉檢測跟蹤得到的精確的人臉特征點位置，插值獲得其他選取的人臉特征點的位置，如：鼻根為雙眼位置的中點、鼻尖為4 個鼻測點的中心點，等等。根據(jù)雙眼位置對圖像進行歸一化處理。根據(jù)式(8)計算得到人臉特征點i的Gabor特征J'i ,所有特征點的Gabor特征即組成 一個人臉特征模板Gj J'i , i 1,2,，N, N為選取的人臉特征點個數(shù)。然后執(zhí)行步驟604人臉注冊或者步驟605人臉比對。步驟604人臉注冊是保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫。具體方法為：將步驟603獲得的詳細的人臉特征數(shù)據(jù)與此人已有的人臉特征模板庫進行比較，若其 相似度S>St,則不保存該特征，否則將該特征加入此人的人臉特征模板庫G Gj ,j 0,M , M為此人的特征模板個數(shù)，保存至數(shù)