發(fā)明專利案例-人臉識別方法

發(fā)明專利事例-人臉鑒識方法發(fā)明專利事例-人臉鑒識方法發(fā)明專利事例-人臉鑒識方法說明書一種人臉比對方法技術(shù)領(lǐng)域本發(fā)明波及生物特色鑒識技術(shù)領(lǐng)域，特別波及一種人臉比對的方法。背景技術(shù)人臉是人的重要信息，是劃分不同樣的人的重要依據(jù)，所以人臉比對是較指紋、虹膜等技術(shù)更自然、更直接的比對方式。人臉比對是將圖像或視頻輸入的人臉經(jīng)過提取特定的人臉特色信息，與數(shù)據(jù)庫中已注冊的人臉特色信息比較較，獲取般配的人臉極其相像度，確認能否與數(shù)據(jù)庫中人臉為同一。人臉比對在好多場合下都擁有特別重要的作用，比方手機彩信中的視頻彩信、人機界面、權(quán)限控制、智能督查系統(tǒng)等。比對的正確性、精度和魯棒性問題向來是業(yè)界關(guān)懷的主要問題。其余，在人臉比對中，假如目前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫中已注冊人臉比較對，也會得出般配的結(jié)果，這將致使識其余客體其實不是真切的人臉，致使無權(quán)限的人獲取權(quán)限。所以，判斷目前輸入為真切的人的臉仍是靜態(tài)的照片特別重要，而現(xiàn)有技術(shù)還沒法解決。所以，業(yè)界急需一種可以保證輸入真切、擁有較高正確性與魯棒性的人臉比對技術(shù)。發(fā)明內(nèi)容為填補現(xiàn)有技術(shù)的不足，本發(fā)明目的是供應一種人臉比對方法，解決人臉表情變化和姿態(tài)變化的影響，提升比對的正確性、精度和魯棒性，保障比對的真切性。為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案以下：一種人臉比對方法，包含：人臉比對方法，其特色在于，包含：步驟601，人臉追蹤，獲取特色點；步驟603，提取詳盡的人臉特色數(shù)據(jù)；步驟605人臉比對，將該人臉特色數(shù)據(jù)與人臉數(shù)據(jù)庫中的每一個人臉的特色數(shù)據(jù)進行比對，獲取其相像性；詳盡方法為：（）采納數(shù)據(jù)庫中的一個人臉k的特色模板庫GGj，k0,...,K；1（2）對特色模板Gj{J'i}G，j0,...,M，計算輸入人臉的特色Ji與J'i之間的相似度Skji；1Skji；（3）計算輸入人臉與特色模板Gj的相像度SkjNi（）計算輸入人臉與人臉k的相像度為SkmaxSkj；4j）（），獲取輸入人臉與數(shù)據(jù)庫中全部K個人臉的相像度，取其（5）重復步驟（1-4中最大者SmaxmaxSk，獲取其對應的人臉k’；k此中，M為人的特色模板個數(shù)，N為采納的人的人臉特色點個數(shù)，i為人臉特色。步驟607，判斷能否已找到般配的人臉；為相像度閾值，若Smax，則判斷輸入人臉與數(shù)據(jù)庫中的人臉k’相般配；步驟608，判斷表情能否有顯著變化；依據(jù)連續(xù)多幀人臉特色點進行分析，包含但不限于：嘴巴的張開與閉合，眼睛的張開與閉合，判斷人臉的表情能否發(fā)生了顯著的變化；在人臉表情有顯著變化時，履行步驟609，輸出比中的人臉。此中，該步驟603提取詳盡的人臉特色數(shù)據(jù)的詳盡方法為：依據(jù)步驟601人臉檢測追蹤獲取的精準的人臉特色點地點，插值獲取其余采納的人臉特色點的地點；依據(jù)雙眼地點對圖像進行歸一化辦理；計算獲取人臉特色點i的Gabor特色J'i，全部特色點的Gabor特色即構(gòu)成一個人臉特征數(shù)據(jù)

Gj

J'i

，i

1,2,...,N

，N為采納的人臉特色點個數(shù)。此中，該人臉特色點為人臉上的顯著特色點，人臉特色點的特色采納全部

80個

Gabor復系數(shù)，表達圓滿的人臉信息，圓滿表達不同樣人臉之間的差別性。此中，該步驟601人臉追蹤，獲取特色點所采納的人臉特色為人臉的共同性的特色。進一步的，該人臉比對方法還包含步驟604人臉注冊；保存人臉特色數(shù)據(jù)至人臉數(shù)據(jù)庫；詳盡方法為：將步驟603獲取的詳盡人臉特色數(shù)據(jù)加入這人的人臉特色模板庫GGj，j0,...,M，M為這人的特色模板個數(shù)，保存至數(shù)據(jù)庫。此中，該步驟601人臉追蹤，獲取特色點的詳盡包含離線訓練方法和在線追蹤方法；該離線訓練方法包含多層構(gòu)造人臉模型訓練方法和人臉特色點的離線模板訓練方法；該多層構(gòu)造人臉模型訓練方法為該在線追蹤方法供應人臉模型，該離線模板訓練方法為該在線追蹤方法供應人臉特色點離線模板；該多層構(gòu)造人臉模型訓練方法包含以下步驟：步驟301，采納合適的人臉圖像作為訓練樣本；步驟302，對人臉圖像的特色點進行標志；步驟3031-3061，獲取基準形狀模型；步驟3032-3062，獲取全局形狀模型；步驟3033-3063，獲取局部形狀模型。此中，該基準形狀模型、該全局形狀模型與該局部形狀模型的獲取方法為：用s表示一個人臉形狀向量：ssPb，此中，s為均勻人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為(sR,sG,sL)T，此中sR、sG和sL分別表示基準特色點、全局特色點和局部特色點；剛性基準形狀的點散布模型sRsRPRbR全局基準形狀的點散布模型sGsGPGbG局部形狀模型的點散布模型sGi,LisGi,LiPGi,LibGi,Li第i個局部形狀向量為sGi,Li{sGi,sLi}，此中sGi，sLi分別表示屬于第i個局部形狀的全局和局部特色點。此中，該人臉特色點的表達方法為：給定灰度圖像I(x)中的一個像素x(x,y)，其周邊的局部圖像rI(x')中的像素為rx'(x,y)，一系列Gabor系數(shù)Jj(x)可表達該點周邊的局部外觀，定義為：Jj(x)I(x')j(xx')d2x'此中Gabor核j為高斯包絡函數(shù)限制的平面波，22x22j(x)kjkj)2exp2exp(ikjx)exp(22kjxkvcosv2kj,kv22,kjykvsin8此中，kv為頻次，為方向，kj為特色小波矢量，kjx為特色小波x方向矢量，kjy為特色小波y方向矢量，i為復數(shù)算子，精選v0,1,...,9，0,1,...,7，j8v，i1，且頻次波寬設(shè)為2；Gabor核由10個頻次、8個方向構(gòu)成80個Gabor復系數(shù)，用以表達像素點周邊的外觀特色，用一個jet向量JJj表示這些系數(shù)，Jjjexp(ij)，j0,1,...,79此中，j和j分別為第j個Gabor系數(shù)的幅值和相位；對80個Gabor復系數(shù)進行實驗精選，獲取該人臉特色點表達所用的小波特色。此中，該人臉特色點的離線模板訓練方法以下：步驟401，采納N張合適的人臉圖像作為訓練樣本；步驟402，對人臉圖像的特色點進行標志；步驟403，對圖像進行歸一化辦理；步驟404，計算全部樣本的Gabor特色；步驟405，獲取各種本Gabor特色之間的相像度；jj'jcos(j'jdkj)S(J,J')2j'2jj此中，J和J'為Gabor特色'j和'j分別為Gabor系數(shù)的幅值和相位，；為J和J'之間的相對位移；d(J,J')dx1yyyxxdyxxyyxyyxxyxxy假如xxyyxyyx0，此中xjj'jkjx(j'j)，xyjj'jkjxkjy，，xx，yx和yy近似地進行定義；對每個特色點，計算N個Gabor特色兩兩之間的相像度，當其相像度大于閾值ST時即以為二者相像，ST可經(jīng)過實驗采納，采納；步驟406，計算各種本Gabor特色的相像特色數(shù)n；步驟407，選擇n最大的樣本Gabor特色；步驟408，判斷n能否大于nT；若步驟408的判斷結(jié)果為否，則履行步驟411，辦理下一特色點，此后返回步驟404繼續(xù)履行；若步驟408的判斷結(jié)果為是，則履行步驟409，將Gabor特色加入離線模板；對每一個Gabor特色，設(shè)有ni個與其相像的Gabor特色，將ni值最大且大于閾值nT的Gabor特色加入樣本特色集J'i，nT也經(jīng)過實驗采納，采納nT=2；步驟410，將該Gabor特色從樣本中刪除，同時將與其相像度大于閾值ST’的Gabor特色從Ji中刪除，ST’大于ST，采納；返回步驟405，對步驟405-409作迭代計算；對Ji重復上述過程，直到選不出樣本為止；最后的樣本特色集J'i即為該人臉特色點的特色樣本，作為人臉特色的離線模板供應給該在線追蹤方法使用。此中，該在線追蹤方法包含：步驟501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，追蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像變換成標準尺寸的圖像；步驟504，判斷能否從頭檢測；若步驟504的判斷結(jié)果為是，則履行步驟505，利用基準形狀模型，鑒于ASM形狀拘束，對齊基準特色點；步驟506，利用全局形狀模型，鑒于ASM形狀拘束，對齊全局特色點；步驟507，利用局部形狀模型，鑒于ASM形狀拘束，對齊局部特色點；步驟508，更新在線特色模板，依據(jù)獲取的臉部特色點的地點更新其小波特色作為該人臉的在線特色模板；步驟515，預計人臉姿態(tài)，依據(jù)六個基礎(chǔ)點的地點預計人臉的姿態(tài)；返回步驟502循環(huán)履行在線追蹤方法步驟502至步驟508以及步驟515并履行步驟516，輸出人臉特色點及人臉姿態(tài)信息；若步驟504的判斷結(jié)果若為否，則履行步驟509，鑒于在線特色模板更新眼角點；此后履行步驟510，鑒于離線特色模板調(diào)整眼角點；此后履行步驟511，更新其余特色點；此后履行步驟512，依據(jù)前一幀的人臉姿態(tài)更新各形狀模型的均勻形狀；此后履行步驟513，鑒于形狀拘束更新全局特色點；此后履行步驟514，鑒于形狀拘束更新局部特色點；此后返回步驟508，連續(xù)履行在線追蹤方法步驟509至步驟514。本發(fā)明的有利見效是：1.本發(fā)明采納人臉上的顯著特色點作為比對依據(jù)，人臉特色點的特色從全部80個Gabor復系數(shù)中采納，表達了圓滿的人臉信息，使不同樣人臉之間的差別最大化，人臉比對的正確性和魯棒性較好。使用本發(fā)明的人臉比對方法，除去了人臉表情、姿態(tài)的影響，在比對中判斷出了人臉的真切性，使得追蹤和比瞄正確性、精度和魯棒性更高。使用本發(fā)明，可以判斷目前輸入為真切的人臉仍是靜態(tài)的照片。附圖說明下邊聯(lián)合附圖，經(jīng)過對本發(fā)明的詳盡實行方式的詳盡描繪，將使本發(fā)明的技術(shù)方案及其余有利見效不言而喻。圖1為本發(fā)明人臉追蹤方法的構(gòu)成框架圖；圖2為本發(fā)明的人臉特色點表示圖；圖3為本發(fā)明多層構(gòu)造人臉模型訓練方法的流程圖；圖4為本發(fā)明人臉特色點的離線模板訓練方法流程圖；圖5為本發(fā)明人臉追蹤方法的流程圖；圖6為本發(fā)明人臉比對方法的流程圖。詳盡實行方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特色、達成目的與功能易于理解認識，下邊進一步論述本發(fā)明。本發(fā)明人臉比對方法主要包含兩個部分，一是訓練部分，即注冊部分，一是比對部分。不論是訓練部分，仍是比對部分，都需先對人臉特色進行檢測、追蹤，從而獲取精準的人臉特色點的地點。圖1-圖5示出了人臉檢測追蹤、獲取特色點的詳盡方法。下邊詳盡說明：圖1表示了本發(fā)明追蹤方法的構(gòu)成框架。本發(fā)明人臉追蹤方法包含離線訓練方法102和在線追蹤方法101兩部分。離線訓練方法102包含：多層構(gòu)造人臉模型訓練方法1021和人臉特色點的離線模板訓練方法1022；前者為在線追蹤方法101供應人臉模型103，后者為人臉追蹤方法101供應人臉特色點離線模板104。圖2為本發(fā)明人臉特色點表示圖。圖3為本發(fā)明多層構(gòu)造人臉模型訓練方法的流程圖。下邊聯(lián)合圖2與圖3詳盡說明本發(fā)明多層構(gòu)造人臉模型訓練方法。人的面部特色擁有很大的相像性，這些特色點的相對運動表達了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特色點，用人臉特色點集的統(tǒng)計關(guān)系表示人臉模型，即可以建立出一個點散布模型（PDM）來表達人臉的可能的形狀變化。本發(fā)明鑒于ASM的原理，從一系列人臉圖像訓練獲取多層構(gòu)造人臉模型。多層構(gòu)造人臉模型訓練方法第一履行步驟301，采納合適的人臉圖像作為訓練樣本。此后履行步驟302，對人臉圖像的特色點進行標志。此后履行步驟3031-3061，獲取基準形狀模型。詳盡為：步驟3031，鑒于剛性基準點構(gòu)成形狀向量，來表示基準特色點的地點；此后履行步驟3041，依據(jù)Procrustes變換對齊全部形狀向量到一個一致的坐標框架下；此后履行步驟3051，由PCA方法獲取形狀拘束參數(shù)，步驟3061，獲取基準形狀模型。履行步驟3032-3062，獲取全局形狀模型。詳盡為：步驟3032，鑒于全局基準點構(gòu)成形狀向量，來表示全局特色點的地點；此后履行步驟3042，依據(jù)Procrustes變換對齊全部形狀向量到一個一致的坐標框架下；此后履行步驟3052，由PCA方法獲取形狀拘束參數(shù)，步驟3062，獲取全局形狀模型。履行步驟3033-3063，獲取局部形狀模型。詳盡為：步驟3033，鑒于局部基準點構(gòu)成形狀向量，來表示局部特色點的地點；此后履行步驟3043，依據(jù)Procrustes變換對齊全部形狀向量到一個一致的坐標框架下；此后履行步驟3053，由PCA方法獲取形狀拘束參數(shù)，步驟3063，獲取局部形狀模型。步驟3031-3061、步驟3032-3062和步驟3033-3063的計算方法詳盡為：用向量s表示一個人臉形狀：ssPb，（1）此中，s為均勻人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量。現(xiàn)有的ASM方法經(jīng)過迭代過程搜尋人臉形狀，迭代中全部的特色點地點同時更新，也就是說特色點之間的互相影響是簡單的平行關(guān)系。鑒于人臉的復雜構(gòu)造，以及表情豐富的特色，這類簡單的平行系統(tǒng)其實不足以描繪特色點之間的互相關(guān)系。比方，假定眼角地點固定，則眼睛的開閉其實不可以影響口、鼻的特色點定位。本發(fā)明將人臉特色點組織為多個層次，以更好地適應頭部運動、表情變化等對特色點地點的不同樣影響，我們稱為多層構(gòu)造人臉模型。第一類為基準特色點，基本只受頭部姿態(tài)的影響，如眼角、鼻端等。第二類為全局特色點，用來拘束整個人臉的全局形狀，包含基準特色點和其余重點點、如嘴角、眉端等。第三類為局部特色點，只用來拘束人臉各構(gòu)成部分如眼、嘴、眉的細部特色，位于其輪廓界限上，如上下嘴唇的輪廓點，上下眼瞼等，主要受表情變化影響。鑒于此，本發(fā)明建立的多層構(gòu)造人臉模型說明以下：如上所述，人臉形狀向量

s可表示為

(sR,sG,sL)T

，此中

sR、sG

和sL

分別表示基準特征點、全局特色點和局部特色點。鑒于此，人臉形狀模型可分為剛性基準形狀、全局基準形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。關(guān)于剛性基準形狀和全局基準形狀，其點散布模型（PDM）可以從訓練數(shù)據(jù)學習獲取以下，sRsRPRbR（2）sGsGPGbG（3）關(guān)于局部形狀模型，第i個局部形狀向量為sGi,Li{sGi,sLi}，此中sGi，s分別表示Li屬于第i個局部形狀的全局和局部特色點。亦有，sGi,LisGi,LiPGi,LibGi,Li（4）以上（2）、（3）、（4）三式即構(gòu)成了本發(fā)明的多層構(gòu)造人臉模型。此中各參數(shù)均鑒于ASM的原理經(jīng)過訓練獲取。圖2顯示了本發(fā)明精選的一組特色點，此中全部的星形點201為基準特色點，全部的星形點201和空心原點202構(gòu)成全局特色點，實心原點203為局部特色點。圖4為本發(fā)明人臉特色點的離線模板訓練方法流程圖。人臉特色點的特色表達有好多種，如灰度特色、邊沿特色、小波特色等等。本發(fā)明采用多尺度多方向Gabor小波來建模特色點周邊的局部外觀，表達人臉特色點。鑒于Gabor小波的特色表達擁有人類視覺的心理物理基礎(chǔ)，而且關(guān)于光照變化以及外觀變化下的表情鑒識、人臉鑒識和特色點表示等都擁有很好的魯棒性。本發(fā)明小波特色的計算方法為：給定灰度圖像I(x)中的一個像素x(x,y)，其周邊的局部圖像rI(x')中的像素為rJj(x)x'(x,y)，一系列Gabor系數(shù)可表達該點周邊的局部外觀，定義為：Jj()I(')(')2x'（）xxjxxd5此中Gabor核j為高斯包絡函數(shù)限制的平面波2222kjkjx（6）j(x)2exp22exp(ikjx)exp(2)kjxkvcosv2kj,kv22,（7）kjykvsin8此中，kv為頻次，為方向，kj為特色小波矢量，kjx為特色小波x方向矢量，kjy為特色小波y方向矢量，i為復數(shù)算子，精選v0,1,...,9，0,1,...,7，j8v，i1，且頻次波寬設(shè)為2。由此，本發(fā)明精選的Gabor核由10個頻次、8個方向構(gòu)成80個Gabor復系數(shù)，用以表達像素點周邊的外觀特色。特別地，可用一個jet向量JJj表示這些系數(shù)，可寫成Jjjexp(ij)，j0,1,...,79（8）此中，j和j分別為第j個Gabor系數(shù)的幅值和相位。給定一幅圖像，每個標志的人臉特色點都可以計算獲取Gabor小波的jet向量，該jet向量即表達了該點的特色。但是，針對每一個人臉特色點，其實不是全部80個Gabor復系數(shù)均合適表達該特色。為使其能表達各種人臉的共同特色，須對80個Gabor復系數(shù)進行實驗篩選。以嘴角特色點為例，本發(fā)明精選的Gabor復系數(shù)為：j24,...,55。由此，精選出的即為本發(fā)明方法中所用的小波特色。本發(fā)明人臉特色點的離線模板訓練方法以下：第一履行步驟401，采納N張合適的人臉圖像作為訓練樣本。步驟402，對人臉圖像的特色點進行標志。步驟403，對圖像進行歸一化辦理，以保證全部特色點的Gabor特色的計算條件是周邊的，從而保證特色采樣的精準性。依據(jù)雙眼的地點，獲取雙眼的中點作為基準點，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進行旋轉(zhuǎn)，同時對圖像進行縮放以使雙眼之間的距離（瞳距）達到一特定值。經(jīng)過這類歸一化辦理后能保證Gabor特色表達的精度和魯棒性。此后履行步驟404，計算全部樣本的Gabor特色。詳盡方法是：將標志的特色點坐標變換至歸一化圖像中，對每一個人臉特色點，依據(jù)式（5）-（8）計算其Gabor特色。則對每一個特色點而言，共得N個Gabor特色Ji，i0,...,N。此后，履行步驟405，獲取各種本Gabor特色之間的相像度；方法為：假定Gabor特色J和J'，其相像度可由下式計算獲取：jj'jcos(j'jdkj)S(J,J')（9）j2j'2j此中，d為J和J'之間的相對位移，可由下式求得d(J,J')dx1yyyxx（10）dyxyxxyxxyyxyyx假如xxyyxyyx0，此中xjj'jkjx(j'j)，xyjj'jkjxkjy，，xx，yx和yy近似地進行定義。對每個特色點，依據(jù)式（9）、（10）計算N個Gabor特色兩兩之間的相像度，當其相像度大于閾值ST時即以為二者相像，ST可經(jīng)過實驗采納，采納。此后履行步驟406，計算各種本Gabor特色的相像特色數(shù)n。此后履行步驟407，選擇n最大的樣本Gabor特色。此后履行步驟408，判斷n能否大于nT。若步驟408的判斷結(jié)果為否，則履行步驟411，辦理下一特色點。此后返回步驟404，連續(xù)履行本發(fā)明方法。若步驟408的判斷結(jié)果為是，則履行步驟409，將Gabor特色加入離線模板。對每一個Gabor特色，設(shè)有ni個與其相像的Gabor特色，將ni值最大且大于閾值nT的Gabor特色加入樣本特色集J'i，nT也經(jīng)過實驗采納，采納nT=2。此后履行步驟

410，將該

Gabor特色從樣本中刪除，同時將與其相像度大于閾值

ST’的Gabor特色從Ji中刪除，這里ST’應大于ST，采納。此后返回步驟405，對步驟405-409作迭代計算。對Ji重復上述過程，直到選不出樣本為止。最后的樣本特色集J'i即為該人臉特色點的特色樣本，作為人臉特色的離線模板供應給在線追蹤使用。圖5為本發(fā)明人臉追蹤方法的流程圖。本發(fā)明方法包含：步驟501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包含圖像格式、分辨率、顏色空間，追蹤模式等。此后履行步驟502，輸入一幀圖像。本步驟是依據(jù)步驟501設(shè)置好的格式輸入一幀圖像數(shù)據(jù)。此后履行步驟503，圖像歸一化。本步驟是對輸入圖像進行歸一化辦理。即依據(jù)前一幀的人臉信息，主要為雙眼的地點信息，將輸入圖像變換成標準尺寸的圖像，精選的尺寸可為256×256。對人臉圖像進行歸一化辦理，是為了保證全部特色點的計算條件周邊，從而保證特色采樣的精準性。依據(jù)雙眼的地點，獲取雙眼的中點作為基準點，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進行旋轉(zhuǎn)，同時對圖像進行縮放以使雙眼之間的距離（瞳距）達到一特定值。經(jīng)過這類歸一化辦理后能保證Gabor特色表達的精度和魯棒性。此后履行步驟504，判斷能否從頭檢測。本步驟是依據(jù)前一幀的檢測結(jié)果判斷能否從頭進行人臉特色檢測，若為第一幀圖像，則直接進行特色檢測。步驟504的判斷結(jié)果若為是，則連續(xù)步驟505，鑒于形狀拘束獲取基準特色點。本步驟是利用基準形狀模型517，鑒于ASM形狀拘束對齊基準特色點，基準特色點不會因為表情的變化而運動，如眼角、鼻端?；鶞市螤钅Ｐ?17的獲取方法請拜見圖2和圖3及其對應說明。步驟505鑒于形狀拘束獲取基準特色點的詳盡方法為:第一需對圖像進行歸一化預辦理。其次，依據(jù)雙眼的地點確立剛性基準點的地點。依據(jù)雙眼地點和人臉模型中的剛性基準形狀模型對齊剛性基準點，獲取這些基準點的初始地點。此后依據(jù)式（2）迭代更新其形狀參數(shù)，直到知足迭代停止條件，即獲取剛性基準點的正確地點。迭代過程中，剛性基準點的精度依據(jù)其Gabor特色與離線特色模板的相像度進行判斷。詳盡步驟以下：（1）對每一剛性基準點i，計算其目前地點Xi(xi,yi)的Gabor特色Ji；（2）依據(jù)式（9）、（10）計算Ji與離線特色模板J'i中每個Gabor特色的相像度，取相像度最大者作為J與模板的相像度Si，并獲取其相對位移為di。（3）當知足以下條件之一時，迭代過程結(jié)束，不然轉(zhuǎn)入步驟4）：a)全部剛性基準點的均勻相像度S小于前一次迭代的均勻相像度Slast；b)90%以上的點的絕對位移值足夠小，即didxi2dyi2dT，這里閾值dT依據(jù)所需保證的精度確立，如可選dT=2；（4）對相對位移值di進行限制，減少突變偏差，使得dxidxT,dyidyT，這里閾值dxT和dyT依據(jù)所需保證的精度確立，如可選dxTdyT；==10（5）依據(jù)di對剛性基準點坐標進行更新：XiXidi；（6）依據(jù)更新的坐標Xi和剛性基準形狀模型及式（2）更新形狀參數(shù)。依據(jù)更新的形狀參數(shù)獲取新的剛性基準點坐標值；（7）迭代次數(shù)t增添1次。若t超出閾值，則迭代過程結(jié)束，不然轉(zhuǎn)入步驟（）。1此后履行步驟506，鑒于形狀拘束獲取全局特色點。本步驟是利用全局形狀模型518，鑒于ASM形狀拘束，對齊全局特色點。全局特色點除包含8個基準特色點外，還包含其余受表情影響較小的點，如嘴角、眉尖等。獲取全局形狀模型518的詳盡方法請拜見圖2和圖3及其對應說明。步驟506的鑒于形狀拘束獲取全局特色點的詳盡方法與步驟505同樣,不同樣的是其利用剛性基準點的地點以及全局基準形狀模型，并在迭代中固定剛性基準點的地點不變。此后履行步驟507，鑒于形狀拘束獲取局部特色點。本步驟是針對人臉的每一個局部特征，利用局部形狀模型519，鑒于ASM形狀拘束對齊局部特色點。本發(fā)明人臉的局部特色點主要包含左眼、右眼、嘴、鼻的輪廓點，如左（右）眼包含眼角、上、下眼瞼等，嘴部包括兩個嘴角、上/下唇的中點，以及上/下唇中點與嘴角之間的輪廓點等。獲取局部形狀模型519的詳盡方法請拜見圖2和圖3及其對應說明。步驟507鑒于形狀拘束獲取局部特色點的詳盡方法與步驟505同樣,不同樣的是其利用局部形狀模型，并固定全局基準點的地點不變。此后履行步驟508，更新在線特色模板。本步驟是依據(jù)獲取的臉部特色點計算其Gabor小波特色，作為新的在線特色模板Ji"。此后履行步驟515，預計人臉姿態(tài)。本步驟是依據(jù)6個基礎(chǔ)點的地點預計人臉的姿態(tài)，6個基礎(chǔ)點為：4個眼角點和2個鼻端點。本發(fā)明既可以建立多層構(gòu)造人臉模型以適應人臉表情的變化，也可以建立不同樣角度下的人臉形狀模型以適應人臉角度的變化，不再贅述。但是，建立的人臉模型畢竟只好采樣有限的角度，如正面人臉，左邊面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特色追蹤的精度，需預計出人臉的角度以采納合適的人臉形狀模型，并對其進行角度的賠償。本發(fā)明依據(jù)人臉的剛性基準特色點的地點即能較好地預計出人臉角度，說明以下。為減少人臉表情的影響，需采納人臉的基準特色點進行人臉姿態(tài)的預計，本發(fā)明選擇4個眼角點和2個鼻端點作為參照。為預計人臉的姿態(tài)，這六個點的三維坐標必然先進行初始化。一般地，特色點的三維坐標Xixi,yi,zi由通用的三維人臉模型，實質(zhì)應用中，可要求用戶面向攝像頭以獲取其正面人臉圖像，依據(jù)檢測結(jié)果，特色點的xi和yi值自動調(diào)整為該用戶的值，深度值則仍采納三維模型的值進行近似。設(shè)人臉姿態(tài)參數(shù)facepan,tilt,swing,，此中pan,tilt,swing為人臉三個方向的歐拉角，為人臉大小的縮放值。步驟515預計人臉姿態(tài)的詳盡步驟以下：1）建立N個三角形。選擇隨意三個非共線性的特色點構(gòu)成一個三角形Ti，對每一個Ti，建立一個局部坐標系統(tǒng)Ct。）由每個三角形獲取投影矩陣M。圖像坐標與局部坐標系統(tǒng)Ct的關(guān)系可表示為2cc0xtxt0（11）rr0Myt0yt此中，c,r表示坐標系統(tǒng)Ct中三維點xt,yt,0的投影圖像，c0,r0是參照點xt0,yt0,0的投影圖像，M是×的投影矩陣。經(jīng)過限制歐拉角在到的范圍，可以從M恢復出兩2222組人臉姿態(tài)參數(shù)，從而生成圓滿投影矩陣Pi，但此中只有一個是正確的。3

Pi將特色點的三維坐標投影到圖像中，從而獲取其與實質(zhì)特色點圖像坐標的偏差

derror

。假如

derror

大于閾值

d，則刪除該矩陣；不然保存該矩陣，并設(shè)置其權(quán)重為idderror2。）加權(quán)獲取最后結(jié)果。經(jīng)過對N個三角形的檢測，最后獲取K個圓滿投影矩陣Pi，4i1K，及其對應的權(quán)重i，i1K。對每個Pi，可獲取唯一的一組參數(shù)ipan,tilt,swing,。最后的人臉姿態(tài)參數(shù)為：Ki1ii（12）faceKi1i此后返回步驟502循環(huán)履行在線追蹤方法步驟502至508以及步驟515，并履行步驟516，輸出人臉特色點及人臉姿態(tài)信息。步驟504的判斷結(jié)果若為否，則履行步驟509，鑒于在線模板更新眼角點。本步驟是基于在線模板與特色點的上一幀地點的小波特色進行比較，計算4個眼角點的位移，從而得到眼角的新地點。步驟

509的詳盡獲取方法為：1）依據(jù)前一幀的雙眼地點對圖像進行歸一化預辦理；2）依據(jù)在線特色模板更新剛性基準點中的眼角特色點：關(guān)于眼角特色點Xi

(xi,yi)，計算其在目前圖像的

Gabor特色

Ji，此后依據(jù)式（

10）計算

Ji與在線特色模板

J"i

的位移

d"i

，則眼角特色點可更新為：

Xi

Xi

d"i

。此后履行步驟510，鑒于離線特色模板調(diào)整眼角點。本步驟是計算離線訓練的特色模板與在線特色模板的距離和相像度，依據(jù)該距離和相像度對眼角地點進行改正獲取新的地點。獲取離線特色模板的詳盡方法見圖4及其對應的說明。步驟510的詳盡計算方法為：依據(jù)離線特色模板對眼角特色點進行再修正：關(guān)于眼角特色點Xi(xi,yi)，依據(jù)式（9）、（10）計算在線特色模板J"i與離線特色模板J'i的相像度S'i和位移d'i，則眼角特色點可進一步修正為XiXid'i，此中為相像2(1exp(10(S'i)))度調(diào)整值，依據(jù)精度要求進行設(shè)置，如精選可設(shè)為0.55。此后履行步驟511，更新其余特色點。第一，計算新的眼角特色點地點與上一幀地點的均勻位移作為人臉剛性運動的初步預計，更新其余特色點全部特色點的坐標為：XiXidavg。此后對每一特色點，重復步驟509與510，對眼角特色點之外的其余特色點的地點進行更新。此后履行步驟512，依據(jù)前一幀的人臉姿態(tài)更新各形狀模型的均勻形狀。本步驟是依據(jù)前一幀預計的人臉姿態(tài)進行偏差賠償，對人臉的形狀模型進行更新，以獲取該姿態(tài)下的形狀模型。此后履行步驟513，鑒于形狀拘束更新全局特色點。本步驟是對全局特色點，依據(jù)賠償?shù)娜中螤钅Ｐ瓦M行形狀拘束，獲取形狀參數(shù)，依據(jù)該形狀參數(shù)獲取正確的全局特色點。本步驟是鑒于步驟512所更新的形狀模型拘束更新全局特色點的地點。此后履行步驟514，鑒于形狀拘束更新局部特色點。本步驟是針對人臉的每一個局部特征，這一過程中，全局特色點不再更新。本步驟是鑒于步驟512所更新的形狀模型拘束更新其局部特色點的地點。此后履行步驟508，對全部特色點，計算其

Gabor特色作為新的在線特色模板

Ji"以上過程依據(jù)檢測的人臉及人眼的地點達成了人臉特色點的檢測定位。因為各個人臉的差別性，其特色點的Gabor特色與離線特色模板的相像度各不同樣。為此，依據(jù)目祖先臉特色點地點獲取其Gabor特色作為后續(xù)幀人臉追蹤的特色模板，即在線特色模板Ji"，以提升人臉特色追蹤的效率和精度。圖6為本發(fā)明人臉比對方法的流程圖。本發(fā)明方法包含：步驟601，人臉追蹤，獲取特色點。本步驟對輸入的視頻或許攝像頭及時畫面中的人臉進行辦理，獲取特色點的精準地點。其詳盡方法在圖1-圖5及其對應的說明書中詳盡說明。應當注意的是，本發(fā)明的追蹤部分采納的人臉特色為人臉的共同性的特色，如圖2中所示28個特色點。此后履行步驟602，檢測圖像質(zhì)量，判斷能否知足條件。本步驟是關(guān)于步驟601所獲取的圖像質(zhì)量進行判斷，判斷圖像以及特色點的提取結(jié)果能否知足注冊或比對的條件。檢測的參數(shù)包含圖像的亮度、光照的均勻性等。若步驟602的判斷結(jié)果為否，則履行步驟610。若步驟602的判斷結(jié)果為是，則履行步驟603，提取詳盡的人臉特色數(shù)據(jù)。應注意的是：為圓滿表達不同樣人臉之間的差別性，需提取合適的人臉特色點，以便充分表達人臉信息。本發(fā)明采納人臉上的顯著特色點作為比對依據(jù)，除了圖2中所示28個特色點外，還增添雙眉之間的中點、鼻根即雙眼之間的中點、鼻尖，等等。依據(jù)精度、運算性能等要求，可對特色點的采納合適進行調(diào)整。而人臉特色點的特色必然采納式（8）中全部80個Gabor復系數(shù)，表達圓滿的人臉信息，以使不同樣人臉之間的差別最大化。步驟603的詳盡方法為：依據(jù)人臉檢測追蹤獲取的精準的人臉特色點地點，插值獲取其余采納的人臉特色點的地點，如：鼻根為雙眼地點的中點、鼻尖為4個鼻測點的中心點，等等。依據(jù)雙眼地點對圖像進行歸一化辦理。依據(jù)式（8）計算獲取人臉特色點i的Gabor特色J'i，全部特色點的Gabor特色即構(gòu)成一個人臉特色模板GjJ'i，i1,2,...,N，N為采納的人臉特色點個數(shù)。此后履行步驟604人臉注冊或許步驟605人臉比對。步驟604人臉注冊是保存人臉特色數(shù)據(jù)至人臉數(shù)據(jù)庫。詳盡方法為：將步驟603獲取的詳盡的人臉特色數(shù)據(jù)與這人已有的人臉特色模板庫進行比較，若其相像度SST，則不保存該特色，不然將該特色加入這人的人臉特色模板庫GGj，>0,...,M，M為這人的特色模板個數(shù)，保存至數(shù)據(jù)庫。閾值ST依據(jù)實驗采納，其相像度S的詳盡計算方法為：（1）對特色模板Gj{J'i}G，j0,...,M，依據(jù)式（9）計算輸入人臉的特色Ji與J'i之間的相像度Sji；（2）計算輸入人臉與特色模板Gj1Sji；的相像度為：SjNi（3）計算輸入人臉與人臉k的相像度為：SmaxSj。j步驟604履行完今后，履行606退出。步驟605是將該人臉特色數(shù)據(jù)與人臉數(shù)據(jù)庫中的每一個人臉的特色數(shù)據(jù)進行比對，獲取其相像性，保存其與數(shù)據(jù)庫中各人臉的相像度值。詳盡方法為：假定數(shù)據(jù)庫中有K個人臉的特色模板庫，則（1）采納數(shù)據(jù)庫中的一個人臉k的特色模板庫GGj，k0,...,K；（2）對特色模板Gj{J'i}G，j0,...,M，依據(jù)式（9）計算輸入人臉的特色Ji與J'i之間的相像度Skji；1Skji；（3）計算輸入人臉與特色模板Gj的相像度為：SkjNi（）計算輸入人臉與人臉k的相像度為：SkmaxSkj；4j）（），獲取輸入人臉與數(shù)據(jù)庫中全部K個人臉的相像度，取其（5）重復步驟（1-4中最大者SmaxmaxSk，獲取其對應的人臉k’。k此中，M為人的特色模板個數(shù)，N為采納的人的人臉特色點個數(shù)，i為人臉特色。此后履行步驟607