一種魯棒的人臉特征點定位方法

一種魯棒的人臉特征點定位方法

近年來，作為計算視覺的一個重要課題，人類特征的檢測主要有兩種方法：自下而上的方法和自上而下的方法。自頂向下的方法從人臉圖像的全局入手,嚴(yán)密考察各器官之間的關(guān)系,從而提取出人臉的特征,并對人臉進(jìn)行跟蹤.很多較為成功的自頂向下的方法是基于主動外觀模型(activeappearancemodel,AAM)發(fā)展起來的.Edwards等人首次將AAM應(yīng)用于人臉識別.Cootes等人使用多個AAM對人臉進(jìn)行跟蹤.Hou等人提出了直接外觀模型(directappearancemodel,DAM),通過參數(shù)的最新變化直接預(yù)測形狀,不再將形狀和紋理信息結(jié)合在一起.Li等人改進(jìn)了DAM方法,將其用于不同視角的人臉對齊.自頂向下的方法能夠較好地把握全局信息,但是缺點在于對初始位置的定位非常重要,一旦出現(xiàn)偏差,將導(dǎo)致整體跟蹤結(jié)果的偏移和變形.另外,AAM采用主元分析作為統(tǒng)計分析工具,其缺點在于所獲得的每個參數(shù)對整個模型都產(chǎn)生作用,不能通過調(diào)節(jié)某個參數(shù)來控制特定的區(qū)域,使得基于AAM構(gòu)建的統(tǒng)計模型不能用來自由地生成某個特定的期望圖形.因此當(dāng)采用AAM對整體人臉進(jìn)行跟蹤時,會產(chǎn)生由于局部區(qū)域統(tǒng)計誤差導(dǎo)致的整體人臉跟蹤不準(zhǔn)確.自底向上的方法與自頂向下的方法正好相反,考慮到人臉各器官之間存在著空間約束,通過對各局部信息(臉部器官)的定位和跟蹤,并結(jié)合器官之間的空間位置關(guān)系,完成對整體(人臉)的定位和跟蹤.絕大多數(shù)自底向上的方法均將眼睛作為首選的特征進(jìn)行搜索,這主要是因為眼睛具有特殊的外觀特性以及相對穩(wěn)定的對稱特性,可以使用自由伸縮模板方法或基于特征空間的方法等.但是這些方法都是在亮度空間內(nèi)對眼睛進(jìn)行搜索,其效果難免會受到獲取圖像時的狀態(tài)的影響,比如光照條件、臉的朝向和位置以及表情等.在AAM被提出后,Cootes等人通過首先對眼睛進(jìn)行定位來實現(xiàn)對AAM的約束.近年來,隨著硬件設(shè)備的發(fā)展,產(chǎn)生了一些根據(jù)人眼虹膜的光學(xué)特性進(jìn)行跟蹤的儀器,如Zhu等人使用特殊的紅外線儀器追蹤眼睛瞳孔,在此基礎(chǔ)上采用基于MeanShift的眼睛追蹤模型來改進(jìn)追蹤結(jié)果.鼻孔也經(jīng)常被作為搜索和追蹤的特征,但是當(dāng)人低頭時,很容易導(dǎo)致無法檢測到鼻孔,這是一個致命的缺陷,因此鼻孔一般作為輔助的搜索特征.Gorodnichy提出的算法直接通過對反光情況的計算來確定鼻尖位置,并以此作為追蹤的目標(biāo).Wang等人結(jié)合使用了粒子濾波器,但是僅僅對嘴唇進(jìn)行了跟蹤.引入多個跟蹤特征可以加強(qiáng)跟蹤的魯棒性,Torre等人作了一些嘗試,但是只切換地跟蹤了人臉中的眼睛或嘴唇,并沒有對它們進(jìn)行同時跟蹤.還有很多方法對眉毛、眼睛、鼻子、嘴等區(qū)域分別進(jìn)行跟蹤,但是識別效果一般,而且需要細(xì)節(jié)支持,如皺紋等,另外其捕捉精度也相對較低.針對目前存在的人臉特征點定位問題,本文提出了一種魯棒的人臉特征點自動定位方法.在訓(xùn)練的基礎(chǔ)上,首先從具有較強(qiáng)特征的人眼入手,再對多器官進(jìn)行有權(quán)重的組合,自底向上地對人臉器官進(jìn)行定位,從而魯棒地得到人臉的特征信息,取得了較好的效果.1人臉位置的征提取人臉檢測和面部器官特征區(qū)域定位是人臉特征提取的前提和基礎(chǔ).本文提出的方法首先將準(zhǔn)確的人臉位置從背景中檢測并分割出來,再對臉部各個器官的特征區(qū)域進(jìn)行定位.1.1橢圓模型擬合雖然不同人的皮膚顏色可能相差很大,但是它們在色度上的差異遠(yuǎn)小于亮度上的差異.通過實驗發(fā)現(xiàn),人的膚色在YCbCr空間中大致是Cb值為150和Cr值為100.因此,本文建立了一個數(shù)學(xué)模型,通過輸入像素的Cb和Cr值,利用一個函數(shù)來計算該像素是皮膚的概率.假設(shè)膚色模型服從高斯分布N(m,C),其中m為[Cb,Cr]的數(shù)學(xué)期望值,C為[Cb,Cr]的協(xié)方差,則輸出點的膚色概率可以表示為Ρ(Cb,Cr)=exp(-0.5(x-m)C-1(x-m)Τ),x=[Cb,Cr]Τ.}(1)通過膚色模型得到的人臉區(qū)域由于周圍相似膚色的影響,可能包含局部冗余信息,因此本文方法采用橢圓模型進(jìn)行匹配.一個橢圓可以通過它的中心(ˉx,ˉy)、長軸與x軸的夾角θ,以及短半軸a、長半軸b來確定.假設(shè)C是一個待匹配的連通區(qū)域,該區(qū)域的總像素點為N,則匹配橢圓的中心就是該連通區(qū)域的重心.橢圓的方向由該連通區(qū)域的中心矩得到:θ=12arctan(2μ1?1μ2?0-μ0,2).(2)式中:μi,j=1ΝΝ∑k=1(xk-ˉx)i(yk-ˉy)j.定義Imin、Imax分別為傾角為θ的橢圓的最小和最大慣性力矩:Ιmin=∑(x,y)∈C[(x-ˉx)cosθ-(y-ˉy)sinθ]2,Ιmax=∑(x,y)∈C[(x-ˉx)sinθ-(y-ˉy)cosθ]2.}(3)則長、短半軸長度分別為a=(4/π)1/4[Ι3max/Ιmin]1/8,b=(4/π)1/4[Ι3min/Ιmax]1/8.}(4)由式(2)～(4)可以得到與區(qū)域最匹配的橢圓E,然后定義評價函數(shù)為V=[∑(x,y)∈E(1-b(x,y))+∑(x,y)∈C∩(x,y)∈Eb(x,y)]/∑(x,y)∈E1.(5)式中:b(x,y)={1,若(x,y)∈C;0,否.V計算了橢圓內(nèi)部空洞的點數(shù)以及區(qū)域內(nèi)位于橢圓外側(cè)的點數(shù),V的值被用來衡量區(qū)域與橢圓的相似性.V的值越小,則匹配程度越好.然后根據(jù)如下約束條件進(jìn)行篩選:1)橢圓擬合評價函數(shù)V小于閾值T1;2)橢圓長短軸比例a/b小于閾值T2;3)橢圓長軸與水平方向夾角θ的絕對值大于閾值T3.假定所有人臉在圖片中都處在正立或者稍傾斜狀態(tài),經(jīng)過多次實驗給出的上述閾值的經(jīng)驗值分別為T1=0.5,T2=3,T3=5π/12.經(jīng)過篩選可以去掉與皮膚顏色相似的噪音像素,剩下的就是所需要的人臉區(qū)域.1.2聲的過分增強(qiáng)在通過上述方法得到的人臉圖像中,利用基于先驗經(jīng)驗的人臉器官的幾何模型來定位其特征區(qū)域.首先對人臉區(qū)域進(jìn)行降噪和二值化的預(yù)處理,然后對得到的特征區(qū)域進(jìn)行標(biāo)記,查找出器官候選區(qū),最后使用基于經(jīng)驗的幾何模型對器官特征區(qū)域進(jìn)行定位.為了得到正確的面部器官特征信息,首先需要去掉人臉上的其他信息,否則這些信息會干擾面部器官特征區(qū)域的選取.對圖像進(jìn)行高通濾波可以增加面部器官與其他區(qū)域的對比度.為了防止對背景噪聲過分增強(qiáng)的副效應(yīng),采用Sobel梯度算子計算高通模板的中心權(quán)重.在位置(x,y)處中心權(quán)重的計算公式為w=[z(1-s)+(1-z)(1-g)]·(f-8)+8.z={0.4,s>0.5;0.8,s≤0.5.(6)式中:s為點(x,y)處歸一化的Sobel梯度值;g為歸一化的灰度值;z是為了防止對背景噪聲的過分增強(qiáng),根據(jù)Sobel梯度值設(shè)置的一個權(quán)重調(diào)整參數(shù);f為經(jīng)驗的高通系數(shù),這里取11.因此中心權(quán)重值與該點的梯度值及灰度值都有關(guān).最后通過取閾值將高通濾波后的圖像進(jìn)行二值化處理,并進(jìn)行區(qū)域標(biāo)記,對標(biāo)記后的每個區(qū)域塊計算塊的中心(x,y)以及方向角.如果器官特征區(qū)域被分成幾個不同的特征塊,則它的大小、中心都會改變,從而影響下一步匹配的正確性.因此需要采用近鄰法對同一器官的分開的塊進(jìn)行合并.經(jīng)過標(biāo)記及合并,每一塊特征信息都被看作面部器官候選特征.通過對人臉器官歐氏距離取平均,可以構(gòu)造出由特征塊組成的人臉幾何模型,如圖1所示.在圖1中,以2個眼睛中心的連線為基準(zhǔn)線,設(shè)(x1,y1)及(x2,y2)分別代表右眼A及左眼B的中心,則該基準(zhǔn)線ax+by+c=0的基準(zhǔn)系數(shù)及其與x軸的夾角為a=y2-y1,b=x1-x2,c=x2y1-x1y2,θ=tan-1(-b/a),-π/2≤θ≤π/2.}(7)令Dn、De和Dm分別為根據(jù)經(jīng)驗推算得到的鼻心、眉心和嘴的中心到基準(zhǔn)線的歐氏距離,假設(shè)以兩眼間的歐氏距離D=√(x1-x2)2+(y1-y2)2為基準(zhǔn)距離,根據(jù)先驗知識,在人臉器官的幾何模型中Dn、De和Dm可以分別用0.6D、0.3D和1.0D來表示.對于眼睛,任意選擇2個特征塊,在已知基準(zhǔn)系數(shù)和θ的情況下,計算其方向角θ1和θ2,并歸一化半長軸長l1和l2,用以下評價函數(shù)估計這2個特征塊與眼睛的相似度:Ee=exp{-1.2[(l1-l2)2+(l1+l2-D)2+(θ1-θ)2+(θ2-θ)2]}.(8)式中:指數(shù)第一項計算2只眼睛的相似度,第二項計算兩眼中心距離和每眼長度的距離差,最后兩項計算兩眼是否位于基準(zhǔn)線上.當(dāng)該評價函數(shù)大于一定閾值時,這2個特征塊被判定為眼睛特征區(qū)域.對于嘴,假設(shè)第k個特征塊的中心為(ˉxk,ˉyk),嘴中心至基準(zhǔn)線的歐氏距離為dm=|aˉxk+bˉyk+c|/√a2+b2.(9)本文采用如下評價函數(shù)來估計第k個特征塊與嘴的相似度:Em=exp[-4.8(dm-Dm)/D2].(10)類似的,可以對左、右眉毛及鼻子設(shè)計評價函數(shù)進(jìn)行檢測,記其評價函數(shù)分別為Erb、Elb和En,最后采用全局評價函數(shù)來決定其特征區(qū)域和人體器官結(jié)構(gòu)的相似度.定義全局評價函數(shù)為E=0.5Ee+0.2Em+0.1Erb+0.1Elb+0.1En.(11)可以看出,本文方法根據(jù)經(jīng)驗知識指定了在定位過程中,眼睛重要性最高,嘴其次,然后是眉毛,最后才是鼻子.2fap的定義和算法本文方法采用AAM對人臉進(jìn)行特征提取和跟蹤匹配.如上文所述,AAM是一個全局性的方法,當(dāng)初始模型不正確時,很容易造成匹配結(jié)果的變形和偏差,因此本文方法在該模型的基礎(chǔ)上采用1.2小節(jié)中區(qū)域劃分的結(jié)果,在局部區(qū)域內(nèi)繼續(xù)進(jìn)行跟蹤,使初始模型達(dá)到局部最優(yōu)效果,并將其推廣到多器官的組合乃至整張臉,以期達(dá)到較好的跟蹤效果.通過前面對人臉各個器官區(qū)域進(jìn)行定位,設(shè)定了不同的搜索區(qū)域窗口,然后分別對每個器官進(jìn)行訓(xùn)練,并利用器官訓(xùn)練集在窗口內(nèi)進(jìn)行搜索.這樣“分而治之”的方法克服了由于主元分析的統(tǒng)計模型所帶來的整體統(tǒng)計的局限性,可以使跟蹤達(dá)到局部最優(yōu)化的效果,從而使匹配的效率和準(zhǔn)確率大大提高.在平衡了算法效率和效果后,本文方法參考了MPEG-4中人臉動畫參數(shù)(faceanimationparameter,FAP)的定義,采用58個特征點(13個輪廓點和45個內(nèi)部特征點)定義人臉外形特征,如圖2(a)所示.通過上述器官區(qū)域定位,可以得到如圖2(b)所示包含人臉器官的矩形窗口Rle(左眼)、Rre(右眼)、Rlb(左眉)、Rrb(右眉)、Rn(鼻子)、Rm(嘴)以及橢圓窗口Rc(臉部),然后擴(kuò)展出眼部左、右區(qū)域Rl和Rr(圖2(b)中包含Rle、Rlb的矩形框和包含Rre、Rrb的矩形框)、眼部區(qū)域Reye(圖2(b)中包含Rl、Rr的矩形框)、眼鼻部區(qū)域Ren(圖2(b)中包含Reye和Rn的矩形框)、眼鼻嘴部區(qū)域Renm(圖2(b)中包含Ren和Rm的矩形框)、整個臉部區(qū)域Rf(圖2(b)中人臉最外部的矩形框),并針對每個區(qū)域采用標(biāo)準(zhǔn)AAM進(jìn)行訓(xùn)練生成13個訓(xùn)練集.本文方法的局部搜索算法的步驟如下.1)單獨對于右眼區(qū)域Rre、右眉區(qū)域Rrb分別利用其AAM訓(xùn)練庫進(jìn)行匹配,并根據(jù)與模板的距離(各點偏移絕對值之和,下同)作為估算誤差Ere和Erb,然后對右眼部區(qū)域Rr利用對應(yīng)的AAM訓(xùn)練庫進(jìn)行匹配,得到估算誤差Er.比較2種方法的估算誤差,如果(Ere+Erb)/2<Er,則采用右眼眉分區(qū)域AAM搜索局部更優(yōu),令E0=(Ere+Erb)/2;否則,右眼眉區(qū)域整體AAM搜索局部更優(yōu),令E0=Er.對左眼,同理得到E1.2)對眼部區(qū)域Re使用對應(yīng)的AAM訓(xùn)練庫進(jìn)行匹配,得到估算誤差Ee.比較分別在左眼區(qū)域和右眼區(qū)域得到的局部最優(yōu)方法的估算誤差E0和E1,如果(E0+E1)/2<Ee,則采用左、右眼部區(qū)域分別搜索局部最優(yōu),令E2=(E0+E1)/2;否則,眼部區(qū)域的整體搜索局部最優(yōu),令E2=Ee.3)對眼鼻區(qū)域Ren使用對應(yīng)的AAM訓(xùn)練庫進(jìn)行匹配,得到估算誤差Een.然后得到鼻子部整體搜索的估算誤差En,合并眼部區(qū)域得到的局部最優(yōu)方法估算誤差E2與眼鼻區(qū)域進(jìn)行比較.如果(E2+En)/2<Een,則采用左、右眼部區(qū)域分別搜索局部最優(yōu),令E3=(E2+En)/2;否則,眼部區(qū)域的整體搜索局部最優(yōu),令E3=Een.同理,加入嘴部區(qū)域后比較E3、Em和眼鼻嘴整體區(qū)域Eenm,令E4=min((E3+Em)/2,Eenm).4)最后加入臉部輪廓區(qū)域后比較E4、Ec和人臉整體區(qū)域Ef,令E5=min((E4+Ec)/2,Ef).此時,整體搜索完成,E5即為整體最優(yōu)的估計誤差.通過這樣的迭代過程,局部特征的最優(yōu)性得到了保證;通過結(jié)合整體統(tǒng)計的方法,獲得較高的特征定位精度.3實驗結(jié)果與分析用于皮膚模型生成的樣本圖片共計155張人臉圖像和123張非人臉圖像,通過計算樣本可得m=[117.4361,156.5599]Τ,C=[160.1301,12.143012.1430,299.4574].為了驗證模型的魯棒性,選取一些人臉或者非人臉的圖像進(jìn)行測試和概率計算,并對計算結(jié)果進(jìn)行統(tǒng)計,結(jié)果如表1所示.由實驗可知,直接采用高斯模型判斷膚色已經(jīng)能夠取得較好的效果.雖然在非膚色的像素集合中也存在比較接近膚色的像素點,但膚色和非膚色的像素概率平均值仍然有非常明顯的差別,由此證明本文方法所采用的皮膚模型是比較成功的.圖3給出了本文方法的搜索效果與一般自頂向下的AAM的搜索效果的對比,可以看到本