一種改進(jìn)的主動(dòng)形狀模型算法

一種改進(jìn)的主動(dòng)形狀模型算法

面部特征的定位是一個(gè)重要的主題，用于識(shí)別和重建臉部特征，跟蹤視圖，引擎等。對(duì)于自動(dòng)人臉識(shí)別系統(tǒng)，面部特征的定位精度和莖性非常重要。在現(xiàn)有的資源點(diǎn)定位算法中，動(dòng)態(tài)模型（asm）算法得到了廣泛應(yīng)用。從asm培訓(xùn)的結(jié)果的平均值模型可以覆蓋各種幾何形狀的子空間，從而具有高的定位精度。此外，粒度和梯度信息的使用可以使形狀模型的收斂速度更快，并提高收斂的可能性。缺點(diǎn)是，僅僅依靠平均模型的初始位置來(lái)保證模型的整體定位的準(zhǔn)確性，而不是基于整體模型的特定位置。在全球形狀模型的幫助下，某些精確定位的特征點(diǎn)可能會(huì)偏離該點(diǎn)，最終的定位結(jié)果也會(huì)發(fā)生偏差。特征點(diǎn)周?chē)枋隽艘子诠饩€條件的灰色特征，這些特征點(diǎn)的位置可以經(jīng)過(guò)全球形狀模型的影響。當(dāng)搜索圖像的光線條件與訓(xùn)練樣本集中圖像的光線條件相差較大時(shí)，基于該算法的粒度模型無(wú)法正確管理特征點(diǎn)的運(yùn)動(dòng)，從而導(dǎo)致算法失敗。本文針對(duì)ASM的缺點(diǎn)進(jìn)行了改進(jìn):根據(jù)瞳孔的精確定位,計(jì)算出平均模型進(jìn)行仿射變換所需要的相關(guān)參數(shù)值,對(duì)平均模型進(jìn)行幾何變換來(lái)估計(jì)初始形狀;在形狀模型中,采用基于成分和整體相結(jié)合的優(yōu)化辦法,分別對(duì)不同的人臉特征區(qū)域成分(輪廓、眉毛、眼睛、嘴巴、鼻子等)建立統(tǒng)計(jì)形狀模型.對(duì)特征點(diǎn)定位結(jié)果先采用基于成分的形狀模型單獨(dú)優(yōu)化,并加入人臉面部相似性構(gòu)形機(jī)制對(duì)定位結(jié)果進(jìn)行約束,將不同的人臉特征區(qū)域結(jié)合為整體進(jìn)行優(yōu)化,充分保證定位結(jié)果的合理性;特征點(diǎn)局部的紋理特征采用Log-Gabor小波系數(shù)進(jìn)行描述,并建立局部紋理模型.由于小波本身是帶通濾波器,可去掉低頻的光照和高頻的噪聲,提高算法的魯棒性.1模型預(yù)測(cè)和目標(biāo)匹配ASM可表示為X=ˉX+Ρb?b=ΡΤ(X-ˉX)(1)其中,向量b即是模型參數(shù),P是整臉模型的特征子空間基,X表示目標(biāo)形狀.ASM由兩部分組成:式(1)表示形狀子空間模型;另一部分是利用模型的搜索過(guò)程.ASM的搜索過(guò)程分為計(jì)算新位置、計(jì)算形狀和姿態(tài)參數(shù)以及參數(shù)更新3步.將模型參數(shù)在其方差范圍內(nèi)隨機(jī)變化可以得到各種虛擬的人臉,從而發(fā)現(xiàn)該模型能很好地反映出各種人臉的變化:從幾何形狀的變化到各種表情的變化,甚至還可以出現(xiàn)一定的面部旋轉(zhuǎn)的變化.ASM局部模型是以特征點(diǎn)為中心的一個(gè)局部窗口或輪廓法線方向的紋理采樣向量{g}進(jìn)行統(tǒng)計(jì)分析得出的.假定其服從多變量高斯分布,則可以利用馬氏距離來(lái)衡量特征點(diǎn)符合模型的準(zhǔn)確性,即f(g)=(g-ˉg)Τ?-1g(g-ˉg).設(shè)當(dāng)前給定得圖像為I,任務(wù)是從圖像中通過(guò)迭代和參數(shù)更新找出目標(biāo)形狀X.在ASM搜索過(guò)程中,平均模型的初始化很重要,好的初始化較少出現(xiàn)局部最優(yōu)的定位結(jié)果.在一幅人臉圖像中,因?yàn)橥椎幕叶戎递^低,所以成為最容易精確定位的部分.本文采用和文獻(xiàn)類似的方法來(lái)取得人臉虹膜的準(zhǔn)確定位:根據(jù)人臉幾何特征先驗(yàn)知識(shí),建立人眼位置的判斷標(biāo)準(zhǔn),對(duì)分割閾值范圍進(jìn)行粗略估計(jì);然后采用分割閾值遞增的方法,并結(jié)合判斷標(biāo)準(zhǔn)判斷人眼的大致位置;最后利用二維相關(guān)系數(shù)作為對(duì)稱性測(cè)度來(lái)準(zhǔn)確檢測(cè)出虹膜位置.該方法在復(fù)雜背景、光照均勻,或是正面人臉以一定角度仰視、俯視或偏轉(zhuǎn)一定角度條件下,都能取得很好的虹膜定位結(jié)果,可以用來(lái)為ASM在搜索前進(jìn)行較準(zhǔn)確的初始化.令平均模型中左右瞳孔的坐標(biāo)分別為(x′1,y′1)和(x′2,y′2),同時(shí)對(duì)待搜索的圖像也進(jìn)行瞳孔定位,得到左右瞳孔的坐標(biāo)為(x1,y1)和(x2,y2),由θ=arctany2-y1x2-x1?s=√(y2-y1)2+(x2-x1)2√(y′2-y′1)2+(x′2-x′1)2?可以計(jì)算出平均模型初始化時(shí)進(jìn)行的旋轉(zhuǎn)角度θ和縮放因子s.取左眼為參考點(diǎn),計(jì)算模型中左眼中心位置和待搜索人臉圖像左眼的中心位置的距離得到平移向量t=(tx,ty)T,由可得到初始形狀s0.其中,(x0i,y0i)為s0的第i個(gè)標(biāo)定點(diǎn),(ˉxi,ˉyi)為平均模型ˉX的第i個(gè)標(biāo)定點(diǎn).2小波基構(gòu)造Log-Gabor小波是由生物學(xué)家Field在1987年提出的,它在對(duì)數(shù)頻率尺度上的傳遞函數(shù)為高斯函數(shù),與Gabor小波相比更能反映自然圖像的頻率響應(yīng),其函數(shù)表達(dá)為其中ω0為濾波器的中心頻率.為了保證濾波器形狀恒定,對(duì)于不同的中心頻率ω0,k?ω0必須保持不變.用Log-Gabor函數(shù)作為小波基構(gòu)造Log-Gabor小波,本文實(shí)驗(yàn)中綜合使用了小波的奇對(duì)稱部分和偶對(duì)稱部分.圖1,2所示為原始圖像(灰度)及其與Log-Gabor濾波器卷積之后的結(jié)果(相位部分).由圖2可以看出,不同尺度和方向上圖像的紋理信息,表明只需4個(gè)尺度、6個(gè)方向、1倍頻的濾波器組對(duì)圖像進(jìn)行采樣,就可以保證原始圖像信息被有效保留,得到圖像的紋理特征.特征點(diǎn)局部紋理采用Log-Gabor小波系數(shù)進(jìn)行描述,并根據(jù)傳統(tǒng)ASM算法中特征點(diǎn)局部灰度模型的建模方法為每個(gè)特征點(diǎn)建立紋理模型,在算法搜索階段用來(lái)尋找特征點(diǎn)的目標(biāo)位置.3人臉資源整合盡管不同人的人臉構(gòu)形不同,但是可以合理地假設(shè)這種構(gòu)形滿足正態(tài)分布,這些知識(shí)可以為人臉面部的特征定位提供有力的支持.中國(guó)科學(xué)院計(jì)算技術(shù)研究所山世光等用手工測(cè)量的方法對(duì)人臉面部主要器官的位置關(guān)系進(jìn)行了統(tǒng)計(jì),參與統(tǒng)計(jì)的人臉樣本數(shù)目為100人,統(tǒng)計(jì)結(jié)果如表1所示.由表1可知,不同個(gè)體的面部構(gòu)形具有較大的相似性,可以用來(lái)指導(dǎo)面部特征區(qū)域的粗略定位.本文實(shí)驗(yàn)中我們用這種相似性構(gòu)形機(jī)制在特征點(diǎn)局部搜索定位、面部各區(qū)域特征形狀模型約束結(jié)果的基礎(chǔ)上,粗略地判斷左右眼睛、鼻子、嘴巴的相對(duì)位置定位的合理性,盡量避免在圖像質(zhì)量較差的情況下出現(xiàn)病態(tài)的定位結(jié)果.4模型的初始化和模型的建立雖然很多學(xué)者對(duì)ASM在特征擴(kuò)展和收斂效率方面做了改進(jìn),但在訓(xùn)練和搜索過(guò)程中ASM仍然對(duì)平均模型的初始化位置依賴性很強(qiáng),且只利用了ASM的整體性,對(duì)于一些質(zhì)量較差的圖像,采用整體模型方法的定位結(jié)果往往不盡人意.我們利用瞳孔精確定位的結(jié)果對(duì)平均模型進(jìn)行精確的初始化,使得模型盡可能地逼近待搜索的人臉圖像,同時(shí)在為ASM建立平均模型時(shí)分別對(duì)人臉面部顯著特征區(qū)域建立形狀模型和特征子空間.4.1培訓(xùn)階段4.1.1局部形狀模型1)獲得訓(xùn)練數(shù)據(jù).取120幅人臉圖像作為訓(xùn)練集,每幅圖像手工標(biāo)定58個(gè)特征點(diǎn),用來(lái)描述人臉各個(gè)顯著特征區(qū)域(輪廓、眉毛、眼睛、鼻子、嘴巴等)的形狀輪廓.將特征點(diǎn)的坐標(biāo)保存為向量的形式,即可得到120個(gè)訓(xùn)練數(shù)據(jù),其中每個(gè)數(shù)據(jù)都是116×1的列向量.圖3所示為標(biāo)定58個(gè)特征點(diǎn)的人臉.2)主分量分析.訓(xùn)練集圖像形狀校準(zhǔn)后,將得到的訓(xùn)練數(shù)據(jù)通過(guò)主分量分析得到整臉形狀模型的特征子空間,對(duì)于任意的人臉形狀X都可以將其表示為X=ˉX+Ρb的形式.其中,ˉX是整臉的平均形狀;P=(p1,p2,…,pt)是整臉模型的特征子空間的基;b=(b1,b2,…,bt)T是整臉的形狀參數(shù),控制前t個(gè)模式的系數(shù),不同的b對(duì)應(yīng)不同的形狀.主分量的累計(jì)貢獻(xiàn)率取98%,t=33,P是116×33的矩陣.將整臉形狀模型分割為7個(gè)局部形狀模型:臉頰輪廓、右眉毛、左眉毛、右眼睛、左眼睛、鼻子輪廓和嘴巴等,對(duì)這7組訓(xùn)練數(shù)據(jù)分別進(jìn)行主分量分析得到各自形狀模型的特征子空間,并計(jì)算相應(yīng)形狀模型的參數(shù)值;則對(duì)于任意局部形狀都有Xlocal=ˉXlocal+Ρlocalblocal,其中,ˉXlocal是各個(gè)局部形狀的平均形狀模型,Plocal=(p1local,p2local,…,ptilocal)是各個(gè)局部模型的特征子空間的基,blocal=(b1local,b2local,…,btilocal)T是各個(gè)局部特征的形狀參數(shù).3)特征點(diǎn)目標(biāo)位置的相似性度量策略.把訓(xùn)練圖像由彩色轉(zhuǎn)為灰度,并進(jìn)行4個(gè)尺度6個(gè)方向的Log-Gabor小波濾波器卷積,每個(gè)特征點(diǎn)得到24個(gè)Log-Gabor系數(shù)組成的向量,用該向量作為特征向量,其含有豐富的角度信息和幅值信息,模型點(diǎn)與候選點(diǎn)之間的相似性度量采用與GaborJets中相似性度量辦法.幅值信息隨位置變化平緩度量,雖然能夠容忍小范圍移動(dòng),但是易產(chǎn)生不正確的空間特征.相角信息隨位移變化較快,可用于精確的定位,我們同時(shí)采用了幅值和相角信息來(lái)計(jì)算模型點(diǎn)和其周?chē)袼攸c(diǎn)紋理匹配中的相似性,即S?(J,J′)=∑jaja′jcos(?j-?′j-dkj)√∑ja2j∑ja′2j(2)其中ˉk=[2π?cos?θλ2π?sin?θλ]Τ.式(2)函數(shù)值越大,表明模型點(diǎn)與候選點(diǎn)之間相似性越大,取使函數(shù)值最大的像素點(diǎn)作為特征點(diǎn)移動(dòng)的目標(biāo)點(diǎn).我們采用3×3的像素塊來(lái)代表一個(gè)特征點(diǎn),通過(guò)計(jì)算塊之間相似度的平均值來(lái)衡量點(diǎn)之間的相似性.為了保證最終由紋理匹配得到的特征點(diǎn)構(gòu)成的形狀滿足模型的約束條件|bi|≤3√λi,在匹配過(guò)程中各個(gè)特征點(diǎn)的搜索范圍由|X-ˉX|≤ΡtΔBt確定.其中ΔBt=(3λ1,3λ2,?,3λt)Τ,經(jīng)過(guò)匹配過(guò)程可得到特征點(diǎn)的精確定位,由這些特征點(diǎn)構(gòu)成的形狀也同時(shí)滿足人臉基于成分的局部形狀模型和人臉整體形狀模型的約束條件.4.1.2局部特征跟蹤利用在訓(xùn)練階段得到的整臉和各個(gè)成分的形狀模型及特征點(diǎn)局部的紋理模型在目標(biāo)圖像中進(jìn)行特征點(diǎn)定位.算法步驟如下:Step1.把測(cè)試集合中的圖像轉(zhuǎn)換為灰度圖像,分別進(jìn)行Log-Gabor小波卷積,得到圖像的紋理描述.Step2.對(duì)目標(biāo)圖像進(jìn)行瞳孔定位,導(dǎo)入在訓(xùn)練階段得到的整臉平均形狀模型,利用瞳孔定位結(jié)果計(jì)算出平均形狀模型進(jìn)行變形所需的仿射變換參數(shù)旋轉(zhuǎn)角度θ、縮放因子s和平移向量t=(tx,ty)T,使其盡量逼近人臉輪廓.Step3.將初始化后的圖像分割為人臉7個(gè)局部特征的初始化形狀.Step4.分別導(dǎo)入各個(gè)局部成分平均形狀模型的參數(shù)和各點(diǎn)的局部經(jīng)驗(yàn)紋理特征參數(shù),利用式(2)計(jì)算特征點(diǎn)與周?chē)袼攸c(diǎn)的相似度,找出每個(gè)特征點(diǎn)的目標(biāo)位置點(diǎn).Step5.根據(jù)Step4中的特征點(diǎn)局部定位結(jié)果,采用平均坐標(biāo)法分別計(jì)算局部候選形狀結(jié)果中眼睛、鼻子、嘴巴的質(zhì)心,并計(jì)算各個(gè)質(zhì)心之間距離與雙目距之比的均值和方差,與表1中的數(shù)值進(jìn)行比較.如果在閾值范圍內(nèi),則接受局部特征的搜索結(jié)果;否則,重新開(kāi)始搜索.Step6.將得到的7個(gè)局部候選形狀合并為新的整臉候選形狀,并在整臉平均形狀模型的特征子空間的約束下尋找整臉的最佳形狀.Step7.輸出新的整臉形狀.5人臉資源整合測(cè)試集樣本均為已標(biāo)定58個(gè)特征點(diǎn)的120幅正面人臉圖像,其中包括正常、微笑、左側(cè)轉(zhuǎn)(小角度)、右側(cè)轉(zhuǎn)(小角度)、吃驚、生氣等6種表情,分辨率為640×480,分別采用傳統(tǒng)ASM和改進(jìn)后的ASM算法逐一進(jìn)行人臉特征點(diǎn)定位實(shí)驗(yàn).為了比較算法的精確性,我們用平均模型的模型點(diǎn)作為參考.假設(shè)手工標(biāo)定的特征點(diǎn)是目標(biāo)點(diǎn),記為O(x,y),利用特征點(diǎn)定位算法得到的特征點(diǎn)記為X(x,y).為了比較O(x,y)和X(x,y)之間的相似性,采用ChebyShev范數(shù)估計(jì)它們之間的距離DistX,Ο=∥X(x,y)-Ο(x,y)∥=max(x,y)|X(x,y)-Ο(x,y)|.DistX,O的值越小,說(shuō)明定位算法的精確度越好.圖4所示為采用傳統(tǒng)ASM算法和本文算法的定位誤差比較,可以看出,本文算法能夠有效地提高人臉面部特征點(diǎn)定位的精確性.同時(shí),采用E=1Ν∑i=1Ν(1n∑j=1n(xij-x′ij)2+(yij-y′ij)2)計(jì)算得到的Euclidean距離錯(cuò)誤對(duì)本文算法性能進(jìn)行測(cè)評(píng).其中N表示總的測(cè)試圖像數(shù)目,這里N=120;n表示人臉面部手工標(biāo)定點(diǎn)的個(gè)數(shù),n=58;(xij,yij)是第i幅測(cè)試圖像中第j個(gè)手工標(biāo)定點(diǎn)坐標(biāo);(x′ij,y′ij)是算法中定位的第j個(gè)特征點(diǎn)坐標(biāo).表2所示為我們對(duì)同樣120幅測(cè)試圖像進(jìn)行實(shí)驗(yàn)的結(jié)果,可以看出本文算法有較高的精確度.6小波系局部特性的實(shí)現(xiàn)本文分析了傳統(tǒng)ASM算