基于多尺度自商圖和形態(tài)濾波的眼睛定位算法

基于多尺度自商圖和形態(tài)濾波的眼睛定位算法

1細胞定位方法眼睛定位是識別面部表情、識別面部特征和分析面部表情的重要環(huán)節(jié)。這是因為兩眼間距受光照或表情變化的影響最小,所以常被用于對圖像進行旋轉(zhuǎn)校正,歸一化和均衡化的標準,同時也是人臉其他部位檢測和提取的基礎(chǔ)。現(xiàn)有的眼睛定位的方法有:Reinders等提出一種基于神經(jīng)網(wǎng)絡(luò)的眼睛定位方法,該方法僅能給出眼睛的大致位置,并不能精確定位眼睛的中心;Wang等提出的利用地形特征定位眼睛;Zhou等使用泛化投影函數(shù)法(GPF),相對于傳統(tǒng)的積分投影有改進;武妍等提出利用灰度信息和瞳孔濾波器進行眼睛定位;Park等提出利用Gabor濾波器和圓形濾波器構(gòu)成的紋理信息進行眼睛定位,有效但是運算復(fù)雜;陳華杰等提出基于分級邊緣方位場匹配的人臉特征定位,但不能精確定位眼睛中心?，F(xiàn)有的眼睛定位方法大多沒有考慮光照的問題,對于光線不均勻的人臉圖像,眼睛的定位正確率通常不高。而且表情的劇烈變化,會導(dǎo)致眼睛的某些特征缺失,如閉眼后,眼睛的眼白和瞳孔特征被隱藏,從而導(dǎo)致利用眼睛水平方向灰度變化特征的眼睛定位算法失效。本文針對光照和表情對眼睛定位產(chǎn)生的影響,提出一種基于多尺度自商圖和形態(tài)濾波的眼睛定位算法。首先提出一種多尺度自商圖方法消除人臉圖像的光照影響;然后綜合運用形態(tài)學(xué)操作的開閉運算提升眼睛區(qū)域特征,并采用相關(guān)系數(shù)法獲得眼睛粗定位,對眼睛睜開與否不敏感;最后對粗定位區(qū)域進行方差投影并二值化后獲得精確的眼睛中心點。在JAFFE數(shù)據(jù)庫、YaleB數(shù)據(jù)庫和AR數(shù)據(jù)庫上測試表明本文算法能很好地定位眼睛中心位置,且對光照、表情具有很好地魯棒性。2多尺度自商圖像光照變化的問題是基于灰度圖像的三維目標識別(如人臉識別)中最困難的問題之一。這個問題在近幾年來得到了廣泛的關(guān)注。在進行眼睛定位的問題上同樣面臨這個問題。消除光照的影響對準確定位眼睛有重要的意義。自商圖像具有光照不變性,為這一問題提供了解決辦法。圖像I(x,y)的自商圖像R(x,y)定義為R(x?y)=Ι(x?y)?Ι(x?y)=Ι(x?y)F(x?y)?Ι(x?y)其中?Ι(x,y)是I(x,y)平滑之后的版本,F(x,y)是平滑濾波核。?為卷積運算,除法運算是逐點進行的。稱R(x,y)為自商圖像是因為它是來源于圖像I(x,y)自身的一種商圖像。但是如果F(x,y)的核太小,R(x,y)將接近1,圖像反射率信息將嚴重丟失。如果F(x,y)的核太大,在階梯性邊緣附近的區(qū)域?qū)⒊霈F(xiàn)光暈效應(yīng)。因此本文提出使用多尺度技術(shù)來使結(jié)果更加魯棒。多尺度自商圖像定義如下:RΜ(x?y)=Ι(x?y)Ν∑n=1wn[F(x?y?σn)?Ι(x?y)]其中F(x,y,σ)表示平滑濾波核函數(shù),即F(x,y,σ)=Ke-(x2+y2)/σ2σ是高斯函數(shù)的尺度參數(shù),K由歸一化函數(shù)決定?F(x,y,σ)dxdy=1式中wn表示第n個平滑濾波核分量平滑的權(quán)值,同時Ν∑n=1wn=1,通常wn=1/N;σn表示第n個平滑濾波核函數(shù)的尺度參數(shù),如果N=3,實驗表明σ取5、10、15效果較好。圖1中給出YaleB人臉庫中的3幅不同方向光照的圖片經(jīng)過處理后得到的多尺度自商圖像。由此看出進過處理后的得到的多尺度自商圖像已經(jīng)消除不同方向的光照影響,同時對人臉重要器官信息很好保存下來,有利于眼睛定位處理。3眼的二值化過程數(shù)學(xué)形態(tài)學(xué)是由一組形態(tài)學(xué)的代數(shù)運算子組成的,主要有膨脹(Dilation)和腐蝕(Erosion)及建立在這兩種運算基礎(chǔ)之上的開(Open)、閉(Close)運算,它們在二值圖像和灰度圖像中各有特點。這里討論灰度形態(tài)學(xué),設(shè)f(x,y)是輸入圖像函數(shù),b(i,j)是結(jié)構(gòu)元素,則有:灰度膨脹函數(shù):(f⊕b)(x?y)=max0≤i?j≤m-1[f(x+i?y+j)+b(i?j)]灰度腐蝕函數(shù):(fΘb)(x?y)=min0≤i?j≤m-1[f(x+i?y+j)-b(i?j)]灰度膨脹運算是在由結(jié)構(gòu)元素確定的區(qū)域中選取f+b的最大值,可用于暗細節(jié)的消除,亮區(qū)域邊緣的增強。腐蝕運算是在由結(jié)構(gòu)元素確定的區(qū)域中選取f-b的最小值。輸出圖像表現(xiàn)為:邊緣部位較亮細節(jié)的灰度值會降低,較亮區(qū)域邊緣會收縮。開運算(Open)定義為:Open(f)=f。b=(fΘb)⊕b閉運算(Close)定義為:Close(f)=f·b=(f⊕b)Θb開運算是先腐蝕運算后進行膨脹運算,能減弱局部小塊亮區(qū)域。閉運算則先膨脹運算后進行腐蝕運算,能填補局部小塊暗區(qū)域。而眼睛區(qū)域既包含眼白這樣的小塊亮區(qū)域(峰值部分),又包含瞳孔這樣的小塊暗區(qū)域(谷值部分)。為了有效地提取眼睛的完整區(qū)域信息。給出眼睛濾波函數(shù)如下:G(x,y)=Rt(x,y)?h(x,y)其中h(x,y)為一低通平滑濾波器,本文選擇為7×7的平滑模版;而Rt(x,y)=|RM(x,y)-Open(RM(x,y))|+|RM(x,y)-Close(RM(x,y))|其中|RM(x,y)-Open(RM(x,y))|能增強圖中的峰值部分,如圖2(b)所示;|RM(x,y)-Close(RM(x,y))|則增強了圖中的谷值部分,如圖2(c)所示;Rt(x,y)是兩者和,能同時增強峰值和谷值部分,如圖2(d)所示。G(x,y)是Rt(x,y)平滑濾波后結(jié)果,如圖2(e)所示,三維表示如圖2(f)所示?？梢钥闯鯣(x,y)中高亮部分對應(yīng)臉部區(qū)域中局部變化突出的眼、嘴部分,其中眼睛區(qū)域特征被有效放大、增強。這樣的處理能有效地突出眼部信息,減弱眼鏡、頭發(fā)的干擾,同時對眼睛的開閉不敏感。為了取出有效的眼睛區(qū)域,需要進行二值化。自適應(yīng)二值化閾值設(shè)置為:thr=mean(G(x,y))+0.1×[maxG(x,y))-mean(G(x,y))]用thr對眼睛濾波圖G(x,y)進行二值化,得到二值化的眼睛候選區(qū)M(x,y)。Μ(x?y)={1?G(x?y)＞thr0?otherwise然后用M(x,y)去RM(x,y)中取出左右候選眼,然后對左右眼進行相關(guān)性評價。設(shè)有的N個候選眼,則需要進行次匹配(N×(N-1))/2,運算量將較大。為了減少搜索空間,加入以下先驗知識進行約束:眼睛在臉部上方,且眼睛下方一定距離為平坦的臉頰;兩眼中心距離范圍一定,超過圖片寬度2/3的不是眼睛對,小于圖片寬度1/3的不是眼睛對。設(shè)兩個候選區(qū)域中心距離為l,則分別在多尺度自商圖RM(x,y)中以兩候選眼為中心取出0.4l×0.8l兩候選眼睛窗區(qū)域,并計算這兩個候選眼睛窗的相關(guān)系數(shù)。給出的相關(guān)系數(shù)計算方法為:S=1|Lal-Lar|+|Μl-Μr|其中Lal和Lar分別為左右候選眼區(qū)域的灰度值,Ml和Mr分別為左右候選眼的平均灰度值。對所有候選眼睛對進行運用式計算相關(guān)性,其相關(guān)系數(shù)最高的眼睛對為最終確定的眼睛對。4細胞區(qū)域二值化為了得到眼睛的精確位置,需要對粗定位的眼睛對每只眼睛區(qū)域進行二次定位?？紤]部分眼睛區(qū)域會包含眉毛區(qū)域,采用文獻中對傳統(tǒng)積分投影方法(IPF)改進算法,即方差投影函數(shù)方法(VPF),能增加魯棒性。方差投影函數(shù)為:δ2v=1y2-y1y2∑y=y1[Ι(x?yi)-Vmean(x)]2δ2h=1x2-x1x2∑x=x1[Ι(xi?y)-Ηmean(y)]2式中,Vmean和Hmean為傳統(tǒng)積分投影(豎直和水平)函數(shù)的均值。運用方差投影函數(shù)對候選眼區(qū)域進行投影(如圖3(b)所示,紅色曲線表示垂直投影,綠色曲線表示水平投影),相對于積分投影(如圖3(a)所示)更能準確的提取瞳孔位置。利用方差投影曲線可得瞳孔的區(qū)域,但是眼睛中心點往往不是瞳孔的中心,這是因為隨著眼睛視線方向的改變,瞳孔的位置會發(fā)生改變。為了精確的獲得眼睛的中心點,設(shè)瞳孔直徑為d,以瞳孔為中心,取2d×4d的區(qū)域,進行二值化。對該區(qū)域分析后可得眼部區(qū)域四個坐標,即中部最上點坐標T,中部最低點坐標B,最左邊坐標L,最右邊坐標R。故眼睛中心點坐標C=(T+B+L+R)/4,這樣得到的眼睛中心點不僅更接近真正的眼睛中心點,而且抗干擾能力更強。圖3(c)給出一個結(jié)果,其中眼睛上下點用藍色“+”表示,左右點用綠色“+”表示,眼睛中心點用紅色“+”表示。5+3dd-dr的算法測試結(jié)果測試數(shù)據(jù)分別來自JAFFE數(shù)據(jù)庫、YaleB數(shù)據(jù)庫和AR數(shù)據(jù)庫,并采用RainerLienhart提出改進的AdaBoost方法進行人臉檢測,所有實驗照片均能被準確人臉定位。本次實驗采用了Jesorsky等人的度量標準,設(shè)手工標注的左右眼睛準確中心位置為Cl和Cr,檢測到的左右眼睛位置分別為?Cl和C^r,dl為Cl到C^1的歐氏距離,dr為Cr到C^r的歐氏距離,dlr為Cl和Cr間的歐氏距離,則定位的相對誤差定義為:err=max(dl?dr)dlr如果err<0.25,則認為定位正確。一般來說,dlr約為眼睛寬度的兩倍,這樣err=0.25就意味著dl和dr中較大的一個距離約為眼睛寬度的一半,也就是說,低于這個誤差被認為是可以接受的。但如果err≥0.25,則認為沒有正確的定位到眼睛位置。影響眼睛定位的主要因素有:光照、表情、眼鏡等附屬物。為了驗證本文算法,將3個人臉庫分成4組進行實驗:表情變化實驗,采用數(shù)據(jù)庫為JAFFE數(shù)據(jù)庫;光照變化實驗,采用YaleB數(shù)據(jù)庫;表情光照變化實驗,采用AR數(shù)據(jù)庫部分(除去戴眼鏡人的圖片);表情光照變化+眼鏡實驗,采用AR數(shù)據(jù)庫。其中實驗用JAFFE數(shù)據(jù)庫為JAFFE數(shù)據(jù)庫全部圖片共213幅圖片,由10個日本女性的7(6種基本表情和中性表情)種表情構(gòu)成,光照不變,手工標定眼睛位置;實驗用YaleB數(shù)據(jù)庫為從YaleB人臉數(shù)據(jù)庫(10人,每人9種姿態(tài)×64種光照)中隨機抽取了不同光照變化方向每人80張共800張,均為中性表情,手工標定眼睛位置;實驗用AR數(shù)據(jù)庫為從AR人臉數(shù)據(jù)庫(男性70人,女性56人,共126人)中抽取編號為1～7的四種表情、3種光照圖片共計882張,其中不戴眼鏡91人共637張,戴眼鏡35人共245張,手工標定眼睛位置。實驗結(jié)果由表1給出。從表1可以看出本文算法在表情實驗、光照實驗和光照表情實驗3組實驗中均有很高的眼睛定位正確率,這說明本文算法對光照、表情變化非常魯棒。圖4給出了這3個庫上部分結(jié)果圖。但是當(dāng)進行第四組實驗時,由于有245張圖片中佩戴眼鏡,特別是有邊框眼鏡以及鏡片的強反光帶來的干擾,導(dǎo)致眼睛定位率急劇下降。表2給出了不同算法在相同標準下,即err<0.25條件下對JAFFE數(shù)據(jù)庫的眼睛定位性能。可以看出本文算法相對于文獻提出的地形特征法、文獻提出的泛化投影函數(shù)法(GPF)、文獻提出的灰度信息和瞳孔濾波器法均有提高,與最近文獻提出利用Gabor濾波器和圓形濾波器構(gòu)成的紋理信息進行眼睛定位的算法性能相當(dāng),但計算過程較簡單且易實現(xiàn)。6算法的內(nèi)在誤差本文針對光照和表情對眼睛定位產(chǎn)