面部遮區(qū)的魯棒表情識別

面部遮區(qū)的魯棒表情識別

隨著計算機科學(xué)和模式識別技術(shù)的快速發(fā)展，自動面部表情識別已成為研究的熱點。研究人員提出了幾種方法來識別人們的情緒（如歡樂、悲傷、驚喜、憤怒、可怕、害怕等）以及面部動作單元（如內(nèi)部眉毛、外部眉毛等）。由于面部表情的復(fù)雜性和多樣性，許多面部表情識別研究通常局限于單一背景、相同的攝影、沒有頭部運動、沒有說話等控制環(huán)境。相對于受控環(huán)境下的人臉表情識別,魯棒表情識別要求對光照變化、頭部運動、噪聲、部分遮擋等具有魯棒性.其中,對遮擋具有魯棒性的人臉表情識別獲得了更多的關(guān)注.文獻(xiàn)提出了表情特征局部表征和分類器融合,實現(xiàn)了對存在遮擋的表情序列的識別.文獻(xiàn)提出了人臉局部空間動力學(xué)狀態(tài)模型,從視頻序列魯棒地識別人臉表情.文獻(xiàn)提出了基于Gabor小波的特征提取和2種分類器的表情識別,獲得了對眼部、嘴部等局部遮擋情況下表情識別的魯棒性.文獻(xiàn)提出了3種基于主成分分析(PCA,PrincipalComponentAnalysis)的方法重構(gòu)具有遮擋的面部表情,并取得了較好的表情識別效果.上述研究提出了各種方法識別具有遮擋的面部表情,但沒有檢測和去除面部遮擋.這使得待識別的表情仍然存在遮擋物的錯誤信息,不可避免對表情識別結(jié)果造成誤差.本文提出了一種先檢測并去除遮擋,然后進(jìn)行表情識別的方法.該方法采用魯棒主成分分析(RPCA,RobustPrincipalComponentAnalysis)和顯著性檢測實現(xiàn)對面部遮擋的檢測,并提出遮擋區(qū)域重構(gòu)和更新權(quán)值的AdaBoost分類器進(jìn)行魯棒表情識別的方法,實現(xiàn)了對面部遮擋的魯棒性.1d結(jié)合rpca的資本積累檢測姿勢的變化、眼鏡、頭發(fā)或手等均可能造成面部的遮擋,這些遮擋會對人臉表情識別造成不利的影響.本文提出基于RPCA的面部表情重構(gòu)和顯著性檢測方法進(jìn)行面部遮擋檢測.1.1檢測rpca的能量函數(shù)PCA是一種用于降低數(shù)據(jù)維數(shù)的統(tǒng)計方法,并能夠盡量保留原始數(shù)據(jù)的變化.但是PCA并不能很好地處理由頭發(fā)、手等遮擋影響的表情.文獻(xiàn)提出了RPCA,它對于訓(xùn)練樣本中的非目標(biāo)(由于遮擋、光照、圖像噪聲等造成的贗品)具有魯棒性,可以用于從噪聲數(shù)據(jù)中構(gòu)建低維線性子空間.本文將RPCA應(yīng)用于有遮擋的人臉表情重構(gòu),以實現(xiàn)對遮擋的魯棒性.定義D=[d1,d2,…,dn]∈Rm×n,其中每一列di為一個訓(xùn)練圖像樣本,n為訓(xùn)練圖像數(shù),m為每一個圖像樣本的像素數(shù),則RPCA的能量函數(shù)如式(1)所示:Erpca(B,C,μ,L)=n∑i=1m∑p=1[Lpi(?e2piσ2p)+Ρ(Lpi)](1)式中,B=[b1,b2,…,bk]∈Rm×k為D的前k個主成分;C=[c1,c2,…,cn]=BT為系數(shù)矩陣;μ為樣本均值;σ=[σ1,σ2,…,σm]T為對應(yīng)m個像素位置的尺度參數(shù);?epi=dpi-μp-k∑j=1bpjcji為誤差值,其中dpi,μp,bpj,cji分別為D,μ,B,C的元素;0≤Lpi≤1為基于圖像和像素位置的非目標(biāo)處理;Ρ(Lpi)=(√Lpi-1)2為懲罰函數(shù).通過RPCA訓(xùn)練獲得基底B和均值dmean,則RPCA重構(gòu)圖像對應(yīng)的列向量dreci可由下式得到:dreci=dmean+BBΤ(di-dmean)(2)當(dāng)訓(xùn)練包含眼鏡、頭發(fā)或手等遮擋的人臉圖像時,與遮擋對應(yīng)的像素可能被RPCA認(rèn)為是非目標(biāo).因此,由RPCA重構(gòu)的圖像可能不會包含遮擋.圖1為由PCA和RPCA重構(gòu)人臉的效果.可以看出由RPCA重構(gòu)的人臉圖像包含了較少由遮擋引入的錯誤信息.1.2局部顯著性檢測本文采用顯著性檢測方法定位人臉上的遮擋區(qū)域.對待識別的人臉圖像I進(jìn)行RPCA重構(gòu),獲得重構(gòu)圖像R,它們的差值圖像D被送入一個顯著性檢測器,尋找具有高復(fù)雜度的局部區(qū)域(局部顯著性值HD,RX大于某閾值),這些區(qū)域被假定為遮擋區(qū)域.局部顯著性檢測的定義如式(3)所示:ΗD,RX=-∑iΡD,RX(li)lbΡD,RX(li)(3)其中PD,RX(li)為D在局部區(qū)域RX取值li的概率.由于人臉具有顯著性的特點(如眼睛、嘴巴等),基于差值圖像的顯著性檢測方法可以很容易地檢測出人臉上重要區(qū)域的遮擋.圖2所示為手遮擋和人造遮擋被檢測的結(jié)果.2盧伯茨表情識別遮擋的處理對于實現(xiàn)魯棒的表情識別尤為重要.本文提出基于RPCA的遮擋區(qū)域重構(gòu)和更新權(quán)值的AdaBoost方法實現(xiàn)魯棒的表情識別.2.1旋轉(zhuǎn)特征本文采用一組擴展的類Haar小波特征用于boost學(xué)習(xí).如圖3所示,該組特征包含了7個垂直特征和7個45°旋轉(zhuǎn)特征,并能夠取得較矩形特征更好的效果.為了簡化45°旋轉(zhuǎn)特征的計算,本文采用旋轉(zhuǎn)訓(xùn)練圖像的方法,則圖4a中的45°旋轉(zhuǎn)特征就變成圖4b中的垂直特征.通過積分圖像的方法,可以快速計算原始訓(xùn)練圖像和旋轉(zhuǎn)的訓(xùn)練圖像中的所有垂直特征.2.2局部遮遮法重構(gòu)人臉圖像雖然RPCA對遮擋具有魯棒性,但其不能重構(gòu)原始圖像的所有細(xì)節(jié),可能存在誤差,所以將整個重構(gòu)圖像替代原始圖像將引入誤差.為了減小遮擋區(qū)域的影響,本文采用局部遮擋區(qū)域重構(gòu)的方法,將I的遮擋區(qū)域Rocl的像素值由R的相應(yīng)區(qū)域像素值代替,得到遮擋區(qū)域重構(gòu)人臉圖像P,如式(4)所示:Ρ(x,y)={Ι(x,y)(x,y)?RoclR(x,y)(x,y)∈Rocl(4)2.3基于adabolst的多分類訓(xùn)練分類器為了減少面部遮擋的影響,本文提出更新權(quán)值的AdaBoost方法進(jìn)行表情識別.該方法首先基于一對多的多分類AdaBoost方法訓(xùn)練分類器,然后根據(jù)遮擋情況更新弱分類器權(quán)值,其過程如下.步驟1給定訓(xùn)練樣本(x1,y1),(x2,y2),…,(xn,yn),其中xi為第i個訓(xùn)練圖像,yi∈{1,2,…,k}為xi所屬類別,k為類別數(shù).步驟2設(shè)定l=1,2,…,k1開始初始類型對于yi=l,ω1,i(l)=12nl;對于yi≠l,ω1,i(l)=12(n-nl).2基于adabsost的adabsot特征區(qū)域面積l①歸一化權(quán)值ωt,i(i)←ωt,i(l)n∑j=1ωt,j(l)使得ωt為一個概率分布.②對于每一個特征j,訓(xùn)練一個使用單個特征的分類器hj,并根據(jù)ωt(l)計算誤差εj=∑iωi(l)|hj(xi)-yi|.③選擇分類器ht(l),使其有最低的誤差εt.④更新權(quán)值:ωt+1,i(l)=ωt,i(l)β1-eit,其中,如果樣本xi被正確分類,ei=0,否則ei=1,并且βt=εt1-εt,αt(l)=log1βt.步驟3分類器Η(x)=argmaxl∑tαt(l)ht(x,l)∑tαt(l)步驟4更新權(quán)值的AdaBoost分類器為Η′(x)=argmaxl∑tα′t(l)ht(x,l)∑tα′t(l)式中,α′t(l)=αt(l)×(1-RotRft);Rft為特征區(qū)域面積;Rot為弱分類器特征區(qū)域和遮擋區(qū)域的交疊區(qū)域面積,如圖5所示.3結(jié)果3.1研究方法圖像數(shù)據(jù)本文的算法在BHU(BeihangUniversity)人臉表情數(shù)據(jù)庫和日本女性表情數(shù)據(jù)庫上進(jìn)行訓(xùn)練和測試.本文首先從BHU人臉表情數(shù)據(jù)庫收集了105個表情圖像用于RPCA訓(xùn)練,其中一部分不包含遮擋,一部分包含遮擋.圖6所示為包含頭發(fā)遮擋、手遮擋、眼鏡遮擋以及人工添加遮擋的表情圖像.本文從BHU人臉表情數(shù)據(jù)庫和日本女性表情數(shù)據(jù)庫收集了6種表情(高興、厭惡、生氣、害怕、驚訝、悲傷)共1200個人臉圖像,每種表情200個圖像,其中100個用于訓(xùn)練,100個用于測試.所有樣本都?xì)w一化為24×24大小的灰度圖像并進(jìn)行了直方圖均衡.圖7為數(shù)據(jù)集的樣本表情.3.2不同遮擋方法對比本文進(jìn)行RPCA訓(xùn)練的參數(shù)選擇詳見文獻(xiàn),顯著性檢測的閾值選擇使遮擋檢測達(dá)到低誤檢和高檢測率.本文使用經(jīng)過500輪訓(xùn)練后的AdaBoost分類器進(jìn)行了不同環(huán)境下的表情識別測試.如圖8所示,對無遮擋情況以及手遮擋、頭發(fā)遮擋和太陽鏡遮擋4種情況下的人臉表情進(jìn)行了識別,其表情識別結(jié)果和遮擋檢測結(jié)果見表1.由表1可以看出,在手遮擋和太陽鏡遮擋的情況下,本文方法的表情識別率較AdaBoost方法分別提高了2.6%和9.5%.但是,在無遮擋和頭發(fā)遮擋的情況下,本文方法略有下降.相對于AdaBoost方法,本文方法可以獲得各種遮擋情況下更高的整體識別效果.遮擋檢測結(jié)果顯示,對于中等或較大的遮擋本文方法有較高的檢測率,而較小的遮擋則被漏檢,并存在少量的誤檢情況.盡管由于遮擋檢測的漏檢和誤檢可能引入一定的誤差,但由于AdaBoost方法本身具有魯棒性,這些誤差對表情識別的影響是有限的.此外,本文方法的遮擋檢測、遮擋區(qū)域重構(gòu)和AdaBoost分類器權(quán)值更新