姿態(tài)魯棒的分塊稀疏表示人臉識別算法

姿態(tài)魯棒的分塊稀疏表示人臉識別算法

0基于稀疏表示人臉識別算法的人臉姿態(tài)變化建模方法基于圖像的人臉識別技術(shù)是計算機視覺領(lǐng)域的研究熱點之一，在公共服務(wù)、人工智能、計算機科學(xué)等領(lǐng)域發(fā)揮著重要作用。經(jīng)過幾十年的努力，基于圖像的人臉識別技術(shù)取得了很大進步，但人臉識別問題尚未得到解決。高效陸棒識別算法仍面臨許多挑戰(zhàn)，如“維數(shù)災(zāi)難”、光變化、姿態(tài)變化等?，F(xiàn)有多數(shù)人臉識別算法主要基于統(tǒng)計學(xué)習(xí)理論,利用大量訓(xùn)練樣本來學(xué)習(xí)人臉分類器,根據(jù)得到的分類器模型進行人臉識別.但是,經(jīng)典統(tǒng)計學(xué)習(xí)理論主要建立在訓(xùn)練樣本數(shù)量足夠大的基礎(chǔ)上.對于人臉識別問題而言,人臉圖像的維度往往比較高,而且訓(xùn)練樣本數(shù)目卻非常有限.統(tǒng)計學(xué)習(xí)對象的維數(shù)和樣本量之間差距巨大,從而形成典型的小樣本學(xué)習(xí)問題.根據(jù)統(tǒng)計學(xué)習(xí)理論,小樣本學(xué)習(xí)通常導(dǎo)致學(xué)習(xí)結(jié)果的精度不夠、推廣性差.同時,為了應(yīng)對外界因素(如光照、視角等)變化的影響,現(xiàn)有多數(shù)人臉識別算法對人臉圖像進行預(yù)處理,提取各種人臉特征(如LBP特征).然而,從信息獲取角度看,對人臉圖像提取特征會導(dǎo)致信息丟失,甚至可能引入噪聲,降低人臉識別算法的精度和魯棒性.因此,現(xiàn)有多數(shù)人臉識別算法性能低下,魯棒性差,難以滿足需要.稀疏表示人臉識別算法(SRC)是近年來新出現(xiàn)的一個比較有效的人臉識別算法.它假設(shè)任一張人臉圖像都可以用同一個人訓(xùn)練樣本的線性組合來表示,通過尋找測試樣本相對于整個訓(xùn)練集的稀疏表示系數(shù)來發(fā)現(xiàn)測試圖像所屬的用戶身份.借助于先進的高維凸優(yōu)化技術(shù)(如L1范數(shù)最小化),稀疏表示系數(shù)可以被精確穩(wěn)定地恢復(fù)出來,解的精度和魯棒性都有理論上的保證.與現(xiàn)有多數(shù)方法相比,SRC方法直接利用了高維數(shù)據(jù)分布的基本特性(即“稀疏性”)進行統(tǒng)計推斷,可以有效地應(yīng)對維數(shù)災(zāi)難問題.同時,SRC方法直接利用原始像素進行人臉識別,可以有效地避免各種預(yù)處理過程.通過選擇合適的訓(xùn)練圖像(不同光照和表情)并利用稀疏信號對損毀像素建模,SRC方法可以有效地應(yīng)對光照變化、表情變化、局部遮擋等問題,具有良好的魯棒性.但是,現(xiàn)有SRC方法要求測試圖像和訓(xùn)練圖像嚴格對齊,姿態(tài)變化會引起人臉圖像產(chǎn)生對齊誤差,降低SRC方法的識別性能.姿態(tài)問題已經(jīng)成為SRC方法走向?qū)嵱帽仨毥鉀Q的一個主要問題.本質(zhì)上說,人臉圖像是3D人臉物體在2D像平面中的映射.從成像過程來看,當(dāng)成像視角發(fā)生變化時,3D人臉表面特征點在2D人臉圖像中的位置也會發(fā)生改變,從而產(chǎn)生對齊誤差.因此,姿態(tài)問題可以歸結(jié)為成像視角變化問題,可以根據(jù)相機成像模型對其進行建模.基于該思路,文獻利用圖像的仿射變換模型來對人臉圖像的姿態(tài)變化進行建模,借助于Lucas-Kanade方法來估計最佳仿射變換參數(shù),基于該參數(shù)來對測試圖像進行姿態(tài)矯正,提高SRC方法對姿態(tài)變化的魯棒性.不同的是,文獻利用所有用戶的訓(xùn)練圖像進行估計測試圖像的最佳仿射變換參數(shù),文獻則利用每個用戶的訓(xùn)練圖像估計測試圖像相對于不同用戶的最佳仿射變換參數(shù).(Ⅰ)現(xiàn)有工作利用仿射變換模型對整個人臉的姿態(tài)變化建模.由于圖像的仿射變換模型只能描述平面物體的姿態(tài)變化,而人臉是表面凹凸不平的3D物體,用仿射變換模型來描述整個人臉的姿態(tài)變化自然會降低模型精度,影響現(xiàn)有算法所能處理的姿態(tài)變化范圍;(Ⅱ)在仿射變換參數(shù)估計過程中,現(xiàn)有方法實際上對仿射變換模型進行線性化處理,利用仿射變換函數(shù)的一階泰勒展開來近似,通過不斷迭代更新仿射變換參數(shù)來逐步逼近最佳仿射變換參數(shù).這種參數(shù)估計方法對參數(shù)初始值的設(shè)置非常敏感,容易陷入局部最優(yōu),要求仿射變換參數(shù)的初值盡可能與最優(yōu)值接近.然而,現(xiàn)有方法都采用固定的初始值,所得到的仿射變換參數(shù)往往存在著較大估計誤差,嚴重影響了算法的識別性能.因此,現(xiàn)有相關(guān)算法只能容忍小角度姿態(tài)變化情況,算法識別性能有待進一步提升.基于上述分析,本論文擬提出一種姿態(tài)魯棒的分塊稀疏表示人臉識別算法(part-basedSRC,PSRC),提高SRC方法對姿態(tài)變化的魯棒性.其核心思想是:對人臉圖像進行分塊表示,利用仿射變換模型對各圖像分塊的姿態(tài)變化進行建模,估計圖像分塊的最佳仿射變換參數(shù)來進行姿態(tài)矯正.由于人臉的局部區(qū)域可以近似看成平面物體,可以用仿射變換模型精確建模處理更大范圍內(nèi)的姿態(tài)變化,提高整個算法對姿態(tài)變化的魯棒性.為提高參數(shù)估計精度,該算法利用重構(gòu)誤差最小化為各局部區(qū)域估計較優(yōu)的初始值,這有助于避免算法陷入局部最優(yōu),提高算法識別性能.在常用數(shù)據(jù)集(ExtendedYaleB人臉庫和FERET人臉庫)上的測試結(jié)果表明,本文算法比現(xiàn)有相關(guān)算法具有更好的識別性能,具有更好的姿態(tài)變化魯棒性.1人臉圖像的稀疏表示稀疏表示人臉識別算法主要建立在壓縮感知理論基礎(chǔ)上,假設(shè)每個用戶的注冊圖像都可以對圖像子空間中形成一個獨立的劃分,任一張人臉圖像都可以由同一用戶自身注冊集的線性組合來表示,通過計算測試圖像相對于所有注冊集的稀疏表示系數(shù)來揭示測試圖像所屬的用戶類別.假設(shè)有R個用戶,第m個用戶有nm張正面注冊圖像,該用戶的第j張人臉圖像用向量vmj表示.所有注冊圖像組成字典矩陣A=[A1,A2,…,AR],其中Am=[vm1,vm2,…,vmnm]表示由第m個用戶的nm張注冊圖像構(gòu)成的矩陣.給定一張待識別人臉圖像y,如其屬于第m個用戶,則理論上只需用第m個用戶的注冊圖像就能線性表示y,即y=Amxm.如果用所有注冊圖像的線性組合來表示y(即y=Ax),則x中只有與y同一類的注冊樣本之前的系數(shù)非零,即x=[0,…,0,xTm,0,…,0]T.由于x比較稀疏,因此我們可以通過求解如下最優(yōu)化問題來計算xminx∥x∥0s.t.y=Ax(1)該問題屬于非凸最優(yōu)化問題,難以直接求解.根據(jù)文獻的研究結(jié)果,我們通常把0-范數(shù)最小化問題轉(zhuǎn)化為1-范數(shù)最小化問題來求解,即minx∥x∥1s.t.y=Ax(2)問題(2)屬于可求解的凸優(yōu)化問題,已有許多成熟的求解算法,可以參考文獻.如果考慮人臉遮擋造成的像素損毀,我們可以把最優(yōu)化問題(2)轉(zhuǎn)化為最優(yōu)化問題(3)來求解x,即minx∥x∥1+λ∥e∥1s.t.y=Ax+e(3)式中,e表示損毀噪聲(其幅值可以無限大),對應(yīng)于因圖像遮擋而被損毀的像素.最后,根據(jù)稀疏表示系數(shù)x計算待識別圖像y與每個用戶注冊圖像的重構(gòu)誤差rm(y),選擇誤差最小的那個用戶即為識別結(jié)果,即rm(y)=∥y-Aδm(x)∥2(4)式中,δm(x)表示在權(quán)重向量x中除了第m個用戶的注冊圖像的系數(shù)保持不變,其他系數(shù)全部置0.為了處理光照問題,SRC方法利用文獻的研究結(jié)果,用不同光照條件人臉圖像來合成同一個人任意光照下的人臉圖像,通過為每個用戶選擇不同光照的人臉圖像來構(gòu)造注冊集.但是,文獻的研究結(jié)論是建立在人臉圖像嚴格對齊的基礎(chǔ)上,用戶姿態(tài)的變化會導(dǎo)致人臉圖像產(chǎn)生對齊誤差,破壞基本假設(shè),使得SRC方法計算的稀疏表示系數(shù)失去了相應(yīng)的語義含義,導(dǎo)致算法性能急劇下降.為此,本文提出了姿態(tài)魯棒的分塊稀疏表示人臉識別算法,應(yīng)對姿態(tài)變化對識別算法性能的影響.2分塊的姿態(tài)變化建模PSRC算法的主要思路是:對人臉圖像進行分塊表示,利用仿射變換模型對圖像分塊的姿態(tài)變化建模;對于每個測試圖像分塊,在注冊圖像中搜索與它最優(yōu)匹配的分塊,估計出各分塊的最佳仿射變換參數(shù);為提高參數(shù)估計精度,算法利用區(qū)域重構(gòu)誤差最小化為每個圖像分塊估計仿射變換參數(shù)初始值.整個流程如圖1所示.2.1人臉圖像的成像模型給定一張人臉圖像I,算法利用C個圖像分塊來表示該人臉圖像.為此,算法首先在圖像I中尋找C個點(xi,yi)(1≤i≤C)作為各圖像分塊的中心點.在每個中心點周圍選擇大小為h×w的矩形鄰域S(xi,yi)作為人臉圖像分塊,該圖像分塊對應(yīng)的像素值記為I(S(xi,yi))∈Rh×w.為了方便,本論文用Si表示第i個圖像分塊S(xi,yi).為了對區(qū)域姿態(tài)變化建模,我們根據(jù)圖像成像模型,利用仿射變換模型來建立不同視角下人臉圖像的幾何變換關(guān)系.假設(shè)I0(Si)是參考視角下人臉圖像的第i個圖像分塊,I′(Si)是其在測試圖像中對應(yīng)的圖像分塊,根據(jù)成像模型,我們可以用仿射變換模型來描述兩者之間的幾何變換關(guān)系,即Ι′(Si)=Ι0(Τ(Si,t))(5)式中,T(·,t)表示仿射變換模型,t為仿射變換參數(shù).2.2最佳問題的求解假設(shè)Imj為第m個用戶的第j張注冊圖像(1≤j≤k),Imj(T(Si,t))∈Rh×w是與測試圖像第i個圖像分塊I′(Si)對應(yīng)的最佳匹配塊,vec(Imj(T(Si,t)))和vec(I′(Si))分別表示對圖像分塊像素點進行向量化.如果用戶注冊圖像形成一個獨立的子空間劃分,則任一張嚴格對齊的人臉圖像都可以用同一用戶的注冊圖像的線性組合來表示,圖像分塊也具有這種線性關(guān)系.因此有vec(Ι′(Si))≈k∑j=1βjvec(Ιmj(Τ(Si,t)))=Ami(t)β(6)式中,Ami(t)=[vec(I1m(T(Si,t))),…,vec(Imk(T(Si,t)))]表示第m個用戶注冊圖像集最佳匹配塊的向量集合,β=[β1,?,βk]Τ表示線性擬合系數(shù).為了得到仿射變換參數(shù)t,算法求解如下最優(yōu)化表達式(tim,βim)=argmint,β∥vec(Ι′(Si))-Aim(t)β∥22(7)為求解最優(yōu)化問題(7),我們首先給定仿射變換參數(shù)t,求解線性表示系數(shù)β;然后固定線性表示系數(shù)β,求解仿射變換參數(shù)t.通過多次迭代逐步逼近最佳的仿射變換參數(shù).(Ⅰ)線性表示系數(shù)β的求解.當(dāng)仿射變換參數(shù)t已知時,式(7)是個經(jīng)典的誤差平方和最小化問題,β的最優(yōu)解可以直接根據(jù)下式求解β=((Aim(t))ΤAim(t))-1(Aim(t))Τvec(Ι′(Si))(8)(Ⅱ)仿射變換參數(shù)t的求解.當(dāng)給定線性表示系數(shù)β=[β1,…,βk]T時,為更新仿射變換參數(shù)t,我們求解如下最優(yōu)化問題t=argmint∑X∈Si(Ι′(X)-∑j=1kβjΙjm(Τ(X,t)))2(9)對于問題(9),我們借助于Lucas-Kanade算法來求解.根據(jù)給定的仿射變換參數(shù)初始值t=tmOri,計算當(dāng)前估計值的更新步長Δt,然后迭代更新當(dāng)前估計值t←t+Δt,通過多次迭代來逐步逼近最優(yōu)估計值.為計算當(dāng)前參數(shù)值的更新步長Δt,我們把問題(9)轉(zhuǎn)化為Δt=argminΔt∑X∈Si(Ι′(X)-∑j=1kβjΙjm(Τ(X,t+Δt)))2(10)利用泰勒展開對問題(10)進行線性化處理,得到Δt=argminΔt∑X∈Si(Ι′(X)-Q-?Q?Τ?tΔt)2(11)式中,Q=∑j=1kβjΙjm(Τ(X,t)).式(11)同樣是個經(jīng)典的誤差平方和最小化問題,它的解為Δt=Η-1∑X∈Si(?Q?Τ?t)Τ(Ι′(X)-Q)Η=∑X∈Si(?Q?Τ?t)Τ(?Q?Τ?t)}(12)從上面計算過程可以看出,為了估計仿射變換參數(shù),算法實際上對仿射變換模型進行線性化處理,利用其一階泰勒展開來近似(式(11)).該近似模型只有在Δt較小情況下才有效,也就是要求人臉姿態(tài)變化較小.當(dāng)姿態(tài)變化較大時,算法必須多次迭代,不斷更新t才能得到真實的仿射變換參數(shù)值.但是,多次迭代更新會引入累計估計誤差,容易陷入局部最優(yōu),影響參數(shù)估計精度.因此估計合適的仿射變換參數(shù)初值可以有效地降低迭代估計次數(shù),減少累計誤差,減少陷入局部最優(yōu)值的概率,提高參數(shù)估計精度.(Ⅲ)初始仿射變換參數(shù)估計.實驗表明,當(dāng)圖像分辨率為105×100時,如果人臉姿態(tài)變化不超過45°,則人臉圖像像素點的位移不超過5像素.基于該先驗知識,給定一個圖像分塊Si,本文在該分塊中心點(xi,yi)周圍5個像素范圍內(nèi),利用重構(gòu)誤差最小化技術(shù)尋找與測試圖像分塊I′(Si)最相似的注冊圖像分塊,如(pΟrim,qΟrim)=argmin-5≤p≤5-5≤q≤5∥vec(Ι′(Si))-∑j=1kαjΙjm(Si(p,q))∥2(13)式中,Si(p,q)表示Si(xi+p,yi+q).在此基礎(chǔ)上,計算仿射變換參數(shù)初值tΟrim=(10pΟrim01qΟrim)Τ2.3測試圖像類別對于第i個測試圖像塊,求解得到問題(7)中的仿射變換參數(shù)后,利用tim計算得到R類注冊圖像中與測試圖像塊最優(yōu)匹配的圖像塊,組成字典矩陣A=[Ai1(ti1),Ai2(ti2),…,AiR(tiR)].利用SRC算法計算測試圖像塊vec(I′(Si))在字典A上的稀疏表示系數(shù)x^.最后計算vec(I′(Si))與每一類注冊圖像塊的差值,并得出分類結(jié)果rm(vec(I′(Si)))=∥vec(Ι′(Si))-Aδm(x^)∥2,1≤m≤R(14)Ιdentity(vec(Ι′(Si)))=argminmrm(vec(Ι′(Si)))(15)當(dāng)確定測試圖像中所有分塊的類別后,通過投票表決確定整個測試圖像的類別,見圖1.3人臉圖像的實驗結(jié)果為了驗證所提出的PSRC算法的有效性,本文選擇目前比較常用的ExtendedYaleB人臉數(shù)據(jù)庫和FERET人臉數(shù)據(jù)庫作為實驗數(shù)據(jù)集.ExtendedYaleB人臉數(shù)據(jù)庫包含38人在64種光照條件和9種姿態(tài)下獲取的人臉圖像.由于數(shù)據(jù)庫中提供的第15類(B16)人臉圖像是損壞的,本文在實驗中舍棄該類圖像,利用余下的37類圖像進行實驗,如圖2所示.FERET人臉數(shù)據(jù)庫比ExtendedYaleB人臉數(shù)據(jù)庫包含更多種類人臉圖像,但是每個用戶的人臉圖像比較少.實驗中,我們使用正面圖像ba作為注冊集,而圖像bc(+40°),bd(+25°),be(+15°)和bf(-15°)作為測試圖像,如圖2所示.注冊集和測試集都包含194類人臉圖像(編號01013～01206),每類人臉圖像只包含1張人臉.實驗中使用的圖像都被歸一化為105×100大小,局部區(qū)域大小為34×34.圖2中,第1行是不同光照下的正面注冊圖像,第2行是姿態(tài)發(fā)生變化的測試圖像實驗通過在ExtendedYaleB和FERET人臉數(shù)據(jù)庫上比較PSRC算法、SRC算法、文獻算法、文獻算法之間的性能差異,以此來驗證PSRC算法對姿態(tài)變化的魯棒性.其中,SRC算法和文獻算法分別根據(jù)原始論文單獨實現(xiàn),文獻算法直接利用作者主頁提供的代碼1.(Ⅰ)ExtendedYaleB數(shù)據(jù)庫上的性能比較情況實驗選取第1,8,11,14,17種光照條件下獲取的正面圖像(第1種姿態(tài),pose0)作為注冊集,而測試圖像是第5種(pose4)和第9種(pose8)姿態(tài)下的前31種光照條件的人臉圖像,如圖2所示.每張人臉圖像用64個圖像分塊來表示,各分塊的中心點按8×8的網(wǎng)格排列.表1給出了PSRC與SRC算法、文獻方法在ExtendedYaleB人臉數(shù)據(jù)庫的性能比較情況.從表1可以看出,在不同姿態(tài)情況下,PSRC算法都獲得了最好的識別效果.當(dāng)姿態(tài)變化比較大時,盡管SRC算法、文獻算法的識別性能急劇下降,PSRC仍然可以保持較好的識別率.造成這種狀況的主要原因在于:姿態(tài)變化會導(dǎo)致人臉圖像對齊誤差增加,導(dǎo)致SRC算法性能急劇下降;雖然文獻的算法利用仿射變換模型對整個人臉圖像姿態(tài)變化建模,但是當(dāng)姿態(tài)變化較大時,仿射變換模型已失效,導(dǎo)致其識別性能急劇下降;對于PSRC方法,由于采用分塊來表示人臉圖像,各圖像分塊近似為平面,即使人臉姿態(tài)變化較大,仿射變換模型仍然可以很好地對姿態(tài)變化建模,使其仍保持著較高的識別率.(Ⅱ)在FERET數(shù)據(jù)庫上的性能比較情況表2列出了各算法在FERET人臉數(shù)據(jù)庫上的性能對比情況.從表2結(jié)果仍然可以得到相同結(jié)論:SRC對姿態(tài)變化很敏感,文獻算法只能處理小范圍內(nèi)的姿態(tài)變化,PSRC則可以處理較大范圍的姿態(tài)變化;同時,在相同姿態(tài)變化條件下,PSRC具有最高的識別率.3.2psrc因變量與現(xiàn)有方法相比,本文算法的一個主要改進就是利用局部區(qū)域重構(gòu)誤差最小化技術(shù)來估計仿射變換參數(shù)的初始值,提高仿射變換參數(shù)估計的精度.為了考察參數(shù)初值估計的重要性,我們對比了有初值估計和無初值估計兩種情況下PSRC算法的識別性能,結(jié)果如表3和表4所示.其中,PSRC表示有進行初始估計,PSRC_none表示沒有進行初值估計.對于PSRC_none算法,我們直接利用tmOri=(100010)T作為仿射變換參數(shù)的初值.從表3和表4可以看出,有初值估計的PSRC算法識別性能明顯優(yōu)于沒有初值估計的PSRC_none算法的識別性能.隨著姿態(tài)變化范圍擴大,兩者之間的性能差距更加明顯.3.3圖像分塊大小對算法識別率的影響在實際測試中,算法分塊參數(shù)(包括分塊大小和分塊數(shù)目)對SPRC算法性能有著重要影響.為此,本文在ExtendedYaleB數(shù)據(jù)庫上通過改變分塊大小和分塊數(shù)目來測試分塊參數(shù)對算法性能的影響.為了確定圖像分塊的大小對算法性能的影響,我們固定圖像分塊數(shù)