SVD(奇異值分解)在人臉識別中的應(yīng)用

1、奇異值分解在人臉識別中的應(yīng)用姓名：王丹學(xué)號：2120121142學(xué)院：計算機(jī)科學(xué)與技術(shù)奇異值分解在人臉識別中的應(yīng)用摘要：通過對人臉圖像奇異值的分析，證實了圖像奇異值是圖像在特定基空間分解得到的，這個基空間是由圖像本身決定的。進(jìn)一步研究發(fā)現(xiàn)，導(dǎo)致基于奇異值向量人臉識別算法識別率低的根本原因是：不同人臉圖像對應(yīng)的奇異值向量所在的基空間不一致、奇異值向量與人臉圖像之間并不存在一一對應(yīng)關(guān)系、奇異值向量具有不可分割性。本文提出一種新的SVD與LDA相結(jié)合的人臉特征提取方法首先選用練訓(xùn)樣本的均值圖像作為標(biāo)準(zhǔn)圖像，把訓(xùn)練樣本投影到標(biāo)準(zhǔn)圖像經(jīng)奇異值分解產(chǎn)生的基空間中，其次提取投影系數(shù)矩陣左上角信息作為初步特征

2、，最后再采用LDA分析方法降維提取最終的特征該方法解決了奇異值分解用于人臉識別基空間不一致的固有缺陷，同時又增加的特征的類別信息，也避免了LDA的小樣本問題在ORL人臉庫的實驗結(jié)果表明了該方法的有效性，同時對光照有一定的魯棒性。1引言奇異值分解（SVD）作為一種有效的代數(shù)特征提取方法，因其很好的屬性已在數(shù)據(jù)壓縮、信號處理和模式分析等許多領(lǐng)域中得到了廣泛的應(yīng)用。奇異值分解首次應(yīng)用于人臉識別是由hong1提出的，并證明了奇異值向量具有穩(wěn)定性、旋轉(zhuǎn)、平移和鏡像變換不變性等良好性質(zhì)。他將SVD與經(jīng)典特征提取技術(shù)主成分分析（PCA）和Fisher判別分析（FLD）相結(jié)合，在ORL數(shù)據(jù)庫上獲得了不錯的識別

3、率?；诖?，很多專家學(xué)者進(jìn)行了大量的研究將奇異值向量作為圖像的一種有效的代數(shù)識別特征用于人臉識別中。但是，近年來大量實驗結(jié)果表明，基于奇異值向量特征的人臉識別算法的識別率普遍比較低。主要是因為：不同人臉圖像對應(yīng)的奇異值向量所在的基空間不一致、奇異值向量與人臉圖像之間并不存在一一對應(yīng)關(guān)系。本文主要介紹一種SVD與LDA相結(jié)合的人臉識別方法，該方法很好地解決了奇異值分解對于人臉識別基空間的不一致的問題，同時也充分利用了樣本的類別信息，并且巧妙地解決了LDA用于人臉識別面臨的小樣本問題。 2奇異值向量識別人臉的分析2.1.人臉圖像奇異值向量的分析【定理1】設(shè)A為m×n的實矩陣，且其秩為Ra

4、nk(A)=k,那么存在m階正交矩陣 U和n階正交矩陣V使得A=U000VH (1)成立，=diag(1, 2,k)，其中i=i (i=1,2, k)稱為矩陣A的奇異值，且12k對應(yīng)于矩陣AAT與ATA的非零特征值，矩陣U和V的列向量ui、vi(i=1,2,k)分別是AAT與ATA的非零特征值i對應(yīng)的特征向量。 如果用A代表任意一幅人臉圖像，則它的奇異值向量定義為𝓍 =（1, 2,k）T。式(1)展開可寫成：A=1u1v1T+kukvkT =11u1v1T+1nu1vnT+21u2v1T+2nu2vnT+m1umv1T+mnumvnT (2) 根據(jù)式(2)容易得出以下的定理2。

5、【定理2】對任意一個人臉圖像ARm×n，設(shè)URm×m ，VRn×n分別是圖像A奇異值分解時對應(yīng)的左右正交陣，則矩陣 u1v1T，umvnT是矩陣空間Rm×n中的一組最大線性無關(guān)組矩陣，即Rm×n中的一組基。其中ui，vi(i=1,m；j=1,n)分別是矩陣U和V的第i列和第j列。根據(jù)奇異值分解定理及定理2可得結(jié)論1?！窘Y(jié)論1】人臉圖像的奇異值向量所在的基空間（矩陣）是由人臉圖像本身決定的。從定理2 知，式（2）表明人臉圖像ARm×n可以準(zhǔn)確地通過基矩陣u1v1T，u1v2T，umvnT的線性組合來表示，其中（11，12，mn）是人臉圖

6、像A在這個基空間（ 坐標(biāo)系）下的坐標(biāo)。根據(jù)人臉圖像奇異值的定義知，人臉圖像A 的奇異值i(i=1,2,k)正是圖像A在這個坐標(biāo)系下對應(yīng)于基矩陣uiviT(i=1,n)的坐標(biāo)分量。由奇異值分解定理知，基空間u1v1T，u1v2T，umvnT是由給定人臉圖像本身決定的。因此，人臉圖像的奇異值向量所在的基空間（矩陣）是由圖像本身決定的。此外，在ORL圖庫上通過大量實驗發(fā)現(xiàn)：無論交換非同類圖像還是同類圖像相互間的奇異值向量，重構(gòu)后的圖像與原圖像的類別一致；相反，如果交換非同類圖像間的左右正交陣，而奇異值不變，重構(gòu)后的圖像與原圖像的類別不再一致，如圖1所示。這表明，在不同或相同類別中，一定存在具有相同奇

7、異值向量的人臉圖像，即對給定的奇異值向量，它的類別具有不確定性。圖(1) 原圖與重構(gòu)后的圖像根據(jù)上述分析及奇異值分解定理，顯然有以下：兩個結(jié)論：【結(jié)論2】 人臉圖像與奇異值向量之間并不存一一對應(yīng)關(guān)系。【結(jié)論3】 人臉圖像的奇異值向量體現(xiàn)不出不同類別圖像之間的差異，具有不可分割性。2.2 SVD與LDA相結(jié)合的人臉識別原理 式(1)可以寫為以下投影形式 D=UTAV (3) 由式(3)可見圖像A在正交陣U和V的投影即為圖像奇異值構(gòu)成的對角陣，因此把未知圖像投影到U和V，得到的系數(shù)矩陣，其對角線的數(shù)據(jù)可以看成是圖像奇異值的估計。根據(jù)這一思想，Liang2提出了把所有訓(xùn)練樣本的均值圖像作為基圖像，然

8、后把訓(xùn)練樣本與測試樣本投影到基圖像經(jīng)奇異值分解的正交矩陣構(gòu)成的基空間，由于構(gòu)成基空間的正交矩陣不是樣本本身的正交矩陣，因此投影后的系數(shù)矩陣往往不再是對角陣，最后從投影后系數(shù)矩陣中提取對角數(shù)據(jù)或左上角的主元數(shù)據(jù)作為識別特征。該方法由于使用了全體樣本均值圖像作為標(biāo)準(zhǔn)圖像，由標(biāo)準(zhǔn)圖像產(chǎn)生了統(tǒng)一的基空間，因此很好地解決了奇異值分解基空間不一致的問題。但當(dāng)所有訓(xùn)練樣本都投影到統(tǒng)一的基空間，樣本的類別信息被間接的消弱了，這是限制Liang識別率進(jìn)一步提高的原因，用該方法我們在ORL庫上得到的識別率最高為92(特征維數(shù)達(dá)289)。那么如何在解決基空間一致的問題基礎(chǔ)上，又能提取出充分體現(xiàn)類別信息的特征呢?線性

9、鑒別分析(LDA)則提供一組投影方向，使樣本在該方向投影的類內(nèi)散布矩陣最小，而類間散布矩陣最大，能很好的體現(xiàn)樣本的類別信息。設(shè)樣本AiJ。所屬類別為1，2L總類別數(shù)為L，則樣本的類內(nèi)散布矩陣Sw，類間散布矩陣Sb分別定義為式(4)與式(5)。Sw=1Li=1Lj=1Li(Aij-Ai)(Aij-Ai)T (4)Sb=1Li=1LLi(Ai-A)(Ai-A)T (5)式中：A=1LLii=1Lj=1LiAij為全體訓(xùn)練樣本的均值，Ai=1Lij=1LiAij為第i類訓(xùn)練樣本的均值，Li為第i訓(xùn)練樣本的個數(shù)。LDA分析方法的目的是尋找鑒別矢量集1，2，m使得如下fisher準(zhǔn)則函數(shù)取最大值J()=

10、SbSw (6) 式(6)對應(yīng)的1，2，m等價于形如式(7)特征方程的解Sb=Sw (7)采用LDA進(jìn)行人臉識別即把人臉圖像拉直成一維向量，然后把樣本投影到1，2，m張成的子空間中，達(dá)到提取有效特征和降維的目的。LDA遇到的一個基本難題是小樣本問題，人臉識中人臉向量的維數(shù)N一般遠(yuǎn)遠(yuǎn)大于訓(xùn)練樣本的類別數(shù)，如一幅100×100的圖像，轉(zhuǎn)換成一維向量維數(shù)高達(dá)10000，實際中能提供的訓(xùn)練樣本數(shù)遠(yuǎn)遠(yuǎn)小于10000，從而造成類內(nèi)散布矩陣Sw奇異。因此不能直接將LDA應(yīng)用到人臉識別系統(tǒng)。通常的做法是先對人臉向量進(jìn)行降維，如著名的Fisherface實質(zhì)就是先用PCA對圖像向量進(jìn)行降維，然后再應(yīng)用

11、LDA進(jìn)行二次特征提取。由于在PCA階段需要求圖像向量協(xié)方差矩陣的特征值，因此Fisherface用于人臉識耗時較大。鑒于以上分析，文中提出SVD與LDA相結(jié)合的人臉識別算法。主要思想是：首先把樣本投影到一個統(tǒng)一基空間中，文中選擇所有訓(xùn)練樣本的均值圖像矩陣的基空間，然后提取投影系數(shù)矩陣左上角區(qū)域的值為初步的特征，最后利用LDA進(jìn)行線性鑒別分析，得到最終的識別特征。主要步驟如下。訓(xùn)練階段：(1)求所有訓(xùn)練樣本的均值圖像A，利用式(1)對其進(jìn)行奇異值分解，得正交矩陣U和V。(2)利用式(3)把所有訓(xùn)練樣本Aij，投影到U和V構(gòu)成的基空間中，得 Dij。(3)設(shè)定區(qū)域k，提取 Dij左上角k

12、5;k區(qū)域的數(shù)據(jù)，并拉直成一維向量xij。(4)利用式(4)、(5)求類內(nèi)散布矩陣與類間散布矩陣，并用式(6)確定線性空間的投影方向1，2，m。(5)把所有訓(xùn)練樣本投影到1，2，m，得訓(xùn)練樣本識別特征zij。測試階段：(1)利用式(1)把測試樣本A投影到U和V構(gòu)成的基空間，得D。(2)提取D左上角k×k區(qū)域的數(shù)據(jù)并拉直成一維向量x。(3)把測試樣本X投影到1，2，m，得測試樣本識別特征z。(4)采用最小距離分類器進(jìn)行識別。3.實驗結(jié)果與分析在Pentium(R)4 CPU 24GHz，256M內(nèi)存，WindowsXP操作系統(tǒng)，Matlab65環(huán)境下進(jìn)行了仿真實驗。分類器采用最小距離準(zhǔn)

13、則，距離為歐氏距離。在ORL人臉庫上對進(jìn)行了識別率的測試。ORL數(shù)據(jù)庫包含了40個不同人臉，每人10幅圖像，共400幅圖像，每幅圖像的大小為112×92，該庫包含了不同時間，不同視角，不同表情(閉眼、睜眼、微笑、吃驚、生氣、憤怒、高興)和不同臉部細(xì)節(jié)(戴眼鏡、沒戴眼鏡、有胡子、沒胡子、不同發(fā)型)的條件下拍攝的，數(shù)據(jù)庫部分人臉圖像如圖2所示。圖2 ORL部分人臉圖像在ORL每類訓(xùn)練樣本取5，對應(yīng)的測試樣本分別取5，訓(xùn)練樣本和測試樣本各為200。由于類別數(shù)為40，F(xiàn)isherface與文中方法所能抽取的最大有效特征數(shù)為39，文中抽取投影系數(shù)矩陣左上角的區(qū)域參數(shù)k=7。圖3為采用傳統(tǒng)SVD

14、(方法1)、cheng3(方法2)、Liang(方法3)、Fisherface(方法4)和本文方法(方法5)識別率隨特征維數(shù)變化的曲線圖。從實驗結(jié)果可以看出，方法1的識別率最低，其最高識別率僅為635(特征39維)。同時看出方法2的識別率也較低，平均識別率維持在66左右，可見方法2在較大數(shù)據(jù)庫識別率并不高。我們認(rèn)為這是由于方法1、2采用奇異值分解固有的缺陷造成的。方法3的在ORL庫上的識別率優(yōu)于Fisherface，但低于文中方法，這是由于文中方法較方法3有效地增加的類別信息。需要指出的是方法3還可以抽取更高維的特征，但其識別率并沒有顯著增加，試驗顯示，當(dāng)抽取特征高達(dá)17x17=289時，方法

15、3的識別率為92。方法5的識別率全面高于其它4種方法，其最高識別率達(dá)945(特征34維)，而且當(dāng)特征維數(shù)為10時，識別率就達(dá)到92。4 結(jié)束語奇異值分解是圖像特征提取的重要方法，但由于其本身固有的缺陷，在人臉識別中識別率較低。本文提出了一種奇異值分解與線性鑒別分析相結(jié)合提取人臉有效特征，有效地解決的奇異值分解基空間不一致的問題，同時也增加了特征的類別信息通過對基空間投影系數(shù)的選擇，也解決了LDA所面臨的小樣本問題。實驗表明，與目前可利用的奇異值特征和Fiherface相比，該特征在識別率上有明顯的優(yōu)勢，并且在較低維特征就包含了較多的有效識別特征，同時對光照也有較強(qiáng)的魯棒性。參考文獻(xiàn)：1HONG ZAlgebraic feature extraction of image for recognitio