主成分分析PCA原理及應(yīng)用

且％T且％TU,XPCA原理及應(yīng)用1PCA原理已知n維空間的隨機(jī)向量用。（伊ER"）:表示，將夕.進(jìn)行零均值處理，X=KP）,則E（x）=0。如果對x用一組完備正交基"f2,…，，展開，可得：x=Va.(1.1)J」(1.1)/=1假設(shè)只用前k項進(jìn)行重構(gòu)，則Jt(1.2)X*=￡印多(1.2)B—1其均方誤差為因為S=8[(X—X「ec)T(X-%)](1.3)其均方誤差為因為(1.4)=iu=iuicwj(1-5)&=ExxTufj=k+l其中C=E\xxf\=e［（伊-￡［。］）（。-E［q］）t是乂和伊的總體協(xié)方差矩陣。為了使重構(gòu)的均方誤差最小，并滿足正交條件（（1.4）式的約束，采用拉格朗日乘子法，將函數(shù)

JI ■J（"j）=XU!Cuj~￡“j（H："jT）J” 尸E （1.6對"j（，=A+1,…，刀）求導(dǎo)，得（C一4，）結(jié)二0,戶杜1,…，n（1.7）令k=i,此時U]7 *,?，uw為總體協(xié)方差矩陣C的本征向量，兀久….人分別是它們對應(yīng)的本征值，這些本征向量經(jīng)過正如處理域張成的空間稱為本征空間。將本征向量以1， 射2, J'， //口按照它們的本征值進(jìn)行降序排列人2&2…豎2，則得到結(jié)論："對于任一隨機(jī)變量x，如果采用總體協(xié)方差矩陣C的前k個最大非0本征值所對應(yīng)的本征向量作為坐標(biāo)軸展開，可在相等截斷長度下獲得所有正交展開中最小的截斷均方誤差rrf-=?ATnunJ?j」=A+1 E）上述變換稱為KL展開，可用于任意隨機(jī)變量。2PCA應(yīng)用于人臉識別的原理假設(shè)訓(xùn)練圖像按行排成長度為N的向量1M"3切「]T「2， 「M，其均值向量1M"3切則每個圖像相對于均值圖像的差為0>i=I"一中0=1,2,…，的。令矩陣 ①2，…，①m]，則散布矩陣K可以表示為:1MZ-A41三…京閩

歸余 （1.9）求出己的本征值了Ik和本征向量“k。由于"k看起來象一張人臉，因此"k常稱作本征圖2.1ORL人臉庫中的本征臉圖像由于、是NXN大小的矩陣，而且n的值較大，一般遠(yuǎn)大于訓(xùn)練樣本的個數(shù)m，因此為了降低計算量，通常不直接求￡的本征向量"k，而是先計算大小為MXM的矩陣：A^A的本征向量，根據(jù)代數(shù)理論，有1』uk^—r^AvkJ片 （1」0）對于這些相互正交的本征向量，根據(jù)其對應(yīng)的本征值的大小按照從大到小的順序進(jìn)

行排列，取前面?zhèn)€本征向量作為基向量建立本征臉空間S,用公式(1.11)計算出所有訓(xùn)練圖像在本征臉空間S的投影系數(shù)Qi=(51，02，…，G]j),7=1,2,…，M：叫L中…MS1,2,…,J)(1.11)其中“<>”表示內(nèi)積。對于任一待識別的圖像，用同樣的方法求出其投影系數(shù)Q=(系數(shù)Q=(3】，^2,7f),臼2,…，W)，則滿足下列條件的第個訓(xùn)練圖像即為識別結(jié)果。=argmin(1.12)j=1,2/,5/(1.12)2.1PCA方法的性能評價PCA具有如下優(yōu)點：最小均方誤差一可以證明，PcA是在均方誤差最小意義下的最優(yōu)正交分解方法，因此用PcA進(jìn)行信號壓縮能夠得到最大的信噪比。降維一由于基函數(shù)的個數(shù)往往遠(yuǎn)小于信號的維數(shù)，因此PCA變換能夠大大降低數(shù)據(jù)的表示維數(shù)。這對模式識別中的特征提取非常有利。消除冗余一在基函數(shù)上的投影系數(shù)彼此之間是不相關(guān)的，(1.13)即:曷((x—m)W)((x—m》％)}(1.13)(4)分解函數(shù)/合成函數(shù)相同一分解函數(shù)(AnalysisFunction)作用于輸入信號，得到信號的編碼;合成函數(shù)((SynthesisFunction)作用于信號的編碼，得到原始信號。如果圖像的分解和合成采用線性模型，則分解函數(shù)仍i和合成函數(shù)。?是和輸入信號具有相同維數(shù)的向量，它們可以表示為： 1(1.14)PCA方法實現(xiàn)簡單，它將N維空間的圖像數(shù)據(jù)變成了(1.14)PCA方法實現(xiàn)簡單，它將N維空間的圖像數(shù)據(jù)變成了J維的投影系數(shù)，由*?J因此，PCA方法有很強(qiáng)的數(shù)據(jù)壓縮能力，而且、這種壓縮是最優(yōu)的，因為它不僅使得從N維空間降到J維空間后的均方誤差最小，而且在變換后的低維空間有很好的人臉表達(dá)能力。2.2PCA系數(shù)獲取2.2.1數(shù)據(jù)歸一化在進(jìn)行PCA處理之前，對小波變換后的數(shù)據(jù)進(jìn)行了歸一化，使其均值為0,而方差為1。采用的歸一化公式為：n—P PmeanAt_(1.15)Pmean是久d(1.15)Pmean是其中P是輸入的RXQ矩陣，Pn是歸一化后的RXQ矩陣，RX］的均值向量，Z^std是RX1的方差向量。2.2.2PCA系數(shù)獲取根據(jù)主成分分析方法，計算訓(xùn)練樣本的協(xié)方差矩陣S的特征值：（如如…,品），其中花鬲’伊U,2假設(shè)期望模型包含的能量為伐，則取前t個特征值，滿足Z兒 （3.16）由于與較大特征值-i對應(yīng)的特征向量Ui集中了較多的能量，表達(dá)了較重要的形狀模式的變化因此取與（Ap T，&）相對應(yīng)的特征向量并將其正定化，記U=（M1，"2，叫），ut），從而張成了整個樣本空間。對ORL人臉數(shù)據(jù)庫中的第3個人選5幅圖像根據(jù)公式（1.16）進(jìn)行計算，得到本征值能量比例曲線如圖2.2所示。TOC\o"1-5"\h\zEnergyRatioCurveofEigenvalues0-7 j— 1 I | \ I i0.6-I -05- -04- -03- -0.2&- -□2- -D16- toi-y -005-||jIII__I1% 10 20圖2.2本征值的能量曲線 70 ' '其中橫軸坐標(biāo)是本征值的序號，縱坐標(biāo)為相應(yīng)本征值在總能量中所占的比例，可以看出，總體能量集中在前面較少的維數(shù)中，信息能量集中緊湊，因此，選擇前25個PCA系數(shù)作為特征向量進(jìn)行識別。利用PCA方法得到ORL人臉庫中第三人的重構(gòu)圖像如圖1.3所示。用較大的25個向量完全可以把圖像重新構(gòu)建出來，這表明用25個向量可以表示一幅圖像。圖2.3PCA重構(gòu)圖像直接利用本征臉方法在ORL人臉庫上進(jìn)行識別，用每人5幅圖像（共40X5=200幅）做訓(xùn)練集，5幅圖像（共40X5=200幅）做測試集，采用歐氏距離分類器進(jìn)行判別，正確識別129幅，識別錯誤71幅，識別率為64.5%。用PCA方法采用和本征臉相同的方法正確識別171幅，錯誤識別29幅，得到85.5%的正確識別率。用PCA方法提取特征，利用BP神經(jīng)元網(wǎng)絡(luò)作為分類器進(jìn)行識別，正確識別183幅圖像，錯誤識別27幅圖像，得到90.S%的正確識別率。識別結(jié)果如表1