KL變換與主成分分析

1、主成分分析（PCA）是多元統(tǒng)計分析中用來分析數(shù)據(jù)的一種方法， 它是用一種較少數(shù)量的特征對樣本進(jìn)行描述以達(dá)到降低特征空間維數(shù) 的方法，它的本質(zhì)實(shí)際上是 K-L變換。PCA方法最著名的應(yīng)用應(yīng)該是 在人臉識別中特征提取及數(shù)據(jù)維，我們知 道輸入200*200大小的人 臉圖像，單單提取它的灰度值作為原始特征，則這個原始特征將達(dá)到 40000維，這給后面分類器的處理將帶來極大的難度。著名的人臉識別Eigenface算法就是采用PCA算法，用一個低維子空間描述人臉圖 像，同時用保存了識別所需要的信息。下面先介紹下PCA算法的本質(zhì)K- L變換。1、K-L變換（卡洛南-洛伊（Karhunen-Loeve）變換）

2、：最優(yōu)正交變換? 一種常用的特征提取方法；?最小均方誤差意義下的最優(yōu)正交變換；?在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。離散K-L變換：對向量x （可以想象成 M維二width*height 的人臉圖像原始特征）用確定的完備正交歸一向量系Uj展開:其中Wr Uj =這個公式由來我想應(yīng)該是任一 n維歐式空間V均存在正交基，利用施 密特正交化過程即可構(gòu)建這個正交基。現(xiàn)在我們希望用d個有限項(xiàng)來估計向量x，公式如下:計算該估計的均方誤差如下:要使用均方誤差最小，我們采用 Lan gra nge乘子法進(jìn)行求解:(ui)=i ujrRui - S (uiuj - *)iMtr+i對U j

3、p丿=t/卡I ,.8求導(dǎo)數(shù)T紂因此，當(dāng)滿足上式時,曠工町収取得最小值。即相關(guān)矩陣R的d個特征向量（對應(yīng)d個特征值從大到小排列）為基向量來展開向量x時，其均方誤差最小，為：因此，K-L變換定義：當(dāng)取矩陣 R的d個最大特征值對應(yīng)的特征向量 來展開x時，其截斷均方誤差最小。這 d個特征向量組成的正交坐標(biāo) 系稱作x所在的D維空間的d維K-L變換坐標(biāo)系，x在K-L坐標(biāo)系 上的展開系數(shù)向量y稱作x的K-L變換?？偨Y(jié)下，K-L變換的方法：對相關(guān)矩陣R的特征值由大到小進(jìn)行排隊，則均方誤差最小的x近似于：矩陣形式:x = 其中Z7 = （“1代，代），斫代，4是矩陣賽的d個最大特征值對J上式兩邊乘以U的轉(zhuǎn)置，

4、得y = UK丄變換向量y就是變換（降維）后的系數(shù)向量，在人臉識別Eigenface算法中就是用系數(shù)向量y代替原始特征向量x進(jìn)行識別。F面，我們來看看相關(guān)矩陣 R到底是什么樣子R=E|x*x IE （碼珀E（鬲兀） （x2兀| I（心屯）因此，我們可以看出相關(guān)矩陣 R是一個實(shí)對稱矩陣（或者嚴(yán)謹(jǐn)?shù)闹v叫正規(guī)矩陣），正規(guī)矩陣有什么特點(diǎn)呢？學(xué)過矩陣分析的朋友應(yīng) 該知道:若矩陣R是一個實(shí)對稱矩陣，則必定存在正交矩陣U，使得R相似于對角形矩陣，即：兄10、RU =: 9世1心=（碼宀T“叫）円宀，是單位向垂無丿并且絢申空足尺=E （ x xT ）的特征向量*如丸足R = E （ x xT J因此，我們可以

5、得出這樣一個結(jié)論:疋yy = EuW=UlRU = A降維后的系數(shù)向量y的相關(guān)矩陣是對角矩陣，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的。2、主成分分析（PCA）主成分分析（PCA）的原理就是將一個高維向量 X,通過一個特殊的特 征向量矩陣U，投影到一個低維的向量空間中，表征為一個低維向量 y，并且僅僅損失了一些次要信息。也就是說，通過低維表征的向量和特征向量矩陣，可以基本重構(gòu)出所對應(yīng)的原始高維向量。在人臉識別中，特征向量矩陣U稱為特征臉(eigenface )空間，因此其中的特征向量ui進(jìn)行量化后可以看出人臉輪廓，在下面的實(shí)

6、驗(yàn)中 可以看出 以人臉識別為例，說明下 PCA的應(yīng)用。設(shè)有N個人臉訓(xùn)練樣本，每個樣本由其像素灰度值組成一個向量xi，則樣本圖像的像素點(diǎn)數(shù)即為 xi的維數(shù)，M二width*height，由向量構(gòu)成的訓(xùn)練樣本集為O該樣本集的平均向量為:平均向量又叫平均臉。樣本集的協(xié)方差矩陣為:求出協(xié)方差矩陣的特征向量 ui和對應(yīng)的特征值，這些特征向量組成的矩陣 U就是人臉空間的正交基底，用它們的線性組合可以重構(gòu)出樣本中任意的人臉圖像，(如果有朋友不太理解這句話的意思，請看下面的總結(jié) 2。）并且圖像信息集中在特征值大的特征向量中，即使丟棄特征值小的向量也不會影響圖像質(zhì)量。將協(xié)方差矩陣的特征值按大到小排序：。由大于的

7、對應(yīng)的特征向量構(gòu)成主成分，主成分構(gòu)成的變換矩陣為：U =（玫”叫）這樣每一幅人臉圖像都可以投影到構(gòu)成的特征臉子空間中，U的維數(shù)為M xd。有了這樣一個降維的子空間，任何一幅人臉圖像都可以向其作投影y = J/1 x，即并獲得一組坐標(biāo)系數(shù)，即低維向量 y，維數(shù)d XI,為稱為KL分解系數(shù)。這組系數(shù)表明了圖像在子空間的位置，從而可以作為人臉識別 的依據(jù)。有朋友可能不太理解，第一部分講K-L變換的時候，求的是相關(guān)矩陣R=E （x *x1 ）的特征向量和特征值，這里怎么求的是協(xié)方差矩陣八 f 1-爼）（n - X）其實(shí)協(xié)方差矩陣也是：X=(x-x)(X-x)T)，可以看出其實(shí)用代替x就成了相關(guān)矩陣R,相當(dāng)于原始樣本向量都減去個平均向量，實(shí)質(zhì)上還是一樣的，協(xié)方差矩陣也是實(shí)對稱矩陣?？偨Y(jié)下：1、在人臉識別過程中，對輸入的一個測試樣本 x，求出它與平均臉的偏差，則在特征臉空間U的投影，可以表示為系數(shù)向量y:U的維數(shù)為M xd ,的維數(shù)為 M X1 , y的維數(shù)d X1。若M為200*200