KL變換與主成分分析

KL變換與主成分分析KL變換與主成分分析KL變換與主成分分析KL變換與主成分分析編制僅供參考審核批準(zhǔn)生效日期地址：電話：傳真:郵編:主成分分析（PCA）是多元統(tǒng)計分析中用來分析數(shù)據(jù)的一種方法，它是用一種較少數(shù)量的特征對樣本進行描述以達到降低特征空間維數(shù)的方法，它的本質(zhì)實際上是K-L變換。PCA方法最著名的應(yīng)用應(yīng)該是在人臉識別中特征提取及數(shù)據(jù)維，我們知道輸入200*200大小的人臉圖像，單單提取它的灰度值作為原始特征，則這個原始特征將達到40000維，這給后面分類器的處理將帶來極大的難度。著名的人臉識別Eigenface算法就是采用PCA算法，用一個低維子空間描述人臉圖像，同時用保存了識別所需要的信息。下面先介紹下PCA算法的本質(zhì)K-L變換。1、K-L變換（卡洛南-洛伊（Karhunen-Loeve）變換）：最優(yōu)正交變換

一種常用的特征提取方法；最小均方誤差意義下的最優(yōu)正交變換；在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。離散K-L變換：對向量x（可以想象成

M維=width*height

的人臉圖像原始特征）用確定的完備正交歸一向量系uj展開：

這個公式由來我想應(yīng)該是任一n維歐式空間V均存在正交基，利用施密特正交化過程即可構(gòu)建這個正交基?，F(xiàn)在我們希望用d個有限項來估計向量x，公式如下：

計算該估計的均方誤差如下：

要使用均方誤差最小，我們采用Langrange乘子法進行求解：

因此，當(dāng)滿足上式時，取得最小值。

即相關(guān)矩陣R的d個特征向量（對應(yīng)d個特征值從大到小排列）為基向量來展開向量x時，其均方誤差最小，為：

因此，K-L變換定義：當(dāng)取矩陣R的d個最大特征值對應(yīng)的特征向量來展開x時，其截斷均方誤差最小。這d個特征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系，x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換。

總結(jié)下，K-L變換的方法：對相關(guān)矩陣R的特征值由大到小進行排隊，則均方誤差最小的x近似于：

矩陣形式：

上式兩邊乘以U的轉(zhuǎn)置，得

向量y就是變換（降維）后的系數(shù)向量，在人臉識別Eigenface算法中就是用系數(shù)向量y代替原始特征向量x進行識別。

下面，我們來看看相關(guān)矩陣R到底是什么樣子。

因此，我們可以看出相關(guān)矩陣R是一個實對稱矩陣（或者嚴(yán)謹(jǐn)?shù)闹v叫正規(guī)矩陣），正規(guī)矩陣有什么特點呢學(xué)過《矩陣分析》的朋友應(yīng)該知道：若矩陣R是一個實對稱矩陣，則必定存在正交矩陣U，使得R相似于對角形矩陣，即：

因此，我們可以得出這樣一個結(jié)論：

降維后的系數(shù)向量y的相關(guān)矩陣是對角矩陣，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達到降低特征維數(shù)的目的。

2、主成分分析（PCA)

主成分分析（PCA）的原理就是將一個高維向量x,通過一個特殊的特征向量矩陣U，投影到一個低維的向量空間中，表征為一個低維向量y，并且僅僅損失了一些次要信息。也就是說，通過低維表征的向量和特征向量矩陣，可以基本重構(gòu)出所對應(yīng)的原始高維向量。在人臉識別中，特征向量矩陣U稱為特征臉（eigenface）空間，因此其中的特征向量ui進行量化后可以看出人臉輪廓，在下面的實驗中可以看出。以人臉識別為例，說明下PCA的應(yīng)用。設(shè)有N個人臉訓(xùn)練樣本，每個樣本由其像素灰度值組成一個向量xi，則樣本圖像的像素點數(shù)即為xi的維數(shù)，M=width*height，由向量構(gòu)成的訓(xùn)練樣本集為。該樣本集的平均向量為：平均向量又叫平均臉。

樣本集的協(xié)方差矩陣為：

求出協(xié)方差矩陣的特征向量ui和對應(yīng)的特征值，這些特征向量組成的矩陣U就是人臉空間的正交基底，用它們的線性組合可以重構(gòu)出樣本中任意的人臉圖像，（如果有朋友不太理解這句話的意思，請看下面的總結(jié)2。）并且圖像信息集中在特征值大的特征向量中，即使丟棄特征值小的向量也不會影響圖像質(zhì)量。將協(xié)方差矩陣的特征值按大到小排序：。由大于的對應(yīng)的特征向量構(gòu)成主成分，主成分構(gòu)成的變換矩陣為：

這樣每一幅人臉圖像都可以投影到構(gòu)成的特征臉子空間中，U的維數(shù)為M×d。有了這樣一個降維的子空間，任何一幅人臉圖像都可以向其作投影，即并獲得一組坐標(biāo)系數(shù)，即低維向量y，維數(shù)d×1,為稱為KL分解系數(shù)。這組系數(shù)表明了圖像在子空間的位置，從而可以作為人臉識別的依據(jù)。

有朋友可能不太理解，第一部分講K-L變換的時候，求的是相關(guān)矩陣的特征向量和特征值，這里怎么求的是協(xié)方差矩陣其實協(xié)方差矩陣也是：，可以看出其實用代替x就成了相關(guān)矩陣R，相當(dāng)于原始樣本向量都減去個平均向量，實質(zhì)上還是一樣的，協(xié)方差矩陣也是實對稱矩陣。

總結(jié)下：1、在人臉識別過程中，對輸入的一個測試樣本x，求出它與平均臉的偏差，則在特征臉空間U的投影，可以表示為系數(shù)向量y：

U的維數(shù)為M×d，的維數(shù)為M×1，y的維數(shù)d×1。若M為200*200=40000維，取200個