KL變換與主成分分析

1、主成分分析（PCA）是多元統(tǒng)計(jì)分析中用來分析數(shù)據(jù)的一種方法，它是用一種較少數(shù) 量的特征對(duì)樣本進(jìn)行描述以達(dá)到降低特征空間維數(shù)的方法，它的本質(zhì)實(shí)際上是K-L變換。PCA方法最著名的應(yīng)用應(yīng)該是在人臉識(shí)別中特征提取及數(shù)據(jù)維，我們知 道輸入200*200大小的人臉圖像，單單提取它的灰度值作為原始特征，則這個(gè)原始特征將達(dá)到40000維，這給后面分類器的處理將帶來極大的難度。著名 的人臉識(shí)別Eigenface算法就是采用PCA算法，用一個(gè)低維子空間描述人臉圖像，同時(shí)用保存了識(shí)別所需要的信息。下面先介紹下PCA算法的本質(zhì)K- L變換。1、K-L變換（卡洛南-洛伊（Karhunen-Loeve）變換）：最優(yōu)正交

2、變換 一種常用的特征提取方法； 最小均方誤差意義下的最優(yōu)正交變換； 在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。離散K-L變換：對(duì)向量x（可以想象成M維=width*height的人臉圖像原始特征）用確定的完備正交歸一向量系uj展開：這個(gè)公式由來我想應(yīng)該是任一n維歐式空間V均存在正交基，利用施密特正交化過程即可構(gòu)建這個(gè)正交基。現(xiàn)在我們希望用d個(gè)有限項(xiàng)來估計(jì)向量x，公式如下：計(jì)算該估計(jì)的均方誤差如下：要使用均方誤差最小，我們采用Langrange乘子法進(jìn)行求解： 因此，當(dāng)滿足上式時(shí)，取得最小值。即相關(guān)矩陣R的d個(gè)特征向量（對(duì)應(yīng)d個(gè)特征值從大到小排列）為基向量來展開向量x時(shí)，其均方誤差

3、最小，為：因此，K-L變換定義：當(dāng)取矩陣R的d個(gè)最大特征值對(duì)應(yīng)的特征向量來展開x時(shí)，其截?cái)嗑秸`差最小。這d個(gè)特征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系， x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換?？偨Y(jié)下，K-L變換的方法：對(duì)相關(guān)矩陣R的特征值由大到小進(jìn)行排隊(duì)，則均方誤差最小的x近似于： 矩陣形式：上式兩邊乘以U的轉(zhuǎn)置，得向量y就是變換（降維）后的系數(shù)向量，在人臉識(shí)別Eigenface算法中就是用系數(shù)向量y代替原始特征向量x進(jìn)行識(shí)別。下面，我們來看看相關(guān)矩陣R到底是什么樣子。因此，我們可以看出相關(guān)矩陣R是一個(gè)實(shí)對(duì)稱矩陣（或者嚴(yán)謹(jǐn)?shù)闹v叫正規(guī)矩陣），正規(guī)矩陣有什

4、么特點(diǎn)呢？學(xué)過矩陣分析的朋友應(yīng)該知道：若矩陣R是一個(gè)實(shí)對(duì)稱矩陣，則必定存在正交矩陣U，使得R相似于對(duì)角形矩陣，即：因此，我們可以得出這樣一個(gè)結(jié)論： 降維后的系數(shù)向量y的相關(guān)矩陣是對(duì)角矩陣，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的。2、主成分分析（PCA)主成分分析（PCA）的原理就是將一個(gè)高維向量x,通過一個(gè)特殊的特征向量矩陣U，投影到一個(gè)低維的向量空間中，表征為一個(gè)低維向量y，并且僅僅損失了一些次要信息。也就是說，通過低維表征的向量和特征向量矩陣，可以基本重構(gòu)出所對(duì)應(yīng)的原始高維向量。在人臉識(shí)別中，特征向量矩陣U稱為特征臉（

5、eigenface）空間，因此其中的特征向量ui進(jìn)行量化后可以看出人臉輪廓，在下面的實(shí)驗(yàn)中可以看出。以人臉識(shí)別為例，說明下PCA的應(yīng)用。設(shè)有N個(gè)人臉訓(xùn)練樣本，每個(gè)樣本由其像素灰度值組成一個(gè)向量xi，則樣本圖像的像素點(diǎn)數(shù)即為xi的維數(shù)，M=width*height ，由向量構(gòu)成的訓(xùn)練樣本集為。該樣本集的平均向量為：平均向量又叫平均臉。樣本集的協(xié)方差矩陣為：求出協(xié)方差矩陣的特征向量ui和對(duì)應(yīng)的特征值，這些特征向量組成的矩陣U就是人臉空間的正交基底，用它們的線性組合可以重構(gòu)出樣本中任意的人臉圖像，（如果有朋友不太理解這句話的意思，請(qǐng)看下面的總結(jié)2。）并且圖像信息集中在特征值大的特征向量中，即使丟棄特

6、征值小的向量也不會(huì)影響圖像質(zhì)量。將協(xié)方差矩陣的特征值按大到小排序：。由大于的對(duì)應(yīng)的特征向量構(gòu)成主成分，主成分構(gòu)成的變換矩陣為：這樣每一幅人臉圖像都可以投影到構(gòu)成的特征臉子空間中，U的維數(shù)為Md。有了這樣一個(gè)降維的子空間，任何一幅人臉圖像都可以向其作投影，即并獲得一組坐標(biāo)系數(shù)，即低維向量y，維數(shù)d1,為稱為KL分解系數(shù)。這組系數(shù)表明了圖像在子空間的位置，從而可以作為人臉識(shí)別的依據(jù)。有朋友可能不太理解，第一部分講K-L變換的時(shí)候，求的是相關(guān)矩陣的特征向量和特征值，這里怎么求的是協(xié)方差矩陣?其實(shí)協(xié)方差矩陣也是：，可以看出其實(shí)用代替x就成了相關(guān)矩陣R，相當(dāng)于原始樣本向量都減去個(gè)平均向量，實(shí)質(zhì)上還是一樣的，協(xié)方差矩陣也是實(shí)對(duì)稱矩陣。總結(jié)下：1、在人臉識(shí)別過程中，對(duì)輸入的一個(gè)測(cè)試樣本x，求出它與平均臉的偏差，則在特征臉空間U的投影，可以表示為系數(shù)向量y：U的維數(shù)為Md，的維數(shù)為M1，y的維數(shù)d1。若M為200*200=40000