模式識(shí)別方PCA實(shí)驗(yàn)報(bào)告

模式識(shí)別作業(yè)模式識(shí)別》大作業(yè)人臉識(shí)別方法----基于PCA和歐幾里得距離判據(jù)的模板匹配分類器一、理論知識(shí)1、主成分分析主成分分析是把多個(gè)特征映射為少數(shù)幾個(gè)綜合特征的一種統(tǒng)計(jì)分析方法。在多特征的研究中，往往由于特征個(gè)數(shù)太多，且彼此之間存在著一定的相關(guān)性，因而使得所觀測的數(shù)據(jù)在一定程度上有信息的重疊。當(dāng)特征較多時(shí)，在高維空間中研究樣本的分布規(guī)律就更麻煩。主成分分析采取一種降維的方法，找出幾個(gè)綜合因子來代表原來眾多的特征，使這些綜合因子盡可能地反映原來變量的信息，而且彼此之間互不相關(guān)，從而達(dá)到簡化的目的。主成分的表示相當(dāng)于把原來的特征進(jìn)行坐標(biāo)變換（乘以一個(gè)變換矩陣），得到相關(guān)性較?。▏?yán)格來說是零）的綜合因子。1.1問題的提出一般來說，如果N個(gè)樣品中的每個(gè)樣品有n個(gè)特征x,x,x,經(jīng)過主成分分析，將12nTOC\o"1-5"\h\z它們綜合成n綜合變量，即 ...y=cx+cx+ +cx1 111 122 Inny=cx+cx+ +cxV2 211 222… 2nn???y=cx+cx+ +cxn n11 n22 nnnc由下列原則決定： …ij1、 y和y（i豐j，i,j=1,2,...n）相互獨(dú)立；ij2、 y的排序原則是方差從大到小。這樣的綜合指標(biāo)因子分別是原變量的第1、第2、……、第n個(gè)主分量，它們的方差依次遞減。1.2主成分的導(dǎo)出我們觀察上述方程組，用我們熟知的矩陣表示，設(shè)X=x我們觀察上述方程組，用我們熟知的矩陣表示，設(shè)X=x1x2個(gè)n維隨機(jī)向量,y1

y2y1

y2Ly」n滿足CC'=I。坐標(biāo)旋轉(zhuǎn)是指新坐標(biāo)軸相互正交’仍構(gòu)成一個(gè)直角坐標(biāo)系。變換后的N個(gè)點(diǎn)在yi軸上有最大方差，而在y軸上有最小方差。同時(shí)，注意上面第一條原則，由此我們要求y.軸和yjn軸的協(xié)方差為零，那么要求YYt=An軸的協(xié)方差為零，那么要求九1令R=XXT，則RCT二Cta經(jīng)過上面式子的變換，我們得到以下n個(gè)方程（r一九）c+rc+ +rc=011 111 1212 1n1nrc+（r一九）c+ +rc=02111 22 1 12 ?… 2n1nrc+rc+ +（r一九）c=0n111n212 nn1 1n1.3主成分分析的結(jié)果???我們要求解出C,即解出上述齊次方程的非零解，要求c..的系數(shù)行列式為0。最后得出ij結(jié)論九是IR-九11=0的根，y的方差為九。然后選取前面p個(gè)貢獻(xiàn)率大的分量，這樣就i i i實(shí)現(xiàn)了降維。也就是主成分分析的目標(biāo)。二、實(shí)現(xiàn)方法1、 獲取數(shù)據(jù)。在編程時(shí)具體是把一幅二維的圖像轉(zhuǎn)換成一維的；2、 減去均值。要使PCA正常工作，必須減去數(shù)據(jù)的均值。減去的均值為每一維的平均，所有的x值都要減去，同樣所有的y值都要減去，這樣處理后的數(shù)據(jù)都具有0均值；3、 計(jì)算協(xié)方差矩陣；4、 計(jì)算協(xié)方差矩陣的特征矢量和特征值。因?yàn)閰f(xié)方差矩陣為方陣，我們可以計(jì)算它的特征矢量和特征值，它可以告訴我們數(shù)據(jù)的有用信息；5、選擇成分組成模式矢量現(xiàn)在可以進(jìn)行數(shù)據(jù)壓縮降低維數(shù)了。如果你觀察上一節(jié)中的特征矢量和特征值，會(huì)注意到那些特征值是十分不同的。事實(shí)上，可以證明對(duì)應(yīng)最大特征值的特征矢量就是數(shù)據(jù)的主成分。對(duì)應(yīng)大特征值的特征矢量就是那條穿過數(shù)據(jù)中間的矢量，它是數(shù)據(jù)維數(shù)之間最大的關(guān)聯(lián)。一般地，從協(xié)方差矩陣找到特征矢量以后，下一步就是按照特征值由大到小進(jìn)行排列，這將給出成分的重要性級(jí)別?，F(xiàn)在，如果你喜歡，可以忽略那些重要性很小的成分，當(dāng)然這會(huì)丟失一些信息，但是如果對(duì)應(yīng)的特征值很小，你不會(huì)丟失很多信息。如果你已經(jīng)忽略了一些成分，那么最后的數(shù)據(jù)集將有更少的維數(shù)，精確地說，如果你的原始數(shù)據(jù)是n維的，你選擇了前p個(gè)主要成分，那么你現(xiàn)在的數(shù)據(jù)將僅有p維。現(xiàn)在要做的是你需要組成一個(gè)模式矢量，這只是幾個(gè)矢量組成的矩陣的一個(gè)有意思的名字而已，它由你保持的所有特征矢量構(gòu)成，每一個(gè)特征矢量是這個(gè)矩陣的一列。6、獲得新數(shù)據(jù)這是PCA最后一步，也是最容易的一步。一旦你選擇了須要保留的成分（特征矢量）并組成了模式矢量，我們簡單地對(duì)其進(jìn)行轉(zhuǎn)置，并將其左乘原始數(shù)據(jù)的轉(zhuǎn)置：其中rowFeatureVector是由特征矢量作為列組成的矩陣的轉(zhuǎn)置，因此它的行就是原來的特征矢量，而且對(duì)應(yīng)最大特征值的特征矢量在該矩陣的最上一行。rowdataAdjust是減去均值后的數(shù)據(jù)，即數(shù)據(jù)項(xiàng)目在每一列中，每一行就是一維。FinalData是最后得到的數(shù)據(jù)，數(shù)據(jù)項(xiàng)目在它的列中，維數(shù)沿著行。FinalData=rowFeatureVector*rowdataAdjust這將僅僅給出我們選擇的數(shù)據(jù)。我們的原始數(shù)據(jù)有兩個(gè)軸（x和y）,所以我們的原始數(shù)據(jù)按這兩個(gè)軸分布。我們可以按任何兩個(gè)我們喜歡的軸表示我們的數(shù)據(jù)。如果這些軸是正交的，這種表達(dá)將是最有效的，這就是特征矢量總是正交的重要性。我們已經(jīng)將我們的數(shù)據(jù)從原來的xy軸表達(dá)變換為現(xiàn)在的單個(gè)特征矢量表達(dá)。如果我們已經(jīng)忽略了一些特征矢量，則新數(shù)據(jù)將會(huì)用我們保留的矢量表達(dá)。三、matlab編程matlab程序分為三部分。程序框圖如下圖所示。四、總結(jié)從書里看我覺得最讓人明白模板匹配分類器的一段話，就是“譬如A類有10個(gè)訓(xùn)練樣品，就有10個(gè)模板，B類有8個(gè)訓(xùn)練樣品，就有8個(gè)模板。任何一個(gè)待測樣品在分類時(shí)與這18個(gè)模板都算一算相似度，找出最相似的模板，如果該模板是B類中的一個(gè)，就確定待測樣品為B類，否則為A類?！币馑己芎唵伟桑阆嗨贫染褪撬憔嚯x。就是說，模板匹配就要用你想識(shí)別的樣品與各類中每個(gè)樣品的各個(gè)模板用距離公式計(jì)算距離，距離最短的那個(gè)就是最相似的。實(shí)驗(yàn)結(jié)果表明識(shí)別率達(dá)90%。這樣的匹配方法明顯的缺點(diǎn)就是在計(jì)算量大，存儲(chǔ)量大，每個(gè)測試樣品要對(duì)每個(gè)模板計(jì)算一次相似度，如果模板量大的時(shí)候，計(jì)算量就十分的大。五、參考文獻(xiàn)【1】邊肇其，張學(xué)工?模式識(shí)別【M】.第2版?北京.：清華大學(xué)出版社，2000【2】周杰，盧春雨，張長水，李衍達(dá)，人臉自動(dòng)識(shí)別方法綜述【J】.電子學(xué)報(bào)，2000,5（4）：102-106《模式識(shí)別》大作業(yè)人臉識(shí)別方法二----基于PCA和FLD的人臉識(shí)別的線性分類器一、理論知識(shí)1、fisher概念引出在應(yīng)用統(tǒng)計(jì)方法解決模式識(shí)別問題時(shí)，為了解決“維數(shù)災(zāi)難”的問題，壓縮特征空間的維數(shù)非常必要。fisher方法實(shí)際上涉及到維數(shù)壓縮的問題。fisher分類器是一種幾何分類器，包括線性分類器和非線性分類器。線性分類器有：感知器算法、增量校正算法、LMSE分類算法、Fisher分類。若把多維特征空間的點(diǎn)投影到一條直線上，就能把特征空間壓縮成一維。那么關(guān)鍵就是找到這條直線的方向，找得好，分得好，找不好，就混在一起。因此fisher方法目標(biāo)就是找到這個(gè)最好的直線方向以及如何實(shí)現(xiàn)向最好方向投影的變換。這個(gè)投影變換恰是我們所尋求的解向量W*，這是fisher算法的基本問題。樣品訓(xùn)練集以及待測樣品的特征數(shù)目為n。為了找到最佳投影方向，需要計(jì)算出各類均值、樣品類內(nèi)離散度矩陣S和總類間離散度矩陣S、樣品類間離散度矩陣S，根據(jù)Fisheriwb準(zhǔn)則，找到最佳投影準(zhǔn)則，將訓(xùn)練集內(nèi)所有樣品進(jìn)行投影，投影到一維Y空間，由于Y空間是一維的，則需要求出Y空間的劃分邊界點(diǎn)，找到邊界點(diǎn)后，就可以對(duì)待測樣品進(jìn)行進(jìn)行一維Y空間的投影，判斷它的投影點(diǎn)與分界點(diǎn)的關(guān)系，將其歸類。Fisher法的核心為二字：投影。

實(shí)現(xiàn)方法(1)計(jì)算給類樣品均值向量m，m是各個(gè)類的均值，N是①類的樣品個(gè)數(shù)。ii iim—工Xi—1,2,...,niNix書SS⑵計(jì)算樣品類內(nèi)離散度矩陣i和總類間離散度矩陣wS—工(X—m)(X—m)T i—1,2,...,ni i iS-乙Swii—1(3)計(jì)算樣品類間離散度矩陣SbS=(m-m)(m-m)tb1212我們希望投影后，在一維Y空間各類樣品盡可能地分開，也就是說我們希望兩類樣品均值之差(mi-m2)越大越好’同時(shí)希望各類樣品內(nèi)部盡量密集’即希望類內(nèi)離散度越小越好，因此，我們可以定義Fisher準(zhǔn)則函數(shù)：J(W)—FWTSWb WTSWw使得J(W)取得最大值的W*為W*—WTSWb WTSWwF(5)將訓(xùn)練集內(nèi)所有樣品進(jìn)行投影y=(W*)tXw的滿足下式J(W)=arcmaxFWtSWb—w的滿足下式J(W)=arcmaxFWtSWb—WtSww—[w,w,w]1 2mw］是滿足下式的S和S對(duì)應(yīng)的w］是滿足下式的S和S對(duì)應(yīng)的m個(gè)最大特征值所對(duì)應(yīng)的特征向量。m bw12注意到該矩陣最多只有C-1個(gè)非零特征值，C是類別數(shù)。2、程序中算法的應(yīng)用Fisher線性判別方法(FLD)是在Fisher鑒別準(zhǔn)則函數(shù)取極值的情況下，求得一個(gè)最佳判別方向，然后從高位特征向量投影到該最佳鑒別方向，構(gòu)成一個(gè)一維的判別特征空間。將Fisher線性判別推廣到C-1個(gè)判決函數(shù)下，即從N維空間向C-1維空間作相應(yīng)的投影。利用這個(gè)m維的投影矩陣M將訓(xùn)練樣本n維向量空間轉(zhuǎn)化為m維的MEF空間并且獲得在MEF空間上的最佳描述特征，即y=yi,yi,yi=Mt(x-m-m)i=1,2, ,N1 1 2m ii0y的樣品類內(nèi)離散度矩陣SNw由這N個(gè)MEF空間上的最佳描述特征可以求出yi，y的樣品類內(nèi)離散度矩陣SNw和總類間離散度矩陣S，取S-1S的K個(gè)最大的特征可以構(gòu)成FLD投影矩陣W。將MEFbwb空間上的最佳描述特征y,y,y在fld投影矩陣w上進(jìn)行投影，將mef空間降維到1 2NMDF空間，并獲得對(duì)應(yīng)的MDF空間上的最佳分類特征，即Z=（乙，乙，Zi）=Wy i=1,2,,Ni 1 2 k i通過計(jì)算Z,Z,Z的歐氏距離,??可以將訓(xùn)練樣本分為C?（?C等于S-1S的秩），完成12kwb對(duì)訓(xùn)練樣本集的分類???1、 matlab編程1、fisher判別法人臉檢測與識(shí)別流程圖2、matlab2、matlab程序分為三部分。程序框圖如下圖所示。判宦出A臉歸屬mainCreatDataBaseFisherfaceCoreRecognitionVImainCreatDataBaseFisherfaceCoreRecognitionVI這個(gè)函數(shù)將所有訓(xùn)練樣本的二維圖像轉(zhuǎn)換成一維列向量。接著，它把這些一維列向量組合到一行里面構(gòu)造出二維向量T，這個(gè)函數(shù)將所有訓(xùn)練樣本的二維圖像轉(zhuǎn)換成一維列向量。接著，它把這些一維列向量組合到一行里面構(gòu)造出二維向量T，即每個(gè)單元的信息量是一幅圖片PCA提取特征值Fisher分類器設(shè)計(jì)。從fisher線性空間中提取圖像這個(gè)函數(shù)將源圖像提取成特征臉，然后比較它們之間的歐幾里得距離2、 總結(jié)從計(jì)算成本來看，PCA+LDA方法的好處在于對(duì)高維空間的降維，避免了類內(nèi)離散度矩陣不可逆的情況。然而，從識(shí)別性能來看，由于主成分只是代表圖像的灰度特征，是從能量的角度衡量主成分大小的，應(yīng)用PCA之后，舍棄的對(duì)應(yīng)較小特征值的次要成分有可能對(duì)LDA來說重要的分類信息，有可能降低分類識(shí)別性能。而且，在實(shí)際應(yīng)用中，特別是在人臉圖像識(shí)別中，由于“維數(shù)災(zāi)難”的存在，F(xiàn)LD通常會(huì)遇到兩個(gè)方面