PCA+SVM人臉識(shí)別

1、PCA+SVM人臉識(shí)別人臉識(shí)別組員學(xué)號(hào)：201224020331-34組員姓名：張潤(rùn)德雒亞彤劉衛(wèi)東趙光遠(yuǎn)概述概述： 編程平臺(tái)：Matlab； 數(shù)據(jù)： ORL人臉庫。40人，每人10幅圖，圖像大小為112*92像素。圖像本身已經(jīng)經(jīng)過處理，不需要進(jìn)行歸一化和校準(zhǔn)等工作； 數(shù)據(jù)處理：主成分分析法（PCA） 分類器： 支持向量機(jī)（SVM）人臉識(shí)別算法步驟概述人臉識(shí)別算法步驟概述： 1、讀取訓(xùn)練數(shù)據(jù)集； 2、主成分分析法降維并去除數(shù)據(jù)之間的相關(guān)性； 3、數(shù)據(jù)規(guī)格化（去除數(shù)據(jù)單位因素對(duì)分類造成的影響，這個(gè)對(duì)此實(shí)驗(yàn)造成的影響不大）； 4、SVM訓(xùn)練（選取徑向基和函數(shù)）； 5、讀取測(cè)試數(shù)據(jù)、降維、規(guī)格化； 6

2、、用步驟4產(chǎn)生的分類函數(shù)進(jìn)行分類（多分類問題，采用一對(duì)一投票策略，歸位得票最多的一類）； 7、計(jì)算正確率。PCA簡(jiǎn)要介紹：簡(jiǎn)要介紹：PCA（Principal Components Analysis）即主成分分析，是圖像處理中經(jīng)常用到的降維方法，大家知道，我們?cè)谔幚碛嘘P(guān)數(shù)字圖像處理方面的問題時(shí)，比如經(jīng)常用的圖像的查詢問題，在一個(gè)幾萬或者幾百萬甚至更大的數(shù)據(jù)庫中查詢一幅相近的圖像。這時(shí)，我們通常的方法是對(duì)圖像庫中的圖片提取響應(yīng)的特征，如顏色，紋理，sift（尺度不變特征轉(zhuǎn)換），surf（角點(diǎn)檢測(cè)）等等特征，然后將其保存，建立響應(yīng)的數(shù)據(jù)索引，然后對(duì)要查詢的圖像提取相應(yīng)的特征，與數(shù)據(jù)庫中的圖像特征對(duì)

3、比，找出與之最近的圖片。這里，如果我們?yōu)榱颂岣卟樵兊臏?zhǔn)確率，通常會(huì)提取一些較為復(fù)雜的特征，如sift，surf等，一幅圖像有很多個(gè)這種特征點(diǎn)，每個(gè)特征點(diǎn)又有一個(gè)相應(yīng)的描述該特征點(diǎn)的128維的向量，設(shè)想如果一幅圖像有300個(gè)這種特征點(diǎn)，那么該幅圖像就有300*vector（128維）個(gè)，如果我們數(shù)據(jù)庫中有一百萬張圖片，這個(gè)存儲(chǔ)量是相當(dāng)大的，建立索引也很耗時(shí)，如果我們對(duì)每個(gè)向量進(jìn)行PCA處理，將其降維為64維，就非常的節(jié)約空間了。主成分分析（主成分分析（PCA）預(yù)備知識(shí)）預(yù)備知識(shí) 所用到的數(shù)學(xué)方法： 樣本X和樣本Y的協(xié)方差(Covariance)： 協(xié)方差為正時(shí)說明X和Y是正相關(guān)關(guān)系，協(xié)方差為負(fù)時(shí)

4、X和Y是負(fù)相關(guān)關(guān)系，協(xié)方差為0時(shí)X和Y相互獨(dú)立。 Cov(X,X)就是X的方差(Variance). 當(dāng)樣本是n維數(shù)據(jù)時(shí)，它們的協(xié)方差實(shí)際上是協(xié)方差矩陣（對(duì)稱方陣），方陣的邊長(zhǎng)是 。比如對(duì)于3維數(shù)據(jù)(x,y,z)，計(jì)算它的協(xié)方差就是：主成分分析（主成分分析（PCA）預(yù)備知識(shí)）預(yù)備知識(shí)主成分分析（主成分分析（PCA）預(yù)備知識(shí)）預(yù)備知識(shí) 對(duì)A進(jìn)行奇異值分解就能求出所有特征值和Q矩陣。 A * Q = Q * D( D是由特征值組成的對(duì)角矩陣) 由特征值和特征向量的定義知，Q的列向量就是A的特征向量。主成分分析（主成分分析（PCA）過程）過程 1.特征中心化。即每一維的數(shù)據(jù)都減去該維的均值。這里的“

5、維”指的就是一個(gè)特征（或?qū)傩裕儞Q之后每一維的均值都變成了0。 2.原始數(shù)據(jù)矩陣A，每一列減去該列均值后，得到矩陣B； 3.計(jì)算B的協(xié)方差矩陣C； 4.計(jì)算協(xié)方差矩陣C的特征值和特征向量。主成分分析（主成分分析（PCA）過程）過程 5.選取大的特征值對(duì)應(yīng)的特征向量，得到新的數(shù)據(jù)集： 特征值是由大到小排列的，前兩個(gè)特征值的和已經(jīng)超過了所有特征值之和的97%。我們?nèi)∏皟蓚€(gè)特征值對(duì)應(yīng)的特征向量，得到一個(gè)新的矩陣M，這樣我們就將數(shù)據(jù)集的特征顯著地降低了大部分。SVM支持向量機(jī)簡(jiǎn)介：支持向量機(jī)簡(jiǎn)介： 在機(jī)器學(xué)習(xí)領(lǐng)域，支持向量機(jī)SVM(Support Vector Machine)是一個(gè)有監(jiān)督的學(xué)習(xí)模型

6、，通常用來進(jìn)行模式識(shí)別、分類、以及回歸分析。 Vapnik等人在多年研究統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上對(duì)線性分類器提出了另一種設(shè)計(jì)最佳準(zhǔn)則。其原理也從線性可分說起，然后擴(kuò)展到線性不可分的情況。甚至擴(kuò)展到使用非線性函數(shù)中去，這種分類器被稱為支持向量機(jī)(Support Vector Machine，簡(jiǎn)稱SVM)。支持向量機(jī)的提出有很深的理論背景。SVM支持向量機(jī)簡(jiǎn)介：支持向量機(jī)簡(jiǎn)介： SVM的主要思想可以概括為兩點(diǎn): SVM的主要思想可以概括為兩點(diǎn):它是針對(duì)線性可分情況進(jìn)行分析，對(duì)于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而 使得高維特征空間采用

7、線性算法對(duì)樣本的非線性特征進(jìn)行線性分析成為可能; 它基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面，使得學(xué)習(xí)器得到全局最優(yōu)化，并且在整個(gè)樣本空間的期望風(fēng)險(xiǎn)以某個(gè)概率滿足一定上界。訓(xùn)練集訓(xùn)練集和和測(cè)試測(cè)試集集 在具體運(yùn)用SVM工作之前我們先來了解一下訓(xùn)練集和測(cè)試集。 在機(jī)器學(xué)習(xí)方法當(dāng)中，分為監(jiān)督學(xué)習(xí)，非監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。而SVM支持向量機(jī)是一種監(jiān)督學(xué)習(xí)的算法。所謂監(jiān)督學(xué)習(xí)，就是給予機(jī)器一套題目并附上標(biāo)準(zhǔn)答案，讓它去做題，自己總結(jié)了一套做題的方法（這些方法就是建立的模型），它在根據(jù)已經(jīng)學(xué)習(xí)好的方法來做一套新的題目，把題目做對(duì)，盡可能打高分。訓(xùn)練集訓(xùn)練集和和測(cè)試測(cè)試集集 訓(xùn)練集就是給予機(jī)

8、器的一套題目及標(biāo)準(zhǔn)答案，測(cè)試集就是給它的一套新題。而訓(xùn)練集有標(biāo)簽和數(shù)據(jù)之分，標(biāo)簽就是標(biāo)準(zhǔn)答案，標(biāo)簽有著1和0，就表示這些訓(xùn)練集中有兩類，像我們的人臉數(shù)據(jù)有40種人臉，我們就用1到40來表示。數(shù)據(jù)就是有著多維的表征一個(gè)事物的數(shù)據(jù)，就是給機(jī)器的第一套題目。測(cè)試集也有數(shù)據(jù)，就是后面給機(jī)器測(cè)試的題目，如果測(cè)試集原本含有標(biāo)簽，這些標(biāo)簽就可以作為標(biāo)準(zhǔn)給機(jī)器前面訓(xùn)練總結(jié)的方法（模型）打分，查看準(zhǔn)確率。 在這個(gè)人臉庫中，每個(gè)人有10張圖，我們將前5張作為訓(xùn)練集，就有200張圖。用一個(gè)矩陣來表示這200張圖，就形成了一個(gè)200*10304的矩陣。后5張圖用來當(dāng)測(cè)試集。SVM支持向量機(jī)作用：支持向量機(jī)作用： SVM支持向量機(jī)分類器是一個(gè)二類分類器，但是本次人臉