用支持向量機進行人臉識別

1、實驗三用支持向量機進行人臉識別一、實驗?zāi)康?掌握支持向量機（SVM）的原理、核函數(shù)類型選擇以及核參數(shù)選擇原則等；.熟悉人臉識別的一般流程與常見識別方法；.熟悉不同的特征提取方法在人臉識別的應(yīng)用；4.了解在實際的人臉識別中，學(xué)習(xí)樣本數(shù)等參數(shù)對識別率的影響；5.了解非人臉學(xué)習(xí)樣本庫的構(gòu)建在人臉識別的重要作用。二、實驗內(nèi)容.構(gòu)建非人臉學(xué)習(xí)樣本庫；.觀測不同的特征提取方法對人臉識別率的影響；.觀測不同的學(xué)習(xí)樣本數(shù)對人臉識別率的影響；4 .觀測支持向量機選用不同的核 函數(shù)（線性核或徑向基核）后對人臉識別率的影響；5 .觀測支持向量機選用不同的核參數(shù)后對人臉識別率的影響。三、實驗儀器、設(shè)備PC機一系統(tǒng)最低

2、配置512M內(nèi)存、P4 CPU;Matlab仿真軟件7.0 / 7.1 / 2006a等版本的Matlab軟件。CBCL人臉樣本庫；四、實驗原理1 .人臉識別：人臉識別也就是利用計算機分析人臉圖象，進而從中提取出有效的識別信息用來 “辨認(rèn)”身份的一門技術(shù)。人臉識別技術(shù)應(yīng)用背景廣泛，可用于公安系統(tǒng)的罪犯身份識 別、駕駛執(zhí)照及護照等與實際持證人的核對、銀行及海關(guān)的監(jiān)控系統(tǒng)及自動門衛(wèi)系統(tǒng) 等。常見的人臉識別方法包括基于KL變換的特征臉識別、基于形狀和灰度分離的可變 形模型識別、基于小波特征的彈性匹配、基于傳統(tǒng)的部件建模識別、基于神經(jīng)網(wǎng)絡(luò)的 識別、基于支持向量機的識別等。其中特征臉方法、神經(jīng)網(wǎng)絡(luò)方法、

3、基于支持向量機的方 法等是基于整體人臉的識別，而基于提取眼睛等部件特征而形成特征向量的方法就是基 于人臉特征的識別。雖然人類的人臉識別能力很強，能夠記住并辨別上千個不同人臉，可是計算機則 困難多了。其表現(xiàn)在：人臉表情豐富；人臉隨年齡增長而變化；人臉?biāo)蓤D象受光照、 成象角度及成象距離等影響；而且從二維圖象重建三維人臉是病態(tài)過程，目前尚沒有很 好的描述人臉的三維模型。另外，人臉識別還涉及到圖象處理、計算機視覺、模式識別 以及神經(jīng)網(wǎng)絡(luò)等學(xué)科，也和人腦的認(rèn)識程度緊密相關(guān)。這諸多因素使得人臉識別成為一 項極富挑戰(zhàn)性的課題。通常人類進行人臉識別依靠的感覺器官包括視覺、聽覺、嗅覺與觸覺等。一般人臉的 識別

4、可以用單個感官完成，也可以是多感官相配合來存儲和檢索人臉。而計算機的人臉識 別所利用的則主要是視覺數(shù)據(jù)。另外計算機人臉識別的進展還受限于對人類本身識別系 統(tǒng)的認(rèn)識程度。研究表明，人類視覺數(shù)據(jù)的處理是一個分等級的過程，其中最底層的視 覺過程（視網(wǎng)膜功能）起信息轉(zhuǎn)儲的作用，即將人眼接收的大量圖象數(shù)據(jù)變換為一個 比較規(guī)則的緊湊表達形式。生理學(xué)的研究表明，人眼視網(wǎng)膜上存在著低層次和高層次的細(xì) 胞。其中，低層次的細(xì)胞對空間的響應(yīng)和小波變換的結(jié)果相似；而高層次的細(xì)胞則依 據(jù)一群低層次細(xì)胞的響應(yīng)，而作出具體的線、面乃至物體模式的響應(yīng)。以此為依據(jù)，在 計算機人臉識別中，可以將那些通過大量圖象數(shù)據(jù)簡單處理后獲得

5、的特征定義為低層次特 征，而將線、面、模式等描述特征定義為高層次特征。由此圖象變換后的系數(shù)特征、小 波變換特征及一些統(tǒng)計特征均屬低層次特征的范疇，而人臉部件形狀分析的結(jié)果則為高 層次特征。由于視覺數(shù)據(jù)經(jīng)傳輸后的重建，需依賴于人腦中早期形成的先驗知識，因此 在人的識別系統(tǒng)中，人臉的檢測是一個整體識別和特征識別共同作用的結(jié)果。具體說來， 遠(yuǎn)處辨認(rèn)人，主要是整體識別，而在近距離的人臉識別中，特征部件的識別則更重要。另外，人臉的各部件對識別的貢獻也不相同，如眼睛和嘴巴的重要程度大于人的鼻 子，人臉上半部分重要性大于人臉下半部分，其中特別的人臉更容易被識別記住，比如 說歪嘴，或是獨眼龍等人臉就更容易為人

6、記起，沒有個性的人臉相 對就需要更長的時間 來辨認(rèn)。根據(jù)對人腦的研究表明，人臉的表情識別和人臉識別雖然存在聯(lián)系，但總體 說是分開的、并行的處理過程。這些結(jié)論對于設(shè)計有效的識別方法起到了一定啟發(fā)作 用。人臉識別是一個跨學(xué)科富挑戰(zhàn)性的前沿課題，但目前人臉識別還只是研究課題，尚 不是實用化領(lǐng)域的活躍課題。人臉識別難度較大，主要難在人臉都是有各種變化的相似 剛體，由于人臉部件不僅存在各種變形，而且和皮膚之間是平緩過渡，因此人臉是不能用 經(jīng)典的幾何模型來進行識別分類的典型例子。如今人臉識別研究人員已經(jīng)慢慢地將研究 重點從傳統(tǒng)的點和曲線的分析方法，過渡到用新的人臉模型來表達和識別人臉，其中彈 性圖匹配就是

7、較成功的嘗試。2支持向量機：SVM近年來成為模式識別領(lǐng)域發(fā)展最快的研究方向之一，并且在各個領(lǐng)域得到了廣 泛應(yīng)用。SVM通過一個非線性映射將輸入空間中的學(xué)習(xí)樣本映射到高維特征空間F中， 然后利用結(jié)構(gòu)風(fēng)險最小化原則在F中求取線性分類超平面，巧妙地引入核函數(shù)實現(xiàn)特征 空間中的內(nèi)積運算。SVM的基本原理可用圖3-1來說明。如圖3-1 (a)所示，如果n個獨立樣本，x2,t2,，xN,tN產(chǎn)Rt不是線 性可分的，這時可以通過一個未知的映射函數(shù).: r界將樣本映射到某特征空間F中，得到弟X,t，汁 , t，汁、,0 T，然后在F中構(gòu)造線性最優(yōu)分類面(圖 i，i22N , N - f 1(b),從輸入空間r

8、的角度看，所得最優(yōu)分類面是非線性的(圖(c)可記X2,.X N的集合為，(a)輸入空間r中的N個待分類樣本(b )樣本被映射到特圖3-1 SVM基本原理示意圖X /：X2X的集合為遇:工征空間f中，并構(gòu)建最優(yōu)分類面(c)從輸入空間r的角度看，分類面是非線性的在F中構(gòu)造線性最優(yōu)分類面的方式與上節(jié)在輸入空間r中構(gòu)造最優(yōu)分類面的方式是一樣的。設(shè)與h2對應(yīng)的線性判別函數(shù)表達式為上式中求取w與b可歸結(jié)為求解下面的約束優(yōu)化問題min 1W22(3.2)StW： X b_2t上式的解由下面的拉格朗日函數(shù)的鞍點給出Gw，b, % )=-1網(wǎng) 2 送 at w 弋 x b _2 2i X上式中oti 0，i =

9、2,2, .N為拉格朗日乘子。為得到鞍點令i =2,2.N(3.3)NXii -2丑_=0 wGb將(3.4)和(3.5)一起代入到(3.3)中可得(3.2)的對偶規(guī)劃(3.4)(3.5)max2N NL二X i X j(3.6)st.N,0,：i=i 1-0:i上式含有映射函數(shù):。若在F中定義內(nèi)積K X, Xj 二 XiXj(3.7)將之代入到(3.6)后有max-GN-；一N，2(3.8)St.N，t .二 0 tpii 2又設(shè), d =(2,2，.,2)，N =02A2，.，tNT矩陣Q的第i行第j列為Qj =titjX,xj，則(3.8)可寫成矩陣形式。解(3.8)可得四最優(yōu)值，并將(

10、3.4)代入到(3.2)中可得(3.9)F中的線性判別函數(shù)表達式Nf xitiK x, Xi- bi=t式(3.7)中的Kxi,xj被稱為核函數(shù)，它欲成為f中的內(nèi)積必須滿足Mercer條件：使得積分算子Tkf X.二 K X., X.f X.dX.為正。如果f的維數(shù)很高，(3.7)等號右邊的計算量會很大，甚至?xí)萑刖S數(shù)災(zāi)難”而使得計算不可行；但通過上述代換，F(xiàn)中的內(nèi)積可基于R中的變量通過給定的核函數(shù)直接計算得到，即使F的維數(shù)非常高，SVM本身也并沒有增加多少計算復(fù)雜度。特別是對某些映射函數(shù)而言，F(xiàn)的維 數(shù)是無限的，此時內(nèi)積必須用積分來計算，這種代換的作用就更為明顯。另外從以上推導(dǎo)過 程可看出，

11、在特征空間中構(gòu)造最優(yōu)分類面，并不需要以顯式形式來考慮特征空間，也沒有必 要知道映射函數(shù)的形式，只需通過(3.7)計算內(nèi)積即可。值得指出的是，以上推導(dǎo)的假設(shè)前提是N個樣本被映射到F中以后能夠線性可分，如果 該前提不滿足，則必須在F中構(gòu)造廣義最優(yōu)分類面。相應(yīng)地(3.2)要改成(3.10)Nmin 1 w2 c、21. 土st. t.W： X.bLl 一在(3.9)中，假設(shè)輸入空間R內(nèi)的向量為x=(xC)xf卜，x(d)T，另有s個向量X1，X2，Xs對應(yīng)的:.不為零，它們被稱為支持向量，則SVC的拓?fù)浣Y(jié)構(gòu)如圖3-2所示，從圖 中看出SVM的計算復(fù)雜度取決于支持向量的數(shù)目。圖3-2 SVC拓?fù)浣Y(jié)構(gòu)圖

12、五、實驗步驟1將 CBCL人臉樣本庫放在硬盤上的指定位置；構(gòu)建非人臉學(xué)習(xí)樣本庫并將之放在硬盤上的指定位置；2觀測不同的特征提取方法對人臉識別率的影響。在MATLAB命令行狀態(tài)下，首先鍵入faceclassifyl(l)并按回車鍵，記錄不采用任何特征提取時，程序的執(zhí)行結(jié)果；Executi on time of optimizati on: 42.8 sec ondsThe number of support vectors : 56 (14.0%)Lagrange coefficient ALF:Detection rate:95.500000然后鍵入faceclassify 1(2)并按回車鍵

13、，記錄采用主成分方法進行特征提取時程序的 執(zhí)行結(jié)果；Execution time of optimization: 35.9 secondsThe number of support vectors : 58 (14.5%)Lagrange coefficient ALF:Detection rate:94.500000最后鍵入faceclassify1(3)并按回車鍵，記錄采用核主成分方法進行特征提取時程序的執(zhí)行結(jié)果；Execution time of optimization: 41.6 secondsThe number of support vectors : 53 (13.3%)La

14、grange coefficient ALF:Detection rate:94.5000003 .觀測不同的學(xué)習(xí)樣本數(shù)對人臉識別率的影響。將源代碼中的一個語句“face_lean=20”Execution time of optimization: 46.6 secondsThe number of support vectors : 54 (13.5%)Lagrange coefficient ALF:Detection rate:95.500000“ face_lean=50 ”Execution time of optimization: 56.2 secondsThe number

15、of support vectors : 54 (13.5%)Lagrange coefficient ALF:Detection rate:95.500000“face_lean=100”Execution time of optimization: 52.2 secondsThe number of support vectors : 54 (13.5%)Detection rate:95.500000“face_lean=300”Execution time of optimization: 40.3 secondsThe number of support vectors : 54 (

16、13.5%)Lagrange coefficient ALF:Detection rate:95.500000 4 .觀測支持向量機選用不同的核函數(shù)(線性核或徑向基核)后對人臉識別率的影響。先將源代碼中的一個語句ker=linear;”(即線性核)，修改成“ker=rbf(;即徑”向基核)，再在MATLAB命令行狀態(tài)下鍵入faceclassify 1并按回車鍵，記錄程序的執(zhí)行結(jié)果；Execution time of optimization: 42.3 secondsThe number of support vectors :54 (13.5%)Lagrange coefficient ALF:Detection rate:95.500000 5.觀測支持向量機選用不同的核參數(shù)后對人臉識別率的影響。p1=0.5; ”Execution time of optimization: 39.3 seconds The number of support vectors :54 (13.5%)Lagrange coefficient ALF:Detection rate:95.500000p1=1;Execution