模式識(shí)別讀書報(bào)告

模式識(shí)別研讀報(bào)告學(xué)院：*******姓名：*******學(xué)號(hào):*******論文出處：HongjunJiaandAleixM.Martinez.SupportVector專業(yè).專注

MachinesinFaceRecognitionwithOcclusions.Proc.ofCVPR,MachinesinFaceRecognitionwithOcclusions.Proc.ofCVPR,2009.《基于SVM的閉塞人臉識(shí)別》的研讀報(bào)告1、問題提出：作者提出支撐向量機(jī)（SVM）在人臉識(shí)別中是非常有用技術(shù)，但是作為定義樣本的特征向量丟失時(shí)，SVM不起作用。這篇文章提到，當(dāng)人臉部分發(fā)生遮擋時(shí)，特征向量的數(shù)據(jù)就會(huì)丟失。支撐向量機(jī)的目標(biāo)就是找到兩類之間的最大空白區(qū)域。由于不知道采取哪個(gè)子空間的測(cè)試矢量，這與最小化類超平面和子空間之間的重疊區(qū)域是對(duì)等的。然而得到的解與獲得的使空白區(qū)域最大化的可視數(shù)據(jù)存在矛盾，為了解決這個(gè)問題，作者定義一個(gè)標(biāo)準(zhǔn)，最大化地減少重疊概率，并且有效解決優(yōu)化問題。作者還用豐富的實(shí)驗(yàn)，證該方法在溫和條件下，能夠保證全局最小誤差。2、傳統(tǒng)人臉識(shí)別技術(shù)的缺陷：作者提出，基于外觀為基礎(chǔ)的人臉識(shí)別技術(shù)在計(jì)算機(jī)算法里已經(jīng)相當(dāng)成功。支撐向量機(jī)（SVM）已經(jīng)作為一種將圖像的像素值重新形成向量，然后應(yīng)用于分類中。外觀為基礎(chǔ)的算法的缺點(diǎn)是，當(dāng)臉部外觀被遮擋時(shí)，它不能直接使用。專業(yè).專注因?yàn)椴空赥rainingimagesTestingimagesOccludedMixedNotoccludedMixed麗O,因?yàn)椴空赥rainingimagesTestingimagesOccludedMixedNotoccludedMixed麗O,被遮擋的,SB知的5。作者提出了目前為觀表示，當(dāng)需要識(shí)別有遮擋的臉部時(shí)，僅識(shí)別可見的共同部分。這種方法可以通過子空間技術(shù)和稀疏表達(dá)來實(shí)現(xiàn)。但是這種方法不能從閉塞的圖像中處理模型重建。為了說明情況，作者展示了3個(gè)場(chǎng)景中人臉識(shí)別應(yīng)允的真實(shí)圖像。組1:研究最多的，即非閉塞面孔做訓(xùn)練，閉塞圖像做測(cè)試。組2:閉塞和非閉塞面孔作為訓(xùn)練。組3:僅僅是閉塞面孔作為訓(xùn)練。作者的方法基于組3,即用閉塞面孔作為訓(xùn)練。3、作者算法的提出：這篇文章，作者推導(dǎo)出能適用以上3種情況的SVM判別準(zhǔn)則。作者的方法與經(jīng)典SVM不同之處在于經(jīng)典的標(biāo)準(zhǔn)SVM在以上3中情況都不能被適用。因?yàn)榻?jīng)典SVM假設(shè)所有特征可見。作者推導(dǎo)準(zhǔn)則對(duì)缺失成分的樣本和測(cè)試特征向量適用,為了區(qū)分經(jīng)典SVM，作者命名為偏支撐向量機(jī)（PSVM）。專業(yè).專注與經(jīng)典SVM類似，PSVM的目標(biāo)也是盡可能區(qū)分超平面中兩類樣本。與傳統(tǒng)SVM不同的是PSVM會(huì)受到不完整數(shù)據(jù)的限制。在作者提出的PSVM中，作者將全部缺失訓(xùn)練樣本的所有可能值作為特征空間中的一個(gè)映射空間，以此來設(shè)計(jì)使得仿射空間和分離平面重疊概率最小的判別準(zhǔn)則。為了實(shí)現(xiàn)模型，作者將仿射空間和超平面之間的角度公式化。在溫和條件下，目標(biāo)函數(shù)具有全局最優(yōu)解，前提是判別準(zhǔn)則所定義的凸區(qū)域靠近原點(diǎn)。作者算法的詳細(xì)過程：為了突出自己的算法，作者先簡(jiǎn)單引述經(jīng)典SVM算法，并說明經(jīng)典SVM的不足，經(jīng)典SVM的約束條件為：f=l一小?匚,.一’小公式1作者指出，當(dāng)一些特征丟失時(shí)，有些距離無法計(jì)算，一種解決的辦法就是在使用SVM之前填補(bǔ)這些空白數(shù)據(jù)。然而由于這些數(shù)據(jù)無知，如果填補(bǔ)錯(cuò)誤將導(dǎo)致更壞的結(jié)果。作者的思想就是將這些缺失的數(shù)據(jù)的所有可能情況作為一個(gè)單元，并能在映射空間中正確分類。這意味著超平面與所有的不完整數(shù)據(jù)組成的映射空間平行。專業(yè).專注

//pi//pi\fiFigure2.ClassicalSVMsolutionsfordifferent(potential)fiUingins.{pi?pa}and(qi；qs}areinclasses1and2,respectively.Theincompletefeaturevectorpg=(3,*)Teclass1.為了說明以上觀點(diǎn)，作者用圖2進(jìn)行說明，加入的P3向量有一個(gè)數(shù)值丟失，丟失的數(shù)值可能是p31,p32,p33,對(duì)于經(jīng)典SVM,每個(gè)值都會(huì)給一個(gè)超平面。然而我們發(fā)現(xiàn)，任何一個(gè)給出的超平面都無法正確分類。為解決以上問題，作者側(cè)重于在概率條件下對(duì)正確部分?jǐn)?shù)據(jù)進(jìn)行分類。超平面和映射空間之間的夾角:特征向量所缺失的元素定義在映射空間中，在映射空間中能給正確分類的超平面概率依賴于：1、超平面概率依賴于：1、映射空間與超平面的關(guān)系；2、缺失元素分類結(jié)果。Figure3.TheProbabilityofCorrectClassification(PCC)ofahy-perplanc.(a)AssumingaGaussiandistributionofS,(b)theanglebetweenSandhisproportionaltothedistancedggo).專業(yè).專注作者用圖3說明，如果超平面和映射空間不平行，映射空間將被分為S1,S2,缺失的可能值在S1中會(huì)被正確歸類，而在S2中則錯(cuò)誤歸類。因此可以計(jì)算在映射空間S中正確分類的超平面概率為：PCC(l,S)=/ P⑷頌公式2q￡S.p(q)概率密度函數(shù);基于上述模型，目標(biāo)就是最小化類中樣本最有可能值間的重疊概率，阻止超平面割裂丟失項(xiàng)的值。為了計(jì)算概率，作者假設(shè)樣本數(shù)據(jù)服從高斯分布，P(q)￡N(X,o)o最大化PCC等同于最大化D(X,Q0)。注意到，固定的樣本空間，超平面和映射子空間S的夾角9(S,L)與D(X,Q0)成反比關(guān)系，因此9(S,L)與X向量丟失元素的可能值相關(guān)。目標(biāo)函數(shù):為了解決數(shù)據(jù)不完整問題，作者先為每一個(gè)樣本向量定義閉塞遮掩1“三’，如果中的特征被遮掩，則為0,否則為1o映射空間由所有不完整的樣本組成，超平面L區(qū)分兩類由約束：公式3wTx.=b}wherew=(w：比看)[公式3映射空間和超平面L之間的夾角9(,L)由下式給出：COS&(Sj,I)=COS0(jS^-,w)=COS&(Sj,I)=COS0(jS^-,w)=l|w||b公式4將所有的夾角取權(quán)重和：K/w/川w||，為權(quán)重值，當(dāng)不完整時(shí)應(yīng)該取正，否則為0o為了獲取最大可能的PCC，一二：應(yīng)該專業(yè).專注

最大化。最大化。類似經(jīng)典SVM算法，作者給出解模型:其中K>0是調(diào)整參數(shù)。在超平面的性能與不完整數(shù)據(jù)的正確分類間起到折中作用。以下的問題就是解公式5的問題了，由于公式5非線性，非二次，因此文章中對(duì)公式5進(jìn)行變換公式5進(jìn)行變換:得到以上解模型后，就是最優(yōu)化過程。作者分別討論了線性可分情況可非線性可分情況。線性可分情況:maxs.t.防（可丁元―s.t.防（可丁元―i=公式7通過公式7,可以解決線性情況問題。b值對(duì)凸?fàn)顓^(qū)域無影響，因此分析中作者專注于W。雖然W對(duì)目標(biāo)函數(shù)是非凸的，但是利用W仍可以進(jìn)一步優(yōu)化，假設(shè)，，有,r>1則:專業(yè).專注

上公式表明，目標(biāo)函數(shù)是經(jīng)過原點(diǎn)且單調(diào)遞增的。為了最大化目標(biāo)函數(shù)的邊界下限，作者加入一個(gè)條件約束:□+E幻叫研)/(￡二峭＞7-orSLi(7—⑷喈＜L這樣就演變成問題:這樣得到的目標(biāo)函數(shù)和約束就成了凸規(guī)劃問題，保證了有全局最優(yōu)解，即:是方程9的解。非線性可分問題求解:在分類問題中，大多數(shù)問題是非線性問題。在這種情況下，將松弛變量和調(diào)整參數(shù)C>0加入到公式6中，由于不完整的數(shù)據(jù)目前沒被正確分類，因此要根據(jù)松弛變量的值來調(diào)整角度權(quán)值，具體如下:專業(yè).專注

l+KE即獻(xiàn)1—' "'— —.一、..._?'=.'■'公式11由于sgn函數(shù)并不連續(xù)，作者通過一個(gè)價(jià)值函數(shù)進(jìn)行優(yōu)化：i+k/ 史^ iwF'二_I-；.；」「二.■ 公式12這樣就得到了作者的PSVM算法，模型描述如下：max

w.fb二=1wimax

w.fb2fi(wTXi-6)>1- >0^利用經(jīng)典SVM的解作為初始值，再進(jìn)行迭代運(yùn)算，就可以得到模型中有關(guān)W和的解。若固定， 可以像線性可分情況一樣得到最大化的解。若W固定， 就是一個(gè)簡(jiǎn)單的凸規(guī)劃問題。至此作者已經(jīng)得到線性與非線性情況的模型解，可以用于對(duì)測(cè)試特征向量分類。對(duì)于不完整的圖像，還需要去知道值的概率，為此作者要對(duì)數(shù)據(jù)進(jìn)行重建。對(duì)于一幅測(cè)試圖像，用'''?川：去描述圖像所缺失的部分，表示M矩陣的第j行，有n個(gè)值，因此重建的特征模板L就有種情況。假設(shè)可以對(duì)特征進(jìn)行重建，那么可以分成2部分r和ni,r為測(cè)試圖像的觀察特征，ni為掩埋特征。這樣權(quán)值；■|‘一二；可以通過公式15求得。argmm回|衽必｝專業(yè).專注

將求得的權(quán)值去估計(jì)模板中丟失的部分。4、實(shí)驗(yàn)部分:為了展示PSVM算法，作者選取了既有人工合成遮掩和實(shí)際遮掩的人臉圖像作為測(cè)試，測(cè)試圖像來源AR人臉數(shù)據(jù)庫和FRGC數(shù)據(jù)庫。在實(shí)驗(yàn)中，控制參數(shù)K均為1。遮擋部分，從獨(dú)立的人臉圖像中通過膚色檢測(cè)重建。對(duì)于人工合成遮掩，直接在臉部打上一塊黑方塊，并且設(shè)置黑方塊的不同尺寸，測(cè)試在各種表情下的分類準(zhǔn)確度，作者給出的結(jié)果如圖5顯示。Figure5.ClassificationaccuracywithsyntheticocclusionsontheARdatabaseandtheFRGCdata-sei.作者的實(shí)驗(yàn)還將PSVM算法與他人的算法比較，結(jié)果顯示PSVM算法比他人的算法無論是在無遮掩還是有遮掩情況下都具有優(yōu)勢(shì)。當(dāng)有這遮掩時(shí)，優(yōu)勢(shì)更大。TrainingseiTellingSeiPSVM14]血M此間S8.985.7出NW]90.884.7Id也匝1S8.2S2.0[a.iJrcreJ]kn58.S52.()W]S3.575,5TaMe1.Experimentalresults(recognitionfateinfxfcentages)withavarietyoftrainingandtesliagsets.專業(yè).專注TrainingecLIcslingScLPS-VM⑶nn2NNi［羽網(wǎng)9日089.045.079.Q同[3網(wǎng).471.03L050.0［羽麻⑷80.07Z03L759.7k出⑸己力53.747.32C332.7但kV'l57.055.029.086.676.231356Ala.a'\筑495.0眼583.0Table2.ExperimentaJresults(recognitionrateinpercentages)withjncotiipletedatainthetrainingset.文章作者最后總結(jié)了自己的算法，認(rèn)為改進(jìn)的SVM算法對(duì)有遮掩的訓(xùn)練樣本和測(cè)試樣本都是有效的，并且與參考文獻(xiàn)中其他人的算法相比，PSVM的識(shí)別準(zhǔn)確率都要高。5研讀總結(jié)：這篇文章，作者的算法主要是針對(duì)丟失了部分?jǐn)?shù)據(jù)的特征向量的分類問題。文章開頭，作者提出傳統(tǒng)SVM算法在缺失數(shù)據(jù)的特征向量中不起作用。為了解決這個(gè)不足，作者提出將全部缺失訓(xùn)練樣本的所有可能值作為特征空間中的一個(gè)映射空間，以此來設(shè)計(jì)使得仿射空間和分離平面重疊概率最小的判別函數(shù)。然后作者給出一個(gè)