基于sif特征和fisher鑒別的人臉識別

基于sif特征和fisher鑒別的人臉識別

1核fisher線性鑒別方法的提出人臉識別涉及成像、模式識別、計(jì)算機(jī)視覺等研究領(lǐng)域。這是生物特征識別技術(shù)的一個主要方向，具有廣闊的應(yīng)用前景。比較常見的人臉特征提取方法有EigenFace、FisherFace、核FisherFace和非線性流形及其改進(jìn)。EigenFace基于重建誤差最小，無法揭示數(shù)據(jù)的局部結(jié)構(gòu)，對光照、表情等比較敏感。FisherFace屬于有監(jiān)督識別方法，一般先采用PCA降維，然后利用線性判別分析(LDA)尋找使類間距和類內(nèi)距比值最大化的投影方向，識別效果好于EgienFace，但FisherFace對于線性不可分問題的識別率較低。核Fisher方法利用核原理，把數(shù)據(jù)映射到高維空間，從而使低維中無法區(qū)分的非線性問題轉(zhuǎn)化為高維空間的線性問題，但是核FisherFace的分類效率和分類精度成反比，在大樣本情況下，其分類效率很低，甚至無法實(shí)際應(yīng)用。非線性流形法是最近提出的研究成果，主要有：等距映射(Isomap)，局部線性嵌入(LLE)和拉普拉斯特征映射(LaplacianEigenMaps)等。這些方法都沒有明晰的投影矩陣，很難直接提取新樣本的特征，而且會出現(xiàn)小樣本問題，所以一般不能直接用于人臉識別領(lǐng)域?；诖耍疚奶岢隽艘环N新的Fisher線性鑒別方法，利用原始數(shù)據(jù)的SIFT特征代替原始數(shù)據(jù)，在原始數(shù)據(jù)的SIFT特征集的基礎(chǔ)上再次提取Fisher特征，并用來分類。這樣，整個人臉識別過程進(jìn)行了2次特征提取，第一次特征提取得到了人臉的重要的旋轉(zhuǎn)、縮放、平移和光照不變特征點(diǎn)，即SIFT(ScaleInvariantFeatureTransform)特征點(diǎn)，第二次提取是將第一次得到的無序的SIFT特征點(diǎn)映射到Fisher線性空間，得到的是Fisher鑒別矢量。實(shí)驗(yàn)表明，基于SIFT特征的Fisher人臉識別方法，其識別率遠(yuǎn)遠(yuǎn)高于經(jīng)典Fisher方法和核Fisher方法。2sift特征提取SIFT特征提取方法是Lowe教授在2004年提出的一種尺度不變性特征變化方法。他用一個128維的向量來表示特征點(diǎn)，其基本思想是通過高斯核進(jìn)行一系列的濾波來提取圖像的尺度空間中的穩(wěn)定點(diǎn)。首先，原始圖像通過一系列的具有不同尺度因子的高斯核函數(shù)進(jìn)行平滑濾波，并將每2個相鄰尺度的平滑濾波后的圖像相減來計(jì)算高斯差分圖像；其次，在尺度空間中，所有的局部極值通過比較其周圍鄰域的8個像素和相鄰尺度對應(yīng)位置的周圍領(lǐng)域，總共產(chǎn)生26(9+9+8)個像素，見圖1；最后，這些極值點(diǎn)被作為候選關(guān)鍵點(diǎn)，通過它們的位置和尺度度量其穩(wěn)定性，過濾掉低對比度和處于邊緣上的點(diǎn)，得到穩(wěn)定的關(guān)鍵點(diǎn)。通過這種方式所獲取的特征點(diǎn)具有旋轉(zhuǎn)、縮放、平移和部分仿射不變性，進(jìn)一步將特征向量的長度歸一化，則可以去除光照變換的影響。SIFT特征提取方法用于人臉識別是可行性的，對于不同的人臉照片，其包含相近的SIFT特征的數(shù)量是比較少的，如圖2所示。圖2中共有4對人臉，上下2張人臉進(jìn)行對比，第1列到第3列的上下2張臉均不是一個人的，他們均沒有相近的SIFT特征可以匹配，第4列為同一個人臉的照片，包含了很多個匹配的SIFT特征。可見，相似的人臉的SIFT特征總體比較接近，不相似的人臉，其SIFT特征差別較大。因此SIFT特征可以用于人臉識別。提取每一個樣本圖片的SIFT特征，由于一個圖片中SIFT特征的數(shù)量是多個，因此，這多個SIFT特征就構(gòu)成SIFT特征集，代替原始圖片成為Fisher線性鑒別的訓(xùn)練樣本。3基于sift特征集的fpss對于多類分類問題，F(xiàn)isher線性鑒別原理可簡述如下：假定x是輸入訓(xùn)練向量集X中的一個向量，X中共有n個樣本，這些樣本共有C類，F(xiàn)isher線性鑒別的目標(biāo)是找到線性投影方向(投影軸)，使得訓(xùn)練樣本在這些投影軸上的投影結(jié)果為：類內(nèi)離散度最小，類間離散度最大。類間離散度矩陣的定義為其中，m為所有樣本的均值；km為第k類樣本的均值。類內(nèi)離散度矩陣的定義為則最優(yōu)的投影方向?yàn)槠渲校琜w1w2wC-1]=W128×(C-1)，為矩陣SW-1SB的前C-1個最大特征值對應(yīng)的特征向量，也就是所謂的Fisher線性空間。將訓(xùn)練樣本投影到該空間，得到投影系數(shù)向量，即為Fisher特征向量。經(jīng)典的Fisher線性鑒別通過比較測試樣本和訓(xùn)練樣本的Fisher特征向量的歐氏距離來決定測試樣本的類別。將SIFT特征集代替原始訓(xùn)練圖片之后，F(xiàn)isher線性鑒別的訓(xùn)練樣本集X中的任一向量x均為128維的SIFT特征向量，新的訓(xùn)練集中類別數(shù)C保持不變，但總的訓(xùn)練樣本個數(shù)大大增多。訓(xùn)練樣本中的原始圖片如圖3所示。基于SIFT特征集的Fisher人臉識別的整個訓(xùn)練及識別過程如下：(1)提取SIFT特征。按類別分別提取出該類別所有樣本圖片的SIFT特征,形成k個128行(列數(shù)為該類別中所有圖片的所有SIFT數(shù)量)的矩陣Ak,Ak中的每一列為一個SIFT特征。(2)計(jì)算訓(xùn)練樣本的Fisher特征矢量。(3)計(jì)算測試樣本的Fisher特征矢量。針對一個待識別的圖片P，提取其SIFT特征，構(gòu)成一個128行(列數(shù)為該圖片所有的SIFT特征數(shù))的矩陣T，計(jì)算T在Fisher特征空間上的投影：(4)找出最優(yōu)匹配。分別計(jì)算VFisherk的均值，即按行計(jì)算矩陣VFisherk和VT的均值，得到均值向量：計(jì)算m＿VT和m＿VFisher1,m＿VFisher2,,m＿VFisherC之間的歐氏距離，最小歐氏距離對應(yīng)的類別即為圖片P的類別。即類別如下：為加快識別速度，在實(shí)際運(yùn)行時，可首先按式(5)計(jì)算出向量m＿VFisher1,m＿VFisher2,,m＿VFisherC，識別時先提取圖片P的SIFT特征，再按式(4)計(jì)算其特征在Fisher特征空間上的投影TV，最后按式(5)計(jì)算向量m＿VT，并得到相應(yīng)的類別。4基于人臉身份識別系統(tǒng)的實(shí)現(xiàn)為驗(yàn)證文中提出的雙重特征提取算法的有效性，在UMIST和Yale人臉庫上進(jìn)行了測試。UMIST庫共有20個類別，564幅圖片，每個類別包含不同角度拍攝的照片。隨機(jī)選取10個類別，每個類別中隨機(jī)選取一半的圖片作為訓(xùn)練樣本，其他作為測試樣本。測試結(jié)果是所有測試樣本共282個，只有1個分類錯誤，分類正確率99.65%，所有564幅圖片中也只有1個分類錯誤。與“特征臉”、“Fisher臉”、“非線性流形臉”(以LLE為代表)、核Fisher臉等識別算法在UMIST庫上的識別率對比如表1所示。Yale的B庫共有5760幅圖片，包含10個類別，每個類別576幅圖片(分別來自9個不同的角度，每個角度包含64種光照變化)。對每個類別，隨機(jī)選取576幅圖片中的288幅作為樣本，其他288幅作為測試。測試結(jié)果是2880個圖片中有30個分類錯誤，5760個圖片中有39個分類錯誤。與其他方法的對比如表2所示。從表1和表2可以看出，本文方法具有較高的識別率，同時進(jìn)一步對分類錯誤的樣本進(jìn)行格式轉(zhuǎn)換(從PGM轉(zhuǎn)換為BMP)和觀察，發(fā)現(xiàn)出現(xiàn)分類錯誤的樣本集中在光照特別暗、SIFT數(shù)量特別少的樣本中。從熵的角度來說，光照特別不足的測試樣例包含的信息量也特別少，因此用任何方法均不能提取有效特征。這也從另外一個側(cè)面證明本文方法的有效性。將上述算法應(yīng)用到基于攝像頭的身份識別系統(tǒng)中，身份識別系統(tǒng)采用VisualC++2005設(shè)計(jì)，一個基本的人臉身份識別系統(tǒng)應(yīng)具有如下基本要求：(1)唯一性。對于人臉庫中存在的人臉，應(yīng)該在接受其身份的同時，不會將其誤識別為人臉庫中的其他人；對于人臉庫中不存在的人臉，應(yīng)該果斷地予以拒絕。(2)快速性。應(yīng)該在相對較短的時間內(nèi)識別出來人身份，方便被識別者使用?；谝陨?點(diǎn)，一個人臉身份識別系統(tǒng)要求具有盡可能低的錯誤拒絕率(FRR)和零錯誤接受率(FAR)。在傳統(tǒng)的人臉識別方案中，無論是特征臉、Fisher方法、非線性流形臉還是文中所提的方法，都不能直接保證FAR為0，但將本文方法稍加調(diào)整，即可實(shí)現(xiàn)FAR為0的基于攝像頭的身份識別。身份識別系統(tǒng)的工作步驟如下：(1)系統(tǒng)啟動，并以多線程方式啟動識別線程。(2)加載訓(xùn)練樣本的SIFT特征集、Fisher特征集及Fisher線性空間矩陣，所有SIFT特征集用KD-Tree方法建立索引。(3)開啟視頻捕捉。(4)使用Adaboost特征檢測器進(jìn)行人臉檢測。(5)對檢測到的人臉提取其SIFT特征，并和第(2)步加載的SIFT特征進(jìn)行匹配。匹配方法為最近鄰NN匹配?？臻g特征點(diǎn)最近鄰匹配操作的一種比較實(shí)用的索引方法是KD-Tree方法，他不僅適用于k-NN的Search問題，而且其空間復(fù)雜度與數(shù)據(jù)集的維數(shù)成線性關(guān)系。(6)如果(5)中匹配的SIFT特征數(shù)量大于指定閾值，則可認(rèn)為人臉庫中存在該人臉；否則，程序轉(zhuǎn)到(4)繼續(xù)執(zhí)行。(7)提取上述SIFT特征集中的Fisher特征，并映射到Fisher空間，將得到的Fisher特征和樣本中的Fisher特征進(jìn)行比較，得到鑒別結(jié)果。為了保證零FAR這一特殊要求，這里將得到的鑒別結(jié)果的歐氏距離和指定閾值進(jìn)行對比，如果大于指定閾值，則不承認(rèn)此次匹配，程序轉(zhuǎn)到(4)繼續(xù)執(zhí)行。采用VisualC++2005編寫的這個系統(tǒng)，其中用到了OPENCV庫、GSL庫以及TNT庫。在人臉檢測方面，程序直接使用了由OPENCV提供的Adaboost特征檢測器。當(dāng)程序檢測到合法用戶時，其畫面及提示信息如圖4所示。在圖4中，左圖為視頻捕捉窗口；右上圖為在視頻捕捉窗口中捕捉到的人臉，按子像素精度從左圖中提取，大小固定為180×200(也是樣本庫中樣本的大小)；右下圖為在人臉庫中預(yù)先存儲的標(biāo)準(zhǔn)人臉中的任何一個。5研究樣本sift特征本文根據(jù)SIFT特征的特點(diǎn)，首次利用SIFT特征進(jìn)行人臉識別，同經(jīng)典的特征臉和Fisher及核Fisher臉相比較，本文方法