動態(tài)人臉識別技術(shù)與應(yīng)用研究

1、C A S I P P動態(tài)人臉識別技術(shù)與應(yīng)用研究動態(tài)人臉識別技術(shù)與應(yīng)用研究 報告人報告人: 徐從東徐從東導(dǎo)導(dǎo) 師師:肖炳甲肖炳甲 研究員研究員羅家融羅家融 研究員研究員C A S I P P報告主要內(nèi)容報告主要內(nèi)容 一、系統(tǒng)概述一、系統(tǒng)概述二、研究現(xiàn)狀二、研究現(xiàn)狀三、下一步工作三、下一步工作C A S I P P一、系統(tǒng)概述一、系統(tǒng)概述系統(tǒng)設(shè)計為基于動態(tài)圖像的人臉識別系統(tǒng)，設(shè)計本系統(tǒng)設(shè)計為基于動態(tài)圖像的人臉識別系統(tǒng)，設(shè)計本系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否系統(tǒng)的目的是通過前端的攝像頭判斷某一視野是否有人，如果有人則對其身份進(jìn)行鑒定有人，如果有人則對其身份進(jìn)行鑒定,進(jìn)而作出一進(jìn)而作出一

2、些必要的反應(yīng)。些必要的反應(yīng)。 C A S I P P前前端端攝攝像像頭頭圖像采集圖像采集人臉檢測與分割人臉檢測與分割人臉識別人臉識別特征庫管理特征庫管理人臉特征庫人臉特征庫一、系統(tǒng)概述一、系統(tǒng)概述C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀圖像采集圖像采集圖像采集是指將前端攝像頭傳過來的信號采圖像采集是指將前端攝像頭傳過來的信號采集為視頻和圖片。主要內(nèi)容：集為視頻和圖片。主要內(nèi)容：（1）采集攝像頭傳來的視頻信號（2）對采集到的視頻進(jìn)行分割與取幀（3）對處理后的視頻的再現(xiàn)在Windows操作系統(tǒng)下，采用VFW方法，對數(shù)字?jǐn)z像頭進(jìn)行操作，用VC6.0編程。（已完成）C A S I P P二、研究

3、現(xiàn)狀二、研究現(xiàn)狀根據(jù)采集的圖像，確定圖像中是否有人臉，如根據(jù)采集的圖像，確定圖像中是否有人臉，如果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)準(zhǔn)大小的果有則確定人臉的位置，并轉(zhuǎn)化成標(biāo)準(zhǔn)大小的人臉圖像。此處我們采用基于皮膚顏色的人臉人臉圖像。此處我們采用基于皮膚顏色的人臉檢測方法。首先在圖像中檢測人的皮膚，確定檢測方法。首先在圖像中檢測人的皮膚，確定皮膚的位置，以此作為人臉的候選區(qū)域。再在皮膚的位置，以此作為人臉的候選區(qū)域。再在這些候選區(qū)域中檢測臉部特征，進(jìn)一步確定人這些候選區(qū)域中檢測臉部特征，進(jìn)一步確定人臉區(qū)域。臉區(qū)域。 人臉檢測與分割人臉檢測與分割C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分

4、割人臉檢測與分割第一步：光線補(bǔ)償?shù)诙剑簩GB圖像轉(zhuǎn)化為YCBCR圖像第三步：建立皮膚顏色的高斯分布模型第四步：用高斯模型檢測出圖像中的皮膚區(qū)域第五步：求出皮膚區(qū)域中皮膚色調(diào)的馬氏距離圖第六步：用主成份分析法確定皮膚區(qū)域是否是人臉C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第一步：光線補(bǔ)償?shù)诙剑簩GB圖像轉(zhuǎn)化為YCBCR圖像目的是減小外界光照的影響C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第三步：建立皮膚顏色的高斯分布模型皮膚顏色服從高斯分布：)()(2/12/11|21)|(ssTsccseskincp（1）收集皮膚圖像樣本

5、（收集了一些皮膚圖像樣本）（2）統(tǒng)計計算出皮膚顏色高斯分布的參數(shù)C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第三步：建立皮膚顏色的高斯分布模型（2）統(tǒng)計計算出皮膚顏色高斯分布的參數(shù)（顏色分量只取CB與CR分量）均值與協(xié)方差：njjscn11njTsjsjsccn1)(11C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第四步：用高斯模型檢測出圖像中的皮膚區(qū)域根據(jù)上面的高斯模型，可以直接計算出顏色c是皮膚的可能性的概率，也可用從顏色向量c 到均值向量的Mahalanobis距離來度量，計算公式如下：)()()(1ssTsscccC A S

6、I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第四步：用高斯模型檢測出圖像中的皮膚區(qū)域（1）計算圖像的馬氏距離（2）根據(jù)馬氏距離確定圖像中各點像素是否是皮膚像素（3）對皮膚像素進(jìn)行膨脹與腐蝕（4）去除假區(qū)域（5）確定可能的人臉區(qū)域并縮放到標(biāo)準(zhǔn)人臉圖像大小。步驟如下：用MATLAB進(jìn)行編程C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割原始圖像根據(jù)馬氏距離確定的皮膚像素C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割對皮膚像素進(jìn)行膨脹與腐蝕去除假區(qū)域C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割確定的

7、可能人臉區(qū)域C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉檢測與分割人臉檢測與分割第五步：求出皮膚區(qū)域中皮膚色調(diào)的馬氏距離圖（計算方法與前面完全一樣）第六步：用主成份分析法確定皮膚區(qū)域是否是人臉（與特征臉法類似，此處是用的馬氏距離圖）C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀根據(jù)前面檢測的人臉圖像，計算其特征，根據(jù)這些特征判斷是不是已知的人臉，從而確定人的身份。這些特征可以是具體的，也可是抽象的。 人臉識別人臉識別為了便于計算，可以將人臉圖像作為高維空間的一個點或一個向量，將這個高維向量映射到維數(shù)較低的向量空間，并用映射空間的向量表示人臉圖像，來進(jìn)行人臉識別。C A S I P P二、

8、研究現(xiàn)狀二、研究現(xiàn)狀人臉識別人臉識別特征臉法：在人臉識別中，用主成份分析方法對人臉圖像的原始空間進(jìn)行轉(zhuǎn)換，即構(gòu)造人臉圖像數(shù)據(jù)集的協(xié)方差矩陣，對之進(jìn)行正交變換，求出協(xié)方差矩陣的特征向量，再依據(jù)特征值的大小對這些特征向量進(jìn)行排序，每一個向量表示人臉圖像中一個不同數(shù)量的變量 ，這些特征向量表示特征的一個集合，它們共同表示一個人臉圖像。在人臉識別領(lǐng)域，人們能常稱這些特征向量為特征臉 。每一個體人臉圖像都可以確切地表示為一組特征臉的線性組合。 C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉識別人臉識別采用MATLAB進(jìn)行編程實現(xiàn)，仿真對象是ORL（Olivette Research Lab) 標(biāo)準(zhǔn)人

9、臉庫算法訓(xùn)練過程算法訓(xùn)練過程1 構(gòu)造訓(xùn)練樣本集構(gòu)造訓(xùn)練樣本集trainingSet 即從人臉圖像目錄中讀取多個人臉圖像即從人臉圖像目錄中讀取多個人臉圖像到到trainingSet 中；中；2 計算出所有訓(xùn)練樣本的平均臉計算出所有訓(xùn)練樣本的平均臉meanImage 和各訓(xùn)練樣本相對于平均和各訓(xùn)練樣本相對于平均臉的差值圖像臉的差值圖像differenceImages；3 用特征值分解的方法求差值圖像用特征值分解的方法求差值圖像differenceImages 的特征值和特征向的特征值和特征向量量Eimage Eval；4 求訓(xùn)練集中的每個差值圖像相對于各特征向量上的投影值求訓(xùn)練集中的每個差值圖像相

10、對于各特征向量上的投影值xuWeight構(gòu)成的特征臉向量；構(gòu)成的特征臉向量；5 計算每一類的平均投影值計算每一類的平均投影值xuAveWeight（對于最近鄰法不需要這一對于最近鄰法不需要這一步）步）C A S I P P二、研究現(xiàn)狀二、研究現(xiàn)狀人臉識別人臉識別算法識別過程算法識別過程1 讀取一幅待識別圖像讀取一幅待識別圖像recogniseImage 2 求取該圖像相對于平均臉求取該圖像相對于平均臉meanImage 差值圖像差值圖像recDiffIm3 求差值圖像求差值圖像recDiffIm 在各特征向量上的投影在各特征向量上的投影weight4 求該投影值求該投影值weight構(gòu)成的向量

11、與各類的構(gòu)成的向量與各類的xuAveWeight構(gòu)成的向量之構(gòu)成的向量之間的歐氏距離間的歐氏距離xuDiffWeight（基于夾角最小法則：該投影值基于夾角最小法則：該投影值weight構(gòu)成的向量與各訓(xùn)練樣本的構(gòu)成的向量與各訓(xùn)練樣本的xuWeight構(gòu)成的向量之間的夾角余弦構(gòu)成的向量之間的夾角余弦 ）5 判斷與最小的歐氏距離判斷與最小的歐氏距離xuDiffWeight則該圖像屬于該類則該圖像屬于該類（基于夾角最小法則：判斷最小的夾角余弦所對應(yīng)的訓(xùn)練樣本所屬類基于夾角最小法則：判斷最小的夾角余弦所對應(yīng)的訓(xùn)練樣本所屬類為該圖像的類別為該圖像的類別）C A S I P P主要包括對皮膚圖像庫的管理、對已知人臉圖像庫的管理，對各種學(xué)習(xí)方法的管理和計算出的人臉各種表征值的管理。人臉特征庫管理人臉特征庫管理二、研究現(xiàn)狀二、研究現(xiàn)狀C A S I P P（