人臉表情自動識別系統(tǒng)的研究與實現(xiàn)

人臉表情自動識別系統(tǒng)的研究與實現(xiàn)導(dǎo)師：趙政學(xué)生：孫涵提綱研究背景及意義國內(nèi)外研究水平及存在問題本文采用的技術(shù)及方法工作進度安排參考文獻研究背景及意義人類的語言分為自然語言和形體語言兩類，面部表情是形體語言的一部分。在人類交往過程中，言語與表情經(jīng)常是相互配合的。一些心理學(xué)家研究發(fā)現(xiàn)在人類進行會話交流傳遞信息時：話語內(nèi)容占7%；說話時的語調(diào)占38%；而說話人的表情占55%，所以說表情在人類交往活動中起到了重要的作用。因此對人類面部表情的識別與分析有重要的意義，它不僅將有利于我們開發(fā)更高效的人機交互界面，也是研究情感機器人，使之能表現(xiàn)、識別和理解人類的情感的工作起點。國內(nèi)外研究水平人臉表情識別是人機智能交互的重要基礎(chǔ)，該課題涉及圖像處理、運動跟蹤、模式識別、生理學(xué)、心理學(xué)等研究領(lǐng)域，是當(dāng)前國內(nèi)外模式識別和人工智能領(lǐng)域的一個研究熱點。關(guān)于表情分類與識別的研究工作可以分為基于心理學(xué)的和基于計算機識別的兩類，在心理學(xué)方面，1971年，Ekman和Friesen對人類情緒進行了分類，提出6種基本情緒:高興(happiness)、悲傷(sadness)、驚奇(surprise)、恐懼(fear)、厭惡(disgust),、憤怒(anger)，每種基本情緒都對應(yīng)著一個獨特的較為典型的臉部表情。在此基礎(chǔ)上他們又提出了臉部運動編碼系統(tǒng)(FacialActionCodingSystem，F(xiàn)ACS)，將臉部肌肉運動劃分為不同的運動單元(ActionUnits,AUs)，每種運動單元對應(yīng)了不同的表情狀態(tài)。;在計算機識別方面，最早是1978年，Suwa曾對選定的連續(xù)錄像畫面中臉部固定的20個點進行跟蹤識別，并與典型模式進行比較以實現(xiàn)臉部表情識別。目前在國際上對人臉面部表情的識別及其相關(guān)方向的研究主要有美國的麻省理工大學(xué)（MIT）、卡耐基梅隆大學(xué)（CMU）、馬里蘭大學(xué)（Maryland）、日本東京大學(xué)（Tokyo）等。在國內(nèi)，也有很多大學(xué)和科研機構(gòu)從事表情識別研究，主要有清華大學(xué)、哈工大、北京交通大學(xué)、中科院自動化所和計算所等。表情識別的3個關(guān)鍵環(huán)節(jié)自動人臉表情識別系統(tǒng)包括人臉檢測，特征提取和表情分類3個關(guān)鍵環(huán)節(jié).在分析人臉表情和抽取特征數(shù)據(jù)之前，首先要進行人臉檢測。檢測到人臉之后將人臉從背景中分割出來，并進行尺寸，灰度等的歸一化。之后的特征提取可以分為靜態(tài)和動態(tài)圖像2種情況。最后，要定義一些人臉情感類別并且設(shè)計分類的算法來進行人臉的表情分類.人臉表情識別流程圖表情特征提取的主要技術(shù)表情識別的關(guān)鍵在于表情特征提取的準(zhǔn)確性和有效性上。目前所用到的識別特征主要有：灰度特征、運動特征和頻率特征三種?；叶忍卣魇菑谋砬閳D像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據(jù)。這種情況下要求圖像對光照、角度等因素要進行充分的預(yù)處理，使獲得的灰度值具有歸一性。運動特征利用了不同表情情況下人臉的主要表情點的運動信息來進行識別。頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。在具體的表情識別方法上，方向主要有三個：整體識別法和局部識別法、形變提取法和運動提取法、幾何特征法和容貌特征法。整體法與局部法整體識別法中，無論是從臉部的變形出發(fā)還是從臉部的運動出發(fā)，都是將表情人臉作為一個整體來分析，找出各種表情下的圖像差別。其中典型的方法有：基于特征臉的主分量分析（PrincipalComponentAnalysis，PCA）法、獨立分量分析法（IndependentComponentAnalysis，ICA）、Fisher線性判別法（Fisher’sLinearDiscriminants，F(xiàn)LD）、Fisher運動法（FisherActions）、隱馬爾科夫模型法（HideMarkovModel，HMM）和聚類分析法。局部識別法就是將人臉的各個部位在識別時分開，也就是說各個部位的重要性是不一樣。比如說在表情識別時，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運動表示了豐富的面部表情。相比較而言，鼻子的運動就較少，這樣在識別時就可以盡量少的對鼻子進行分析，能加快速度和提高準(zhǔn)確性。形變法與運動法形變提取法是根據(jù)人臉在表達各種表情時的各個部位的變形情況來識別的，主要的方法有：主分量分析法（PCA）、Gabor小波、運動模板法（ActiveShapeModel，ASM）和點分布模型（PointDistributionModel，PDM）法。運動法是跟蹤人臉在表達各種特定的表情時一些特定的特征部位的運動來識別的。典型的識別方法有：光流法（OpticalFlow）和MPEG-4中的臉部運動參數(shù)法（FaceAnimationParameterFAP）幾何法和容貌特征法幾何特征法是根據(jù)人的面部的各個部分的形狀和位置（包括嘴、眼睛、眉毛、鼻子）來提取特征矢量，這個特征矢量來代表人臉的幾何特征。根據(jù)這個特征矢量的不同就可以識別不同的表情。重要的方法是：基于運動單元（AU）的主分量分析法。在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor小波。當(dāng)然，這三個發(fā)展方向不是嚴(yán)格獨立，它們只是從不同角度來進行特征提取，都只是提供了一種分析表情的思路，相互聯(lián)系，相互影響。有很多種方法是介于兩者甚至是三者之間。主成分分析PCA算法介紹PCA已廣泛的運用于人臉識別和表情識別中，PCA是根據(jù)像素間的二階相關(guān)性，利用代數(shù)中的子空間法給圖像矩陣大大降維，提取那些能代表所要識別的幾種特征人臉表情的主要特征分量并形成特征識別空間，利用待識別區(qū)域在此特征空間的投影距離來識別。PCA基于K-L正交變換，它將一組高維訓(xùn)練圖像集進行K-L正交變換，生成一組新的正交基，以消除原有向量間的相關(guān)性。提取出該正交基中對應(yīng)較大特征值的部分特征向量，從而生成低維的表情特征空間，同時保留原高維空間的主要成份分量。PCA算法介紹設(shè)訓(xùn)練集中每一幅表情圖像對應(yīng)一個高維向量，則訓(xùn)練集可表示為S={X1，X2，...，XN}，Xk表示第k(1<=k<=N)幅表情圖像向量。N為訓(xùn)練圖像的總數(shù)。則訓(xùn)練集的總體協(xié)方差矩陣為:

對該協(xié)方差矩陣對角化以獲得特征值λ，和對應(yīng)的特征向量μ，則所有的特征向量組成一個標(biāo)準(zhǔn)正交系。PCA算法介紹對特征值按從大到小進行排序，并按下式定義排序后的方差貢獻率由此可求出前M個主成份分量，使其方差貢獻率大于某個閾值ζ，ζ可認為是進行K-L變換后選取的子空間占原空間的比率，即保留原圖像空間的信息量，一般取0.8。前M個特征值對應(yīng)的特征向量組成M維子空間，其維數(shù)遠小于原圖像空間的維數(shù)，且保留了原圖像的大部分信息。然后便可將待測圖片向量投影到M維子空間中，投影坐標(biāo)即作為用于分類輸入數(shù)據(jù)。經(jīng)PCA處理后的表情圖像稱為特征表情臉（eigenexpressionface）。特征臉方法