人臉表情自動識別系統(tǒng)的研究與實現(xiàn)課件

1、人臉表情自動識別系統(tǒng)的研究與實現(xiàn)導師：趙政學生：孫涵提綱研究背景及意義國內(nèi)外研究水平及存在問題本文采用的技術及方法工作進度安排參考文獻研究背景及意義人類的語言分為自然語言和形體語言兩類，面部表情是形體語言的一部分。在人類交往過程中，言語與表情經(jīng)常是相互配合的。一些心理學家研究發(fā)現(xiàn)在人類進行會話交流傳遞信息時：話語內(nèi)容占7%；說話時的語調(diào)占38%；而說話人的表情占55%，所以說表情在人類交往活動中起到了重要的作用。因此對人類面部表情的識別與分析有重要的意義，它不僅將有利于我們開發(fā)更高效的人機交互界面，也是研究情感機器人，使之能表現(xiàn)、識別和理解人類的情感的工作起點。國內(nèi)外研究水平人臉表情識別是人機

2、智能交互的重要基礎，該課題涉及圖像處理、運動跟蹤、模式識別、生理學、心理學等研究領域，是當前國內(nèi)外模式識別和人工智能領域的一個研究熱點。關于表情分類與識別的研究工作可以分為基于心理學的和基于計算機識別的兩類，在心理學方面，1971年，Ekman和Friesen對人類情緒進行了分類，提出6種基本情緒:高興(happiness)、悲傷(sadness)、驚奇(surprise)、恐懼(fear)、厭惡(disgust),、憤怒(anger)，每種基本情緒都對應著一個獨特的較為典型的臉部表情。在此基礎上他們又提出了臉部運動編碼系統(tǒng)(Facial Action Coding System，F(xiàn)ACS)，

3、將臉部肌肉運動劃分為不同的運動單元(Action Units, AUs)，每種運動單元對應了不同的表情狀態(tài)。;在計算機識別方面，最早是1978年，Suwa曾對選定的連續(xù)錄像畫面中臉部固定的20個點進行跟蹤識別，并與典型模式進行比較以實現(xiàn)臉部表情識別。目前在國際上對人臉面部表情的識別及其相關方向的研究主要有美國的麻省理工大學（MIT）、卡耐基梅隆大學（CMU）、馬里蘭大學（Maryland）、日本東京大學（Tokyo）等。在國內(nèi)，也有很多大學和科研機構從事表情識別研究，主要有清華大學、哈工大、北京交通大學、中科院自動化所和計算所等。表情識別的3個關鍵環(huán)節(jié)自動人臉表情識別系統(tǒng)包括人臉檢測，特征提取

4、和表情分類3個關鍵環(huán)節(jié).在分析人臉表情和抽取特征數(shù)據(jù)之前，首先要進行人臉檢測。檢測到人臉之后將人臉從背景中分割出來，并進行尺寸，灰度等的歸一化。之后的特征提取可以分為靜態(tài)和動態(tài)圖像2種情況。最后，要定義一些人臉情感類別并且設計分類的算法來進行人臉的表情分類.表情特征提取的主要技術表情識別的關鍵在于表情特征提取的準確性和有效性上。目前所用到的識別特征主要有：灰度特征、運動特征和頻率特征三種?；叶忍卣魇菑谋砬閳D像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據(jù)。這種情況下要求圖像對光照、角度等因素要進行充分的預處理，使獲得的灰度值具有歸一性。運動特征利用了不同表情情況下人臉的主要表情點的

5、運動信息來進行識別。頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。在具體的表情識別方法上，方向主要有三個：整體識別法和局部識別法、形變提取法和運動提取法、幾何特征法和容貌特征法。整體法與局部法整體識別法中，無論是從臉部的變形出發(fā)還是從臉部的運動出發(fā)，都是將表情人臉作為一個整體來分析，找出各種表情下的圖像差別。其中典型的方法有：基于特征臉的主分量分析（Principal Component Analysis，PCA）法、獨立分量分析法（Independent Component Analysis，ICA）、Fisher線性判別法（Fishers Linear Disc

6、riminants，F(xiàn)LD）、Fisher運動法（Fisher Actions）、隱馬爾科夫模型法（Hide Markov Model，HMM）和聚類分析法。局部識別法就是將人臉的各個部位在識別時分開，也就是說各個部位的重要性是不一樣。比如說在表情識別時，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運動表示了豐富的面部表情。相比較而言，鼻子的運動就較少，這樣在識別時就可以盡量少的對鼻子進行分析，能加快速度和提高準確性。幾何法和容貌特征法幾何特征法是根據(jù)人的面部的各個部分的形狀和位置（包括嘴、眼睛、眉毛、鼻子）來提取特征矢量，這個特征矢量來代表人臉的幾何特征。根據(jù)這個特征矢量的不同就可以識別

7、不同的表情。重要的方法是：基于運動單元（AU）的主分量分析法。在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor 小波。當然，這三個發(fā)展方向不是嚴格獨立，它們只是從不同角度來進行特征提取，都只是提供了一種分析表情的思路，相互聯(lián)系，相互影響。有很多種方法是介于兩者甚至是三者之間。主成分分析PCA算法介紹PCA已廣泛的運用于人臉識別和表情識別中，PCA是根據(jù)像素間的二階相關性，利用代數(shù)中的子空間法給圖像矩陣大大降維，提取那些能代表所要識別的幾種特征人臉表情的主要特征分量并形成特征識別空間，利用待識別區(qū)域在此特征空間的投影距離來識別。PCA基于K-

8、L正交變換，它將一組高維訓練圖像集進行K-L正交變換，生成一組新的正交基，以消除原有向量間的相關性。提取出該正交基中對應較大特征值的部分特征向量，從而生成低維的表情特征空間，同時保留原高維空間的主要成份分量。PCA算法介紹 設訓練集中每一幅表情圖像對應一個高維向量，則訓練集可表示為S=X1，X2，.，XN，Xk表示第k(1=k=N)幅表情圖像向量。N為訓練圖像的總數(shù)。則訓練集的總體協(xié)方差矩陣為: 對該協(xié)方差矩陣對角化以獲得特征值，和對應的特征向量，則所有的特征向量組成一個標準正交系。特征臉方法的不足用訓練過的人和未訓練過的人分別做測試，實驗結果：本文采用的方法對于人臉先定位眼睛和嘴的區(qū)域，然后

9、對眼睛和嘴的區(qū)域分別進行PCA算法，形成特征眼和特征嘴，然后將測試圖片的眼睛和嘴的區(qū)域分別投影到特征空間，得到眼睛和嘴在特征空間的坐標，然后根據(jù)眼睛和嘴對于表情識別的重要性給與不同的權重，進行分類。與小波變換相結合小波變換的實質(zhì)是對原始信號的濾波過程，各尺度時間內(nèi)的低頻信號和高頻信號能夠提供原始信號的時頻局部信息。在圖像識別領域，應用比較多的是對數(shù)字圖像的二維離散小波變換。經(jīng)過小波分解處理的圖像數(shù)據(jù)可以得到一系列不同分辨率的子圖像，分別刻畫出不同頻率的圖像信息。一副圖像經(jīng)過一層二維小波變換后，被分成4個子圖：LL，LH，HL，HH。LL頻帶保持原圖像的內(nèi)容信息，HL頻帶保持了原圖像的水平方向上

10、的高頻邊緣信息;LH頻帶保持了原圖像的垂直方向上的高頻邊緣信息;HH頻帶保持了原圖像在對角線方向上的高頻信息與小波變換相結合對定位后的眼睛和嘴區(qū)域先進行小波變化，然后對不同頻帶圖像分別做PCA，根據(jù)實驗結果選取識別率好的頻帶圖像，作為分類依據(jù)，并給不同頻帶圖像以不同的權重，初步觀察，近似圖像和水平高頻將對識別有較好效果。人臉表情識別系統(tǒng)流程圖原始圖片二值圖片眼睛區(qū)域嘴區(qū)域低頻圖像高頻圖像低頻圖像高頻圖像投影坐標投影坐標投影坐標投影坐標分類結果二值化，去噪水平投影定位眼嘴截取截取小波變換小波變換PCAPCAPCAPCA分配權重進行分類進度安排9月11月完成算法的理解與研究和程序的初步編寫與調(diào)試。

11、12月2月完成基于JAFFE人臉數(shù)據(jù)庫的實驗，根據(jù)實驗結果調(diào)整算法，完善識別系統(tǒng)。3月5月編寫論文。 主要參考文獻1Essa Irfan A. Coding, Analysis, Interpretation, and recognition of Facial Expressions J. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997-07, 19(7): 757-763.2Calder Andrew J, Burton A Mike, Miller Paul, Young Andrew W. A P

12、rincipal Component Analysis of Facial Expressions J. Vision research,2001, 41: 1179-1208.3Baek Kyungim, Draper Bruce A, Beveridge J Ross, She Kai. PCA vs. ICA: A comparison on the OL./facialrecognition/FRVT2000/frvt2000.htm4Havran C, et al. Independent Component Analysis for face authentication A. K

13、ES2002 proceedings- knowledge-based intelligent Information and Engineering Systems C. Crema (Italy), 2002-09. 1207-12115Bartlett Marian Stewart, Lades H Martin, Sejnowski Terrence J. Independent component representations for face recognition Proceedings of the SPIE Symposium on Electronic Imaging A. Science and Technology; conference on Human Vision and Electronic Imaging C.California: San Jose, 1998-01.6Cohen Ira, Garg Ashutosh, Huang Thomas S. Emotion Recognition From Facial Expressions using Multilevel HMM OL./ashutosh/pap