表情識(shí)別技術(shù)綜述

1、人臉表情識(shí)別技術(shù)綜述1. 摘要：表情識(shí)別作為一種人機(jī)交互的方式，成為研究的熱點(diǎn)。基于對(duì)表情識(shí)別的基本分析，文章重點(diǎn)介紹了面部表情識(shí)別的國(guó)內(nèi)外研究情況和面部表情特征的提取方法。關(guān)鍵詞：表情識(shí)別；特征提??；表情分類。2. 前言：進(jìn)入21世紀(jì)，隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)及其相關(guān)學(xué)科的迅猛發(fā)展，整個(gè)社會(huì)的自動(dòng)化程度不斷提高，人們對(duì)類似于人和人交流方式的人機(jī)交互的需求日益強(qiáng)烈。計(jì)算機(jī)和機(jī)器人如果能夠像人類那樣具有理解和表達(dá)情感的能力，將從根本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)能夠更好地為人類服務(wù)。表情識(shí)別是情感理解的基礎(chǔ)，是計(jì)算機(jī)理解人們情感的前提，也是人們探索和理解智能的有效途徑。如果實(shí)現(xiàn)計(jì)算機(jī)對(duì)

2、人臉表情的理解與識(shí)別將從根本上改變?nèi)伺c計(jì)算機(jī)的關(guān)系，這將對(duì)未來人機(jī)交互領(lǐng)域產(chǎn)生重大的意義。3. 面部表情識(shí)別的國(guó)內(nèi)外研究情況面部表情識(shí)別技術(shù)是近幾十年來才逐漸發(fā)展起來的，由于面部表情的多樣性和復(fù)雜性，并且涉及生理學(xué)及心理學(xué)，表情識(shí)別具有較大的難度，因此，與其它生物識(shí)別技術(shù)如指紋識(shí)別、虹膜識(shí)別、人臉識(shí)別等相比，發(fā)展相對(duì)較慢，應(yīng)用還不廣泛。但是表情識(shí)別對(duì)于人機(jī)交互卻有重要的價(jià)值，因此國(guó)內(nèi)外很多研究機(jī)構(gòu)及學(xué)者致力于這方面的研究，并己經(jīng)取得了一定的成果。人臉面部表情運(yùn)動(dòng)的描述方法-人臉運(yùn)動(dòng)編碼系統(tǒng)FACS (Facial Action Coding System)，根據(jù)面部肌肉的類型和運(yùn)動(dòng)特征定義了基

3、本形變單元AU（Action Unit），人臉面部的各種表情最終能分解對(duì)應(yīng)到各個(gè)AU上來，分析表情特征信息，就是分析面部AU的變化情況 FACS有兩個(gè)主要弱點(diǎn)：1.運(yùn)動(dòng)單元是純粹的局部化的空間模板；2.沒有時(shí)間描述信息，只是一個(gè)啟發(fā)式信息4面部表情特征的提取方法表情特征提取是表情識(shí)別系統(tǒng)中最重要的部分，有效的表情特征提取工作將使識(shí)別的性能大大提高，當(dāng)前的研究工作也大部分是針對(duì)表情特征的提取。目前為止的人臉面部表情特征提取方法大都是從人臉識(shí)別的特征提取方法別演變而來，所用到的識(shí)別特征主要有:灰度特征、運(yùn)動(dòng)特征和頻率特征三種閻。灰度特征是從表情圖像的灰度值上來處理，利用不同表情有不同灰度

4、值來得到識(shí)別的依據(jù)。運(yùn)動(dòng)特征利用了不同表情情況下人臉的主要表情點(diǎn)的運(yùn)動(dòng)信息來進(jìn)行識(shí)別。頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點(diǎn)。在具體的表情識(shí)別方法上，分類方向主要有三個(gè):整體識(shí)別法和局部識(shí)別法、形變提取法和運(yùn)動(dòng)提取法、幾何特征法和容貌特征法。整體識(shí)別法中，無論是從臉部的變形出發(fā)還是從臉部的運(yùn)動(dòng)出發(fā)，都是將表情人臉作為一個(gè)整體來分析，找出各種表情下的圖像差別。其中典型的方法有:基于特征臉的主成分分析(prineipalComponentAnalysis，pCA)法、獨(dú)立分量分析法(Indendent ComPonentAnalysis，ICA)、Fisher線性

5、判別法(Fishers LinearDiscriminants，F(xiàn)LD)、局部特征分析 (LoealFeatureAnalysis，LFA)、Fishe誕動(dòng)法(Fisherctions)、隱馬爾科夫模型法(HideMarkovModel，HMM)，聚類分析法和流形法。局部識(shí)別法就是將人臉的各個(gè)部位在識(shí)別時(shí)分開，也就是說各個(gè)部位的重要性是不一樣。比如說在表情識(shí)別時(shí)，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運(yùn)動(dòng)表示了豐富的面部表情。相比較而言，鼻子的運(yùn)動(dòng)就較少，這樣在識(shí)別時(shí)就可以盡量少的對(duì)鼻子進(jìn)行分析，能加快速度和提高準(zhǔn)確性。其中最典型的方法就是臉部運(yùn)動(dòng)編碼分析法(FacialAetion

6、seodesystem，F(xiàn)Aes)和MPEe一4中的臉部運(yùn)動(dòng)參數(shù)法其他的還有局部主分量分析法 (LocalPCA)、Gabor小波法和神經(jīng)網(wǎng)絡(luò)法。形變提取法是根據(jù)人臉在表達(dá)各種表情時(shí)的各個(gè)部位的變形情況來識(shí)別的，主要的方法有:主分量分析法(PeA)、o汕or小波、運(yùn)動(dòng)模板法 (Aetivesh叩 eModel，AsM)6和點(diǎn)分布模型(PointDistributionModel，PDM)法。運(yùn)動(dòng)法是根據(jù)人臉在表達(dá)各種特定的表情時(shí)一些特定的特征部位都會(huì)作相應(yīng)的運(yùn)動(dòng)這一原理來識(shí)別的。典型的識(shí)別方法有:光流法 (OPticalFlow)78和MPEG一4中的臉部運(yùn)動(dòng)參數(shù)法 (FaceAnimatio

7、nparameterFAp)。幾何特征法是根據(jù)人的面部的各個(gè)部分的形狀和位置(包括嘴、眼睛、眉毛、鼻子)來提取特征矢量，這個(gè)特征矢量來代表人臉的幾何特征。根據(jù)這個(gè)特征矢量的不同就可以識(shí)別不同的表情。重要的方法是:基于運(yùn)動(dòng)單元(AU)的主分量分析法。在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor小波。當(dāng)然，這三個(gè)發(fā)展方向不是嚴(yán)格獨(dú)立，它們只是從不同側(cè)面來提取所需要的表情特征，都只是提供了一種分析表情的思路，相互聯(lián)系，相互影響。有很多種方法是介于兩者甚至是三者之間。例如說面部運(yùn)動(dòng)編碼系統(tǒng)法是局部法的一種，同時(shí)也是從臉部運(yùn)動(dòng)上考慮的等等。所以，

8、接下來的分析將不從這三個(gè)方向上去說明，而是直接簡(jiǎn)單描述各種主要的算法。 流形學(xué)習(xí)算法在實(shí)現(xiàn)降維的過程中，較好的保留了本樣本間的非線性結(jié)構(gòu)，這對(duì)于靜態(tài)表情圖像和序列表情圖像的分析都有獨(dú)特的優(yōu)勢(shì)。但是，用流形學(xué)習(xí)算法來處理表情特征有個(gè)問題需要解決：意思大多數(shù)流形學(xué)習(xí)算法不像線性降維法那樣，可從訓(xùn)練集中得到適用于待測(cè)樣本的投影向量，只能以批處理的方式進(jìn)行。為了得到某些待測(cè)樣本的流形嵌入向量，必須要將該樣本加入其中。五 目前存在的難點(diǎn)和問題(1) 基于Ekinan分類的六種基本表情和中性表情不足以描述人類復(fù)雜多變的真實(shí)表情，如何找到更精確的描述方式是目前魚待解決的問題；(2) 多特征融合和多分類器融合

9、的方法也是改善識(shí)別性能的一個(gè)手段。 (3) 由于人臉為非剛體性，人臉之間的相似性以及各種變化因素的影響，準(zhǔn)確的人臉識(shí)別仍較困難。為了滿足自動(dòng)人臉識(shí)別技術(shù)具有實(shí)時(shí)要求，在必要時(shí)需要研究人臉與指紋、虹膜、語音等識(shí)別技術(shù)的融合方法。 (4) 3D形變模型可以處理多種變化因素，具有很好的發(fā)展前景。已有研究也表明，對(duì)各種變化因素采用模擬或補(bǔ)償?shù)姆椒ň哂休^好的效果。三維人臉識(shí)別算法的選取還處于探索階段，需要在原有傳統(tǒng)識(shí)別算法的基礎(chǔ)上改進(jìn)和創(chuàng)新。 (5) 已有人臉表情數(shù)據(jù)庫(kù)或自建人臉表情數(shù)據(jù)庫(kù)往往受約束條件較多，如背景單一、沒有各種飾物的干擾、人臉不發(fā)生旋轉(zhuǎn)或只有微小旋轉(zhuǎn)、夸張化的面部表情等。用計(jì)算機(jī)來分析識(shí)別面部表情是一個(gè)非常復(fù)雜的問題，準(zhǔn)確的人臉表情識(shí)別仍然存在諸多困難。參考文獻(xiàn)：l張一鳴。人臉表情識(shí)別。遼寧:大連理工大學(xué)碩士學(xué)位論文，2006，12。2劉芳。應(yīng)用圖像處理技術(shù)的人臉表情識(shí)別研究。北京:北京科技大學(xué)碩士學(xué)位論文，2003，06。3王志良，劉芳，王莉。基于計(jì)算機(jī)視覺的表情識(shí)別技術(shù)綜述J。計(jì)算機(jī)工程，2006一06，32(11）:231一233。4龔婷。面部表情識(shí)別研究。浙江：浙江工業(yè)大學(xué)碩士學(xué)位論