基于腦電的情緒識別研究綜述

1、314卷期中 國 生 物 醫(yī) 學(xué) 工 程 學(xué) 報Vol 31No 4 August 20122012 年 8 月ChiJournal of Biomedical Engineering基于腦電的情緒識別段若男交通大學(xué)計算機科學(xué)與工程系仿腦計算與機器智能交通大學(xué)智能計算與智能系統(tǒng)教育部 微軟綜述糧*中心，1 (200240 )200240 )2 (摘 要: 情緒是綜合了人的感覺、和行為的一種狀態(tài)，在人與人的交流中發(fā)揮著重要作用。情緒識別是通過獲取人的生理或非生理信號對人的情緒狀態(tài)進行自動辨別，以實現(xiàn)更加友好和自然的人 機交互?；谀X電的識別方法是一種常用且有效的情緒識別方式。文中從腦電獲取及預(yù)處

2、理、特征提取和特征選擇、情緒模式的學(xué)習(xí)和分類等幾個方面，介紹了基于腦電的情緒識別的進展、應(yīng)用前景以及目前存在的主要問題。:情緒; 情緒識別; 腦電; 特征提取; 機器學(xué)習(xí)號 R318. 08文獻標志碼 A文章0258 8021( 2012) 04 0595 12A Survey on EEG Based Emotion RecognitionNIE DanWANG Xiao WeiDUAN Ruo NanLV Bao Liang*1 ( Center for Brain like Computing and Machineelligence，Department of Computer Sci

3、ence and Engineering，Shanghai Jiao Tong University，Shanghai 200240 ，China)2 ( MOEelligent Computing andelligent Systems，Shanghai Jiao Tong University，Shanghai 200240 ，China)Key Lab forAbstract:et comprehensively represents human feeling，thought and behavior，thus takesersonal human communication Emot

4、ion recognition aims to automaticallyEmotion is a san important role indiscriminate different emotional s es by using physiological andphysiological signals acquired from peoplein order to develop friendly and natural human machineerface EEG based emotion recognition is one of themost common used an

5、d efficient methods for emotion recognition This prroduced the s e of the arttechniques，the read world applications and some critical problems of EEG based emotion recognition，from theaspects of EEG signals recording，signal preprosing，feature extraction，feature selection and classification methodsKe

6、y words: emotion; emotion recognition; EEG; feature extraction; machine learning用戶體驗，就可以改善產(chǎn)品功能，設(shè)計出更適合用戶需求的產(chǎn)品。在各種人-機交互系統(tǒng)里，如果系統(tǒng)能識別出人的情緒狀態(tài)，人與機器的交互就會變得更加友好和自然。因此，對情緒進行分析和識別是神經(jīng)科學(xué)、心理學(xué)、認知科學(xué)、計算機科學(xué)和人工智引言情緒是一種綜合了人的感覺和行為的狀態(tài)，它包括人對外界或自身刺激的心理反應(yīng)，也包括伴隨這種心理反應(yīng)的生理反應(yīng)。在人們的日常工作和生活中，情緒的作用無處不在。在醫(yī)療護理能等領(lǐng)域的一項重要的交叉學(xué)科課題。中，如果能夠知

7、道患者、特別是有表達的患者對于情緒的由來已久，使用的方法也各不的情緒狀態(tài)，就可以根據(jù)患者的情緒做出不同的護相同。近年來，隨著腦電信號設(shè)備的應(yīng)用和推理措施，提高護理質(zhì)量。在產(chǎn)品開發(fā)過，如果廣，信號處理和機器學(xué)習(xí)技術(shù)的快速發(fā)展，以及計算機數(shù)據(jù)處理能力的大幅提高，基于腦電的情緒識能夠識別出用戶使用產(chǎn)品過的情緒狀態(tài)，了解: 10 3969 / j i 0258 8021 2012 04 00收稿日期: 2012 02 11 ，錄用日期:2012 05 18基金項目: 國家自然科學(xué)基金( 90820018 ) ; 國家重點基礎(chǔ)發(fā)展( 973 ) 計劃( 2009 CB320901 )* 通信作者。: b

8、llu sjtu edu cn中 國 生 物 醫(yī)學(xué) 工 程學(xué) 報31 卷596別已經(jīng)成為神經(jīng)工程和生物醫(yī)學(xué)工程領(lǐng)域的基礎(chǔ)。熱門課題。文中將介紹目前國內(nèi)外基于腦電的情緒識別的現(xiàn)狀以及發(fā)展趨勢。文中從多個角度介紹情緒的相關(guān)理論。隨后，從情緒的誘發(fā)、腦電信號、腦電信號的預(yù)處理、特征提取、特征選擇、情緒模式的學(xué)習(xí)和分類等6 個方面詳細介紹利用腦電進行情緒識別的方法。1情緒情緒的生理基礎(chǔ)情緒最早的定義出現(xiàn)于1 1z 環(huán)路理論6圖 1Fig 1情緒功能性解剖學(xué)的 P心理學(xué)之父 JamesThe Pz circuit theory of the functional于 1884 年 的文章，他認為情緒是人們

9、對于自己身體所發(fā)生的變化的一種感覺，先有身體的變化才有情緒的感知，任何情緒的產(chǎn)生都一定伴隨著身體上的某些變化，如 面部表情，肌肉緊張，內(nèi)臟 活動 等1。1885 年丹麥生理學(xué)家 Lange2 也提出了類似neuroanatomy of emotion 6盡管對情緒的定義至今尚未，還在進一步之中，但神經(jīng)科學(xué)和認 知科學(xué)的結(jié)果表明，情緒的產(chǎn)生與生理活動，特別是與大腦皮層的活動密切相關(guān)，這為通過大腦皮層的活動分析的觀點。因此，后人 把他們對情緒的 統(tǒng)稱為和識別人的情緒狀態(tài)提供了理論依據(jù)。1 2情緒的分類James-Lange 理論，也 叫情緒的外周理論。 James-Lange 理論肯定了人的生理與

10、情緒之間的內(nèi)在也一直是眾說紛紜，沒有對于情緒分類的聯(lián)系，但將情緒的產(chǎn)生只歸結(jié)為外周生理的變化卻帶有片面性。定論。人的情緒千變?nèi)f化，究竟每種情緒是作為個體而獨立存在的，還是不同情緒之間存在著某種相1927 年 Can在中否定了 James 的情緒關(guān)性，這都是學(xué)者們至今仍在的問題。理論，提出情緒的產(chǎn)生是由丘腦所決定的。認為當(dāng)外界刺激傳遞到大腦皮層后，大腦皮層就會激活丘我國自古就有“喜怒哀樂悲恐驚”七情的說法，近代的學(xué)者們通過也分別提出了不同的基本腦，并由此產(chǎn)生相應(yīng)的不同情緒3 。Can的同事 情緒集，James 的情緒集包括7、恐懼、悲痛、愛Bard 也認為情緒的產(chǎn)生與丘腦有關(guān)，因此有人將他等;E

11、kman 的情緒集包括、恐懼、傷心、厭們的稱為理論。Can理Can-Bard-Bard惡、驚訝等; Clynes 的情緒集包括、憎恨、悲痛、論肯定了丘腦在情緒產(chǎn)生過的重要作用，但完、愛、浪漫、害怕、悲痛、無情緒等;Izard 的情緒集包括、驚訝、關(guān)心、厭惡、鄙視、內(nèi)全否定了外周生理與情緒產(chǎn)生之間的關(guān)系，也失于片面。1937 年 Pz 再次將情緒的產(chǎn)生與人的生理疚、羞恥等。他們認為人的所有情緒都是由基本情緒集擴充而來的?；顒勇?lián)系在一起，并提出了情緒產(chǎn)生的邊緣系統(tǒng)機z 環(huán)路( 如圖 1 所示)6。他認為，與情制，即 P然而通過逐步的，人們發(fā)現(xiàn)某些情緒之間感刺激相關(guān)的感覺信息在傳到丘腦后，會向感覺皮

12、存在著一定的關(guān)聯(lián)性，比如和厭惡有時會同時層( 思維流) 和下丘腦( 感覺流)z 提出從。P出現(xiàn)。因此，有學(xué)者根據(jù)這種關(guān)聯(lián)性開始用不同的維度來表示情緒。目前最常見的分類方法是 Lange的二維情緒分類模型( 如圖 2 所示)8 ，用縱坐標表示人們心情的愉悅程度，從 不喜歡逐漸過渡到喜 下丘腦到丘腦前核 再到扣帶皮層 的連接。當(dāng)扣帶皮層整合從下丘腦傳來的信號和從感覺皮層傳來的信息時，便產(chǎn)生了情感體驗或感覺。從扣帶皮層到海馬體 再到下丘腦 的輸出產(chǎn)生了自上歡;用橫坐標表示狀態(tài)的興奮程度，從逐漸過而下的情感反應(yīng)皮質(zhì)控制。在 Pz 環(huán)路提出十幾渡到興奮。這樣不同的情緒就可以通過分解為兩年后，心理學(xué)家 M

13、aclean 在其基礎(chǔ)上又提出了內(nèi)臟腦的概念。他認為內(nèi)臟腦負責(zé)調(diào)解所有與情緒相個維度到該坐標系中。1 3情緒的誘發(fā)近代以來，越來越多的學(xué)者加入到了情緒關(guān)的應(yīng)5。P，并通過下丘腦調(diào)解內(nèi)臟和骨骼的相應(yīng)反z-Maclean 理論將前人對于情緒的的行列，而情緒的重要前提條件之一就是誘發(fā)結(jié)果統(tǒng)合在了一起，為后人對情緒的 奠定了，等: 基于腦電的情緒識別4 期綜述597系統(tǒng)11 ，為 中國本地化情緒 素材。2) 提示被試做出不同情緒狀態(tài)下所對應(yīng)的面提供了良好的部表情。Paul 等通過人的臉部肌肉動作和表情之間的關(guān)系提出了一套面部行為編碼系統(tǒng)，他們認為人的情緒都會通過面部表情表現(xiàn)出來，臉是誠實的12。因此，

14、一些學(xué)者在這個理論的基礎(chǔ)上通過要求被試做出不同的表情來被試相應(yīng)的情緒狀態(tài)13 ，然而這種方法并不是完全可靠的，因為當(dāng)人們試圖掩飾自己的情緒時，其面部表情的變化也會變得不易被察覺。圖 2 Lange 情緒分類模型Fig 2 The Lange theory of emotions出人的不同情緒。情緒的誘發(fā)可以通過外部刺激和內(nèi)部響應(yīng)等方式實現(xiàn)，目前常見的情緒誘發(fā)方法主要有以下 3 種:3) 讓被試自行回憶帶有相應(yīng)感片段。這是一種完全由被試內(nèi)部誘彩的緒的方法，也被一些學(xué)者作為情緒的基本方式1415。然1) 通過、音樂和等外部刺激誘發(fā)被試而這種方法的缺點是無法保證被試能夠找到帶有的不同情緒，這也是目前

15、被學(xué)者們最普遍使用的刺激方法。為了客觀有效地誘發(fā)出被試的不同情緒并對相應(yīng)的情緒狀態(tài)進行標記打分，Lang 等建立了國際情感 系統(tǒng)9 ( 如圖 3 所示) 和國際情感數(shù)彩的片段，情緒所能保持的時間也量。相應(yīng)感很難進上述 3 種情緒誘發(fā)方法各有優(yōu)缺點。因此，在實際的中，人們需要根據(jù)不同的環(huán)境選擇合適碼聲音系統(tǒng)10。他們選取了不同段、不同性的方法對被試的情緒進行誘發(fā)。別、不同種族的被試為系統(tǒng)中的材料進行打分，并最終得到了情感系統(tǒng)中每個材料在愉悅度、喚醒度和優(yōu)勢度等 3 個維度的得分，為所誘發(fā)出的情緒類情緒識別方法對應(yīng)于不同的情緒誘發(fā)方法，情緒識別方法也各不相同，常見的情緒識別方法主要分為兩大類:基于

16、非生理信號的識別和基于生理信號的識別( 如表 1 所示) ?；诜巧硇盘柕那榫w識別方法主要包括對面部表情和語音語調(diào)的識別。面部表情識1 4別提供了標記依據(jù)。本地化，建立了中國情感等對上述系統(tǒng)進行了系統(tǒng)、情感面孔系統(tǒng)、中國情感數(shù)碼聲音系統(tǒng)和漢語情感詞分布11圖 3 刺激材料由愉悅度與喚醒度組成的二Fig 3 Stimuli distributionhe 2 D emotional space formed by the arousal and valence 11中 國 生 物 醫(yī)學(xué)工 程 學(xué) 報31 卷598別方法是根據(jù)表情與情緒間的對應(yīng)關(guān)系來識別不同的情緒，在特定情緒狀態(tài)下人們會產(chǎn)生特定的

17、面部肌肉運動和表情模式，如 心情愉悅時嘴角會上基于腦電的情緒識別腦電的概念腦電( EEG) 是指按照時間順序，在頭皮表層記22 1翹，眼部會出現(xiàn)環(huán)形褶皺;時會皺眉，睜大眼睛等。目前，面部表情識別多采用圖像識別的方法來錄下的由大腦神經(jīng)元自發(fā)性、節(jié)律性運動而產(chǎn)生的實現(xiàn)1617。語音語調(diào)識別方法是根據(jù)不同情緒狀電位。神經(jīng)科學(xué)、心理學(xué)和認知科學(xué)的表明，態(tài)下人們的語言表達方式的不同來實現(xiàn)的1819 ，如人的很多心理活動和認知行為都可以通過腦電反映出來，因此腦電已經(jīng)被越來越多的引入到情緒識心情愉悅時說話的語調(diào)會比較歡快，煩躁時語調(diào)會比較沉悶?；诜巧硇盘栕R別方法的優(yōu)點是操作簡單，不需要特殊設(shè)備。缺點是不

18、能保證情緒識別的2 2?；谀X電的情緒識別的主要步驟別的可靠性，因為人們可以通過利用腦電進行情緒識別的主要步驟包括: 情緒面部表情和語音語調(diào)來掩飾自己的真實情緒，而這種往往不的誘發(fā)、腦電信號、腦電信號的預(yù)處理、特征易被發(fā)現(xiàn)。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識別的方法往往難以實現(xiàn)。表 1 3 種不同情緒識別技術(shù)的比較提取、特征降維、情緒模式的學(xué)習(xí)和分類等。情緒的誘發(fā)方法已經(jīng)在 1 3 節(jié)中進行了詳細介紹，這里不再贅述。腦電信號通常包括信號的提取和放大。Tab 1Comparisonof three technologies for emotion本文所介紹的腦電信號的提取是

19、通過將電極置于recognition頭皮處實現(xiàn)的。由于腦電信號非常微弱，因此在提取腦電信號后需要通過放大器進行放大。腦電信號放大后，還需要通過預(yù)處理算法去除偽跡，從而得到相對純凈的腦電信號。在情緒識別的后 4 個步驟中，不同學(xué)者所采用的方法不盡相同。下面將對腦電信號的預(yù)處理、特征提取、特征降維、情緒模式的學(xué)習(xí)和分類等 4 個步驟進行詳細介紹。2 3 腦電信號的預(yù)處理非生理信號神經(jīng)系統(tǒng)腦電信號難度低中高信號質(zhì)量( 信噪比)高否低中是中低是高信號是否接觸檢測準確率基于生理信號的情緒識別方法，主要包括基于神經(jīng)系統(tǒng)( autonomic nervous system) 的情緒識別和基于中樞神經(jīng)系統(tǒng)(

20、central nervous system) 的由于腦電信號十分微弱，因此在過很情緒識別?；谏窠?jīng)系統(tǒng)的識別方法是指通容易受到其他噪聲信號的干擾。腦電信號的預(yù)處過測量心率、皮膚阻抗、呼吸等生理信號來識別對理主要是指去除跡。在情緒識別到的腦電信號中所摻雜的偽中，所要去除的偽跡主要包括應(yīng)的情緒狀態(tài)。麻省理工學(xué)院的 Picard 等人通神經(jīng)系統(tǒng)的測量和分析，識別出了平過對眼電、肌電、心電、工頻干擾、電磁干擾和任務(wù)不相關(guān)的腦電等。目前比較常用的偽跡去除方法主要包括濾波和獨立成分分析等。由于工頻干擾和電磁干擾往往發(fā)生在高頻段，因此可以通過帶通濾波或低通濾波的方式將容易產(chǎn)生干擾的頻段過濾掉，只保留有效的

21、頻段的腦電信號。對于不易通過濾波去除的偽跡，通常采用獨立成分分析、主成分分析等方法，找出干擾信號并將其與腦電信號分離開。靜、生氣、厭惡、憂傷、愉悅、浪漫、開心和畏懼等 8 種不同的情緒20。這些神經(jīng)系統(tǒng)的生理信號雖然無法 ，能夠得到真實的數(shù)據(jù)，但是由于準確率低且缺乏合理的評價標準，因此不太適合于實際應(yīng)用?；谥袠猩窠?jīng)系統(tǒng)的識別方法，是指通過分析不同情緒狀態(tài)下大腦發(fā)出的不同信號來識別相應(yīng)的情緒。這種方法不易被，并且與其他生理信s 等將盲信號分離、獨立成分分析和支持Bar號識別方法相比識別率較高，因此越來越多的被應(yīng)向量機相結(jié)合，提出了一種 有效的去偽跡處理方法21。通過分析每個算法的特點，得出了用

22、盲信號分離中的 Amuse 算法去除眼電，用獨立成分分析中的 Infomax 算法去除肌電的預(yù)處理方法，并得到了較好的去偽跡效果21 ( 如圖 4 所示) 。用于情緒識別。常見的基于中樞神經(jīng)系統(tǒng)的( fMRI)識別方法主要包括功能核磁和腦電( EEG) 。由于功能核磁的設(shè)備體積龐大、價格昂貴，不宜實際應(yīng)用。因此，基于腦電信號的情緒識別是目前比較常用的方法。，等: 基于腦電的情緒識別4 期綜述599圖 4 去偽跡前( a) 與去偽跡后( b) 腦電信號對比Fig 4 Comparison of the EEG signals before artifact removal ( a) and af

23、ter artifact removal ( b)特征提取特征提取是指對腦電信號進行變換，找出與任務(wù)相關(guān)的代表性特征的方法。在基于腦電的情緒ms 間，這個正向電位就會產(chǎn)生。此外，他們通2 4180過對比發(fā)現(xiàn)，人臉相關(guān)的 N170 現(xiàn)象并不會影響情緒的識別，由此可見情緒表達分析和人臉結(jié)構(gòu)編碼在大腦信息處理過是兩個平行的體系26。識別中，特征提取是的一個環(huán)節(jié)，只有提取出真正與情緒相關(guān)的特征，才能為后續(xù)的識別提供保證。常見的腦電特征主要分為 3 類: 時域特征、頻域特征和時-頻特征。2 4 1 時域特征時域特征是幾類特征中最直觀也是最容易得到的，這種方法往往將去除偽跡后的腦電信號在時域上的信息或?qū)r

24、域上的信號統(tǒng)計量作為特征。Khalil 等將腦電時域信號的均值、標準差、偏斜度、峰值、原始信號首次差異的平均絕對值、歸一化后信號的首次差異的平均絕對值等作為腦電特 征22。Zhang 等將對稱電極間在時域上的振幅差作為腦電特征23。時域特征在情緒識別中的一類典型應(yīng)用就是事件相關(guān)電位分析法。事件相關(guān)電位( event-related potentials) 是指當(dāng)外加一種特定的刺激，作用于感覺系統(tǒng)或腦的某一部分，在給予或撤銷刺激時，或當(dāng)頻域特征2 4 2頻域特征是指將原始腦電信號從時域轉(zhuǎn)化到頻域，再從其中提取出相關(guān)頻域特性作為腦電特征。神經(jīng)科學(xué)和心理學(xué)的表明，腦電的 delta 頻段( 1 4

25、Hz) 、theta 頻段( 4 8 Hz) 、alpha 頻段( 8 Hz) 、beta 頻段( 13 30 Hz) 和 gamma 頻段( 36 Hz) 等 5 個頻段與人的各項生理及心理活動有著1344密切的關(guān)系。因此，在提取腦電頻域特征時，很多學(xué)者會先將腦電信號到這 5 個頻段上，再分別提取出各個頻段對應(yīng)的頻域特征。常見的頻域特征有功率譜，功率譜密度，能量等。這些特征的提取通常都建立在功率譜估計的基礎(chǔ)上。經(jīng)典的功率譜估計是以一定時間段數(shù)據(jù)變換作為基礎(chǔ)的估計，通常通過直接法和的間接法兩種途徑實現(xiàn)。直接法是將功率譜看作是幅頻特性平方的總體均值與持續(xù)時間之間的比值來計算; 間接法是先計算出相

26、關(guān)函數(shù)，再進行葉變換，從而得到所要求的功率譜估計27 。在此基礎(chǔ)上就可以得到功率譜密度和能量等頻域特征。Zouridakis 等首先經(jīng)過帶通濾波將原始腦電信出現(xiàn)時，在 腦區(qū)所產(chǎn)生的電位變某種心理化24。在利用事件相關(guān)電位進行情緒識別的中，通常采用帶有不同情感色彩的或帶有不同表情的人臉作為刺激材料，再通過分析被試觀看情緒。后相關(guān)腦區(qū)產(chǎn)生的誘發(fā)電位識別不同的 號到上述 5 個常用頻段上，再分別求出 5 個頻段所對應(yīng)的頻段能量，以此作為腦電特征進行情緒識別28。Aftanas 等利用Eimer 等用帶有驚恐和中性表情的人臉作變換將原始腦電信為刺激材料，并利用事件相關(guān)電位來找出驚恐情緒和中性情緒間的差

27、異。他們發(fā)現(xiàn)在直立放置的驚恐表情出現(xiàn)后，被試會在 120 ms 內(nèi)在額中部位號到 theta、alpha 和 beta 頻段上，并在功率譜的基礎(chǔ)上求出了每個電極的功率譜密度作為腦電特征29。Kothe 等提出了一種叫做完備譜回歸方法來腦電和認知的關(guān)系。其中在特征提取部分，他們利用自適應(yīng)混合獨立成分分析的方法，將通過感產(chǎn)生正向電位。若將遲出現(xiàn)25。他們倒立放置，相關(guān)電位會延人的基礎(chǔ)上還發(fā)現(xiàn)，帶有情緒的人臉相對于中性人臉來說都會正知器直接得到的信號到一種完備源信號表示向增強事件相關(guān)電位。在人臉出現(xiàn)后的 120 中，并通過線性或非線性的稀疏學(xué)習(xí)選擇出一系列中 國 生 物 醫(yī)學(xué) 工 程 學(xué) 報31 卷

28、600區(qū)的腦電特征34。Aftanas 等曾在的稀疏特征，最后在此基礎(chǔ)上得到功率譜密度作為最終的特征30。中使用非線指數(shù)等作為腦電特征35 。性的 K 熵和時頻特征在很多情況下，腦電特征可以與其他生理特征或非生理特征結(jié)合共同用于情緒識別。Scotti 等將2 4 3由于腦電信號的不穩(wěn)定性，單純考慮時域特征或頻域特征都是不全面的，因此越來越多的開腦電特征與皮膚阻抗、血壓、心電等神經(jīng)信號一起作為情緒識別的特征36。Zhang 等將腦電信號與人臉表情相結(jié)合用于識別被試的情緒狀態(tài)23。始將時域和頻域聯(lián)系起來，找出能夠同時反映時域和頻域的腦電特征，這里稱其為時頻特征。提取時頻特征的常見方法，主要有短時變

29、換等。變換和小波McDonald 等在由組織的2011 年認知狀態(tài)評估比賽中，將多種腦電特征和非腦電特征去粗取精，較好的結(jié)合在一起，這些特征包括傳統(tǒng)的腦電功率譜密度，腦電在 theta、alpha、和 gamma 等頻段上的 值及其代數(shù)變化，眼電，肌電以及心電等特征37。上述腦電特征各有特點，可以針對具體的環(huán)境選取合適的腦電特征或者將幾種特征結(jié)合在一起，取 長 補 短，從 而提高情 緒識別的準確 率。短時變換是在傳統(tǒng)變換的基礎(chǔ)上加入窗函數(shù)，通過窗函數(shù)的不斷移動來決定時變信號局部弦波成分的頻率和相位。Lin 等以音樂作為刺激材料，通過 32 導(dǎo)的電極帽情緒實驗中被試的腦電信號，再利用短時變換將腦

30、電信號到上述 5 個常用頻段上，之后分別計算出每個頻段所對應(yīng)的功率譜密度，最后利用電極間的對稱關(guān)系組合出 4 組特征，分別是: 對稱電極間的差，對稱電極間的商，除去中間電 極后的電極功率譜密度，以及所有電極各自的功率譜密度。通過這 4 組特征進行后續(xù)的情緒識別31。小波變換是指用某些特殊函數(shù)作為基函數(shù)，并以此對數(shù)據(jù)進行變換操作，從而發(fā)現(xiàn)其類頻譜特征Christos 等利用國際情感發(fā)材料，同時提取由 系統(tǒng)中的作為誘誘發(fā)的事件相關(guān)電位 ( P100，N100，P200，N200，P300 ) 的時域特征( 幅度與延遲) 與其頻域特征(頻段，theta 頻段與deltaalpha 頻段的幅度) 作為

31、最終特征，用于情感分類，取得了較好的效果11。變換一樣，小波變換也的變換過程。與短時2 5特征平滑與特征降維情緒狀態(tài)的變化通常是一個漸變的過程，而腦將時域和頻域聯(lián)系起來，與短時變換不同的是小波變換的窗函數(shù)可以隨頻率的改變而改變，從而能夠給出更好的特征表示。Murugappan 等用視頻片段作為情緒實驗的刺激材料，在經(jīng)過預(yù)處理之后對腦電信號進行小波變換，從而得到一系列的小波系 數(shù)，通 過 小 波 系 數(shù) 得 到 頻 段 的 能 量。 Murugappan 等將子頻段的能量在總體能量中的比率，alpha 頻段小波系數(shù)的均方根及能量作為腦電特征32。2 4 4 其他腦電特征除了上述 3 種常見特征外

32、，還可以從腦電信號中提取出許多其他特征，如熵、分形維數(shù)以及者們自定義的特征等。歸一化后的腦電時序信號總是在 0 值附近上下，即使使用濾波器對信號進行過濾，這種現(xiàn)象也仍 然 存 在。 在 對 這 種 現(xiàn) 象 觀 察 的 基 礎(chǔ) 上， Petrantonakis 等提出了一種新的情緒識別腦電特征，稱為高階交叉( higher order crossings) ，利用這種特征得到了較好的情緒識別結(jié)果33。Khosrowabadi等在將原始腦電信號濾波到 4 13 Hz 后，分別采用電信號中有一些變化劇烈的成分。為了盡可能的減少這些劇烈變化部分的干擾，需要對腦電特征進行平滑。目前比較常用的平滑方法是滑

33、動平均，但是由于滑動平均具有一定的時間延遲。為了保證情緒狀態(tài)識別的實時性，Shi 等引入了線性動力系統(tǒng)方法對腦電信號進行平滑，從而降低了任務(wù)不相關(guān)腦電信號對分析的影響( 如圖 5 所示) 38。在情緒實驗中，大家通常使用 32 導(dǎo)、64 導(dǎo)或128 導(dǎo)的電極帽。而提取出的腦電特征往往是對應(yīng)著每個電極，這就會導(dǎo)致腦電特征的維數(shù)很高。然而，腦電特征的維數(shù)越高，所要的信號就越多，顯然不利于情緒識別的實際應(yīng)用。因此，從已有腦電特征中選擇出數(shù)量少且與情緒高度相關(guān)的特征非常必要，這也就是特征降維所要完成的任務(wù)。特征降維的方法可以分為兩大類: 一類是特征選擇，即從特征集合中挑選 與任務(wù)相關(guān)的特征子集; 另一

34、類是對原有特征進行線性或非線性變換，將其到能夠最大限度反映情緒狀態(tài)的維度上，從而在數(shù)量上也達到了一定程度的減少。這主要包括主成分分析( PCA) 、獨立成分分析( ICA) 和共核密度估計和混合模型的方法提取出對應(yīng)腦，等: 基于腦電的情緒識別綜述4 期601圖 6 6 名被試情緒狀態(tài)的分類準確率與特征維數(shù)的關(guān)系圖 5 用線性動力系統(tǒng)方法對腦電信號進行平滑前后的對比。( a) 線性動力系統(tǒng)平滑前; ( b) 線性動力系統(tǒng)平滑后Fig 6Relationship betn the emotionclassification accuracies of six subjects and thenum

35、ber of feature dimensFig 5Comparison of the features before and征通過線性變換到這組坐標系中。通過這種after using the LDS approach ( a) The featuresbefore using the LDS approach ( b ) The features after using the LDS approach方法他們提取出了相對較優(yōu)的前 100 維特征用于情緒識別的后續(xù)分析23 。Li 等通過共同空間模式( CSP) 來實現(xiàn)降維。這里降維的目的是為了找出每個被試所對應(yīng)的最佳同空間模式( CSP)

36、 等。在基于腦電的情緒狀態(tài)識別中，筆者利用頻段。首先通過變換將原始腦電信號轉(zhuǎn)換特征與情緒類別的相關(guān)性進行降維。首先將 62 導(dǎo)電極各自所對應(yīng)的 5 個頻段的能量作為腦電特征，這樣腦電特征的總數(shù)共有 310 個。為了減少特征維數(shù)，又計算出每個特征與實際情緒類別間的相關(guān)系數(shù)，并按照相關(guān)系數(shù)從大到小的順序重新排列這些特征，通過選取列表前面的特征就實現(xiàn)了降維。在中發(fā)現(xiàn)，當(dāng)特征維數(shù)達到一定數(shù)量時，情緒分類的結(jié)果基本保持不變，而這個數(shù)量要比原始的腦電特征數(shù)量小得多( 如圖 6 所示) 。這個結(jié)果說明了在原始的腦電特征中有相當(dāng)一部分特征是與情緒不相關(guān)或者相關(guān)性很低，這樣在以后的應(yīng)用中就可以忽略掉這部分特征，

37、從而提高了腦電信號和數(shù)據(jù)分析的效率39。Lin 等采用統(tǒng)計學(xué)上常用的 F 積分索引方法實到頻域上，設(shè)定動態(tài)帶寬量以保證所找出的頻段不會短于或長于被試的最佳頻段帶寬。在動態(tài)變化的每段頻段上，利用共同空間模式將特征到類間差異最大的投影方向，分別找出最佳的前 2、4、20和 40 維特征，并通過每組特征對應(yīng)的分類精度找出最適合該被試的頻段和特征維數(shù)40。Firpi 等采用一種叫做粒子群優(yōu)化的算法對提取出的特征進行選擇。這種方法是將特征抽象為沒有重量的微粒，并通過多次迭代找出每個微粒對于本身和全局來說的最佳位置。利用這種方法，可選取出較優(yōu)的特征41 。情緒模式的學(xué)習(xí)和分類如何通過這些腦電特征確定各種情

38、緒狀態(tài)的2 6腦電模式? 如何通過相應(yīng)的腦電模式來對訓(xùn)現(xiàn)特征選擇。這種方法的是為每個特征練的特征樣本進行分類? 是情緒狀態(tài)的學(xué)習(xí)和分類所要完成的任務(wù)。實現(xiàn)情緒狀態(tài)識別的方法主要可分為兩大類:一類是無監(jiān)督的學(xué)習(xí)方法; 另一類是有監(jiān)督的學(xué)習(xí)方法。2 6 1 情緒狀態(tài)的無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)是指在對樣本進行模式訓(xùn)練時不對其指定類別信息，而是由樣本自身向特性相近的樣本靠近，與特性相異的樣本遠離，從而達到同類計算一個 F 值，這個值代表的是該特征的類間方差與類內(nèi)方差的比值，F(xiàn) 值越大說明這個特征越能反映不同類間的差異，將一定范圍內(nèi) F 值較大的特征挑選出來就實現(xiàn)了特征選擇 。Zhang 等用電極間的振幅差

39、作為特征。由于采樣率和時間長短的關(guān)系，得到了 600 維的腦電特征。為了降低特征維數(shù)，采用無監(jiān)督的主成分分析法進31行特征選擇。這種方法的是找出一組最能反映特征特性的坐標系，并將原始的特中 國 生 物 醫(yī)學(xué) 工 程 學(xué) 報31 卷602樣本，異類樣本分離的效果，最終實現(xiàn)模式的分類。常見的無監(jiān)督學(xué)習(xí)方法有模糊聚類、K 均值近的樣本點的類別信息賦予待求樣本點。與 K 近鄰法使用歐氏距離不同，馬氏距離分類法引入了另一種衡量距離的方法馬 氏距離。馬氏距離是指樣本間協(xié)方差的距離，用來衡量樣本間的相似度。馬氏距離的優(yōu)點是不會受到不同特征量綱的影響，但缺點是容易將原本微小的變化擴和自組織等。傳統(tǒng)的聚類方法是

40、根據(jù)樣本點間的歐式距離的遠近來決定樣本的類別屬性，通過控制距離的大小或類中包含樣本的個數(shù)來確定不同類別間的邊界。在此基礎(chǔ)上演變出了 K 均值、模糊聚類以及動態(tài)聚類等聚類方法。Murugappan 等將被試高興、害怕、厭惡和驚訝等四種不同情緒的樣本混合在一起，利用模糊 C 均值聚類的方法，通過尋找類別本身的固有特征，找大化。Frantzidis 等以作為刺激材料對被試進行情緒誘發(fā)，他們將所誘發(fā)的情緒按照的二維坐標圖分為心情愉悅和心情低落，高興奮度和低興奮度，并利用馬氏距離分類法進行情緒分類，達到了較高的分類精度44 。網(wǎng)絡(luò)是一種基于概率的推理模型，通過先驗分布來表示樣本分類前的不確定性，并以后驗

41、分布的形式來表示樣本的分類。Ko 等在情緒中采用了這種方法作為分類器45。Wang 等利用帶出特 征 相 似 的 樣 本，從 而 劃 分 出 情 緒 的類別32。Khosrowabadi 等在關(guān)于情緒識別的另一個4種中，采用作為刺激材料分別誘發(fā)被試的平靜、高興、悲傷和恐懼等 4 種情緒，并提取出了相應(yīng)的腦電特征。由于被試所被誘發(fā)出的情緒有時會與所期望的不同，若采用有監(jiān)督的學(xué)習(xí)方法可能會產(chǎn)生有高限制條件的隱模型對多人數(shù)據(jù)集進行訓(xùn)練和分類，并得到了幾乎接近單人數(shù)據(jù)集的分類精度46。模型也是一種基于概率統(tǒng)計的模類別錯分的現(xiàn)象。他們在該中采用自組織映射的方法對樣本進行情緒類別的劃分，并得到了較好的結(jié)果

42、42。2 6 2 情緒狀態(tài)的監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相反，有監(jiān)督學(xué)習(xí)需要對樣本的類別進行標注，在類別信息的指導(dǎo)下不斷修正模型的參數(shù)，再將得到的訓(xùn)練模 型用于測試樣本的分類。常見的監(jiān)督學(xué)習(xí)方法有支持向量機、神 經(jīng)網(wǎng)型，它的是通過可觀察到的參數(shù)來確定馬的隱含參數(shù)，并通過這些隱含參數(shù)來爾過實現(xiàn)模式的識別和分類。模型通常用于語音識別領(lǐng)域，近年來逐漸被引入基于腦電的情中47。緒識別神經(jīng)網(wǎng)絡(luò)也是一種常見的分類方法，通過模擬真實神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而抽象出的數(shù)學(xué)模型。多層感知器就是一種較為常見的神經(jīng)網(wǎng)絡(luò)模型，它以樣本的類別信息為指導(dǎo)，不斷修正中間層到輸出層間的參數(shù)權(quán)值，直到達到一定的標準為止，之后在利用訓(xùn)練出的感知器對

43、樣本進行分類。Estepp 等在絡(luò)、決策樹型等。網(wǎng)絡(luò)、K 近鄰以及模支持向量機是目前最為廣泛使用的一種分類方法，它的到是將在低維上不可分的數(shù)據(jù)集空間上，找出不同類別間使邊緣最大化相關(guān)的中，利用人工神經(jīng)網(wǎng)絡(luò)對不穩(wěn)定狀態(tài)下的認知水平進行分類并取得了較好的結(jié)果48。的超平面，從而反過來實現(xiàn)對低類。通過控制核函數(shù)可以決定上樣本的分邊界的線性或2 7情緒相關(guān)腦區(qū)和頻段的利用腦電進行情緒識別的非線性，線性核支持向量機的復(fù)雜度相對非線性核來說較低，但非線性核支持向量機在很多情況下能夠更好的擬合出不同類別間的邊界。常見的核函數(shù)包括線性核、多項式核、徑向基函數(shù)核等。由于支持向量機良好的性能，目前已被廣泛應(yīng)用于情

44、緒，目標之一就是選擇出能夠代表情緒狀態(tài)的特征，并通過優(yōu)化模型盡可能的提高情緒狀態(tài)的分類精度，為腦電在情緒識別領(lǐng)域的應(yīng)用提供可靠的保證。另一目標就是在過找出與情緒狀態(tài)關(guān)聯(lián)最大的腦區(qū)和23 ，31 ，39 。K 近鄰法是較為簡單的一種分類方法，經(jīng)常被用作衡量一種分類方法性能的優(yōu)劣的基準43 。其識別頻段，為腦電在情緒識別領(lǐng)域的應(yīng)用提供生理基礎(chǔ)。Sidt 等以音樂作為刺激材料分別誘發(fā)被試的開心、愉悅、悲傷和害怕等 4 種情緒。通過他是找出與未知類別樣本點距離最近的們發(fā)現(xiàn)，聽積極情緒的樂曲時，左前腦會產(chǎn)生較強的腦電活動，而當(dāng)聽消極情緒的樂曲時，右前腦則會產(chǎn)生較強的腦電活動，由此可見前腦與情緒有著K個樣

45、本，由這 K 個樣本中占多數(shù)的類別來決定未知樣本的類別。例如最簡單的 1 近鄰法就是將距離最，等: 基于腦電的情緒識別4 期綜述603很大的關(guān)聯(lián)性49。Sarlo 等利用手術(shù)場景、蟑螂、人類打斗和自然風(fēng)光等 4 種影片片段，分別誘發(fā)被試的消極情緒和目前腦-計算機接口已經(jīng)涌現(xiàn)出了很多有效的輪椅控制52 ，基于事件誘應(yīng)用，如基于運動發(fā)電位的光標控制53 以及在 3D 虛擬環(huán)境下基于運汽車駕駛等54。但是，目前腦-機交互方中性情緒。通過他們發(fā)現(xiàn) alpha 頻段在情緒中動起到了重要作用，并且當(dāng)消極情緒被誘發(fā)時，右后式仍然停留在實現(xiàn)殘疾人的一些基本的需求上，而對于殘疾人的更高級需求仍然無法實現(xiàn)?；谀X

46、腦電活動50。腦區(qū)會產(chǎn)生Petrantonakis 等人的基礎(chǔ)上，為了對左右電的情緒識別可以在現(xiàn)有腦-計算機接術(shù)的基腦的不平衡的差異程度進行表征，提出了不平衡指礎(chǔ)上，進一步滿足殘疾人的某些更高級的需求，如對于患有特定疾病的殘疾人，可以通過腦電分析出數(shù)( asymmetryIndex)的概念，為了驗證不平衡指數(shù)的有效性，他們使用國際系統(tǒng)作為誘發(fā)材料，其對事物的喜好度，比如餐食的選擇、電視的使用高階交叉與互相關(guān)( cross-correlation ) 作為特征，對 4 種情緒狀態(tài)進行了分析，發(fā)現(xiàn)不平衡指數(shù)與情緒 狀 態(tài) 密 切 相 關(guān)，驗 證 了 不 平 衡 指 數(shù) 的 有效性51。選擇和音樂的

47、選擇等，從而設(shè)計出更加友善和更加智能的腦-計算機接口，達到更好的護理效果，提高殘疾人的生活質(zhì)量。疲勞監(jiān)測交通安全是目前社會關(guān)注的一個重要問題。對3 2Li 等以為刺激材料并通過共同空間模式找出了每個被試的情緒最佳頻段，他們的分析結(jié)果顯示，大多數(shù)被試的最佳頻段都分布在 gamma 頻段上，這反映出了 gamma 頻段在情緒識別中的重要作用40。于高速鐵路和長途汽車來說，情緒的穩(wěn)定非常重要。當(dāng)處于緊張，興奮或焦躁等情緒時，發(fā)生事故的幾率會明顯上升。倘若利用腦電實的情緒狀態(tài)，并在時出現(xiàn)不良情緒時筆者以為刺激材料分別誘發(fā)被試的積極發(fā)出警報，那么就可以在一定程度上避免或減少事故的發(fā)生55。情緒和消極情緒

48、，并提取了 50 個不依賴被試的共同特征，通過將這些特征到腦區(qū)和頻段上，發(fā)現(xiàn)3 3士兵狀態(tài)監(jiān)測在戰(zhàn)場上，指揮官需要及時了解士兵的狀這些共性特征主要分布在 alpha 頻段的右枕葉和頂葉部位，beta 頻段的中間區(qū)域，gamma 頻段的左額葉和右顳葉( 如圖 7 所示) 39。態(tài)。Matthews 等通過在士兵頭盔中布設(shè)電極，開發(fā)出可以實時監(jiān)測士兵工作壓力的可移動系統(tǒng)56 。指揮官可以通過該系統(tǒng)更好地了解士兵的狀態(tài)，更合理地分配士兵的任務(wù)。教育通過計算機進行教育，是目前很多人選擇的學(xué)習(xí)方式之一。而通過基于腦電的情緒識別，教3 4師可以實時地了解學(xué)生的狀態(tài)，并根據(jù)學(xué)生的狀態(tài)，適當(dāng)?shù)恼{(diào)整授課難度，以

49、增強教育的人性化，使計算機作為媒介進 行學(xué)習(xí)的功能達到最佳化57。目前存在的主要問題雖然近年來基于腦電的情緒識別4圖 7 情緒相關(guān)特征的分布Fig 7 Distribution of emotional features已經(jīng)有階段，了比較大的進展，但多數(shù)還處在離實際應(yīng)用尚有相當(dāng)距離，主要存在下列問題有待解決?；谀X電的情緒識別應(yīng)用隨著神經(jīng)科學(xué)和認知科學(xué)對情緒的深入和干電極技術(shù)的快速發(fā)展，基于腦電的情緒識別技術(shù)將在不遠的未來得到廣泛的應(yīng)用。3 1高級腦-計算機接口3腦電信號傳統(tǒng)腦電者在進行腦電4 1方式通常采用濕電極技術(shù)，被試前，必須涂抹導(dǎo)電介質(zhì)，以克服角質(zhì)層對腦電信號的影響。該過程需要在外中

50、國 生 物 醫(yī)學(xué) 工 程 學(xué) 報31 卷604人輔助下進行，時間花費較長，而且導(dǎo)電介質(zhì)的性別方法，開發(fā)舒適可穿戴的干電極腦電帽，找出與情緒最相關(guān)的腦區(qū)和頻段，以及建立能夠更準確地識別情緒狀態(tài)的系統(tǒng)，都是將基于腦電的情緒識別技術(shù)真正應(yīng)用于現(xiàn)實世界需要進一步開展的工作。能也會隨時間變化。如果的導(dǎo)電性會下降甚至?xí)r間過長，導(dǎo)電介質(zhì)到的腦電信號出質(zhì)量。目前，一，使現(xiàn)失真，從而影響腦電信號種新型的干電極腦電技術(shù)已經(jīng)出現(xiàn)58。干電參考文獻極腦電技術(shù)可以在一定程度上解決上述問題。1 James W What is an emotion J Mind，1884 ，9 ( 34 ) : 188 205 Lange

51、 CG The emotions: a psychophysiological study J Theemotions，1885 ，33 90 但是，目前干電極腦電技術(shù)對在毛發(fā)區(qū)域到的腦電信號還不是很穩(wěn)定，需要進一步改進。另外，由于腦電信號十分微弱，因此在2 過，必須通過高放大倍數(shù)的放大器對腦電信號進行信號放大。目前商業(yè)化的腦電信號放大器的體積普遍較大，不利于便攜式使用。最近出現(xiàn)了化的腦電信號放大器，可以有效解決放大器體積過大問題，但是成本仍然較高，離實用化還有一定的距離。3 W The James Lange theory of emotions: a criticalCanexaminat

52、ion andternative theory J American Journal ofPsychology，1927 ，39 : 106 124 4 pez MD A proed mechanism of emotion JJamesArch Neural Psychiatry，1937 ，38 ( 4 ) : 725 743 Paul D，Maclean MD Psychosomatic disease and the“Visceral Brain ”recent developments bearing on the Pz theory of emotion J Psychosomat

53、ic Medicine，1949 ，11 : 338 353 Dalgleish T The emotional brain J Nature Reviews Neuroscience，2004 ，5 ( 7 ) : 583 9 Healey J Wearable and automotive systems for the recognition ofaffect from physiology D Massachusetts: MIT，2000 5 4 2真實環(huán)境對腦電信號的影響6 由于腦電信號在過十分容易受到外部環(huán)境的干擾，現(xiàn)有的偽跡去除方法往往只針對一種噪聲或幾種噪聲有效。而在實際應(yīng)用

54、中，由于現(xiàn)實環(huán)境十分復(fù)雜，干擾源也非常多，因此現(xiàn)有的偽跡去除方法很難有效地去除腦電信號中的偽跡。另外，在實際應(yīng)用中，基于腦電的情緒識別要求在線處理，這不但要求偽跡去除算法在偽跡去除方面具有較高的有效性，對于偽跡去除算法的時間復(fù)雜度也提出了較高的要求，這就需要開發(fā)出更加有效的偽跡去除方法。7 8 Lang PJ， Bradley MM， Cuthbert BNernational AffectivePicture System ( IAPS ) : Technical Manual And AffectiveRatings M Gainesville: University of Florida

55、，1999 Frantzidis CA， Bratsas C ， et al Toward emotion aware9 computing:anegrated approach using multichannelneurophysiological recordings and affective visual stimuli JIEEE Tranions on Information Technology in Biomedicine，2010 ，14 ( 3 ) : 589 597 Lang PL， Bradley MM， Cuthbert BN10ernational Affecti

56、ve差異性與共同模式由于腦電信號在信號表征的過4 3Picture System: Affective ratings of pictures and instructionmanua M Gainesville: : NIMH Center for the Study of Emotion and Attention，2008 具有一定的差異性，且目前的還基本處在階段，主要通過刺激材料誘發(fā)被試的相應(yīng)情緒狀態(tài)，而不同被試對于同一刺激材料的反應(yīng)也會存在一定的差異。如何從這種差異之間，尋找穩(wěn)定的情緒11，等 情緒對認知加工的影響: 事件J 心理科學(xué)進展，2006 ，14 ( 4 ) :相關(guān)腦電位系

57、列505 510 Ekman P， Friesen12WV The fa l action coding system與腦電信號特征的對應(yīng)關(guān)系，從而消除目前中( FACS ) : a technique for the measurement ol action的差異性，是目前基于腦電的情緒識別亟需解M San Francisco: Consulting Psychologists Press，1978 Coan JA， Allen JJB， McKnight PE A capability m13決的一個具有性的問題。ofindividual differenin frontal EEG a

58、symmetry J Biological5 結(jié)論情緒狀態(tài)識別的Psychology，2006 ，72 : 198 207 Crawford HJ，Clarke SW，Melissa KT Self generated happy14有著十分重要的理論意and sad emotions in low and highly hypnotizablewaking and hypnosis: laterality and regionals duringEEG activity義和現(xiàn)實意義，在人-機交互系統(tǒng)里有著不可替代的differenJernational Journal of Psychoph

59、ysiology ，作用。隨著近年來腦電技術(shù)、腦電信號處理技1996 ，24 : 239 266 Damasio AR，Grabowski TJ，Bechara A，et al Subcortical and術(shù)和機器學(xué)習(xí)的飛速發(fā)展，基于腦電的情緒識別研15究已經(jīng)成為一個重要的多學(xué)科交叉課題，并越cortical brainemotions J 1056 activity during the feeling of self generatedNature Neuroscience，2000 ，3 ( 10 ) : 1049來越受到關(guān)注。在已有神經(jīng)科學(xué)、心理學(xué)和認知科學(xué)成果的基礎(chǔ)上，不斷優(yōu)化基于

60、腦電的情緒識，等: 基于腦電的情緒識別4 期綜述60516，的新進展J31Lin Yuanpin，Wang Chihong，Jung Tzyy，et al EEG based 人臉表情識別中國圖象圖形學(xué)報，2006 ( 10 ) : 1359 1368 Anderson K，McOwan PW A real time automated system foremotion recognitionusic listening J IEEE Tran Biomedical Engineering，2010 ，57 ( 7 ) : 1798 1806 Murugappan M，Rizon M，Nag