基于腦電的情緒識(shí)別研究綜述

1、314卷期中 國 生 物 醫(yī) 學(xué) 工 程 學(xué) 報(bào)Vol 31No 4 August 20122012 年 8 月ChiJournal of Biomedical Engineering基于腦電的情緒識(shí)別段若男交通大學(xué)計(jì)算機(jī)科學(xué)與工程系仿腦計(jì)算與機(jī)器智能交通大學(xué)智能計(jì)算與智能系統(tǒng)教育部 微軟綜述糧*中心，1 (200240 )200240 )2 (摘 要: 情緒是綜合了人的感覺、和行為的一種狀態(tài)，在人與人的交流中發(fā)揮著重要作用。情緒識(shí)別是通過獲取人的生理或非生理信號對人的情緒狀態(tài)進(jìn)行自動(dòng)辨別，以實(shí)現(xiàn)更加友好和自然的人 機(jī)交互?；谀X電的識(shí)別方法是一種常用且有效的情緒識(shí)別方式。文中從腦電獲取及預(yù)處

2、理、特征提取和特征選擇、情緒模式的學(xué)習(xí)和分類等幾個(gè)方面，介紹了基于腦電的情緒識(shí)別的進(jìn)展、應(yīng)用前景以及目前存在的主要問題。:情緒; 情緒識(shí)別; 腦電; 特征提取; 機(jī)器學(xué)習(xí)號 R318. 08文獻(xiàn)標(biāo)志碼 A文章0258 8021( 2012) 04 0595 12A Survey on EEG Based Emotion RecognitionNIE DanWANG Xiao WeiDUAN Ruo NanLV Bao Liang*1 ( Center for Brain like Computing and Machineelligence，Department of Computer Sci

3、ence and Engineering，Shanghai Jiao Tong University，Shanghai 200240 ，China)2 ( MOEelligent Computing andelligent Systems，Shanghai Jiao Tong University，Shanghai 200240 ，China)Key Lab forAbstract:et comprehensively represents human feeling，thought and behavior，thus takesersonal human communication Emot

4、ion recognition aims to automaticallyEmotion is a san important role indiscriminate different emotional s es by using physiological andphysiological signals acquired from peoplein order to develop friendly and natural human machineerface EEG based emotion recognition is one of themost common used an

5、d efficient methods for emotion recognition This prroduced the s e of the arttechniques，the read world applications and some critical problems of EEG based emotion recognition，from theaspects of EEG signals recording，signal preprosing，feature extraction，feature selection and classification methodsKe

6、y words: emotion; emotion recognition; EEG; feature extraction; machine learning用戶體驗(yàn)，就可以改善產(chǎn)品功能，設(shè)計(jì)出更適合用戶需求的產(chǎn)品。在各種人-機(jī)交互系統(tǒng)里，如果系統(tǒng)能識(shí)別出人的情緒狀態(tài)，人與機(jī)器的交互就會(huì)變得更加友好和自然。因此，對情緒進(jìn)行分析和識(shí)別是神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)和人工智引言情緒是一種綜合了人的感覺和行為的狀態(tài)，它包括人對外界或自身刺激的心理反應(yīng)，也包括伴隨這種心理反應(yīng)的生理反應(yīng)。在人們的日常工作和生活中，情緒的作用無處不在。在醫(yī)療護(hù)理能等領(lǐng)域的一項(xiàng)重要的交叉學(xué)科課題。中，如果能夠知

7、道患者、特別是有表達(dá)的患者對于情緒的由來已久，使用的方法也各不的情緒狀態(tài)，就可以根據(jù)患者的情緒做出不同的護(hù)相同。近年來，隨著腦電信號設(shè)備的應(yīng)用和推理措施，提高護(hù)理質(zhì)量。在產(chǎn)品開發(fā)過，如果廣，信號處理和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，以及計(jì)算機(jī)數(shù)據(jù)處理能力的大幅提高，基于腦電的情緒識(shí)能夠識(shí)別出用戶使用產(chǎn)品過的情緒狀態(tài)，了解: 10 3969 / j i 0258 8021 2012 04 00收稿日期: 2012 02 11 ，錄用日期:2012 05 18基金項(xiàng)目: 國家自然科學(xué)基金( 90820018 ) ; 國家重點(diǎn)基礎(chǔ)發(fā)展( 973 ) 計(jì)劃( 2009 CB320901 )* 通信作者。: b

8、llu sjtu edu cn中 國 生 物 醫(yī)學(xué) 工 程學(xué) 報(bào)31 卷596別已經(jīng)成為神經(jīng)工程和生物醫(yī)學(xué)工程領(lǐng)域的基礎(chǔ)。熱門課題。文中將介紹目前國內(nèi)外基于腦電的情緒識(shí)別的現(xiàn)狀以及發(fā)展趨勢。文中從多個(gè)角度介紹情緒的相關(guān)理論。隨后，從情緒的誘發(fā)、腦電信號、腦電信號的預(yù)處理、特征提取、特征選擇、情緒模式的學(xué)習(xí)和分類等6 個(gè)方面詳細(xì)介紹利用腦電進(jìn)行情緒識(shí)別的方法。1情緒情緒的生理基礎(chǔ)情緒最早的定義出現(xiàn)于1 1z 環(huán)路理論6圖 1Fig 1情緒功能性解剖學(xué)的 P心理學(xué)之父 JamesThe Pz circuit theory of the functional于 1884 年 的文章，他認(rèn)為情緒是人們

9、對于自己身體所發(fā)生的變化的一種感覺，先有身體的變化才有情緒的感知，任何情緒的產(chǎn)生都一定伴隨著身體上的某些變化，如 面部表情，肌肉緊張，內(nèi)臟 活動(dòng) 等1。1885 年丹麥生理學(xué)家 Lange2 也提出了類似neuroanatomy of emotion 6盡管對情緒的定義至今尚未，還在進(jìn)一步之中，但神經(jīng)科學(xué)和認(rèn) 知科學(xué)的結(jié)果表明，情緒的產(chǎn)生與生理活動(dòng)，特別是與大腦皮層的活動(dòng)密切相關(guān)，這為通過大腦皮層的活動(dòng)分析的觀點(diǎn)。因此，后人 把他們對情緒的 統(tǒng)稱為和識(shí)別人的情緒狀態(tài)提供了理論依據(jù)。1 2情緒的分類James-Lange 理論，也 叫情緒的外周理論。 James-Lange 理論肯定了人的生理與

10、情緒之間的內(nèi)在也一直是眾說紛紜，沒有對于情緒分類的聯(lián)系，但將情緒的產(chǎn)生只歸結(jié)為外周生理的變化卻帶有片面性。定論。人的情緒千變?nèi)f化，究竟每種情緒是作為個(gè)體而獨(dú)立存在的，還是不同情緒之間存在著某種相1927 年 Can在中否定了 James 的情緒關(guān)性，這都是學(xué)者們至今仍在的問題。理論，提出情緒的產(chǎn)生是由丘腦所決定的。認(rèn)為當(dāng)外界刺激傳遞到大腦皮層后，大腦皮層就會(huì)激活丘我國自古就有“喜怒哀樂悲恐驚”七情的說法，近代的學(xué)者們通過也分別提出了不同的基本腦，并由此產(chǎn)生相應(yīng)的不同情緒3 。Can的同事 情緒集，James 的情緒集包括7、恐懼、悲痛、愛Bard 也認(rèn)為情緒的產(chǎn)生與丘腦有關(guān)，因此有人將他等;E

11、kman 的情緒集包括、恐懼、傷心、厭們的稱為理論。Can理Can-Bard-Bard惡、驚訝等; Clynes 的情緒集包括、憎恨、悲痛、論肯定了丘腦在情緒產(chǎn)生過的重要作用，但完、愛、浪漫、害怕、悲痛、無情緒等;Izard 的情緒集包括、驚訝、關(guān)心、厭惡、鄙視、內(nèi)全否定了外周生理與情緒產(chǎn)生之間的關(guān)系，也失于片面。1937 年 Pz 再次將情緒的產(chǎn)生與人的生理疚、羞恥等。他們認(rèn)為人的所有情緒都是由基本情緒集擴(kuò)充而來的?；顒?dòng)聯(lián)系在一起，并提出了情緒產(chǎn)生的邊緣系統(tǒng)機(jī)z 環(huán)路( 如圖 1 所示)6。他認(rèn)為，與情制，即 P然而通過逐步的，人們發(fā)現(xiàn)某些情緒之間感刺激相關(guān)的感覺信息在傳到丘腦后，會(huì)向感覺皮

12、存在著一定的關(guān)聯(lián)性，比如和厭惡有時(shí)會(huì)同時(shí)層( 思維流) 和下丘腦( 感覺流)z 提出從。P出現(xiàn)。因此，有學(xué)者根據(jù)這種關(guān)聯(lián)性開始用不同的維度來表示情緒。目前最常見的分類方法是 Lange的二維情緒分類模型( 如圖 2 所示)8 ，用縱坐標(biāo)表示人們心情的愉悅程度，從 不喜歡逐漸過渡到喜 下丘腦到丘腦前核 再到扣帶皮層 的連接。當(dāng)扣帶皮層整合從下丘腦傳來的信號和從感覺皮層傳來的信息時(shí)，便產(chǎn)生了情感體驗(yàn)或感覺。從扣帶皮層到海馬體 再到下丘腦 的輸出產(chǎn)生了自上歡;用橫坐標(biāo)表示狀態(tài)的興奮程度，從逐漸過而下的情感反應(yīng)皮質(zhì)控制。在 Pz 環(huán)路提出十幾渡到興奮。這樣不同的情緒就可以通過分解為兩年后，心理學(xué)家 M

13、aclean 在其基礎(chǔ)上又提出了內(nèi)臟腦的概念。他認(rèn)為內(nèi)臟腦負(fù)責(zé)調(diào)解所有與情緒相個(gè)維度到該坐標(biāo)系中。1 3情緒的誘發(fā)近代以來，越來越多的學(xué)者加入到了情緒關(guān)的應(yīng)5。P，并通過下丘腦調(diào)解內(nèi)臟和骨骼的相應(yīng)反z-Maclean 理論將前人對于情緒的的行列，而情緒的重要前提條件之一就是誘發(fā)結(jié)果統(tǒng)合在了一起，為后人對情緒的 奠定了，等: 基于腦電的情緒識(shí)別4 期綜述597系統(tǒng)11 ，為 中國本地化情緒 素材。2) 提示被試做出不同情緒狀態(tài)下所對應(yīng)的面提供了良好的部表情。Paul 等通過人的臉部肌肉動(dòng)作和表情之間的關(guān)系提出了一套面部行為編碼系統(tǒng)，他們認(rèn)為人的情緒都會(huì)通過面部表情表現(xiàn)出來，臉是誠實(shí)的12。因此，

14、一些學(xué)者在這個(gè)理論的基礎(chǔ)上通過要求被試做出不同的表情來被試相應(yīng)的情緒狀態(tài)13 ，然而這種方法并不是完全可靠的，因?yàn)楫?dāng)人們試圖掩飾自己的情緒時(shí)，其面部表情的變化也會(huì)變得不易被察覺。圖 2 Lange 情緒分類模型Fig 2 The Lange theory of emotions出人的不同情緒。情緒的誘發(fā)可以通過外部刺激和內(nèi)部響應(yīng)等方式實(shí)現(xiàn)，目前常見的情緒誘發(fā)方法主要有以下 3 種:3) 讓被試自行回憶帶有相應(yīng)感片段。這是一種完全由被試內(nèi)部誘彩的緒的方法，也被一些學(xué)者作為情緒的基本方式1415。然1) 通過、音樂和等外部刺激誘發(fā)被試而這種方法的缺點(diǎn)是無法保證被試能夠找到帶有的不同情緒，這也是目前

15、被學(xué)者們最普遍使用的刺激方法。為了客觀有效地誘發(fā)出被試的不同情緒并對相應(yīng)的情緒狀態(tài)進(jìn)行標(biāo)記打分，Lang 等建立了國際情感 系統(tǒng)9 ( 如圖 3 所示) 和國際情感數(shù)彩的片段，情緒所能保持的時(shí)間也量。相應(yīng)感很難進(jìn)上述 3 種情緒誘發(fā)方法各有優(yōu)缺點(diǎn)。因此，在實(shí)際的中，人們需要根據(jù)不同的環(huán)境選擇合適碼聲音系統(tǒng)10。他們選取了不同段、不同性的方法對被試的情緒進(jìn)行誘發(fā)。別、不同種族的被試為系統(tǒng)中的材料進(jìn)行打分，并最終得到了情感系統(tǒng)中每個(gè)材料在愉悅度、喚醒度和優(yōu)勢度等 3 個(gè)維度的得分，為所誘發(fā)出的情緒類情緒識(shí)別方法對應(yīng)于不同的情緒誘發(fā)方法，情緒識(shí)別方法也各不相同，常見的情緒識(shí)別方法主要分為兩大類:基于

16、非生理信號的識(shí)別和基于生理信號的識(shí)別( 如表 1 所示) ?；诜巧硇盘柕那榫w識(shí)別方法主要包括對面部表情和語音語調(diào)的識(shí)別。面部表情識(shí)1 4別提供了標(biāo)記依據(jù)。本地化，建立了中國情感等對上述系統(tǒng)進(jìn)行了系統(tǒng)、情感面孔系統(tǒng)、中國情感數(shù)碼聲音系統(tǒng)和漢語情感詞分布11圖 3 刺激材料由愉悅度與喚醒度組成的二Fig 3 Stimuli distributionhe 2 D emotional space formed by the arousal and valence 11中 國 生 物 醫(yī)學(xué)工 程 學(xué) 報(bào)31 卷598別方法是根據(jù)表情與情緒間的對應(yīng)關(guān)系來識(shí)別不同的情緒，在特定情緒狀態(tài)下人們會(huì)產(chǎn)生特定的

17、面部肌肉運(yùn)動(dòng)和表情模式，如 心情愉悅時(shí)嘴角會(huì)上基于腦電的情緒識(shí)別腦電的概念腦電( EEG) 是指按照時(shí)間順序，在頭皮表層記22 1翹，眼部會(huì)出現(xiàn)環(huán)形褶皺;時(shí)會(huì)皺眉，睜大眼睛等。目前，面部表情識(shí)別多采用圖像識(shí)別的方法來錄下的由大腦神經(jīng)元自發(fā)性、節(jié)律性運(yùn)動(dòng)而產(chǎn)生的實(shí)現(xiàn)1617。語音語調(diào)識(shí)別方法是根據(jù)不同情緒狀電位。神經(jīng)科學(xué)、心理學(xué)和認(rèn)知科學(xué)的表明，態(tài)下人們的語言表達(dá)方式的不同來實(shí)現(xiàn)的1819 ，如人的很多心理活動(dòng)和認(rèn)知行為都可以通過腦電反映出來，因此腦電已經(jīng)被越來越多的引入到情緒識(shí)心情愉悅時(shí)說話的語調(diào)會(huì)比較歡快，煩躁時(shí)語調(diào)會(huì)比較沉悶?；诜巧硇盘栕R(shí)別方法的優(yōu)點(diǎn)是操作簡單，不需要特殊設(shè)備。缺點(diǎn)是不

18、能保證情緒識(shí)別的2 2?；谀X電的情緒識(shí)別的主要步驟別的可靠性，因?yàn)槿藗兛梢酝ㄟ^利用腦電進(jìn)行情緒識(shí)別的主要步驟包括: 情緒面部表情和語音語調(diào)來掩飾自己的真實(shí)情緒，而這種往往不的誘發(fā)、腦電信號、腦電信號的預(yù)處理、特征易被發(fā)現(xiàn)。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識(shí)別的方法往往難以實(shí)現(xiàn)。表 1 3 種不同情緒識(shí)別技術(shù)的比較提取、特征降維、情緒模式的學(xué)習(xí)和分類等。情緒的誘發(fā)方法已經(jīng)在 1 3 節(jié)中進(jìn)行了詳細(xì)介紹，這里不再贅述。腦電信號通常包括信號的提取和放大。Tab 1Comparisonof three technologies for emotion本文所介紹的腦電信號的提取是

19、通過將電極置于recognition頭皮處實(shí)現(xiàn)的。由于腦電信號非常微弱，因此在提取腦電信號后需要通過放大器進(jìn)行放大。腦電信號放大后，還需要通過預(yù)處理算法去除偽跡，從而得到相對純凈的腦電信號。在情緒識(shí)別的后 4 個(gè)步驟中，不同學(xué)者所采用的方法不盡相同。下面將對腦電信號的預(yù)處理、特征提取、特征降維、情緒模式的學(xué)習(xí)和分類等 4 個(gè)步驟進(jìn)行詳細(xì)介紹。2 3 腦電信號的預(yù)處理非生理信號神經(jīng)系統(tǒng)腦電信號難度低中高信號質(zhì)量( 信噪比)高否低中是中低是高信號是否接觸檢測準(zhǔn)確率基于生理信號的情緒識(shí)別方法，主要包括基于神經(jīng)系統(tǒng)( autonomic nervous system) 的情緒識(shí)別和基于中樞神經(jīng)系統(tǒng)(

20、central nervous system) 的由于腦電信號十分微弱，因此在過很情緒識(shí)別?；谏窠?jīng)系統(tǒng)的識(shí)別方法是指通容易受到其他噪聲信號的干擾。腦電信號的預(yù)處過測量心率、皮膚阻抗、呼吸等生理信號來識(shí)別對理主要是指去除跡。在情緒識(shí)別到的腦電信號中所摻雜的偽中，所要去除的偽跡主要包括應(yīng)的情緒狀態(tài)。麻省理工學(xué)院的 Picard 等人通神經(jīng)系統(tǒng)的測量和分析，識(shí)別出了平過對眼電、肌電、心電、工頻干擾、電磁干擾和任務(wù)不相關(guān)的腦電等。目前比較常用的偽跡去除方法主要包括濾波和獨(dú)立成分分析等。由于工頻干擾和電磁干擾往往發(fā)生在高頻段，因此可以通過帶通濾波或低通濾波的方式將容易產(chǎn)生干擾的頻段過濾掉，只保留有效的

21、頻段的腦電信號。對于不易通過濾波去除的偽跡，通常采用獨(dú)立成分分析、主成分分析等方法，找出干擾信號并將其與腦電信號分離開。靜、生氣、厭惡、憂傷、愉悅、浪漫、開心和畏懼等 8 種不同的情緒20。這些神經(jīng)系統(tǒng)的生理信號雖然無法 ，能夠得到真實(shí)的數(shù)據(jù)，但是由于準(zhǔn)確率低且缺乏合理的評價(jià)標(biāo)準(zhǔn)，因此不太適合于實(shí)際應(yīng)用?；谥袠猩窠?jīng)系統(tǒng)的識(shí)別方法，是指通過分析不同情緒狀態(tài)下大腦發(fā)出的不同信號來識(shí)別相應(yīng)的情緒。這種方法不易被，并且與其他生理信s 等將盲信號分離、獨(dú)立成分分析和支持Bar號識(shí)別方法相比識(shí)別率較高，因此越來越多的被應(yīng)向量機(jī)相結(jié)合，提出了一種 有效的去偽跡處理方法21。通過分析每個(gè)算法的特點(diǎn)，得出了用

22、盲信號分離中的 Amuse 算法去除眼電，用獨(dú)立成分分析中的 Infomax 算法去除肌電的預(yù)處理方法，并得到了較好的去偽跡效果21 ( 如圖 4 所示) 。用于情緒識(shí)別。常見的基于中樞神經(jīng)系統(tǒng)的( fMRI)識(shí)別方法主要包括功能核磁和腦電( EEG) 。由于功能核磁的設(shè)備體積龐大、價(jià)格昂貴，不宜實(shí)際應(yīng)用。因此，基于腦電信號的情緒識(shí)別是目前比較常用的方法。，等: 基于腦電的情緒識(shí)別4 期綜述599圖 4 去偽跡前( a) 與去偽跡后( b) 腦電信號對比Fig 4 Comparison of the EEG signals before artifact removal ( a) and af

23、ter artifact removal ( b)特征提取特征提取是指對腦電信號進(jìn)行變換，找出與任務(wù)相關(guān)的代表性特征的方法。在基于腦電的情緒ms 間，這個(gè)正向電位就會(huì)產(chǎn)生。此外，他們通2 4180過對比發(fā)現(xiàn)，人臉相關(guān)的 N170 現(xiàn)象并不會(huì)影響情緒的識(shí)別，由此可見情緒表達(dá)分析和人臉結(jié)構(gòu)編碼在大腦信息處理過是兩個(gè)平行的體系26。識(shí)別中，特征提取是的一個(gè)環(huán)節(jié)，只有提取出真正與情緒相關(guān)的特征，才能為后續(xù)的識(shí)別提供保證。常見的腦電特征主要分為 3 類: 時(shí)域特征、頻域特征和時(shí)-頻特征。2 4 1 時(shí)域特征時(shí)域特征是幾類特征中最直觀也是最容易得到的，這種方法往往將去除偽跡后的腦電信號在時(shí)域上的信息或?qū)r(shí)

24、域上的信號統(tǒng)計(jì)量作為特征。Khalil 等將腦電時(shí)域信號的均值、標(biāo)準(zhǔn)差、偏斜度、峰值、原始信號首次差異的平均絕對值、歸一化后信號的首次差異的平均絕對值等作為腦電特 征22。Zhang 等將對稱電極間在時(shí)域上的振幅差作為腦電特征23。時(shí)域特征在情緒識(shí)別中的一類典型應(yīng)用就是事件相關(guān)電位分析法。事件相關(guān)電位( event-related potentials) 是指當(dāng)外加一種特定的刺激，作用于感覺系統(tǒng)或腦的某一部分，在給予或撤銷刺激時(shí)，或當(dāng)頻域特征2 4 2頻域特征是指將原始腦電信號從時(shí)域轉(zhuǎn)化到頻域，再從其中提取出相關(guān)頻域特性作為腦電特征。神經(jīng)科學(xué)和心理學(xué)的表明，腦電的 delta 頻段( 1 4

25、Hz) 、theta 頻段( 4 8 Hz) 、alpha 頻段( 8 Hz) 、beta 頻段( 13 30 Hz) 和 gamma 頻段( 36 Hz) 等 5 個(gè)頻段與人的各項(xiàng)生理及心理活動(dòng)有著1344密切的關(guān)系。因此，在提取腦電頻域特征時(shí)，很多學(xué)者會(huì)先將腦電信號到這 5 個(gè)頻段上，再分別提取出各個(gè)頻段對應(yīng)的頻域特征。常見的頻域特征有功率譜，功率譜密度，能量等。這些特征的提取通常都建立在功率譜估計(jì)的基礎(chǔ)上。經(jīng)典的功率譜估計(jì)是以一定時(shí)間段數(shù)據(jù)變換作為基礎(chǔ)的估計(jì)，通常通過直接法和的間接法兩種途徑實(shí)現(xiàn)。直接法是將功率譜看作是幅頻特性平方的總體均值與持續(xù)時(shí)間之間的比值來計(jì)算; 間接法是先計(jì)算出相

26、關(guān)函數(shù)，再進(jìn)行葉變換，從而得到所要求的功率譜估計(jì)27 。在此基礎(chǔ)上就可以得到功率譜密度和能量等頻域特征。Zouridakis 等首先經(jīng)過帶通濾波將原始腦電信出現(xiàn)時(shí)，在 腦區(qū)所產(chǎn)生的電位變某種心理化24。在利用事件相關(guān)電位進(jìn)行情緒識(shí)別的中，通常采用帶有不同情感色彩的或帶有不同表情的人臉作為刺激材料，再通過分析被試觀看情緒。后相關(guān)腦區(qū)產(chǎn)生的誘發(fā)電位識(shí)別不同的 號到上述 5 個(gè)常用頻段上，再分別求出 5 個(gè)頻段所對應(yīng)的頻段能量，以此作為腦電特征進(jìn)行情緒識(shí)別28。Aftanas 等利用Eimer 等用帶有驚恐和中性表情的人臉作變換將原始腦電信為刺激材料，并利用事件相關(guān)電位來找出驚恐情緒和中性情緒間的差

27、異。他們發(fā)現(xiàn)在直立放置的驚恐表情出現(xiàn)后，被試會(huì)在 120 ms 內(nèi)在額中部位號到 theta、alpha 和 beta 頻段上，并在功率譜的基礎(chǔ)上求出了每個(gè)電極的功率譜密度作為腦電特征29。Kothe 等提出了一種叫做完備譜回歸方法來腦電和認(rèn)知的關(guān)系。其中在特征提取部分，他們利用自適應(yīng)混合獨(dú)立成分分析的方法，將通過感產(chǎn)生正向電位。若將遲出現(xiàn)25。他們倒立放置，相關(guān)電位會(huì)延人的基礎(chǔ)上還發(fā)現(xiàn)，帶有情緒的人臉相對于中性人臉來說都會(huì)正知器直接得到的信號到一種完備源信號表示向增強(qiáng)事件相關(guān)電位。在人臉出現(xiàn)后的 120 中，并通過線性或非線性的稀疏學(xué)習(xí)選擇出一系列中 國 生 物 醫(yī)學(xué) 工 程 學(xué) 報(bào)31 卷

28、600區(qū)的腦電特征34。Aftanas 等曾在的稀疏特征，最后在此基礎(chǔ)上得到功率譜密度作為最終的特征30。中使用非線指數(shù)等作為腦電特征35 。性的 K 熵和時(shí)頻特征在很多情況下，腦電特征可以與其他生理特征或非生理特征結(jié)合共同用于情緒識(shí)別。Scotti 等將2 4 3由于腦電信號的不穩(wěn)定性，單純考慮時(shí)域特征或頻域特征都是不全面的，因此越來越多的開腦電特征與皮膚阻抗、血壓、心電等神經(jīng)信號一起作為情緒識(shí)別的特征36。Zhang 等將腦電信號與人臉表情相結(jié)合用于識(shí)別被試的情緒狀態(tài)23。始將時(shí)域和頻域聯(lián)系起來，找出能夠同時(shí)反映時(shí)域和頻域的腦電特征，這里稱其為時(shí)頻特征。提取時(shí)頻特征的常見方法，主要有短時(shí)變

29、換等。變換和小波McDonald 等在由組織的2011 年認(rèn)知狀態(tài)評估比賽中，將多種腦電特征和非腦電特征去粗取精，較好的結(jié)合在一起，這些特征包括傳統(tǒng)的腦電功率譜密度，腦電在 theta、alpha、和 gamma 等頻段上的 值及其代數(shù)變化，眼電，肌電以及心電等特征37。上述腦電特征各有特點(diǎn)，可以針對具體的環(huán)境選取合適的腦電特征或者將幾種特征結(jié)合在一起，取 長 補(bǔ) 短，從 而提高情 緒識(shí)別的準(zhǔn)確 率。短時(shí)變換是在傳統(tǒng)變換的基礎(chǔ)上加入窗函數(shù)，通過窗函數(shù)的不斷移動(dòng)來決定時(shí)變信號局部弦波成分的頻率和相位。Lin 等以音樂作為刺激材料，通過 32 導(dǎo)的電極帽情緒實(shí)驗(yàn)中被試的腦電信號，再利用短時(shí)變換將腦

30、電信號到上述 5 個(gè)常用頻段上，之后分別計(jì)算出每個(gè)頻段所對應(yīng)的功率譜密度，最后利用電極間的對稱關(guān)系組合出 4 組特征，分別是: 對稱電極間的差，對稱電極間的商，除去中間電 極后的電極功率譜密度，以及所有電極各自的功率譜密度。通過這 4 組特征進(jìn)行后續(xù)的情緒識(shí)別31。小波變換是指用某些特殊函數(shù)作為基函數(shù)，并以此對數(shù)據(jù)進(jìn)行變換操作，從而發(fā)現(xiàn)其類頻譜特征Christos 等利用國際情感發(fā)材料，同時(shí)提取由 系統(tǒng)中的作為誘誘發(fā)的事件相關(guān)電位 ( P100，N100，P200，N200，P300 ) 的時(shí)域特征( 幅度與延遲) 與其頻域特征(頻段，theta 頻段與deltaalpha 頻段的幅度) 作為

31、最終特征，用于情感分類，取得了較好的效果11。變換一樣，小波變換也的變換過程。與短時(shí)2 5特征平滑與特征降維情緒狀態(tài)的變化通常是一個(gè)漸變的過程，而腦將時(shí)域和頻域聯(lián)系起來，與短時(shí)變換不同的是小波變換的窗函數(shù)可以隨頻率的改變而改變，從而能夠給出更好的特征表示。Murugappan 等用視頻片段作為情緒實(shí)驗(yàn)的刺激材料，在經(jīng)過預(yù)處理之后對腦電信號進(jìn)行小波變換，從而得到一系列的小波系 數(shù)，通 過 小 波 系 數(shù) 得 到 頻 段 的 能 量。 Murugappan 等將子頻段的能量在總體能量中的比率，alpha 頻段小波系數(shù)的均方根及能量作為腦電特征32。2 4 4 其他腦電特征除了上述 3 種常見特征外

32、，還可以從腦電信號中提取出許多其他特征，如熵、分形維數(shù)以及者們自定義的特征等。歸一化后的腦電時(shí)序信號總是在 0 值附近上下，即使使用濾波器對信號進(jìn)行過濾，這種現(xiàn)象也仍 然 存 在。 在 對 這 種 現(xiàn) 象 觀 察 的 基 礎(chǔ) 上， Petrantonakis 等提出了一種新的情緒識(shí)別腦電特征，稱為高階交叉( higher order crossings) ，利用這種特征得到了較好的情緒識(shí)別結(jié)果33。Khosrowabadi等在將原始腦電信號濾波到 4 13 Hz 后，分別采用電信號中有一些變化劇烈的成分。為了盡可能的減少這些劇烈變化部分的干擾，需要對腦電特征進(jìn)行平滑。目前比較常用的平滑方法是滑

33、動(dòng)平均，但是由于滑動(dòng)平均具有一定的時(shí)間延遲。為了保證情緒狀態(tài)識(shí)別的實(shí)時(shí)性，Shi 等引入了線性動(dòng)力系統(tǒng)方法對腦電信號進(jìn)行平滑，從而降低了任務(wù)不相關(guān)腦電信號對分析的影響( 如圖 5 所示) 38。在情緒實(shí)驗(yàn)中，大家通常使用 32 導(dǎo)、64 導(dǎo)或128 導(dǎo)的電極帽。而提取出的腦電特征往往是對應(yīng)著每個(gè)電極，這就會(huì)導(dǎo)致腦電特征的維數(shù)很高。然而，腦電特征的維數(shù)越高，所要的信號就越多，顯然不利于情緒識(shí)別的實(shí)際應(yīng)用。因此，從已有腦電特征中選擇出數(shù)量少且與情緒高度相關(guān)的特征非常必要，這也就是特征降維所要完成的任務(wù)。特征降維的方法可以分為兩大類: 一類是特征選擇，即從特征集合中挑選 與任務(wù)相關(guān)的特征子集; 另一

34、類是對原有特征進(jìn)行線性或非線性變換，將其到能夠最大限度反映情緒狀態(tài)的維度上，從而在數(shù)量上也達(dá)到了一定程度的減少。這主要包括主成分分析( PCA) 、獨(dú)立成分分析( ICA) 和共核密度估計(jì)和混合模型的方法提取出對應(yīng)腦，等: 基于腦電的情緒識(shí)別綜述4 期601圖 6 6 名被試情緒狀態(tài)的分類準(zhǔn)確率與特征維數(shù)的關(guān)系圖 5 用線性動(dòng)力系統(tǒng)方法對腦電信號進(jìn)行平滑前后的對比。( a) 線性動(dòng)力系統(tǒng)平滑前; ( b) 線性動(dòng)力系統(tǒng)平滑后Fig 6Relationship betn the emotionclassification accuracies of six subjects and thenum

35、ber of feature dimensFig 5Comparison of the features before and征通過線性變換到這組坐標(biāo)系中。通過這種after using the LDS approach ( a) The featuresbefore using the LDS approach ( b ) The features after using the LDS approach方法他們提取出了相對較優(yōu)的前 100 維特征用于情緒識(shí)別的后續(xù)分析23 。Li 等通過共同空間模式( CSP) 來實(shí)現(xiàn)降維。這里降維的目的是為了找出每個(gè)被試所對應(yīng)的最佳同空間模式( CSP)

36、 等。在基于腦電的情緒狀態(tài)識(shí)別中，筆者利用頻段。首先通過變換將原始腦電信號轉(zhuǎn)換特征與情緒類別的相關(guān)性進(jìn)行降維。首先將 62 導(dǎo)電極各自所對應(yīng)的 5 個(gè)頻段的能量作為腦電特征，這樣腦電特征的總數(shù)共有 310 個(gè)。為了減少特征維數(shù)，又計(jì)算出每個(gè)特征與實(shí)際情緒類別間的相關(guān)系數(shù)，并按照相關(guān)系數(shù)從大到小的順序重新排列這些特征，通過選取列表前面的特征就實(shí)現(xiàn)了降維。在中發(fā)現(xiàn)，當(dāng)特征維數(shù)達(dá)到一定數(shù)量時(shí)，情緒分類的結(jié)果基本保持不變，而這個(gè)數(shù)量要比原始的腦電特征數(shù)量小得多( 如圖 6 所示) 。這個(gè)結(jié)果說明了在原始的腦電特征中有相當(dāng)一部分特征是與情緒不相關(guān)或者相關(guān)性很低，這樣在以后的應(yīng)用中就可以忽略掉這部分特征，

37、從而提高了腦電信號和數(shù)據(jù)分析的效率39。Lin 等采用統(tǒng)計(jì)學(xué)上常用的 F 積分索引方法實(shí)到頻域上，設(shè)定動(dòng)態(tài)帶寬量以保證所找出的頻段不會(huì)短于或長于被試的最佳頻段帶寬。在動(dòng)態(tài)變化的每段頻段上，利用共同空間模式將特征到類間差異最大的投影方向，分別找出最佳的前 2、4、20和 40 維特征，并通過每組特征對應(yīng)的分類精度找出最適合該被試的頻段和特征維數(shù)40。Firpi 等采用一種叫做粒子群優(yōu)化的算法對提取出的特征進(jìn)行選擇。這種方法是將特征抽象為沒有重量的微粒，并通過多次迭代找出每個(gè)微粒對于本身和全局來說的最佳位置。利用這種方法，可選取出較優(yōu)的特征41 。情緒模式的學(xué)習(xí)和分類如何通過這些腦電特征確定各種情

38、緒狀態(tài)的2 6腦電模式? 如何通過相應(yīng)的腦電模式來對訓(xùn)現(xiàn)特征選擇。這種方法的是為每個(gè)特征練的特征樣本進(jìn)行分類? 是情緒狀態(tài)的學(xué)習(xí)和分類所要完成的任務(wù)。實(shí)現(xiàn)情緒狀態(tài)識(shí)別的方法主要可分為兩大類:一類是無監(jiān)督的學(xué)習(xí)方法; 另一類是有監(jiān)督的學(xué)習(xí)方法。2 6 1 情緒狀態(tài)的無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)是指在對樣本進(jìn)行模式訓(xùn)練時(shí)不對其指定類別信息，而是由樣本自身向特性相近的樣本靠近，與特性相異的樣本遠(yuǎn)離，從而達(dá)到同類計(jì)算一個(gè) F 值，這個(gè)值代表的是該特征的類間方差與類內(nèi)方差的比值，F(xiàn) 值越大說明這個(gè)特征越能反映不同類間的差異，將一定范圍內(nèi) F 值較大的特征挑選出來就實(shí)現(xiàn)了特征選擇 。Zhang 等用電極間的振幅差

39、作為特征。由于采樣率和時(shí)間長短的關(guān)系，得到了 600 維的腦電特征。為了降低特征維數(shù)，采用無監(jiān)督的主成分分析法進(jìn)31行特征選擇。這種方法的是找出一組最能反映特征特性的坐標(biāo)系，并將原始的特中 國 生 物 醫(yī)學(xué) 工 程 學(xué) 報(bào)31 卷602樣本，異類樣本分離的效果，最終實(shí)現(xiàn)模式的分類。常見的無監(jiān)督學(xué)習(xí)方法有模糊聚類、K 均值近的樣本點(diǎn)的類別信息賦予待求樣本點(diǎn)。與 K 近鄰法使用歐氏距離不同，馬氏距離分類法引入了另一種衡量距離的方法馬 氏距離。馬氏距離是指樣本間協(xié)方差的距離，用來衡量樣本間的相似度。馬氏距離的優(yōu)點(diǎn)是不會(huì)受到不同特征量綱的影響，但缺點(diǎn)是容易將原本微小的變化擴(kuò)和自組織等。傳統(tǒng)的聚類方法是

40、根據(jù)樣本點(diǎn)間的歐式距離的遠(yuǎn)近來決定樣本的類別屬性，通過控制距離的大小或類中包含樣本的個(gè)數(shù)來確定不同類別間的邊界。在此基礎(chǔ)上演變出了 K 均值、模糊聚類以及動(dòng)態(tài)聚類等聚類方法。Murugappan 等將被試高興、害怕、厭惡和驚訝等四種不同情緒的樣本混合在一起，利用模糊 C 均值聚類的方法，通過尋找類別本身的固有特征，找大化。Frantzidis 等以作為刺激材料對被試進(jìn)行情緒誘發(fā)，他們將所誘發(fā)的情緒按照的二維坐標(biāo)圖分為心情愉悅和心情低落，高興奮度和低興奮度，并利用馬氏距離分類法進(jìn)行情緒分類，達(dá)到了較高的分類精度44 。網(wǎng)絡(luò)是一種基于概率的推理模型，通過先驗(yàn)分布來表示樣本分類前的不確定性，并以后驗(yàn)

41、分布的形式來表示樣本的分類。Ko 等在情緒中采用了這種方法作為分類器45。Wang 等利用帶出特 征 相 似 的 樣 本，從 而 劃 分 出 情 緒 的類別32。Khosrowabadi 等在關(guān)于情緒識(shí)別的另一個(gè)4種中，采用作為刺激材料分別誘發(fā)被試的平靜、高興、悲傷和恐懼等 4 種情緒，并提取出了相應(yīng)的腦電特征。由于被試所被誘發(fā)出的情緒有時(shí)會(huì)與所期望的不同，若采用有監(jiān)督的學(xué)習(xí)方法可能會(huì)產(chǎn)生有高限制條件的隱模型對多人數(shù)據(jù)集進(jìn)行訓(xùn)練和分類，并得到了幾乎接近單人數(shù)據(jù)集的分類精度46。模型也是一種基于概率統(tǒng)計(jì)的模類別錯(cuò)分的現(xiàn)象。他們在該中采用自組織映射的方法對樣本進(jìn)行情緒類別的劃分，并得到了較好的結(jié)果

42、42。2 6 2 情緒狀態(tài)的監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相反，有監(jiān)督學(xué)習(xí)需要對樣本的類別進(jìn)行標(biāo)注，在類別信息的指導(dǎo)下不斷修正模型的參數(shù)，再將得到的訓(xùn)練模 型用于測試樣本的分類。常見的監(jiān)督學(xué)習(xí)方法有支持向量機(jī)、神 經(jīng)網(wǎng)型，它的是通過可觀察到的參數(shù)來確定馬的隱含參數(shù)，并通過這些隱含參數(shù)來爾過實(shí)現(xiàn)模式的識(shí)別和分類。模型通常用于語音識(shí)別領(lǐng)域，近年來逐漸被引入基于腦電的情中47。緒識(shí)別神經(jīng)網(wǎng)絡(luò)也是一種常見的分類方法，通過模擬真實(shí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而抽象出的數(shù)學(xué)模型。多層感知器就是一種較為常見的神經(jīng)網(wǎng)絡(luò)模型，它以樣本的類別信息為指導(dǎo)，不斷修正中間層到輸出層間的參數(shù)權(quán)值，直到達(dá)到一定的標(biāo)準(zhǔn)為止，之后在利用訓(xùn)練出的感知器對

43、樣本進(jìn)行分類。Estepp 等在絡(luò)、決策樹型等。網(wǎng)絡(luò)、K 近鄰以及模支持向量機(jī)是目前最為廣泛使用的一種分類方法，它的到是將在低維上不可分的數(shù)據(jù)集空間上，找出不同類別間使邊緣最大化相關(guān)的中，利用人工神經(jīng)網(wǎng)絡(luò)對不穩(wěn)定狀態(tài)下的認(rèn)知水平進(jìn)行分類并取得了較好的結(jié)果48。的超平面，從而反過來實(shí)現(xiàn)對低類。通過控制核函數(shù)可以決定上樣本的分邊界的線性或2 7情緒相關(guān)腦區(qū)和頻段的利用腦電進(jìn)行情緒識(shí)別的非線性，線性核支持向量機(jī)的復(fù)雜度相對非線性核來說較低，但非線性核支持向量機(jī)在很多情況下能夠更好的擬合出不同類別間的邊界。常見的核函數(shù)包括線性核、多項(xiàng)式核、徑向基函數(shù)核等。由于支持向量機(jī)良好的性能，目前已被廣泛應(yīng)用于情

44、緒，目標(biāo)之一就是選擇出能夠代表情緒狀態(tài)的特征，并通過優(yōu)化模型盡可能的提高情緒狀態(tài)的分類精度，為腦電在情緒識(shí)別領(lǐng)域的應(yīng)用提供可靠的保證。另一目標(biāo)就是在過找出與情緒狀態(tài)關(guān)聯(lián)最大的腦區(qū)和23 ，31 ，39 。K 近鄰法是較為簡單的一種分類方法，經(jīng)常被用作衡量一種分類方法性能的優(yōu)劣的基準(zhǔn)43 。其識(shí)別頻段，為腦電在情緒識(shí)別領(lǐng)域的應(yīng)用提供生理基礎(chǔ)。Sidt 等以音樂作為刺激材料分別誘發(fā)被試的開心、愉悅、悲傷和害怕等 4 種情緒。通過他是找出與未知類別樣本點(diǎn)距離最近的們發(fā)現(xiàn)，聽積極情緒的樂曲時(shí)，左前腦會(huì)產(chǎn)生較強(qiáng)的腦電活動(dòng)，而當(dāng)聽消極情緒的樂曲時(shí)，右前腦則會(huì)產(chǎn)生較強(qiáng)的腦電活動(dòng)，由此可見前腦與情緒有著K個(gè)樣

45、本，由這 K 個(gè)樣本中占多數(shù)的類別來決定未知樣本的類別。例如最簡單的 1 近鄰法就是將距離最，等: 基于腦電的情緒識(shí)別4 期綜述603很大的關(guān)聯(lián)性49。Sarlo 等利用手術(shù)場景、蟑螂、人類打斗和自然風(fēng)光等 4 種影片片段，分別誘發(fā)被試的消極情緒和目前腦-計(jì)算機(jī)接口已經(jīng)涌現(xiàn)出了很多有效的輪椅控制52 ，基于事件誘應(yīng)用，如基于運(yùn)動(dòng)發(fā)電位的光標(biāo)控制53 以及在 3D 虛擬環(huán)境下基于運(yùn)汽車駕駛等54。但是，目前腦-機(jī)交互方中性情緒。通過他們發(fā)現(xiàn) alpha 頻段在情緒中動(dòng)起到了重要作用，并且當(dāng)消極情緒被誘發(fā)時(shí)，右后式仍然停留在實(shí)現(xiàn)殘疾人的一些基本的需求上，而對于殘疾人的更高級需求仍然無法實(shí)現(xiàn)?；谀X

46、腦電活動(dòng)50。腦區(qū)會(huì)產(chǎn)生Petrantonakis 等人的基礎(chǔ)上，為了對左右電的情緒識(shí)別可以在現(xiàn)有腦-計(jì)算機(jī)接術(shù)的基腦的不平衡的差異程度進(jìn)行表征，提出了不平衡指礎(chǔ)上，進(jìn)一步滿足殘疾人的某些更高級的需求，如對于患有特定疾病的殘疾人，可以通過腦電分析出數(shù)( asymmetryIndex)的概念，為了驗(yàn)證不平衡指數(shù)的有效性，他們使用國際系統(tǒng)作為誘發(fā)材料，其對事物的喜好度，比如餐食的選擇、電視的使用高階交叉與互相關(guān)( cross-correlation ) 作為特征，對 4 種情緒狀態(tài)進(jìn)行了分析，發(fā)現(xiàn)不平衡指數(shù)與情緒 狀 態(tài) 密 切 相 關(guān)，驗(yàn) 證 了 不 平 衡 指 數(shù) 的 有效性51。選擇和音樂的

47、選擇等，從而設(shè)計(jì)出更加友善和更加智能的腦-計(jì)算機(jī)接口，達(dá)到更好的護(hù)理效果，提高殘疾人的生活質(zhì)量。疲勞監(jiān)測交通安全是目前社會(huì)關(guān)注的一個(gè)重要問題。對3 2Li 等以為刺激材料并通過共同空間模式找出了每個(gè)被試的情緒最佳頻段，他們的分析結(jié)果顯示，大多數(shù)被試的最佳頻段都分布在 gamma 頻段上，這反映出了 gamma 頻段在情緒識(shí)別中的重要作用40。于高速鐵路和長途汽車來說，情緒的穩(wěn)定非常重要。當(dāng)處于緊張，興奮或焦躁等情緒時(shí)，發(fā)生事故的幾率會(huì)明顯上升。倘若利用腦電實(shí)的情緒狀態(tài)，并在時(shí)出現(xiàn)不良情緒時(shí)筆者以為刺激材料分別誘發(fā)被試的積極發(fā)出警報(bào)，那么就可以在一定程度上避免或減少事故的發(fā)生55。情緒和消極情緒

48、，并提取了 50 個(gè)不依賴被試的共同特征，通過將這些特征到腦區(qū)和頻段上，發(fā)現(xiàn)3 3士兵狀態(tài)監(jiān)測在戰(zhàn)場上，指揮官需要及時(shí)了解士兵的狀這些共性特征主要分布在 alpha 頻段的右枕葉和頂葉部位，beta 頻段的中間區(qū)域，gamma 頻段的左額葉和右顳葉( 如圖 7 所示) 39。態(tài)。Matthews 等通過在士兵頭盔中布設(shè)電極，開發(fā)出可以實(shí)時(shí)監(jiān)測士兵工作壓力的可移動(dòng)系統(tǒng)56 。指揮官可以通過該系統(tǒng)更好地了解士兵的狀態(tài)，更合理地分配士兵的任務(wù)。教育通過計(jì)算機(jī)進(jìn)行教育，是目前很多人選擇的學(xué)習(xí)方式之一。而通過基于腦電的情緒識(shí)別，教3 4師可以實(shí)時(shí)地了解學(xué)生的狀態(tài)，并根據(jù)學(xué)生的狀態(tài)，適當(dāng)?shù)恼{(diào)整授課難度，以

49、增強(qiáng)教育的人性化，使計(jì)算機(jī)作為媒介進(jìn) 行學(xué)習(xí)的功能達(dá)到最佳化57。目前存在的主要問題雖然近年來基于腦電的情緒識(shí)別4圖 7 情緒相關(guān)特征的分布Fig 7 Distribution of emotional features已經(jīng)有階段，了比較大的進(jìn)展，但多數(shù)還處在離實(shí)際應(yīng)用尚有相當(dāng)距離，主要存在下列問題有待解決。基于腦電的情緒識(shí)別應(yīng)用隨著神經(jīng)科學(xué)和認(rèn)知科學(xué)對情緒的深入和干電極技術(shù)的快速發(fā)展，基于腦電的情緒識(shí)別技術(shù)將在不遠(yuǎn)的未來得到廣泛的應(yīng)用。3 1高級腦-計(jì)算機(jī)接口3腦電信號傳統(tǒng)腦電者在進(jìn)行腦電4 1方式通常采用濕電極技術(shù)，被試前，必須涂抹導(dǎo)電介質(zhì)，以克服角質(zhì)層對腦電信號的影響。該過程需要在外中

50、國 生 物 醫(yī)學(xué) 工 程 學(xué) 報(bào)31 卷604人輔助下進(jìn)行，時(shí)間花費(fèi)較長，而且導(dǎo)電介質(zhì)的性別方法，開發(fā)舒適可穿戴的干電極腦電帽，找出與情緒最相關(guān)的腦區(qū)和頻段，以及建立能夠更準(zhǔn)確地識(shí)別情緒狀態(tài)的系統(tǒng)，都是將基于腦電的情緒識(shí)別技術(shù)真正應(yīng)用于現(xiàn)實(shí)世界需要進(jìn)一步開展的工作。能也會(huì)隨時(shí)間變化。如果的導(dǎo)電性會(huì)下降甚至?xí)r間過長，導(dǎo)電介質(zhì)到的腦電信號出質(zhì)量。目前，一，使現(xiàn)失真，從而影響腦電信號種新型的干電極腦電技術(shù)已經(jīng)出現(xiàn)58。干電參考文獻(xiàn)極腦電技術(shù)可以在一定程度上解決上述問題。1 James W What is an emotion J Mind，1884 ，9 ( 34 ) : 188 205 Lange

51、 CG The emotions: a psychophysiological study J Theemotions，1885 ，33 90 但是，目前干電極腦電技術(shù)對在毛發(fā)區(qū)域到的腦電信號還不是很穩(wěn)定，需要進(jìn)一步改進(jìn)。另外，由于腦電信號十分微弱，因此在2 過，必須通過高放大倍數(shù)的放大器對腦電信號進(jìn)行信號放大。目前商業(yè)化的腦電信號放大器的體積普遍較大，不利于便攜式使用。最近出現(xiàn)了化的腦電信號放大器，可以有效解決放大器體積過大問題，但是成本仍然較高，離實(shí)用化還有一定的距離。3 W The James Lange theory of emotions: a criticalCanexaminat

52、ion andternative theory J American Journal ofPsychology，1927 ，39 : 106 124 4 pez MD A proed mechanism of emotion JJamesArch Neural Psychiatry，1937 ，38 ( 4 ) : 725 743 Paul D，Maclean MD Psychosomatic disease and the“Visceral Brain ”recent developments bearing on the Pz theory of emotion J Psychosomat

53、ic Medicine，1949 ，11 : 338 353 Dalgleish T The emotional brain J Nature Reviews Neuroscience，2004 ，5 ( 7 ) : 583 9 Healey J Wearable and automotive systems for the recognition ofaffect from physiology D Massachusetts: MIT，2000 5 4 2真實(shí)環(huán)境對腦電信號的影響6 由于腦電信號在過十分容易受到外部環(huán)境的干擾，現(xiàn)有的偽跡去除方法往往只針對一種噪聲或幾種噪聲有效。而在實(shí)際應(yīng)用

54、中，由于現(xiàn)實(shí)環(huán)境十分復(fù)雜，干擾源也非常多，因此現(xiàn)有的偽跡去除方法很難有效地去除腦電信號中的偽跡。另外，在實(shí)際應(yīng)用中，基于腦電的情緒識(shí)別要求在線處理，這不但要求偽跡去除算法在偽跡去除方面具有較高的有效性，對于偽跡去除算法的時(shí)間復(fù)雜度也提出了較高的要求，這就需要開發(fā)出更加有效的偽跡去除方法。7 8 Lang PJ， Bradley MM， Cuthbert BNernational AffectivePicture System ( IAPS ) : Technical Manual And AffectiveRatings M Gainesville: University of Florida

55、，1999 Frantzidis CA， Bratsas C ， et al Toward emotion aware9 computing:anegrated approach using multichannelneurophysiological recordings and affective visual stimuli JIEEE Tranions on Information Technology in Biomedicine，2010 ，14 ( 3 ) : 589 597 Lang PL， Bradley MM， Cuthbert BN10ernational Affecti

56、ve差異性與共同模式由于腦電信號在信號表征的過4 3Picture System: Affective ratings of pictures and instructionmanua M Gainesville: : NIMH Center for the Study of Emotion and Attention，2008 具有一定的差異性，且目前的還基本處在階段，主要通過刺激材料誘發(fā)被試的相應(yīng)情緒狀態(tài)，而不同被試對于同一刺激材料的反應(yīng)也會(huì)存在一定的差異。如何從這種差異之間，尋找穩(wěn)定的情緒11，等 情緒對認(rèn)知加工的影響: 事件J 心理科學(xué)進(jìn)展，2006 ，14 ( 4 ) :相關(guān)腦電位系

57、列505 510 Ekman P， Friesen12WV The fa l action coding system與腦電信號特征的對應(yīng)關(guān)系，從而消除目前中( FACS ) : a technique for the measurement ol action的差異性，是目前基于腦電的情緒識(shí)別亟需解M San Francisco: Consulting Psychologists Press，1978 Coan JA， Allen JJB， McKnight PE A capability m13決的一個(gè)具有性的問題。ofindividual differenin frontal EEG a

58、symmetry J Biological5 結(jié)論情緒狀態(tài)識(shí)別的Psychology，2006 ，72 : 198 207 Crawford HJ，Clarke SW，Melissa KT Self generated happy14有著十分重要的理論意and sad emotions in low and highly hypnotizablewaking and hypnosis: laterality and regionals duringEEG activity義和現(xiàn)實(shí)意義，在人-機(jī)交互系統(tǒng)里有著不可替代的differenJernational Journal of Psychoph

59、ysiology ，作用。隨著近年來腦電技術(shù)、腦電信號處理技1996 ，24 : 239 266 Damasio AR，Grabowski TJ，Bechara A，et al Subcortical and術(shù)和機(jī)器學(xué)習(xí)的飛速發(fā)展，基于腦電的情緒識(shí)別研15究已經(jīng)成為一個(gè)重要的多學(xué)科交叉課題，并越cortical brainemotions J 1056 activity during the feeling of self generatedNature Neuroscience，2000 ，3 ( 10 ) : 1049來越受到關(guān)注。在已有神經(jīng)科學(xué)、心理學(xué)和認(rèn)知科學(xué)成果的基礎(chǔ)上，不斷優(yōu)化基于

60、腦電的情緒識(shí)，等: 基于腦電的情緒識(shí)別4 期綜述60516，的新進(jìn)展J31Lin Yuanpin，Wang Chihong，Jung Tzyy，et al EEG based 人臉表情識(shí)別中國圖象圖形學(xué)報(bào)，2006 ( 10 ) : 1359 1368 Anderson K，McOwan PW A real time automated system foremotion recognitionusic listening J IEEE Tran Biomedical Engineering，2010 ，57 ( 7 ) : 1798 1806 Murugappan M，Rizon M，Nag