《EEG信號特征提取與情緒識別方法研究14000字》

[15]。本論文選擇V-A二維情緒模型開展研究。圖2.1情緒誘發(fā)方式及選擇目前的情緒誘發(fā)源有：音樂片段、文字、表情圖片、視頻，這幾種誘發(fā)源包括了單個感官刺激和多個感官結(jié)合的刺激?；谇叭说难芯?，我們可以得知，使用視頻片段作為誘發(fā)情緒的素材是更好的選擇。在觀看視頻的時候，受試者的聽覺和視覺同時受到刺激，并且人們的共情能力使得他們可以對視頻里的故事感同身受，從而使誘發(fā)情緒的效果更為深入持久(余哲瀚,葉慧玲,2019)。為了使實驗效果更加顯著，本論文采用了以mv為情緒誘發(fā)源的DEAP數(shù)據(jù)集。作者對于上述結(jié)果進行了反復(fù)校驗與比對，尤其是與同行結(jié)論進行了細致的比對與剖析，以確保所得結(jié)果的穩(wěn)定性和可靠性。在與同行研究的對比中，作者注意到，盡管在具體成果的表述形式上可能存在些微不同，但核心結(jié)論和趨勢均保持一致，這進一步增強了本研究結(jié)論的可信度。特別地，作者深入探討了與方佳佳教授在相關(guān)主題研究中的結(jié)論的異同，通過這種對比與分析，不僅深化了對研究主題的理解，也為后續(xù)研究提供了寶貴的借鑒和啟示，為研究的深化和創(chuàng)新提供了重要幫助。DEAP是由國外幾所知名大學(xué)的科研人員共同實驗得到的，是在情緒識別研究領(lǐng)域得到廣泛應(yīng)用的一個經(jīng)典的公開數(shù)據(jù)庫。在這類環(huán)境里探討研究人員首先利用last.fm網(wǎng)站強大的功能找到適合做情緒采集的音樂視頻，然后招募到32名志愿者，在告知其實驗注意事項后，給他們佩戴上檢測生理信號的儀器，而后志愿者們分別需要觀看40個帶有不同情緒觸發(fā)點時長為1分鐘的mv，其中有22名志愿者在實驗過程中的面部視頻被公開(曾慶霖,溫若蘭,2022)。在觀看的過程中，受試者要從效價、喚醒程度、喜愛程度、熟悉程度、支配程度5個維度對視頻內(nèi)容進行打分，在這種情況里展開以便后續(xù)的情緒識別工作的開展。實驗首先使用512HZ的頻率采集生理信號，然后以128HZ的頻率對采得的信號進行二次采樣以方便后來的學(xué)者使用，采集通道共有40個，其中，前32個通道用來采集腦電信號，其余的8個通道用來采集皮電信號、肌電信號和眼電信號等外周生理信號(蔡文博,潘秋燕,2023)。處理好的文件有40個mat文件和40個bat文件，與40位受試者一一對應(yīng)，這兩種文件分別用matlab和python打開。前述結(jié)果在一定程度上支撐了本文預(yù)先構(gòu)建的理論體系?，F(xiàn)有的研究成果分析與理論預(yù)期保持了高度一致，驗證了理論模型中提出的機制的有效性。詳細來說，研究發(fā)現(xiàn)關(guān)鍵變量間的關(guān)聯(lián)趨勢與模型預(yù)測相符，這不僅增強了理論體系的可靠性，也為進一步探究該領(lǐng)域的復(fù)雜關(guān)系提供了實證支撐。另外，結(jié)果的相符性表明理論模型中考慮的影響因素及其相互作用是合理的，對把握研究現(xiàn)象的本質(zhì)具有重要意義。此外，這一驗證環(huán)節(jié)也為后續(xù)研究指明了道路，即在已驗證有效的理論體系下，可以更加深入地挖掘未被充分研究的因素，或把模型拓展到更廣泛的場景中進行驗證和優(yōu)化。從中不難發(fā)現(xiàn)文件里面是兩個叫做dada和labels的矩陣，data的規(guī)模是40＊40*8064，這三個維度代表的意思分別是40個一分鐘的視頻，40個采集生理信號的通道，8064個采樣點(袁浩淼,薛雅菲,2021)。8064是由63*128得到的，63代表正式采樣前的3秒基線時間加上60秒的音樂視頻時間，128是復(fù)采樣的頻率。labels是一個40*4的矩陣，兩個維度的含義是40個音樂短片和志愿者基于四個維度對視頻內(nèi)容的打分。本章小結(jié)本章介紹了情緒模型的分類，概述了情緒誘發(fā)方式，并且說明了本論文使用的情緒模型及生理情緒數(shù)據(jù)庫，而后詳細闡釋了DEAP數(shù)據(jù)集。

生理信號及其特征提取EEG信號基礎(chǔ)知識腦電圖（EEG）描述了大腦皮層中腦神經(jīng)細胞產(chǎn)生的電生理活動。我們可以通過腦電圖來監(jiān)測生理活動和疾病信息，從這些因素可以推測相比于一些其他類型的疾病檢查方式，通過腦電圖來檢測疾病不會對人造成任何創(chuàng)傷和疼痛(金啟超,陶麗娜,2020)。一般來說，獲得腦電圖的方式是將患者的頭皮與精密的腦電采集設(shè)備相連，設(shè)備上的電極片會自動記錄下腦電細胞的生理活動,然后通過傳輸線將這種信號發(fā)送到電腦系統(tǒng)上，電腦將微弱的電位信號進行放大并顯示在屏幕上。概括來說，腦電圖就是一個橫坐標為時間，縱坐標為大腦皮層電位的二維坐標圖(石澤凱,韓雅琴,2019)。ECG在很多領(lǐng)域都有著廣泛的應(yīng)用。在臨床醫(yī)學(xué)上，醫(yī)生可以通過腦電波的特征來診斷出病人是否患有癲癇，癲癇的放電是不規(guī)律的，即使是在未發(fā)病期間，腦電圖也會顯示異常，從而達到提前預(yù)判的效果，根據(jù)現(xiàn)有背景及時地采取治療措施，腦電圖還可以輔助醫(yī)生對已經(jīng)確診的癲癇患者的藥物服用進行指導(dǎo)。此外，腦電圖還可用于診斷精神類疾病、通過檢測出中樞神經(jīng)系統(tǒng)的病變而判斷出中毒(章思遠,林玉潔,2022)；考慮到理論與實踐間的差異，本文進行了深入的分析與必要的調(diào)整。為確保理論模型能更貼近實際操作，我們不僅嚴謹?shù)赝茖?dǎo)和驗證了理論框架，還深入實踐，通過多元化的研究方法等渠道，廣泛收集了行業(yè)內(nèi)的第一手資料。這些實踐數(shù)據(jù)幫助我們識別并理解理論模型在實際應(yīng)用中可能面臨的挑戰(zhàn)與偏差。在此基礎(chǔ)上，我們引入了修正迭代優(yōu)化機制，構(gòu)建了適應(yīng)性更強的研究流程，并據(jù)此修正和完善了當前成果，提高了其預(yù)測準確性和實用性，確保了研究結(jié)果的可靠性和泛化性。通過這些綜合考量，本文不僅加深了對研究主題的理解，也為相關(guān)領(lǐng)域的研究者和從業(yè)者提供了更具操作性和指導(dǎo)意義的理論支撐和實踐參考。在工程上，由于人在處于不同狀態(tài)時的腦電活動不同，研究者們基于提取出腦電特征進行分類識別來實現(xiàn)特定的控制作用的理念提出了腦機接口的概念，根據(jù)這種情形其中最廣為人知的應(yīng)用是為了幫助聽覺、視覺和肢體運動能力等受損的人們而制造出來的人體植入設(shè)備(譚家輝,肖美琳,2023)；另外，由于大腦皮層主要負責人體的認知和情感功能，其中大腦皮層中的頂葉被證明與人際交往、情感、自我意識等有關(guān)，所以腦電圖在情緒識別領(lǐng)域也有著不可撼動的地位。EEG信號的特征提取理論知識腦電特征的劃分：腦電信號的特征根據(jù)是否考慮大腦不同區(qū)域之間的聯(lián)系可以分為兩大類:單導(dǎo)聯(lián)特征和導(dǎo)聯(lián)間特征(林偉明,付靜嫻,2021)。單導(dǎo)聯(lián)特征又可以分為四個維度。時域表現(xiàn)一個函數(shù)或者信號隨著時間的變化，處在這個局面下最常見的形式就是二維坐標系的曲線圖。腦電信號的時域特征包括腦電波的統(tǒng)計學(xué)特征(例如方差、最大最小值、平均值等)、功率、高階過零分析等，雖然在所有維度的特征中時域特征最常用也最容易獲得，但存在一定的局限性，無法完整表現(xiàn)信號的特征，所以一般都搭配其他種類的特征來使用。頻域用來描述信號隨著頻率變化的某種特性，在此情景內(nèi)發(fā)生腦電波有5個頻率區(qū)間(徐建平,姜柳青,2020):4-8?的是Theta波、8-13?的是Alpha波、13-30?的是Beta波、大于30?的是Gamma波，不同頻率的腦電波有不同的應(yīng)用。頻域特征有功率譜密度、微分熵、差分熵等。時頻域特征結(jié)合了時域和頻域的優(yōu)點。在這場景里非線性動力學(xué)特征包括熵、李雅普諾夫指數(shù)、盒子維等(高啟超,岳麗娜,2019)。導(dǎo)聯(lián)間特征中最常用的是空間域特征，空間域特征是指腦電信號特征在大腦的不同區(qū)域表現(xiàn)各異，在這類環(huán)境里探討且研究表明大腦通道之間的相關(guān)性與情緒也有著很大的相關(guān)性?？臻g域特征又包括了空頻域和電極組合兩種類型的特征。本論文中用到的特征是空間域特征、時域特征和頻域特征(馬文博,張浩淼,2022)?？焖俑道锶~變換：我們要用的腦電信號是在時域中得到的，時間域通往頻率域的公路是傅里葉變換，然后我們將變換后的信號分為頻率不同的波段，從而提取頻域特征。由于腦電信號是非連續(xù)信號，要采用離散傅里葉變換（DFT），如公式3.1所示(葉偉明,陳靜嫻,2020)。 X(k)=n=0N?1x由于離散傅里葉變換本身的計算量太大，無法保證數(shù)據(jù)及時地得到處理，因此引入了快速傅里葉變換（FFT），從中不難發(fā)現(xiàn)如公式3.2所示。FFT大大節(jié)省了計算量，提高了運算速度，在數(shù)據(jù)處理中得到了廣泛的應(yīng)用。 Xk=n=0皮爾森相關(guān)系數(shù)：本論文使用空間域特征主要是為了研究不同腦電通道的關(guān)聯(lián)性對于情緒數(shù)據(jù)的影響，首先需要通過皮爾森相關(guān)系數(shù)求兩通道之間的相關(guān)性，如公式3.3所示(方建平,楊柳青,2021)。 Pearson=i=1該系數(shù)的變化范圍從-1到+1，負數(shù)代表絕對負相關(guān)，正數(shù)代表絕對正相關(guān)，當該系數(shù)值為0時不能說無相關(guān)關(guān)系，只是沒有線性關(guān)系(白啟超,孫麗娜,2019)。相比于其他相關(guān)性表征指標，皮爾森相關(guān)系數(shù)可以通過具體的數(shù)字更為精確地描述出兩個變量之間的相關(guān)性。特征提取我們的整個情緒識別選擇在python環(huán)境下進行，首先來配置代碼運行的環(huán)境。將anaconda和pycharm搭配使用，在這種情況里展開在安裝和配置的過程中要注意兩點:cuda和pytorch的版本一定要兼容，具體怎樣搭配我們可以在pytorch官網(wǎng)上找到相關(guān)信息(任澤凱,吳雅琴,2023)；安裝pytorch包時官網(wǎng)自帶的包下載較慢，可以將鏈接地址改為清華鏡像的下載地址。由于我們要使用圖卷積神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)情緒識別，而圖卷積網(wǎng)絡(luò)的輸入必須是圖結(jié)構(gòu)，所以我們需要把數(shù)據(jù)處理成圖，從中不難發(fā)現(xiàn)圖有四個要素(洪思遠,馮玉潔,2021):節(jié)點、節(jié)點特征，邊、邊特征。我們首先使用DEAPDataset.py和Electrodes.py來將這四個要素提取出來，再調(diào)用Pytorchgeometric庫來完成數(shù)據(jù)處理的工作。Pytorchgeometric是為處理圖網(wǎng)絡(luò)而生的數(shù)據(jù)庫。第一步，提取節(jié)點。本論文中要考慮單個腦電通道的特征和它們彼此之間的關(guān)聯(lián)性，所以選取全部的32個腦電通道作為圖結(jié)構(gòu)中的節(jié)點。第二步，提取節(jié)點特征。本論文中使用了三種提取結(jié)點特征的方法：第一種:最簡單地，我們可以直接將DEAP在時域中采集到的腦電信號作為點特征使用。我們將40個dada矩陣中的三秒基線時間去除，最后一個維度由8064變成了60＊128=7680。第二種:第一種方法直接使用7680個采樣點上的電壓值，缺點在于數(shù)據(jù)量龐大使得數(shù)據(jù)處理的工作繁雜，而且含有大量無關(guān)信息。因此，從這些因素可以推測我們想到要通過提取這些數(shù)據(jù)的均值，標準差，最大值，最小值等9個統(tǒng)計學(xué)特征作為結(jié)點特征來減少工作量，但這樣數(shù)據(jù)量有過小，不具有代表性，可能會遺漏一些重要信息。為確保研究結(jié)論的可復(fù)制性和普及性，本研究采取了多項措施，旨在加強研究的嚴謹性和普適性。從研究策劃到數(shù)據(jù)收集、解析，每一步都嚴格遵循科學(xué)方法論，力求標準化與透明化。在規(guī)劃階段，明確界定了研究目標與變量，以保證研究的邏輯清晰與可操作性。同時，運用多種數(shù)據(jù)來源及收集手段，增加數(shù)據(jù)的多樣性和代表性，避免單一數(shù)據(jù)源可能帶來的片面性。通過詳盡的研究日志、數(shù)據(jù)收集分析流程的描述，以及清晰的研究結(jié)果可視化呈現(xiàn)，有助于研究成果的廣泛傳播。兩種方法折中一下，我們將7086個數(shù)據(jù)分為10組，分別提取他們的9個統(tǒng)計學(xué)特征，最后再加上整體的9個統(tǒng)計學(xué)特征，一共是10＊9+9=99個特征作為結(jié)點特征(夏家輝,許美琳,2020)。第三種：已有研究表明，腦電信號在不同頻率的波段表現(xiàn)不同，相應(yīng)地，情緒變化也不同，因此我們考慮提取頻域特征作為結(jié)點特征。根據(jù)這種情形我們先以一個腦電通道為例，首先對8064個采樣點的數(shù)據(jù)采用FFT得到頻域數(shù)據(jù)，將頻域中的8064個數(shù)據(jù)分為5個不同的頻段，定義一個window-size為256，由于采樣頻率為128Hz，所以時間窗為2s。定義步長為16即0.125s，每向前滑動0.125s，取前方2s處的數(shù)據(jù)作為結(jié)點特征。原始數(shù)據(jù)中的63秒要減去2s的時間窗變?yōu)?1s，由于步長是0.128s，所以1s內(nèi)可以向前滑動8次，而且數(shù)據(jù)被分成了5個頻段，一個通道最終得到的數(shù)據(jù)量是61＊8＊5=2440個。每個通道的結(jié)點特征提取方法一致(侯俊松,呂秀梅,2019)。第三步，提取邊和邊特征并構(gòu)建鄰接矩陣。我們采用兩種方法來構(gòu)建鄰接矩陣。第一種:創(chuàng)建一個32*32的矩陣，里面所有的數(shù)都代表32個腦電通道兩兩之間的距離。設(shè)定閾值為0.7，在此情景內(nèi)發(fā)生當某一個數(shù)小于這個閾值時，就認為這個數(shù)值所在的行和列代表兩個腦電通道是彼此相連的，在這場景里此時他們的關(guān)聯(lián)性也越強(唐維翰,莫曉萱,2022)。矩陣的對角線上旳值代表某個通道與自身的關(guān)聯(lián)性，因此對角線上的值應(yīng)該全部為1，即關(guān)聯(lián)性最強。我們將鄰接矩陣中有關(guān)系的通道定義為邊，矩陣中的每一個值定義為邊特征。第二種:采用皮爾森相關(guān)系數(shù)計算兩兩通道的相關(guān)性從而構(gòu)建鄰接矩陣。具體地，我們通過調(diào)用corrcoef()函數(shù)來計算皮爾森相關(guān)系數(shù)，再確定閾值為0.5，當兩通道之間的皮爾森相關(guān)系數(shù)大于0.5時我們認為兩通道具有相關(guān)性，邊和邊特征的定義與方法一相同(唐維翰,莫曉萱,2022)。上述三個步驟選好了節(jié)點，節(jié)點特征，邊和邊特征。也就是說已經(jīng)具備了圖的四個基本要素。接下來就要利用PyTorchgeometric庫的torch_geometric.data.Data數(shù)據(jù)類，一個Data對象常用的屬性包括四部分，data.x:代表節(jié)點的特征矩陣。data.edge_index：在這類環(huán)境里探討一般是由COO格式存儲的邊，是一個2*n的矩陣，n為邊數(shù)，第一行為邊的起點，第二行為邊的終點。data.edge_attr：邊特征矩陣，用來存儲邊特征。data.y:存儲目標labels。本章小結(jié)本章首先介紹了所用信號的背景知識，然后對特征提取所運用的理論知識作了說明，最后詳細闡述了特征提取的準備工作、注意事項和特征提取用到的幾種方法。

情緒識別理論知識現(xiàn)存情緒識別的方法經(jīng)典的機器學(xué)習(xí)方法主要利用大量的實驗數(shù)據(jù)來優(yōu)化算法，需要在特征提取后使用分類器進行情緒識別，在這種情況里展開而最近幾年興起的深度學(xué)習(xí)方法是機器學(xué)習(xí)方法的一個變種，可以將原始信號直接輸入網(wǎng)絡(luò)模型中，實現(xiàn)了端到端的學(xué)習(xí)模式(宋一帆,蘇婉婷,2023)。目前提出的深度學(xué)習(xí)方法主要包括自動編碼器和各種網(wǎng)絡(luò)。本論文中采用了GCN輔以LSTM來完成工作。GCN以前的卷積神經(jīng)網(wǎng)絡(luò)只能解決歐式空間中的問題，例如文本、語音等常見的具有規(guī)則空間排列結(jié)構(gòu)的數(shù)據(jù)，但是在日常的數(shù)據(jù)處理中，存在著大量非歐式空間的信息，例如電商交易中的各類信息和社交網(wǎng)絡(luò)中復(fù)雜的人際關(guān)系(楊宏宇,胡冰清,2021)。通過觀察可以發(fā)現(xiàn)，這些不規(guī)則的信息同時具有點特征和結(jié)構(gòu)特征，從中不難發(fā)現(xiàn)以社交網(wǎng)絡(luò)為例，每個人都有自己的愛好、性格、職業(yè)等獨有信息，也有與其他人之間的聯(lián)系這種共有信息，這與圖結(jié)構(gòu)的定義相吻合(吳志剛,周敏華,2020)。本研究得出的結(jié)論與張福含、蘇天等學(xué)者的研究相吻合，這進一步證明了本研究方法論與理論框架的同行支持，提升了結(jié)論的可靠性和有效性。張福含與蘇天等人在該領(lǐng)域享有較高聲譽，本研究與其結(jié)論的一致性表明了所采用的研究方法和數(shù)據(jù)分析手段在探索類似問題時具有一定的普遍性和科學(xué)性。這一一致性增強了相關(guān)領(lǐng)域現(xiàn)有理論體系的穩(wěn)定性。這種跨研究的共識對于鞏固和深化本研究對該領(lǐng)域的理解，推動后續(xù)理論發(fā)展以及跨地域、跨文化研究具有重要影響，有助于形成更全面、系統(tǒng)的知識框架。因此有學(xué)者提出了一種新的變體:圖卷積神經(jīng)網(wǎng)絡(luò)，解決了非歐式空間信息無法處理的難題。圖卷積神經(jīng)網(wǎng)絡(luò)從維度上可以分為兩種：一類是頻域又可以稱作譜域，還有一類就是空間域的圖卷積。本論文中使用的是空間域的圖卷積神經(jīng)網(wǎng)絡(luò)。它是一種改良版本。從它的前身開始講起，GNN的實現(xiàn)流程是聚合、更新和循環(huán)。以圖4.1為例，A結(jié)點的特征不僅包括自身的特征，還包括與它的鄰居結(jié)點之間的關(guān)系特征，聚合是指將鄰居結(jié)點的特征按照與目標結(jié)點之間關(guān)系的密切程度以某種計算方式折算到目標結(jié)點的總特征中。從這些因素可以推測聚合之后，A結(jié)點的特征由原來的自身特征更新為復(fù)合特征。根據(jù)需要，我們可以進行N層GNN操作，也就是循環(huán)(鄭風(fēng)亮,宋雨涵,2019)。在GNN中遺留的問題是聚合環(huán)節(jié)中兩個結(jié)點之間的密切程度的計算方法，GCN解決了這個問題。該結(jié)果與預(yù)期一致，且與前輩構(gòu)建的成熟架構(gòu)基本吻合，本文不僅驗證了階段性研究成果的實效性，還進一步穩(wěn)固了該領(lǐng)域的理論根基。這一發(fā)現(xiàn)為本文的基礎(chǔ)研究提供了強有力的實證依據(jù)，也彰顯了已有理論框架的廣泛適用性和穩(wěn)定性。通過對比分析，當前研究中的數(shù)據(jù)點與先前文獻的關(guān)鍵結(jié)論相呼應(yīng)，加深了本文對該領(lǐng)域內(nèi)在機理的理解，為后續(xù)研究者在此基礎(chǔ)上進行更深入的挖掘和創(chuàng)新打開了大門。此外，結(jié)果的一致性還意味著本文在方法論上的選擇是恰當?shù)?，為后續(xù)類似方法的研究樹立了典范。若聚合選擇平均聚合，形象地來說，朋友們的平均工資就是我們的工資，但如果我們只認識馬云，他的工資水平必然比我們高出許多倍，GCN基于平均法添加了度的限制作用去避免這種誤差的產(chǎn)生(馮子淳,梁雪晴,2022)。根據(jù)這種情形度是指與目標結(jié)點通過一條邊直接連起來的結(jié)點數(shù)。以圖4.2為例，A結(jié)點的鄰居節(jié)點只有B結(jié)點，A的度為1，B的度為10，按照公式4.1即GCN的表達式，根號下的第一個量代表A的度，第二個代表B的度，B對于A造成的影響不至于太大。 Y=j(1,1,1,1)(1,1,1,1)(4,4,4,4)DCEAB(2,2,2,2)(3,3,3,3)(5,5,5,5)圖4.1圖4.2LSTM普通的神經(jīng)網(wǎng)絡(luò)只能處理單個沒有關(guān)聯(lián)的數(shù)據(jù)，當輸入是序列數(shù)據(jù)即輸入之間存在某種關(guān)聯(lián)時，可以用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN來處理，然而RNN存在兩個問題。首先，RNN在結(jié)構(gòu)上是共享了輸入的數(shù)據(jù)和權(quán)值，處在這個局面下很容易出現(xiàn)剃度爆炸和消失的問題(蔣安邦,謝詩雅,2023)；其次，當兩個有關(guān)聯(lián)的數(shù)據(jù)之間的距離較遠時，RNN無法很好地處理它們之間的關(guān)聯(lián)性。為了解決長距離的序列數(shù)據(jù)的處理問題，學(xué)者們提出了LSTM，主要通過激活函數(shù)來控制長距離序列中數(shù)據(jù)之間的關(guān)聯(lián)性的記憶和遺忘。LSTM的具體結(jié)構(gòu)如圖4.3所示。圖4.3識別過程圖卷積神經(jīng)網(wǎng)絡(luò)模型由于我們在對數(shù)據(jù)進行特征提取時考慮了時域、頻域和空間域特征，因此針對三種特征構(gòu)建的模型也略有不同(褚云濤,潘夢琪,2021)?？偟膩碚f，本論文構(gòu)建的圖卷積神經(jīng)網(wǎng)絡(luò)模型都是由4個模塊組成，結(jié)構(gòu)如圖4.4所示。圖4.4當輸入的結(jié)點特征采用第一種方法時，第一層的輸入通道輸入數(shù)據(jù)為32＊7680，這些數(shù)據(jù)進入到圖卷積層完成了特征提取，圖卷積層之后會加一個relu函數(shù)，relu函數(shù)有一個與它的功能相符合的別名(呂智強,魏欣怡,2020):線性修正單元，加入該函數(shù)使模型能夠更好地擬合數(shù)據(jù)，顯著提高模型訓(xùn)練中的梯度下降算法的運算速度。由于數(shù)據(jù)較少，容易發(fā)生過擬合，這時候需要添加一層dropout，將參數(shù)設(shè)置為0.3。為保障上述結(jié)論的可靠性，本論文從多個層面進行了深入的探討與核實。我們采用了多種渠道的高質(zhì)量數(shù)據(jù)，并通過嚴格的篩選與整理步驟，確保了數(shù)據(jù)的準確性與信賴度。這些數(shù)據(jù)涉及多種變量和影響因素，為研究的綜合分析提供了穩(wěn)固的基礎(chǔ)。在研究方法方面，本文運用了多種先進的統(tǒng)計與分析技術(shù)，旨在全面且公正地評估所研究的問題，從不同角度揭示數(shù)據(jù)所隱藏的規(guī)律和關(guān)系。通過綜合這些方法，我們得以更深入地理解所研究現(xiàn)象的本質(zhì)機理。這時的數(shù)據(jù)變成了32＊5000。之后是全局池化層，在此情景內(nèi)發(fā)生對上一層輸出的特征進行分類和篩選，在本論文中，池化的對象包括圖和結(jié)點(陶哲瀚,葉慧玲,2019)。經(jīng)過全局池化后，數(shù)據(jù)變?yōu)?＊5000。由于我們使用的是基于時間序列的結(jié)點特征，所以下一層使用LSTM來對信息進行運算。在這場景里最后經(jīng)過全連接層，變?yōu)橐粋€1＊1的預(yù)測值。當輸入另外兩種類型的特征時，只是參數(shù)有所不同。模型的訓(xùn)練過程由DEAP數(shù)據(jù)處理得到的圖結(jié)構(gòu)作為模型的輸入量，并設(shè)置好訓(xùn)練提前停止。本論文中，將前面提到三種結(jié)點特征，兩種邊特征兩兩搭配得到共六種組合，第一種組合針對四個維度訓(xùn)練出四種模型進行擬合(溫慶霖,曾若蘭,2022)。圖4.5-4.8所示為以時間序列的腦電信號作為結(jié)點特征，皮爾森相關(guān)系數(shù)作為邊特征時四個維度的loss和acc的變化情況。Loss,acc,epoch,batch-size圖4.5valence維度Loss,acc,epoch,batch-size圖4.6arousal維度圖4.7dominance維度圖4.8liking維度為了節(jié)省運算時間，其余的五種組合我們只訓(xùn)練valence維度上的神經(jīng)網(wǎng)絡(luò)模型。選取時間序列的腦電信號作為節(jié)點特征時，距離作為邊特征時，生成的準確率如圖4.9所示。圖4.9valenceacc2提取時間序列的腦電信號的統(tǒng)計特征作為節(jié)點特征時，在這類環(huán)境里探討距離作為邊特征時，生成的準確率圖像如圖4.10所示。圖4.10valenceacc3提取時間序列的腦電信號的統(tǒng)計特征作為節(jié)點特征時，皮爾遜系數(shù)作為邊特征時，生成的準確率圖像如圖4.11所示。圖4.11valenceacc4選取腦電頻域特征作為節(jié)點特征時，距離作為邊特征時，生成的準確率圖像如圖4.12所示。圖4.12valenceacc5選取腦電頻域特征作為節(jié)點特征時，皮爾遜系數(shù)作為邊特征時，生成的準確率圖像如圖4.13所示。圖4.13valenceacc6本章小結(jié)本章在理論知識部分首先歸納了目前存在的情緒識別方法，然后介紹了圖卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景和內(nèi)在的邏輯，其次概述了長短時記憶神經(jīng)網(wǎng)絡(luò)的意義。在實驗部分，先后闡述了圖卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)搭建和訓(xùn)練過程。結(jié)果與分析交叉驗證建模之前首先需要把DEAP的數(shù)據(jù)集進行劃分，訓(xùn)練集用來訓(xùn)練一個模型，所以要占最大的比重(薛宇峰,馬思敏,2021)。驗證集用來尋找模型的最優(yōu)配置參數(shù)，當模型的性能達到最優(yōu)時，需要一個全新的數(shù)據(jù)集去測試模型的性能是否可以達到預(yù)期效果，即測試集只在最終評價模型時出現(xiàn)。驗證集要使用很多次，在這種情況里展開用來調(diào)節(jié)超參數(shù)、監(jiān)督過擬合行為的發(fā)生，與模型最終的性能息息相關(guān)，而測試集只作為一個評估的工具，與模型的最終性能無關(guān)。如果把這三種數(shù)據(jù)集比作考試，訓(xùn)練集可以看成放學(xué)后的課后習(xí)題練習(xí)，驗證集可以看成每周的周考測試，測試集可以看成期末考試。交叉驗證的本質(zhì)目的就是提高模型的準確率。從中不難發(fā)現(xiàn)它主要的功能是把所有數(shù)據(jù)分成不同的數(shù)據(jù)組合，并對模型進行驗證。有著操作容易，且能有效的預(yù)防過擬合的優(yōu)點。過擬合的模型對于新添加的數(shù)據(jù)的適應(yīng)能力較差，不利于在全新的環(huán)境中使用。還可以提高對數(shù)據(jù)的利用率，從這些因素可以推測它通過多種不同的拆分方案，可以對數(shù)據(jù)更有效的利用。在分析干擾項與誤差來源的過程中，本文進行了詳盡而系統(tǒng)的研究。初步識別了可能對研究結(jié)果產(chǎn)生顯著影響的干擾因素，包括樣本偏差、數(shù)據(jù)誤差、遺漏變量以及時間延遲等。針對這些潛在干擾因素，本文進行了深入的探討，并嘗試通過理論推導(dǎo)與實證分析來量化其影響程度。為了控制樣本偏差，本文注重提升樣本的代表性和廣泛性，并通過專家咨詢來評估樣本選擇對結(jié)論可靠性的影響，力求全面考慮可能影響研究結(jié)果的各項因素。簡單交叉驗證就是最常見的方法(林梓浩,袁子琪,2021)。S-折交叉驗證是把數(shù)據(jù)分為相同大小的s份，每次都會隨機選擇一份來作為驗證集，其他的作為訓(xùn)練集。不斷重復(fù)上述過程，設(shè)置好停止條件得到效果最好的模型。留一交叉驗證法是第二種方法的特例，就是把數(shù)據(jù)分的份數(shù)最多，每份數(shù)據(jù)量最小的情況，即S=N。Bootstrapping是運用了概率學(xué)的知識，最終的數(shù)據(jù)集中可能有的數(shù)據(jù)會重復(fù)，有的數(shù)據(jù)會遺失。通過概率知識，大概會有36%的數(shù)據(jù)會缺失。雖然避免了過擬合，但是由于數(shù)據(jù)的缺失量過大，極少使用該方法。本論文中通過調(diào)用sklearn中的train_test_split()函數(shù)來實現(xiàn)簡單交叉驗證。評估指標本論文中使用分類問題的評估指標。對于分類問題，又可以劃分為單項和綜合的評估指標。由于評估指標要基于混淆矩陣來定義，所以我們先來了解一下混淆矩陣的概念?；煜仃嚦Ｓ糜诰葴y試，較為經(jīng)典的是“性別判斷”這問題，模型的輸出總共有以下四種情況(李博,王浩淼,2022):實際性別是男性，且模型預(yù)測結(jié)果是男性；根據(jù)現(xiàn)有背景實際性別是男性，且模型預(yù)測結(jié)果是女性；實際性別是女性，且模型預(yù)測出來是女性；實際性別是女性，且模型預(yù)測結(jié)果是男性。這四種情形分別表示為TP，F(xiàn)P，F(xiàn)N，TN。準確度的計算方法見下面的公式。這個指標雖然最為常用，但本身存在著漏洞。如果某一類樣本占比特別大，當我們將所有樣本的預(yù)測值采用統(tǒng)一結(jié)果，即將預(yù)測結(jié)果全部設(shè)為為占比大的那類樣本，那么準確率也會特別大，這種樣本失衡會導(dǎo)致準確率作廢(張偉明,陳靜嫻,2020)。 ACC=TP+TNTP+TN+FP+FN精確率表示的是所有預(yù)測為男性的結(jié)果中，實際為男性的樣本所占的比重。 P=TPTP+FP召回率表示實際為男性的樣本中預(yù)測結(jié)果也是男性的樣本所占的比重。 R=TPTP+FN本論文中采用準確度ACC作為模型的評估指標，對于分類問題的三個綜合評估指標此處不再贅述。實驗結(jié)果分析首先針對采用相同的結(jié)點特征和邊特征的四個維度的準確率進行對比，以時間序列的腦電信號為結(jié)點特征，處在這個局面下皮爾森相關(guān)系數(shù)為邊特征訓(xùn)練出來的網(wǎng)絡(luò)模型，喚醒度的準確率為75%，效價的準確率為83%，支配度的準確率為78%，喜愛度的準確率為72%，顯而易見，該模型在效價維度上的準確率最高(劉建平,楊柳青,2021)。之后對六種特征組合訓(xùn)練出的模型在同一維度即效價維度上的準確率的對比進行分析。表5.1為實驗結(jié)果。當結(jié)點特征為定值時，可以看出以皮爾森相關(guān)系數(shù)作為邊特征得到的情緒識別準確率更高，在此情景內(nèi)發(fā)生因此我們可以得出結(jié)論:兩通道之間的皮爾森相關(guān)系數(shù)比它們之間的距離更適合用來衡量兩通道的相關(guān)性(趙啟超,孫麗娜,2019)；當邊特征不變時，使用不同結(jié)點特征得到的識別準確率的關(guān)系是:時間序列的腦電特征<腦電的統(tǒng)計學(xué)特征<頻域特征，其中以頻域特征作為結(jié)點特征更容易獲得較高的準確率。總而言之，邊特征和結(jié)點特征的選取與基于EEG信號的情緒識別的準確率直接相關(guān)。節(jié)點特征邊特征時間序列統(tǒng)計學(xué)特征頻域特征距離73.23%76.45%92.53%皮爾森相關(guān)系數(shù)75.12%83.03%93.21%表5.15.4本章小結(jié)本章首先介紹了交叉驗證的含義以及交叉驗證的類型和優(yōu)缺點，而后選用了簡單交叉驗證來提高模型的準確率。其次說明了模型評估指標的選擇。最后對實驗結(jié)果進行了詳細的分析并得出了一些結(jié)論。

總結(jié)與展望總結(jié)本論文基于DEAP的數(shù)據(jù)完成了情緒識別的工作，并取得了較高的識別率。以下是本論文的工作總結(jié):圖卷積神經(jīng)網(wǎng)絡(luò)在情緒識別領(lǐng)域的普適性更強，而處理數(shù)據(jù)時LSTM在長序列中表現(xiàn)更好，因此本論文確定使用圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)合LSTM構(gòu)建情緒識別的模型。根據(jù)腦電信號的特點選取了時域、頻域和空間域三個維度的特征，其中使用傅里葉變換來進行時頻轉(zhuǎn)換。在這類環(huán)境里探討圖卷積神經(jīng)網(wǎng)絡(luò)模型的輸入必須是圖結(jié)構(gòu)，因此提取出原始數(shù)據(jù)中圖結(jié)構(gòu)的四個要素，并設(shè)計了不同的實施方法。搭建神經(jīng)網(wǎng)絡(luò)模型，然后設(shè)置好參數(shù)，將三種點特征，兩種邊特征兩兩搭配得到六種組合，得到組合一的四個維度的模型在loss和acc上的變化情況。之后的五個組合分別只訓(xùn)練效價維度上的模型，得到它們的準確率的變化圖像。采用簡單交叉驗證來提高模型的準確率，研究得到幾個結(jié)論:維度、結(jié)點特征和邊特征的選取都與識別的準確率直接相關(guān)，其中：四個維度中效價維度上識別準確率最高；兩種結(jié)點特征中選取皮爾森相關(guān)系數(shù)更容易獲得較高的識別準確率；對時域特征進行處理得到的特征比起原始特征可以得到更精確的結(jié)果，而頻域特征比時域特征的識別效果更好。展望雖然本論文以頻域特征為結(jié)點特征，皮爾森相關(guān)系數(shù)為邊特征識別情緒的準確率達到了90%以上，但是整個實施流程并不是最優(yōu)的方案。還可以改進的地方有:在處理長序列數(shù)據(jù)的網(wǎng)絡(luò)的選取上，我們可以考慮用GRU代替LSTM，GRU是最近幾年提出的循環(huán)神經(jīng)網(wǎng)絡(luò)的一個變種，它不僅兼容了LSTM的優(yōu)點，還比LSTM的參數(shù)更少，執(zhí)行效率更高。在特征提取上，可以嘗試采用微分熵作為頻域特征或許能得到更高的準確率。參考文獻方瑤瑤,蔡俊杰等.基于灰色關(guān)聯(lián)法的生理信號與情緒關(guān)聯(lián)度研究[J].計算機工程與應(yīng)用,2022,57(11):168-172.杜浩宇,田靈兒等.基于3D分層卷積融合的多模態(tài)生理信號情緒識別[J].智能科學(xué)與技術(shù)學(xué)報,2023,3(01):76-84.林梓浩,袁子琪.基于心電和脈搏信號的情緒