基于深度學(xué)習的運動想象腦機接口研究綜述

腦機接口（Brain-ComputerInterface，BCI）技術(shù)是一種能在人腦意識行為和外部設(shè)備之間建立起不依賴于人體肌肉組織和神經(jīng)組織的直接交互的通道。作為一種新型的人機交互技術(shù)，腦機接口是當前神經(jīng)工程領(lǐng)域最活躍的研究方向之一，在生物醫(yī)學(xué)、神經(jīng)康復(fù)和智能機器人等領(lǐng)域具有重要的研究意義和巨大的應(yīng)用潛力。運動想象（MotorImagery，MI）是BCI研究領(lǐng)域常見的任務(wù)模式之一，在不同的運動想象狀態(tài)下，大腦皮層相關(guān)的區(qū)域產(chǎn)生與任務(wù)相關(guān)的腦電活動振蕩回應(yīng)。基于腦電（Electroencephalogram，EEG）的運動想象腦機接口（MI-BCI）系統(tǒng)將采集到的某一具體的人腦意識任務(wù)信號進行處理和分析，并將模式識別結(jié)果轉(zhuǎn)化為相應(yīng)的指令來控制外部設(shè)備，被廣泛應(yīng)用于康復(fù)醫(yī)學(xué)應(yīng)用，如人工假肢的神經(jīng)控制。MI-BCI的出現(xiàn)為解決高度殘疾患者提高與環(huán)境的交互能力這一問題提供了新的解決方向，即將患者的意圖腦信號轉(zhuǎn)換為外部肢體的運動。腦機接口技術(shù)的應(yīng)用依賴于可以對腦電信號進行準確分類以及系統(tǒng)的魯棒性。BCI系統(tǒng)常用的腦電信號特征提取方法（時域特征提取、頻域特征提取、空域特征提?。o法從高維腦電數(shù)據(jù)中提取出更有效的腦電特征，而深度學(xué)習（DeepLearning，DL）的自動學(xué)習高維數(shù)據(jù)選擇特征的特點解決了這一問題，且能夠在很大程度上緩解傳統(tǒng)的手工選擇特征的問題。通過深度學(xué)習強大的分析能力，可以實現(xiàn)對腦電信號的有效表征，為準確識別不同的大腦狀態(tài)提供了方向。提取腦電信號準確有效的特征，難點在于腦電信號是一種隨機性強、背景噪聲強、非平穩(wěn)的信號，且不同被試者間存在較大的個體差異，這些都使腦電信號分析面臨著較大的挑戰(zhàn)。選擇合適的深度學(xué)習模型進行腦電信號分析，不僅是為了提高分類精度，也是為了解決在跨范式、跨被試、跨試驗情況下系統(tǒng)仍具有良好的魯棒性等問題。為選擇合適的深度學(xué)習模型，本文首先討論了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionNeuralNetwork，CNN）、深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）和遞歸神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）等深度學(xué)習模型，以及在通用架構(gòu)上改進的適用于腦電信號的深度學(xué)習模型變體，還討論了深度學(xué)習模型和其他腦電特征提取方法結(jié)合的混合模型，最后討論了深度學(xué)習模型之間的融合。1基于卷積神經(jīng)網(wǎng)絡(luò)的運動想象腦電識別方法1.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最早由紐約大學(xué)1998年提出，其本質(zhì)是一個多層感知機，主要思想是局部感知（localfield）、權(quán)值共享（sharedweights）和下采樣（subsampling），主要用于圖像與一維時序信號的自動特征提取和分類，其在計算機視覺和語音識別領(lǐng)域中的使用已經(jīng)非常廣泛。使用CNN進行深度學(xué)習是生物醫(yī)學(xué)信號領(lǐng)域新的研究熱點，而且在EEG數(shù)據(jù)分析方面表現(xiàn)非常出色。CNN是一種多層前饋神經(jīng)網(wǎng)絡(luò)，其典型結(jié)構(gòu)如圖1所示，主要由卷積層、激勵層、池化層和全連接層4種結(jié)構(gòu)組成。圖1CNN典型結(jié)構(gòu)1.2EEGNet模型1.2.1EEGNet模型的架構(gòu)Lawhern等人提出的EEGNet，是一種用于基于EEG的BCI的緊湊型的深層卷積神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練數(shù)據(jù)有限的情況下，EEGNet具有更強的泛化能力和更高的性能，可以有效地推廣到事件相關(guān)電位（EventRelatedPotential，ERP）和基于振蕩的BCI。此外，EEGNet能提取出神經(jīng)生理學(xué)上可以解釋的特征。如圖2所示，EEGNet模型的架構(gòu)包括兩個卷積塊和一個分類塊。第1個卷積塊包含了一層常規(guī)的二維卷積和一層深度卷積（DepthwiseConvolution，DC），第2個卷積塊使用了深度可分離卷積（DepthwiseSeparableConvolution，DSC），分類塊直接使用Softmax進行分類。并且在每一個卷積操作后都使用了BN操作，每一個卷積塊中都添加了dropout，激活函數(shù)選擇了Linear函數(shù)和指數(shù)線性單元（ExponentialLinearUnit，ELU）函數(shù)。圖2中，參數(shù)C為原始腦電信號的通道數(shù)，T是每個trail的采樣點數(shù)，是時間濾波器的個數(shù)，D是空間濾波器的個數(shù)，是點濾波器的個數(shù)，N是類別數(shù)。在Dropout層，對于同一被試數(shù)據(jù)，分類任務(wù)以概率p=0.5隨機斷開一部分神經(jīng)元的連接，對于不同被試數(shù)據(jù)，分類任務(wù)則以概率p=0.25隨機斷開一部分神經(jīng)元的連接。圖2EEGNet模型架構(gòu)1.2.2深度可分離卷積深度可分離卷積是輕量級神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)，其主要功能是在保證網(wǎng)絡(luò)非線性和充分利用特征信息的同時，壓縮網(wǎng)絡(luò)結(jié)構(gòu)，大大減少了模型的參數(shù)和計算量。深度可分離卷積結(jié)構(gòu)上包含一個深度卷積層和一個點卷積層（pointwiseconvolutionlayer），其主要原理是先使用深度卷積對上層輸出的特征圖的空間信息進行融合，然后使用點卷積對特征圖的通道信息進行融合。深度卷積是一個逐通道卷積的操作，具體實現(xiàn)是先將來自上一層輸出的N通道特征圖（featuremap）拆分為N個單個通道的特征圖，再分別對它們進行單通道卷積，最后重新堆疊到一起。因為一個卷積核負責一個通道，一個通道只被一個卷積核卷積，所以深度卷積層的卷積核數(shù)量是上一層輸出的通道數(shù)。點卷積是一個逐點卷積的卷積操作，對來自深度卷積層的特征圖進行卷積，點卷積與常規(guī)的卷積操作很類似，只是點卷積的卷積核的大小固定為（1，1）。因此，點卷積彌補了深度卷積沒有有效利用不同通道在相同空間位置上的特征信息的不足。1.2.3EEGNet模型的優(yōu)點EEGNet模型的優(yōu)點是使用了激活函數(shù)ELU，以及架構(gòu)上選擇了深度可分離卷積。ELU函數(shù)融合了sigmoid函數(shù)和ReLU函數(shù)，右側(cè)的線性部分無飽和性，能夠緩解梯度消失問題，左側(cè)具有軟飽和性能，對輸入變化或者噪聲更魯棒。由于EEG信號是一種背景噪聲和隨機性很強的非平穩(wěn)信號，因此ELU函數(shù)抗噪聲能力強的特點很適合用來處理EEG數(shù)據(jù)。架構(gòu)上選用深度可分離卷積能夠減少網(wǎng)絡(luò)參數(shù)和計算量，使得模型能夠更快收斂。1.3基于圖譜的卷積神經(jīng)網(wǎng)絡(luò)1.3.1小波變換的特點一般的信號處理方法如傅里葉變換在處理平穩(wěn)信號、理想信號時表現(xiàn)比較優(yōu)秀，但對于不平穩(wěn)、隨機性強的腦電信號來說并不適用。同時注意到，如果使用一個窗函數(shù)將不平穩(wěn)信號切割成比較小的信號片段，就能將這些短時信號片段看成平穩(wěn)信號，就可以使用傅里葉變換對其進行分析，這種方式就是短時傅里葉變換（Short-TimeFourierTransform，STFT）。然而其窗口的大小和形狀是固定的，不具有自適應(yīng)性，因此在實際問題的應(yīng)用中，無法很好地兼顧高頻譜信息。在這樣的背景下，引入了小波變換（WaveletTransform，WT）。小波變換也是常用的時頻分析方法，可以通過對小波基函數(shù)的伸縮和平移對原始信號進行多尺度分解。本文將尺度理解為時間窗口，較大的尺度因子對應(yīng)著寬小波，頻帶較低，此時能得到原信號中的低頻成分信息。因此對不同頻譜的信號都能進行比較全面的細化分析，具有多分辨率分析的優(yōu)點。小波變換像是一個數(shù)學(xué)顯微鏡，能夠放大局部信號的細節(jié)部分，這一優(yōu)點是對短時傅里葉變換的局部化思想的繼承和發(fā)展，同時又克服了短時傅里葉變換窗口大小不具有自適應(yīng)性等缺點。1.3.2小波時頻圖提出了使用連續(xù)小波變換（Continuous

WaveletTransform，CWT）提取腦電信號時頻特征，并將生成的小波時頻圖作為一維CNN的輸入。結(jié)果表明，與傳統(tǒng)的基于機器學(xué)習的分類方法相比，該模型具有更好的分類準確率。小波變換主要包括CWT和離散小波變換（DiscreteWaveletTransformation，DWT）。這里討論的是連續(xù)小波變換。連續(xù)小波變換將信號從時域轉(zhuǎn)換為時頻域進行分析。它的優(yōu)點是能夠?qū)π〔ɑ瘮?shù)的尺度因子和位置參數(shù)進行調(diào)節(jié)，使小波變換能夠在短時間內(nèi)適用于信號分析。Morlet小波變換是連續(xù)小波變換的一種，其基本思想是：將連續(xù)的時間信號和Morlet小波進行卷積，從而獲得隨時間變化的時頻能量分布。使用多尺度小波分解對原始腦電信號進行分解，不同運動想象任務(wù)下小波能量具有顯著差異，因此可以推斷在不同任務(wù)的運動想象狀態(tài)下，由小波變換得到的小波時頻圖能提取出有效特征。這種方法將EEG信號從一維時間序列轉(zhuǎn)換為二維圖像來處理，通過對原始腦電信號進行連續(xù)小波變換得到的時頻圖作為CNN的輸入，得到任務(wù)分類結(jié)果?；谛〔〞r頻圖譜的卷積神經(jīng)網(wǎng)絡(luò)對運動想象腦電信號進行分類處理的方法屬于比較傳統(tǒng)的做法。1.3.3腦地形圖作為CNN的輸入眾所周知，和傳統(tǒng)的機器學(xué)習算法相比，深度學(xué)習表現(xiàn)出更強的數(shù)據(jù)依賴性，在樣本量增加的時候，使用深度學(xué)習進行腦電信號分類可以得到更好的分類性能。由于使用小波變換一次試驗只產(chǎn)生一個小波時頻圖，樣本量較少，因此CNN分類精度無法得到很大的提高。在2020年提出的將一維腦電信號的時間序列轉(zhuǎn)換為二維腦電地形圖，每次試驗選取兩秒的時間窗，每一個采樣點產(chǎn)生一個地形圖，每次試驗?zāi)墚a(chǎn)生2×采樣率個地形圖，大大擴充了樣本量，同時也可以讓CNN從空間和時間兩個維度學(xué)習到不同運動想象任務(wù)的細微特征，因此可能得到更好的分類精度。1.4基于遷移學(xué)習的VGG網(wǎng)絡(luò)1.4.1遷移學(xué)習BCI在線系統(tǒng)通常需要在被試者使用系統(tǒng)前采集大量該被試者的腦電數(shù)據(jù)，從而對分類模型進行離線訓(xùn)練。并且需要讓訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在相同的特征空間中，服從相同的統(tǒng)計分布。然而采集被試者大量的數(shù)據(jù)比較困難，不同被試者的腦電數(shù)據(jù)之間存在較大的差異，直接使用其他被試者的腦電數(shù)據(jù)訓(xùn)練分類模型對系統(tǒng)的魯棒性要求比較大。因此，為了克服腦電數(shù)據(jù)樣本量缺乏導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不足的缺點，以及針對被試者個體間存在較大差異這一特點，提出的另一個方法是在深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入遷移學(xué)習。遷移學(xué)習將在相關(guān)領(lǐng)域?qū)W習到的特征應(yīng)用到當前領(lǐng)域的任務(wù)上來，使得模型在目標域中沒有大量腦電數(shù)據(jù)的情況下，通過在相似域中學(xué)習到的先驗知識也能對目標任務(wù)進行學(xué)習。遷移學(xué)習是一種深度學(xué)習技術(shù)，基于卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習用于快速準確地訓(xùn)練一個CNN，且CNN網(wǎng)絡(luò)參數(shù)不從0開始初始化，而是把在其他被試者的腦電數(shù)據(jù)集上訓(xùn)練好的模型參數(shù)遷移到該被試者的CNN模型并作為該模型的參數(shù)初始值。1.4.2VGGNetVGGNet是卷積神經(jīng)網(wǎng)絡(luò)中具有優(yōu)良分類性能的網(wǎng)絡(luò)模型。其特點是全部使用3×3的小卷積核和2×2的池化核來進行架構(gòu)，每層卷積層包含2～4個卷積操作，其網(wǎng)絡(luò)深度一般為11～19層，比較常用的是VGGNet-16（包含16層）和VGGNet-19（包含19層）。將多個小卷積核堆疊形成的一個卷積層代替只包含一個大卷積核的卷積層，可以增加空間感受野、減少參數(shù)并且增加非線性映射次數(shù)，增強了模型對數(shù)據(jù)的擬合能力。VGGNet不僅對大規(guī)模數(shù)據(jù)集有良好的分類效果，對小數(shù)據(jù)集也有良好的擴展能力。遷移學(xué)習應(yīng)用到腦電分析領(lǐng)域，將預(yù)先訓(xùn)練好的深度學(xué)習網(wǎng)絡(luò)進行微調(diào)，讓它對新任務(wù)進行學(xué)習，需要通過以下幾個步驟實現(xiàn)：（1）由于VGGNet的輸入要求是224×224的RGB圖像，所以需要先把腦電信號從一維的時間序列轉(zhuǎn)換為224×224的二維圖片，實現(xiàn)方法可以參考本文1.3節(jié)。（2）選擇一個預(yù)先訓(xùn)練好的VGG網(wǎng)絡(luò)。（3）使用新數(shù)據(jù)集訓(xùn)練好的網(wǎng)絡(luò)層替換原來訓(xùn)練好的VGGNet的最后面幾層，并指定輸出層的分類數(shù)。（4）選擇合適的優(yōu)化器、初始學(xué)習率和batchsize等一些訓(xùn)練參數(shù)并訓(xùn)練模型。提出了另一種方法，使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)直接從指定層中提取圖像特征，并使用SVM分類器對特征進行分類，也得到了比較好的準確率。２基于深度信念網(wǎng)絡(luò)的運動想象腦電識別方法2.1深度信念網(wǎng)絡(luò)2.1.1深度信念網(wǎng)絡(luò)概述深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）和簡單神經(jīng)網(wǎng)絡(luò)架構(gòu)上相似，但因其能對網(wǎng)絡(luò)輸入和輸出之間復(fù)雜的非線性關(guān)系進行靈活、高階的建模而備受關(guān)注。DNN也存在一些問題，當神經(jīng)網(wǎng)絡(luò)的層數(shù)增加時，模型參數(shù)迅速增長，帶來了模型訓(xùn)練時間長、反向傳播過程容易出現(xiàn)梯度消失且需要大量訓(xùn)練樣本等一些缺點。為了解決深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，2006年提出了DBN，其通過逐層訓(xùn)練的方式解決了深層網(wǎng)絡(luò)的上述問題。DBN的優(yōu)勢在于通過無監(jiān)督逐層訓(xùn)練的預(yù)訓(xùn)練方法，可以在不需要帶標簽數(shù)據(jù)的情況下生成模型權(quán)重，且逐層訓(xùn)練的方式大大減少了計算量。預(yù)訓(xùn)練結(jié)束后對帶標簽的數(shù)據(jù)使用BP算法可以對模型的性能進行調(diào)優(yōu)，這在沒有大量標簽數(shù)據(jù)的情況下非常有效。2.1.2限制玻爾茲曼機DBN是由多個限制玻爾茲曼機（Restricted

BoltzmannMachines，RBM）組成的，從底層到頂層逐層訓(xùn)練。RBM具體分為兩個層次，分別是可視層和隱藏層，其中可視層用于接收輸入的訓(xùn)練數(shù)據(jù)，隱藏層用于提取特征，且具有層內(nèi)無連接、層間進行全連接的特點。具體的逐層訓(xùn)練過程：（1）最底層的RBM接收輸入層的原始訓(xùn)練數(shù)據(jù)，經(jīng)過訓(xùn)練提取特征；（2）前一層RBM提取到的特征作為下一層RBM的輸入繼續(xù)訓(xùn)練。于是將DBN復(fù)雜的訓(xùn)練過程簡化成對多個RBM進行訓(xùn)練。2.2基于微分熵的DBN熵是熱力學(xué)中表征物理狀態(tài)的度量之一，其物理意義是表示體系的混亂程度。在信息論中，信息熵表示了信號的不確定性程度，是系統(tǒng)內(nèi)信息含量的量化指標。對于腦電信號這類隨機性、不確定性強的信號而言，信號的具體取值具有很大的不確定性，因此信息熵可以作為腦電信號所攜帶信息量的度量。微分熵是一種連續(xù)隨機變量的熵，用來度量連續(xù)隨機變量的復(fù)雜度。對于一定長度的腦電信號序列，它在某一頻段的微分熵等價于它在該頻段的能量譜的對數(shù)值，而取對數(shù)可以在一定程度上平衡高、低頻帶能量特征值之間懸殊的差距，因此使用微分熵特征作為DBN的輸入比傅里葉變換直接得到的能量譜特征更能降低由于能量懸殊的差距給后續(xù)計算帶來的誤差。2.3基于小波包分析的DBN小波包分解（WaveletPacketDecomposition，WPD）是在WT的基礎(chǔ)上發(fā)展起來的，它克服了WT在高頻段頻率分辨率較差、低頻段時間分辨率較差的問題，可以對中、高頻信號進行更好的時頻局部化的分析，是一種更精細的時頻分析方法。同時，WPD繼承了WT的優(yōu)點，可以根據(jù)被分析信號的特點，自適應(yīng)選擇合適的頻帶與被分析信號相匹配，提高信號的分析能力。小波包分析方法利用多次迭代對原信號進行多尺度的小波包分解，再對小波包子空間的高頻和低頻信息同時進行分解。選取合適的小波基函數(shù)和尺度因子是能夠提取到有效腦電特征的保障，且往往需要在實驗中不斷進行調(diào)整。小波包分析方法可以以小波系數(shù)的對數(shù)值、均值、方差值等作為特征，也可以提取多尺度的空間能量特征將其作為DBN的輸入。提出了一種頻域深度信念網(wǎng)絡(luò)（FrequentialDBN，F(xiàn)DBN）用于對MI任務(wù)進行分類。該模型首先使用快速傅里葉變換（FastFourierTransform，F(xiàn)FT）和WPD提取EEG信號的頻域特征，并將這些特征作為DBN的輸入去訓(xùn)練DBN網(wǎng)絡(luò)。結(jié)果表明，F(xiàn)DBN的性能得到了顯著提升，并且對同一被試者跨會話的MI-EEG信號分類具有比較好的效果。３基于循環(huán)神經(jīng)網(wǎng)絡(luò)的運動想象腦電識別方法3.1循環(huán)神經(jīng)網(wǎng)絡(luò)3.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，都是從輸入層經(jīng)過隱藏層，然后再到輸出層，層間的節(jié)點是沒有連接的，也不會保存任何狀態(tài)信息。而循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種特殊的神經(jīng)網(wǎng)絡(luò)，其核心部分是循環(huán)單元進行鏈式連接，對每一次輸出信息都進行記憶并且作用于下一次輸出的計算中，隱藏層之間的節(jié)點建立起了連接，給定了當前輸入的上下文環(huán)境，對于處理時間序列問題有比較好的效果。因此，將RNN應(yīng)用到腦電分析識別任務(wù)中。RNN可以在預(yù)處理階段增強EEG信號，從而提高BCI性能，且RNN不會對混合在待濾波信號中的噪聲性質(zhì)做任何假設(shè)，因此十分適合處理EEG信號這樣的混合著未知特性噪聲的信號。RNN的輸入可以是原始的腦電信號，也可以是提取的腦電特征。3.1.2長短時記憶神經(jīng)網(wǎng)絡(luò)1991年，提出了RNN有長期依賴的問題，在對長序列進行學(xué)習時，RNN會出現(xiàn)梯度消失和梯度爆炸現(xiàn)象。為解決這一問題，提出了一個結(jié)合基于梯度的學(xué)習算法的新型循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，即長短時記憶（LongShortTermMemory，LSTM）神經(jīng)網(wǎng)絡(luò)，其特點是在標準RNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了一個由sigmoid層和點積操作構(gòu)成的門單元（遺忘門、輸入門、輸出門）。實現(xiàn)LSTM需要經(jīng)過4步：（1）通過遺忘門將當前輸入和前層輸出信息中選擇性丟棄一些信息；（2）通過輸入門的sigmoid層決定哪些是需要更新的信息，tanh層生成需要更新的內(nèi)容；（3）更新細胞狀態(tài)；（4）通過輸出門輸出基于細胞狀態(tài)過濾后的部分。LSTM通過控制上層輸出和當前輸入的記憶和遺忘程度選擇性存儲信息，因此能實現(xiàn)長時記憶的效果。使用多層感知機（MultilayerPerceptron，MLP）和LSTM模型對手腳運動想象任務(wù)的數(shù)據(jù)進行分類，結(jié)果表明LSTM具有更好的性能。Wang等人提出使用一維聚合近似（1d-AX）提取的MI腦電特征作為LSTM網(wǎng)絡(luò)的輸入的AX-LSTM模型具有較好的分類性能。3.2BLSTM1997年，提出了具有深度結(jié)構(gòu)的雙向遞歸神經(jīng)網(wǎng)絡(luò)（BidirectionalRNN，BRNN），它可以在兩個時間方向上訓(xùn)練網(wǎng)絡(luò)并且同時最小化兩個時間方向上的目標函數(shù)，真正意義上給出了當前輸入的上下文環(huán)境。雙向和門單元的特點大大提高了RNN的學(xué)習能力。在此基礎(chǔ)上，2005年提出了雙向長短時記憶（BidirectionaLSTM，BLSTM）網(wǎng)絡(luò)，即把具有門機制的LSTM和雙向遞歸的BRNN結(jié)合起來，從而能夠獲得長時的上下文信息，更有利于RNN網(wǎng)絡(luò)的學(xué)習。BLSTM把從兩個時間方向處理信號得到的特征向量組合起來用于識別EEG信號狀態(tài)的特征，這樣的結(jié)構(gòu)能夠使在線系統(tǒng)更加準確地捕捉到運動想象事件發(fā)生的起點和終點，有利于連續(xù)腦電信號的識別與分析。使用BLSTM對左右手運動想象任務(wù)進行分類并取得了不錯的效果。使用標準LSTM和BLSTM的并行網(wǎng)絡(luò)來學(xué)習EEG信號的時空信息，充分利用了有限的數(shù)據(jù)并且在試驗之間具有更好的泛化能力。3.3基于共空間模式的LSTM基于空間濾波的深度學(xué)習是通過空間濾波提取EEG通道間的差異性作為神經(jīng)網(wǎng)絡(luò)的輸入。最常見的應(yīng)用于MI任務(wù)的空間濾波方式是共空間模式（CommonSpatialPattern，CSP）。提出了一種結(jié)合CSP和LSTM網(wǎng)絡(luò)對MI任務(wù)進行分類的模型，該模型的主要工作流程是通過滑動窗口從空間濾波后的數(shù)據(jù)中獲取時間序列，并將其作為LSTM網(wǎng)絡(luò)的輸入。由于腦電信號中常常存在一些與任務(wù)無關(guān)的噪聲和其他非任務(wù)相關(guān)活動（比如眼電、肌電信號等），這些信號對MI任務(wù)的精確分類造成了比較大的影響，而該模型證明了對含非任務(wù)相關(guān)活動的不同MI任務(wù)進行實時分類的有效性。CSP是一種監(jiān)督學(xué)習方法，訓(xùn)練樣本是兩組含標簽的腦電數(shù)據(jù)。CSP的目標是通過適當?shù)木仃囎儞Q，將高維的腦電信號轉(zhuǎn)換到低維子空間，得到的一個最優(yōu)矩陣可以最大化兩類數(shù)據(jù)的方差。具體實現(xiàn)步驟是通過對每組訓(xùn)練數(shù)據(jù)求平均協(xié)方差矩陣，然后對公共協(xié)方差矩陣進行主成分分解、白化等操作，將生成的白化矩陣作用于兩類訓(xùn)練數(shù)據(jù)的平均協(xié)方差矩陣，使得兩類訓(xùn)練數(shù)據(jù)方差最大化，此時兩組腦電信號具備了區(qū)分的特征。再通過主成分分解等操作得到公共特征矩陣W，利用矩陣W得到投影矩陣。最后將投影矩陣作用到原始腦電信號上，得到腦電特征數(shù)據(jù)。測試數(shù)據(jù)通過公共空間濾波器能夠?qū)崿F(xiàn)兩類數(shù)據(jù)的協(xié)方差最大化，即一類方差最大，一類方差最小，得到的特征向量增強了兩類數(shù)據(jù)的差別。采用近似聯(lián)合對角化（Joint

ApproximateDiagonalization，JAD）方法可以將兩類CSP方法推廣到多類CSP方法。４混合型網(wǎng)絡(luò)單一的深度學(xué)習模型不能滿足對EEG信號進行全面分析的要求，除了其他方法和深度學(xué)習結(jié)合，這三大深度學(xué)習算法之間也進行一定程度的結(jié)合，從而更好地進行EEG信號的分析。在MI的分類識別任務(wù)中，CNN和RNN是實際應(yīng)用中采用最多的深度網(wǎng)絡(luò)