輪椅腦控算法研究與實驗驗證

1、輪椅腦控算法研究與實驗驗證摘要：文章介紹了一種基于BCI實現(xiàn)輪椅運動控制的新型控制方法，研究了一種便攜化的腦機接口范式，搭建了適用于普通 輪椅的便攜化腦機輪椅控制系統(tǒng);系統(tǒng)根據(jù)腦電信號的自身特點，選用Emotiv公司的EPOC無線便攜式腦電儀采集腦電電波信 號，由單片機控制，實現(xiàn)腦電電波數(shù)據(jù)的處理，由集成兩個無刷電機的制動器執(zhí)行命令，選用ZD6716V3作為無刷電機的控制 器，且每個電機中，都有一個霍爾傳感器，提供來自電機的速度反饋信號，以精確獲取每個電機的速度參數(shù)，并將電機集成在輪 椅后輪上，實現(xiàn)輪椅速度和方向的控制；此外，進行了基于腦電識別率的控制方式實驗、基于小車的腦控實驗以及基于輪椅的

2、腦 控實驗；實驗結(jié)果表明腦電信號的準(zhǔn)確率可以達到83%，滿足實際使用需求關(guān)鍵詞：腦機控制；腦電波；腦機接口；運動控制Research and Experimental Verification of WheelchairBrain Control AlgorithmAbstract： This paper introduces a new control method for wheelchair motion control based on BCI, studies a portable brain computer interface paradigm, and builds a por

3、table braincomputer wheelchair control system for common wheelchairs. The system controlled by singlechip microcomputer, accordng to the characteristics of EEG (electro encephalography sgnals，the selection of Emot i v company EPOC wi reless portable electrical brai n all acquisition radio s i gnals，

4、use Ardui noUNO board as the m i croprocessor， realize the EEG data processng，the integration of two brushless motor brake execute commands，adoptng ZD6716V3 brushless motor controller，and each of the motor，there is a hall sensor，provdde feedback sgnals from the speed of the motor，to know exactly the

5、 speed of each motor，then the two motor ntegrated in a wheelchair on the rear wheels，realize the wheelchair control speed and di7 rection In addition, experimental research has been carried out， including the control mode exper iment based on EEG recognition rate，the bran control exper ment based on

6、 dolly and the bran control exper ment based on wheelchar.The exper mental results show that the accuracy of EEG can reach 83 %，which can meet the practcal needs,Keywords: brain machne control； brain waves； BCI； motion controlA引言重度運動疾病如偏癱、神經(jīng)受損、脊柱損傷等會把人 置于非常復(fù)雜的情況下，限制他們的活動，從影響下肢肌 肉的肌肉萎縮到無法移動(1)%為了移動，這

7、些人不得不使 用輪椅。但是，由于殘疾者不能自主移動身體部位，導(dǎo)致 其難以正常使用普通的輪椅為了控制輪椅，一些解決方 案已經(jīng)被開發(fā)出來，比如用下巴或眼睛控制開關(guān)。但對于 有移動困難的人來說，這種設(shè)備是不可能使用的。隨著技 術(shù)的不斷完善和新器件的不斷出現(xiàn)，面向殘疾人的基于腦 信號實現(xiàn)輪椅運動控制方法將趨于現(xiàn)實%腦機接 口技術(shù)(BCI, brain computer interface)，也稱 作“大腦端口(direct neural interface)-或者“腦機融合感 知(brain machine interface)”，是近年來生物醫(yī)學(xué)工程 專業(yè)重要的研究領(lǐng)域它利用從大腦中提取特定的生物電

8、 信號，依據(jù)現(xiàn)有的認(rèn)知神經(jīng)科學(xué)理論，進行有效地解碼， 從而建立起人或動物腦(或者腦細胞的培養(yǎng)物)與外部系 統(tǒng)的直接連接通路，實現(xiàn)控制與操縱外部儀器或設(shè)備動作 的目的近年來在這一領(lǐng)域進行了許多研究，但是研究卻僅僅 集中在大腦控制界面(BCI)的純性能上，且研究都是在實 驗室中實現(xiàn)的，沒有考慮到殘疾人的實際使用需求，用戶 友好性、價格和適應(yīng)性不足如，使用時需頭部涂滿導(dǎo) 電凝膠，且需要戴著沉重的醫(yī)用腦電圖頭盔，設(shè)備價格也 太昂貴，幾乎沒有殘疾人能夠負擔(dān)得起該設(shè)備為此，文章在重點考慮重裝置的用戶友好性、價格和適 應(yīng)性的基礎(chǔ)上，研究開發(fā)出了一種用于輪椅控制的便攜式腦 機人機交互模式，提出了一種便攜化的腦

9、機接口范式，搭 建了一種適用于腦控輪椅的便攜化腦機接口裝置：選用了目 前常用的非侵入性方法，采集腦電圖信號，搭建了腦控技術(shù) 的實時控制系統(tǒng)，研究了相應(yīng)的控制策略，進行了腦控輪椅 的算法開發(fā)，同時還構(gòu)建了電機的自適應(yīng)協(xié)調(diào)控制系統(tǒng),并 針對Emotiv與腦電信號自身特點，提出了 3種不同控制方 式：基于實時腦電信號與表情的控制范式、基于陀螺儀加速 度計的控制范式，以及單獨基于表情的控制范式，并分別進 行了基于腦電識別率的控制方式實驗、基于小車的腦控實驗 以及基于輪椅的腦控實驗。實驗結(jié)果表明，本文所設(shè)計的控 制系統(tǒng)，可以很好的實現(xiàn)不同的運動控制，腦電信號的準(zhǔn)確 率可以達到85%，滿足使用要求。1系統(tǒng)

10、結(jié)構(gòu)原理系統(tǒng)依據(jù)使用者的表情動作，可實現(xiàn)輪椅的運動速度 及方向的控制&整個系統(tǒng)由單片機控制，選用Emotiv公司 的EPOC無線便攜式腦電儀采集腦電電波信號,采用Ar- duinoUNO板作為微處理器,實現(xiàn)腦電圖數(shù)據(jù)處理,采用集 成兩個無刷電機的制動器，執(zhí)行命令，無刷電機的控制器 采用ZD6716V3,且每個電機中,都有一個霍爾傳感器,提 供來自電機的速度信號反饋，以確切地知道每個電機的速 度，再將這兩個電機集成在輪椅后輪上，實現(xiàn)電機速度和 方向的控制，而輪椅則采用一般普通輪椅，只需在右邊扶 手上安裝一個操作桿& BCW系統(tǒng)原理如圖1所示&圖1系統(tǒng)工作原理圖其中，腦機接口(BCI, brain

11、 computer interface)是腦 控系統(tǒng)BCW的核心部分,這部分負責(zé)從使用者的腦電圖中 獲取輪椅的指令，它是大腦與計算機之間的一種直接連接 系統(tǒng)，允許個體與周圍的神經(jīng)和肌肉進行通信&系統(tǒng)工作時,首先,EPOC腦電信號采集設(shè)備記錄用 戶的腦電波，在記錄了原始腦電波后，將其傳動給裝有微 處理器ArduinoUNO的PC機處理,然后給出移動速度及方 向或停止的指令，并發(fā)送指令到輪椅上，通過電機及控制 器實現(xiàn)輪椅的準(zhǔn)確移動&此外，由于這種輪椅專為10。公 斤以上的人設(shè)計，需要大量的電力才能移動&為了提供這 種電力，系統(tǒng)還配備了穩(wěn)壓電源，實現(xiàn)穩(wěn)定的電力供應(yīng)2輪椅腦控系統(tǒng)軟件設(shè)計軟件部分由兩種

12、不同的應(yīng)用程序組成：一種帶有EEG 耳機的用于過濾、放大和解密EEG原始信號的公司軟件& 對用戶的腦電圖解密后，將結(jié)果傳遞給下一個項目開發(fā) Visual Studio,驅(qū)動輪椅執(zhí)行相應(yīng)的命令&用戶的腦電圖由腦電圖頭盔記錄，原始信號由腦電圖 頭盔提供的軟件過濾放大，然后專用軟件對腦電圖信號進 行模式識別，提取用戶的動作思想，對用戶的腦電圖解密 后，結(jié)果將通過API發(fā)送到系統(tǒng)軟件，所開發(fā)的軟件根據(jù) 解密后的腦電圖采集相應(yīng)的指令,然后命令通過Arduino 發(fā)送到輪椅，實現(xiàn)輪椅的運動控制&1腦電信號采集EPOC收集的數(shù)據(jù)通過加密通道傳輸&在專有軟件調(diào) 用EmoEngine后,提供EPOC處理和解密原

13、始腦電圖數(shù)據(jù)& EmoEngine還提供EPOC的電池級別、每個電極的接觸質(zhì) 量、無線信號的質(zhì)量、兩軸陀螺數(shù)據(jù)&對于EmoEngne的 研究版本，也可以將原始的腦電圖數(shù)據(jù)可視化并記錄下來& Emotiv還提供了一些可視化和使用數(shù)據(jù)的軟件，如控制面 板對處理后的數(shù)據(jù)進行可視化,EmoKey將處理后的腦電 圖數(shù)據(jù)與按鍵進行鏈接&EmoEngine解密腦電圖數(shù)據(jù),通過API使計算機上運 行的每個應(yīng)用程序都可以訪問處理后的數(shù)據(jù)&為了幫助開 發(fā)新的應(yīng)用程序，Emotiv提供了使用c+ +、 Java、. net 和Mat Lab語言的示例&情緒狀態(tài)分為三類：表達型、情感型和認(rèn)知型)5*,根 據(jù)3種情緒狀

14、態(tài)開發(fā)了分別開發(fā)了 Expressiv套件、Affectiv 套件和Cognitiv套件&expressiv：Expressiv套件,專門設(shè)置用來檢測用戶的面部表情, 如眨眼、左右看、抬眉、皺眉、假笑、大笑等& Expressiv 套件數(shù)據(jù)與另外兩組不同，它也是由電極記錄的原始數(shù)據(jù) 決定的，而不是由腦電圖數(shù)據(jù)決定的，而是由腦電圖之間 的肌電圖數(shù)據(jù)決定的&事實上,EPOC頭盔的一些電極是 與面部肌肉接觸的，因此它們也記錄了這些肌肉的肌電圖& 許多軟件將這些數(shù)據(jù)視為噪音，并試圖檢測它來抑制它& EmoEngine還嘗試檢測肌電圖數(shù)據(jù),但不是壓制它,它使 用這些數(shù)據(jù)來確定面部肌肉的運動,并將其顯示在

15、Expres- siv套件中&電極還可以記錄眼動的眼動電圖(EOG),這 樣就可以確定使用者在看什么&因為大多數(shù)人面部肌肉的位置是相同的，所以不需要 訓(xùn)練表情引擎把記錄下來的數(shù)據(jù)和肌肉運動聯(lián)系起來&對 于某些運動，可以設(shè)置檢測靈敏度&affectiv：Affectv套件處理腦電圖原始數(shù)據(jù),并確定用戶的情感 狀態(tài)&它檢測5種不同的狀態(tài)，投入/厭倦，沮喪，冥想， 瞬間的興奮和長期的興奮&根據(jù)用戶的有效狀態(tài)，每個狀 態(tài)都有一個介于。1之間的等級&表情引擎的這一部分需 要謹(jǐn)慎，至少有兩個原因$首先,Emotiv不發(fā)布專有的原因,EmoEngine如何檢 測用戶的心理狀態(tài)并對其進行評分$利用這些數(shù)據(jù)，設(shè)

16、計 了算法，將用戶的腦電圖數(shù)據(jù)與其心理狀態(tài)聯(lián)系起來$其次，情感檢測不需要訓(xùn)練，因為每個人都以一種給 定的精神狀態(tài)呈現(xiàn)相同的腦電圖$但是有些人在放松的情 況下卻表現(xiàn)出一種比其他人更嚴(yán)重的興奮程度，例如緊張 的人。為了抵消這種影響，情緒引擎會隨著時間的推移調(diào) 整每個狀態(tài)的等級，從而產(chǎn)生在時間中變得不穩(wěn)定的副作 用$如果用戶興奮5分鐘，瞬時興奮的程度會逐漸降低, 不再對新的興奮高峰作出反應(yīng)$這可能是一個真正的問題, 使用這些情緒作為命令在很長一段時間$這就是為什么不 使用這個套件的原因$3） cogntv：Cognitiv套件可偵測使用者的想法,要做到這一點，與 其他兩套套件不同，系統(tǒng)必須經(jīng)過訓(xùn)練，

17、以偵測使用者腦 電波的模式$每個人都會有不同的腦電圖模式，例如思考 舉起右手$所以，使用系統(tǒng)前，需要對使用者進行培訓(xùn)$ 經(jīng)過訓(xùn)練后，系統(tǒng)會不斷地將用戶的腦電波與經(jīng)過訓(xùn)練的 每個模式進行比較$該檢測是基于事件相關(guān)的去同步 （ERD）,主要是由于運動的認(rèn)知作用$當(dāng)用戶想到一個電 機動作時，波和波中出現(xiàn)了衰減甚至是阻塞，每一個想象 的動作都會產(chǎn)生不同的模式$要訓(xùn)練系統(tǒng)識別不同模式的腦電圖，第一步是訓(xùn)練中 立性。在系統(tǒng)訓(xùn)練開始前，需要讓使用者放松，不去想任 何一些影響情緒的事情$在對每個動作進行訓(xùn)練之后, Emotiv提供了一個漂浮在空中的立方體的應(yīng)用程序,在訓(xùn) 練過程中，用戶可以看到被訓(xùn)練的動作，例

18、如，如果用戶 想推送，立方體就會被推送到屏幕上$它能幫助使用者集 中注意力，從而使腦電波更加穩(wěn)定$Cognitiv套件可同時偵測到13個方向的+種模式：向 左、向右、向下、向上、向左/向右、推、拉旋轉(zhuǎn)3個軸, 也會消失$系統(tǒng)要求訓(xùn)練的這些動作，都要求在8 s內(nèi)完 成$在此期間，使用者需要專注于要訓(xùn)練的動作$任何一 個動作都可以訓(xùn)練很多次，而且通常訓(xùn)練次數(shù)越多越好$ 至少有兩個原因，當(dāng)用戶訓(xùn)練時，他訓(xùn)練的不僅是表情引 擎，還有他自己$控制我們的腦電波是可能的，你訓(xùn)練得 越多，你的效率就越高$在表情引擎方面，每個用戶的數(shù) 據(jù)越多，匹配模式就越可靠$C 2命令一旦EEG信號被EmoEngine解密,

19、解密的數(shù)據(jù)就可以 通過EmoEngine應(yīng)用程序編程接口（API）獲得）,*$之后 的目標(biāo)是將使用者的心理狀態(tài)與輪椅的動作聯(lián)系起來$輪椅運動有八種可能的動作：前進、后退、右、左、 停是控制輪椅的基本動作$為了方便輪椅的使用和使其更 安全，可增加3個動作：速度控制、快速停車和緊急停車$EPOC可以在同一時間檢測21種不同的心理狀態(tài)，所 以如果每個狀態(tài)都與輪椅動作相關(guān)聯(lián)，那么21種行為就可 以完成。但在現(xiàn)實中很明顯，每個人的心理狀態(tài)都不是相 互獨立的$例如，如果EPOC在Expressiv套件中檢測到一 個微笑,那么它也將檢測到Affectiv套件中的參與,因為它 將把用戶的微笑與他假定的滿意程度

20、聯(lián)系起來$因此，如 果我們在使用者微笑時觸發(fā)前進動作，但同時由于使用者 的參與而觸發(fā)后退動作，則會同時觸發(fā)兩個相反的動作, 導(dǎo)致輪椅堵塞）-*$這個系統(tǒng)的關(guān)鍵之一是選擇最有效的用 戶狀態(tài)，他們之間的獨立，可靠的時間和連接他們與正確 的輪椅行動$為了找到最好的心態(tài)，我們會做一個實驗, 測試不同的可能性，并驗證它們之間的獨立性$EPOC中的每個數(shù)據(jù)都可以同時使用，可以開發(fā)個性 化算法或過濾器來發(fā)出正確的命令$個人程序，控制整個 運動過程控制$該軟件是在Microsoft Visual Studio 2008下 開發(fā)的，這是市場上最普遍使用的一類開發(fā)軟件）8*$它可 以控制不同的編碼語言，如c+ +

21、 , c, VB,在同一個開發(fā) 軟件下，這是真正實用的。這里不會解釋整個代碼，它太 長，也不是很有趣$所有的代碼都可以在附錄b中找到）9*$加載應(yīng)用程序后，用戶到達主頁$從這里他可以瀏覽所 有其他窗口 $首先，他必須選擇輸入和輸出地址。對于輸 入，用戶可以選擇EmoEngine和EmoComposer （EPOC的離 線模擬）。對于輸出，選擇Aduino板的端口，如圖2所示。圖2右側(cè)窗口的輸入選擇/左側(cè)窗口的輸出選擇在此之后，用戶選擇輪椅的控制方式，選擇與輪椅運動 相關(guān)聯(lián)的動作$例如，Cognitiv套件的推動會觸發(fā)輪椅的向 前運動，而中性狀態(tài)會觸發(fā)停止為了適應(yīng)每個用戶，并 根據(jù)他們的殘疾，設(shè)

22、計了許多控制模式，并將進行測試（系 統(tǒng)預(yù)測試）。選擇控制模式后，會出現(xiàn)一個控制窗口。此窗 口用于同時監(jiān)視輸入和輸出。對于輸入，在2軸上的加速度 計數(shù)據(jù)和來自表情引擎的檢測$對于輸出，命令被傳送到輪 椅上，在這個窗口中，還可以監(jiān)控EPOC的電池電量。之后,對于EmoEngine檢測到的每個動作，該程序?qū)?查看是否與輪椅運動相關(guān)聯(lián)，并將其功率與閾值進行比較$ 軟件的邏輯如圖3所示$C 3輪椅的控制Asduino將串口收到的信在合適的引腳上轉(zhuǎn)換成動力, 以下是Ardumo的部分代碼：switch（ inByte） case p ： /P the letter receWed by the seria

23、l port is z圖3軟件工作邏輯圖digitalWrite 5 , LOW) ; /Put the pin 5 to 0 V digitalWrite(, HIGH) ； /Put the pin 2 to 5 V break；case Z : /P the letter receWed by the serial port is q digitalWrite(4,LOW) ； /Put the pin 4 to 0 V digitalWrite( 3, HIGH) ； /Put the pin 3 to 5 V break；case d ： /P the letter receWed

24、by the serial port is d digitalWrite( 3 , LOW) ； /Put the pin 3 to 0 V digitalWrite(4, HIGH) ； /Put the pin 4 to 5 V break.3 實驗研究 Experiment Verification1 腦電圖數(shù)據(jù)可靠性試驗Reliability of the EEG data首先，對不同表情對應(yīng)的腦電圖數(shù)據(jù)對輪椅腦控系統(tǒng) 的具體影響進行了測試（測試條件設(shè)置如下，在封閉房間的半影中進行，每個 參與者的屏幕亮度將保持在相同的水平;只允許實驗者和 用戶一起進入房間（實驗室內(nèi)不能聽到外界的噪音;

25、使用 者坐在帶有扶手的椅子上，將手臂放在扶手上，雙腳平放 在地板上，不要移動身體的任何部位;任何發(fā)射電磁波的 電子設(shè)備，如手機、電腦的Wi-Ji/藍牙等，均處于關(guān)閉狀 態(tài);房間的溫度是23 1 ；測試時間為30 min,下午4點左 右進行實驗。將頭盔是按照EPOC手冊的指示小心地放在 體驗者頭上（然后在$0s內(nèi)隨機執(zhí)行10個連續(xù)動作，每個 動作間隔5 s（通過對 Affectiv套件、Cognitiv套件、Expressiv套件 進行多次試驗，發(fā)現(xiàn)，握緊、左/右笑的可靠性非常高，這 3個動作對輪椅控制的平均成功率分別為90%、94%和 85%（緊握，左/右微笑這3個動作非常適合控制系統(tǒng)。測 試

26、者左笑動作，其功率與時間的關(guān)系曲線如圖4所示（圖4為測試者1、2、3各自的測試結(jié)果曲線圖（對于測 試者1和來說，緊抓0.015的閾值是合適的，但是對于測 試者3來說，檢測能力很好，但是是恒定的，所以0.003的 閾值更合適（向左微笑的功耗較高，因此可以增加閾值， 0. 03對于3個用戶來說似乎是合理的（這些閾值可以根據(jù) 用戶的意愿進行調(diào)整，使控件更加敏感，在第二次實驗時 再次調(diào)整，直至找到最合適的閾值（8 10 12 14 16 18 20Experiment time-8 10 12 14 16 18 20Experiment time-o-Participant1 -*-Participa

27、nt2 -Participant!圖4向左微笑功率與時間的關(guān)系實驗的結(jié)果顯示，握緊、向左/向右笑這些動作更適合 于控制，且隨著時間的推移，它們是相當(dāng)穩(wěn)定的（3. 2系統(tǒng)預(yù)測試根據(jù)第一個實驗的結(jié)果，確定了 Expressv套件的握 緊、向左/向右笑這3個動作更可靠，接下來將他們與輪椅 的運動聯(lián)系起來（實現(xiàn)輪椅4個動作的運動控制，即：向 前，向右轉(zhuǎn)，向左轉(zhuǎn)和停止（輪椅被一輛遙控汽車代替了（ Arduno將BCI命令以同樣的方式發(fā)送到遙控器，從而實現(xiàn) 了遠程控制的自動化。在兩個不同的電路上測試這3個命令方案（這些電路 是為了代表殘疾人日常生活中的常見情況而繪制的。圖5 （a）所示第一個環(huán)路表示走廊或

28、人行道，它由一條只有一 個轉(zhuǎn)彎的長直道表示（為了評估每個指令方案的轉(zhuǎn)彎熟練 程度，還測試了回轉(zhuǎn)電路，如圖5 （b）所示（b）（b）回轉(zhuǎn)電路（a）電路1表示走廊/人行道圖5 電路圖電路1的結(jié)果如表1所示（電路2的結(jié)果如表2所示（結(jié)果表明，第一個參與者沒有成功地用Expressv套件 控制汽車。但這是意料之中的，因為用戶1和之前實驗中 的用戶4是一樣的，或者已經(jīng)注意到用戶1不能正確控制緊 抓和笑（所以他不能使用這些動作來控制遙控車也就不足 為奇了，必須為他設(shè)計一個不同的指揮方案（Circuit 1Remote ControlAccelerometerExpressivExpressiv/EEGTi

29、me/ sShock/ OPP trackTime/ sShock/ OPP trackTime/ sShock / OPP trackTime/ sShock/ OPP trackParticipantl121253/151100210/17090311/120Mean10. 330. 3325. 661. 333/14. 660. 33Participant280Circuit 1Remote ControlAccelerometerExpressivExpressiv/EEGTime/ sShock/ OPP trackTime/ sShock/ OPP trackTime/ sShoc

30、k / OPP trackTime/ sShock/ OPP trackParticipantl121253/151100210/17090311/120Mean10. 330. 3325. 661. 333/14. 660. 33Participant2801001412119016016122280130150190Mean8. 330130150. 6620. 661Partcpant310121123126111018025125080262180230Mean9. 660. 3321. 661220. 6724. 670. 34Total9. 440. 2220. 110. 7812

31、. 330. 44200. 56表1完成第一圈沖擊/脫軌的時間和次數(shù)Circuit 2Remote CoittrolAccelerometerExpressivExpressiv/EEGTime/ sShock/ OPP trackTime/ sShock/ OPP trackTime/ sShock / OPP trackTime/ sShock/ OPP trackParicipan8115. 71612/82112. 6048. 90/65119. 52320/690Mean15. 93147. 30. 67/720. 67Paricipan8212. 31881551850120300672102211. 60240480741Mean11. 970. 3347.