腦電與肌電聯(lián)合控制鼠標(biāo)的方法

(19)中華人民共和國國家知識產(chǎn)權(quán)局(12)發(fā)明專利說明書(10)申請公布號CN101776981A

(43)申請公布日2010.07.14(21)申請?zhí)朇N201010031318.8(22)申請日2010.01.07(71)申請人天津大學(xué)地址300072天津市南開區(qū)衛(wèi)津路92號天津大學(xué)(72)發(fā)明人明東朱譽環(huán)綦宏志程龍龍萬柏坤(74)專利代理機構(gòu)天津市北洋有限責(zé)任專利代理事務(wù)所代理人程毓英(51)Int.CI G06F3/048

G06F3/01

G06F3/038權(quán)利要求說明書說明書幅圖(54)發(fā)明名稱 腦電與肌電聯(lián)合控制鼠標(biāo)的方法(57)摘要 本發(fā)明屬于生物醫(yī)學(xué)工程及計算機技術(shù)領(lǐng)域，涉及一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法：選擇適當(dāng)?shù)念^皮導(dǎo)聯(lián)電極采集操作者的腦電和肌電信號數(shù)據(jù)，并將其輸入計算機鼠標(biāo)控制接口系統(tǒng)，操作者根據(jù)計算機屏幕光標(biāo)循環(huán)控制指示顯示的運動方向，通過想象手部運動來確定方向，模擬光標(biāo)移動過程；當(dāng)光標(biāo)移動到目標(biāo)時，咬牙確定選擇，模擬鼠標(biāo)點擊過程。本發(fā)明實現(xiàn)全新的無肢體動作控制計算機鼠標(biāo)過程，可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的智能控制操作，依托于腦-機接口這個平臺并結(jié)合頭皮肌電，可以顯著提高控制速率和正確率。法律狀態(tài)法律狀態(tài)公告日法律狀態(tài)信息法律狀態(tài)

權(quán)利要求說明書1.一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法，其特征在于，包括下列步驟：

(1)在操作者頭后部C3、C4導(dǎo)聯(lián)處放置電極來檢測腦電信號，在T5處放置電極檢測咬牙頭皮肌電信號；

(2)在計算機屏幕上顯示表征靜息不進行想象動作的訓(xùn)練界面，對操作者進行靜息訓(xùn)練，并對采集的腦電信號進行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(3)在計算機屏幕上顯示表征想象手部運動的訓(xùn)練界面，對操作者進行想象手部運動訓(xùn)練，并對采集的腦電信號進行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(4)在計算機屏幕上劃分目標(biāo)選擇區(qū)和鼠標(biāo)方向選擇區(qū)，進入鼠標(biāo)控制階段；

(5)在鼠標(biāo)方向選擇區(qū)里顯示表征控制鼠標(biāo)移動各個方向的不同的圖標(biāo)，由程序循環(huán)控制各個圖標(biāo)依次突出顯示；

(6)提取操作者在每個圖標(biāo)突出顯示時段內(nèi)的腦電信號，對測得的數(shù)據(jù)進行功率譜分析，提取8-13Hz的功率譜的平均值作為特征值，依據(jù)步驟(2)和(3)的訓(xùn)練結(jié)果，根據(jù)馬氏距離判別法進行判斷，如果判斷為想象手部運動，則在目標(biāo)選擇區(qū)內(nèi)，將鼠標(biāo)在目標(biāo)選擇區(qū)內(nèi)向圖標(biāo)指示方向移動，否則，鼠標(biāo)不移動；

(7)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后，計算T5導(dǎo)聯(lián)處頭皮肌電信號的能量譜，并讀取其中頻30-35Hz處能量值，若高于所設(shè)定的閾值，則表示該目標(biāo)就是操作者選擇的目標(biāo)，進行確定選擇，否則，不進行操作；

(8)重復(fù)步驟(6)和(7)，實現(xiàn)鼠標(biāo)移動和確認控制。

2.根據(jù)權(quán)利要求1所述的腦電與肌電聯(lián)合控制鼠標(biāo)的方法，其特征在于，把操作者靜息時腦電信號8-13Hz的能量值，即該段功率譜的平均值，記為V_open，咬牙時肌電信號30-35Hz處能量值記為V_close，其差值記為V_d，則步驟(7)中確定選擇的

閾值V_ref按下面公式計算：V_ref＝V_open+0.5V_d。

說明書技術(shù)領(lǐng)域

本發(fā)明涉及一種智能鼠標(biāo)控制方法，屬于生物醫(yī)學(xué)工程及計算機技術(shù)領(lǐng)域。

背景技術(shù)

第一次BCI國際會議給出的BCI的定義是：“腦-計算機接口(BCI)是一種不依賴于大腦外圍神經(jīng)與肌肉正常輸出通道的通訊控制系統(tǒng)?！彼ㄟ^采集和分析人的腦電信號，在人腦與計算機或其它電子設(shè)備之間建立起直接的交流和控制通道，從而可以不需語言或肢體動作，直接通過控制腦電來表達意愿或操縱外界設(shè)備。

基本BCI系統(tǒng)如圖1所示，含有操作控制意圖的腦電信號通過電極從頭皮或顱內(nèi)獲得，經(jīng)過信號處理提取反映使用者意圖的腦電信號特征，并將之轉(zhuǎn)化為控制外部設(shè)備的操作命令。目前BCI研究的主要應(yīng)用目標(biāo)是幫助肢體嚴(yán)重癱瘓的殘疾人操縱和使用周邊日常生活工具，以實現(xiàn)對外界的信息交流和設(shè)備控制。

腦-機接口作為一種全新的信息交換和控制技術(shù)，將為癱瘓病人，特別是那些喪失了基本肢體運動功能但思維正常的患者，提供一種與外界進行信息交流和控制的新途徑，正受到越來越多的重視。

發(fā)明人申請的在先專利200610129255.3涉及一種腦-機接口鼠標(biāo)控制方法，該種控制方法提取采集和提取腦電中alpha(α)波作為特征控制信號，控制計算機屏幕鼠標(biāo)光標(biāo)運動。但此項專利只是給出了如果提取鼠標(biāo)光標(biāo)移動的腦電控制信號，并沒有給出如何對鼠標(biāo)位置給予確認，存在鼠標(biāo)控制不精確的缺陷。

發(fā)明內(nèi)容

本發(fā)明的主旨是克服現(xiàn)有技術(shù)的缺陷，提出一種更為精確的智能鼠標(biāo)控制方法以實現(xiàn)計算機鼠標(biāo)控制的無肢體動作遙控過程。本發(fā)明將腦電和肌電相結(jié)合，比單純的腦-機接口系統(tǒng)提高了速率和正確率。本發(fā)明可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的遙控操作。

為此，本發(fā)明采用如下的技術(shù)方案：

一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法，包括下列步驟：

(1)在操作者頭后部C3、C4導(dǎo)聯(lián)處放置電極來檢測腦電信號，在T5處放置電極檢測咬牙頭皮肌電信號；

(2)在計算機屏幕上顯示表征靜息不進行想象動作的訓(xùn)練界面，對操作者進行靜息訓(xùn)練，并對采集的腦電信號進行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(3)在計算機屏幕上顯示表征想象手部運動的訓(xùn)練界面，對操作者進行想象手部運動訓(xùn)練，并對采集的腦電信號進行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(4)在計算機屏幕上劃分目標(biāo)選擇區(qū)和鼠標(biāo)方向選擇區(qū)，進入鼠標(biāo)控制階段；

(5)在鼠標(biāo)方向選擇區(qū)里顯示表征控制鼠標(biāo)移動各個方向的不同的圖標(biāo)，由程序循環(huán)控制各個圖標(biāo)依次突出顯示；

(6)提取操作者在每個圖標(biāo)突出顯示時段內(nèi)的腦電信號，對測得的數(shù)據(jù)進行功率譜分析，提取8-13Hz的功率譜的平均值作為特征值，依據(jù)步驟(2)和(3)的訓(xùn)練結(jié)果，根據(jù)馬氏距離判別法進行判斷，如果判斷為想象手部運動，則在目標(biāo)選擇區(qū)內(nèi)，將鼠標(biāo)在目標(biāo)選擇區(qū)內(nèi)向圖標(biāo)指示方向移動，否則，鼠標(biāo)不移動；

(7)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后，計算T5導(dǎo)聯(lián)處頭皮肌電信號的能量譜，并讀取其中頻30-35Hz處能量值，若高于所設(shè)定的閾值，則表示該目標(biāo)就是操作者選擇的目標(biāo)，進行確定選擇，否則，不進行操作；

(8)重復(fù)步驟(6)和(7)，實現(xiàn)鼠標(biāo)移動和確認控制。

作為優(yōu)選實施方式，本發(fā)明的智能鼠標(biāo)控制方法，把操作者靜息時腦電信號8-13Hz的能量值，即該段功率譜的平均值，記為V_open，咬牙時肌電信號30-35Hz處能量值記為V_close，其差值記為V_d，則步驟(7)中確定選擇的閾值V_ref按下面公式計算：V_ref＝V_open+0.5Vd。

本發(fā)明提出了一種新的腦電與肌電復(fù)合信源模式控制計算機屏幕鼠標(biāo)光標(biāo)運動切換方法和裝置，以實現(xiàn)全新的無肢體動作控制計算機鼠標(biāo)過程，可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的智能控制操作，依托于腦-機接口這個平臺并結(jié)合頭皮肌電，可以顯著提高控制速率和正確率。

附圖說明

圖1BCI系統(tǒng)及其控制框圖。

圖2BCI控制系統(tǒng)結(jié)構(gòu)框圖。

圖3計算機屏幕顯示的操作界面，(a)為靜息不進行想象動作訓(xùn)練界面，(b)為出現(xiàn)箭頭的時候則想象手部運動訓(xùn)練界面。

圖4計算機屏幕顯示的操作界面。

圖5計算機屏幕顯示的目標(biāo)選擇畫面。

圖6(a)、(b)、(c)、(d)四個圖分別為第1，2，3，4時刻光標(biāo)顯示位置示意圖。

圖7鼠標(biāo)移動流程圖。

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明做進一步說明。

本發(fā)明選用具有ERD特征的腦電和咬牙產(chǎn)生的肌電作為特征控制信號。當(dāng)人對肢體動作進行想象的時候動態(tài)腦電信號特征頻段功率譜密度就會發(fā)生改變，其中功率譜比率下降稱為ERD，通常在10~11Hz最為明顯，由此可以利用大腦在進行想象動作思維時所引發(fā)的ERD現(xiàn)象作為思維活動對刺激事件有效應(yīng)答的標(biāo)志。而咬牙所產(chǎn)生的肌電具有特征頻段明顯，信號產(chǎn)生速度快，分辨正確率高的特點。本發(fā)明將想象動作ERD和咬牙產(chǎn)生的肌電兩種不同的認知原理有機融合在一起，設(shè)計了新型雙信源生物電通道的復(fù)合控制方式，通過在操作者頭后部C3、C4導(dǎo)聯(lián)處放置Ag-AgCl電極來檢測腦電ERD特征的變化，提取操作者想象肢體運動時功率譜值的變化特征作為控制信號，實現(xiàn)對計算機屏幕鼠標(biāo)運動的控制，并通過在T5處放置電極檢測咬牙頭皮肌電的變化來確定鼠標(biāo)的選擇，從而有效實現(xiàn)了腦電鼠標(biāo)的“平面移動”和“點擊確定”兩種基本功能。由于系統(tǒng)操作簡單，一般只需簡單訓(xùn)練就可以控制計算機屏幕鼠標(biāo)光標(biāo)運動。

圖2為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。該系統(tǒng)基于VC++平臺，利用正常人腦電ERD特征和咬牙誘發(fā)的肌電特征計了相應(yīng)的BCI控制面板、信號采集系統(tǒng)、信號處理平臺來實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的控制。操作者由計算機屏幕光標(biāo)循環(huán)控制指示選擇產(chǎn)生含有相關(guān)控制信息的腦電信號；該信號先經(jīng)腦電放大器放大、濾波，然后輸入計算機；然后在計算機內(nèi)Vc++平臺上完成去噪、功率譜分析、與門限電壓比較、產(chǎn)生控制脈沖等一系列信號處理工作；最后通過調(diào)用函數(shù)SetCrusorPos使得計算機屏幕鼠標(biāo)光標(biāo)在當(dāng)前位置的基礎(chǔ)上向相應(yīng)方向移動適當(dāng)數(shù)目像素以完成對鼠標(biāo)移動，當(dāng)鼠標(biāo)移動到目標(biāo)位置則提取頭皮肌電變化特征作為確定選擇的控制信號，表示此項即為我們的目標(biāo)選項。

本發(fā)明要點在于屏幕光標(biāo)循環(huán)控制指示面板設(shè)計、利用腦電控制鼠標(biāo)和信號處理流程；頭皮肌電開關(guān)閾值、頻帶選擇等技術(shù)環(huán)節(jié)。

(1)操作界面設(shè)計、控制鼠標(biāo)和信號處理流程

操作主要分為兩部分：訓(xùn)練部分和控制部分。訓(xùn)練過程的目的在于采集想象和不想象的數(shù)據(jù)，作為控制部分判別信號是否有效的基礎(chǔ)。點擊“訓(xùn)練”按鈕后，進入訓(xùn)練界面，訓(xùn)練界面如圖3所示。出現(xiàn)十字的時候表示靜息不進行想象動作，出現(xiàn)箭頭的時候則想象手部運動。當(dāng)想象與不想象的數(shù)據(jù)讀夠10組之后就點擊“開始”進入控制階段。在訓(xùn)練的過程中，將想象與非想象的共20組數(shù)據(jù)分別做功率譜分析，然后將8-13Hz的功率譜的平均值提取出來作為特征值，這些特征值作為控制階段分類的基礎(chǔ)。

操作界面分為兩部分，上部分為目標(biāo)選擇區(qū)，下面為鼠標(biāo)方向選擇區(qū)(如圖4)，鼠標(biāo)方向選擇區(qū)有四個箭頭分別表示上、下、左、右四個控制移動方向，由相應(yīng)的程序控制循環(huán)現(xiàn)實。目標(biāo)選擇區(qū)可以模擬通過電腦控制的設(shè)備，當(dāng)我們把鼠標(biāo)移動到該位置的時候表示選擇該物品，在我們實驗過程中可以通過右下方的菜單來選擇目標(biāo)，選擇后，選擇區(qū)域變色表示為目標(biāo)，然后點擊開始進行實驗。

圖6演示了光標(biāo)向右、上、左、下四個輪流顯示的狀態(tài)(相應(yīng)光標(biāo)為綠色)，每一個方向的光標(biāo)變?yōu)榫G色時間持續(xù)4秒。

本發(fā)明控制鼠標(biāo)光標(biāo)流程如下：

(a)界面下方四個箭頭循環(huán)顯示，每一個方向停留4秒鐘，將此時間內(nèi)測得的數(shù)據(jù)進行功率譜分析，提取8-13Hz的功率譜的平均值作為特征，然后進行分類，如果判斷為進行想象則鼠標(biāo)向箭頭指示方向移動一定的距離。

(b)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后計算T5導(dǎo)聯(lián)中頭皮肌電信號能量譜，并讀取其中頻30-35Hz處能量值，通過信號處理確定其參數(shù)閾值，當(dāng)其能量高于閾值則表示該目標(biāo)就是操作者選擇的目標(biāo)，進行確定選擇(目標(biāo)區(qū)域變回白色)。當(dāng)30-35Hz能量于閾值則不進行操作。

本發(fā)明是在Vc++平臺上完成的，鼠標(biāo)移動處理流程如圖7所示，先在訓(xùn)練模式下讀取C3、C4導(dǎo)聯(lián)數(shù)據(jù)，然后進行功率譜分析，將想象和未進行想象的結(jié)果分別存入兩個數(shù)組，等訓(xùn)練數(shù)據(jù)讀夠十組后開始進入控制模式，對數(shù)據(jù)進行功率譜分析后分類，判斷為想象則移動鼠標(biāo)，沒有想象則鼠標(biāo)靜止。

(2)模式識別和確定系統(tǒng)參數(shù)

1移動鼠標(biāo)模式識別

對于本發(fā)明來說光標(biāo)移動部分不需要確定參數(shù)，只需要通過訓(xùn)練模式獲得分類的依據(jù)，再通過模式識別判斷是否移動鼠標(biāo)。我們采用的模式識別的分類方法是馬氏距離法，馬氏距離判別法的基本思想是：假設(shè)有兩個總體G1和G2，x是一個新樣本點。定義x到G1和G2的馬氏距離：

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>1</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>2</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

其中：u⁽¹⁾、u⁽²⁾、∑₁、∑₂分別為G1和G2的均值和協(xié)方差矩陣。在本發(fā)明中，G1為想象手部動作所提取出的特征的總體，G2為空閑靜息提取特征的總體，x為控制階段新提取的特征值。馬氏距離的優(yōu)點是排除了模式樣本之間的相關(guān)性影響。

構(gòu)造判別公式為：<maths><math><mrow><mi>w</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mtext>-</mtext><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow><mn>2</mn></mfrac></mrow></math></maths>構(gòu)造判別規(guī)則為：

當(dāng)判斷為進行想象時則將鼠標(biāo)向箭頭指示方向移動一段距離。

2確定目標(biāo)參數(shù)

對于目標(biāo)確定部分需要確定三個關(guān)鍵技術(shù)參數(shù)：其一是開關(guān)閾值電壓，其二是動作時間常數(shù)，對應(yīng)于控制面板上指示燈切換前持續(xù)閃爍的時間，其三是各種干擾所引起的最大背景噪聲電壓。第一個參數(shù)反映操作者在安靜和咬牙狀態(tài)下特定頻率能量的差別；第二個參數(shù)反映操作者咬牙后30-35Hz能量超過閾值所需時間；第三個參數(shù)對判斷主控制通道信號是真實肌電信號還是干擾噪聲具有重要的參考價值。

一、開關(guān)閾值

把操作者靜息