智能輪椅中人機(jī)界面的分類及評(píng)估

1、智能輪椅中人機(jī)界面的分類及評(píng)估何清華1,陳陽1,劉永強(qiáng)2(1.中南大學(xué)機(jī)電工程學(xué)院湖南長(zhǎng)沙410083;2.哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程系黑龍江哈爾濱150001摘要:本文針對(duì)目前智能輪椅中已出現(xiàn)的諸如語音交互、頭部運(yùn)動(dòng)等種類繁多的人機(jī)界面進(jìn)行了歸納整理,從人的意識(shí)行為和能動(dòng)性角度提出了一種新的分類方法,進(jìn)而對(duì)各類人機(jī)界面的適用人群、硬件構(gòu)成、成本估算以及產(chǎn)業(yè)化前景等方面進(jìn)行了分析。從而有利于人機(jī)界面的行業(yè)標(biāo)準(zhǔn)的制定,也使得開發(fā)人員能夠迅速定位自己開發(fā)產(chǎn)品所需的人機(jī)界面。關(guān)鍵詞:智能輪椅;人機(jī)界面;有意識(shí)控制;自然控制中圖分類號(hào):TP 24文獻(xiàn)標(biāo)識(shí)碼:B 文章編號(hào):1004373X (200

2、31702004Classification and Evaluation of Human machine Inter action in Robotic WheelchairHE Qinghua 1,CHEN Yang 1,LIU Yongqiang 2(1.Department of Mec hanic a l &El ect ri cal Engineering,Central Sout h Uni versit y,Changsha,410083,Chi na;2.Depa rt ment of Computer S cienc e &Engi neeri ng ,H

3、 arbin Institute of Technology ,Harbi n ,150001,China Abstr act :T his paper classifies cur r ent human m achine int er faces guided by voice ,face,etc,accor ding to huma n behavior s.Each human machine interaction has been fur ther discussed as to applicable user ,technique ,cost and future applica

4、tion .As a r e-sult ,the designers and r esearcher s can find the interfa ce suitable to their pr oducts faster and better .Keywor ds :r obotic wheelchair ;human machine inter action;intentional cont rol;na tural contr ol收稿日期:200306271引言隨著社會(huì)的發(fā)展和人類文明程度的提高,身有殘障的社會(huì)成員愈來愈需要運(yùn)用現(xiàn)代高新技術(shù)來改善他們的生活質(zhì)量和自由度。輪椅是為廣大老弱

5、病殘人員使用的輔助運(yùn)動(dòng)工具,隨著人工智能和機(jī)器人技術(shù)的發(fā)展,智能輪椅(或稱為智能輪椅式移動(dòng)機(jī)器人的研制也逐漸開展起來。1.1智能輪椅人機(jī)界面智能輪椅集模式識(shí)別技術(shù)、多傳感器融合技術(shù)和多模態(tài)人機(jī)交互技術(shù)等多種新技術(shù)為一體,通過各種各樣的人機(jī)界面及自動(dòng)導(dǎo)航避障等功能大大提高了使用者獨(dú)立行動(dòng)的能力,具有廣泛的應(yīng)用前景。智能輪椅的關(guān)鍵技術(shù)之一就是實(shí)現(xiàn)與使用者和諧交互的技術(shù)。這種交互包括兩方面的要素:一方面使人能更自然地控制輪椅;另一方面使輪椅可以較好的理解人的思維和命令。要實(shí)現(xiàn)以上功能,就需要設(shè)計(jì)友好的人機(jī)界面。人與硬件、軟件的交叉部分即構(gòu)成人機(jī)界面。人機(jī)界面1又稱人機(jī)交互(Human machine

6、Interaction 、人機(jī)接口或用戶界面,是指人機(jī)間相互施加影響的區(qū)域,凡參與人機(jī)信息交流的一切領(lǐng)域都屬于人機(jī)界面。好的人機(jī)界面要考慮生理學(xué)、心理學(xué)、文化學(xué)、生物學(xué)、技術(shù)學(xué)等多個(gè)學(xué)科的相關(guān)知識(shí)。智能輪椅在這方面開發(fā)應(yīng)用了一些較有特色的人機(jī)界面。1.2對(duì)人機(jī)界面進(jìn)行分類、評(píng)估的意義人機(jī)界面已經(jīng)逐漸成為一門單獨(dú)的學(xué)科,其研究的意義和價(jià)值是不言而喻的,對(duì)人機(jī)界面的分類、評(píng)估是其中較為重要的組成部分,具有重要的研究?jī)r(jià)值和實(shí)際意義。具體可歸納為如下幾個(gè)方面:(1較好的分類規(guī)則可體現(xiàn)出種類繁多的人機(jī)界面系統(tǒng)的本質(zhì)特征和共同屬性,從而有利于標(biāo)準(zhǔn)的制定和新技術(shù)的迅速開發(fā)及應(yīng)用;(2幫助系統(tǒng)設(shè)計(jì)者更深刻地領(lǐng)

7、會(huì)以“用戶為核心”的設(shè)計(jì)原則;(3在界面測(cè)試與評(píng)估過程中形成的一些評(píng)估標(biāo)準(zhǔn)和設(shè)計(jì)原則對(duì)界面設(shè)計(jì)有直接的指導(dǎo)作用;(4降低系統(tǒng)技術(shù)支持的費(fèi)用,縮短最終用戶訓(xùn)練時(shí)間。另外,對(duì)人機(jī)界面的評(píng)估還將有益于拓寬其應(yīng)用領(lǐng)域,并被其他科研應(yīng)用所參考和借鑒。2智能輪椅中人機(jī)界面的分類根據(jù)智能輪椅用戶的不同需要和功能障礙,智能輪椅需要采用不同的人機(jī)界面,以便于用戶駕駛。目前新開發(fā)出的幾種智能輪椅人機(jī)界面具有較高的科學(xué)技術(shù)含量,各有裨益,基本上無法相互取代,還有很多智能輪椅采用了多種人機(jī)界面。本文從用戶的角度出發(fā),提出了以人的主觀意識(shí)和能動(dòng)性為分類依據(jù)的分類方法。2.1智能輪椅中人機(jī)界面的行為分類法的描述人們的行為

8、可以分為2種:有意識(shí)的行為和無意識(shí)的行為。當(dāng)人們想去做某一特定事件的時(shí)候,通常采取可以達(dá)到其目的的行動(dòng),我們是有意去做的而且意識(shí)到我們?cè)谧鍪裁础＿@就是第一種有意識(shí)的行為。大多數(shù)的人機(jī)界面均采用這種方式。另外,有時(shí)我們無意識(shí)地移動(dòng)手、頭、眼睛或身體其他部位,卻并不想通知其他人特定的事情。例如,當(dāng)我們想去往某處時(shí),我們的頭會(huì)自然地轉(zhuǎn)向那個(gè)方向,用眼睛注視著同一方向,有時(shí)還會(huì)自然而然地用手指向那一邊。這些舉動(dòng)同樣可以表達(dá)我們的意圖、情感等信息。這種無意識(shí)(自然的行為信息也會(huì)幫助我們實(shí)現(xiàn)更為友好的人機(jī)界面?；谏鲜隼碛?我們將人機(jī)界面分為有意識(shí)控制的人機(jī)界面和自然控制的人機(jī)界面2大類,每一類中又可以進(jìn)

9、一步細(xì)分,具體的分類情況如圖1 所示。圖1人機(jī)界面分類示意圖2.2行為分類法的評(píng)價(jià)以人的意識(shí)行為和主觀能動(dòng)性作為分類的依據(jù),更能體現(xiàn)出人機(jī)界面設(shè)計(jì)中“以用戶為中心”的原則。同時(shí),這種分類方法考慮了用戶的能動(dòng)性,使他與開發(fā)的實(shí)際需求緊密相聯(lián)。有意識(shí)控制類的人機(jī)界面的適用人群是那些殘疾程度較輕,肢體能動(dòng)性較高而且意識(shí)較好的人群。具體地說,對(duì)于機(jī)電控制方式,用戶通過一段時(shí)間的運(yùn)用才能熟練掌握駕駛技能,正確表達(dá)自己的意圖;微機(jī)控制則需要使用者具有最基本的電腦操作的知識(shí)。而無意識(shí)控制類的人機(jī)界面的適用人群是那些殘疾程度較高,肢體能動(dòng)性較低的人群。例如,用戶可以通過語音驅(qū)動(dòng)像日常對(duì)話一樣駕駛輪椅;眼睛驅(qū)動(dòng)

10、更可以讓用戶在不知不覺中不費(fèi)絲毫力氣就可以達(dá)到目的。但是,自然控制的人機(jī)界面要注意與使用者的非控制動(dòng)作區(qū)分開,以免引起誤操作而對(duì)用戶造成的不便。對(duì)于開發(fā)者,上面的分類方法可通過確定所要開發(fā)軟、硬件的類別和屬性來定位軟件的潛在用戶、開發(fā)成本和市場(chǎng)前景等。3幾種較有特色的智能輪椅人機(jī)界面介紹及分析評(píng)價(jià)在圖1中,機(jī)電控制技術(shù)成熟,微機(jī)控制是人機(jī)界面中較為常見的,主要為軟件界面的設(shè)計(jì)。這兩種較為常見,應(yīng)用廣泛,在本文中不再贅述。下面就幾種自然控制的人機(jī)界面作以介紹。這些人機(jī)界面在智能輪椅中的應(yīng)用使用戶使用起來簡(jiǎn)單方便;技術(shù)上采用了模式辨識(shí)等較新的技術(shù)成果,科技含量高。另外,經(jīng)過一定研究開發(fā)和改動(dòng)在其他

11、的控制操作領(lǐng)域也是大有所為。3.1采用語音交互的智能輪椅2語音交互是一種很自然的交流方式,適合于大多數(shù)的智能輪椅使用者。中國(guó)科學(xué)院北京自動(dòng)化研究所研究成功的智能輪椅(如圖2所示就是以語音交互作為人機(jī)界面的,其關(guān)鍵技術(shù)是包含口令識(shí)別與語音合成的語音識(shí)別技術(shù)。該項(xiàng)研究中的語音交互人機(jī)界面的設(shè)計(jì),使人能夠通過語音控制輪椅自由行走,輪椅也可以與用戶進(jìn)行簡(jiǎn)單的人機(jī)對(duì)話功能。因?yàn)檠b有語音識(shí)別技術(shù),乘坐者可以通過直接“對(duì)話”來控制輪椅的行動(dòng)。在經(jīng)過對(duì)室內(nèi)環(huán)境的訓(xùn)練學(xué)習(xí)后,智能輪椅可以根據(jù)人的命令自動(dòng)到達(dá)室內(nèi)指定位置,如果前進(jìn)道路上遇到障礙,智能輪椅會(huì)“說”前方有障礙物,停止,并提示乘坐者進(jìn)行決策,然后根據(jù)用

12、戶口令或自動(dòng)啟動(dòng)避障功能進(jìn)行避障行駛或改變前進(jìn)方向。語音命令是離散的并且只能給出有限的指導(dǎo)信息,實(shí)現(xiàn)對(duì)話的語言也是有一定的限制;而且語音系統(tǒng)要對(duì)用戶的語音進(jìn)行采樣,裝置才能進(jìn)行識(shí)別,并進(jìn)一步實(shí)現(xiàn)人機(jī)對(duì)話,采取相應(yīng)的動(dòng)作或遇到障礙時(shí)用語音提示用戶。但語音交互的人機(jī)界面便于用戶使用,無需額外的學(xué)習(xí)訓(xùn)練,只要用戶采用智能輪椅能夠識(shí)別的語句就能自如地駕駛輪椅。這種人機(jī)界面在家庭和辦公室等比較狹窄和動(dòng)態(tài)障礙物較多的環(huán)境里即使能也很難完全實(shí)現(xiàn)控制功能,還需要開發(fā)一些輔助的導(dǎo)航方式。 圖2智能輪椅3.2采用眼動(dòng)電圖技術(shù)的智能輪椅人們每天都要通過眼睛來完成許多不同的任務(wù),如讀、寫、學(xué)習(xí)新事物、獲取環(huán)境信息、抓

13、取東西、與其他人交流等。另據(jù)研究顯示,人的視線在±30°之間電動(dòng)眼圖的電壓呈線性分布,所以,人的這種控制視線方向的能力也可以用于與機(jī)器的交流。 眼動(dòng)電圖(Electro oculography,EOG是通過記錄角膜和視網(wǎng)膜之間極化和去極化所產(chǎn)生的電壓感測(cè)眼球運(yùn)動(dòng)的方法。智能輪椅中所采用的眼動(dòng)電圖是通過在眼睛周圍放置5個(gè)電極而獲得的。如圖3所示,在左眼和右眼的外眼角分別放置2個(gè)電極(1和2,用于檢測(cè)眼球的水平運(yùn)動(dòng);在右眼(或左眼的上、下分別放置2個(gè)電極(4和5,用于檢測(cè)眼球的垂直運(yùn)動(dòng);前額放置的電極3為參考電壓。系統(tǒng)的控制目的是通過電壓的測(cè)量確定人的視線實(shí)時(shí)地控制輪椅的角速度

14、和線速度。檢測(cè)到的眼球的運(yùn)動(dòng)可以轉(zhuǎn)化為如下的速度控制(閉眼表示停止:向上(U P:增加線速度(V +;向下(DOWN :減小線速度(V -;向右(RIGHT :增加角速度(W +;向左(LEFT :減小角速度(W -。 圖3電極布置圖這種人機(jī)界面適用于可以控制自己眼睛的運(yùn)動(dòng)并可以自由地做其他事的人。用戶要對(duì)該系統(tǒng)進(jìn)行使用前的訓(xùn)練,研究顯示殘疾人大約需要15min 就能掌握該系統(tǒng)。開發(fā)人員在設(shè)計(jì)時(shí)要考慮到如眨眼等多種干擾,另外,還可附加其他的控制方式以確保輪椅駕駛的安全性和穩(wěn)定性。3.3采用頭部運(yùn)動(dòng)來驅(qū)動(dòng)的智能輪椅3人們總是偏轉(zhuǎn)頭部看著他們想要去的方向,轉(zhuǎn)彎時(shí)頭部又會(huì)不斷地改變方向,最后完成轉(zhuǎn)彎

15、時(shí)頭部也自然地面向正前方。人們的這種幾乎是無意識(shí)的轉(zhuǎn)頭行為也可以用于驅(qū)動(dòng)控制,且具有自校正的特性。頭部運(yùn)動(dòng)驅(qū)動(dòng)的人機(jī)界面只需考慮頭部繞縱軸的轉(zhuǎn)動(dòng)即可。原理大致如下:首先,系統(tǒng)通過攝取頭部圖像的黑白攝像頭提取較大的一塊皮膚區(qū)域即面部區(qū)域;其次,通過閾值處理,從面部區(qū)域中提取眼、眉、口、鼻等面部特征;再計(jì)算面部特征在縱軸上的投影,其中2個(gè)較為接近的峰值區(qū)域即為眼-眉區(qū)域;接著系統(tǒng)計(jì)算水平軸上的投影來確定眼眉區(qū)域的水平范圍;最后如圖4所示,沿兩眼質(zhì)心的連接線測(cè)量得到右眼尾部距臉部右側(cè)邊緣線的距離,記為L(zhǎng) r ,同樣地,得到左眼的L l 。比較兩者的值,就可以判斷出頭部的轉(zhuǎn)向。除此之外,還可以用更為精

16、確的面部匹配的方法得到頭部的轉(zhuǎn)向。圖4測(cè)量簡(jiǎn)圖這種人機(jī)界面,用戶使用起來方便,不會(huì)覺得是一種負(fù)擔(dān)。設(shè)計(jì)時(shí)除了相關(guān)的技術(shù)處理以外,還要采取一定的方法與用戶的非控制命令動(dòng)作區(qū)分開,如系統(tǒng)可以僅對(duì)較慢而穩(wěn)定的面部運(yùn)動(dòng)產(chǎn)生動(dòng)作。3.4采用呼吸驅(qū)動(dòng)的智能輪椅4呼吸驅(qū)動(dòng)模塊作為智能輪椅的人機(jī)界面實(shí)際上是作為另一種方式來激活駕駛系統(tǒng)的控制按鈕,用戶可以簡(jiǎn)單地在一個(gè)壓力開關(guān)上吹氣來激活期望的輸出從而實(shí)現(xiàn)對(duì)輪椅的控制。西班牙SIAMO 智能輪椅中所采用的呼吸驅(qū)動(dòng)模塊基本上是實(shí)時(shí)驅(qū)動(dòng)的。其關(guān)鍵技術(shù)為差動(dòng)氣流傳感器。該模塊可以檢測(cè)輸入的呼吸氣流的強(qiáng)度和方向,輸出經(jīng)過處理和編碼后的控制命令傳送到導(dǎo)航模塊。傳感器的信號(hào)

17、可以被分為5個(gè)等級(jí):強(qiáng)吹、弱吹、無吹氣、弱吸和強(qiáng)吸,用于控制輪椅的線速度;檢測(cè)到的氣流的方向用于控制輪椅的角速度。為了區(qū)別于自然的空氣流動(dòng),需要對(duì)傳感器的輸出信號(hào)設(shè)定驅(qū)動(dòng)閾值。由于環(huán)境溫度等外部因素會(huì)產(chǎn)生漂移,該驅(qū)動(dòng)閾值是 動(dòng)態(tài)給定的。圖5呼吸驅(qū)動(dòng)單元流程圖通過這種簡(jiǎn)單易行的呼吸編碼既可以控制輪椅的線速度,也可以控制輪椅的角速度以及急停。該系統(tǒng)反應(yīng)迅速,允許在狹窄空間、公眾場(chǎng)合、走廊等處行走甚至可以通過較寬的門。但目前該種差動(dòng)氣流傳感器在國(guó)內(nèi)很少,進(jìn)行該方面的設(shè)計(jì)研究應(yīng)用現(xiàn)在還不多。但用戶使用較為方便。3.5采用手勢(shì)來驅(qū)動(dòng)的智能輪椅3在現(xiàn)實(shí)生活中,人們經(jīng)常用手指向某個(gè)物體,抓取、移動(dòng)或放置等,

18、這樣就可以通過手勢(shì)的指向來獲取控制信息。用戶帶上綠色(或紅色手套,將CCD 攝像頭得到的圖像信息通過基于光澤度的顏色分離來提取手部區(qū)域的圖像。系統(tǒng)再通過計(jì)算手部區(qū)域的面積、質(zhì)心和食指指尖的位置等得到一個(gè)特征向量,從而獲得方向等控制指令。為了獲得較多的控制性能并與其他的非控制命令區(qū)分開,多采用雙手圖像識(shí)別。該系統(tǒng)在技術(shù)上主要采用圖像識(shí)別技術(shù),用戶使用起來也較為方便。4多模態(tài)智能輪椅上面介紹的各種人機(jī)界面,各有所長(zhǎng),但為了適合不同用戶和不同場(chǎng)合的需要,一臺(tái)智能輪椅通常裝有多種人機(jī)界面,例如美國(guó)麻省理工智能實(shí)驗(yàn)室的智能輪椅威爾斯利有3種人機(jī)界面:前方筆記本電腦上的菜單界面、操縱桿以及眼動(dòng)電圖的控制界

19、面。我國(guó)中科院的多模態(tài)智能輪椅的人機(jī)界面包括屏幕菜單和語音交互的人機(jī)界面,另外還開發(fā)了頭部運(yùn)動(dòng)驅(qū)動(dòng)方式。這樣既可以提高輪椅運(yùn)行的可靠性,又可以方便用戶,不過也提高了造價(jià)。5可能的其他領(lǐng)域的應(yīng)用上述的幾種人機(jī)界面友好和諧,可以推廣到虛擬現(xiàn)實(shí)、遠(yuǎn)程控制、航空航天、醫(yī)學(xué)實(shí)習(xí)、建筑設(shè)計(jì)、軍事訓(xùn)練、體育訓(xùn)練、娛樂游戲等領(lǐng)域。例如:頭部運(yùn)動(dòng)或手勢(shì)控制的人機(jī)界面,在某種程度上可以代替虛擬現(xiàn)實(shí)技術(shù)中的頭盔或數(shù)據(jù)手套;宇航員在太空失重的情況下運(yùn)動(dòng)不方便,可以采用眼動(dòng)電圖在太空艙中進(jìn)行操作。6結(jié)語以上所介紹的幾種在智能輪椅上應(yīng)用的較有特色的人機(jī)界面,考慮了生理學(xué)、心理學(xué)和技術(shù)學(xué)等多方面的因素,極大地方便了使用者,體現(xiàn)了“以人為本”的服務(wù)機(jī)器人的特點(diǎn),具有很高的應(yīng)用價(jià)值和廣泛的市場(chǎng)前景。參考文獻(xiàn)1程景云,等.人機(jī)界面設(shè)計(jì)與開發(fā)工具M(jìn) .北京:電子工業(yè)出版社,1994.2Gabr iel Pires,Ur bano Nunes.A wheelchairsteered through voice commands and assisted by a reactive fuzzy logic con