人機(jī)交互技術(shù)及其應(yīng)用科普

人機(jī)交互技術(shù)及其應(yīng)用(科普)信息技術(shù)的高速發(fā)展對人類生產(chǎn)、生活帶來了廣泛而深刻的影響。高科技成果為人們帶來便捷、快樂的同時(shí)，也促進(jìn)著人機(jī)交互技術(shù)的發(fā)展。作為信息技術(shù)的重要內(nèi)容，人機(jī)交互技術(shù)比計(jì)算機(jī)硬件和軟件技術(shù)的發(fā)展要滯后許多，已成為人類運(yùn)用信息技術(shù)深入探索和認(rèn)識客觀世界的瓶頸。因此，人機(jī)交互技術(shù)已成為21世紀(jì)信息領(lǐng)域亟需解決的重大課題和當(dāng)前信息產(chǎn)業(yè)競爭的一個焦點(diǎn)，世界各國都將人機(jī)交互技術(shù)作為重點(diǎn)研究的一項(xiàng)關(guān)鍵技術(shù)，例如，在美國21世紀(jì)信息技術(shù)計(jì)劃中，將軟件、人機(jī)交互、網(wǎng)絡(luò)、高性能計(jì)算列為基礎(chǔ)研究內(nèi)容，美國國防關(guān)鍵技術(shù)計(jì)劃也把人機(jī)交互列為軟件技術(shù)發(fā)展的重要內(nèi)容之一，在我國的“863”、“973”和自然科學(xué)基金等項(xiàng)目中，也將人機(jī)自然交互理論與方法作為信息技術(shù)中需要解決的關(guān)鍵科學(xué)問題。一、人機(jī)交互的概念人機(jī)交互(Human-ComputerInteraction，HCI)是關(guān)于設(shè)計(jì)、評價(jià)和實(shí)現(xiàn)供人們使用的交互式計(jì)算機(jī)系統(tǒng)，且圍繞這些方面主要現(xiàn)象進(jìn)行研究的科學(xué)，狹義的講，人機(jī)交互技術(shù)主要是研究人與計(jì)算機(jī)之間的信息交換，它主要包括人到計(jì)算機(jī)和計(jì)算機(jī)到人的信息交換兩部分。人們可以借助鍵盤、鼠標(biāo)、操縱桿、數(shù)據(jù)服裝、眼動跟蹤器、位置跟蹤器、數(shù)據(jù)手套、壓力筆等設(shè)備，用手、腳、聲音、姿勢或身體的動作、眼睛甚至腦電波等向計(jì)算機(jī)傳遞信息，同時(shí)，計(jì)算機(jī)通過打印機(jī)、繪圖儀、顯示器、頭盔式顯示器、音箱等輸出或顯示設(shè)備給人提供信息。人機(jī)交互與計(jì)算機(jī)科學(xué)、人機(jī)工程學(xué)、多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)、心理學(xué)、認(rèn)知科學(xué)和社會學(xué)以及人類學(xué)等諸多學(xué)科領(lǐng)域有密切的聯(lián)系，其中，認(rèn)知心理學(xué)與人機(jī)工程學(xué)是人機(jī)交互技術(shù)的理論基礎(chǔ)，而多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)與人機(jī)交互技術(shù)相互交叉和滲透。作為是信息技術(shù)的一個重要組成部分，人機(jī)交互將繼續(xù)對信息技術(shù)的發(fā)展產(chǎn)生巨大的影響。人機(jī)交互的研究內(nèi)容人機(jī)交互的研究內(nèi)容十分廣泛，涵蓋了建模、設(shè)計(jì)、評估等理論和方法以及在移動計(jì)算、虛擬現(xiàn)實(shí)等方面的應(yīng)用研究與開發(fā)，在此列出幾個主要的方向：人機(jī)交互界面表示模型與設(shè)計(jì)方法(ModelandMethodology)一個交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機(jī)交互界面的開發(fā)離不開好的交互模型與設(shè)計(jì)方法。因此，研究人機(jī)交互界面的表示模型與設(shè)計(jì)方法，是人機(jī)交互的重要研究內(nèi)容之一。可用性分析與評估(UsabilityandEvaluation)可用性是人機(jī)交互系統(tǒng)的重要內(nèi)容，它關(guān)系到人機(jī)交互能否達(dá)到用戶期待的目標(biāo)，以及實(shí)現(xiàn)這一目標(biāo)的效率與便捷性。人機(jī)交互系統(tǒng)的可用性分析與評估的研究主要涉及到支持可用性的設(shè)計(jì)原則和可用性的評估方法等。多通道交互技術(shù)(Multi-Modal)在多通道交互中，用戶可以使用語音、手勢、眼神、表情等自然的交互方式與計(jì)算機(jī)系統(tǒng)進(jìn)行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評估方法以及多通道信息的融合等。其中，多通道整合是多通道用戶界面研究的重點(diǎn)和難點(diǎn)。認(rèn)知與智能用戶界面(RecognitionandIntelligentUserInterface)智能用戶界面(IntelligentUserInterface，IUI)的最終目標(biāo)是使人機(jī)交互和人－人交互一樣自然、方便。上下文感知、眼動跟蹤、手勢識別、三維輸入、語音識別、表情識別、手寫識別、自然語言理解等都是認(rèn)知與智能用戶界面需要解決的重要問題。虛擬環(huán)境(VirtualEnvironment)中的人機(jī)交互“以人為本”的、自然和諧的人機(jī)交互理論和方法是虛擬現(xiàn)實(shí)的主要研究內(nèi)容之一。通過研究視覺、聽覺、觸覺等多通道信息融合的理論和方法、協(xié)同交互技術(shù)以及三維交互技術(shù)等，建立具有高度真實(shí)感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺。移動界面設(shè)計(jì)(MobileandUbicomp)移動計(jì)算(MobileComputing)、普適計(jì)算(UbiquitousComputing)等對人機(jī)交互技術(shù)提出了更高的要求，面向移動應(yīng)用的界面設(shè)計(jì)問題已成為人機(jī)交互技術(shù)研究的一個重要應(yīng)用領(lǐng)域。針對移動設(shè)備的便攜性、位置不固定性和計(jì)算能力有限性以及無線網(wǎng)絡(luò)的低帶寬高延遲等諸多的限制，研究移動界面的設(shè)計(jì)方法，移動界面可用性與評估原則，移動界面導(dǎo)航技術(shù)，以及移動界面的實(shí)現(xiàn)技術(shù)和開發(fā)工具，是當(dāng)前的人機(jī)交互技術(shù)的研究熱點(diǎn)之一。三、 人機(jī)交互技術(shù)的發(fā)展自1946年世界上第一臺數(shù)字計(jì)算機(jī)誕生以來，計(jì)算機(jī)為人的能力的擴(kuò)展提供了巨大的幫助，作為計(jì)算機(jī)系統(tǒng)的一個重要組成部分，人機(jī)交互一直伴隨著計(jì)算機(jī)的發(fā)展而發(fā)展。人機(jī)交互的發(fā)展過程，也是人適應(yīng)計(jì)算機(jī)到計(jì)算機(jī)不斷地適應(yīng)人的發(fā)展過程。從人機(jī)界面（Interface）的到人機(jī)交互（Interaction），從1969年第一次人機(jī)系統(tǒng)國際大會，到2010年的中國人機(jī)交互研討會，人機(jī)交互理論和技術(shù)經(jīng)歷了多個階段的發(fā)展。特別是20世紀(jì)90年代后期以來，人機(jī)交互的研究重點(diǎn)放在了智能化交互，多模態(tài)（多通道） -多媒體交互，虛擬交互以及人機(jī)協(xié)同交互等方面，也就是放在以人為在中心的人機(jī)交互技術(shù)方面。概括地講，人機(jī)交互的發(fā)展經(jīng)歷了以下幾個階段： （1）早期的手工作業(yè)階段；（2）作業(yè)控制語言及交互命令語言階段 ；（3）圖形用戶界面（GUI）階段；（4）網(wǎng)絡(luò)用戶界面的出現(xiàn) ；（5）多通道、多媒體的智能人機(jī)交互階段；（6）虛擬交互界面。鼠標(biāo)的出現(xiàn)，使人們更流暢地進(jìn)行人機(jī)交互。與鍵盤中的方向鍵相比，它顯然更加符合人的自然習(xí)慣。這是人機(jī)交互的第一次革命。鍵盤與鼠標(biāo)的人機(jī)交互組合，從PC時(shí)代一直延續(xù)到互聯(lián)網(wǎng)時(shí)代，并無太大改變，直到智能手機(jī)和多點(diǎn)觸摸的出現(xiàn)。迅速普及的多點(diǎn)觸摸技術(shù)，是人機(jī)交互史上的第二次革命，而引領(lǐng)它的又是蘋果公司與它的革命性手機(jī) iPhone。多點(diǎn)觸摸打開了另外一扇窗戶，它讓所有人意識到其實(shí)鍵盤可以成為觸摸的一部分，而很多命令其實(shí)能通過多個手指在觸摸屏上劃動方式的不同來完成，比如放大和縮小圖片。問世不久的Kinect則可以稱得上人機(jī)交互的引領(lǐng)新潮流的第三次革命。它整合了具有革命性的技術(shù)一3D圖片識別與視頻捕捉，加上硬件體驗(yàn)的不斷優(yōu)化，再加上對應(yīng)其特性的專屬游戲開發(fā)，在游戲這一特定的應(yīng)用場景對技術(shù)的強(qiáng)化，最終塑造了Kinect這一人機(jī)互動的革命性產(chǎn)品。四、 自然和諧的人機(jī)交互當(dāng)前，虛擬現(xiàn)實(shí)、移動計(jì)算、普適計(jì)算等新技術(shù)發(fā)展迅速，對人機(jī)交互技術(shù)提出了新的挑戰(zhàn)和更高的要求，同時(shí)也提供了許多新的機(jī)遇。在這一階段，自然和諧的人機(jī)交互方式得到了一定的發(fā)展，其主要特點(diǎn)是基于語音、手寫體、姿勢或者跟蹤、表情等輸入手段進(jìn)行多通道交互，其目的是使人能以聲音、動作、表情等自然方式進(jìn)行交互操作，這正是理想的人機(jī)交互所強(qiáng)調(diào)的“用戶自由”之所在。在自然和諧的人機(jī)交互的發(fā)展過程中，人們除了致力于研究開發(fā)友好的逼真的三維用戶界面，基于聲音、動作、表情等多種通道的自然交互方式，還發(fā)明了大量的新交互設(shè)備，如頭盔式立體顯示器，數(shù)據(jù)手套等。目前，對于人類重要的自然交互方式——語音和筆的交互技術(shù)，包括手寫識別、筆式交互、語音識別、語音合成、數(shù)字墨水（DigitalInk）等，其發(fā)展已經(jīng)有了很大的成效，如中科院自動化所開發(fā)的“漢王筆”手寫漢字識別系統(tǒng)，經(jīng)過近20年的研究和開發(fā)，已能識別27000漢字，當(dāng)用非草寫漢字、以每分鐘12個漢字的速度書寫時(shí)，識別率可達(dá) 99.8%；微軟亞洲研究院多通道用戶界面組發(fā)明的數(shù)字墨水技術(shù)，采用全新易操縱的筆交互設(shè)備、高質(zhì)量的墨水繪制技術(shù)、智慧的墨跡分析技術(shù)等，使它不僅可用作為文字識別、圖形繪制的輸入，而且作為一種全新的“Ink”數(shù)據(jù)模型，使手寫筆記更易閱讀、獲取、組織和使用。數(shù)字墨水技術(shù)已作為產(chǎn)品，結(jié)合在微軟的TabletPC操作系統(tǒng)中，產(chǎn)生了巨大的社會影響。它還將繼續(xù)發(fā)展，有可能成為新一代優(yōu)秀的自然交互設(shè)備；在筆式交互技術(shù)研究中，中國科學(xué)院軟件所人機(jī)交互技術(shù)與智能信息處理實(shí)驗(yàn)室在筆式交互軟件開發(fā)平臺、面向教學(xué)的筆式辦公套件（包括課件制作、筆式授課、筆式數(shù)學(xué)公式計(jì)算器、筆式簡譜制作等）、面向兒童的神筆馬良系統(tǒng)的開發(fā)應(yīng)用方面均有出色的工作，其中不少已經(jīng)實(shí)用化、產(chǎn)品化；IBM公司的ViaVoice，中國科學(xué)院自動化所“漢語連續(xù)語音聽寫系統(tǒng)”等等。虛擬現(xiàn)實(shí)（VirtualReality,VR技術(shù)的發(fā)展和進(jìn)步極大的推動了人機(jī)交互技術(shù)的發(fā)展。虛擬現(xiàn)實(shí)是借助于計(jì)算機(jī)技術(shù)及硬件設(shè)備，建立高度真實(shí)感的虛擬環(huán)境，使人們通過視覺、聽覺、觸覺、味覺、嗅覺等感官在其中看、聽、觸、聞起來像真實(shí)的，以產(chǎn)生身臨其境的感覺的一種技術(shù)。虛擬現(xiàn)實(shí)技術(shù)有三個鮮明特征：真實(shí)感、沉浸感和交互性。其中，自然和諧的交互方式也是虛擬現(xiàn)實(shí)技術(shù)的一個重要研究內(nèi)容，其目的是使人能以聲音、動作、表情等自然方式與虛擬世界中的對象進(jìn)行交互 ,人們除了致力于研究開發(fā)虛擬友好的用戶界面，還發(fā)明了大量的三維交互設(shè)備，如立體眼鏡、WorkBench、頭盔式顯示器、洞穴式立體顯示器（CAVE、墻式大屏幕立體顯示器、數(shù)據(jù)服裝、位置跟蹤器、眼動跟蹤器、觸覺和力反饋裝置、三維掃描設(shè)備、三維鼠標(biāo)、三維跟蹤球、三維游戲桿等等。雖然人機(jī)交互并不是虛擬現(xiàn)實(shí)的全部，但虛擬現(xiàn)實(shí)為人機(jī)交互的研究提供了很好的契機(jī)和媒介。五、 基于人手的人機(jī)交互技術(shù)與應(yīng)用自然人機(jī)交互模式是以直接操縱為主的的人機(jī)交互形式，而理想的人機(jī)交互模式就是要充分體現(xiàn)“用戶自由”。現(xiàn)在很多人使用觸摸屏是因?yàn)橛|摸屏更容易得心應(yīng)手，而在人的身體構(gòu)成上，人手是最為靈活的部件，具有高度的自由度，所以基于人手的交互，體現(xiàn)了人機(jī)交互的和諧自然所在。手勢是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段,手勢輸入是實(shí)現(xiàn)自然、直接人機(jī)交互不可缺少的關(guān)鍵技術(shù)。目前的手勢識別技術(shù)主要分為基于數(shù)據(jù)手套和基于視覺兩種。這兩種方法各有自己的長處，也都取得了一些研究成果，但都還不成熟。手勢輸入作為一種自然、豐富、直接的交互手段在人機(jī)交互技術(shù)中占有重要的地位。其研究內(nèi)容包括手勢的定義、手勢分割、手勢建模、手勢分析、手勢識別以及基于手勢的人機(jī)交互等。由于人手是一個復(fù)雜的非剛性的多鏈接物體,且手勢本身具有多義性、多樣性以及在時(shí)間和空間上存在差異性的特點(diǎn)，手勢的這種高維狀態(tài)表達(dá)是姿態(tài)估計(jì)中有效全局搜索真實(shí)手勢的最大障礙。濟(jì)南大學(xué) xx重點(diǎn)實(shí)驗(yàn)室結(jié)合計(jì)算機(jī)科學(xué)和認(rèn)知心理學(xué)等相關(guān)學(xué)科,對3D運(yùn)動人手跟蹤進(jìn)行多學(xué)科的交叉討論和研究，提出了基于認(rèn)知模型的運(yùn)動人手的三維跟蹤方法，并對涉及的關(guān)鍵問題進(jìn)行了研究。下面主要對基于人手的人機(jī)交互的應(yīng)用進(jìn)行概括和總結(jié)。(1)手語識別和合成中國科學(xué)院計(jì)算所研制成功了基于多功能感知的中國手語識別與合成系統(tǒng)，它采用數(shù)據(jù)手套可識別大詞匯量( 5177個)的手語詞。該系統(tǒng)建立了中國手語詞庫。對于給定文本句子 (可由正常人話語轉(zhuǎn)換而成)，自動合成相應(yīng)的人體運(yùn)動數(shù)據(jù)。最后用計(jì)算機(jī)人體動畫技術(shù)，將運(yùn)動數(shù)據(jù)應(yīng)用于虛擬人，由虛擬人完成合成的手語運(yùn)動。它可輸出大詞匯量的手語詞，為中國聾啞人的教育、生活提供了有用的輔助工具，使他們用手語與正常人的交流成為可能。(2)手勢遙控器澳大利亞、臺灣、日本的一些科學(xué)家和公司已經(jīng)發(fā)明了手勢遙控裝置，能夠使用簡單的手勢進(jìn)行家用電器，如電視、 DVD音響等的操作，進(jìn)行開關(guān)、音量調(diào)節(jié)、換頻道等。例如，握緊拳頭表示“開始” ，將手掌舒展開表示“開機(jī)”，用V字形手勢，再將手掌橫過來表示“選擇頻道” ，翹起大拇指則表示“向上調(diào)頻道”等。日本松下公司已經(jīng)試制了電視機(jī)用手勢輸入遙控器，遙控器在功能上類似于游戲手柄，用戶拿著它通過揮動就可實(shí)現(xiàn)對3D電視的控制。種手勢裝置的工作原理并不復(fù)雜，用戶將內(nèi)置有攝像頭的遙控裝置安裝在與電視和使用者均無視線阻隔的書架或桌子上即可，裝置內(nèi)的軟件可識別用戶事先儲存的簡單手勢，然后向一個可操控多種電器的遙控器發(fā)出信號，最終電器將按照使用者手勢“行事” 。

(3)教育領(lǐng)域：人機(jī)交互技術(shù)在教育領(lǐng)域的應(yīng)用正在興起，特別是基于人手的交互應(yīng)用，如虛擬白板，虛擬實(shí)驗(yàn)，以及方便課堂教學(xué)的其他應(yīng)用，例如騰訊的QQ手勢達(dá)人，它可以通過普通攝像頭來進(jìn)行手勢控制，拋棄了從電腦誕生之日起就一直使用的鍵盤和鼠標(biāo)，完全由手勢控制 PPT的演示，提供了PPT的啟動播放、上翻頁、下翻頁、結(jié)束播放等四個常用手勢命令。該類應(yīng)用主要是通過對手勢的識別進(jìn)行游戲的控制，例如基于微軟Kinect的體感游戲控制等。（5）醫(yī)學(xué)領(lǐng)域應(yīng)用外科手術(shù)操作學(xué)習(xí)/模擬可以通過構(gòu)建“手眼協(xié)調(diào)、實(shí)時(shí)交互、雙手操作”的虛擬現(xiàn)實(shí)系統(tǒng)提供通用的醫(yī)學(xué)外科手術(shù)模擬與操作學(xué)習(xí)。這些技術(shù)將可以用到需要雙手協(xié)同、手眼協(xié)調(diào)的各類精細(xì)操作任務(wù)中，例如醫(yī)療領(lǐng)域的牙科手術(shù)、腹腔鏡微創(chuàng)手術(shù)、眼科手術(shù)等，當(dāng)然也可以還可以用到軍事、航天等訓(xùn)練領(lǐng)域。這樣可以節(jié)約學(xué)習(xí)成本，提高學(xué)習(xí)的效率與準(zhǔn)確性。人手運(yùn)動功能虛擬康復(fù)依據(jù)康復(fù)醫(yī)學(xué)發(fā)展的需要和趨勢，可以將觸覺人機(jī)交互技術(shù)與人手運(yùn)動功能相結(jié)合進(jìn)行人手虛擬康復(fù)。例如，可以將具有力反饋功能的、能夠提供主動運(yùn)動、被動運(yùn)動、助力運(yùn)動和阻抗運(yùn)動等多種康復(fù)訓(xùn)練模式的人手康復(fù)交互裝置的設(shè)計(jì)理論和方法與傳感器進(jìn)行集成，對人手運(yùn)動技能進(jìn)行建模，模擬人手虛擬康復(fù)，從而通過視頻捕獲病人的人手運(yùn)動，進(jìn)行康復(fù)監(jiān)督和建議。（5） 工業(yè)領(lǐng)域：虛擬制造與設(shè)計(jì)在工業(yè)領(lǐng)域，可以通過基于人手的人機(jī)交互進(jìn)行虛擬裝配、產(chǎn)品設(shè)計(jì)等工作，從而可以節(jié)約成本，提高熟練度和便利。（6） 商業(yè)領(lǐng)域：包括娛樂產(chǎn)品設(shè)計(jì)，商業(yè)展覽，交互式櫥窗， KTV點(diǎn)歌等領(lǐng)域都可以通過基于人手的交互設(shè)計(jì)提高互動性和新穎性、便利性。例如，非接觸式互動櫥窗，該個系統(tǒng)有四個攝像頭，兩個用于追蹤手部的動作，兩個用來追蹤臉部和眼睛。經(jīng)過該櫥窗的行人，可以通過手勢來獲取商品信息在人機(jī)交互領(lǐng)域，更加大膽的創(chuàng)新精神正在被喚醒，視頻捕捉技術(shù)、語音識別技術(shù)、紅外遙感技術(shù)、多通道等等技術(shù)的整合發(fā)展，必然給人機(jī)交互技術(shù)的帶來前所未有的突破。新的技術(shù)層出不窮，人機(jī)交互技術(shù)的發(fā)展將帶給人們更多的科技技術(shù)的期盼和驚喜。在未來的計(jì)算機(jī)系統(tǒng)中，將更加強(qiáng)調(diào)“以人為本”、“自然、和諧”的交互方式，以實(shí)現(xiàn)人機(jī)高效合作。概括的