人機(jī)交互技術(shù)及其應(yīng)用(科普)

人機(jī)交互技術(shù)及其應(yīng)用〔科普〕術(shù)已成為21世紀(jì)信息領(lǐng)域亟需解決的重大課題和當(dāng)前信息產(chǎn)業(yè)競(jìng)爭(zhēng)的一個(gè)焦21世紀(jì)信息技術(shù)打算中，將軟件、人機(jī)交互、網(wǎng)絡(luò)、高性能計(jì)算列為根底爭(zhēng)論一，在我國(guó)的“863“973”和自然科學(xué)基金等工程中，也將人機(jī)自然交互理論與方法作為信息技術(shù)中需要解決的關(guān)鍵科學(xué)問(wèn)題。一、人機(jī)交互的概念人機(jī)交互〔Human-ComputerInteractoHCI〕人們使用的交互式計(jì)算機(jī)系統(tǒng)，且圍繞這些方面主要現(xiàn)象進(jìn)展?fàn)幷摰目茖W(xué)，息。對(duì)信息技術(shù)的進(jìn)展產(chǎn)生巨大的影響。二、人機(jī)交互的爭(zhēng)論內(nèi)容在移動(dòng)計(jì)算、虛擬現(xiàn)實(shí)等方面的應(yīng)用爭(zhēng)論與開(kāi)發(fā)，在此列出幾個(gè)主要的方向：人機(jī)交互界面表示模型與設(shè)計(jì)方法〔ModelandMethodoloy方法，是人機(jī)交互的重要爭(zhēng)論內(nèi)容之一?？捎眯苑治雠c評(píng)估〔UsabilityandEvalution爭(zhēng)論主要涉及到支持可用性的設(shè)計(jì)原則和可用性的評(píng)估方法等。戶界面爭(zhēng)論的重點(diǎn)和難點(diǎn)。認(rèn)知與智能用戶界面〔RecognitionandIntelligentUsernterface智能用戶界面IntelligentUserInte決的重要問(wèn)題。虛擬環(huán)境〔VirtualEnvironmn中的人機(jī)交互境”的感覺(jué)。移動(dòng)界面設(shè)計(jì)〔MobileandUbicom〕移動(dòng)計(jì)算MobileComputin、普適計(jì)算UbiquitousComputig工具，是當(dāng)前的人機(jī)交互技術(shù)的爭(zhēng)論熱點(diǎn)之一。三、人機(jī)交互技術(shù)的進(jìn)展應(yīng)人的進(jìn)展過(guò)程。從人機(jī)界面〔Interface〕的到人機(jī)交互〔Interaction，從1969年第一次人機(jī)系統(tǒng)國(guó)際大會(huì)，到 2022年的中國(guó)人機(jī)交互研討會(huì)，人機(jī)交互理論和技術(shù)經(jīng)受了多個(gè)階段的進(jìn)展特別是20世紀(jì)90年月后期以來(lái)，人機(jī)交互的爭(zhēng)論重點(diǎn)放在了智能化交互，多模態(tài)〔多通道〕 -多媒體交互，虛擬交互以及人機(jī)協(xié)同交互等方面，也就是放在以人為在中心的人機(jī)交互技術(shù)方面。概括地講，人機(jī)交互的進(jìn)展經(jīng)受了以下幾個(gè)階段： 〔1〕早期的手工作業(yè)階段〔2〕作業(yè)掌握語(yǔ)言及交互命令語(yǔ)言階段 〔3〕圖形用戶界面〔I階段〔4〕網(wǎng)絡(luò)用戶界面的消滅 〔5〕多通道、多媒體的智能人機(jī)交互〔6〕虛擬交互界面。它明顯更加符合人的自然習(xí)慣。這是人機(jī)交互的第一次革命。鍵盤(pán)與鼠標(biāo)的人機(jī)交互組合，從智能手機(jī)和多點(diǎn)觸摸的消滅?？焖倨占暗亩帱c(diǎn)觸摸技術(shù)，是人機(jī)交互史上的其次次革命，而引領(lǐng)它的又是蘋(píng)果公司與它的革命性手機(jī) 觸摸翻開(kāi)了另外一扇窗戶，它讓全部人意識(shí)到其實(shí)鍵盤(pán)可以成為觸摸的一局部，而很多命令其實(shí)能通過(guò)多個(gè)手指在觸摸屏上劃動(dòng)方式的不同來(lái)完成，比方放大和縮小圖片。問(wèn)世不久的Kinect3D加上硬件體驗(yàn)的不斷優(yōu)化，再加上對(duì)應(yīng)其特性的專(zhuān)屬玩耍開(kāi)發(fā)，在玩耍這一特定的應(yīng)用場(chǎng)景對(duì)技術(shù)的強(qiáng)化，最終塑造了 Kinect這一人機(jī)互動(dòng)的革命性產(chǎn)品。四、自然和諧的人機(jī)交互互技術(shù)提出了的挑戰(zhàn)和更高的要求，同時(shí)也供給了很多的機(jī)遇。在這一階段，自然和諧的人機(jī)交互方式得到了肯定的進(jìn)展，其主要特點(diǎn)是基于語(yǔ)音、手寫(xiě)體、姿勢(shì)或者跟蹤、表情等輸入手段進(jìn)展多通道交互，其目的是使人能以聲音、動(dòng)作、表情等自然方式進(jìn)展交互操作，這正是抱負(fù)的人機(jī)交互所強(qiáng)調(diào)的“用戶自由”之所在。的逼真的三維用戶界面，基于聲音、動(dòng)作、表情等多種通道的自然交互方式，還制造了大量的交互設(shè)備，如頭盔式立體顯示器，數(shù)據(jù)手套等。目前，對(duì)于人類(lèi)重要的自然交互方式——語(yǔ)音和筆的交互技術(shù)，包括手寫(xiě)識(shí)別、筆式交互、語(yǔ)音識(shí)別、語(yǔ)音合成、數(shù)字墨水〔 已經(jīng)有了很大的成效，如中科院自動(dòng)化所開(kāi)發(fā)的“漢王筆”手寫(xiě)漢字識(shí)別系統(tǒng)，經(jīng)過(guò)近20年的爭(zhēng)論和開(kāi)發(fā)，已能識(shí)別27000漢字，當(dāng)用非草寫(xiě)漢字、以每分鐘12個(gè)漢字的速度書(shū)寫(xiě)時(shí)，識(shí)別率可達(dá) 院多通道用戶界面組制造的數(shù)字墨水技術(shù)，承受全易操縱的筆交互設(shè)備、高質(zhì)量的墨水繪制技術(shù)、才智的墨跡分析技術(shù)等，使它不僅可用作為文字識(shí)別、圖形繪制的輸入，而且作為一種全的“ Ink”數(shù)據(jù)模型，使手寫(xiě)筆記更易閱讀、獵取、組織和使用。數(shù)字墨水技術(shù)已作為產(chǎn)品，結(jié)合在微軟的TabletPC操作系統(tǒng)中，產(chǎn)生了巨大的社會(huì)影響。它還將連續(xù)進(jìn)展，有可能成為一代優(yōu)秀的自然交互設(shè)備 交互技術(shù)爭(zhēng)論中，中國(guó)科學(xué)院軟件所人機(jī)交互技術(shù)與智能信息處理試驗(yàn)室在筆式交互軟件開(kāi)發(fā)平臺(tái)、面對(duì)教學(xué)的筆式辦公套件〔包括課件制作、筆式授課、筆式數(shù)學(xué)公式計(jì)算器、筆式簡(jiǎn)譜制作等〕、面對(duì)兒童的神筆馬良系統(tǒng)的開(kāi)發(fā)應(yīng)用方面均有精彩的工作，其中不少已經(jīng)有用化、產(chǎn)品化；IBMViaVoice院自動(dòng)化所“漢語(yǔ)連續(xù)語(yǔ)音聽(tīng)寫(xiě)系統(tǒng)”等等。虛擬現(xiàn)實(shí)〔VirtualRealityVR〕技術(shù)的進(jìn)展和進(jìn)步極大的推動(dòng)了人機(jī)交互技術(shù)的進(jìn)展。虛擬現(xiàn)實(shí)是借助于計(jì)算機(jī)技術(shù)及硬件設(shè)備，建立高度聲音、動(dòng)作、表情等自然方式與虛擬世界中的對(duì)象進(jìn)展交互 ,人們除了致力于爭(zhēng)論開(kāi)發(fā)虛擬友好的用戶界面，還制造了大量的三維交互設(shè)備，如立體眼鏡、WorkBench、頭盔式顯示器、地窖式立體顯示器〔 幕立體顯示器、數(shù)據(jù)服裝、位置跟蹤器、眼動(dòng)跟蹤器、觸覺(jué)和力反響裝置、三維掃描設(shè)備、三維鼠標(biāo)、三維跟蹤球、三維玩耍桿等等。雖然人機(jī)交互和媒介。五、基于人手的人機(jī)交互技術(shù)與應(yīng)用自然人機(jī)交互模式是以直接操縱為主的的人機(jī)交互形式，而抱負(fù)的人機(jī)交互模式就是要充分表達(dá)“用戶自由”?，F(xiàn)在很多人使用觸摸屏是由于觸摸屏更簡(jiǎn)潔得心應(yīng)手，而在人的身體構(gòu)成上，人手是最為敏捷的部件，具有高度的自由度，所以基于人手的交互，表達(dá)了人機(jī)交互的和諧自然所在。手勢(shì)是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段 由于人手是一個(gè)簡(jiǎn)單的非剛性的多鏈接物體,且手勢(shì)本身具有多義性、多樣性以及在時(shí)間和空間上存在差異性的特點(diǎn)，手勢(shì)的這種高維狀態(tài)表達(dá)是姿勢(shì)估量中有效全局搜尋真實(shí)手勢(shì)的最大障礙。濟(jì)南大學(xué) 結(jié)合計(jì)算機(jī)科學(xué)和認(rèn)知心理學(xué)等相關(guān)學(xué)科,對(duì)3D運(yùn)動(dòng)人手跟蹤進(jìn)展多學(xué)科的穿插爭(zhēng)論和爭(zhēng)論，提出了基于認(rèn)知模型的運(yùn)動(dòng)人手的三維跟蹤方法，并概括和總結(jié)。手語(yǔ)識(shí)別和合成中國(guó)科學(xué)院計(jì)算所研制成功了基于多功能感知的中國(guó)手語(yǔ)識(shí)別與合成系統(tǒng)，它承受數(shù)據(jù)手套可識(shí)別大詞匯量〔5177個(gè)〕的手語(yǔ)詞。該系統(tǒng)建立了中國(guó)手語(yǔ)詞庫(kù)。對(duì)于給定文本句子 (可由正常人話語(yǔ)轉(zhuǎn)換而成)，自動(dòng)合成相應(yīng)的人體運(yùn)動(dòng)數(shù)據(jù)。最終用計(jì)算機(jī)人體動(dòng)畫(huà)技術(shù)，將運(yùn)動(dòng)數(shù)據(jù)應(yīng)用于的溝通成為可能。手勢(shì)遙控器澳大利亞、臺(tái)灣、日本的一些科學(xué)家和公司已經(jīng)制造了手勢(shì)遙控裝置，能夠使用簡(jiǎn)潔的手勢(shì)進(jìn)展家用電器，如電視、 DVD、音響等的操作，進(jìn)展開(kāi)關(guān)、音量調(diào)整、換頻道等。例如，握緊拳頭表示“開(kāi)頭”，將手掌伸開(kāi)放表示“開(kāi)機(jī)”，用Ｖ字形手勢(shì)，再將手掌橫過(guò)來(lái)表示“選擇頻道” 大拇指則表示“向上調(diào)頻道”等。日本松下公司已經(jīng)試制了電視機(jī)用手勢(shì)輸入遙控器，遙控器在功能上類(lèi)似于玩耍手柄，用戶拿著它通過(guò)揮動(dòng)就可實(shí)現(xiàn)的遙控裝置安裝在與電視和使用者均無(wú)視線阻隔的書(shū)架或桌子上即可，裝置內(nèi)的軟件可識(shí)別用戶事先儲(chǔ)存的簡(jiǎn)潔手勢(shì)，然后向一個(gè)可操控多種電器的遙控器發(fā)出信號(hào)，最終電器將依據(jù)使用者手勢(shì)“行事”。教育領(lǐng)域：人機(jī)交互技術(shù)在教育領(lǐng)域的應(yīng)用正在興起，特別是基于人手的交互應(yīng)用，如虛擬白板，虛擬試驗(yàn)，以及便利課堂教學(xué)的其他應(yīng)用，例如騰訊的QQ之日起就始終使用的鍵盤(pán)和鼠標(biāo)，完全由手勢(shì)掌握PPTPPT的啟動(dòng)播放、上翻頁(yè)、下翻頁(yè)、完畢播放等四個(gè)常用手勢(shì)命令。玩耍掌握：該類(lèi)應(yīng)用主要是通過(guò)對(duì)手勢(shì)的識(shí)別進(jìn)展玩耍的掌握，例如基于微軟Kinect醫(yī)學(xué)領(lǐng)域應(yīng)用外科手術(shù)操作學(xué)習(xí)/模擬可以通過(guò)構(gòu)建“手眼協(xié)調(diào)、實(shí)時(shí)交互、雙手操作”的虛擬現(xiàn)實(shí)系統(tǒng)供給手眼協(xié)調(diào)的各類(lèi)精細(xì)操作任務(wù)中，例如醫(yī)療領(lǐng)域的牙科手術(shù)、腹腔鏡微創(chuàng)手術(shù)、眼科手術(shù)等，固然也可以還可以用到軍事、航天等訓(xùn)練領(lǐng)域。這樣可以節(jié)約學(xué)習(xí)本錢(qián)，提高學(xué)習(xí)的效率與準(zhǔn)確性。人手運(yùn)動(dòng)功能虛擬康復(fù)動(dòng)功能相結(jié)合進(jìn)展人手虛擬康復(fù)。例如，可以將具有力反響功能的、能夠供給主動(dòng)運(yùn)動(dòng)、被動(dòng)運(yùn)動(dòng)、助力運(yùn)動(dòng)和阻抗運(yùn)動(dòng)等多種康復(fù)訓(xùn)練模式的人手康復(fù)交互裝置的設(shè)計(jì)理論和方法與傳感器進(jìn)展集成，對(duì)人手運(yùn)動(dòng)技能進(jìn)展建模，模擬人手虛擬康復(fù)，從而通過(guò)視頻捕獲病人的人手運(yùn)動(dòng)，進(jìn)展康復(fù)監(jiān)視和建議。工業(yè)領(lǐng)域：虛擬制造與設(shè)計(jì)工作，從而可以節(jié)約本錢(qián)，提高嫻熟度和便利。包括消遣產(chǎn)品設(shè)計(jì)，商業(yè)展覽，交互式櫥窗，KTV包括消遣產(chǎn)品設(shè)計(jì)，商業(yè)展覽，交互式櫥窗，KTV過(guò)基于人手的交互設(shè)計(jì)提高互動(dòng)性和穎性、便利性。例如，非接觸式互動(dòng)櫥窗，該個(gè)系統(tǒng)有四個(gè)攝像頭，兩個(gè)用于追蹤手部的動(dòng)作，兩個(gè)用來(lái)追蹤臉部和眼睛。經(jīng)過(guò)該櫥窗的行人，可以通過(guò)手勢(shì)來(lái)獵取商品信息六、人機(jī)交互的將來(lái)在人機(jī)交互領(lǐng)域，更加大膽的創(chuàng)精神正在被喚醒，視頻捕獲技術(shù)、將帶給人們更多的科技技術(shù)的期盼和驚喜。的交互方式，以實(shí)現(xiàn)人機(jī)高效合作。概括的講，一代的人機(jī)交互技術(shù)的進(jìn)展將主要圍繞以下幾個(gè)方面：集成化：可見(jiàn)和不行見(jiàn)界面，二維與三維輸入，直接與間接操縱，語(yǔ)音、手勢(shì)、表情、眼動(dòng)、唇動(dòng)、頭動(dòng)、肢體姿勢(shì)、觸覺(jué)、嗅覺(jué)、味覺(jué)以及鍵盤(pán)、鼠標(biāo)等網(wǎng)絡(luò)化：要求。一代的人機(jī)交互技術(shù)需要考慮在不同設(shè)備、不同網(wǎng)絡(luò)、不同平臺(tái)之間的無(wú)縫過(guò)渡和擴(kuò)展，支持人們通過(guò)跨地域的網(wǎng)絡(luò)〔有線與無(wú)線、電信網(wǎng)與互聯(lián)網(wǎng)等〕在世界上任何地方用多種簡(jiǎn)潔的自然方式進(jìn)展人機(jī)交互，而且包括支持多個(gè)用戶之間以協(xié)作的方式進(jìn)展交互。另外，網(wǎng)格技術(shù)的進(jìn)展也為人機(jī)交互技術(shù)的進(jìn)展供給了很好的機(jī)遇。智能化：目前，用戶使用鍵盤(pán)和鼠標(biāo)等設(shè)備進(jìn)展的交互輸入都是準(zhǔn)確的輸入，人們?cè)谏钪谐３Ａ?xí)慣于使用大量的非準(zhǔn)確