人機交互課件(清華大學出版)第1章_緒論

1、主要介紹以下幾個方面的內容：人機交互的概念人機交互與其他相關學科的關系 人機交互的研究內容 人機交互的發(fā)展歷史及趨勢1-1什么是人機交互e信息技術的高速發(fā)展對人類生產(chǎn)、生活帶來了廣泛而深刻的影響?！吧暇W(wǎng)沖浪”、“數(shù)碼相機”、PDA、“優(yōu)盤”、“彩屏手 機”、“藍牙技術”等新產(chǎn)品、新概念層出不窮，不斷沖擊著人們 的機聽。這些高科技成果為人們帶來便捷、快樂的同時，也促進著 人k交互技術的發(fā)展。作為信息技術的重要內容，人機交互技術比 計算機硬件和軟件技術的發(fā)展要滯后許多，已成為人類運用信息技 術深入探索和認識客觀世界的瓶頸。因此，人機交互技術已成為21 世紀信息領域亟需解決的重大課題，引起了世界許多

2、國家的高度重 視。在美國21世紀信息技術計劃中，將軟件、人機交互、網(wǎng)絡、高性能計算列為基礎研究內容。美國國防關鍵技術計劃也把人機交互列為軟件技術發(fā)展的重要內容之一。我國“973”計劃項目“虛擬現(xiàn)實的基礎理論、算法及其實現(xiàn)”中，將虛擬環(huán)境的真實感知與自然交互理論與方法作為信息技術中需要解決的關鍵科學問題。人機交互技術編寫組3人機交互(Hwiian-Coiupirtei、Interaction, HCI)是關于設計、評價和實現(xiàn)供人們使用的交互式計算機系統(tǒng)，且圍繞這些方面主要 現(xiàn)萍進行研究的科學(ACM SIGCHI, 1992,第6頁)。狹義的講，人機交互技術主要是研究人與計算機之間的信 息交換，

3、它主要包括人到計算機和計算機到人的信息交換兩部分。對于前者，人們可以借助鍵盤、鼠標、操縱桿、數(shù)據(jù)服裝、 眼動跟蹤器、位置跟蹤器、數(shù)據(jù)手套、壓力筆等設備，用手、腳、 聲音、姿勢或身體的動作、眼睛甚至腦電波等向計算機傳遞信息; 對于后者，計算機通過打印機、繪圖儀、顯示器、頭盔式顯示器 (HMD)、音箱等輸岀或顯示設備給人提供信息。它涉及到計算機科學、心理學、認知科學和社會學以及人類學:等諸多學科，是信息技術的一個重要組成部分，并將繼續(xù)對信息技 術前發(fā)展產(chǎn)生巨大的影響。人機界面(Hinnan-Machine Interface, HMI)作為計算機系統(tǒng)的重要組成部分，主要是指人類與計算機系統(tǒng)之間的通

4、信方式，它 是人機雙向信息交換的支持軟件和硬件。交互設計(Interaction Design)指的是“設計支持人們日常 工作與生活的交互產(chǎn)品”,具體的講就是關于創(chuàng)建新的用戶體驗的問題，其目的是增強和擴充人們工作、通訊及交互的方式。1. 2人機交互與其他學科的關系人機交互技術與認知心理學、人機工程學、多媒體技術和虛找現(xiàn)實技術密切相關。其中，認知心理學與人機工程學是人機交互扌 術的理論基礎，而多媒體技術和虛擬現(xiàn)實技術與人機交互技術相互 交叉和滲透，其關系如圖it所示。121認知心理學認知心理學（CognitivePsychology）是20世紀50年代中期在 西茸興起的一種心理學思潮,在20世紀

5、70年代成為西方心理學的亠 個主要研究方向。它研究人的高級心理過程，主要是認識過程，加 注意、知覺、表象、記憶、思維和語言等，從心理學的觀點研究人 機交互的原理。該領域研究包括如何通過視覺、聽覺等接受和理解 來周圍環(huán)境的信息的感知過程，以及通過人腦進行記憶、思維、 推理、學習和解決問題等人的心理活動的認識過程。其中人腦的認 知模型神經(jīng)元網(wǎng)絡及其模型，已經(jīng)成為新一代計算機、人工智 能等領域中最熱門的研究課題之一。認知心理學在人機界面設計方 面具有非常重要作用，是人機交互技術的重要理論基礎。122人機工程學人機工程學是運用生理學、心理學和醫(yī)學等有關知識，研究人 備甘境相互間的合理關系，以保證人們安

6、全、健康、舒適地工作，從而提高整個系統(tǒng)工效的新興邊緣科學。在人機界面學處于 初創(chuàng)和奠基階段的時候，人機工程學是最活躍、最主要的分支，曾 經(jīng)對人機界面學的發(fā)展做出過很大的貢獻。經(jīng)典的人機工程學稱為 硬h人機工程學，主要集中在對人體能力、人體限制及其他與設計 相關的人體特性信息的應用，以滿足設計、分析、測試與評價、標 準化，以及系統(tǒng)控制的要求。軟件人機工程學(Software Ergonomics)研究軟件和軟件界面，側重于運用和擴充軟件工程的 理論和原理，對軟件人機界面進行分析、描述、設計和評估等。主要解決有關人類思維與信息處理的有關問題，包括設計理論、標準化、增強軟件的可用性的方法等，使軟件（

7、計算機）與人的 對誨能夠滿足大的思維模式與數(shù)據(jù)處理的要求，實現(xiàn)軟件的高可用 性。同認知心理學一樣，人機工程學也是人機交互技術的重要理論 基礎O人機交互技術編寫組10123多媒體技術一般的，多媒體技術是指將正文、聲音、圖形、靜止圖像、嘉 態(tài)單像等與計算集成在一起的技術。多媒體技術通過引入動畫、 頻、視頻等動態(tài)媒體，大大豐富了計算機表現(xiàn)信息的形式，拓寬r 計*機輸出的帶寬，提高了用戶接受信息的效率，使人們可以得到 更直觀的信息，從而簡化了用戶的操作，擴展了應用范圍。/媒體信息在人機交互中的巨大潛力主要在于它能提高人對信息 表現(xiàn)形式的選擇和控制能力，同時也能提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力的結合

8、程度，在串行、符號信息以及并行、聯(lián)想信息 方面擴展人的信息處理能力。多媒體信息比單一媒體信息對人具有 更大的吸引力，有利于人對信息的主動探索而不是被動接受。另外，由于多媒體所帶來的信息冗余性，重復使用別的媒體或 并行使用多種媒體可消除人機通信過程中的多義性及噪聲。多媒體 技棄豐富了信息的表現(xiàn)形式,不過目前多媒體技術的研究基本上限 于信息的存儲和傳輸方面，而對于媒體信息理解的研究并不充分。與丿.工智能技術結合，開展媒體理解和推理研究將改變這種現(xiàn)狀。方面，多通道人機交互研究的興起，將進一步提高計算機的信 息識別、理解能力，提高人機交互的效率和用戶友好性，將人機交 互技術和用戶界面設計引向更高境界。

9、多通道和多媒體都蘊含了多種通信通道的使用，區(qū)別在于系統(tǒng) 內部信息所處的抽象層次的不同。多通道系統(tǒng)力求對語義的理解。它對用戶的原始輸入在較高的層次上進行解釋、分析和綜合, 提取語義內容，達到對用戶的某種理解。然后，從較高的表現(xiàn)層認 上年送給垢產(chǎn)最恰當?shù)姆答?，它側重于信息的理解和解釋。而多?體系統(tǒng)則側重于信息的表現(xiàn)，表現(xiàn)為在計算機的控制下產(chǎn)生、操縱 、表現(xiàn)、存儲和傳送一些獨立的信息，這些信息至少是通過一種連 續(xù)或離散媒體進行編碼的。人機交互技術編寫組13124虛擬現(xiàn)實技術©虛擬現(xiàn)實(Virtual Reality, VR)就是借助于計算機技術及硬 件設備，建立高度真實感的虛擬環(huán)境，使人

10、們通過視覺、聽覺、»覺、味覺、嗅覺等感官在其中看、聽、觸、聞起來像真實的，以產(chǎn) 生身臨其境的感覺的一種技術。虛擬現(xiàn)實技術有別于其他計算機應 用技術的三個鮮明特征：真實感、沉浸感和交互性。其中，自然和 諧的交互方式是虛擬現(xiàn)實技術的一個重要研究內容，其目的是使人能以聲音、動作、表情等自然方式與虛擬世界中的對象進行交互。目前，人們除了致力于研究開發(fā)友好的用戶界面，還發(fā)明了大 量的三維交互設備，如立體眼鏡、WorkBench.頭盔式顯示器、洞 穴卑立體顯示器(CAVE)、墻式大屏幕立體顯示器、數(shù)據(jù)服裝、 位置跟蹤器、眼動跟蹤器、觸覺和力反饋裝置、三維掃描設備、三 維鼠標、三維跟蹤球、三維游戲

11、桿、數(shù)據(jù)手套等。虛擬現(xiàn)實中的交互是虛擬現(xiàn)實核心研究內容之一，但人機交互并不是虛擬現(xiàn)實的全部，復雜場景的建模、繪制等技術，也是虛擬現(xiàn) 實非常重要的研究內容。虛擬現(xiàn)實為人機交互的研究提供了很好的 契機和媒介，但并不是唯一的媒介，手機、PDA、筆記本電腦等移 動設備，也需要更方便、快捷、人性化的交互手段。13人機交互的研究內容人機交互的研究內容十分廣泛,涵蓋了建模、設計、評估等理論和方法以及在Web、移動計算、虛擬現(xiàn)實等方面的應用研究與開發(fā),主要包括:人機交互界面表示模型與設計方法(Model and Methodology )一個交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機交互界面的開發(fā)離不

12、開好的交互模型與設計方法。因此，研究人機交互界面的表示模型與設計方法，是人機交互的重要研究內容之人機交互技術編寫組16人機交互技術編寫組182.可用性分析與評估(Usability and Evaluation)可用性是人機交互系統(tǒng)的重要內容，它關系到人機交互能否達到 用鄭期待的目標，以及實現(xiàn)這一目標的效率與便捷性。人機交互系統(tǒng)的可用性分析與評估的研究主要涉及到支持可用性的設計原則和 可石性的評估方法等。3.多通道交互技術(Multi-Modal)在多通道交互中，用戶可以使用語音、手勢、眼神、表情等自然 的交互方式與計算機系統(tǒng)進行通信。多通道交互主要研究多通道交 互界面的表示模型、多通道交互界

13、面的評估方法以及多通道信息的 融合等。其中，多通道整合是多通道用戶界面研究的重點和難點。4.認知與智能用戶界面(Recognition and Intelligent User Interface)智能用戶界面(Intelligent User Interface, IUI)的最終 H 龕使人機交互和人一人交互一樣自然、方便。上下文感知、眼動跟蹤、手勢識別、三維輸入、語音識別、表情識別、手寫識別、自 然語言理解等都是認知與智能用戶界面需要解決的重要問題。II5虛擬環(huán)境(Virtual Environment)中的人機交互“以人為本”的、自然和諧的人機交互理論和方法是虛擬現(xiàn)實的 主要研究內容之一

14、。通過研究視覺、聽覺、觸覺等多通道信息融合 的理論和方法、協(xié)同交互技術以及三維交互技術等，建立具有高度 真實感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺。6. Web設計(Web-Interaction)移動界面設計(Mobile and Ubicomp)重點研究Web界面的信息交互模型和結構，Web界面設計的基本 思翠和原則，Web界面設計的工具和技術,以及Web界面設計的可用 性/析與評估方法等內容。7.移動計算(Mobile Computing )、普適計算(Ubiquitous Computing)等對人機交互技術提出了更高的要求，面向移動應用 的界面設計問題已成為人機交互技術研究的一個重

15、要應用領域。針對移動設備的便攜性、位置不固定性和計算能力有限性以及無線網(wǎng) 絡的低帶寬高延遲等諸多的限制，研究移動界面的設計方法，移動 界面可用性與評估原則，移動界面導航技術，以及移動界面的實現(xiàn) 技術和開發(fā)工具，是當前的人機交互技術的研究熱點之一。群件(Groupware )群件是指幫助群組協(xié)同工作的計算機支持的協(xié)作環(huán)境，主要涉及個人或群組間的信息傳遞、群組中的信息共享、業(yè)務過程自動化 與協(xié)調，以及人和過程之間的交互活動等。目前與人機交互技術相 關的研究主要包括：群件系統(tǒng)的體系結構、計算機支持交流與共享 信息的方式、交流中的決策支持工具、應用程序共享以及同步實現(xiàn) 方法等內容。14人機交互的發(fā)展歷

16、史及趨勢V;作為計算機系統(tǒng)的一個重要組成部分，人機交互一直伴隨著計篡 機的發(fā)展而發(fā)展。人機交互的發(fā)展過程，也是人適應計算機到計算 機不斷地適應人的發(fā)展過程。它經(jīng)歷了幾個階段:1.語言命令交互階段計算機語言經(jīng)歷了由最初的機器語言，而后是匯編語言，直至高 級語言的發(fā)展過程。這個過程也可以看作早期的人機交互的一個發(fā) 展過程。早期的人機交互是通過命令語言進行的，人機之間通過語言中的輸入輸出功能完成交互。最初，人機交互的方式是采用手工操作 輸枷器語言指令（二進制機器代碼）來控制計算機。這種形式很 不符合人的習慣，既耗費時間，又容易出錯，只有非常專業(yè)的專家才育使人做到。后來，岀現(xiàn)了FORTRAN、PASC

17、AL、COBOL等語言, 們可以用比較習慣的符號形式描述計算過程，交互操作由受過 一定訓練的程序員即可完成。這一時期，程序員可采用批處理作業(yè) 語言或交互命令語言的方式和計算機打交道，雖然要記憶許多命令和熟練地敲鍵盤，但已可用較方便的手段來調試程序、了解計算機 執(zhí)行情況。60年代中期，命令行界面(Command Line Interface, CLI)開 始出現(xiàn)，通過這種人機界面，人們可以通過問答式對話、文本菜單 或命令語言等方式來進行人機交互。命令行界面可以看作第一代人 面。在這種界面中，人被看成操作員，機器只做出被動的反應, 人只能用手操作鍵盤的方式輸入數(shù)據(jù)和命令信息，界面輸出只能為 靜態(tài)字

18、符。因此，這種人機界面交互的自然性較差。命令行界面圖13命令行界面概念模型2.圖形用戶界面(GUI)交互階段圖形用戶界面(Graphical User Interface, GUI)的岀現(xiàn)，使人機 交平方式發(fā)生了巨大變化。GUI的主要特點是桌面隱喻、 WIMP(Windows> Icon> Menu> Pointing Device)技術、直接操縱和“所見即所得(What You See Is What You Get, WYSIWYG) ”。由于GUI簡單易學、減少了鍵盤操作，因而使不懂計算機的普通用 戶也可以熟練地使用，開拓了用戶人群，使計算機技術得到了廣泛 普及。GUI

19、技術的起源可以追溯到60年代美國麻省理工學院的Sutherland(計算機圖形學的奠基人)的工作。其發(fā)明的Sketchpad首次 引入了菜單、不可重疊的瓦片式窗口、圖標，并采用光筆進行繪圖 操作。WIMP界面圖1-4 WIMP界面概念模型只有一個按鍵，外殼用木頭1964年美國科學家道格拉斯恩格爾巴特(Douglas Englebart) 在加利福尼亞制作了第一只鼠標器 精唏雕刻而成一底部有金屬滾輪，當時并不被重視。直到1979年氣月，口、施樂PRAC研究中心的科學家拉瑞泰斯勒(L.Tesler)演示了窗 圖標、菜單，還有隨著”鼠標器“移動的光標，鼠標的重大歷 史聲義在這一刻才真正得到顯示。70

20、年代施樂公司在Alto計算機上首次開發(fā)了位映像圖形顯示技術，為開發(fā)可重疊窗口、彈出式菜單、菜單條等提供了可能。這些工作奠定了目前圖形用戶界面的基礎，形成了以窗口(Windows)、圖標(Icon) 菜單(Menu)和指點裝置 (Pointing Device)為基礎的第二代人機界面，即WIMP界面。1984年Apple公司仿照施樂PRAC研究中心的技術開發(fā)出了新型 Macintosh個人計算機，將WIMP技術引入到微機領域，這種全部基 于辭及工拉或菜單的操作方式和直觀的圖形界面引發(fā)了微機人機 界面的歷史性變革。與命令行界面相比，圖形用戶界面的人機交互自然性和效率都穆 較大的提高。圖形用戶界面很

21、大程度上依賴于菜單選擇和交互小組 件|Widget) o經(jīng)常使用的命令大都通過鼠標來實現(xiàn)。鼠標驅動的人機界面使得初學者易于使用，但重復性的菜單選擇會給有經(jīng)驗的 用戶造成不方便，他們有時傾向使用命令鍵而不是選擇菜單，且在 輸入信息時用戶只能使用手這一種輸入通道。另外，圖形用戶界面 需要占用較多的屏幕空間，并且難以表達和支持非空間性的抽象信 息的交互。3.自然和諧的人機交互階段當前，虛擬現(xiàn)實、移動計算、普適計算等技術的飛速發(fā)展，對 人扭交互技2&提出了新的挑戰(zhàn)和更高的要求，同時也提供了許多 的木遇。在這一階段，自然和諧的人機交互方式得到了一定的發(fā)展c 基可語音、手寫體、姿勢、視線跟蹤、表情

22、等輸入手段的多通道* 互是其主要特點，其目的是使人能以聲音、動作、表情等自然方式 進行交互操作。在自然和諧的人機交互的發(fā)展過程中，人們除了致力于研究開發(fā)友好的逼真的三維用戶界面，基于聲音、動作、表情等多種通道 的自然交互方式，還發(fā)明了大量的新交互設備，如計算機圖形學的 先驅、美國麻省理工學院的Sutherland早在1968年開發(fā)了頭盔式立體 顯示器，成為現(xiàn)代虛擬現(xiàn)實技術的重要基礎。人機交互技術編寫組31MMI通圖15多通道人機界而概念模型人機交互技術編寫組331982美國加州VPL公司開發(fā)出了第一副數(shù)據(jù)手套，用于指示等 簡單手勢的輸入；該公司在1992年還推出了 Eyephone液晶顯示器；

23、 同茸在1992年，Dcfanti等提岀了 一種四面的沉浸式虛擬現(xiàn)實環(huán)境- CAVE系統(tǒng)等。El前，對于人類重要的自然交互方式語音和筆的交互技人機交互技術編寫組34人機交互技術編寫組#術，包括手寫識別、筆式交互、語音識別、語音合成、數(shù)字墨水(Digital Ink)等，其發(fā)展已經(jīng)有了很大的成效，如中國科學院自動 化研究所開發(fā)了 “漢王筆”手寫漢字識別系統(tǒng)；微軟亞洲研究院發(fā) 明了數(shù)字墨水技術；中國科學院人機交互技術與智能信息處理實驗 室研制的筆式交互軟件開發(fā)平臺等工作；IBM公司的Via Voice,把語音技術應用到PDA、智能汽車上。微軟也把語音識別技術集成到了多個領軍產(chǎn)品中，包括Office

24、和Windows XP,其最新的語音識別服務器軟件SpeechServer準備在2004年上半年發(fā)布。其中不少已經(jīng)商品化，市場前景廣闊。另外，20世紀90年代，美國麻省理工學院Negroponte（ 葛洛龐蒂）領導的媒體實驗室在新一代多通道用戶界面方面做了大 量開創(chuàng)性的工作。142發(fā)展趨勢在未來的計算機系統(tǒng)中，將更加強調“以人為本”、“自然、和 諧*的交互方式,以實現(xiàn)人機高效合作。概括的講，新一代的人機 交互技術的發(fā)展將主要圍繞以下幾個方面：1. 集成化人機交互將呈現(xiàn)出多樣化、多通道交互的特點。桌面和非桌面界 面，可見和不可見界面，二維與三維輸入，直接與間接操縱，語音 、手勢、表情、眼動、唇動、頭動、肢體姿勢、觸覺、嗅覺、味覺 以及鍵盤、鼠標等交互手段將集成在一起，是新一代自然、高效的 交互技術的一個發(fā)展方向。人機交互技術編寫組362002年2月，W3C (World Wide Web Consortium)國際組織成立 了 “ 多通道交互”工作小組(Multimodal Interaction Working發(fā)W3C新的一類支持移動設備MMI的協(xié)議標準。目前已有42家大型IT企業(yè)或單位