1-人機界面與人機交互課件

1、2022/9/141人機界面設計豐 艷青島科技大學 信息科學技術學院2022/9/142課程目標基礎：了解人機交互的含義，人機交互的研究內容及發(fā)展趨勢了解并掌握認知心理學、人機工程學在人機界面設計的作用，并在此基礎上能夠進行人機交互界面評價了解普遍流行的各種交互設備，包括文本輸入設備、圖像輸入設備、指點輸入設備和顯示設備等理論：了解人機交互的一些新技術，如語音、手寫識別、眼動跟蹤等技術掌握人機交互的界面模型，如用戶模型、任務模型、表現(xiàn)模型等學習計算機支持的協(xié)同工作、信息搜索與可視化、超媒體與萬維網(wǎng)、普適計算與增強現(xiàn)實等內容2022/9/143教材及參考書Human-Computer Inter

2、action (3rd Edition) Alan Dix 等，Prentice Hall，2004。 用戶界面設計-有效的人機交互策略（第三版） 張國印、李健利等譯，電子工業(yè)出版社，2004年人機界面設計 周蘇等編著人機交互技術-原理與應用 孟祥旭、 李學慶編著，清華大學出版社，20042022/9/144第1章 人機界面與人機交互2022/9/145本章內容人機交互的概念人機交互與其他學科的關系人機交互技術的發(fā)展歷史人機交互的研究內容人機交互技術的發(fā)展趨勢2022/9/147廣義人機交互廣義上講，人機交互以實現(xiàn)自然、高效、和諧的人機關系為目的，與之相關的理論和技術都在其研究范疇，是計算機科

3、學，心理學，認知科學以及社會學等學科的交叉學科研究開發(fā)新的人機交互設備、技術和理論，以實現(xiàn)無處不在計算（ubiquitous computing）環(huán)境下的以用戶為中心的交互式計算機系統(tǒng)，使其能夠增強人的創(chuàng)造力，解放人類的大腦、改善人與人之間的交流與協(xié)作2022/9/148狹義人機交互人機交互從技術上講（狹義的） ，主要是研究人與計算機之間的信息交換，它主要包括人到計算機和計算機到人的信息交換兩部分：人們如何借助鍵盤、鼠標、操縱桿、眼動跟蹤器、位置跟蹤器、數(shù)據(jù)手套、壓力筆等設備，用手、腳、聲音、姿勢或身體的動作、眼睛甚至腦電波等向計算機傳遞信息。計算機如何通過打印機、繪圖儀、顯示器、頭盔式顯示器

4、、音箱、力反饋等輸出設備給人提供信息。2022/9/1410圖1.1 人機系統(tǒng)模型2022/9/1411二、人機交互與其他學科的關系人機交互與認知心理學、人機工程學、多媒體技術和虛擬現(xiàn)實與增強現(xiàn)實技術密切相關。其中，認知心理學與人機工程學是人機交互技術的理論基礎，而多媒體技術和虛擬現(xiàn)實與增強現(xiàn)實技術與人機交互技術相互交叉和滲透虛擬與增強現(xiàn)實技術多媒體技術認知心理學人機工程學人機交互與其他相關學科的關系人機交互技術2022/9/14121、認知心理學 研究人們如何獲得外部世界信息，信息在人腦內如何表示并轉化為知識，知識怎樣存儲又如何用來指導人們的注意和行為。涉及心理活動的全部過程從感覺到知覺、識

5、別、注意、學習、記憶、概念的形成、思維、表象、回憶、語言、情緒和發(fā)展過程信息加工心理學是現(xiàn)代認知心理學的主流用計算機信息處理過程來類比人的認知過程了解認知心理學原理可以指導人們進行人機交互界面設計可用性、用戶心理、用戶行為2022/9/1414人機工程學示例：2022/9/14153、多媒體技術 多媒體技術是指將文本、聲音、圖形、圖像、視頻等集成在一起的技術。動畫、音頻、視頻等動態(tài)媒體，大大豐富了計算機表現(xiàn)信息的形式，拓寬了計算機輸出的帶寬，提高了用戶接受信息的效率。多媒體帶來的信息冗余性可消除人機通信過程中的歧義性及噪聲。目前多媒體技術的研究基本上限于信息的存儲和傳輸方面，媒體理解和推理研究

6、較少。2022/9/141765%20%10%2%3%視覺味覺嗅覺觸覺聽覺1+12多樣性集成性2022/9/14184、虛擬現(xiàn)實技術虛擬現(xiàn)實就是借助于計算機技術及硬件設備，建立高度真實感的虛擬環(huán)境，使人們通過視覺、聽覺、觸覺、味覺、嗅覺等感官在其中看、聽、觸、聞起來像真實的，以產(chǎn)生身臨其境的感覺的一種技術。沉浸感（immersion）交互性（interaction）構想性（imagination）自然和諧的交互方式是虛擬現(xiàn)實技術的一個重要研究內容，其目的是使人能以聲音、動作、表情等自然方式與虛擬世界中的對象進行交互（三維交互）2022/9/1419虛擬現(xiàn)實技術2022/9/1420三維交互設備

7、：如立體眼鏡、WorkBench、頭盔式顯示器、CAVE、柱形或球形立體顯示器、立體音頻輸出設備；位置跟蹤器、眼動跟蹤器、三維掃描設備、三維鼠標、三維跟蹤球、三維游戲桿、數(shù)據(jù)手套；觸覺和力反饋裝置、可穿戴計算機等復雜場景的建模、實時高度真實感繪制等技術，也是虛擬現(xiàn)實非常重要的研究內容。虛擬現(xiàn)實為人機交互的研究提供了很好的契機和媒介。2022/9/14215、增強現(xiàn)實技術增強現(xiàn)實技術融合了虛擬環(huán)境與真實環(huán)境，其在交互性與可視化方法方面開辟了一個嶄新的領域；而虛擬現(xiàn)實使用虛擬環(huán)境取代了真實環(huán)境增強現(xiàn)實是把虛擬的信息疊加在真實場景中，在人的周圍環(huán)境中再現(xiàn)出來，虛實結合，能夠達到以假亂真的地步，完全給

8、人逼真的感覺 。在增強現(xiàn)實環(huán)境中交互是實時的。2022/9/1422三、人機交互的發(fā)展歷史人機交互一直伴隨著計算機的發(fā)展而發(fā)展。人機交互的發(fā)展過程，也是人適應計算機到計算機不斷地適應人的發(fā)展過程。它經(jīng)歷了幾個階段：1.語言命令交互階段2.圖形用戶界面（GUI）交互階段3.自然和諧的人機交互階段（現(xiàn)狀）2022/9/14242-圖形用戶界面交互階段：圖形用戶界面（Graphical User Interface，GUI）的出現(xiàn)，使人機交互方式發(fā)生了巨大變化。桌面隱喻、WIMP技術、直接操縱和所見即所得。與命令行界面相比，圖形用戶界面的人機交互自然性和效率都有較大的提高。圖形用戶界面很大程度上依賴

9、于菜單選擇和交互小組件（Widget）。圖形用戶界面使得初學者易于使用，但效率并不高另外，圖形用戶界面需要占用較多的屏幕空間，并且難以表達和支持非空間性的抽象信息的交互。2022/9/14253-自然和諧的人機交互階段： 隨著虛擬現(xiàn)實、移動計算、普適計算等技術的飛速發(fā)展，自然和諧的人機交互方式得到了一定的發(fā)展?；谡Z音、手寫體、姿勢、視線跟蹤、表情等輸入手段的多通道交互目的是使人能以聲音、動作、表情等自然方式進行交互操作2022/9/14272、1963年發(fā)明鼠標器的美國斯坦福研究所的 D.Engleberg，他預言鼠標器比其他輸入設備都好，并在超文本系統(tǒng)、導航工具方面會有杰出的成果。10年后

10、鼠標器經(jīng)Xerox研究中心改進后，成為影響當代計算機使用的最重要成果3、1963年美國麻省理工學院I.Sutherland開創(chuàng)了計算機圖形學的新領域，隨后美國布朗大學A.Van Dam等人組織了SIGGRAPH。I.Sutherland還在1968年開發(fā)了頭盔式顯示器。2022/9/14284、20世紀70年代當時在Xerox研究中心的 Alan Kay發(fā)明了重疊式多窗口系統(tǒng)，并提出了Smalltalk面向對象程序設計等思想。5、1989年 Tim Berners-Lee在日內瓦的CERN用HTML及HTTP開發(fā)了WWW網(wǎng)，隨后出現(xiàn)了各種瀏覽器（網(wǎng)絡用戶界面），使因特網(wǎng)飛速發(fā)展起來。6、20世

11、紀90年代美國麻省理工學院 N.Negroponte（他早在30年前就提出了“交談式計算機”概念）領導的媒體實驗室在新一代多通道人機界面方面（包括語音、手勢、智能體等），做了大量開創(chuàng)性的工作。2022/9/1429四、人機交互的研究內容 人機交互的研究內容十分廣泛，涵蓋了建模、設計、評估等理論和方法以及在計算機支持的協(xié)同工作、信息搜索與可視化、超媒體與萬維網(wǎng)、普適計算與增強現(xiàn)實等方面的交互設計技術，主要包括：人機交互界面表示模型與設計方法一個交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機交互界面的開發(fā)離不開好的交互模型與設計方法2022/9/1430多通道交互技術在多通道交互中，用戶可以使

12、用語音、手勢、眼神、表情等自然的交互方式與計算機系統(tǒng)進行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評估方法以及多通道信息的融合等。智能用戶界面智能用戶界面的最終目標是使人機交互和人人交互一樣自然、方便。上下文感知、眼動跟蹤、手勢識別、三維輸入、語音識別、表情識別、手寫識別、自然語言理解等都是認知與智能用戶界面需要解決的重要問題。2022/9/1431計算機支持的協(xié)同工作（Computer Supported Cooperative Work-CSCW）“計算機支持的協(xié)同工作已成為一個多學科交叉的新興的研究領域CSCW是要研究在計算機技術支持的環(huán)境下，特別是在計算機網(wǎng)絡環(huán)

13、境下，一個群體如何協(xié)同工作完成一項共同的任務。它的目標是要設計出能支持各種各樣的協(xié)同工作的工具、環(huán)境與應用系統(tǒng)2022/9/1432信息搜索與可視化隨著數(shù)據(jù)量和數(shù)據(jù)多樣性的增加，對信息集合的搜索和可視化日益重要。信息搜索包括：數(shù)據(jù)庫查詢、文本文檔的短語搜索、照片搜索、地圖搜索、圖案或圖標的搜索、聲音搜索、視頻搜索和動畫搜索等。信息可視化是一種計算方法，它將符號形式轉化為幾何形式，使研究人員能夠觀察所做的模擬與計算?？梢暬峁┝艘环N查看原來不可見事物的方法。2022/9/1433超媒體與萬維網(wǎng)網(wǎng)頁中可以包含圖形、圖像、聲音以及由Java或虛擬現(xiàn)實建模語言(VRML)所提供的日益逼真的動畫，并且這

14、些網(wǎng)頁可在全世界成千上萬臺計算機服務器上進行傳遞超媒體擴展了傳統(tǒng)的線性文本，給用戶提供了在多個相關內容之間跳轉的機會 在中國地圖上用鼠標選擇“南寧”，進入下頁南寧旅游圖超媒體實例2022/9/1435虛擬現(xiàn)實和增強現(xiàn)實“以人為本”的、自然和諧的人機交互理論和方法是虛擬現(xiàn)實的主要研究內容之一通過研究視覺、聽覺、觸覺等多通道信息融合的理論和方法、協(xié)同交互技術以及三維交互技術等，建立具有高度真實感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺。虛擬房地產(chǎn)推銷 光學虛擬實驗室 大型工程漫游2022/9/1439普適計算（Ubiquitous Computing）普適計算是指通過新一代的設備根據(jù)需要隨時隨地方便

15、地訪問相關信息，并可輕松地對其進行操作普適計算對人機交互技術提出了更高的要求2022/9/1440 在未來計算機系統(tǒng)中，將更加強調“以人為本”、“自然、和諧”的交互方式，以實現(xiàn)人機高效合作。概括的講，新一代的人機交互技術的發(fā)展將主要圍繞以下幾個方面：1.集成化 人機交互將呈現(xiàn)出多樣化、多通道交互的特點。桌面和非桌面界面，可見和不可見界面，二維與三維輸入，直接與間接操縱，語音、手勢、表情、眼動、唇動、頭動、肢體姿勢、觸覺、嗅覺、味覺以及鍵盤、鼠標等交互手段將集成在一起，是新一代自然、高效的交互技術的一個發(fā)展方向。五、人機交互的發(fā)展趨勢2022/9/1441卡耐基-梅隆大學 INTERACTIVE

16、 SYSTEM LABSINTERACT項目包括如下子課題：2022/9/14422. 網(wǎng)絡化 無線互聯(lián)網(wǎng)、移動通信網(wǎng)的快速發(fā)展，對人機交互技術提出了更高的要求。 新一代的人機交互技術需要考慮在不同設備、不同網(wǎng)絡、不同平臺之間的無縫過渡和擴展，支持人們通過跨地域的網(wǎng)絡（有線與無線、電信網(wǎng)與互聯(lián)網(wǎng)等）在世界上任何地方用多種簡單的自然方式進行人機交互，而且包括支持多個用戶之間以協(xié)作的方式進行交互。另外，網(wǎng)格技術的發(fā)展也為人機交互技術的發(fā)展提供了很好的機遇。2022/9/14433.智能化 目前，用戶使用鍵盤和鼠標等設備進行的交互輸入都是精確的輸入，但人們的動作或思想等往往并不很精確，人類語言本身也

17、具有高度模糊性，人們在生活中常常習慣于使用大量的非精確的信息交流。 因此，在人機交互中，使計算機更好地自動捕捉人的姿態(tài)、手勢、語音和上下文等信息，了解人的意圖，并做出合適的反饋或動作，提高交互活動的自然性和高效性，使人機之間的交互像人人交互一樣自然、方便，是計算機科學家正在積極探索的新一代交互技術的一個重要內容。2022/9/14444. 標準化 目前，在人機交互領域，ISO已正式發(fā)布了許多的國際標準，以指導產(chǎn)品設計、測試和可用性評估等。但人機交互標準的設定是一項長期而艱巨的任務，并隨著社會需求的變化而不斷變化。2022/9/1445 2002年2月，W3C（World Wide Web Consortium）國際組織成立了“多通道交互”工作小組（Multimodal Interaction Working Group），開發(fā)W3C新的一類支持移動設備MMI的協(xié)議標準。目前已有42家大型IT企業(yè)或單位參加該小組，參與制定“多通道交互”的相關協(xié)議標準。該小組成員覆蓋了幾乎所有計算機軟硬件、移動通信、家電的大型廠商。