人機交互基礎(chǔ)教程第1章

第一章緒論關(guān)于作者孟祥旭教授mxx@教育部科技委信息學(xué)部學(xué)部委員，中國計算機學(xué)會CAD/CG專委會副主任，中國圖象圖形學(xué)會計算機動畫與數(shù)字娛樂專委會副主任，山東省計算機學(xué)會理事長，山東省制造業(yè)信息化專家組組長，山東省有突出貢獻中青年專家。1978.9~1982.7山東大學(xué)計算機科學(xué)系計算機專業(yè)學(xué)習(xí)，獲理學(xué)學(xué)士學(xué)位1982.8~1985.7山東大學(xué)計算機科學(xué)系計算機軟件專業(yè)學(xué)習(xí)，獲工學(xué)碩士學(xué)位1995.8~1998.7中科院計算所計算機應(yīng)用技術(shù)專業(yè)學(xué)習(xí)，獲工學(xué)博士學(xué)位1985.8~至今山東大學(xué)計算機科學(xué)與技術(shù)學(xué)院助教、講師、副教授、教授李學(xué)慶教授濟南高新區(qū)舜華路中段軟件學(xué)院，250101，電Email：xqli@1983.9~1987.7山大計算機學(xué)院本科計算機科學(xué)與技術(shù)1987.9~1990.7山大計算機學(xué)院碩士研究生計算機軟件與理論1998.9~2002.7山大數(shù)學(xué)院博士計算機軟件與理論1989.7~1992.12山大計算機學(xué)院助教計算機軟件1993.1~1997.9山大計算機學(xué)院講師計算機軟件1997.9~2003.9山大計算機學(xué)院副教授計算機軟件2003.9~現(xiàn)在山大計算機學(xué)院教授計算機軟件2004.5~現(xiàn)在山大計算機學(xué)院博士生導(dǎo)師計算機軟件與理論2006.3~現(xiàn)在山大齊魯軟件學(xué)院副院長計算機軟件楊承磊教授chl_yang@分別于1995，1998，2004年獲山東大學(xué)計算機應(yīng)用專業(yè)理學(xué)學(xué)士學(xué)位，計算機軟件與理論專業(yè)工學(xué)碩士和博士學(xué)位。1998年起至今受聘于山東大學(xué)計算機科學(xué)與技術(shù)學(xué)院。2007.1-7月赴香港大學(xué)計算機科學(xué)系開展合作研究，2010.6-2011.6赴哈佛大學(xué)做訪問學(xué)者。關(guān)于山大計算機科學(xué)與技術(shù)學(xué)院—>科研亮點大規(guī)模城市場景三維建模及可視化集成化計算機輔助圖案設(shè)計制版系統(tǒng)真實感動漫渲染系統(tǒng)研究與應(yīng)用軟件與數(shù)據(jù)工程三維數(shù)據(jù)表示理論和關(guān)鍵技術(shù)基因組重組大數(shù)據(jù)管理與分析嵌入式系統(tǒng)網(wǎng)絡(luò)安全與密碼學(xué)高性能計算關(guān)于山大計算機科學(xué)與技術(shù)學(xué)院—>院長

陳寶權(quán)，山東大學(xué)計算科學(xué)與技術(shù)學(xué)院與軟件學(xué)院院長、教授，兼中國科學(xué)院深圳先進技術(shù)研究院研究員，博士生導(dǎo)師。獲電子工程學(xué)士（91年西安電子科技大學(xué)）、碩士（94年清華大學(xué)），和計算機科學(xué)博士（99年紐約州立大學(xué)石溪分校）。研究領(lǐng)域為計算機圖形學(xué)與可視化，主要研究方向為基于車載移動激光掃描的大規(guī)模城市場景三維建模及海量數(shù)據(jù)可視化，入選973項目“城市大數(shù)據(jù)計算理論與方法”首席科學(xué)家。在ACMSIGGRAPH、IEEEVIS、ACMTOG等國際會議和刊物發(fā)表論文100余篇?，F(xiàn)任IEEE?TransactionsonVisualizationandComputerGraphics編委，并多次任圖形與可視化領(lǐng)域幾乎所有重要國際會議的PC成員；現(xiàn)?任SIGGRAPHASIA2014會議主席、SIGGRAPH?ASIA指導(dǎo)委員會委員、和IEEE?VIS指導(dǎo)委員會委員?；曾任IEEE可視化會議2005年主席和2004年程序委員會主席。獲2003美國NSFCAREERAward，2005年IEEE可視化國際會議最佳論文獎；2008年入選中科院“百人計劃”；2010年獲國家杰出青年科學(xué)基金資助；2013年入選國家“百千萬人才”工程計劃和“中青年領(lǐng)軍人才”，2014年獲得"中國計算機圖形學(xué)大會杰出獎"。任CCF（中國計算機學(xué)會）常務(wù)理事，曾任CCF青工委主任。siggraph：SIGGRAPH(SpecialInterestGroupforComputerGRAPHICS,計算機圖形圖像特別興趣小組）成立于1967年，一直致力于推廣和發(fā)展計算機繪圖和動畫制作的軟硬件技術(shù)。從1974年開始，SIGGRAPH每年都會舉辦一次年會，而從1981年開始每年的年會還增加了CG（ComputerGraphics，電腦繪圖）展覽。絕大部分計算機圖技術(shù)軟硬件廠商每年都會將最新研究成果拿到SIGGRAPH年會上發(fā)布，大部分游戲的電腦動畫創(chuàng)作者也將他們本年度最杰出的藝術(shù)作品集中在SIGGRAPH上展示。因此，SIGGRAPH在圖形圖像技術(shù)，計算機軟硬件以及CG等方面都有著相當?shù)挠绊懥?。siggraphasia：由國際圖形圖像協(xié)會（ACMSIGGRAPH）舉辦的SIGGRAPH電腦圖像和互動技術(shù)展覽及會議是世界上影響最廣、規(guī)模最大，同時也是最權(quán)威的一個集科學(xué)、藝術(shù)、商業(yè)于一身的CG及互動技術(shù)展覽及會議。2008年Siggraph來到亞洲，12月9日至13日首屆SIGGRAPHAsia亞洲電腦圖像和互動技術(shù)展覽及會議在新加坡舉行，這是世界最大的電腦圖形圖像界盛會SIGGRAPH首次選擇在美國以外舉辦分會，既是檢閱近幾年亞洲CG行業(yè)飛速發(fā)展的大舞臺，也是亞洲CG通往世界的高速公路。20082008年12月9日-13日首屆SIGGRAPHAsia亞洲電腦圖像和互動技術(shù)展覽及會議在新加坡舉辦。20092009年12月16日-19日第二屆SIGGRAPHAsia亞洲電腦圖像和互動技術(shù)展覽及會議在日本橫濱舉辦，來自41個國家6400名藝術(shù)、科研、開發(fā)、游戲、電影、學(xué)術(shù)領(lǐng)域的專家參加了這個亞太地區(qū)電腦圖像、互動技術(shù)和數(shù)字媒體領(lǐng)域最大的會議和展覽。20102010年12月15-18日第三屆SIGGRAPHAsia亞洲電腦圖像和互動技術(shù)展覽及會議將在韓國首爾舉辦，屆時亞太地區(qū)的電腦圖形圖像和互動技術(shù)研究、開發(fā)、制作人員及制造商、供應(yīng)商和服務(wù)提供商將再次在這個行業(yè)盛會上共聚一堂。201120112011年12月12-15日，第四屆SIGGRAPHAsia亞洲電腦圖像和互動技術(shù)展覽及會議在中國香港舉辦。Pixar、Adobe等著名公司都有所展覽。20122012年,SIGGRAPHASIA回到了新加坡，第五屆SIGGRAPHASIA會議成功在11月28日到12月1日期間在新加坡EXPO會展中心舉辦。來自56個國家的超過4250人參加會議。其中22%為學(xué)生。20132013年，SIAGGRAPHASIA將在11月19-22號于香港舉辦。2014第七屆SIGGRAPHASIA亞洲電腦互動技術(shù)會議及展覽于2014年12月3-6日在深圳會展中心舉辦。本屆大會及展覽是SIGGRAPHASIA首次在中國大陸舉辦，包括電腦動畫節(jié)、課程、新興技術(shù)、學(xué)術(shù)海報、流動圖像和互動媒體應(yīng)用研討會、學(xué)術(shù)摘要及學(xué)術(shù)論文研討會等環(huán)節(jié)。山大計算機學(xué)院、軟件學(xué)院院長陳寶權(quán)教授擔任SIGGRAPHASIA2014會議主席。在大會開幕式的發(fā)言中，陳寶權(quán)教授對遠道而來的嘉賓們表示感謝，重點介紹了中國電影業(yè)、深圳3D產(chǎn)業(yè)及CG產(chǎn)業(yè)的現(xiàn)狀及未來發(fā)展趨勢等。SIGGRAPH是由國際圖形圖像協(xié)會（ACMSIGGRAPH）舉辦的全球影響最廣、規(guī)模最大、同時也是最權(quán)威的一個集科學(xué)、藝術(shù)、商業(yè)于一身的計算機圖形和互動技術(shù)展覽及會議，是計算機圖形圖像研究領(lǐng)域的“奧斯卡”。2008年SIGGRAPH來到亞洲，本屆SIGGRAPHASIA在深圳舉辦，也是SIGGRAPHASIA首次在中國大陸舉辦。參會人員來自60多個國家或地區(qū)，總?cè)藬?shù)近6000人，其中國外代表人數(shù)超過800人。

人機交互的概念人機交互的研究內(nèi)容人機交互的發(fā)展歷史人機交互的應(yīng)用人機交互（Human-ComputerInteraction，HCI）是關(guān)于設(shè)計、評價和實現(xiàn)供人們使用的交互式計算機系統(tǒng)，且圍繞這些方面的主要現(xiàn)象進行研究的科學(xué)（ACMSIGCHI，1992，第6頁）人機交互技術(shù)(Human-ComputerInteractionTechniques)是指通過計算機輸入、輸出設(shè)備，以有效的方式實現(xiàn)人與計算機對話的技術(shù)。它包括機器通過輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請示等，人通過輸入設(shè)備給機器輸入有關(guān)信息及提示請示等，人通過輸入設(shè)備給機器輸入有關(guān)信息，回答問題等。人機交互技術(shù)是計算機用戶界面設(shè)計中的重要內(nèi)容之一。它與認知學(xué)、人機工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系。相關(guān)概念人機界面（Human-ComputerInterface,簡寫HCI）或者人機交互界面（human–computerInterface或human–machineinterface）：是人與計算機之間傳遞、交換信息的媒介和對話接口，是計算機系統(tǒng)的重要組成部分。運用在工業(yè)與商業(yè)上，簡單的區(qū)分為“輸入”（Input）與“輸出”（Output）兩種，輸入指的是由人來進行機械或設(shè)備的操作，如把手、開關(guān)、門、指令(命令)的下達或保養(yǎng)維護等，而輸出指的是由機械或設(shè)備發(fā)出來的通知，如故障、警告、操作說明提示等，好的人機界面會幫助用戶更簡單、更正確、更迅速的操作機械，也能使機械發(fā)揮最大的性能并延長使用壽命，而目前市面上所指的人機界面則多是狹義的指在軟件人性化的操作接口上。人機交互與人機界面是兩個有著緊密聯(lián)系而又不盡相同的概念。人機交互界面表示模型與設(shè)計方法（ModelandMethodology）一個交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機交互界面的開發(fā)離不開好的交互模型與設(shè)計方法。因此，研究人機交互界面的表示模型與設(shè)計方法，是人機交互的重要研究內(nèi)容之一?？捎眯苑治雠c評估（UsabilityandEvaluation）可用性是人機交互系統(tǒng)的重要內(nèi)容，它關(guān)系到人機交互能否達到用戶期待的目標，以及實現(xiàn)這一目標的效率與便捷性。人機交互系統(tǒng)的可用性分析與評估的研究主要涉及到支持可用性的設(shè)計原則和可用性的評估方法等。多通道交互技術(shù)（Multi-Modal）在多通道交互中，用戶可以使用語音、手勢、眼神、表情等自然的交互方式與計算機系統(tǒng)進行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評估方法以及多通道信息的融合等。其中，多通道信息整合是多通道用戶界面研究的重點和難點。認知與智能用戶界面（IntelligentUserInterface，IUI）智能用戶界面的最終目標是使人機交互和人－人交互一樣自然、方便。上下文感知、眼動跟蹤、手勢識別、三維輸入、語音識別、表情識別、手寫識別、自然語言理解等都是認知與智能用戶界面需要解決的重要問題。群件（Groupware）群體工作（WorkGroup）中，各工作者因為時間及所處地點的不一致，造成交流及協(xié)調(diào)的不便。群件就是針對群體工作而發(fā)展出來的技術(shù)產(chǎn)品，目的在于促進群體的交流合作及資源分享，充分提高群體的工作效率和質(zhì)量。我們這樣定義群件：以計算機網(wǎng)絡(luò)技術(shù)為基礎(chǔ)，以交流（Communaction）、協(xié)調(diào)（Coordination）、合作（Collaboration）及信息共享（InformationSharing）為目標，支持群體工作需要的應(yīng)用軟件。它允許個人和小組成員間進行有效的協(xié)同工作而不管他們的地理位置如何。群件是指幫助群組協(xié)同工作的計算機支持的協(xié)作環(huán)境，主要涉及個人或群組間的信息傳遞、群組中的信息共享、業(yè)務(wù)過程自動化與協(xié)調(diào)，以及人和過程之間的交互活動等。目前與人機交互技術(shù)相關(guān)的研究主要包括：群件系統(tǒng)的體系結(jié)構(gòu)、計算機支持交流與共享信息的方式、交流中的決策支持工具、應(yīng)用程序共享以及同步實現(xiàn)方法等內(nèi)容。Web設(shè)計（Web-Interaction）

web設(shè)計不再是一個普通的從事應(yīng)用美術(shù)的職業(yè)，它變成了跨學(xué)科，跨領(lǐng)域知識的綜合體。為了實現(xiàn)更好的web設(shè)計，你大概需要掌握圖書情報學(xué)，計算機圖形學(xué)，程序設(shè)計，客戶機/服務(wù)器技術(shù)，用戶界面設(shè)計，人機互動關(guān)系，可用性研究，心理學(xué)，社會學(xué)等諸多方面的知識，并達到一定的水平。

重點研究Web界面的信息交互模型和結(jié)構(gòu)，Web界面設(shè)計的基本思想和原則，Web界面設(shè)計的工具和技術(shù)，以及Web界面設(shè)計的可用性分析與評估方法等內(nèi)容。一個完整的web設(shè)計工作應(yīng)該至少擁有以下主要的方面：內(nèi)容：可以包括：文字，圖形，超連接，交互操作，動畫，視頻，音頻，在線游戲甚至更多的混合型的組織形式。擁有高質(zhì)量的內(nèi)容是網(wǎng)站成功的關(guān)鍵。技術(shù)：HTML，CSS，JAVA等。外觀：一個站點的外觀是最先被注意到的。移動界面設(shè)計（MobileandUbicomp）移動計算（MobileComputing）、無處不在計算（UbiquitousComputing）等對人機交互技術(shù)提出了更高的要求，面向移動應(yīng)用的界面設(shè)計問題已成為人機交互技術(shù)研究的一個重要應(yīng)用領(lǐng)域。針對移動設(shè)備的便攜性、位置不固定性和計算能力有限性以及無線網(wǎng)絡(luò)的低帶寬高延遲等諸多的限制，研究移動界面的設(shè)計方法，移動界面可用性與評估原則，移動界面導(dǎo)航技術(shù)，以及移動界面的實現(xiàn)技術(shù)和開發(fā)工具，是當前的人機交互技術(shù)的研究熱點之一。人機交互的發(fā)展過程，也是人適應(yīng)計算機到計算機不斷地適應(yīng)人的發(fā)展過程。它經(jīng)歷了幾個階段：圖形用戶界面自然和諧的交互命令行語言命令交互階段計算機語言經(jīng)歷了由最初的機器語言，而后是匯編語言，直至高級語言的發(fā)展過程。這個過程也可以看作早期的人機交互的一個發(fā)展過程。圖形用戶界面（GUI）交互階段圖形用戶界面（GraphicalUserInterface，GUI）的出現(xiàn)，使人機交互方式發(fā)生了巨大變化。GUI的主要特點是桌面隱喻、WIMP技術(shù)、直接操縱和“所見即所得”。與命令行界面相比，圖形用戶界面的人機交互自然性和效率都有較大的提高。圖形用戶界面很大程度上依賴于菜單選擇和交互小組件（Widget）。圖形用戶界面給有經(jīng)驗的用戶造成不方便，他們有時傾向使用命令鍵而不是選擇菜單，且在輸入信息時用戶只能使用手這一種輸入通道。圖形用戶界面需要占用較多的屏幕空間，并且難以表達和支持非空間性的抽象信息的交互。自然和諧的人機交互階段隨著虛擬現(xiàn)實、移動計算、無處不在計算等技術(shù)的飛速發(fā)展，自然和諧的人機交互方式得到了一定的發(fā)展。基于語音、手寫體、姿勢、視線跟蹤、表情等輸入手段的多通道交互是其主要特點，其目的是使人能以聲音、動作、表情等自然方式進行交互操作。筆式交互設(shè)備語音交互設(shè)備視覺交互設(shè)備虛擬環(huán)境中的交互設(shè)備觸覺交互設(shè)備制造業(yè)位于法國Velizy城的汽車協(xié)同設(shè)計中心的標致雪鐵龍（PSA）公司利用3DVIAVirtools技術(shù)作為工業(yè)仿真系統(tǒng)的整合平臺，采用主動式立體Barco‘sI-Space5的CAVE洞穴式顯示系統(tǒng)與BarcoCADWall被動式單通道立體投影系統(tǒng)，德國的A.R.T.光學(xué)跟蹤系統(tǒng)以及Haption6D35-45和INCA力反饋系統(tǒng)，用于汽車設(shè)計的檢視、虛擬裝配與協(xié)同項目的檢測等等。教育科研由伊利諾州大學(xué)芝加哥分校電子可視化實驗室EVL和交互計算環(huán)境實驗室CEL合作的敘事式沉浸的建設(shè)者及協(xié)同環(huán)境(NarrativeImmersiveConstructionist/CollaborativeEnvironments)，簡稱NICE項目教育科研科視設(shè)計并安裝的全沉浸式ChristieTotalVIEW?CAVE（圖1-7），用于在威斯康星州Pier的密爾沃基舉辦的著名的DiscoveryWorld展覽。這套被DiscoveryWorld稱為“人機交互式虛擬教育”（HIVE）系統(tǒng)運用了3D投影顯示技術(shù)——Mirage系列投影機，實現(xiàn)了的沉浸式3D環(huán)境，使參觀者能夠獲得關(guān)于生活環(huán)境的“近似真實”體驗。軍事軍事戰(zhàn)略戰(zhàn)術(shù)演練和培訓(xùn)領(lǐng)域是刺激交互技術(shù)發(fā)展的源動力，從早期的飛機駕駛員培訓(xùn)到今天的軍事戰(zhàn)略和戰(zhàn)術(shù)演習(xí)仿真等。使用計算機仿真技術(shù)不僅降低成本而且可方便地改變環(huán)境和條件，適用于特殊，危險等環(huán)境。F-35是第一種在座艙里取消了平視顯示器(HUD)的量產(chǎn)戰(zhàn)斗機，F(xiàn)-35的飛行員將在其頭盔綜合顯示器(HMD)面罩上的虛擬平顯上讀取所有數(shù)據(jù)。生活指紋識別和人臉表情識別技術(shù)廣泛應(yīng)用于人們?nèi)粘Ｉ畹耐ㄐ胚^程或者安全保護。生活蘋果iPhone采用多種交互技術(shù)，提供智能商務(wù)終端，如掌上電腦、智能手機、PDA、智能固話終端等。通過捷通嵌入式手寫識別eJHWR技術(shù)，將在手寫設(shè)備上書寫時產(chǎn)生的有序軌跡信息轉(zhuǎn)化為漢字內(nèi)碼；通過捷通華聲嵌入式語音合成eJTTS技術(shù)，利用計算機將任意組合的文本文件轉(zhuǎn)化為聲音文件，并通過聲卡、電話語音卡等多媒體設(shè)備將聲音輸出，提供短信語音播報等功能。文化娛樂在北京08奧運會開幕式采用的高亮度數(shù)字投影設(shè)備和十一全運會開幕式投影系統(tǒng)采用的“大碗幕”展示了現(xiàn)代投影技術(shù)的巨大創(chuàng)造力。文化娛樂在影視制作領(lǐng)域，動作捕捉設(shè)備已經(jīng)得到了廣泛應(yīng)用。如圖展示了“加勒比海盜3”制作過程中，運動捕捉實驗室場景和最終合成的影片效果。體育英國推出三維立體電視節(jié)目，播放了英式橄欖球和足球比賽畫面，通過兩臺攝像機拍攝，模擬人左右眼的成像，觀眾通過特制的三維立體眼鏡，使大腦對圖像進行處理，讓畫面看上去好像在起居室里現(xiàn)身。給觀眾身臨其境的感覺，球員的一舉一動仿佛就在身邊。體育運動捕捉系統(tǒng)在體育訓(xùn)練中可以幫助教練員從不同的視角觀察和監(jiān)控運動員的技術(shù)動作，并大量地獲取某類技術(shù)動作的運動參數(shù)及生理生化指標等數(shù)據(jù)，并統(tǒng)計出其運動規(guī)律，為科學(xué)訓(xùn)練提供標準規(guī)范的技術(shù)指導(dǎo)。曲棍球訓(xùn)練系統(tǒng)1什么是人機交互技術(shù)？2簡單介紹人機交互技術(shù)的發(fā)展歷史和現(xiàn)狀。3人機交互研究內(nèi)容有哪些？

1.什么是人機交互？人機交互技術(shù)(Human-ComputerInteractionTechniques)是指通過計算