多媒體人機(jī)交互技術(shù)

1、第五章 多媒體人機(jī)交互技術(shù) 課前索引人機(jī)交互（Human Computer Interaction）是研究人與計(jì)算機(jī)之間的交互技術(shù)。由于計(jì)算機(jī)的應(yīng)用越來越廣泛，功能越來越強(qiáng)，計(jì)算機(jī)能處理和表現(xiàn)越來越多的信息。目前，計(jì)算機(jī)能夠處理圖形、圖像、動(dòng)畫、視頻、語(yǔ)音、音樂、文字等不同的媒體，但缺乏仿生的眼睛和耳朵，也沒有從外部世界收集信息所需的觸覺、味覺和嗅覺。計(jì)算機(jī)沒有語(yǔ)言能力，沒有四肢，沒有建立各種各樣信息表達(dá)形式的能力，所以，我們目前仍然以鍵盤和鼠標(biāo)為主要輸入工具，輸入輸出嚴(yán)重不平衡，這就限制了人和計(jì)算機(jī)之間的信息溝通。不能充分利用人的認(rèn)知資源，人們長(zhǎng)期追求的以自然的方法和計(jì)算機(jī)交流的理想仍然無法

2、實(shí)現(xiàn)，許多新的計(jì)算機(jī)應(yīng)用技術(shù)無法普及。因此，人和計(jì)算機(jī)之間的交互顯得日益重要。 5.1多媒體人機(jī)交互技術(shù)概述人機(jī)交互技術(shù)是計(jì)算機(jī)應(yīng)用的核心技術(shù)，以用戶為中心是人機(jī)交互界面設(shè)計(jì)的核心思想，人機(jī)界面作為人與計(jì)算機(jī)通信的途徑，其效果好壞直接影響到用戶使用計(jì)算機(jī)的效率以及軟、硬件功能的發(fā)揮，現(xiàn)有的人機(jī)交互技術(shù)已落后于計(jì)算機(jī)軟、硬件的發(fā)展，成為信息產(chǎn)業(yè)急待解決的問題，美國(guó)將軟件、人機(jī)交互、網(wǎng)絡(luò)和高性能的計(jì)算機(jī)并列為21世紀(jì)信息技術(shù)計(jì)劃的基礎(chǔ)研究?jī)?nèi)容，我國(guó)“ 973”計(jì)劃也將人機(jī)交互技術(shù)與虛擬現(xiàn)實(shí)的真實(shí)感作為科技攻關(guān)的關(guān)鍵問題。5.1.1人機(jī)交互技術(shù)的概念及發(fā)展歷程 人機(jī)交互系統(tǒng)是實(shí)現(xiàn)人與計(jì)算機(jī)之間通信的

3、軟、硬件系統(tǒng)的總稱，包括人機(jī)交互硬件和人機(jī)交互軟件兩方面，前者有：鍵盤、鼠標(biāo)、顯示器、打印機(jī)等硬件設(shè)備；后者又分為系統(tǒng)軟件（如鼠標(biāo)、打印機(jī)驅(qū)動(dòng)程序等）和應(yīng)用軟件通常是指人機(jī)交互界面。人機(jī)交互技術(shù)（Human-Computer Interaction）就是研究人與計(jì)算機(jī)之間相互通信的技術(shù)，人機(jī)界面（HCI, Human Computer Interface）是實(shí)現(xiàn)人與計(jì)算機(jī)信息交互的平臺(tái)，通常是指人機(jī)交互軟件界面。多媒體人機(jī)交互技術(shù)是指人們通過各種媒體與計(jì)算機(jī)進(jìn)行通信的技術(shù)，它含蓋了：文字、圖形、圖像、動(dòng)畫、聲音、視頻等多種信息的交互。現(xiàn)有的人機(jī)交互方式有：看、聽、說和操作，人可以通過操作鍵盤、

4、鼠標(biāo)、跟蹤球、操縱桿、光筆、手寫板、觸摸屏、數(shù)字化儀、掃描儀、話筒、攝像頭等輸入設(shè)備向計(jì)算機(jī)輸入信息；計(jì)算機(jī)也可以通過顯示器、打印機(jī)、繪圖儀、音箱、耳機(jī)、立體眼鏡、頭盔顯示器等輸出設(shè)備向人反饋供信息。 隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)、虛擬現(xiàn)實(shí)技術(shù)以及網(wǎng)絡(luò)技術(shù)的發(fā)展，人機(jī)交互的內(nèi)容與形式日益豐富，交互的方法也層出不窮，不斷向人機(jī)交互技術(shù)提出新的、更高的要求。人機(jī)交互技術(shù)隨著交互設(shè)備和軟件技術(shù)的發(fā)展也在不斷進(jìn)步，回顧人機(jī)交互技術(shù)的發(fā)展歷程，它大致經(jīng)歷了手工操作、命令行界面（CLI，Command Line Interface）和圖形用戶界面（GUI，Graphic User Interface）三個(gè)階

5、段。 1手工操作階段 自從1946年世界上第一臺(tái)數(shù)字電子計(jì)算機(jī)ENIAC在美國(guó)賓西法尼亞大學(xué)誕生以來，早期計(jì)算機(jī)程序和數(shù)據(jù)的輸入是采用穿孔卡片或穿孔紙帶進(jìn)行的，計(jì)算機(jī)的狀態(tài)用指示燈來顯示，計(jì)算結(jié)果由打印機(jī)打印輸出。穿孔卡片或紙帶上的程序和數(shù)據(jù)是人們用手工將二進(jìn)制機(jī)器碼輸入穿孔機(jī)，再交由閱讀機(jī)讀入計(jì)算機(jī)的，這時(shí)的人機(jī)交互是相當(dāng)原始的，程序輸入錯(cuò)了也沒法修改，只能將紙帶報(bào)廢，輸出界面也很不直觀，更談不上實(shí)時(shí)交互。 2命令行界面到了上個(gè)世紀(jì)50年代中期，出現(xiàn)了終端顯示器，這時(shí)顯示器和鍵盤是一體的，在內(nèi)部緩沖寄存器的支持下，構(gòu)成了字符顯示終端，它顯然比穿孔卡片或穿孔紙帶使用起來方便得多，由于有輸入緩沖

6、器，所以輸入的錯(cuò)誤可以及時(shí)修改，終端顯示器的輸出也比打印機(jī)的速度要快得多，而且便于連續(xù)使用。后來隨著匯編語(yǔ)言和一些高級(jí)語(yǔ)言如FORTRAN、COBOL、LISP、PASCAL和BASIC等語(yǔ)言的出現(xiàn)，為了便于操作和控制作業(yè)，逐步發(fā)展出了交互式命令語(yǔ)言及其有關(guān)標(biāo)準(zhǔn)，當(dāng)時(shí)的終端分為批處理終端和交互終端，在批處理終端上一次提交的是整個(gè)作業(yè)計(jì)算機(jī)按照指令順序執(zhí)行，而在交互終端上人們可以每次向計(jì)算機(jī)輸入一行命令或數(shù)據(jù)，計(jì)算機(jī)逐條解釋執(zhí)行，并在顯示器上輸出結(jié)果。為了便于輸入數(shù)據(jù)，人們還編制了文本菜單程序，用戶可以在計(jì)算機(jī)的提示下通過問答的方式輸入數(shù)據(jù)，第一次實(shí)現(xiàn)了人機(jī)交互，這一時(shí)期的人機(jī)界面被稱作命令行界

7、面，可以看作是第一代真正的人機(jī)界面。它的操作由熟練的操作員通過鍵盤輸入來進(jìn)行，輸出的也只能是靜態(tài)字符，交互的方式單一、自然性差、效率低。3圖形用戶界面圖形用戶界面的出現(xiàn)使人機(jī)交互技術(shù)向前邁進(jìn)了一大步，普通的用戶不須要懂計(jì)算機(jī)，更不須要記住煩瑣的操作命令，所有圖形用戶界面下的應(yīng)用程序界面標(biāo)準(zhǔn)是統(tǒng)一的，操作是相同的，用戶只須輕點(diǎn)鼠標(biāo)就可以完成所有操作，非常簡(jiǎn)單、易于掌握，極大地推動(dòng)了計(jì)算機(jī)的普及應(yīng)用。圖形用戶界面起源于上個(gè)世紀(jì)60年代，1963年美國(guó)麻省理工學(xué)院（MIT）的Sutherland發(fā)明了Sketchpad技術(shù)，并首次引入了菜單、瓦片式層疊窗口及圖標(biāo)，并采用光筆進(jìn)行繪圖操作，同年美國(guó)斯坦

8、福（Standford）研究所的Engelbart發(fā)明了鼠標(biāo)器，到了70年代美國(guó)施樂（Xerox）公司的Alto計(jì)算機(jī)首次使用了位圖顯示技術(shù)，開發(fā)出了可重疊菜單、彈出式菜單和滾動(dòng)條，成為了日后圖形用戶界面的基本要素。1984年美國(guó)蘋果（Apple）電腦公司在此基礎(chǔ)上開發(fā)出了Macintosh計(jì)算機(jī)，成為世界上第一臺(tái)圖形用戶界面計(jì)算機(jī)，Macintosh風(fēng)格也成了圖形用戶界面的標(biāo)準(zhǔn)，它以窗口（Windows）、圖標(biāo)（Icon）、菜單（Menu）和指點(diǎn)裝置（Pointing device）為基礎(chǔ)形成了所謂WIMP界面，1986年美國(guó)微軟（Microsoft）公司推出了Windows視窗操作系統(tǒng)，以

9、后版本不斷更新，成為風(fēng)靡全球的圖形用戶界面操作系統(tǒng)。WIMP界面是第二代人機(jī)界面，輸入采用鼠標(biāo)，輸出可以是二維的圖形或圖像，與第一代人機(jī)界面命令行界面（CLI界面）相比，其交互的自然性和效率都大為改觀，但它們都屬于單通道人機(jī)交互界面，不具備使用多種媒體以及三維交互的能力。現(xiàn)在的人機(jī)交互技術(shù)向網(wǎng)絡(luò)化、多媒體、多通道和智能用戶界面方向發(fā)展，為新一代人機(jī)交互界面的開發(fā)提出了新的課題。5.1.2人機(jī)交互技術(shù)的主要研究?jī)?nèi)容 人機(jī)交互技術(shù)與認(rèn)知心理學(xué)、人機(jī)工程學(xué)、多媒體技術(shù)以及虛擬現(xiàn)實(shí)技術(shù)密不可分，其中認(rèn)知心理學(xué)和人機(jī)工程學(xué)是人機(jī)交互技術(shù)的理論基礎(chǔ)，而多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)為人機(jī)交互技術(shù)提供了更豐富的表

10、現(xiàn)手段和更高的要求。 1認(rèn)知心理學(xué) 認(rèn)知心理學(xué)（Cognitive Psychology）起源于上個(gè)世紀(jì)50年代，到70年代在西方已成為心理學(xué)的一個(gè)主要研究方向。它研究人的認(rèn)識(shí)過程，如注意、知覺、表象、記憶、思維和語(yǔ)言等，從心理學(xué)的觀點(diǎn)研究人機(jī)交互的原理。該領(lǐng)域通過視覺、聽覺等手段接受和理解來自周圍環(huán)境的信息和感知過程，以及通過人腦進(jìn)行記憶、思維、推理、學(xué)習(xí)和解決問題等人的心理活動(dòng)的認(rèn)識(shí)過程。認(rèn)知心理學(xué)是人機(jī)交互界面設(shè)計(jì)的依據(jù)，人的認(rèn)知過程包括人的感官（視覺、聽覺和觸覺）是如何接受信息的，人又是如何處理信息、理解信息、記憶信息以及如何進(jìn)行推理，只有了解了這些，才能進(jìn)行界面設(shè)計(jì)。 一個(gè)交互的計(jì)算

11、機(jī)系統(tǒng)，要能很好地實(shí)現(xiàn)用戶與計(jì)算機(jī)之間的人機(jī)交互，通常必須考慮三個(gè)元素：人的因素、交互設(shè)備及實(shí)現(xiàn)人機(jī)對(duì)話的軟件。交互計(jì)算機(jī)系統(tǒng)的最終目標(biāo)是讓用戶能方便自然地和計(jì)算機(jī)進(jìn)行交互式操作，因此設(shè)計(jì)交互計(jì)算機(jī)系統(tǒng)時(shí)，必須把滿足用戶的使用要求作為重要依據(jù)。 2人機(jī)工程學(xué) 人機(jī)工程學(xué)（Ergonomics）是指用系統(tǒng)工程學(xué)的方法研究人體科學(xué)與環(huán)境科學(xué)相互作用、相互影響，從而進(jìn)行優(yōu)化設(shè)計(jì)以提高功效的一門綜合科學(xué)。經(jīng)典的人機(jī)工程學(xué)稱為硬件人機(jī)工程，主要研究在系統(tǒng)設(shè)計(jì)時(shí)如何考慮人的體力、耐力和舒適度等人的因素，以使系統(tǒng)設(shè)計(jì)最優(yōu)、工效最高。軟件人機(jī)工程學(xué)研究軟件和軟件界面，側(cè)重于運(yùn)用和擴(kuò)充軟件工程的理論和原理，對(duì)人

12、機(jī)界面軟件進(jìn)行分析、描述、設(shè)計(jì)和評(píng)估等。主要解決有關(guān)人類思維與信息處理的有關(guān)問題，包括設(shè)計(jì)理論、標(biāo)準(zhǔn)化、增強(qiáng)軟件的可用性的方法等，使計(jì)算機(jī)與人的對(duì)話能滿足人的思維模式與數(shù)據(jù)處理的要求，實(shí)現(xiàn)軟件的高度可用性。 從科學(xué)和技術(shù)的角度看，人機(jī)工程學(xué)是研究“人機(jī)環(huán)境”系統(tǒng)中這三要素之間的關(guān)系，為解決系統(tǒng)中人的效能、健康問題提供理論與方法的科學(xué)。 人機(jī)工程學(xué)主要研究的內(nèi)容有：人與機(jī)器之間的分工與配合；機(jī)器如何能更適合人的操作和使用，以提高工效、減輕人的勞動(dòng)強(qiáng)度；工作環(huán)境對(duì)操作者的影響，如何改善工作環(huán)境；如何設(shè)計(jì)人機(jī)界面、信息傳遞的方式以及顯示方式等。 3多媒體技術(shù) 多媒體技術(shù)是指計(jì)算機(jī)處理多種信息如：文本

13、、聲音、圖形、圖像、動(dòng)畫和視頻信息的技術(shù)。引入多媒體技術(shù)極大地豐富了計(jì)算機(jī)對(duì)信息的表現(xiàn)形式，同時(shí)也增加了人機(jī)交互的途徑，在串行、字符信息和并行、聯(lián)想信息方面擴(kuò)展了人的信息處理能力。另一方面，多媒體技術(shù)為多通道人機(jī)交互提供了手段，使用多通道人機(jī)交互技術(shù)，可以提高計(jì)算機(jī)對(duì)信息的識(shí)別、理解能力，增加人機(jī)交互的效率，使交互更自然，界面更友好。 4虛擬現(xiàn)實(shí)技術(shù) 虛擬現(xiàn)實(shí)（Virtual Reality, VR）就是通過三維空間設(shè)備在計(jì)算機(jī)上營(yíng)造一個(gè)虛擬環(huán)境，人可以通過視覺、聽覺、觸覺與虛擬世界進(jìn)行交互，使人有身臨其境的感覺。虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)是：真實(shí)感、沉浸感和交互性，自然和諧的交互方式其研究的重要內(nèi)容

14、。虛擬現(xiàn)實(shí)交互設(shè)備有：三維鼠標(biāo)、三維跟蹤球、三維游戲桿、三維掃描儀、數(shù)據(jù)手套、數(shù)據(jù)衣、觸覺和力學(xué)反饋裝置、位置跟蹤器、眼動(dòng)跟蹤器、立體眼鏡、頭盔式顯示器、洞穴式顯示器和大屏幕立體顯示器等。虛擬現(xiàn)實(shí)交互設(shè)備極大地豐富了人機(jī)交互的手段，將傳統(tǒng)的二維、靜態(tài)的人機(jī)交互方式擴(kuò)展到三維、實(shí)時(shí)的動(dòng)態(tài)交互，這對(duì)人機(jī)交互技術(shù)提出了更高的要求。5.1.3 人機(jī)交互界面的創(chuàng)意設(shè)計(jì) “創(chuàng)意”在人機(jī)界面方面主要是屏幕設(shè)計(jì)。除了對(duì)計(jì)算機(jī)屏幕進(jìn)行空間劃分外，在時(shí)間軸上還要根據(jù)需要以音樂、解說和動(dòng)畫等形式加以表現(xiàn)。時(shí)間和空間統(tǒng)一起來構(gòu)成一個(gè)完整的屏幕設(shè)計(jì)。 1. 屏幕設(shè)計(jì)創(chuàng)意 一個(gè)屏幕含有背景、標(biāo)題、描述(文字、圖形和動(dòng)畫等

15、)、各種控制(如跳轉(zhuǎn)按鈕等)等空間成分，以及與之同步的背景音樂和解說詞等時(shí)間成分。屏幕設(shè)計(jì)創(chuàng)意是通過各種藝術(shù)表現(xiàn)手法和各種技術(shù)手段表現(xiàn)一個(gè)與主題相適應(yīng)、為主題服務(wù)的意境。它包括表現(xiàn)樣式、風(fēng)格追求和對(duì)信息內(nèi)容的合理布局等等。當(dāng)創(chuàng)意作用于屏幕的設(shè)計(jì)與制作時(shí)，將信息內(nèi)容的本來意義與創(chuàng)意設(shè)計(jì)出來的各種形象、符號(hào)、圖標(biāo)、字體及正文進(jìn)行刻意的編排，在整個(gè)屏幕的視覺審美結(jié)構(gòu)上達(dá)成有機(jī)融合，能夠進(jìn)一步增強(qiáng)屏幕的直觀感染力和耐人尋味的可視性。一個(gè)屏幕載有各種媒體信息，圖文并茂，有多層結(jié)構(gòu)，并具有動(dòng)態(tài)特性，其信息指向也是多向的。在進(jìn)行設(shè)計(jì)時(shí)，通過直觀的圖形、圖像、文字、概念、色彩等各種造型要素及信息菜單、信息正文

16、所構(gòu)成的總體感性印象及心理感受來傳達(dá)信息內(nèi)容。各構(gòu)成要素就是傳達(dá)特定信息的載體，將這些構(gòu)成要素按照視覺運(yùn)動(dòng)的法則精心地編排組合使它們?cè)诮M合中有主有次、有輕有重、有大有小、有疏有密、有曲有直，從而使這些要素和諧地出現(xiàn)在一個(gè)屏幕上，使其相輔相成，成為具有活力的有機(jī)體，以發(fā)揮最有效的訴求效果，更好地傳達(dá)信息。 2. 屏幕創(chuàng)意設(shè)計(jì)原則 屏幕創(chuàng)意設(shè)計(jì)包括文字排列方向、字群聚散組合、字體大小風(fēng)格的選擇、圖片的分布及色彩與空白的經(jīng)營(yíng)。從狹義的概念上講，所研究的是各種視覺元素的位置、面積、大小的排列組合和視覺流程問題；從廣義上講，它更多的是研究各種視覺元素通過搭配協(xié)調(diào)所構(gòu)成的格調(diào)，強(qiáng)調(diào)美的韻味設(shè)計(jì)，使使用者在

17、接受屏幕信息的過程中，能感受到設(shè)計(jì)者對(duì)美的追求及對(duì)信息內(nèi)容的主題思想、立場(chǎng)傾向和風(fēng)格特點(diǎn)的把握與理解，從而強(qiáng)化信息主題的有效傳達(dá)。進(jìn)行屏幕界面的創(chuàng)意設(shè)計(jì)時(shí)，必須遵循以下幾條構(gòu)成原則： （1）內(nèi)容與形式表現(xiàn)必須統(tǒng)一，形式表現(xiàn)必須服從內(nèi)容要求。如在造型上各構(gòu)成要素規(guī)格化的設(shè)計(jì)樣式要統(tǒng)一。 （2）要充分考慮各構(gòu)成要素之間的視覺流程，能自然而有序地達(dá)到信息訴求重點(diǎn)的位置，突出主題。 （3）注意保持屏幕界面在視覺上的相對(duì)均衡感，使其在形式結(jié)構(gòu)上得到正確的配置。 （4）注意屏幕設(shè)計(jì)中的空白處理，空白的處理對(duì)提高網(wǎng)頁(yè)的視覺效果有極為重要的意義。對(duì)空白的正確規(guī)劃，不僅能使屏幕設(shè)計(jì)流暢明快，疏密有序，布局清晰，

18、而且在視覺上有強(qiáng)烈的集中效果，有利于突出訴求重點(diǎn)。 （5）注重整體的對(duì)比因素，設(shè)計(jì)中各構(gòu)成要素在組合時(shí)，要注意其結(jié)構(gòu)形態(tài)的輕重、大小、虛實(shí)、多少等對(duì)比因素，加強(qiáng)視覺力度，以強(qiáng)化屏幕界面的整體吸引力。 （6）注意提高屏幕界面信息內(nèi)容的視讀性。設(shè)計(jì)中要注意主要信息內(nèi)容易讀的視覺效果。對(duì)信息文字的字體形態(tài)、大小變化及字距行間的排列及字的高度寬度作出適當(dāng)?shù)奶幚?，使其集中緊湊，流動(dòng)有序而不松散雜亂。 （7）創(chuàng)造一定的韻律感。反映在頁(yè)面設(shè)計(jì)中就是利用有力的線條、形體及色彩形成一種有節(jié)奏性的律動(dòng)感，能引導(dǎo)人的視覺以一種流暢而有停頓的方式運(yùn)動(dòng)，使人能夠抑揚(yáng)起落地瀏覽整個(gè)屏幕界面，閱讀時(shí)感到輕松而又富于韻味。

19、3. 屏幕創(chuàng)意設(shè)計(jì)表現(xiàn)手法屏幕創(chuàng)意設(shè)計(jì)表現(xiàn)手法是指調(diào)整所涉及的一切視覺構(gòu)成元素以突出設(shè)計(jì)者所表現(xiàn)內(nèi)容的方法。視覺構(gòu)成元素包括視覺流程、點(diǎn)線面的關(guān)系、形狀間的組合、對(duì)比與統(tǒng)一、節(jié)奏與韻律、裝飾與趣味等等。 （1）視覺流程 視覺流程是指人們?cè)陂喿x一種信息載體時(shí)，視線總有一種自然的流動(dòng)習(xí)慣，通常都是從左到右，由上到下，由左上方沿著弧形線向右下方流動(dòng)的過程(如圖5-2所示)。其注意值隨著下移逐漸遞減。在此流動(dòng)線上的任何點(diǎn)，都會(huì)比流動(dòng)線外的任何點(diǎn)明顯。故在設(shè)計(jì)屏幕界面時(shí)應(yīng)能巧妙運(yùn)用視覺流程對(duì)視覺進(jìn)行導(dǎo)向作用，對(duì)不同性質(zhì)的信息作有序處理，從而引導(dǎo)人們的視線按照設(shè)計(jì)意圖更有效地接受信息。 （2）點(diǎn)線面的關(guān)系

20、屏幕界面的三大要素文字、圖形、色彩的抽象就是點(diǎn)、線、面。它們彼此交織，互相烘托。一個(gè)圖標(biāo)、一個(gè)小三角、一個(gè)小飾花都可以抽象成一個(gè)點(diǎn)。由于點(diǎn)在畫面的空間中具有一種張力作用，當(dāng)空間中有兩個(gè)同等大的點(diǎn)時(shí)，其張力作用就表現(xiàn)在連接這兩點(diǎn)的視線上，在心理上產(chǎn)生吸引和連接的效果。當(dāng)畫面中的兩點(diǎn)大小不同時(shí)，人的注意力首先會(huì)集中在較大的一方，而向較小的一方轉(zhuǎn)移。點(diǎn)的形態(tài)、大小、位置的不同，都會(huì)產(chǎn)生不同的視覺聯(lián)想和感受。它可以在視覺上產(chǎn)生心理張力，引導(dǎo)視覺流向，而且起著活躍、平衡、穩(wěn)定、豐富畫面的作用。 線具有較強(qiáng)的感情性格，如直線給人的感覺是穩(wěn)定而靜止，而曲線給人的感覺是具有速度、動(dòng)力或彈力。線的粗細(xì)不同，曲直

21、形態(tài)不同，方向不同，都會(huì)產(chǎn)生不同的視覺感受和聯(lián)想。面的形狀豐富多變。規(guī)則輪廓線的面較嚴(yán)肅，無規(guī)則輪廓線的面較活潑。圓弧形或曲線形柔和而圓滿，富于人情味。而正三角形蘊(yùn)含著穩(wěn)定和永恒。 （3）形狀間的組合屏幕界面是以文字、圖形、色彩的組合來傳達(dá)信息的。文字、圖形、色彩在設(shè)計(jì)中以點(diǎn)、線、面的形式，在平面上構(gòu)成了各種各樣的形狀，稱其為“形”。形與形之間具有多種組合，如分離、接觸、覆疊、聯(lián)合等等。這些形的組合使屏幕界面更加豐富、富于變化、且具有層次感。 （4）對(duì)比與統(tǒng)一對(duì)比是屏幕界面取得強(qiáng)烈效果的最重要的手段。彩度上的艷與灰、亮度上的黑與白、濃與淡、面積上的大與小、運(yùn)動(dòng)上的動(dòng)與靜、數(shù)量上的多與少、質(zhì)量上

22、的疏與密等都是對(duì)比。在視覺設(shè)計(jì)中，對(duì)比強(qiáng)烈的注視率就高。統(tǒng)一是高層次上的協(xié)調(diào)，協(xié)調(diào)是對(duì)比的對(duì)立。協(xié)調(diào)和對(duì)比的屏幕界面多了，都會(huì)使人疲勞。任何視覺設(shè)計(jì)既要有對(duì)比上的差異性，又要有調(diào)和上的共同性。只有使對(duì)比與協(xié)調(diào)相統(tǒng)一，才能使屏幕界面既生動(dòng)活潑，又流暢自然。 （5）節(jié)奏與韻律節(jié)奏和韻律運(yùn)用在屏幕界面設(shè)計(jì)上，是指各種造型構(gòu)成要素的點(diǎn)、線、面所形成的一種自然秩序，規(guī)律節(jié)奏的美。其表現(xiàn)手法有反復(fù)、連綴、轉(zhuǎn)換、漸變、特異等。 在自然界中美的形式規(guī)律有兩種：一是秩序美，二是特異美。秩序性是形式美規(guī)律的重要因素。如同構(gòu)的排列、形象的重復(fù)、方向的一致、或色彩的統(tǒng)一等均具有構(gòu)成的同一性，這些方面都發(fā)揮著協(xié)調(diào)統(tǒng)一的

23、作用。特異是對(duì)規(guī)律的突破。在屏幕界面設(shè)計(jì)中，如果出現(xiàn)局部或小部分與整體編排秩序不符，往往更能引起用戶的關(guān)注，突出了設(shè)計(jì)的內(nèi)容。一種特異的形象往往會(huì)吸引視覺流向，成為視覺注意的中心。 （6）裝飾與趣味屏幕界面的裝飾是指造型和色彩點(diǎn)綴、各類外框線、跳躍的點(diǎn)等等。屏幕界面的裝飾是一種美化。美化了的屏幕界面能夠提高傳達(dá)信息的效率。趣味是一種活潑性的視覺語(yǔ)言。增加屏幕界面的趣味性能使信息添翼，使界面更新奇且耐人尋味。5.2?圖形用戶界面 隨著計(jì)算機(jī)技術(shù)的發(fā)展，特別是鼠標(biāo)器的發(fā)明、圖標(biāo)的使用以及可重疊菜單、彈出式菜單和滾動(dòng)條的開發(fā)成功，到了20世紀(jì)80年代誕生了圖形用戶界面（GUI），即所謂WIMP界面以

24、窗口（Windows）、圖標(biāo)（Icon）、菜單（Menu）和指點(diǎn)裝置（Pointing device），為基礎(chǔ)的交互界面，首先是美國(guó)蘋果（Apple）電腦公司開發(fā)出了世界上第一臺(tái)圖形用戶界面計(jì)算機(jī)-Macintosh計(jì)算機(jī)， Macintosh風(fēng)格也成了圖形用戶界面的標(biāo)準(zhǔn)，接著美國(guó)微軟（Microsoft）公司推出了Windows視窗操作系統(tǒng)，并迅速成為風(fēng)靡全球的圖形用戶界面操作系統(tǒng)，到了20世紀(jì)90年代基于圖形用戶界面的軟件已經(jīng)超過了字符界面下的軟件，圖形用戶界面已經(jīng)成為計(jì)算機(jī)人機(jī)交互技術(shù)的主導(dǎo)方式，圖形用戶界面極大地方便了廣大非計(jì)算機(jī)專業(yè)人士使用計(jì)算機(jī)，其操作非常簡(jiǎn)單、易于掌握，極大地推動(dòng)

25、了計(jì)算機(jī)的普及應(yīng)用。5.2.1圖形用戶界面的特點(diǎn)1. 桌面隱喻（desktop metaphor）桌面隱喻是指用圖例表示計(jì)算機(jī)可以進(jìn)行的操作。圖形用戶界面中的圖例具有一定的含義，可以表示對(duì)象、動(dòng)作或?qū)傩缘?。圖例可以是靜態(tài)圖標(biāo)也可以是動(dòng)畫或視頻。隱喻的方法有三種，一種是直接隱喻，即隱喻的本身為操作對(duì)象，如畫筆繪圖工具中的直線和圓圖標(biāo)，分別代表畫直線和畫圓操作；第二種為工具隱喻，如用打印機(jī)圖標(biāo)表示打印操作，這種隱喻使用最多；第三種為過程隱喻，通過描述過程來暗示該操作，如Word中的撤消和恢復(fù)圖標(biāo)。在圖形用戶界面中，大量使用隱喻，隱喻與用文字表達(dá)相比，具有直觀、形象生動(dòng)的優(yōu)點(diǎn)，但是隱喻需要占用一定的

26、屏幕空間，并且很難表示一些抽象的概念。2. 所見即所得（What You See Is What You Get, WYSIWYG）所見即所得技術(shù)表示界面中顯示的格式即為最終輸出的結(jié)果。目前大多數(shù)編輯軟件都具有所見即所得界面，例如，預(yù)覽時(shí)所見到的與最終輸出的一致。所見即所得技術(shù)是將編輯界面中的格式控制符直接顯示輸出。但有時(shí)屏幕上的配色方案與打印機(jī)的配色方案不盡相同，使得打印輸出有所差別。3. 直接操縱（Direct Manipulation）直接操縱是指把操作的對(duì)象、屬性和關(guān)系顯式地表示出來，用鼠標(biāo)、光筆、觸摸屏或數(shù)據(jù)手套等指點(diǎn)設(shè)備直接從屏幕上獲取形象化命令與數(shù)據(jù)的過程。直接操縱具有以下特性：

27、（1）用物理動(dòng)作或圖標(biāo)代替了復(fù)雜的操作，這種圖標(biāo)與其實(shí)際內(nèi)容應(yīng)該是相近的，用戶能通過屏幕上的圖標(biāo)想象或感知其內(nèi)容。例如，用文件夾表示磁盤目錄，用戶可以雙擊打開它，也可以將它拖到廢紙簍中而刪除它。（2）用指點(diǎn)和選擇操作代替鍵盤輸入。其優(yōu)點(diǎn)是操作簡(jiǎn)便、快捷，不用記憶煩瑣的命令，尤其適用于非專業(yè)用戶。（3）操作結(jié)果立竿見影，交互性強(qiáng)。用戶可以立即看到操作結(jié)果，便于及時(shí)修改和更正。（4）支持逆向操作。用戶在使用過程中，不可避免地會(huì)出現(xiàn)一些操作錯(cuò)誤，有了直接操縱后，操作錯(cuò)誤更加明顯，因此系統(tǒng)必須提供逆向操作功能，即能方便地恢復(fù)到錯(cuò)誤操作以前的狀態(tài)。目前大多數(shù)直接操縱編輯軟件都提供撤消和重做（Undo &

28、 Redo）功能，便于更正錯(cuò)誤操作。5.2.2 圖形用戶界面的設(shè)計(jì)1.設(shè)計(jì)原則（1）一致性原則，在同一用戶界面中，所有的菜單、對(duì)話框及術(shù)語(yǔ)應(yīng)保持同一風(fēng)格。（2）提供快捷操作方式，對(duì)于常用操作要提供快捷操作方式，例如存盤、打開等操作設(shè)置快捷方式可以提高工作效率。（3）提供錯(cuò)誤檢測(cè)及錯(cuò)誤處理機(jī)制，當(dāng)出現(xiàn)操作錯(cuò)誤時(shí)，系統(tǒng)應(yīng)能檢測(cè)出來，并保持操作前的狀態(tài)，提醒用戶改正錯(cuò)誤。（4）提供信息反饋功能，對(duì)于重要的操作，系統(tǒng)應(yīng)有提示信息，待用戶確認(rèn)后方可進(jìn)行，這樣可避免發(fā)生重大操作錯(cuò)誤。例如，關(guān)閉還未保存的文件時(shí)，系統(tǒng)要提示是否要保存該文件。（5）提供逆向操作功能，允許用戶撤消錯(cuò)誤的操作，有的軟件可以退回好幾

29、步，對(duì)錯(cuò)誤的操作采取比較寬容的態(tài)度，有利于用戶進(jìn)行各種嘗試，把全部精力都用到創(chuàng)作中去，而不必為不滿意的嘗試而后悔不已。（6）提供聯(lián)機(jī)幫助功能，即使是熟練的用戶也不可能記住復(fù)雜軟件的所有功能的使用，系統(tǒng)應(yīng)該能夠提供上下文關(guān)聯(lián)的幫助系統(tǒng)，使用戶可以及時(shí)獲得幫助，便于掌握軟件的使用。（7）對(duì)于圖形用戶界面的用戶來說，屏幕的合理使用有為重要，要提供多窗口管理，如平鋪、層疊窗口，對(duì)于每一個(gè)窗口要提供縮放功能。2色彩的運(yùn)用色彩是屏幕設(shè)計(jì)的一個(gè)重要方面，運(yùn)用的好能吸引用戶的注意力、突出重點(diǎn)給用戶以美的享受；運(yùn)用不好則使用戶眼花繚亂、分不清主次甚至看不清顯示的內(nèi)容。使用色彩應(yīng)注意以下幾點(diǎn)：（1）在一幅畫面中使

30、用的色彩種類不宜太多，最好不要超過5種，太多使人眼花繚亂，可用不同層次和形狀來配合顏色，以增加變化。（2）畫面中重要的或活動(dòng)的對(duì)象采用鮮艷的顏色，而不重要的或非活動(dòng)的對(duì)象使用較暗淡的顏色。前景使用鮮艷的顏色，背靜采用暗淡顏色。（3）當(dāng)需要區(qū)分不同對(duì)象時(shí)，首先按亮度大小，然后在按顏色不同來區(qū)分。（4）在一個(gè)系統(tǒng)中，各種顏色的意義應(yīng)該符合人們的習(xí)慣并保持一致，例如，紅色表示錯(cuò)誤，黃色表示警告。（5）避免使用不兼容的顏色配伍，如藍(lán)/黃、紅/綠、紅/藍(lán)、綠/藍(lán)，這些色彩對(duì)比強(qiáng)烈的顏色組合，會(huì)在邊界上產(chǎn)生顫抖或余像效應(yīng)，影響觀看。好的色彩搭配見下表：表 色彩搭配組 1 2 3 4 5 6 7 8前景色白

31、 黑 紅 綠 藍(lán) 青 品紅 黃背景色藍(lán) 白 黃 黑 白 藍(lán) 黑 紅黑 黃 白 藍(lán) 黃 黑 白 藍(lán)紅 綠 黑 紅 青 紅 藍(lán) 黑 3.色彩的設(shè)計(jì)方式 色彩和圖像、文字一樣是界面的一個(gè)元素，在界面設(shè)計(jì)中起著特殊的作用。色彩可以吸引人的注意力，影響人們的情緒，向人們傳達(dá)特定的信息含義。色彩的適當(dāng)配合可以給人以美感，使人振奮、愉快。 在人機(jī)交互中，使用顏色有以下優(yōu)點(diǎn)： （1）溫和奪目，把用戶注意力吸引到重要信息上。例如，制作一個(gè)色彩鮮明的標(biāo)題將有助于和其他屏幕顯示信息相區(qū)別，減少了搜索重要信息的時(shí)間。 （2）突出信息的邏輯結(jié)構(gòu)，便于對(duì)信息進(jìn)行分類。例如，對(duì)同類信息可以使用同種顏色顯示，幫助用戶對(duì)相關(guān)信

32、息進(jìn)行分類和提取。 （3）給缺少趣味的顯示增添特色，改善人的視覺印象，使人愉快、興奮、增強(qiáng)興趣、減少疲勞。一個(gè)設(shè)計(jì)良好的具有彩色顯示的人機(jī)界面軟件系統(tǒng)，將更容易打動(dòng)用戶，取悅用戶，極大地增強(qiáng)產(chǎn)品的商業(yè)競(jìng)爭(zhēng)力。在輸出顯示中，屏幕頁(yè)面色彩配置是否協(xié)調(diào)對(duì)整個(gè)觀感很重要。應(yīng)根據(jù)內(nèi)容的需要，對(duì)頁(yè)面中各對(duì)象的色彩基調(diào)、色彩布局和背景顏色作合理的安排。力求使頁(yè)面色彩與所要表達(dá)的主題、內(nèi)容、形式、風(fēng)格相一致；基調(diào)要統(tǒng)一，對(duì)比要和諧；底色應(yīng)明快，裝飾應(yīng)新鮮、穩(wěn)重。在人機(jī)交互中色彩的使用主要遵循以下原則： （1）正確選擇色彩基調(diào) 版面色彩基調(diào)應(yīng)選擇與作品內(nèi)容、結(jié)構(gòu)、風(fēng)格、樣式相吻合的色彩。不同的色彩有不同的感染力

33、和表現(xiàn)力，給人以不同的感受。這種配合內(nèi)容的色彩稱為優(yōu)勢(shì)色彩。優(yōu)勢(shì)色彩是貫穿作品始終的基礎(chǔ)色彩。 （2）文字色彩與畫面色彩應(yīng)協(xié)調(diào)、柔和通常用中性色彩或畫面色彩的補(bǔ)色作為字幕的顏色，中性色彩包括黑、白、灰、金、銀色等，這些色彩與大部分版面色彩相配都能達(dá)到比較好的效果。不宜使用紅/綠、紅/藍(lán)、綠/藍(lán)、藍(lán)/黃這些組合顏色對(duì)，因?yàn)樗鼈儠?huì)使相鄰邊界產(chǎn)生振蕩和余像。一般地，黑色在黃色背景上反襯清晰度最高，而黑色在藍(lán)色背景上、藍(lán)色在紅色背景上反襯清晰度最低。字體清晰度與背景色的匹配如表5-1所示。表5-1字體清晰度與背景色的匹配字塊色彩背景色彩顯示效果字塊色彩背景色彩顯示效果黑字黃色好藍(lán)字黃色較好綠字白色好黃

34、字白色較差藍(lán)字白色好紅字綠色較差黑字白色好藍(lán)字紅色較差白字黑色較好藍(lán)字黑色較差白字紫色較好紫字黑色較差白字藍(lán)色較好紫字紅色較差白字綠色較好綠字灰色較差綠字黑色較好綠字紅色較差（3）盡量使用不易產(chǎn)生視覺疲勞的色彩心理學(xué)和生理學(xué)的知識(shí)告訴我們，色彩會(huì)對(duì)人產(chǎn)生視覺感受并引起疲勞等方面的心理影響。一般說來，對(duì)帶綠色成分的黃綠、藍(lán)綠、淡青色，人的眼睛感覺舒服，不易引起疲勞；紅色、橙色居中；而藍(lán)色、紫色最易引起視覺疲勞。（4） 選擇合適的顏色種數(shù)每次顯示使用顏色不宜過多，使用過多顏色的屏幕反而不利于區(qū)分顏色及顏色的含義。在非必要情況下，顯示使用的顏色寧少勿多(4個(gè)以下)，至多不應(yīng)超過57個(gè)。（5）處理好對(duì)

35、比與和諧的關(guān)系 對(duì)比是以合理的色彩布局為前提，以視覺平衡為準(zhǔn)繩，在對(duì)比中求和諧，在和諧中體現(xiàn)力度，使版面色彩具有美的視覺感受。如在色的對(duì)比方面，常用類似色進(jìn)行對(duì)比，以獲得悅目、柔和的藝術(shù)效果。在色的飽和度對(duì)比方面，顏色反差的強(qiáng)弱與色調(diào)的相對(duì)純度有較大關(guān)系，復(fù)色比單色具有更柔和的反差效果。色的面積對(duì)比是突出色的質(zhì)感和力度的重要手段，應(yīng)仔細(xì)考慮背景畫面的色塊分布與字幕色塊之間的關(guān)系，應(yīng)避免使互為補(bǔ)色面積相近的大色塊相互靠近，且色塊最好不要孤立出現(xiàn)，盡量使用其他顏色相襯托。色的動(dòng)靜對(duì)比是指色彩的運(yùn)用與物體運(yùn)動(dòng)軌跡所造成的色彩流動(dòng)有關(guān)，當(dāng)一個(gè)運(yùn)動(dòng)畫面與一靜止畫面銜接時(shí)，畫面的字幕應(yīng)具有動(dòng)感，以保持其運(yùn)

36、動(dòng)的連續(xù)性。 （6）使用一致性的顏色顯示一致性是人機(jī)界面領(lǐng)域的普遍原則，在顯示顏色上的設(shè)計(jì)中還應(yīng)注意全過程字幕色彩基調(diào)相對(duì)穩(wěn)定。畫面段落內(nèi)的色彩基調(diào)不要隨意反復(fù)變化，必須服務(wù)于全面的主題、情節(jié)和客觀環(huán)境，要保持層次之間色彩基調(diào)的連續(xù)性。4屏幕的布局（Layout）屏幕布局應(yīng)該使各功能區(qū)明顯、突出重點(diǎn)，一般應(yīng)遵循以下幾個(gè)原則：（1）平衡原則，屏幕的上下左右布局要平衡，不要虎頭蛇尾或一邊重、一邊輕（2）順序原則，對(duì)象顯示的順序應(yīng)按需要排列，重要的先出現(xiàn)的對(duì)象先顯示。（3）經(jīng)濟(jì)性原則，在有限的屏幕空間中既要提供足夠信息量，又要注意信息的簡(jiǎn)明、清晰。（4）規(guī)范化原則，在一個(gè)系統(tǒng)中，對(duì)話框、提示行等要統(tǒng)

37、一規(guī)范（5）可預(yù)期原則，對(duì)象的操作結(jié)果要可以預(yù)期。5菜單界面的設(shè)計(jì)菜單在圖形用戶界面中廣泛使用，菜單界面設(shè)計(jì)的關(guān)鍵是確定菜單選項(xiàng)和菜單結(jié)構(gòu)。菜單選項(xiàng)有：命令項(xiàng)、菜單項(xiàng)和窗口項(xiàng)。命令項(xiàng)用來執(zhí)行一條命令，如File（文件）菜單下的Exit（退出）命令；菜單項(xiàng)是用菜單顯示的一組相關(guān)的命令；窗口項(xiàng)是以彈出式窗口的形式顯示的一組操作。菜單結(jié)構(gòu)有：?jiǎn)我徊藛?、線狀序列菜單、樹狀菜單和網(wǎng)狀菜單等，其中樹狀菜單最為常見。單一菜單是菜單中只有一組選項(xiàng)，可進(jìn)行單選或復(fù)選。線狀序列菜單是把一組相關(guān)的菜單組合在一個(gè)菜單中，例如Word中字體菜單，可以定義字體、字型、字號(hào)、顏色和效果等。樹狀菜單是把選項(xiàng)劃分為若干類，每一

38、類選項(xiàng)又成為一個(gè)子菜單，如此下去，形成樹狀結(jié)構(gòu)，一般級(jí)數(shù)不宜過多，以不超過3級(jí)為宜。網(wǎng)狀菜單為多級(jí)菜單結(jié)構(gòu)，包括父菜單、子菜單等等，允許在父菜單與子菜單之間切換，而不必中轉(zhuǎn)，其結(jié)構(gòu)比較混亂，容易迷失方向，較少使用，只在網(wǎng)頁(yè)瀏覽用到。在設(shè)計(jì)菜單界面時(shí)，一般遵循如下原則：（1）合理地組織菜單界面的結(jié)構(gòu)與層次。廣而淺的樹狀菜單比較有效，如果有下級(jí)菜單，用箭頭提示出來。（2）按照系統(tǒng)的功能對(duì)菜單進(jìn)行分組和排序，將同一類功能的菜單選項(xiàng)放在同一組中，將常用的菜單選項(xiàng)放在比較靠前的位置。（3）菜單選項(xiàng)的標(biāo)題力求簡(jiǎn)單、明確、以關(guān)鍵詞開頭。（4）常用的菜單選項(xiàng)要設(shè)置快捷鍵，并有文字提示。（5）充分利用菜單選項(xiàng)的

39、使能與禁止、可見與隱藏的屬性，當(dāng)某個(gè)選項(xiàng)的功能不能執(zhí)行時(shí)，應(yīng)該禁止選中，不常用的菜單選項(xiàng)應(yīng)該自動(dòng)隱藏起來。（6）合理地使用彈出式菜單，這樣實(shí)現(xiàn)系統(tǒng)的功能更加簡(jiǎn)捷、高效，彈出式菜單一般不包含子菜單。6填表輸入界面的設(shè)計(jì)在需要輸入大量的數(shù)據(jù)時(shí)，采用填表輸入界面是最理想的選擇，設(shè)計(jì)填表輸入界面要考慮兩方面的問題：一是表格設(shè)計(jì)；二是表格的屏幕編輯功能。設(shè)計(jì)填表輸入界面時(shí)遵循的原則：（1）表格要有標(biāo)題，布局要直觀，欄目按邏輯功能分組排序，欄目標(biāo)題要易于理解。（2）表格的顯示要美觀、清晰，避免過于擁擠。（3）把相關(guān)的輸入字段安排在一起，按照使用頻率、重要性、功能關(guān)系或使用順序進(jìn)行排序和分組。（4）要有出錯(cuò)

40、提示，系統(tǒng)應(yīng)該能提示輸入數(shù)據(jù)的范圍和方法，對(duì)不可接受的輸入給出出錯(cuò)提示。（5）提供幫助，系統(tǒng)應(yīng)該能提供幫助信息。（6）表格的文字要易于理解，力求簡(jiǎn)明。（7）光標(biāo)的移動(dòng)要方便，例如，對(duì)于固定長(zhǎng)度的字段，輸入完后自動(dòng)跳到下一項(xiàng)，用Tab鍵也可以將光標(biāo)移動(dòng)到下一字段5. 3 多通道交互技術(shù) 人機(jī)交互界面的發(fā)展經(jīng)歷了從第一代命令行界面到第二代圖形用戶界面，現(xiàn)在正在向著第三代多通道用戶界面發(fā)展，所謂多通道用戶界面就是通過多個(gè)通道例如語(yǔ)音、手勢(shì)、身體語(yǔ)言與計(jì)算機(jī)系統(tǒng)進(jìn)行通信的用戶界面。多通道用戶界面主要關(guān)注用戶向計(jì)算機(jī)輸入信息以及計(jì)算機(jī)對(duì)用戶意圖理解的問題，它基于視線跟蹤、語(yǔ)音識(shí)別、手勢(shì)輸入、感覺反饋等新

41、技術(shù)，使用多個(gè)交互通道以并行、非精確方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性。多通道用戶界面的研究始于上個(gè)世紀(jì)80年代，美國(guó)麻省理工大學(xué)（MIT）媒體實(shí)驗(yàn)室的“多媒體自然對(duì)話”項(xiàng)目中的星云系統(tǒng)為在線信息查詢提供了語(yǔ)音界面；卡內(nèi)基-梅隆大學(xué)（CMU）交互系統(tǒng)實(shí)驗(yàn)室（ISL, Interact System Laboratory）的JANUS項(xiàng)目在語(yǔ)音識(shí)別、語(yǔ)音翻譯及自然語(yǔ)言的交互方面做出了成績(jī)；其INTERACT項(xiàng)目在手勢(shì)識(shí)別、表情識(shí)別、手寫輸入以及多通道信息的整合進(jìn)行了探索；美國(guó)海軍研究所（NRL，Navy Research Laboratory）的Intelligent M

42、4 研究組致力于研究自然語(yǔ)言界面與其他人機(jī)交互方式的結(jié)合；歐洲信息技術(shù)研究戰(zhàn)略規(guī)劃（ESPRIT II）的Amodeus項(xiàng)目主要研究用戶和系統(tǒng)要求的統(tǒng)一表示及通道分類學(xué)；其MIAMI項(xiàng)目致力于多媒體和多通道人機(jī)界面的研究，主要內(nèi)容是通過視覺、聽覺和觸覺/手勢(shì)系統(tǒng)來訪問、表示和產(chǎn)生多媒體信息及多通道交互技術(shù)。英國(guó)的研究人員提出了“耳標(biāo)”的概念，用聲音替代了圖標(biāo)。國(guó)內(nèi)有北京大學(xué)計(jì)算機(jī)系、中科院軟件所共同承擔(dān)的國(guó)家自然科學(xué)基金項(xiàng)目“多通道用戶界面的研究”主要探索以視線跟蹤為核心的多通道人機(jī)交互技術(shù)，內(nèi)容包括多通道用戶界面的輸入技術(shù)、多通道信息的整合方法、多通道用戶界面的用戶模型和描述方法、多通道用戶

43、界面的設(shè)計(jì)原則和評(píng)價(jià)體系以及開發(fā)環(huán)境等。5.3.1眼動(dòng)跟蹤人類80%的外界信息是通過視覺獲得的，目前人機(jī)界面所用的交互技術(shù)幾乎都離不開視覺的參與。例如 ，當(dāng)用戶使用鼠標(biāo)去控制屏幕上的光標(biāo)來選擇所感興趣的目標(biāo)時(shí)，視線隨注意點(diǎn)聚焦到該目標(biāo)上，然后檢測(cè)光標(biāo)與該目標(biāo)的空間距離，再反饋到大腦并指揮手去移動(dòng)鼠標(biāo)，直至視覺判斷光標(biāo)已位于目標(biāo)之上為止，交互過程自始至終都離不開視覺。通過對(duì)視覺跟蹤的研究，可以得知人在觀測(cè)外界景物和屏幕信息時(shí)的掃描選擇和注視過程，從而研究人的視覺感知和綜合的機(jī)理。在觀察多目標(biāo)、多任務(wù)人眼對(duì)不同位置、大小、顏色和速度的目標(biāo)的眼動(dòng)敏感度、延遲、反應(yīng)速度等特征進(jìn)行深入的了解。視線跟蹤技

44、術(shù)有強(qiáng)迫式與非強(qiáng)迫式、穿戴式與非穿戴式、接觸式與非接觸式之分，其研究?jī)?nèi)容主要有人眼的運(yùn)動(dòng)和跟蹤技術(shù)兩個(gè)方面，下面分別介紹。1人眼的運(yùn)動(dòng)眼動(dòng)在視覺信息的加工過程中起著重要的作用。眼動(dòng)有三種形式：跳動(dòng)（Saccade）、注釋（Fixation）和平滑尾隨跟蹤（Smooth Pursuit）。在正常的視覺觀察過程中，眼動(dòng)表現(xiàn)為在被觀察目標(biāo)上一系列的停留以及在這些停留點(diǎn)之間的飛速跳躍。視線停留時(shí)間至少持續(xù)100ms以上的稱為注視，絕大部分信息是在注視時(shí)獲得并進(jìn)行加工的，在注視時(shí)，眼睛也存在快速、微小的運(yùn)動(dòng)，稱為生理震顫，但其范圍不超過1視角。視線在注視點(diǎn)之間的飛速跳躍稱為眼跳動(dòng)，它是雙眼聯(lián)合進(jìn)行的眼動(dòng)

45、，其視角在140之間，持續(xù)時(shí)間30120ms以上，最高運(yùn)動(dòng)速度為400600/s，在眼跳動(dòng)期間幾乎不獲得任何信息，主要原因有兩個(gè)：一是由于圖像在視網(wǎng)膜上移動(dòng)過快；二是由于眼跳動(dòng)時(shí)視覺閥值升高。眼睛能平滑地跟蹤運(yùn)動(dòng)速度130/s的目標(biāo)，這種緩慢、聯(lián)合跟蹤的眼動(dòng)稱為平滑尾隨跟蹤。平滑尾隨跟蹤必須有一個(gè)緩慢移動(dòng)的目標(biāo)，在沒有目標(biāo)的情況下，一般不能執(zhí)行這種眼動(dòng)。在人機(jī)交互中，眼動(dòng)跟蹤主要利用眼跳動(dòng)和注視這兩種形式。2視線跟蹤技術(shù)視線跟蹤的基本工作原理是利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝象機(jī)，通過分析人眼的虹膜和瞳孔中反射的紅外線圖像的連續(xù)變化記錄視線的變化，從而實(shí)現(xiàn)視線跟蹤。視線跟蹤的基本要求有

46、：要保證一定的精度，滿足用戶要求；反應(yīng)速度要快；對(duì)用戶基本無干擾；定位校正簡(jiǎn)單；可作為計(jì)算機(jī)的標(biāo)準(zhǔn)外設(shè)。從視線跟蹤裝置得到的原始數(shù)據(jù)需要經(jīng)過進(jìn)一步處理才能用于人機(jī)交互。數(shù)據(jù)處理的目的是濾除噪聲、識(shí)別定位及局部校準(zhǔn)與補(bǔ)償，最重要的是提取出用于人機(jī)交互所必需的眼睛定位坐標(biāo)。但由于眼睛存在固有的抖動(dòng)及眨動(dòng)或是頭部劇烈運(yùn)動(dòng)，這些都會(huì)造成數(shù)據(jù)的中斷，即使是在定位的數(shù)據(jù)段內(nèi)也存在許多干擾信號(hào)，使得提取有效的眼動(dòng)數(shù)據(jù)非常困難，解決的辦法之一是利用眼動(dòng)的某種先驗(yàn)?zāi)Ｐ图右詮浹a(bǔ)。將視線應(yīng)用于人機(jī)交互必須克服的另一個(gè)固有的困難是避免所謂的“米達(dá)斯接觸（Midas Touch）”問題。如果鼠標(biāo)光標(biāo)總是隨著用戶的視線移

47、動(dòng)，可能會(huì)引起用戶的厭煩，因?yàn)橛脩艨赡芟Ｍ茈S便看著什么而不必“意味著”什么，更不希望每次轉(zhuǎn)移視線都可能啟動(dòng)一條計(jì)算機(jī)命令。因此，基于視線跟蹤技術(shù)建立有效的用戶界面的挑戰(zhàn)之一就是避免“米達(dá)斯接觸”問題。在理想情況下，界面應(yīng)當(dāng)在用戶希望發(fā)出控制時(shí)，及時(shí)地處理其視輸入，而在相反的情況下則忽略其視線的移動(dòng)。然而，這兩種情況一般不好區(qū)分。可行的解決方法是結(jié)合實(shí)際采取特殊的措施制定出相應(yīng)的交互技術(shù)，例如，采用其他通道（如鍵盤或語(yǔ)音）進(jìn)行配合就是相當(dāng)有效的方法。5.3.2手勢(shì)識(shí)別以手勢(shì)體現(xiàn)人的意圖是一種非常自然的方式，人類經(jīng)過數(shù)千年的發(fā)展已形成了大量的、通用的手勢(shì)。一個(gè)簡(jiǎn)單的手勢(shì)可以蘊(yùn)涵豐富的信息，人與人

48、可以通過手勢(shì)傳遞大量的信息，從而實(shí)現(xiàn)高效率的通信。將手勢(shì)運(yùn)用于計(jì)算機(jī)能夠提高人機(jī)交互的效率。1手勢(shì)的分類手勢(shì)可以有不同的分類：交互性手勢(shì)和操作性手勢(shì)，前者表示特定的信息（如樂隊(duì)指揮），靠視覺來感知，后者不表達(dá)任何信息（如彈琴）；自主性手勢(shì)和非自主性手勢(shì)，自主性手勢(shì)與語(yǔ)音配合用來加強(qiáng)或補(bǔ)充某些信息（如演講），非自主性手勢(shì)是一些下意識(shí)的動(dòng)作，不表達(dá)任何信息（如瘙癢）；離心手勢(shì)和向心手勢(shì)，前者直接針對(duì)交談?wù)?，有明確的交流意圖，后者只是反映說話人的情緒和內(nèi)心的愿望。手勢(shì)的各種組合相當(dāng)復(fù)雜，因此，在手勢(shì)識(shí)別系統(tǒng)中通常對(duì)手勢(shì)做適當(dāng)?shù)姆指睢⒓僭O(shè)和約束。例如，可以做如下約束：如果整個(gè)手處于運(yùn)動(dòng)狀態(tài)，那么手指的

49、運(yùn)動(dòng)和狀態(tài)就不重要；如果手勢(shì)是手指的運(yùn)動(dòng)，那么手就應(yīng)當(dāng)處于靜止?fàn)顟B(tài)。手勢(shì)具有如下特點(diǎn)：（1）手是彈性物體，因此同一手勢(shì)有很大差別。（2）手勢(shì)含有大量冗余信息。（3）在三維空間中手很難定位。（4）手勢(shì)易產(chǎn)生陰影。2手勢(shì)的識(shí)別計(jì)算機(jī)手勢(shì)識(shí)別的好壞是將手勢(shì)應(yīng)用于人機(jī)交互的重要前提，目前手勢(shì)識(shí)別設(shè)備有：（1）鼠標(biāo)和光筆。只有當(dāng)用鼠標(biāo)或光筆的運(yùn)動(dòng)變化來傳遞信息時(shí)，才可將它們視為手勢(shì)表達(dá)工具。這類工具的優(yōu)點(diǎn)是易于實(shí)現(xiàn)，適用于一般的桌面系統(tǒng)，缺點(diǎn)是只能識(shí)別手的整體運(yùn)動(dòng)而不能識(shí)別手指的運(yùn)動(dòng)，手勢(shì)表達(dá)的動(dòng)作極其有限。（2）數(shù)據(jù)手套。數(shù)據(jù)手套是虛擬現(xiàn)實(shí)系統(tǒng)中廣泛使用的傳感設(shè)備，可以反映手指的動(dòng)作，戴上數(shù)據(jù)手套可以

50、抓物體，就象用手直接操縱一樣，如果手套有力反饋，還能感受到物體的重量和材質(zhì)，卻點(diǎn)是價(jià)格昂貴，有時(shí)給用戶帶來不便（如出汗）。（3）計(jì)算機(jī)視覺。利用攝像機(jī)記錄手勢(shì)，這是一種很有前途的技術(shù)，優(yōu)點(diǎn)是不干擾用戶，但目前在技術(shù)上還存在許多困難，難以勝任手勢(shì)的識(shí)別和理解。目前使用較多的是數(shù)據(jù)手套，因?yàn)閿?shù)據(jù)手套可以輸入三維空間的手勢(shì)信息，而且比基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別在技術(shù)上更易于實(shí)現(xiàn)。手勢(shì)識(shí)別的方法有：（1）模板匹配法：將輸入的手勢(shì)與預(yù)存的模板進(jìn)行比對(duì)，通過測(cè)量?jī)烧咧g的相似度來完成四別任務(wù)。（2）神經(jīng)網(wǎng)絡(luò)技術(shù)：這是一種較新的模式識(shí)別技術(shù)，具有字組織和字學(xué)習(xí)能力，能有效抗噪聲和處理不完整的模式，并具有模式推

51、廣能力，但系統(tǒng)需要較長(zhǎng)時(shí)間的學(xué)習(xí)。（3）統(tǒng)計(jì)分析技術(shù)：這是一種基于概率的方法，通過統(tǒng)計(jì)樣本特征向量來確定分類函數(shù)。在模式識(shí)別中一般采用貝葉斯極大似然理論確定分類函數(shù)，其缺點(diǎn)是要從原始數(shù)據(jù)中提取特征向量，而不能直接對(duì)原始數(shù)據(jù)進(jìn)行識(shí)別。5.3.3三維交互三維空間交互技術(shù)包括三維顯示技術(shù)和三維操縱技術(shù)。前者是利用人兩眼的視差，在三維顯示設(shè)備（如立體眼鏡或頭盔式顯示器）上呈現(xiàn)立體圖像的技術(shù)。后者是利用三維交互設(shè)備（如三維鼠標(biāo)、數(shù)據(jù)手套、跟蹤球、三維操縱桿）在三維空間中與計(jì)算機(jī)進(jìn)行交互。三維空間控制設(shè)備至少能控制六個(gè)自由度，分別描述三維對(duì)象的寬度、深度、高度、俯仰角、轉(zhuǎn)動(dòng)角和偏轉(zhuǎn)角。通過控制這六個(gè)參數(shù)，

52、用戶可以在屏幕上或沿三個(gè)坐標(biāo)軸轉(zhuǎn)動(dòng)三維對(duì)象，目前，實(shí)現(xiàn)三維交互的方法有：（1）直接操縱，利用三維空間控制設(shè)備直接操縱三維對(duì)象。由于在三維空間中進(jìn)行，所以三維光標(biāo)必須有深度感，即近大遠(yuǎn)小，另外，三維物體必須有空間感，即光標(biāo)不能進(jìn)入三維物體內(nèi)部，直接在三維空間中操作，存在著了一系列的問題，需要進(jìn)行大量的計(jì)算，編制接口程序具有相當(dāng)?shù)碾y度，對(duì)硬件的要求也較高。（2）三維楔子（Widgets）,這是三維界面中的一些小工具，用戶可以使用它們?cè)诙S空間中控制三維空間中的物體，例如，三維空間中的漂浮菜單、用于拾取三維物體的手、平移和旋轉(zhuǎn)指示器等，目前，三維楔子仍處于探索階段，還缺乏統(tǒng)一的標(biāo)準(zhǔn)。三視圖輸入技術(shù)是

53、利用二維輸入設(shè)備在多個(gè)視圖上實(shí)現(xiàn)三維輸入的技術(shù)，例如，要輸入一個(gè)點(diǎn)，只要在二維空間的兩個(gè)視圖上輸入相應(yīng)的坐標(biāo)即可；將直線的兩個(gè)端點(diǎn)分別在三視圖上輸入，便可確定三維空間中的一條直線；將一個(gè)面的各個(gè)頂點(diǎn)在三視圖上輸入，便惟一確定了三維空間中的一個(gè)面；如果把一個(gè)多面體的各個(gè)面均按上述方法輸入，就確定了三維空間中的一個(gè)多面體。目前，三視圖輸入技術(shù)在三維交互中廣泛使用。5.3.4表情識(shí)別人的面部表情相當(dāng)豐富，包含著大量的信息，一個(gè)人的情緒、愿望、氣質(zhì)等都可以通過面部表情表現(xiàn)出來，了解一個(gè)人最直接的方法是觀察其面部表情，面部表情是人體語(yǔ)言的一部分，人的面部表情又不是孤立的、靜止的，它與一個(gè)人的情緒及所處的

54、狀態(tài)緊密相連，人的各種情緒變化以及對(duì)冷熱的感覺都是非常復(fù)雜的高級(jí)神經(jīng)活動(dòng)，因此如何感知、記錄和識(shí)別這些變化過程是表情識(shí)別的關(guān)鍵，從心理學(xué)角度來講，情緒心理至少由情緒體驗(yàn)、情緒表現(xiàn)和情緒生理這三個(gè)因素組成，而情緒表現(xiàn)又是由面部表情、聲調(diào)表情或身體姿態(tài)三方面來體現(xiàn)的。面部表情的理解主要有五個(gè)方面的問題：人臉的分類、人臉的表征、人臉的檢測(cè)、人臉的跟蹤與識(shí)別、面部表情的分析與識(shí)別。迄今為止，國(guó)際上關(guān)于表情識(shí)別的研究可以分為基于心理學(xué)的識(shí)別和機(jī)遇計(jì)算機(jī)的識(shí)別，用計(jì)算機(jī)來分析和識(shí)別面部表情的關(guān)鍵是建立表情模型和情緒分類，并把他們同人臉的面部特征與表情的變化聯(lián)系起來，計(jì)算機(jī)面部表情識(shí)別通常分為三個(gè)步驟，即表

55、情的跟蹤、表情的編碼和表情的識(shí)別。1面部表情的分類面部表情的分類有兩種不同的體系，一類是對(duì)情緒的維度分析，即把情緒用三維坐標(biāo)表示；另一類是對(duì)情緒的分類，以下采用后者。湯姆金列出了8種情緒：興趣、快樂、驚奇、痛苦、恐懼、憤怒、羞怯、輕蔑；伊扎德在此基礎(chǔ)上又增加了厭惡和內(nèi)疚兩種情緒；艾克曼定義了6種最基本的表情：驚奇、恐懼、厭惡、憤怒、高興、悲傷，以及33種不同的表情傾向。但是表情的變化又是相當(dāng)復(fù)雜的，經(jīng)?；旌铣霈F(xiàn)，例如，恐懼和驚奇經(jīng)常一起出現(xiàn)，呈現(xiàn)為驚恐。下表列出了各種單一表情的結(jié)構(gòu)特點(diǎn)表：表情的結(jié)構(gòu)特點(diǎn)表情額頭、眉毛眼 睛臉的下半部驚奇眉毛抬起，變高變彎眉毛下的皮膚被拉伸皺紋可能跨越額頭眼睛睜大，上眼皮抬高，下眼皮下落眼皮可能在瞳孔的上邊或下邊露出來下頜下落，嘴張開，唇和齒分開，但嘴部不緊張，也不拉伸恐懼眉毛抬起并皺在一起額頭的皺紋只集中在中部，而不橫跨整個(gè)額頭上眼瞼抬起，下眼皮拉緊嘴張，嘴唇輕微緊張，向后拉或拉長(zhǎng)厭惡眉毛壓低，并壓低上眼瞼在下眼皮下部出現(xiàn)橫紋，臉頰推動(dòng)其向上，但不緊張上唇抬起下唇與上唇緊閉，推動(dòng)上唇向上，嘴角下拉，唇輕微凸起鼻子皺起臉頰抬起憤怒眉毛皺在一起，壓低在眉宇間出現(xiàn)豎直皺紋下眼皮拉緊抬起或