多通道用戶界面

1、m u ltmi o d a l u se r in te rfa c ecu i hong - yan( com pu ter s cience d epa rtm en t, n orthw est poly techn ica l u n iversity, x ian 710072, ch ina)a b stra c t: u se r in te rface is mo re and mo re impo rtan t in comp u te r techno logy becau se of the rap idp rogre ss of comp u te r techno

2、logy and in te rne t techno logy. the m u ltimoda l u se r in te rface is a new re sea rch a sp ec t in th is dom a in. it u se m any a lte rna ting device s and imp rove a lte rna ting effic iency. th is a rtic le m ake de ta iled d iscu ssion on concep t of m u ltimoda l u se r in te rface and som

3、 e in te rac tion techno logy. a t the end of the a rtic le, we a lso in troduce the p rogre ss fo reground of the m u ltimoda l u se r in te rface.key word s:u se r in te rface; m u ltimoda l u se r in te rface; h um an comp u te r in te rac tion1. 3 人機界面的發(fā)展趨勢1 前 言1. 1 人機界面的定義人機界面是指人與計算機系統(tǒng)之間的通信媒體 或

4、手段 ,它是人機雙向信息交換的支持軟件和硬件 ,是用戶使用計算機系統(tǒng)的綜合操作環(huán)境 。這里“界 面 ”定義為通信的媒體或手段 , 它的物化體現(xiàn)是有 關的支持軟件和硬件 ,如帶有鼠標的圖形顯示終端 。人機界面也稱用戶界面 。 衡量人機界面優(yōu)劣的標準在于是否對用戶友好 ,它包括外觀和感覺兩個方面 。人機界面的設計直接關系到人機關系的合理性 ,而研究人機界面則 主要針對兩個問題 :顯示與控制 。1. 2人機交互的定義人機交互是人機界面學的一個分支 ,它是指用 戶與計算機系統(tǒng)之間的通信 ,是人與計算機之間各種符號和動作的雙向信息交換 。實現(xiàn)人與計算機之 間通信的軟 、硬件系統(tǒng)即為交互系統(tǒng) 。這里的“交

5、 互 ”也就是信息交換 , 包括計算機通過輸出或顯示設備給人提供信息 ,以及人通過輸入設備向計算機 輸入有關信息 。信息交換的形式有多種 ,例如鍵盤 、鼠標 、顯示屏幕上的符號或圖形 ,也可以用聲音 、手 勢或身體的動作等 。人機界面的發(fā)展經(jīng)歷了從命令行界面到當前圖形和多媒體用戶界面的過程 ,其直接結(jié)果就是算機擁有了越來越多的用戶 ,用戶需要記憶和訓的時間和強度都大幅度降低了 ,計算機呈現(xiàn)視覺覺信息的能力大大加強 ,提高了用戶對信息表現(xiàn)式的選擇和控制能力以及接收信息的效率 。與此時 ,隨著計算機表現(xiàn)形式的多樣化和用戶與計算交互方式的多樣化 ,傳統(tǒng)的交互手段如鍵盤 、鼠標用途在縮減 ,人機交互方

6、式正經(jīng)歷著一場重大的革 ,無處不在的計算使人與計算機之間產(chǎn)生了一新的交互方式 ,以滿足人們不斷增加的對信息訪和計算功能的需求 。為了適應這種變化 ,出現(xiàn)了多通道人機界面術 。早在大約三十年前 n icho la s n egropon te 就已提出了多通道界面的構(gòu)想 , 他提出了“交談式計機 ( conve rsa tiona l comp u te r) ”的 概 念 。人 可 以 用音 、手勢 、表情 、注視和肢體語言 ,也就是用他們?nèi)丈钪邢嗷ソ涣?的 方式 , 與 這樣 的 機器 進行 交這正是今天多通道人機交互研究的理想 。多通道用戶界面通過不同通道與計算機進行互 ,可以結(jié)合來自多

7、個通道的信息 ,利用互補性來著提高界面對用戶輸入的識別性 ,還可以提高輸作者簡介 :崔鴻雁 ( 1978 - ) ,女 ,江蘇阜寧人 ,碩士研究生 ,主研方向 :測控技術及嵌入式系統(tǒng) 。收稿日期 : 2005 - 01 - 17輸出帶寬 ,讓人們能夠在任何時間 、任何地點用更自然 、高效的方式與任何計算裝置進行通訊和交流 。 同時社會用戶界面 ( su i) 、網(wǎng)絡用戶界面 (nu i)也都是人機界面的發(fā)展方向 。人機界面未來的發(fā)展 趨勢是多通道 - 多媒體用戶界面和虛擬現(xiàn)實系統(tǒng) ,從而最終將進入“人機和諧 ”的最高形式 。2 多通道用戶界面及交互技術2. 1概述通過不同通道與計算機系統(tǒng)進行通

8、訊的用戶界 面 ,稱為多通道用戶界面 , 其中包括視覺 、聽覺 、觸 覺 、動覺 、言語 、手勢 、表情 、眼動或神經(jīng)輸入 。多媒體用戶界面豐富了信息表現(xiàn)形式 ,發(fā)揮了 用戶感知信息的效率 ,拓寬了計算機到用戶的通信帶寬 。而用戶到計算機的通信帶寬卻停滯不前 ,至今仍停留在圖形用戶界面 ( gu i/w im p ) 階段 , 從而 成為當今人機交互技術的瓶頸 。多通道人機界面技術很好的解決了這個問題 。 多通道界面旨在充分利用一個以上的感覺和運動通 道的互補特性來捕捉用戶的意向 ,從而增進人機交互中的自然性 。人的感覺通道有視覺 、聽覺 、觸覺 、 嗅覺和平衡等 ; 人的運動通道有手 、嘴

9、、眼 、頭 、足及身體等 ?，F(xiàn)在 ,計算機操作時 ,人的眼和手十分累 , 效率也不高 。如果能夠?qū)⒙?、說和手 、眼等協(xié)同動 作 ,采用多通道 、以自然方式交互 ,既可以實現(xiàn)高效人機通信 ,也可以由人或機器選擇最佳反應通道 ,從 而不會使某一通道負擔過重 。2. 2多通道和虛擬現(xiàn)實技術目前 ,多媒體和虛擬現(xiàn)實系統(tǒng)人機界面的發(fā)展 ,正使人機交互技術經(jīng)歷著巨大的轉(zhuǎn)變 。下面介紹一 些多通道和虛擬現(xiàn)實技術 。2. 2. 1 眼動跟蹤目前人機界面所用的任何人機交互技術幾乎都 有視覺的參與 。早期的視線跟蹤技術首先應用于心 理學研究 ,后被用于人機交互 。通過對視覺 - 眼動系統(tǒng)的研究 ,可以得知人在

10、觀測各種外景和屏幕信息時的 掃描 選擇 和 注視 過 程 ,從而研究人的視覺感知和綜合機理 。并且在多 批量 、多目標 、多任務情況下 ,對于不同位置 、大小 、 顏色 、速度目標的眼動敏感度 、延遲 、反映速度等具 體特性有深入細致的了解 。有關視覺輸入的人機界面研究主要涉及兩個方 面 :一是實現(xiàn)跟蹤原理和技術的研究 ;二是在使用這 種交互方式后 ,人機界面的設計技術和原理的研究 。在人機交互中對視線追蹤的基本要求有 : 要保證一定的精度 ,滿足使用要求 ; 對用戶基本無干擾 ;定位校正簡單 ;可作為計算機的標準外設 。2. 2. 2 手勢識別以手勢體現(xiàn)人的意圖是一個非常自然的方式,將手勢運

11、用于計算機能夠很好地改善人機交互的效率?；谑謩莸慕换ゼ夹g不同于那些使用手操作設備的交互技術 。利用計算機識別和解釋手勢輸入是 將手勢應用于人機交互的關鍵前提 。目前 ,能識別手勢的典型交互設備是數(shù)據(jù)手套 ,它能對較為復雜的手的動作進行檢測 ,包括手的位置和方向 、手指彎 曲度 ,并可根據(jù)這些信息對手勢進行分類 。手勢的識別可以有多種途徑 ,人們已經(jīng)研究過幾種交互技術 ,包括手勢按鈕 、手勢定位器和手勢拾 取設備等等 ,這些交互設備尤其適合于三維空間交 互 ,起到二維空間交互中類似交互技術的作用 。2. 2. 3 三維交互所有三維空間控制器的共同特點是都具有六個自由度 。對應于描述三維對象的寬

12、度 、深度 、高度 、俯仰角 、轉(zhuǎn)動角 、偏轉(zhuǎn)角 。三維交互技術使用三維輸入輸出設備來完成交互任務 ,主要的技術難點是如 何在三維空間中直接完成定位 、拾取與勾畫等交互 操作 。2. 2. 4 語音識別語音識別是新一代人機界面中最重要的技術之 一 。目前主流的語音識別技術是基于統(tǒng)計模式識別的基本理論 。計算機語音識別過程與人對語音識別的處理過程基本上是一致的 。計算機科學的進展將提供用于表示和利用語音識別的體系結(jié)構(gòu)和平臺 。研究者將結(jié)合語音 、面部表情和手勢 ,改善對語言的理解 ,并產(chǎn)生更自然 、更清晰的動畫角色語音 ?，F(xiàn)在 ,語音識別已經(jīng)在金融 、電信和旅游 、娛樂 、軍事等許多方面取得了突

13、破性的應用 。語音合成技術把可視的文本信息轉(zhuǎn)化為可聽的聲音信息 ,其應 用的經(jīng)濟效益和社會效益前景良好 。語音無庸置疑地成為人與計算機等信息設備進行交互的最重要的 “人機界面 ”。2. 2. 5 表情識別面部表情是人體語言的一部分 ,它與情緒之間 存在著千絲萬縷的聯(lián)系 。如何感知 、記錄 、識別這些 變化過程是表情識別的關鍵 。計算機面部表情的識別通常分為三個步驟 ,即 表情的跟蹤 、表情的編碼和表情的識別 。計算機的表情識別技術可以使得人機交互更加自然 。2. 2. 6 自然語言理解隨著社會的日益信息化 ,人們越來越強烈的希 望用自然語言同計算機交流 。自然語言理解是自然 語言人機交互的基礎

14、 。自然語言處理就是研究如何能讓計算機理解并 生成人們?nèi)粘Ｋ褂玫恼Z言 ,并對人給計算機提出人機界面領域 ,使得用戶界面更加靈活和易于使用 。隨著網(wǎng)絡的發(fā)展 ,手寫識別與網(wǎng)絡的結(jié)合也是必然 的趨勢 。2. 3多通道用戶界面的特點多通道用戶界面的主要特點如下 :( 1 )使用多個感覺和效應通道 。盡管感覺通道 側(cè)重于多媒體信息的接受 ,而效應通道側(cè)重于交互 過程中控制與信息的輸入 ,但兩者是密不可分 、相互配合的 ;當僅使用一種通道不能充分表達用戶的意 圖時 ,需輔以其它通道的信息 ;有時使用輔助通道以增強表達力 ;需要特別強調(diào)的是 ,交替而獨立地使用 不同的通道不是真正意義上的多通道技術 ,反

15、之 ,應 允許充分地并行協(xié)作的通道配合關系 。( 2 )三維的和直接操縱的 。人類大多數(shù)活動領 域具有三維和直接操縱特點 ,人生活在三維空間 ,習慣于看 、聽和操縱三維的客觀對象 ,并希望及時看到 這種控制的結(jié)果 。多通道人機交互的自然性反應了 這種本質(zhì)特點 。( 3 )允許非精確的交互 。人類在日常生活中習 慣于并大量使用非精確的信息交流 ,人類語言本身就具有高度模糊性 。允許使用模糊的表達手段可以 避免不必要的認知負荷 ,有利于提高交互活動的自 然性和高效性 ;多通道人機交互技術主張以充分性代替精確性 。( 4 )交互雙向性 。人的感覺和效應通道通常具 有雙向性的特點 ,如視覺可看可注視

16、,手可控制 、可觸及等 ,多通道用戶界面使用戶避免生硬的 、不自然的 、頻繁的 、耗時的通道切換 ,從而提高自然性和效 率 。例如視線跟蹤系統(tǒng)可促成視覺交互雙向性 ,聽覺通道利用三維聽覺定位器實現(xiàn)交互雙向性 ,這在單通道用戶界面中是難以想象的 。( 5 )交互的隱 含 性 。有 人認 為 , 好的 用 戶界 面 應當使用戶把所有注意力均集中于完成任務而無需為界面分心 ,即好的用戶界面對用戶而言應當是不 存在界面 。追求交互自然性的多通道用戶界面并不現(xiàn)狀和未來方向 。( 2 )網(wǎng)絡通信服務 。網(wǎng)絡技術的應用將人類會帶入了信息化時代 。采用語音技術后 ,用戶在個過程中不用進行繁瑣的操作 , 網(wǎng)絡將

17、會向著“聽會說 ”的實用化方向發(fā)展 。( 3 )電話信息應用 。語音技術已逐漸在電信訊服務領域的智能電話查詢系統(tǒng)中展開應用 ,用只需撥打電話 ,就可實時獲取所需信息 。隨著互網(wǎng)的出現(xiàn)和推廣 ,在技術上語音與互聯(lián)網(wǎng)已能夠功的結(jié)合 。用戶可以通過電話 ,方便的發(fā)送電子件和類似的留言信息 。( 4 )計算機輔助教育和遠程教育 。多媒體的向教學也離不開語音技術的應用 ,網(wǎng)絡技術的發(fā)使得教育手段增多 ,“能聽會說 ”的計算機輔助教必然是未來發(fā)展方向 。( 5 )計算機輔助設計 。由于手寫體可以讓用像平時那樣 ,拿著筆任意勾勒思路 ,同時語音可在定程度上替代鍵盤的地位 ,這使得設計者能夠?qū)⒓旱牡南敕ㄗ匀坏?/p>

18、表現(xiàn)出來 。2. 5 多通道用戶界面研究的目標多通道用戶界面研究的目標是 : 交互自然使用戶盡可能多地利用已有的日常技能與計算機互 ,降低認知負荷 ; 交互高效性 : 使人機通信信交換吞吐量更大 、形式更豐富 ,發(fā)揮人機彼此不同認知潛力 ; 吸取已有人機交互技術的成果 ,與傳的用戶界面特別是廣泛流行的 w im p / gu i兼容 ,使用戶 、專家用戶的知識和技能得以利用 ,不被淘汰3 多通道用戶界面及交互技術發(fā)展前景多通道用戶界面結(jié)合多個通道 ,可以發(fā)揮各通道獨特的優(yōu)勢 ,利用互補帶來的靈活性 ,實現(xiàn)更面和效率更高的交互 ;結(jié)合多個通道的信息 ,可以用互補性來提高界面向用戶輸出時的表現(xiàn)力

19、。(下轉(zhuǎn)第 76頁因為基本微分電路在高頻時極不穩(wěn)定 ,且容易受到噪聲的影響 ,所以并不實用 。實際的微分 1 到 微分 2的電路由圖 6 所示 ,運放 a1 構(gòu)成微分 1 ,運放 a2和 a 3構(gòu)成絕對值電路 ,運放 a 4 構(gòu)成微分 2。 在微分 1中 ,通過增加電阻 r1 ,使得運算放大器的輸出信號在未到達 fn 之前就出現(xiàn)了頻率折點 , 從而 使 fn 處的相移大大減小 ,并消除了共振峰 。電容 c1 的值為 r1c2 /r2 , 這樣就縮小了帶通 區(qū) 的帶 寬 , 從而大大減小了噪聲 。絕對值電路是從精密半波整流 器演變而來 , a 3構(gòu)成輸出網(wǎng)絡 , a2 構(gòu)成輸入求和網(wǎng) 絡 。微分

20、 2的結(jié)構(gòu)與微分 1 一樣 ,只是參數(shù)的值有所不同 。伸系統(tǒng)之間 , 與牽伸 系 統(tǒng)構(gòu) 成閉 環(huán) 控制 , 就 可以 對m po f的直徑進行有效的控制 。該系統(tǒng)較高的測量 精度和信號處理效率 ,能夠使 m po f 直徑穩(wěn)定在一定范圍之內(nèi) ,有效提高了 m po f的成品率 。圖 7硬件配置系統(tǒng)圖 6 微分 1到微分 2的實際電路微機系統(tǒng)我們采用單片機 a t89c51 來構(gòu)建 ,計 數(shù)脈沖的讀取采用中斷方式 ,用 ccd 的起始信號作 為中斷信號 ,在中斷信號到來以后讀取計數(shù)脈沖 n 值并保存 ,然后清零計數(shù)器 ,再等待下一個計數(shù)脈沖 的到來 。將記錄的 n 值進行處理就可以得到徑值 ,

21、之后 ,通過顯示電路顯示 ,并傳送給牽伸控制系統(tǒng) 。圖 8 軟件系統(tǒng)參考文獻 : 1 李新秋 ,徐光等 . ccd 外徑測量及控制 j . 橡膠工業(yè) ,1999: 238 - 240.許世文主編 . 計量光學 m . 哈爾濱 : 哈爾濱工業(yè)大學出版社 , 1988.王慶有主編 . ccd 應用技術 m . 天津 : 天津大學出版社 , 2002.常丹 華 . 基 于 cpld 技 術 的 ccd 驅(qū) 動 時 序 產(chǎn) 生 方 法 j . 儀器技術與傳感器 . 2001: 26 - 28.張永強 ,于榮金 . 塑料光纖 j . 燕山大學學報 , 2003:58 - 64. 2 整個過程的硬件配置如圖所示 。4 結(jié)論7 所示 ,軟件系統(tǒng)如圖8 3 4 5 把基于 ccd 的直徑測量系統(tǒng)放在擠