基于自然界面的多病害識(shí)別交互桌面界面存儲(chǔ)器設(shè)計(jì)

基于自然界面的多病害識(shí)別交互桌面界面存儲(chǔ)器設(shè)計(jì)

在計(jì)算機(jī)支持協(xié)同工作、多媒體計(jì)算和一般應(yīng)用程序的共同推動(dòng)下，結(jié)合多因素多領(lǐng)域的自然界面實(shí)現(xiàn)了接口的建設(shè)。與傳統(tǒng)的個(gè)人表面計(jì)算機(jī)相比，交互式界面系統(tǒng)具有水平顯示、多手動(dòng)操作、支持多媒體作品的功能?；?dòng)桌布用于軍事、教育、娛樂(lè)、合作設(shè)計(jì)等領(lǐng)域。交互桌面系統(tǒng)的界面構(gòu)造涉及多領(lǐng)域、多學(xué)科交叉,是一項(xiàng)復(fù)雜的系統(tǒng)工作.界面工具可減少底層實(shí)現(xiàn)的負(fù)擔(dān),通過(guò)提供合適的功能模塊,既降低了系統(tǒng)開(kāi)發(fā)門檻,又可使應(yīng)用程序開(kāi)發(fā)人員將注意力集中到應(yīng)用領(lǐng)域功能的實(shí)現(xiàn),但目前的界面工具大多基于傳統(tǒng)WIMP范式開(kāi)發(fā).Grafiti提供了一個(gè)可擴(kuò)展的多指手勢(shì)處理框架,用戶可自由地添加新的手勢(shì)識(shí)別算法,手勢(shì)以手勢(shì)事件的形式提供給應(yīng)用程序;但由于Grafiti缺少構(gòu)造多觸點(diǎn)交互桌面界面的界面組件庫(kù),為了實(shí)現(xiàn)支持多指手勢(shì)并且可實(shí)現(xiàn)任意角度旋轉(zhuǎn)的界面元素,開(kāi)發(fā)人員在界面繪制方面仍需做大量的工作.PyMT提供了一個(gè)適用于多觸點(diǎn)交互桌面的界面組件庫(kù);但在手勢(shì)識(shí)別管理方面略顯不足,支持的手勢(shì)種類少,開(kāi)發(fā)人員仍需基于原始的觸點(diǎn)數(shù)據(jù)實(shí)現(xiàn)手勢(shì)識(shí)別算法.SurfaceSDK1也有類似于PyMT的問(wèn)題,僅提供了基本的手勢(shì);同時(shí),SurfaceSDK的使用基于具體的軟件平臺(tái),移植性較差.DiamondSpin提供了用戶身份區(qū)分的功能,但需憑借特定的硬件設(shè)施,該方法不具有通用性.可見(jiàn)由于WIMP范式基于鼠標(biāo)等支持精確指點(diǎn)輸入的輸入設(shè)備,交互方式是精確、離散的,只有單個(gè)輸入焦點(diǎn),不適合用于指導(dǎo)多觸點(diǎn)交互桌面的開(kāi)發(fā).多觸點(diǎn)交互桌面使用手指、筆等輸入設(shè)備,交互方式通常使用自然手勢(shì),該交互方式具有模糊、連續(xù)、多焦點(diǎn)并行輸入等特性.George提出自然用戶界面的通用隱喻OCGM(objects,containers,gesturesandmanipulations)2,該隱喻與多觸點(diǎn)交互桌面的界面及交互方式更加符合,其對(duì)象是基本的界面元素,可以是物理對(duì)象也可以是虛擬的界面元素;容器是對(duì)象以某種形式組織形成的集合;手勢(shì)與系統(tǒng)命令相對(duì)應(yīng)手勢(shì)輸入完成之后,系統(tǒng)根據(jù)手勢(shì)識(shí)別結(jié)果執(zhí)行某個(gè)系統(tǒng)任務(wù);操作是對(duì)對(duì)象的直接操作,操作方式類比于物理世界中對(duì)物體的操作.為了有效地支持多觸點(diǎn)交互桌面系統(tǒng)的開(kāi)發(fā),MTBuilder在對(duì)多觸點(diǎn)交互桌面界面工具需求分析的基礎(chǔ)上,基于自然用戶界面通用隱喻OCGM設(shè)計(jì)并實(shí)現(xiàn),力求為應(yīng)用程序開(kāi)發(fā)人員提供一個(gè)功能強(qiáng)大、簡(jiǎn)單易用的多觸點(diǎn)交互桌面應(yīng)用程序開(kāi)發(fā)環(huán)境.MTBuilder使用了一系列新型的技術(shù),用多觸點(diǎn)手勢(shì)識(shí)別預(yù)處理算法對(duì)多觸點(diǎn)信息進(jìn)行預(yù)處理,即按照抽象層次的不同對(duì)觸點(diǎn)信息進(jìn)行結(jié)構(gòu)化存儲(chǔ),經(jīng)過(guò)預(yù)處理的多觸點(diǎn)信息更有利于多指手勢(shì)的識(shí)別;使用動(dòng)態(tài)配置手勢(shì)識(shí)別器的技術(shù)對(duì)手勢(shì)識(shí)別器進(jìn)行調(diào)度,系統(tǒng)運(yùn)行的某一時(shí)刻只調(diào)用可能會(huì)用到的識(shí)別器,采用這種方式可有效地提高手勢(shì)識(shí)別效率,進(jìn)而提高系統(tǒng)的響應(yīng)速度;基于自然用戶界面通用隱喻OCGM構(gòu)建的界面更易于被用戶理解,可提高界面的易用性;采用個(gè)人活動(dòng)窗口以軟件的方式實(shí)現(xiàn)多觸點(diǎn)交互桌面身份區(qū)分,這種基于軟件的身份區(qū)分方式不受硬件設(shè)備的限制,具有較好的通用性.1面向用戶的多進(jìn)一步融合為了保證用戶與交互桌面系統(tǒng)交互的自然性、直觀性,減少用戶的學(xué)習(xí)和認(rèn)知負(fù)擔(dān),本文對(duì)一些典型的多人交互場(chǎng)景進(jìn)行研究發(fā)現(xiàn),用戶通常會(huì)多個(gè)手指協(xié)調(diào)配合實(shí)現(xiàn)對(duì)物理對(duì)象的操作,如抓取、放置等;用戶與用戶之間對(duì)某對(duì)象進(jìn)行討論的時(shí)候,總是習(xí)慣于將對(duì)象拖動(dòng)并旋轉(zhuǎn)至兩人均方便查看的位置以方便交流.為了便于開(kāi)發(fā)具有良好沉浸感及交互自然性的交互桌面系統(tǒng),交互桌面界面開(kāi)發(fā)工具箱的設(shè)計(jì)與開(kāi)發(fā)需要解決如下3個(gè)技術(shù)難點(diǎn):1)多指手勢(shì)識(shí)別與理解.多指輸入具有多個(gè)輸入焦點(diǎn)、連續(xù)、并發(fā)、信息量大等特點(diǎn),這些觸點(diǎn)信息的組織和存儲(chǔ)模型將直接影響多指手勢(shì)識(shí)別與理解的效率,因此需要一種有效的方式對(duì)用戶實(shí)時(shí)輸入的多觸點(diǎn)信息進(jìn)行結(jié)構(gòu)化存儲(chǔ).2)多觸點(diǎn)交互桌面界面元素設(shè)計(jì).顯示方式從垂直轉(zhuǎn)化成了水平,位于交互桌面不同位置的協(xié)作用戶不能共享視角,需要在新的界面隱喻指導(dǎo)下對(duì)交互桌面界面組件重新進(jìn)行設(shè)計(jì),以便用戶理解界面并順利完成交互任務(wù).3)多指手勢(shì)事件管理.多觸點(diǎn)輸入具有連續(xù)、并發(fā)的特點(diǎn),但是現(xiàn)有界面工具通常把觸點(diǎn)或手勢(shì)當(dāng)作鼠標(biāo)事件來(lái)處理,未能充分利用多觸點(diǎn)交互所提供的豐富的輸入通道.界面工具應(yīng)提供一個(gè)面向多觸點(diǎn)交互的手勢(shì)事件管理機(jī)制.為了解決上述問(wèn)題,本文基于OCGM提出如圖1所示的MTBuilder整體架構(gòu)圖.用戶通過(guò)多觸點(diǎn)硬件設(shè)備輸入多觸點(diǎn)信息,這些多觸點(diǎn)信息經(jīng)過(guò)一系列的處理后通過(guò)TUIO協(xié)議發(fā)送給MTBuilder,MTBuilder對(duì)接收到的數(shù)據(jù)進(jìn)行處理,最后通過(guò)應(yīng)用程序接口可旋轉(zhuǎn)圖形界面組件和手勢(shì)事件管理器將用戶的手勢(shì)信息發(fā)送給應(yīng)用程序,從而完成相應(yīng)的交互任務(wù).基于TUIO協(xié)議傳輸多觸點(diǎn)信息使該界面工具可以獨(dú)立于具體的多觸點(diǎn)硬件平臺(tái),具有更好的可移植性.MTBuilder由手勢(shì)算法庫(kù)和界面組件庫(kù)兩大模塊組成.手勢(shì)算法庫(kù)包含多個(gè)手勢(shì)識(shí)別器,主要負(fù)責(zé)將用戶輸入的觸點(diǎn)信息轉(zhuǎn)化為具有高級(jí)語(yǔ)義的手勢(shì),并以手勢(shì)事件的形式發(fā)送給手勢(shì)事件管理器;界面組件庫(kù)由多個(gè)可旋轉(zhuǎn)圖形界面組件組成,這些界面組件基于OCGM隱喻進(jìn)行設(shè)計(jì),可監(jiān)聽(tīng)多觸點(diǎn)手勢(shì)事件并且可以實(shí)現(xiàn)任意角度的旋轉(zhuǎn).MTBuilder的架構(gòu)具有很好的模塊化特征,手勢(shì)算法庫(kù)和界面組件庫(kù)均可進(jìn)行任意擴(kuò)展,以方便地集成各種新型的交互技術(shù)和算法.下面詳細(xì)介紹手勢(shì)算法庫(kù)設(shè)計(jì)與實(shí)現(xiàn)過(guò)程中涉及到的關(guān)鍵技術(shù),界面組件庫(kù)中組件設(shè)計(jì)的指導(dǎo)思想,以及手勢(shì)算法庫(kù)和界面組件庫(kù)兩大核心模塊之間的通信機(jī)制手勢(shì)事件管理機(jī)制.2指手動(dòng)信息提取的提取2.1場(chǎng)景圖的描述和編碼信息多觸交互桌面通常屏幕較大并支持多個(gè)用戶并發(fā)交互,往往會(huì)出現(xiàn)多個(gè)用戶同時(shí)與界面元素進(jìn)行交互的情況.TUIO服務(wù)器端會(huì)將所有用戶輸入的觸點(diǎn)信息無(wú)差別地順序發(fā)送給交互桌面系統(tǒng),對(duì)系統(tǒng)的手勢(shì)識(shí)別和理解帶來(lái)困難,需對(duì)接收到的TUIO數(shù)據(jù)進(jìn)行預(yù)處理.文獻(xiàn)按照用戶的不同對(duì)輸入觸點(diǎn)進(jìn)行分類,以用戶作為語(yǔ)義理解的單位解析單個(gè)用戶的交互意圖,該方式適用于具有身份識(shí)別功能的交互桌面,但對(duì)于大多數(shù)基于計(jì)算機(jī)視覺(jué)的多觸點(diǎn)交互桌面系統(tǒng)并不可行.通過(guò)認(rèn)知心理學(xué)對(duì)人類大腦注意機(jī)制的研究可知,單個(gè)用戶在與系統(tǒng)交互的過(guò)程中關(guān)注的焦點(diǎn)通常只有一個(gè).故為了有效理解用戶輸入的觸點(diǎn)信息流,本文將界面元素作為語(yǔ)義理解的基本單位,即對(duì)同一界面元素的交互效果是作用于該元素的所有觸點(diǎn)的合作用.作用于同一界面元素的所有觸點(diǎn)信息也將作為手勢(shì)識(shí)別的基本單元,用戶輸入觸點(diǎn)信息后,系統(tǒng)進(jìn)行碰撞檢測(cè)判斷觸點(diǎn)所在界面元素,從而將觸點(diǎn)按照界面元素進(jìn)行分類.圖2所示為多觸點(diǎn)信息分類示意圖,按照產(chǎn)生時(shí)間的不同,觸點(diǎn)數(shù)據(jù)依次經(jīng)TUIO發(fā)送給交互桌面系統(tǒng),交互桌面系統(tǒng)按上述方式將觸點(diǎn)按界面元素進(jìn)行分類,即可進(jìn)行手勢(shì)識(shí)別等處理,理解用戶對(duì)該界面元素進(jìn)行的操作.為了有效地保存上述觸點(diǎn)信息及觸點(diǎn)分類結(jié)果,本文采用類似于場(chǎng)景圖的方式描述并保存各個(gè)層次的觸點(diǎn)信息.觸點(diǎn)信息被分為觸點(diǎn)、路徑和路徑簇3個(gè)層次進(jìn)行存儲(chǔ),這些數(shù)據(jù)在原始的觸點(diǎn)信息的基礎(chǔ)上還添加了相關(guān)的上下文信息及其他輔助信息.1)觸點(diǎn).每一個(gè)觸點(diǎn)事件都對(duì)應(yīng)一個(gè)新的觸點(diǎn),其數(shù)據(jù)模型為TouchPoint<fingerID,xpos,ypos,xspeed,yspeed,state>.其中,fingerID唯一標(biāo)識(shí)一個(gè)手指;xpos和ypos表示該觸點(diǎn)在屏幕上的絕對(duì)位置;xspeed和yspeed表示觸點(diǎn)當(dāng)前的運(yùn)動(dòng)速度,通常通過(guò)當(dāng)前幀與上一幀2幀的坐標(biāo)差計(jì)算而得;state表示該觸點(diǎn)所處的狀態(tài)ADDED,UPDATED和REMOVED,ADDED表示手指剛接觸屏幕,UPDATED表示手指在屏幕上移動(dòng)位置信息被更新了,REMOVED表示手指抬起.2)路徑.手指按下、移動(dòng)、抬起這一過(guò)程中涉及到的所有的觸點(diǎn)形成的軌跡,其數(shù)據(jù)模型為Path<pathID,<TouchPoints>,<targets>,enteringTarget,currentTarget,leavingTarget,state,timestamp>.其中,pathID為該路徑的唯一標(biāo)識(shí),通常為產(chǎn)生該路徑的手指的fingerID;<TouchPoints>觸點(diǎn)列表保存該路徑上的所有觸點(diǎn)信息;<targets>界面對(duì)象列表保存手指劃過(guò)的所有界面對(duì)象;enteringTarget表示手指當(dāng)前進(jìn)入的對(duì)象;currentTarget表示手指當(dāng)前所在的對(duì)象;leavingTarget表示手指當(dāng)前離開(kāi)的對(duì)象;state表示該路徑所處的狀態(tài)ADD,UPDATE和REMOVE,ADD表示新建了一條路徑,UPDATE表示路徑處于活動(dòng)狀態(tài),REMOVE表示該路徑結(jié)束;timestamp保存該路徑信息最后一次被修改的時(shí)間.3)路徑簇.多觸點(diǎn)手勢(shì)識(shí)別預(yù)處理算法對(duì)當(dāng)前所有觸點(diǎn)進(jìn)行分類產(chǎn)生路徑簇,路徑簇是此界面工具進(jìn)行手勢(shì)識(shí)別的基本單位,是用戶的一個(gè)輸入焦點(diǎn),其數(shù)據(jù)模型為Cluster<clusterID,<Paths>,<currentPaths>,<currentAddingPaths>,<currentUpdatingPaths>,<currentRemovingPaths>,initialTarget,<finalTargets>,<enteringTargets>,<currentTargets>,<leavingTargets>,state,timestamp>.其中,clusterID唯一標(biāo)記一個(gè)路徑簇;<Paths>為路徑列表,保存著從該路徑簇產(chǎn)生到現(xiàn)在包含的所有路徑,包括剛添加的、被更新的以及已經(jīng)移除的路徑;<currentPaths>為路徑簇當(dāng)前包含的路徑;<currentAddingPaths>為當(dāng)前新添加的路徑;<currentUpdatingPaths>為當(dāng)前被更新的路徑;<currentRemovingPaths>為當(dāng)前被移除的路徑;initialTarget為該路徑簇初始化的時(shí)候所在的界面對(duì)象;<finalTargets>為該路徑簇中所有路徑被移除時(shí)每條路徑所在界面對(duì)象的集合;<enteringTargets>為該路徑簇中路徑在這一處理周期進(jìn)入的界面對(duì)象集;<currentTargets>為該路徑簇中路徑在這一處理周期所在的界面對(duì)象集;<leavingTargets>為該路徑簇中路徑在這一處理周期離開(kāi)的界面對(duì)象;state表示該路徑簇所處的狀態(tài)ADD,UPDATE、REMOVE,ADD表示該路徑簇剛被初始化,UPDATE表示該路徑簇處于活動(dòng)狀態(tài),REMOVE表示該路徑簇生命周期結(jié)束;timestamp保存該路徑簇信息最后一次被修改的時(shí)間.2.2mtbuildad分類手指輸入是多觸點(diǎn)交互桌面環(huán)境下用戶最主要的交互方式,理解用戶交互意圖將用戶輸入的多指軌跡理解為相應(yīng)的語(yǔ)義表達(dá)是手勢(shì)算法庫(kù)的關(guān)鍵所在.為了有效地對(duì)多指手勢(shì)進(jìn)行理解,首先需對(duì)用戶輸入進(jìn)行劃分.自然用戶界面通用隱喻OCGM對(duì)用戶輸入進(jìn)行了劃分,將用戶輸入分為手勢(shì)(gesture)和操作(manipulation).其手勢(shì)是用戶執(zhí)行的一個(gè)動(dòng)作,在手勢(shì)執(zhí)行完成之后會(huì)觸發(fā)一個(gè)系統(tǒng)動(dòng)作,只在動(dòng)作完成之后系統(tǒng)才會(huì)給出響應(yīng);操作是用戶對(duì)對(duì)象本身或者容器的直接操作,模擬日常生活中用戶對(duì)物理對(duì)象的操作,在用戶操作的過(guò)程中系統(tǒng)會(huì)實(shí)時(shí)地給予反饋.基于此劃分,本文將用戶輸入分為直觸手勢(shì)、命令手勢(shì)和文本內(nèi)容輸入3類.直觸手勢(shì)以“圍桌”為隱喻,其手勢(shì)設(shè)計(jì)也模仿人們?nèi)粘Ｉ钪凶饔糜谖锢碜烂鎸?duì)象的方式,如縮放、旋轉(zhuǎn)、拖動(dòng)、抓取等;命令手勢(shì)是對(duì)直觸手勢(shì)的補(bǔ)充,主要用于系統(tǒng)狀態(tài)的切換、系統(tǒng)命令的調(diào)用等操作;文本內(nèi)容輸入也是不可避免需要輸入的內(nèi)容,如圖片標(biāo)注、文本注解等均需提供文本內(nèi)容的輸入.其中,直觸手勢(shì)與OCGM中的操作相對(duì)應(yīng),命令手勢(shì)和文本內(nèi)容輸入與OCGM中的手勢(shì)相對(duì)應(yīng).該分類方法是對(duì)OCGM中用戶輸入分類的具體化,基于該分類即可為每一類輸入分別設(shè)計(jì)不同的識(shí)別器.MTBuilder支持多人并行交互,存在系統(tǒng)同時(shí)響應(yīng)多個(gè)輸入焦點(diǎn)的問(wèn)題.MTBuilder對(duì)識(shí)別器的管理方式類似于筆式界面工具SATIN,通過(guò)識(shí)別管理器對(duì)各個(gè)識(shí)別器進(jìn)行管理和調(diào)度.與SATIN不同的是,MTBuilder中每一個(gè)路徑簇均需配備所有的手勢(shì)識(shí)別器,具體的識(shí)別調(diào)度由每一個(gè)路徑簇對(duì)應(yīng)的識(shí)別管理器進(jìn)行管理,如圖3所示.圖3中,C表示路徑簇,即上述多觸點(diǎn)數(shù)據(jù)層次化存儲(chǔ)的結(jié)果;CGM表示該路徑簇的識(shí)別管理器;GR表示手勢(shì)識(shí)別器;Gesture表示GR可識(shí)別的手勢(shì).MTBuilder可并行處理的路徑簇不止2個(gè),對(duì)路徑簇的個(gè)數(shù)并無(wú)限制,即對(duì)交互桌面可并行輸入的焦點(diǎn)個(gè)數(shù)沒(méi)有限制.MTBuilder內(nèi)置對(duì)3類觸點(diǎn)信息直觸手勢(shì)、命令手勢(shì)和文本內(nèi)容輸入的識(shí)別.命令手勢(shì)通常為單筆手勢(shì),文本內(nèi)容輸入為符號(hào)、數(shù)字等,這些內(nèi)容的識(shí)別已有較為成熟的算法,如Rubin算法、$1算法以及漢王識(shí)別庫(kù)等,在MTBuilder對(duì)觸點(diǎn)分類的基礎(chǔ)上即可直接調(diào)用.MTBuilder目前使用$1算法識(shí)別命令手勢(shì),使用漢王識(shí)別庫(kù)識(shí)別文本內(nèi)容輸入.直觸手勢(shì)的識(shí)別要復(fù)雜一些,需根據(jù)觸點(diǎn)、路徑、路徑簇中保存的信息實(shí)時(shí)計(jì)算和判斷,如兩手指放縮手勢(shì)需判斷當(dāng)前界面元素上的觸點(diǎn)個(gè)數(shù),在觸點(diǎn)個(gè)數(shù)為2個(gè)的前提下,再計(jì)算兩觸點(diǎn)之間的距離等信息,最后得出縮放比例,將縮放比例作為手勢(shì)事件參數(shù)傳送給應(yīng)用程序.手勢(shì)識(shí)別器的個(gè)數(shù)也可根據(jù)用戶需求進(jìn)行任意擴(kuò)展,MTBuilder具有很好的可擴(kuò)展性.此外,多觸點(diǎn)手勢(shì)處理是迭代運(yùn)行的,對(duì)用戶實(shí)時(shí)輸入的觸點(diǎn)信息進(jìn)行循環(huán)處理,識(shí)別器個(gè)數(shù)增多會(huì)使迭代處理周期變長(zhǎng),進(jìn)而影響系統(tǒng)的響應(yīng)速度.從用戶的角度看,即為系統(tǒng)反饋滯后、用戶體驗(yàn)差.為縮短迭代周期,本文對(duì)識(shí)別器狀態(tài)進(jìn)行劃分,根據(jù)其狀態(tài)對(duì)識(shí)別器進(jìn)行實(shí)時(shí)動(dòng)態(tài)管理.如圖4所示,識(shí)別器有5種狀態(tài),在界面組件初始化的過(guò)程中初始化其所需的手勢(shì)識(shí)別器,完成識(shí)別器配置等工作;在應(yīng)用程序運(yùn)行過(guò)程中,隨著觸點(diǎn)信息的輸入,手勢(shì)識(shí)別器對(duì)觸點(diǎn)信息進(jìn)行手勢(shì)識(shí)別,如果識(shí)別成功則發(fā)送相應(yīng)的手勢(shì)事件,如果識(shí)別過(guò)程中遇到未定義手勢(shì)類型,則認(rèn)為后續(xù)的觸點(diǎn)輸入都將無(wú)法識(shí)別,識(shí)別器的狀態(tài)轉(zhuǎn)為識(shí)別結(jié)束.識(shí)別器識(shí)別結(jié)束后,需對(duì)識(shí)別器進(jìn)行清理等善后工作,即識(shí)別器銷毀.若手勢(shì)識(shí)別器轉(zhuǎn)到銷毀狀態(tài),則下一個(gè)處理周期將不再調(diào)用該手勢(shì)識(shí)別器對(duì)觸點(diǎn)輸入進(jìn)行識(shí)別,可縮短系統(tǒng)處理時(shí)間.3界面技術(shù)特性交互桌面自然手勢(shì)輸入和水平顯示等特點(diǎn),使基于傳統(tǒng)WIMP范式設(shè)計(jì)的界面組件庫(kù)不再適用于交互桌面界面的開(kāi)發(fā):在交互桌面上選取傳統(tǒng)WIMP界面中的某些對(duì)象,如菜單選項(xiàng)、工具欄中的按鈕時(shí)會(huì)出現(xiàn)很難選中的問(wèn)題;交互桌面供多個(gè)用戶同時(shí)使用,傳統(tǒng)WIMP界面中對(duì)象的朝向是固定的,水平顯示的方式致使處于桌面不同方位的用戶出現(xiàn)界面理解困難的問(wèn)題;有些交互桌面的幅面比較大,使用自然手操作會(huì)出現(xiàn)遠(yuǎn)距離對(duì)象選取難的問(wèn)題.OCGM以對(duì)象作為界面基本元素,容器作為對(duì)象的組織形式,能夠更好地概括交互桌面界面元素的特征.因此本文界面工具基于該隱喻設(shè)計(jì),并開(kāi)發(fā)了多觸點(diǎn)交互桌面的基本界面組件庫(kù),其中界面組件庫(kù)包含多種類型的界面容器和界面對(duì)象以滿足不同應(yīng)用需求.這些界面對(duì)象均支持多指手勢(shì)操作,交互語(yǔ)義由應(yīng)用程序開(kāi)發(fā)人員根據(jù)具體的應(yīng)用需求定義.界面元素組織形式如圖5所示,MTBuilder要求應(yīng)用系統(tǒng)有且只有一個(gè)根容器,該根容器可以理解為“圍桌”隱喻中的圍桌桌面,可以放置別的容器和對(duì)象.在MTBuilder界面組件庫(kù)中,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)特殊的界面組件個(gè)人活動(dòng)窗口.本文界面工具實(shí)驗(yàn)使用的交互桌面是基于計(jì)算機(jī)視覺(jué)原理的,只有一個(gè)攝像頭用來(lái)捕獲用戶觸點(diǎn)信息,不能對(duì)用戶的身份進(jìn)行區(qū)分.桌面領(lǐng)土理論指出,用戶與桌面交互的過(guò)程中會(huì)將桌面劃分為個(gè)人工作空間、公共工作空間及存儲(chǔ)空間.基于該理論,本文使用個(gè)人活動(dòng)窗口的方式實(shí)現(xiàn)了有身份區(qū)分的多觸點(diǎn)交互桌面的協(xié)同工作.用戶可使用個(gè)人區(qū)域選擇手勢(shì)在桌面上劃分出個(gè)人活動(dòng)窗口,個(gè)人活動(dòng)窗口出現(xiàn)后,系統(tǒng)即將該個(gè)人活動(dòng)窗口與此用戶綁定,該個(gè)人活動(dòng)窗口內(nèi)發(fā)生的所有交互均被認(rèn)為是該用戶發(fā)出的.系統(tǒng)通過(guò)區(qū)分個(gè)人活動(dòng)窗口來(lái)區(qū)分不同的用戶,用戶對(duì)其個(gè)人活動(dòng)窗口具有所有權(quán)和操作權(quán),用戶在該窗口內(nèi)可進(jìn)行任意操作,別人對(duì)該窗口內(nèi)容的操作需通過(guò)用戶的許可;在操作完成之后,用戶可通過(guò)手勢(shì)關(guān)閉該窗口.對(duì)公共工作空間及存儲(chǔ)空間的操作需在所有用戶達(dá)成一致的情況下才能進(jìn)行.4人工干預(yù)機(jī)+toio多觸點(diǎn)交互桌面是由手勢(shì)事件驅(qū)動(dòng)的,手勢(shì)事件是聯(lián)系多指手勢(shì)識(shí)別模塊與界面組件庫(kù)的橋梁.MTBuilder的手勢(shì)事件管理機(jī)制如圖6所示,該機(jī)制可分為3個(gè)階段:注冊(cè)手勢(shì)事件,對(duì)應(yīng)圖6中①;產(chǎn)生手勢(shì)事件,對(duì)應(yīng)圖6中②;執(zhí)行手勢(shì)事件,對(duì)應(yīng)圖6中③.在界面對(duì)象初始化的時(shí)候,界面對(duì)象利用手勢(shì)事件管理器注冊(cè)其需要監(jiān)聽(tīng)的手勢(shì)事件,手勢(shì)事件管理器會(huì)將該界面對(duì)象、界面對(duì)象需要監(jiān)聽(tīng)的手勢(shì)以及與該手勢(shì)對(duì)應(yīng)的手勢(shì)事件處理函數(shù)均保存到手勢(shì)事件注冊(cè)表中;應(yīng)用程序初始化之后,就處于TUIO消息監(jiān)聽(tīng)狀態(tài),如果有用戶輸入,與某界面對(duì)象相關(guān)的手勢(shì)識(shí)別器就對(duì)用戶輸入進(jìn)行手勢(shì)識(shí)別處理,若手勢(shì)識(shí)別成功,則通過(guò)圖6中過(guò)程④從手勢(shì)事件管理器的手勢(shì)事件注冊(cè)表中讀取與該界面對(duì)象及手勢(shì)相關(guān)的手勢(shì)事件處理函數(shù);手勢(shì)事件的執(zhí)行即為調(diào)用手勢(shì)事件處理函數(shù),修改界面元素屬性并重新繪制場(chǎng)景圖.5最佳設(shè)計(jì)方案的驗(yàn)證利用MTBuilder可以方便地構(gòu)造各種多觸點(diǎn)交互桌面應(yīng)用系統(tǒng).目前,基于MTBuilder已經(jīng)開(kāi)發(fā)出多個(gè)具有良好應(yīng)用前景的原型系統(tǒng),如無(wú)身份區(qū)分的應(yīng)用多人信息瀏覽系統(tǒng)和有身份區(qū)分的應(yīng)用城市規(guī)劃系統(tǒng).多人信息瀏覽系統(tǒng)可以供多個(gè)用戶在圍桌的任意方位同時(shí)瀏覽圖片、視頻、文本等多媒體信息,如圖7所示.該類系統(tǒng)可以應(yīng)用在博物館展覽、新產(chǎn)品展示、家人信息分享等場(chǎng)景,在展示信息的同時(shí)給用戶以新的交互體驗(yàn).城市規(guī)劃系統(tǒng)可供多人協(xié)同進(jìn)行城市規(guī)劃,如對(duì)城市模型進(jìn)行高程編輯、地形編輯、人口密度編輯等操作;多個(gè)用戶可以使用個(gè)人活動(dòng)窗口同時(shí)對(duì)城市模型的不同部位進(jìn)行編輯,如圖8所示,協(xié)同編輯的組合效果會(huì)實(shí)時(shí)體現(xiàn)在整體城市模型的變化上,小組可對(duì)設(shè)計(jì)方案進(jìn)行評(píng)估討論,促使最佳設(shè)計(jì)方案的產(chǎn)生.為驗(yàn)證本文工具箱的有效性,我們從開(kāi)發(fā)效率和用戶主觀體驗(yàn)兩方面對(duì)比了MTBuilder與開(kāi)源工具箱Grafiti和PyMT.圖9所示為實(shí)驗(yàn)所使用的多觸交互桌面,該硬件平臺(tái)基于LLP技術(shù),其長(zhǎng)寬高分別為104cm,140cm和90cm.軟件平臺(tái)的配置為MicrosoftWindowsXPProfessional版本2002ServicePack3.基于該平臺(tái),我們請(qǐng)本實(shí)