基于自然界面的多病害識別交互桌面界面存儲器設(shè)計

基于自然界面的多病害識別交互桌面界面存儲器設(shè)計

在計算機支持協(xié)同工作、多媒體計算和一般應(yīng)用程序的共同推動下，結(jié)合多因素多領(lǐng)域的自然界面實現(xiàn)了接口的建設(shè)。與傳統(tǒng)的個人表面計算機相比，交互式界面系統(tǒng)具有水平顯示、多手動操作、支持多媒體作品的功能。互動桌布用于軍事、教育、娛樂、合作設(shè)計等領(lǐng)域。交互桌面系統(tǒng)的界面構(gòu)造涉及多領(lǐng)域、多學(xué)科交叉,是一項復(fù)雜的系統(tǒng)工作.界面工具可減少底層實現(xiàn)的負擔(dān),通過提供合適的功能模塊,既降低了系統(tǒng)開發(fā)門檻,又可使應(yīng)用程序開發(fā)人員將注意力集中到應(yīng)用領(lǐng)域功能的實現(xiàn),但目前的界面工具大多基于傳統(tǒng)WIMP范式開發(fā).Grafiti提供了一個可擴展的多指手勢處理框架,用戶可自由地添加新的手勢識別算法,手勢以手勢事件的形式提供給應(yīng)用程序;但由于Grafiti缺少構(gòu)造多觸點交互桌面界面的界面組件庫,為了實現(xiàn)支持多指手勢并且可實現(xiàn)任意角度旋轉(zhuǎn)的界面元素,開發(fā)人員在界面繪制方面仍需做大量的工作.PyMT提供了一個適用于多觸點交互桌面的界面組件庫;但在手勢識別管理方面略顯不足,支持的手勢種類少,開發(fā)人員仍需基于原始的觸點數(shù)據(jù)實現(xiàn)手勢識別算法.SurfaceSDK1也有類似于PyMT的問題,僅提供了基本的手勢;同時,SurfaceSDK的使用基于具體的軟件平臺,移植性較差.DiamondSpin提供了用戶身份區(qū)分的功能,但需憑借特定的硬件設(shè)施,該方法不具有通用性.可見由于WIMP范式基于鼠標等支持精確指點輸入的輸入設(shè)備,交互方式是精確、離散的,只有單個輸入焦點,不適合用于指導(dǎo)多觸點交互桌面的開發(fā).多觸點交互桌面使用手指、筆等輸入設(shè)備,交互方式通常使用自然手勢,該交互方式具有模糊、連續(xù)、多焦點并行輸入等特性.George提出自然用戶界面的通用隱喻OCGM(objects,containers,gesturesandmanipulations)2,該隱喻與多觸點交互桌面的界面及交互方式更加符合,其對象是基本的界面元素,可以是物理對象也可以是虛擬的界面元素;容器是對象以某種形式組織形成的集合;手勢與系統(tǒng)命令相對應(yīng)手勢輸入完成之后,系統(tǒng)根據(jù)手勢識別結(jié)果執(zhí)行某個系統(tǒng)任務(wù);操作是對對象的直接操作,操作方式類比于物理世界中對物體的操作.為了有效地支持多觸點交互桌面系統(tǒng)的開發(fā),MTBuilder在對多觸點交互桌面界面工具需求分析的基礎(chǔ)上,基于自然用戶界面通用隱喻OCGM設(shè)計并實現(xiàn),力求為應(yīng)用程序開發(fā)人員提供一個功能強大、簡單易用的多觸點交互桌面應(yīng)用程序開發(fā)環(huán)境.MTBuilder使用了一系列新型的技術(shù),用多觸點手勢識別預(yù)處理算法對多觸點信息進行預(yù)處理,即按照抽象層次的不同對觸點信息進行結(jié)構(gòu)化存儲,經(jīng)過預(yù)處理的多觸點信息更有利于多指手勢的識別;使用動態(tài)配置手勢識別器的技術(shù)對手勢識別器進行調(diào)度,系統(tǒng)運行的某一時刻只調(diào)用可能會用到的識別器,采用這種方式可有效地提高手勢識別效率,進而提高系統(tǒng)的響應(yīng)速度;基于自然用戶界面通用隱喻OCGM構(gòu)建的界面更易于被用戶理解,可提高界面的易用性;采用個人活動窗口以軟件的方式實現(xiàn)多觸點交互桌面身份區(qū)分,這種基于軟件的身份區(qū)分方式不受硬件設(shè)備的限制,具有較好的通用性.1面向用戶的多進一步融合為了保證用戶與交互桌面系統(tǒng)交互的自然性、直觀性,減少用戶的學(xué)習(xí)和認知負擔(dān),本文對一些典型的多人交互場景進行研究發(fā)現(xiàn),用戶通常會多個手指協(xié)調(diào)配合實現(xiàn)對物理對象的操作,如抓取、放置等;用戶與用戶之間對某對象進行討論的時候,總是習(xí)慣于將對象拖動并旋轉(zhuǎn)至兩人均方便查看的位置以方便交流.為了便于開發(fā)具有良好沉浸感及交互自然性的交互桌面系統(tǒng),交互桌面界面開發(fā)工具箱的設(shè)計與開發(fā)需要解決如下3個技術(shù)難點:1)多指手勢識別與理解.多指輸入具有多個輸入焦點、連續(xù)、并發(fā)、信息量大等特點,這些觸點信息的組織和存儲模型將直接影響多指手勢識別與理解的效率,因此需要一種有效的方式對用戶實時輸入的多觸點信息進行結(jié)構(gòu)化存儲.2)多觸點交互桌面界面元素設(shè)計.顯示方式從垂直轉(zhuǎn)化成了水平,位于交互桌面不同位置的協(xié)作用戶不能共享視角,需要在新的界面隱喻指導(dǎo)下對交互桌面界面組件重新進行設(shè)計,以便用戶理解界面并順利完成交互任務(wù).3)多指手勢事件管理.多觸點輸入具有連續(xù)、并發(fā)的特點,但是現(xiàn)有界面工具通常把觸點或手勢當(dāng)作鼠標事件來處理,未能充分利用多觸點交互所提供的豐富的輸入通道.界面工具應(yīng)提供一個面向多觸點交互的手勢事件管理機制.為了解決上述問題,本文基于OCGM提出如圖1所示的MTBuilder整體架構(gòu)圖.用戶通過多觸點硬件設(shè)備輸入多觸點信息,這些多觸點信息經(jīng)過一系列的處理后通過TUIO協(xié)議發(fā)送給MTBuilder,MTBuilder對接收到的數(shù)據(jù)進行處理,最后通過應(yīng)用程序接口可旋轉(zhuǎn)圖形界面組件和手勢事件管理器將用戶的手勢信息發(fā)送給應(yīng)用程序,從而完成相應(yīng)的交互任務(wù).基于TUIO協(xié)議傳輸多觸點信息使該界面工具可以獨立于具體的多觸點硬件平臺,具有更好的可移植性.MTBuilder由手勢算法庫和界面組件庫兩大模塊組成.手勢算法庫包含多個手勢識別器,主要負責(zé)將用戶輸入的觸點信息轉(zhuǎn)化為具有高級語義的手勢,并以手勢事件的形式發(fā)送給手勢事件管理器;界面組件庫由多個可旋轉(zhuǎn)圖形界面組件組成,這些界面組件基于OCGM隱喻進行設(shè)計,可監(jiān)聽多觸點手勢事件并且可以實現(xiàn)任意角度的旋轉(zhuǎn).MTBuilder的架構(gòu)具有很好的模塊化特征,手勢算法庫和界面組件庫均可進行任意擴展,以方便地集成各種新型的交互技術(shù)和算法.下面詳細介紹手勢算法庫設(shè)計與實現(xiàn)過程中涉及到的關(guān)鍵技術(shù),界面組件庫中組件設(shè)計的指導(dǎo)思想,以及手勢算法庫和界面組件庫兩大核心模塊之間的通信機制手勢事件管理機制.2指手動信息提取的提取2.1場景圖的描述和編碼信息多觸交互桌面通常屏幕較大并支持多個用戶并發(fā)交互,往往會出現(xiàn)多個用戶同時與界面元素進行交互的情況.TUIO服務(wù)器端會將所有用戶輸入的觸點信息無差別地順序發(fā)送給交互桌面系統(tǒng),對系統(tǒng)的手勢識別和理解帶來困難,需對接收到的TUIO數(shù)據(jù)進行預(yù)處理.文獻按照用戶的不同對輸入觸點進行分類,以用戶作為語義理解的單位解析單個用戶的交互意圖,該方式適用于具有身份識別功能的交互桌面,但對于大多數(shù)基于計算機視覺的多觸點交互桌面系統(tǒng)并不可行.通過認知心理學(xué)對人類大腦注意機制的研究可知,單個用戶在與系統(tǒng)交互的過程中關(guān)注的焦點通常只有一個.故為了有效理解用戶輸入的觸點信息流,本文將界面元素作為語義理解的基本單位,即對同一界面元素的交互效果是作用于該元素的所有觸點的合作用.作用于同一界面元素的所有觸點信息也將作為手勢識別的基本單元,用戶輸入觸點信息后,系統(tǒng)進行碰撞檢測判斷觸點所在界面元素,從而將觸點按照界面元素進行分類.圖2所示為多觸點信息分類示意圖,按照產(chǎn)生時間的不同,觸點數(shù)據(jù)依次經(jīng)TUIO發(fā)送給交互桌面系統(tǒng),交互桌面系統(tǒng)按上述方式將觸點按界面元素進行分類,即可進行手勢識別等處理,理解用戶對該界面元素進行的操作.為了有效地保存上述觸點信息及觸點分類結(jié)果,本文采用類似于場景圖的方式描述并保存各個層次的觸點信息.觸點信息被分為觸點、路徑和路徑簇3個層次進行存儲,這些數(shù)據(jù)在原始的觸點信息的基礎(chǔ)上還添加了相關(guān)的上下文信息及其他輔助信息.1)觸點.每一個觸點事件都對應(yīng)一個新的觸點,其數(shù)據(jù)模型為TouchPoint<fingerID,xpos,ypos,xspeed,yspeed,state>.其中,fingerID唯一標識一個手指;xpos和ypos表示該觸點在屏幕上的絕對位置;xspeed和yspeed表示觸點當(dāng)前的運動速度,通常通過當(dāng)前幀與上一幀2幀的坐標差計算而得;state表示該觸點所處的狀態(tài)ADDED,UPDATED和REMOVED,ADDED表示手指剛接觸屏幕,UPDATED表示手指在屏幕上移動位置信息被更新了,REMOVED表示手指抬起.2)路徑.手指按下、移動、抬起這一過程中涉及到的所有的觸點形成的軌跡,其數(shù)據(jù)模型為Path<pathID,<TouchPoints>,<targets>,enteringTarget,currentTarget,leavingTarget,state,timestamp>.其中,pathID為該路徑的唯一標識,通常為產(chǎn)生該路徑的手指的fingerID;<TouchPoints>觸點列表保存該路徑上的所有觸點信息;<targets>界面對象列表保存手指劃過的所有界面對象;enteringTarget表示手指當(dāng)前進入的對象;currentTarget表示手指當(dāng)前所在的對象;leavingTarget表示手指當(dāng)前離開的對象;state表示該路徑所處的狀態(tài)ADD,UPDATE和REMOVE,ADD表示新建了一條路徑,UPDATE表示路徑處于活動狀態(tài),REMOVE表示該路徑結(jié)束;timestamp保存該路徑信息最后一次被修改的時間.3)路徑簇.多觸點手勢識別預(yù)處理算法對當(dāng)前所有觸點進行分類產(chǎn)生路徑簇,路徑簇是此界面工具進行手勢識別的基本單位,是用戶的一個輸入焦點,其數(shù)據(jù)模型為Cluster<clusterID,<Paths>,<currentPaths>,<currentAddingPaths>,<currentUpdatingPaths>,<currentRemovingPaths>,initialTarget,<finalTargets>,<enteringTargets>,<currentTargets>,<leavingTargets>,state,timestamp>.其中,clusterID唯一標記一個路徑簇;<Paths>為路徑列表,保存著從該路徑簇產(chǎn)生到現(xiàn)在包含的所有路徑,包括剛添加的、被更新的以及已經(jīng)移除的路徑;<currentPaths>為路徑簇當(dāng)前包含的路徑;<currentAddingPaths>為當(dāng)前新添加的路徑;<currentUpdatingPaths>為當(dāng)前被更新的路徑;<currentRemovingPaths>為當(dāng)前被移除的路徑;initialTarget為該路徑簇初始化的時候所在的界面對象;<finalTargets>為該路徑簇中所有路徑被移除時每條路徑所在界面對象的集合;<enteringTargets>為該路徑簇中路徑在這一處理周期進入的界面對象集;<currentTargets>為該路徑簇中路徑在這一處理周期所在的界面對象集;<leavingTargets>為該路徑簇中路徑在這一處理周期離開的界面對象;state表示該路徑簇所處的狀態(tài)ADD,UPDATE、REMOVE,ADD表示該路徑簇剛被初始化,UPDATE表示該路徑簇處于活動狀態(tài),REMOVE表示該路徑簇生命周期結(jié)束;timestamp保存該路徑簇信息最后一次被修改的時間.2.2mtbuildad分類手指輸入是多觸點交互桌面環(huán)境下用戶最主要的交互方式,理解用戶交互意圖將用戶輸入的多指軌跡理解為相應(yīng)的語義表達是手勢算法庫的關(guān)鍵所在.為了有效地對多指手勢進行理解,首先需對用戶輸入進行劃分.自然用戶界面通用隱喻OCGM對用戶輸入進行了劃分,將用戶輸入分為手勢(gesture)和操作(manipulation).其手勢是用戶執(zhí)行的一個動作,在手勢執(zhí)行完成之后會觸發(fā)一個系統(tǒng)動作,只在動作完成之后系統(tǒng)才會給出響應(yīng);操作是用戶對對象本身或者容器的直接操作,模擬日常生活中用戶對物理對象的操作,在用戶操作的過程中系統(tǒng)會實時地給予反饋.基于此劃分,本文將用戶輸入分為直觸手勢、命令手勢和文本內(nèi)容輸入3類.直觸手勢以“圍桌”為隱喻,其手勢設(shè)計也模仿人們?nèi)粘Ｉ钪凶饔糜谖锢碜烂鎸ο蟮姆绞?如縮放、旋轉(zhuǎn)、拖動、抓取等;命令手勢是對直觸手勢的補充,主要用于系統(tǒng)狀態(tài)的切換、系統(tǒng)命令的調(diào)用等操作;文本內(nèi)容輸入也是不可避免需要輸入的內(nèi)容,如圖片標注、文本注解等均需提供文本內(nèi)容的輸入.其中,直觸手勢與OCGM中的操作相對應(yīng),命令手勢和文本內(nèi)容輸入與OCGM中的手勢相對應(yīng).該分類方法是對OCGM中用戶輸入分類的具體化,基于該分類即可為每一類輸入分別設(shè)計不同的識別器.MTBuilder支持多人并行交互,存在系統(tǒng)同時響應(yīng)多個輸入焦點的問題.MTBuilder對識別器的管理方式類似于筆式界面工具SATIN,通過識別管理器對各個識別器進行管理和調(diào)度.與SATIN不同的是,MTBuilder中每一個路徑簇均需配備所有的手勢識別器,具體的識別調(diào)度由每一個路徑簇對應(yīng)的識別管理器進行管理,如圖3所示.圖3中,C表示路徑簇,即上述多觸點數(shù)據(jù)層次化存儲的結(jié)果;CGM表示該路徑簇的識別管理器;GR表示手勢識別器;Gesture表示GR可識別的手勢.MTBuilder可并行處理的路徑簇不止2個,對路徑簇的個數(shù)并無限制,即對交互桌面可并行輸入的焦點個數(shù)沒有限制.MTBuilder內(nèi)置對3類觸點信息直觸手勢、命令手勢和文本內(nèi)容輸入的識別.命令手勢通常為單筆手勢,文本內(nèi)容輸入為符號、數(shù)字等,這些內(nèi)容的識別已有較為成熟的算法,如Rubin算法、$1算法以及漢王識別庫等,在MTBuilder對觸點分類的基礎(chǔ)上即可直接調(diào)用.MTBuilder目前使用$1算法識別命令手勢,使用漢王識別庫識別文本內(nèi)容輸入.直觸手勢的識別要復(fù)雜一些,需根據(jù)觸點、路徑、路徑簇中保存的信息實時計算和判斷,如兩手指放縮手勢需判斷當(dāng)前界面元素上的觸點個數(shù),在觸點個數(shù)為2個的前提下,再計算兩觸點之間的距離等信息,最后得出縮放比例,將縮放比例作為手勢事件參數(shù)傳送給應(yīng)用程序.手勢識別器的個數(shù)也可根據(jù)用戶需求進行任意擴展,MTBuilder具有很好的可擴展性.此外,多觸點手勢處理是迭代運行的,對用戶實時輸入的觸點信息進行循環(huán)處理,識別器個數(shù)增多會使迭代處理周期變長,進而影響系統(tǒng)的響應(yīng)速度.從用戶的角度看,即為系統(tǒng)反饋滯后、用戶體驗差.為縮短迭代周期,本文對識別器狀態(tài)進行劃分,根據(jù)其狀態(tài)對識別器進行實時動態(tài)管理.如圖4所示,識別器有5種狀態(tài),在界面組件初始化的過程中初始化其所需的手勢識別器,完成識別器配置等工作;在應(yīng)用程序運行過程中,隨著觸點信息的輸入,手勢識別器對觸點信息進行手勢識別,如果識別成功則發(fā)送相應(yīng)的手勢事件,如果識別過程中遇到未定義手勢類型,則認為后續(xù)的觸點輸入都將無法識別,識別器的狀態(tài)轉(zhuǎn)為識別結(jié)束.識別器識別結(jié)束后,需對識別器進行清理等善后工作,即識別器銷毀.若手勢識別器轉(zhuǎn)到銷毀狀態(tài),則下一個處理周期將不再調(diào)用該手勢識別器對觸點輸入進行識別,可縮短系統(tǒng)處理時間.3界面技術(shù)特性交互桌面自然手勢輸入和水平顯示等特點,使基于傳統(tǒng)WIMP范式設(shè)計的界面組件庫不再適用于交互桌面界面的開發(fā):在交互桌面上選取傳統(tǒng)WIMP界面中的某些對象,如菜單選項、工具欄中的按鈕時會出現(xiàn)很難選中的問題;交互桌面供多個用戶同時使用,傳統(tǒng)WIMP界面中對象的朝向是固定的,水平顯示的方式致使處于桌面不同方位的用戶出現(xiàn)界面理解困難的問題;有些交互桌面的幅面比較大,使用自然手操作會出現(xiàn)遠距離對象選取難的問題.OCGM以對象作為界面基本元素,容器作為對象的組織形式,能夠更好地概括交互桌面界面元素的特征.因此本文界面工具基于該隱喻設(shè)計,并開發(fā)了多觸點交互桌面的基本界面組件庫,其中界面組件庫包含多種類型的界面容器和界面對象以滿足不同應(yīng)用需求.這些界面對象均支持多指手勢操作,交互語義由應(yīng)用程序開發(fā)人員根據(jù)具體的應(yīng)用需求定義.界面元素組織形式如圖5所示,MTBuilder要求應(yīng)用系統(tǒng)有且只有一個根容器,該根容器可以理解為“圍桌”隱喻中的圍桌桌面,可以放置別的容器和對象.在MTBuilder界面組件庫中,本文設(shè)計并實現(xiàn)了一個特殊的界面組件個人活動窗口.本文界面工具實驗使用的交互桌面是基于計算機視覺原理的,只有一個攝像頭用來捕獲用戶觸點信息,不能對用戶的身份進行區(qū)分.桌面領(lǐng)土理論指出,用戶與桌面交互的過程中會將桌面劃分為個人工作空間、公共工作空間及存儲空間.基于該理論,本文使用個人活動窗口的方式實現(xiàn)了有身份區(qū)分的多觸點交互桌面的協(xié)同工作.用戶可使用個人區(qū)域選擇手勢在桌面上劃分出個人活動窗口,個人活動窗口出現(xiàn)后,系統(tǒng)即將該個人活動窗口與此用戶綁定,該個人活動窗口內(nèi)發(fā)生的所有交互均被認為是該用戶發(fā)出的.系統(tǒng)通過區(qū)分個人活動窗口來區(qū)分不同的用戶,用戶對其個人活動窗口具有所有權(quán)和操作權(quán),用戶在該窗口內(nèi)可進行任意操作,別人對該窗口內(nèi)容的操作需通過用戶的許可;在操作完成之后,用戶可通過手勢關(guān)閉該窗口.對公共工作空間及存儲空間的操作需在所有用戶達成一致的情況下才能進行.4人工干預(yù)機+toio多觸點交互桌面是由手勢事件驅(qū)動的,手勢事件是聯(lián)系多指手勢識別模塊與界面組件庫的橋梁.MTBuilder的手勢事件管理機制如圖6所示,該機制可分為3個階段:注冊手勢事件,對應(yīng)圖6中①;產(chǎn)生手勢事件,對應(yīng)圖6中②;執(zhí)行手勢事件,對應(yīng)圖6中③.在界面對象初始化的時候,界面對象利用手勢事件管理器注冊其需要監(jiān)聽的手勢事件,手勢事件管理器會將該界面對象、界面對象需要監(jiān)聽的手勢以及與該手勢對應(yīng)的手勢事件處理函數(shù)均保存到手勢事件注冊表中;應(yīng)用程序初始化之后,就處于TUIO消息監(jiān)聽狀態(tài),如果有用戶輸入,與某界面對象相關(guān)的手勢識別器就對用戶輸入進行手勢識別處理,若手勢識別成功,則通過圖6中過程④從手勢事件管理器的手勢事件注冊表中讀取與該界面對象及手勢相關(guān)的手勢事件處理函數(shù);手勢事件的執(zhí)行即為調(diào)用手勢事件處理函數(shù),修改界面元素屬性并重新繪制場景圖.5最佳設(shè)計方案的驗證利用MTBuilder可以方便地構(gòu)造各種多觸點交互桌面應(yīng)用系統(tǒng).目前,基于MTBuilder已經(jīng)開發(fā)出多個具有良好應(yīng)用前景的原型系統(tǒng),如無身份區(qū)分的應(yīng)用多人信息瀏覽系統(tǒng)和有身份區(qū)分的應(yīng)用城市規(guī)劃系統(tǒng).多人信息瀏覽系統(tǒng)可以供多個用戶在圍桌的任意方位同時瀏覽圖片、視頻、文本等多媒體信息,如圖7所示.該類系統(tǒng)可以應(yīng)用在博物館展覽、新產(chǎn)品展示、家人信息分享等場景,在展示信息的同時給用戶以新的交互體驗.城市規(guī)劃系統(tǒng)可供多人協(xié)同進行城市規(guī)劃,如對城市模型進行高程編輯、地形編輯、人口密度編輯等操作;多個用戶可以使用個人活動窗口同時對城市模型的不同部位進行編輯,如圖8所示,協(xié)同編輯的組合效果會實時體現(xiàn)在整體城市模型的變化上,小組可對設(shè)計方案進行評估討論,促使最佳設(shè)計方案的產(chǎn)生.為驗證本文工具箱的有效性,我們從開發(fā)效率和用戶主觀體驗兩方面對比了MTBuilder與開源工具箱Grafiti和PyMT.圖9所示為實驗所使用的多觸交互桌面,該硬件平臺基于LLP技術(shù),其長寬高分別為104cm,140cm和90cm.軟件平臺的配置為MicrosoftWindowsXPProfessional版本2002ServicePack3.基于該平臺,我們請本實