增強現(xiàn)實技術(shù)在任務中的應用

增強現(xiàn)實技術(shù)在任務中的應用

增強現(xiàn)實是基于虛擬體驗（虛擬現(xiàn)實體驗，虛擬現(xiàn)實體驗）的一種新的引擎技術(shù)。它融合了計算機生成的虛擬對象和真實環(huán)境的場景，提供了一種增強的場景，并與用戶進行了實時互動。將AR技術(shù)應用于載人航天領(lǐng)域,將為航天員執(zhí)行空間任務提供一種新型的技術(shù)保障手段和支持途徑。目前大多數(shù)航天任務在低地軌道上進行,在意外故障情況出現(xiàn)時,主要依賴地面控制中心的支持來解決,隨著人類探索太空的腳步越走越遠,航天員必須擺脫對地面的依賴,轉(zhuǎn)變?yōu)樽灾鳑Q策,工作負擔和壓力會顯著加大?；鹦翘剿髦?通訊延遲造成極端信息反饋時間將高達44min,如果依賴地面指揮,信息延遲造成緊急問題不能得到及時處理,后果難以預料。因此,必須提高航天器的智能化水平和航天員的自主決策和問題處理能力。空間站長期任務和未來星際探索活動導致航天任務周期不斷延長,隨著在軌時間的延長,人的工作效能逐步下降,即使曾經(jīng)訓練過的內(nèi)容也可能遺忘。為提高航天員對任務環(huán)境的信息感知能力,需要尋求增強信息獲取的途徑。AR技術(shù),可以通過虛實信息融合提高人的環(huán)境感知能力,提供了一個極具潛力的航天任務支持手段。AR也可以應用于航天員訓練,與VR技術(shù)不同,AR技術(shù)主要基于任務的真實環(huán)境,無需大量的虛擬環(huán)境建模,可為任務訓練提供有效的支持手段。1ar技術(shù)及其應用特點的分析1.1維注冊技術(shù)AR技術(shù)為用戶提供一個將虛擬與真實世界結(jié)合的場景,它以真實世界場景為基礎,在其上增加計算機生成的虛擬信息,以增強人對真實世界的認知。AR技術(shù)在眾多領(lǐng)域有著廣泛的應用前景,例如,飛機維修人員根據(jù)AR系統(tǒng)提供的輔助信息,更快、更準確地完成設備安裝與維修任務。AR技術(shù)的基本特點為:虛實結(jié)合、實時交互、三維注冊。與VR技術(shù)的完全虛擬環(huán)境不同,AR技術(shù)的基本思想是在真實世界中添加計算機生成的虛擬對象,并使虛擬與真實對象相融合,增強用戶對真實世界的感知和理解,可以指導用戶完成不熟悉、不熟練的工作。根據(jù)用戶關(guān)注與操作對象的改變,增強信息也隨之發(fā)生相應的變化。AR系統(tǒng)根據(jù)工作對象的不同,實時疊加對應的虛擬信息,為使虛擬信息和真實場景內(nèi)容達到完美融合,必須對兩者精確對準,也就是“三維注冊”。三維注冊有應用各種傳感器的方法,但是對應用環(huán)境和范圍都有一些限制。隨著計算機視覺技術(shù)的發(fā)展,基于視覺的注冊方法成為目前的研究熱點,即通過采集圖像并進行特征分析來確定目標方位,這種方法設備簡單、適用范圍廣、成本較低,其典型的系統(tǒng)應用流程如圖1示。系統(tǒng)首先獲取真實環(huán)境的圖像,識別其中的標識點來計算鏡頭(觀察點)相對真實場景的位置和姿態(tài)信息,根據(jù)這些信息,對虛擬對象進行坐標變換和渲染,再把它們與真實的場景圖像疊加起來,實現(xiàn)虛實融合,最后通過顯示設備將虛實結(jié)合的增強圖像信息提供給用戶。1.2基于標志點的計算機視覺注冊技術(shù)AR系統(tǒng)的主要特點在于將計算機生成的虛擬信息與真實場景精確對準,并通過顯示設備融合顯示在用戶的視場內(nèi),因此注冊(虛實對準)和顯示技術(shù)是AR系統(tǒng)的兩個主要技術(shù)基礎。1)注冊技術(shù)一個AR系統(tǒng)必須實時精確地給出用戶的視點位置與方向,以使虛擬對象在真實世界中準確地定位,這項技術(shù)稱為三維注冊。注冊將計算機生成的虛擬物體和實際環(huán)境對象“對準”,通過正確的注冊,虛擬物體和真實環(huán)境達到無縫融合。目前采用的注冊方法主要有電磁、慣性、超聲波、紅外線等基于硬件跟蹤傳感器的注冊定位方式,基于計算機視覺的注冊定位,以及結(jié)合視覺和硬件跟蹤傳感器的混合注冊定位等。基于計算機視覺的注冊中,按照場景中是否設置標志點,又分為基于標志點和無標志點的跟蹤注冊。標志點是事先定義好的標識符號,比如采取正方形邊框內(nèi)添加標識數(shù)據(jù)信息,這類標識特征明顯,容易識別,極大減少了識別和計算時間。無標志點的跟蹤注冊算法通過識別實際場景中的自然特征物來得到視點的位置與朝向信息,其計算較復雜,時效性難以滿足要求,仍處于實驗室階段。因此,基于標志點的計算機視覺注冊技術(shù)是應用熱點,主要的軟件工具包有ARToolkit,ARTag,ArUco等,支持快速的應用開發(fā),并包含鏡頭標定和標識制作的工具。從航天任務的實際工作環(huán)境和方便實用要求來考慮,使用視覺跟蹤是比較適合的選擇。但是計算機視覺技術(shù)的算法一般都比較復雜,且精度要求越高,計算量也越大,在有些情況下,其算法及計算機的處理能力難以達到實時性的要求。因此,需與其它跟蹤技術(shù)結(jié)合起來構(gòu)成混合跟蹤系統(tǒng),以增強實用性。常用的混合跟蹤算法是基于慣性-視覺的跟蹤注冊,這種方法不僅簡單,還具有更好的適用范圍,并適合于戶外移動環(huán)境。這種混合跟蹤方法融合使用不同的跟蹤數(shù)據(jù),用慣性跟蹤數(shù)據(jù)來改善視覺跟蹤的魯棒性與速度,同時用視覺跟蹤數(shù)據(jù)來提高慣性跟蹤的精度。2)顯示技術(shù)AR系統(tǒng)的顯示方式一般有頭戴式(頭盔)和手持式(監(jiān)視器)2種方案。頭戴式顯示又分為視頻和光學透視式2種模式。視頻透視式頭盔利用攝像機對外部世界進行同步拍攝,將視頻信號送入圖形工作站,圖形工作站實時處理視頻信號并同時產(chǎn)生虛擬場景,再將兩者進行圖像融合后送到頭盔的顯示系統(tǒng),使用戶看到虛實結(jié)合的圖像。光學透視式頭盔采用光學組合器直接將計算機生成的虛擬場景同外部真實場景在人眼中融合。從航天員適用角度來看,頭盔顯示方式是較適合的方法,因為它佩戴在頭部并隨之一起運動,虛擬與真實場景信息都在人的當前視場范圍內(nèi),中間沒有遮擋,同時雙手無需握持、調(diào)整顯示設備,可以集中于操作任務。為減輕頭盔負荷,必須研制輕便、小巧的顯示設備。從安全角度看,視頻透視式頭盔由于完全封閉了用戶的視野,所以在電源失效時,會造成用戶失去視覺信息,具有一定安全隱患,光學透視式頭盔即使在電源失效時,仍可以通過透視鏡看到外部真實場景,安全性更高。顯示技術(shù)的研究還包括顯示算法,主要考慮虛實圖像完美結(jié)合的虛擬場景繪制問題,如保持虛實場景的光照一致性,虛實圖像的相互遮擋計算與渲染等復雜問題。1.3航天系統(tǒng)在任務支持方面的應用目前,航天員在軌獲得任務操作指導信息的主要方法有紙質(zhì)飛行手冊,電子手冊以及與地面控制中心通話獲得技術(shù)支持。在前兩種方法中,當航天員查閱飛行手冊時,其視線必須在操作設備和手冊之間來回移動,且至少需要一只手來握持飛行手冊和翻頁,對于失重狀態(tài)下的航天員,增加了身體的不穩(wěn)定性。在電腦上查閱信息也是如此,需要航天員在工作位置和電腦之間來回移動,包括與電腦的交互動作,使得眼和手的操作負擔加重,導致工作效率下降。地面支持則受到通訊鏈路的限制,如是否在通訊區(qū),通訊延遲的影響等。如果在軌發(fā)生新的任務需求,而新任務之前在地面沒有經(jīng)過訓練,或者訓練并不充分,導致操作方法生疏,如果這時查找手冊或資料,無疑會花費時間,降低效率,也許錯過重要的時間節(jié)點,那么利用AR系統(tǒng)的實時引導能力,可以指導航天員順利完成操作過程,提高工作效率。針對航天任務的特點,應用AR技術(shù)作為任務支持手段具有以下特別的優(yōu)勢:1)免于握持和翻閱手冊,解放航天員的雙手去專注于所執(zhí)行的操作任務。2)減少了視線在手冊(或電腦屏幕)和工作對象之間的來回移動和眼睛的聚焦調(diào)節(jié),避免出錯。3)基于視點的交互跟蹤,增強信息隨視點的變化而實時更新,提高獲得操作輔助信息的效率。4)航天產(chǎn)品質(zhì)量管理嚴格,幾乎所有設備都有詳細的設計文檔和圖紙,甚至三維模型,因此非常有利于增強信息的設計和組織。另外,艙內(nèi)活動范圍有限,可以人工設置標識,改變光照條件,有利于目標點的定位注冊。1.3.2設計并滿足單次訓練需求在應用AR系統(tǒng)提供任務支持的情況下,航天員的訓練模式將會發(fā)生變革,改變?yōu)榧訌娂寄苄缘挠柧?而對于過程性任務的訓練,則無需采取反復訓練熟悉的模式,具有一般性了解即可滿足需求,而更多的訓練時間應用于技能的強化訓練。在實際任務中,可以在AR系統(tǒng)的指導下完成過程任務的執(zhí)行,有助于提高訓練效率。1.3.3學習信息的使用對于長期的載人航天任務,要求航天員把所有的操作內(nèi)容準確無誤地記憶是不現(xiàn)實的,他們需要查找手冊,或者使用計算機檢索、學習了解相關(guān)的操作步驟等信息。在艙外活動狀態(tài)下,并不方便攜帶手冊等信息支持設備。利用AR系統(tǒng),根據(jù)語音指令在航天員的視域內(nèi)實時提供操作輔助信息,極大減少了航天員的記憶負擔,通過AR系統(tǒng)引導完成載荷設備操作任務,對于提高操作準確性和節(jié)省操作時間,都具有積極的意義。1.3.4模塊化替換的成本在國際空間站上,為了簡化在軌維修任務,一般采取在軌可替換單元(ORU)進行模塊化替換,需要從地面運送整個模塊設備,增加了天地運輸?shù)某杀?。如果在AR系統(tǒng)指導下,對這些模塊中過去難以完成或容易出錯的復雜維修任務可以在軌順利完成,將會減少模塊設備的運輸成本。1.3.5依據(jù)臨床特征的輔助指導方法航天醫(yī)學和空間生命科學研究是載人航天研究的重要方面,AR技術(shù)在此方面也大有用武之地。例如,大量的在軌醫(yī)學和生物實驗,需要航天員有專門的醫(yī)學、生物學和解剖學知識基礎,但難以保證在軌的航天員都是醫(yī)學專家,那么,航天員除了進行任務前的針對性訓練之外,可以在AR系統(tǒng)的實時輔助支持下完成醫(yī)學實驗任務。在未來星際航行和探測任務中,由于任務時間的延長,航天員也難免會出現(xiàn)身體疾病或受傷的情況,應對這類問題,一種方法是通過遠程醫(yī)療手段,航天員在地面專家支持下實施醫(yī)療過程,但受到通訊延遲的制約和限制,不能保證醫(yī)療措施的時效性。另一種方法就是通過AR技術(shù)實現(xiàn)對醫(yī)療過程的輔助指導,航天員可以佩戴相應的AR技術(shù)設備,通過對醫(yī)療目標位置的定位,并在航天員視域范圍內(nèi)實時顯示操作指導信息,幫助其完成醫(yī)療或?qū)嶒炦^程。ESA已研制了基于AR技術(shù)的超聲檢查設備,用于指導航天員在軌自行完成超聲檢查等醫(yī)療過程?？梢灶A見,AR技術(shù)在航天領(lǐng)域具有廣闊的應用前景,在未來長期任務和星際探索中,要求航天員具有更多的自主性,獲得更加方便快捷的操作指導,確保任務圓滿完成。因此,AR技術(shù)已得到國際航天領(lǐng)域的廣泛重視,進行了一系列應用研究[18,19,20,21,22,23,24,25,26]。2ar技術(shù)在航空航天應用研究中的應用2.1ar技術(shù)在越界測試中的應用2009年,歐洲航天局ESA設計了WEAR(WearableAugmentedReality)可穿戴AR系統(tǒng),并驗證了AR技術(shù)在國際空間站上應用的可行性。該系統(tǒng)使用了空間站上的工作計算機,集成了頭戴跟蹤與顯示系統(tǒng),在一只眼睛的視場中添加了三維圖形與指示數(shù)據(jù)。航天員佩戴該系統(tǒng)幫助他們進行在軌的工作任務時,可以通過語音交互對系統(tǒng)進行控制,而不影響雙手的操作,通過位置跟蹤與目標識別系統(tǒng)確定航天員的目視方向,提示信息可以逐步顯示在航天員眼前的透過式顯示屏上,幫助航天員完成任務過程。2009年9月,航天員德維內(nèi)在哥倫布實驗艙內(nèi)進行了AR技術(shù)應用試驗,試驗內(nèi)容是在AR系統(tǒng)輔助下進行空氣過濾器檢查,包括設備識別與操作指導、艙內(nèi)噪聲環(huán)境語音交互試驗以及AR系統(tǒng)與國際空間站設備管理目錄系統(tǒng)數(shù)據(jù)庫的集成功能等。試驗目的是評價WEAR系統(tǒng)的可用性、適宜性和技術(shù)完備性,試驗結(jié)果說明,AR技術(shù)對于航天員任務輔助支持具有重要的應用意義,但是目前的技術(shù)條件還需要繼續(xù)完善和提高,如對注冊系統(tǒng)標定程序的簡化,增強顯示信息與空間站系統(tǒng)資料數(shù)據(jù)庫的整合等。WEAR系統(tǒng)是目前AR技術(shù)在載人航天領(lǐng)域應用研究比較深入的案例,并且進行了在軌應用試驗,它采用的是頭戴顯示模式結(jié)合語音交互技術(shù),使雙手完全集中于操作任務;在注冊技術(shù)上,它結(jié)合了視覺和慣性跟蹤,并利用了艙內(nèi)設備的幾何模型數(shù)據(jù),提高注冊精度和速度。WEAR系統(tǒng)只是一個試驗系統(tǒng),但它的技術(shù)方案為未來的應用設計奠定了基礎。由于使用了光學透視頭盔,標定程序仍然繁瑣,這也是AR技術(shù)本身需要解決的問題。2.2基于ar技術(shù)的機器手地面訓練器國際空間站上的加拿大機器手SPDM(specialpurposedexterousmanipulator)是一個兩臂的機器手,用于艙外載荷操作。航天員在地球上空幾百公里高的軌道上進行機器手操作面臨著特殊的挑戰(zhàn),操作任務可能持續(xù)幾個小時,經(jīng)歷多個軌道上的晝夜交替,由于太空真空環(huán)境沒有大氣的漫反射,航天員將面對強烈日照和黑暗的動態(tài)交替光照變化,陽照區(qū)和陰影區(qū)產(chǎn)生強烈的視覺反差,操作目標的直接與間接可視性都不理想,影響航天員操作機器手的準確性和效率。約翰遜航天中心研發(fā)了基于AR技術(shù)的機器手地面訓練器,通過在視頻顯示圖像上疊加輔助圖形來幫助航天員進行機器手定位判斷,應對不良光照條件的影響,試驗對比分析顯示,應用AR技術(shù)可以顯著減少機器手定位偏差,縮短任務完成時間,提高操作性能。另外,也可利用AR系統(tǒng)進行機器手控制臺面板的操作訓練。機器手操作AR系統(tǒng)在實際操作界面的監(jiān)視器上疊加輔助信息,訓練界面與實際操作界面保持一致性,有助于訓練所獲技能向?qū)嶋H應用的有效遷移。系統(tǒng)疊加的輔助信息比較簡單,可以利用在軌現(xiàn)有計算設備完成虛擬信息生成,因此,如果集成機器手仿真軟件,能夠?qū)教靻T實現(xiàn)在軌“刷新”訓練。2.3實現(xiàn)飛機044和4.4之間的連接波音公司是最早開展AR技術(shù)應用研究的單位之一,也是NASA的主要合同商。波音公司曾經(jīng)設計了一個輔助飛機線纜連接與裝配的AR系統(tǒng),工程師在AR系統(tǒng)的指導下,完成飛機線纜的布線工作。他們也考慮在國際空間站上進行AR技術(shù)的應用試驗,波音認為AR系統(tǒng)可以減少航天員的地面訓練需求,從傳統(tǒng)的針對任務的訓練模式轉(zhuǎn)換到主要針對技能的訓練,在技能嫻熟的情況下,對于大量復雜的操作過程,可以在AR系統(tǒng)的指導下完成,如此訓練模式的改變可以大大節(jié)省訓練時間。2.4增強工作效率我國將建設空間實驗室和空間站,實施中、長期載人航天,將面臨大量載荷試驗以及設備維護和維修需求,要求航天員熟練掌握所有任務的每一操作步驟是不現(xiàn)實的,如果能夠進行在軌訓練以及通過AR技術(shù)對航天員的操作步驟進行實時指導,將會減輕航天員的工作強度,提高工作效率。AR技術(shù)在我國的應用研究還處于起步階段,主要應用在文物古跡復原與保護、軍事、旅游和工業(yè)等方面[29,30,31,32,33,34,35,36]。北京理工大學開發(fā)了基于AR技術(shù)的數(shù)字圓明園系統(tǒng),通過準確疊加虛擬場景,在廢墟基礎上可實時再現(xiàn)皇家園林昔日的輝煌景象,成為旅游項目和歷史教育的生動案例。國內(nèi)多所高校也開展了AR技術(shù)的理論與應用研究。中國航天員科研訓練中心也進行了AR技術(shù)應用的探索試驗,在地面模擬艙進行了基于艙內(nèi)環(huán)境的三維注冊算法研究,針對特定載荷設備,開展了載荷操作輔助系統(tǒng)原型研究等課題,進行了語音交互、標識選取以及頭盔顯示設備標定等試驗研究,初步探索了AR技術(shù)應用的理論和工程實現(xiàn)方法,為后續(xù)的應用與開發(fā)奠定了基礎。2.5適人性強從目前的應用研究結(jié)果來看,AR技術(shù)的普及應用還受到一些技術(shù)條件的限制。主要表現(xiàn)在應用裝備的適人性方面,如光學透視頭盔的標定方法還比較繁瑣,對目標精確定位注冊還主要依賴人工標志,頭盔長時間佩戴給人帶來的不適影響等,都是影響實際應用的限制因素,也是未來研究解決的主要課題。3未來研究的主要方向3.1方便的運輸和使用由于載人航天任務工作環(huán)境的限制,必須研制體積小,重量輕,低能耗的AR系統(tǒng)硬件平臺,方便設備的運輸和使用,并且穿戴舒適,不會對航天員的身體活動造成限制和阻礙。主要的應用裝備包括頭跟蹤設備、顯示設備及便攜式計算系統(tǒng)等。3.2混合跟蹤技術(shù)在狹小的艙內(nèi)環(huán)境中,難以添加很多的標志點,研究基于自然特征的跟蹤方法或者其它的目標識別方法,如利用條碼掃描快速識別目標設備,再進一步識別目標的狀態(tài)信息,提高注冊定位速度。目前來看,單一的注冊定位技術(shù)難以同時滿足注冊精度和速度的要求,混合跟蹤技術(shù)是發(fā)展的趨勢,從航天應用來說,視覺和慣性跟蹤的結(jié)合是比較實用的一種選擇,ESA的試驗采用了這種方法,但在方便易用上還有待提高。對于星際探索任務,則需研究廣袤荒漠環(huán)境的注冊定位技術(shù),如火星、月球表面的活動導航和位置判斷,需要通過衛(wèi)星導航數(shù)據(jù)和環(huán)境地形圖對探索位置進行規(guī)劃和定位。3.3建立航天器數(shù)據(jù)體系和數(shù)據(jù)庫為了使AR系統(tǒng)合理、充分地提供增強信息,需要有效地設計和管理增強信息數(shù)據(jù)。在產(chǎn)品的設計階段就開始積累相關(guān)素材,保證及時有效地獲得航天器設計的數(shù)據(jù)信息,包括CAD模型數(shù)據(jù),可以直接移植到AR系統(tǒng)的信息數(shù)據(jù)庫中,保證增強信息的精確度和可視效果。因此需要溝通獲取航天器數(shù)字化設計信息資源的途徑和渠道,保證數(shù)據(jù)的一致性和同步更新。研究建立輔助支持系統(tǒng)的分析與設計體系,建立航天器系統(tǒng)結(jié)構(gòu)和部組件數(shù)據(jù)庫,操作程序與步驟文檔數(shù)據(jù)庫,星際探索中需要的星體表面地形數(shù)據(jù)等資料數(shù)據(jù)庫。研究增強數(shù)據(jù)的表現(xiàn)形式與設計技術(shù),合理設計不同媒體形式的增強信息,選擇最為適合和有效的信息增強方式。3.4增強信息提示的目AR技術(shù)除了主要在視覺