VR-AR應(yīng)用場景及關(guān)鍵技術(shù)綜述

1、    vr/ar應(yīng)用場景及關(guān)鍵技術(shù)綜述    徐碩+孟坤+李淑琴+丁濛+鄔麗君摘要： 關(guān)鍵詞： ： 文獻標志碼： a： 2095-2163（2017）06-0028-04abstract： virtual reality and augmented reality， as a link between the digital world and the real scene， have become one of the core technologies of immersive digital applications， and immersive

2、 digital applications are bound to explode with the support of related devices. this paper introduces the existing application scenarios and equipment configuration， analyzes and summarizes the key technology， implementation mode and potential scientific problems of data acquisition， data transmissi

3、on， real-time interaction and case reconstruction.0引言2016年，針對下一代智能計算平臺，國內(nèi)外興起一場史無前例的虛擬現(xiàn)實1（virtual reality，vr）“嘉年華”。追溯原因可知，其一，是二維到三維技術(shù)的轉(zhuǎn)變；其二，虛擬現(xiàn)實/增強現(xiàn)實（argument reality，ar）將成為智能手機之后下一代個人計算和信息通信平臺，甚至可以完全替代其他移動設(shè)備。因此，本文系統(tǒng)地總結(jié)了vr/ar應(yīng)用場景和設(shè)備形態(tài)發(fā)展狀況，并從數(shù)據(jù)采集、傳輸、交互與情形實時再現(xiàn)等方面對涉及的關(guān)鍵技術(shù)和實現(xiàn)方式進行剖析。1虛擬現(xiàn)實/增強現(xiàn)實1.1虛擬現(xiàn)實/增強現(xiàn)實

4、概念虛擬現(xiàn)實是由計算機視覺、仿真技術(shù)、人機交互等多種信息技術(shù)演變發(fā)展而來的新型計算機技術(shù)。通過將視覺與現(xiàn)實世界隔離開，借助顯示設(shè)備，使人能夠穿越沉浸于一個完全的虛擬世界。所謂增強現(xiàn)實，是將虛擬信息疊加在以識別物為基準的某個位置，并可實時交互虛擬信息，以此增強視覺效果。作為上述兩者的結(jié)合產(chǎn)物，混合現(xiàn)實（mixed reality，mr），是將現(xiàn)實與虛擬世界合并后形成數(shù)字與物理對象共存的、可交互的全新可視化環(huán)境。1.2vr/ar的技術(shù)分類目前，vr/ar技術(shù)主要分為桌面式、分布式、沉浸式和增強式四種，如表1所示。1）輕量級vr。即依托移動設(shè)備的頭戴式vr，無獨立的計算與存儲配件及顯示設(shè)備，沉浸效果

5、較差，但成本較低，易攜帶。2）基于pc的vr。是將pc作為計算和存儲設(shè)備進行有線連接的頭戴式設(shè)備，結(jié)構(gòu)較復(fù)雜，但具備獨立的顯示屏，沉浸感較好。3）獨立式vr。內(nèi)置cpu/gpu、顯示屏等部件，能夠獨立運行。迄今尚未成熟，但有望成為未來的主流設(shè)備形態(tài)。輸入設(shè)備目前主要包含：動作捕捉器、位置跟蹤器、眼動儀等。2vr/ar的常見應(yīng)用2.1游戲娛樂類游戲是vr技術(shù)重要突破口，也是以最輕松的方式認識和學(xué)習(xí)新事物的一種良好渠道。目前，以頭戴式設(shè)備（hmd）為主的沉浸式游戲模式已掀起了業(yè)界熱潮。已有不少公司發(fā)布了各類虛擬現(xiàn)實游戲及相關(guān)設(shè)備，從根本上改變了傳統(tǒng)的鍵鼠/手柄操作模式。其中，oculus在fps射

6、擊游戲上的成果獲得較強吸引力，如圖1所示。hmd這種即時跟蹤，能夠通過調(diào)整用戶游戲視角，完善游戲體驗的模式，彌補3d游戲沉浸感的不足。雖然多數(shù)游戲依然處于探索階段，但隨著時間的推移，vr/ar游戲勢必受到為數(shù)眾多年輕人的推崇與追捧。在影視娛樂方面，vr技術(shù)的應(yīng)用場景經(jīng)歷了本地視頻改造、vr動畫展示、及借助360°全景攝像、雙目攝像等設(shè)備，通過拼接算法制作ugc影視等多個過程。在電影領(lǐng)域，更多地采用vr技術(shù)拍攝的影片進入大眾視野。2.2商業(yè)服務(wù)類2.2.1數(shù)字科技館/博物館在數(shù)字科技館/博物館方面，最初，從參與者通過鍵鼠操作瀏覽預(yù)制的虛擬場景和展物到利用3d眼鏡等穿戴式設(shè)備實現(xiàn)人機互動

7、，更好地體驗“身臨其境”的感覺2。部分學(xué)者認為，以3d vr為基礎(chǔ)，通過簡單的展現(xiàn)和描述物品的模式不如傳統(tǒng)網(wǎng)站以敘事的方式更有利于對文化內(nèi)容的學(xué)習(xí)和理解。最終，通過建立云端3d 虛擬展覽館，借助虛擬人物和游戲的方式營造文化遺產(chǎn)的學(xué)習(xí)環(huán)境的方式贏得了專家的肯定。在增強交互性的同時，也達到傳播知識的目的3。目前，國內(nèi)外已建立了一系列大型虛擬博物館，如阿伽門農(nóng)博物館、大英博物館、奧運博物館等。這些場館的出現(xiàn)成功解決了實體博物館時間、空間、交互的限制，有效縮短了展品的更新周期，是檢驗新技術(shù)，促進國際性交流、學(xué)術(shù)研究的重要科普方式。2.2.2軍事模擬訓(xùn)練vr技術(shù)是被nasa和相關(guān)軍事部門最早應(yīng)用于美軍軍

8、事作戰(zhàn)領(lǐng)域的高端技術(shù)，其具體應(yīng)用主要體現(xiàn)在：基于vr和mr環(huán)境的單兵模擬訓(xùn)練4、多軍種聯(lián)合虛擬仿真演習(xí)（如圖2所示），即通過網(wǎng)絡(luò)采取虛擬實體與分布式虛擬戰(zhàn)場結(jié)合的無縫交互環(huán)境模擬訓(xùn)練5，并拓展了一系列新應(yīng)用，如：高新武器研發(fā)與設(shè)計、信息網(wǎng)絡(luò)虛擬戰(zhàn)等6。未來vr 技術(shù)模擬訓(xùn)練則將向分布式模擬訓(xùn)練方式轉(zhuǎn)變；將游戲融入軍事訓(xùn)練；在虛擬現(xiàn)實中加入全息影像技術(shù)，以借助lvc7實現(xiàn)未來作戰(zhàn)系統(tǒng)。不難看出，現(xiàn)代軍事的發(fā)展將會更多地依托于高端技術(shù)，隨著vr等新型技術(shù)的連續(xù)涌現(xiàn)，將有利于削減軍事成本開支，降低實戰(zhàn)演練中的不必要傷亡，提高戰(zhàn)斗效率。endprint2.2.3醫(yī)學(xué)仿真訓(xùn)練vr技術(shù)在醫(yī)學(xué)方面的需求堪稱

9、龐大，而且醫(yī)學(xué)診療中面臨的眾多疑難雜癥對vr技術(shù)的快速發(fā)展則提供了強勁動力。目前，在人體結(jié)構(gòu)數(shù)字化、虛擬手術(shù)訓(xùn)練、輔助教學(xué)8、遠程協(xié)作9、康復(fù)治療等方面，vr技術(shù)已得到成熟及深入的發(fā)展應(yīng)用。其中，虛擬手術(shù)訓(xùn)練是vr在醫(yī)學(xué)領(lǐng)域的主流重要應(yīng)用。將vr與三維可視化系統(tǒng)結(jié)合，在交互式虛擬環(huán)境中表示各種器官、組織等信息，能夠為醫(yī)學(xué)人員提供自主學(xué)習(xí)和評估的功能。同時，低成本的vr系統(tǒng)在為新手醫(yī)生錘煉和增強手術(shù)技巧方面已成為任何一家醫(yī)療機構(gòu)的不錯選擇10。虛擬手術(shù)訓(xùn)練可以輔助醫(yī)生定制合理的手術(shù)方案，減少手術(shù)傷害，提高手術(shù)成功率。2.3生活服務(wù)類2.3.1旅游隨著人們生活需求的不斷增高，旅游已經(jīng)成為生活中必不

10、可少的組成部分。時下，vr技術(shù)在旅游中的應(yīng)用也逐漸呈現(xiàn)成熟發(fā)展態(tài)勢。起初，虛擬旅游將vr結(jié)合地理信息系統(tǒng)、全景技術(shù)生成全景旅游景點模型，實現(xiàn)無交互的虛擬漫游11。隨著多媒體、3d建模技術(shù)的發(fā)展，基于web 3d的虛擬旅游系統(tǒng)得以研發(fā)問世，借此用戶足不出戶即可對模擬構(gòu)建的3d歷史景觀或現(xiàn)存景觀做到選取任意路線，并以任意角度觀賞、瀏覽，同時還具有較強的交互性12。這些功能應(yīng)用均有效提升了用戶的臨場感，并降低了旅游成本，保障了安全。2.3.2智能家居智能家居作為智能空間的典型代表，已成為虛擬現(xiàn)實應(yīng)用的重點領(lǐng)域。目前主要以web3d結(jié)合無線傳感器網(wǎng)絡(luò)，通過傳感器采集室內(nèi)物體的濕溫等數(shù)據(jù)，由可穿戴醫(yī)療傳

11、感器采集用戶實時的體征信息構(gòu)建智能家居模型，以此實時獲取室內(nèi)的信息，進而控制智能家居設(shè)備13。3基于vr/ar的關(guān)鍵技術(shù)3.1數(shù)據(jù)采集與優(yōu)化傳輸技術(shù)數(shù)據(jù)獲取通常采用直接采樣技術(shù)的方式，這里僅限三維場景中事物。如針對光照、火焰、動態(tài)地形等自然現(xiàn)象的數(shù)據(jù)獲取多采用如下3種方法 14 ：1）利用全向相機拍攝高動態(tài)、多維度的圖像。2）利用高速攝像機進行實時跟蹤拍攝。3）利用激光設(shè)備進行時變數(shù)據(jù)的多維可控捕獲。數(shù)據(jù)傳輸?shù)臋C制是網(wǎng)絡(luò)中的節(jié)點在消息等待發(fā)送時，首先計算出消息自身的傳輸概率，然后獲得通信范圍內(nèi)其他節(jié)點的消息轉(zhuǎn)發(fā)概率，隨后將消息轉(zhuǎn)發(fā)到所有轉(zhuǎn)發(fā)概率大于自身傳輸概率的節(jié)點。為優(yōu)化數(shù)據(jù)傳輸技術(shù)，滿足低

12、功耗、低延遲、高效率等特點，保證數(shù)據(jù)傳輸?shù)目煽啃?，文獻15提出基于容忍延遲的面向消息的覆蓋層體系結(jié)構(gòu)的不同轉(zhuǎn)發(fā)概率的動態(tài)數(shù)據(jù)轉(zhuǎn)發(fā)策略，但這種數(shù)據(jù)傳輸機制存在明顯的高延遲和高中斷缺陷。3.2交互與情形實時再現(xiàn)技術(shù)3.2.1觸/力覺反饋技術(shù)在vr應(yīng)用中，交互接觸方式可分為力覺反饋和觸覺反饋兩種，內(nèi)容闡釋如下16：1）力覺反饋。是指借助操作控制桿的反作用力效果將虛擬物體的運動軌跡轉(zhuǎn)換成真實物體的機械運動，使用戶享受到真實的力覺感知體驗。2）觸覺反饋。是通過手戴3d數(shù)據(jù)手套獲取手掌和手指的形態(tài)、溫度等信息，來滿足用戶對虛擬物體的移動、抓取、觸摸等操作。playstation vr是基于手套形態(tài)的交互設(shè)

13、備，手套的每根手指都集成柔性壓力傳感器，通過傳感器收集的數(shù)據(jù)進行手勢識別，并將其轉(zhuǎn)換為相應(yīng)指令決策控制輸入。3.2.2跟蹤定位方式跟蹤定位方式分為有源和無源兩類，對其可做解析分述如下：1）有源跟蹤定位方法。是一種利用聲波、電磁波位置跟蹤器發(fā)射不同源，通過測量不同源的時間差、相位差、耦合度來推定被跟蹤對象的空間方位。上述跟蹤方式雖然在精度、成本上各具優(yōu)勢，但易受到周圍場景的干擾。另一種是光學(xué)位置跟蹤方式17，利用環(huán)境光或跟蹤器光源發(fā)出的光的投影確定被跟蹤對象的方位。2）無源定位跟蹤。是利用加速器和陀螺構(gòu)成慣性傳感器，分別獲取轉(zhuǎn)動角度與移動位置的變化。通過高頻的刷新率來獲得實時定位。3.2.3高效

14、可靠的渲染技術(shù)目前，多數(shù)vr渲染引擎均為明確直接地渲染兩遍。有學(xué)者采用降低api調(diào)用次數(shù)的優(yōu)化方法加快渲染速度，相比左、右眼整個場景先后渲染兩次，僅對每個物體提交兩次渲染，而且借助instancing 技術(shù)，只提交一次數(shù)據(jù)，一個物體只渲染一次，能夠優(yōu)勢提升渲染效果18-19。3.2.4逼真的顯示方式當前場景顯示設(shè)備以頭戴式顯示設(shè)備（hmd）為主，其中的非透視式hmd是目前消費級vr產(chǎn)品的首選，通過對用戶的頭部和其它部位的動作捕捉，將三維場景呈現(xiàn)在顯示器上，給予用戶一種沉浸感。而透視式hmd則是ar系統(tǒng)的選擇，其與vr設(shè)備的區(qū)別就在于，前端需要增加獲取真實環(huán)境的數(shù)據(jù)采集設(shè)備，將現(xiàn)實情境與生成的虛

15、擬情境合成后才能提交呈現(xiàn)給用戶。4結(jié)束語過去幾年，vr/ar在理論研究、關(guān)鍵技術(shù)創(chuàng)新、應(yīng)用拓展等方面取得了突破性成果。未來，隨著vr/ar技術(shù)的不斷進步，在電子商務(wù)、電視直播、社交等領(lǐng)域，有望突破時空約束，用戶可通過“化身”的表現(xiàn)來改善性格，甚至進行“全球購物”，給用戶帶來更充沛的臨場感。為實現(xiàn)上述目標期許，在一些關(guān)鍵技術(shù)與理論支撐上，后續(xù)研究仍然面臨著巨大的挑戰(zhàn)。參考文獻：1 趙沁平. 虛擬現(xiàn)實綜述j. 中國科學(xué)（f輯：信息科學(xué)）， 2009，39 （1）：2-46.2 hayashi m， bachelder s， nakajima m，et al. a new virtual museu

16、m equipped with automatic video content generatorc/international conference oncyberworlds（cw）. santander， spain：ieee，2014：377-383.endprint3 petridis p， dunwell i， liarokapis f， et al. the herbert virtual museumj. journal of electrical and computer engineering，2013，2013：1-8.4 sadagic a. next generati

17、on of physical training environments： bringing in sensor systems and virtual reality technologiesm/ schmorrow d d， fidopiastis c m. foundations of augmented cognition. ac 2013. lecture notes in computer science， berlin/heidelberg：springer， 2013， 8027：717-726.5 an xing， li gang， xu linwei，et al. a su

18、rvey on application of virtual reality technology in u.s military simulation training j. electronic optics & control， 2011， 18（10）：42-46.6 lele a. virtual reality and its military utilityj. journal of ambient intelligenceand humanized computing， 2013， 4（1）：17-26.7 newendorp b j， noon c， holub j，

19、 et al. configuring virtual reality displays in a mixedreality environment for lvc trainingc/asme 2011 world conference on innovative virtual reality. milan， italy：amse， 2011：423-430.8 falah j， khan s， alfalah t， et al. virtual reality medical training system for anatomy educationc/science and infor

20、mation conference（sai）. london， uk：ieee， 2014：752-758.9 mi shaohua， hou zengguang， yang fan. an 3d interactive virtual reality software toolkit for minimally invasive vascular surgeryc/ieee international conference on mechatronics and automation（icma）. tianjin， china：ieee， 2014：588-593.10park c h， w

21、ilson k l， howard a m. pilot study：supplementing surgical training for medical students using a low-cost virtual reality simulatorc/ ieee 27th international symposium on computerbased medical systems. washington， dc， usa：ieee， 2014：125-127.11jiang wenyan， zhu xiaohu， chen chen. research progress of

22、virtual tourismj. science & technology review， 2007， 25（14）：53-57.12tan yunlan， jia jinyuan， peng shuo，et al. survey on some key technologies of virtual tourism system based on web3dj. journal of system simulation， 2014， 26（7）：1541-1548.13hu wenshan， zhou hong， lin chaoyang， et al. design of webbased smart home with 3d virtural reality interfacec/ 2012 ukacc international conference on control. cardiff：ieee， 2012：223-228.14趙沁平. 自然現(xiàn)象的數(shù)據(jù)獲取與模擬j. 中國科學(xué)：信息科學(xué)， 2011， 41（4）：385-419.15xu fulong， liu ming， gon