數(shù)字媒體技術(shù)概論（融媒體版） 課件 6虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用

第6講：虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用數(shù)字媒體技術(shù)概論第6章：虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用1虛擬現(xiàn)實(shí)基本概念2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用4AR與MR一、虛擬現(xiàn)實(shí)定義模擬視覺(jué)、聽(tīng)覺(jué)等感官計(jì)算機(jī)實(shí)時(shí)計(jì)算三維空間電腦圖形仿真人工智能§1.1虛擬現(xiàn)實(shí)基本概念一種由電腦技術(shù)輔助生成的高技術(shù)模擬系統(tǒng)。一、虛擬現(xiàn)實(shí)定義§1.1虛擬現(xiàn)實(shí)基本概念使用虛擬現(xiàn)實(shí)設(shè)備或多投影環(huán)境生成逼真的圖像、聲音和其他感覺(jué)。模擬用戶(hù)在虛擬環(huán)境中的實(shí)際存在?？梢原h(huán)顧虛擬世界，在其中移動(dòng)，并與虛擬特征或物品進(jìn)行交互頭戴式顯示器或具有多個(gè)大屏幕的專(zhuān)門(mén)設(shè)計(jì)的房間可以實(shí)現(xiàn)此效果支持聽(tīng)覺(jué)、視頻、以及其他類(lèi)型的感官和力反饋具體定義二、虛擬現(xiàn)實(shí)發(fā)展情況§1.1虛擬現(xiàn)實(shí)基本概念莫頓·海利希在50年代創(chuàng)造性地想到了“體驗(yàn)劇院”這一概念，他構(gòu)建了一個(gè)名為Sensorama的視覺(jué)原型，其中展示了五部短片，并在其中涵蓋了多種感官。1.50年代1968年，IvanSutherland在學(xué)生的幫助下創(chuàng)建了被廣泛認(rèn)為是第一個(gè)用于沉浸式模擬應(yīng)用的頭戴式顯示系統(tǒng)。2.60年代二、虛擬現(xiàn)實(shí)發(fā)展情況§1.1虛擬現(xiàn)實(shí)基本概念1970-1990年虛擬現(xiàn)實(shí)產(chǎn)業(yè)主要為醫(yī)療、飛行模擬、汽車(chē)工業(yè)設(shè)計(jì)、軍事訓(xùn)練等提供VR設(shè)備。3.70-80年代到了20世紀(jì)90年代，虛擬現(xiàn)實(shí)開(kāi)始商業(yè)化，但早期的VR產(chǎn)品外形笨重、功能單一、價(jià)格昂貴，未能成功普及。1993年，雅達(dá)利公司發(fā)布了JaguarVR虛擬現(xiàn)實(shí)頭盔，但它并未取得成功。1995年，任天堂推出了VirtualBoy，這引起了轟動(dòng)，但它依然沒(méi)有普及，因?yàn)樵O(shè)備成本很高，并且在當(dāng)時(shí)的環(huán)境下似乎過(guò)于超前了。4.90年代二、虛擬現(xiàn)實(shí)發(fā)展情況§1.1虛擬現(xiàn)實(shí)基本概念VR技術(shù)初期任天堂為先驅(qū)，但之后沒(méi)有公司敢于將VR帶入商業(yè)領(lǐng)域VR技術(shù)價(jià)格昂貴，無(wú)法普及Oculus的出現(xiàn)Oculus于2012年在Kickstarter上眾籌募資160萬(wàn)美元OculusRift設(shè)備定價(jià)親民，拉低了VR設(shè)備價(jià)格以20億美元收購(gòu)Oculus，VR技術(shù)進(jìn)入大眾視野5.近20年三、虛擬現(xiàn)實(shí)主要特征§1.1虛擬現(xiàn)實(shí)基本概念沉浸感沉浸感又稱(chēng)為臨場(chǎng)感，是指用戶(hù)作為體驗(yàn)者存在于虛擬環(huán)境中的真實(shí)程度。好的VR設(shè)備應(yīng)該讓體驗(yàn)者有身臨其境的感受，而非只是四周多了幾塊屏幕。佩戴頭盔顯示器、數(shù)據(jù)手套等交互設(shè)備體驗(yàn)者的大腦會(huì)用他們從VR頭戴式顯示器中看到和聽(tīng)到的東西來(lái)欺騙自己三、虛擬現(xiàn)實(shí)主要特征§1.1虛擬現(xiàn)實(shí)基本概念自然交互三自由度（3DegreesOfFreedom，3DoF）交互：3DoF是用戶(hù)可以使用VR頭盔觀察四周的景象并將頭部左右晃動(dòng)以擴(kuò)大可以探索的地方六自由度（6DegreesOfFreedom，6DoF）交互：借助功能強(qiáng)大的游戲筆記本電腦或計(jì)算機(jī)來(lái)處理信息，以便使用傳感器、數(shù)據(jù)手套和其他傳感設(shè)備等額外配件進(jìn)行游戲和互動(dòng)。超現(xiàn)實(shí)超現(xiàn)實(shí)是指虛擬現(xiàn)實(shí)世界依托于現(xiàn)實(shí)世界，但限制內(nèi)容創(chuàng)作的只有想象力本身，完全可以創(chuàng)造出超越現(xiàn)實(shí)的虛擬世界。四、虛擬現(xiàn)實(shí)典型設(shè)備§1.1虛擬現(xiàn)實(shí)基本概念主要是用于觀看3D電影或者游玩一些簡(jiǎn)單的VR游戲。流行產(chǎn)品：谷歌Cardboard、暴風(fēng)魔鏡價(jià)格范圍：幾十元到幾百元主要結(jié)構(gòu)：兩枚凸透鏡。工作原理：手機(jī)中圖像原理類(lèi)似觀看左右格式3D電影，手機(jī)中圖像分成左右兩部分，每只眼睛只看到其中一部分，兩幅畫(huà)面送至雙眼，帶來(lái)3D效果。分辨率要求：對(duì)手機(jī)屏幕分辨率要求高，凸透鏡需要對(duì)畫(huà)面進(jìn)行倍數(shù)放大，低分屏顆粒感明顯。1.VR眼鏡三、虛擬現(xiàn)實(shí)典型設(shè)備§1.1虛擬現(xiàn)實(shí)基本概念VR頭盔是主流大廠推出的產(chǎn)品，搭配主機(jī)使用，如PC或家用游戲主機(jī)優(yōu)勢(shì)：OculusRift、HTCVive和PlayStationVR的設(shè)置更加復(fù)雜，但功能更強(qiáng)大實(shí)現(xiàn)位置追蹤、無(wú)線控制等功能搭配豐富的遙控套件，可增加沉浸感成本較高2.VR頭盔三、虛擬現(xiàn)實(shí)典型設(shè)備§1.1虛擬現(xiàn)實(shí)基本概念VR一體機(jī)內(nèi)置處理器和屏幕，無(wú)需外接主機(jī)，但成本高且體驗(yàn)效果不如VR頭盔。市面上一體機(jī)產(chǎn)品較少，玩家選擇也不多，但具備可移動(dòng)、便攜的特點(diǎn)，成本相對(duì)低廉。AMD、谷歌、騰訊等公司宣布將致力于VR一體機(jī)的研發(fā)，未來(lái)前景值得期待。3.VR一體機(jī)第6章：虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用1虛擬現(xiàn)實(shí)基本概念2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用4AR與MR一、動(dòng)態(tài)環(huán)境建模技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)強(qiáng)調(diào)沉浸感和真實(shí)感重視自然的交互方式和實(shí)時(shí)性。將真實(shí)感、實(shí)時(shí)性和交互性作為建模指導(dǎo)原則1.虛擬現(xiàn)實(shí)建模特點(diǎn)建模方法不同：虛擬現(xiàn)實(shí)建模主要采用紋理等技術(shù)提高逼真度，而不是增加幾何造型復(fù)雜度說(shuō)明內(nèi)容更多：虛擬現(xiàn)實(shí)建模需要說(shuō)明許多系統(tǒng)連接，如自由度、層次細(xì)節(jié)等，而不僅僅是造型2.虛擬現(xiàn)實(shí)建模與三維動(dòng)畫(huà)建模的本質(zhì)區(qū)別一、動(dòng)態(tài)環(huán)境建模技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)不依賴(lài)于三維幾何建模，主要利用離散圖像或連續(xù)視頻作為基礎(chǔ)數(shù)據(jù)。經(jīng)過(guò)圖像處理生成真實(shí)的全景圖像，并組織為虛擬實(shí)景空間，用戶(hù)可進(jìn)行前進(jìn)、后退、環(huán)視、仰視、俯視操作。多用于漫游系統(tǒng)，實(shí)現(xiàn)全方位觀察三維場(chǎng)景的效果。1.基于圖像的虛擬建模法按照虛擬場(chǎng)景的構(gòu)造方法來(lái)區(qū)分，虛擬現(xiàn)實(shí)技術(shù)常用的有三種建模方法：基于圖像的虛擬建模法、基于幾何模型的虛擬建模法和基于圖形與圖像混合建模方法。一、動(dòng)態(tài)環(huán)境建模技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)常用于大規(guī)模場(chǎng)景的建模。以計(jì)算機(jī)圖形學(xué)為基礎(chǔ)，對(duì)真實(shí)場(chǎng)景進(jìn)行建模，并建立虛擬環(huán)境中的光照和材質(zhì)模型。進(jìn)一步進(jìn)行紋理映射、模型的可見(jiàn)消隱和控制參數(shù)的設(shè)定最后通過(guò)軟件控制觀察者的位置和光照，在輸出設(shè)備上實(shí)時(shí)渲染繪制視景畫(huà)面。2.基于幾何模型的虛擬建模法將基于圖形與圖像的優(yōu)點(diǎn)集合于一體利用基于圖像的虛擬建模法構(gòu)造虛擬場(chǎng)景，利用基于幾何模型的虛擬建模法進(jìn)行實(shí)體構(gòu)建增加場(chǎng)景真實(shí)感，保證實(shí)時(shí)性與交互性，提高用戶(hù)沉浸感技術(shù)上的困難，仍處于探索研究階段，尚未得到廣泛應(yīng)用3.基于圖形與圖像混合建模的虛擬建模法二、實(shí)時(shí)三維圖形生成技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)在不影響畫(huà)面視覺(jué)效果的前提條件下，用一組復(fù)雜程度各不相同的實(shí)體層次細(xì)節(jié)模型來(lái)描述同一個(gè)對(duì)象依據(jù)視點(diǎn)遠(yuǎn)近或其他一些客觀標(biāo)準(zhǔn)切換模型，實(shí)時(shí)地改變場(chǎng)景復(fù)雜度1.細(xì)節(jié)層次技術(shù)目的就是在實(shí)際環(huán)境中獲取三維數(shù)據(jù)，建立虛擬環(huán)境模型，重點(diǎn)解決實(shí)時(shí)性。直接利用拍攝得到的實(shí)景圖像來(lái)構(gòu)造虛擬場(chǎng)景觀察點(diǎn)及觀察方向受到限制，不能實(shí)現(xiàn)完全的交互性操作2.基于圖像的圖形繪制技術(shù)二、實(shí)時(shí)三維圖形生成技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)利用基于頂點(diǎn)聚類(lèi)的網(wǎng)格簡(jiǎn)化算法和基于邊折疊的網(wǎng)格簡(jiǎn)化算法對(duì)于某些復(fù)雜的模型，簡(jiǎn)化效果還是不能令人滿(mǎn)意，往往需要手工簡(jiǎn)化。3.模型簡(jiǎn)化技術(shù)場(chǎng)景地形的分塊調(diào)度和場(chǎng)景模型的動(dòng)態(tài)調(diào)度動(dòng)態(tài)地選擇部分地形模型進(jìn)行調(diào)用現(xiàn)實(shí)，能有效地提高系統(tǒng)輸出視景的實(shí)時(shí)性4.場(chǎng)景調(diào)度管理技術(shù)多個(gè)幾何形狀相同但位置不同的物體共享同一個(gè)模型數(shù)據(jù)通過(guò)矩陣變換安置在不同的地方，大大地節(jié)約內(nèi)存空間。5.實(shí)例化技術(shù)三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)使用偏振光濾鏡或偏振光片來(lái)過(guò)濾掉特定角度偏振光以外的所有光，讓零度的偏振光只進(jìn)入右眼，90度的偏振光只進(jìn)入左眼。兩種偏振光分別搭載兩套畫(huà)面，形成3D效果1.偏振光分光3D顯示將不同視角上拍攝的影像以?xún)煞N不同的顏色保存在同一幅畫(huà)面中通過(guò)佩戴紅藍(lán)眼鏡看到不同的畫(huà)面，根據(jù)色差和位移產(chǎn)生立體感與深度距離感。2.圖像分色立體顯示頭戴設(shè)備所用到的立體高清顯示技術(shù)是最關(guān)鍵的一項(xiàng)技術(shù)，該技術(shù)是以人眼的立體視覺(jué)原理為依據(jù)的。三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)投影機(jī)內(nèi)部放置了一個(gè)快速轉(zhuǎn)動(dòng)的濾光輪，其中包含了另外一組紅色、綠色和藍(lán)色的濾光片。這組濾光片可以產(chǎn)生和原始濾光片一樣的色域，并讓光線以不同的波長(zhǎng)傳播，分別包含了左右眼的影像內(nèi)容。觀眾佩戴帶有二向色濾光片的分色眼鏡后，可以過(guò)濾掉其中特定波長(zhǎng)的光線，從而讓兩只眼睛看到不同的畫(huà)面。3.杜比圖像頭戴設(shè)備所用到的立體高清顯示技術(shù)是最關(guān)鍵的一項(xiàng)技術(shù)，該技術(shù)是以人眼的立體視覺(jué)原理為依據(jù)的。三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)HMD頭戴顯示技術(shù)能夠營(yíng)造出在超短距離內(nèi)看超大屏幕的效果，具備足夠高的解析度。通過(guò)人的大腦將兩個(gè)圖像融合以獲得深度感知，從而得到立體的圖像。除此之外，還有一種視網(wǎng)膜投影技術(shù)。采用這種顯示技術(shù)的頭戴設(shè)備包括谷歌眼鏡和AvegantGlyph4.HMD頭戴顯示技術(shù)三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)微軟產(chǎn)品HoloLens內(nèi)置獨(dú)立計(jì)算單元處理攝像頭捕捉的各種信息。透過(guò)層疊的鏡片創(chuàng)建出虛擬影像，借助體感技術(shù)進(jìn)行虛擬物體交互。利用上述技術(shù)，讓用戶(hù)實(shí)時(shí)感受3D圖像。借助SLAM技術(shù)獲取環(huán)境信息，保證用戶(hù)移動(dòng)時(shí)成像的穩(wěn)定性4.HMD頭戴顯示技術(shù)三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)MagicLeap采用“光影成像”技術(shù)；用螺旋狀震動(dòng)的光纖來(lái)形成圖像，并直接讓光線從光纖彈射到人的視網(wǎng)膜上；用光纖向視網(wǎng)膜直接投射整個(gè)數(shù)字光場(chǎng)，產(chǎn)生所謂的電影級(jí)現(xiàn)實(shí)。4.HMD頭戴顯示技術(shù)三、立體顯示和傳感器技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)慣性傳感器：加速度傳感器、陀螺儀和地磁傳感器，這些傳感器主要用于捕捉頭部轉(zhuǎn)動(dòng)運(yùn)動(dòng)。；動(dòng)作捕捉傳感器，目前的方案有紅外攝像頭和紅外感應(yīng)傳感器等，主要用來(lái)實(shí)現(xiàn)動(dòng)作捕捉，特別是使用者左右前后的移動(dòng)。；其他類(lèi)型傳感器，如佩戴檢測(cè)用的接近傳感器、觸控板用的電容感應(yīng)傳感器等已被廣泛使用5.傳感器技術(shù)單靠立體顯示技術(shù)遠(yuǎn)遠(yuǎn)不能實(shí)現(xiàn)真正的虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)系統(tǒng)。虛擬現(xiàn)實(shí)的應(yīng)用，少不了傳感器技術(shù)的大力支持。四、系統(tǒng)集成技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)一個(gè)完整的虛擬現(xiàn)實(shí)系統(tǒng)由以下功能單元構(gòu)成：虛擬環(huán)境、虛擬環(huán)境處理器、視覺(jué)系統(tǒng)、聽(tīng)覺(jué)系統(tǒng)、身體方位姿態(tài)跟蹤設(shè)備和味覺(jué)、嗅覺(jué)、觸覺(jué)與力覺(jué)反饋系統(tǒng)等1.虛擬現(xiàn)實(shí)系統(tǒng)的組成系統(tǒng)集成技術(shù)是指將各個(gè)功能單元組裝成完整的虛擬現(xiàn)實(shí)系統(tǒng)的過(guò)程。計(jì)算機(jī)是虛擬現(xiàn)實(shí)系統(tǒng)的核心：整個(gè)虛擬世界的實(shí)時(shí)渲染計(jì)算用戶(hù)和虛擬世界的實(shí)時(shí)交互計(jì)算虛擬現(xiàn)實(shí)系統(tǒng)對(duì)計(jì)算機(jī)配置的要求非常高。2.計(jì)算機(jī)在虛擬現(xiàn)實(shí)系統(tǒng)中的作用四、系統(tǒng)集成技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)傳統(tǒng)的鼠標(biāo)和鍵盤(pán)無(wú)法實(shí)現(xiàn)自然交互，需要采用特殊的交互設(shè)備。常用的交互設(shè)備有：數(shù)據(jù)手套、三維聲音系統(tǒng)和頭盔顯示等3.交互設(shè)備專(zhuān)業(yè)的虛擬現(xiàn)實(shí)引擎軟件負(fù)責(zé)：完成虛擬現(xiàn)實(shí)系統(tǒng)中的模型組裝、熱點(diǎn)控制、運(yùn)動(dòng)模式設(shè)立、聲音生成等工作為虛擬世界和后臺(tái)數(shù)據(jù)庫(kù)、虛擬世界和交互硬件建立起必要的接口聯(lián)系。4.虛擬現(xiàn)實(shí)引擎軟件四、系統(tǒng)集成技術(shù)§1.2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)頭盔顯示器是典型的虛擬現(xiàn)實(shí)系統(tǒng)組成部分。頭盔顯示器系統(tǒng)由計(jì)算機(jī)、頭盔顯示器、數(shù)據(jù)手套、力反饋裝置、話筒、耳機(jī)等設(shè)備組成。計(jì)算機(jī)生成虛擬世界，頭盔顯示器輸出立體景象，用戶(hù)通過(guò)頭的轉(zhuǎn)動(dòng)、手的移動(dòng)、語(yǔ)言等與虛擬世界進(jìn)行自然交互，計(jì)算機(jī)實(shí)時(shí)計(jì)算用戶(hù)輸入信息進(jìn)行交互反饋，耳機(jī)輸出虛擬立體聲音、力反饋裝置產(chǎn)生觸覺(jué)反饋。6.基于頭盔顯示器的虛擬現(xiàn)實(shí)系統(tǒng)第6章：虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用1虛擬現(xiàn)實(shí)基本概念2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用4AR與MR一、沉浸式影視娛樂(lè)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用定義：交互影視是融合了影視表現(xiàn)效果和游戲自由度的新的影視表現(xiàn)形式。特點(diǎn)：觀看者不僅僅局限于欣賞沉浸式的電影，可以進(jìn)一步的作為主角影響這劇情的走向。1.交互影視的定義和特點(diǎn)全景交互：參與者可以360°轉(zhuǎn)換視角來(lái)觀察虛擬環(huán)境。劇情交互：參與者不僅與虛擬環(huán)境發(fā)生全景交互，還可以參與到劇情的發(fā)展中，引起劇情的變化。完全交互：參與者作為故事的掌控者，能夠決定故事的發(fā)展和結(jié)局。2.交互等級(jí)的分類(lèi)

一、沉浸式影視娛樂(lè)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用一、沉浸式影視娛樂(lè)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用逼真度和沉浸感強(qiáng)大量劇情交互或完全交互用戶(hù)可以自行決定劇情的進(jìn)展和結(jié)局未來(lái)發(fā)展:更加逼真的畫(huà)面和體驗(yàn)更加豐富的游戲類(lèi)型更加高效的控制方式更多的社交互動(dòng)和合作模式1.VR游戲一、沉浸式影視娛樂(lè)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用目前發(fā)布的VR游戲，不乏恐怖、射擊、模擬生存等類(lèi)游戲。二、沉浸式教育培訓(xùn)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用VR技術(shù)使得教育變得生動(dòng)活潑，師生可以自由探索交互，將枯燥的文字轉(zhuǎn)換成豐富的可互動(dòng)形式的活動(dòng)。VR教育方式可以提高學(xué)生的課堂注意力以及學(xué)習(xí)效率。1.VR技術(shù)改變傳統(tǒng)教育方式2012年，微軟Kinect體感設(shè)備實(shí)現(xiàn)了VR技術(shù)和教育的結(jié)合。2014年，韓國(guó)中央大學(xué)開(kāi)發(fā)了一個(gè)在線VR游戲系統(tǒng)，讓學(xué)生進(jìn)行角色扮演和協(xié)作學(xué)習(xí)，以身臨其境的體驗(yàn)獲得建筑安全的教育知識(shí)。2015年，意大利烏迪內(nèi)大學(xué)開(kāi)發(fā)了一款航空安全教育的VR游戲，讓玩家體驗(yàn)一架商用飛機(jī)遇難后的緊急著陸和撤離工作。2.發(fā)展歷程二、沉浸式教育培訓(xùn)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用2016年，墨西哥Linnea公司將LeapMotion綁定到Oculus，用于教育領(lǐng)域并設(shè)計(jì)了教育內(nèi)容。有些教育游戲過(guò)于注重教育而忽略了娛樂(lè)元素，應(yīng)該具有教育和娛樂(lè)的雙重特性。2.發(fā)展歷程二、虛擬旅游§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用新冠疫情的肆虐導(dǎo)致全球旅游業(yè)收入損失1.3萬(wàn)億美元，國(guó)際游客數(shù)量下降74％。虛擬旅游因360°全景視頻等技術(shù)成為疫情期間很多人“在家旅游”的主要方式之一。一些公司在不懈地進(jìn)行完善虛擬旅游技術(shù)的嘗試，例如將其應(yīng)用于旅游出行。FirstAirlines公司推出了名為“虛擬現(xiàn)實(shí)飛行體驗(yàn)”的項(xiàng)目，游客能在旅途中使用特制的裝備游覽即將抵達(dá)的目的地城市。1.發(fā)展歷程虛擬旅游是依托互聯(lián)網(wǎng)等環(huán)境系統(tǒng)構(gòu)建的虛擬空間的旅游體驗(yàn)，包括身臨其境的感受和虛擬產(chǎn)品消費(fèi)，與現(xiàn)實(shí)景點(diǎn)旅游相輔相成。二、虛擬旅游§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用疫情加速了各公司相關(guān)技術(shù)的研發(fā)，AmazonExplore推出新的服務(wù)，在輔助設(shè)備的幫助下游客可以在一對(duì)一虛擬導(dǎo)游的指引下享受日本京都游、在墨西哥本地學(xué)習(xí)美食烹飪課程等體驗(yàn)。科技公司Oculus推出Quest2頭戴設(shè)備，用戶(hù)可以通過(guò)使用NationalGeographicVR服務(wù)，在南極洲攀登冰山，躲避暴風(fēng)雪和尋找企鵝。中國(guó)也推出了北京故宮博物院虛擬旅游項(xiàng)目，利用VR技術(shù)讓無(wú)法到達(dá)實(shí)地的游客們足不出戶(hù)就可以欣賞故宮的美景。各地博物館也增添了各式各樣的VR體驗(yàn)，使得游客們可以更好的了解當(dāng)?shù)氐娘L(fēng)土人情。虛擬現(xiàn)實(shí)技術(shù)能重新喚起人們對(duì)旅游的興趣，提高游客對(duì)旅行目的地的積極性，為旅游的未來(lái)開(kāi)創(chuàng)更多可能性。1.發(fā)展歷程二、虛擬旅游§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用三、虛擬醫(yī)學(xué)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用醫(yī)療領(lǐng)域培養(yǎng)一名外科醫(yī)生需要耗費(fèi)大量時(shí)間和精力虛擬現(xiàn)實(shí)技術(shù)為實(shí)習(xí)醫(yī)生提供了更多的培訓(xùn)機(jī)會(huì)通過(guò)虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，可以降低人為操作失誤和風(fēng)險(xiǎn)1.意義三、虛擬醫(yī)學(xué)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用2002年，斯坦福大學(xué)推出了一套手術(shù)模擬器，提供觸覺(jué)反饋功能2013年，RealView公司開(kāi)發(fā)了醫(yī)用3D全息投影系統(tǒng)，提供全新的手術(shù)操刀模擬技術(shù)2015年，倫敦StBartholomew醫(yī)院發(fā)布了TheVirtualSurgeon，提供手術(shù)的360°全景視頻記錄，供醫(yī)學(xué)院學(xué)生學(xué)習(xí)通過(guò)虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，實(shí)習(xí)醫(yī)生可以進(jìn)行更多次的模擬手術(shù)操作，提高操作技能2.具體應(yīng)用三、虛擬醫(yī)學(xué)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用醫(yī)療資源不足的地區(qū)可以通過(guò)虛擬現(xiàn)實(shí)技術(shù)與遠(yuǎn)程醫(yī)生進(jìn)行交流，獲取更多的診斷和治療建議醫(yī)生可以通過(guò)虛擬現(xiàn)實(shí)技術(shù)遠(yuǎn)程指導(dǎo)手術(shù)操作，提高手術(shù)的成功率通過(guò)虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，可以更好地滿(mǎn)足遠(yuǎn)程地區(qū)的醫(yī)療需求，提高醫(yī)療水平3.虛擬現(xiàn)實(shí)技術(shù)在心理治療中的應(yīng)用三、虛擬醫(yī)學(xué)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用虛擬現(xiàn)實(shí)可以用于減輕燒傷患者的疼痛：通過(guò)沉浸式的游戲體驗(yàn)和音樂(lè)，幫助患者緩解傷口或物理治療所帶來(lái)的痛苦。虛擬現(xiàn)實(shí)可以幫助失去部分或全部四肢的患者減輕幻肢疼痛：通過(guò)虛擬的四肢，幫助患者學(xué)會(huì)如何控制假肢，同時(shí)大大緩解幻肢疼痛的現(xiàn)象。虛擬現(xiàn)實(shí)可以幫助自閉癥患者提升社交技能：將自閉癥患者放到虛擬環(huán)境中特定場(chǎng)景，如面試和約會(huì)，可以明顯提升參與者涉及社會(huì)認(rèn)知部分的大腦活躍度。虛擬現(xiàn)實(shí)可以通過(guò)冥想緩解焦慮：使用呼吸控制游戲的名為DEEP的虛擬現(xiàn)實(shí)應(yīng)用，玩家學(xué)會(huì)控制呼吸，從而冥想以緩解焦慮。4.醫(yī)療具體應(yīng)用三、虛擬醫(yī)學(xué)§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用五、模擬軍事§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用美軍推出用于單兵訓(xùn)練的模擬軟件美國(guó)陸軍步兵訓(xùn)練系統(tǒng)；配備一臺(tái)定制版的筆記本電腦和頭戴式虛擬頭盔，士兵們可以做出各種復(fù)雜的姿勢(shì)動(dòng)作；DSTS還能夠評(píng)估士兵在虛擬戰(zhàn)場(chǎng)的受傷程度，記錄士兵應(yīng)對(duì)戰(zhàn)場(chǎng)情況說(shuō)的每一句話和每一次開(kāi)火，從而通過(guò)回訪功能觀察士兵在訓(xùn)練中的表現(xiàn)。1.單兵綜合實(shí)戰(zhàn)訓(xùn)練系統(tǒng)五、模擬軍事§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用美軍采用綜合了航空照片、衛(wèi)星影像和數(shù)字地形數(shù)據(jù)等信息生成高分辨率的作戰(zhàn)區(qū)域三維地形環(huán)境，以此來(lái)訓(xùn)練執(zhí)行作戰(zhàn)任務(wù)的戰(zhàn)斗機(jī)飛行員。2.虛擬戰(zhàn)場(chǎng)環(huán)境構(gòu)建五、模擬軍事§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用通過(guò)運(yùn)用分布式交互仿真技術(shù)結(jié)合虛擬現(xiàn)實(shí)技術(shù)，可以在作戰(zhàn)模擬訓(xùn)練中心控制設(shè)置在不同地域的模擬系統(tǒng)終端來(lái)實(shí)現(xiàn)不同地域和環(huán)境下的作戰(zhàn)訓(xùn)練。美國(guó)陸軍近戰(zhàn)戰(zhàn)術(shù)訓(xùn)練系統(tǒng)采用主干光纖系統(tǒng)網(wǎng)絡(luò)結(jié)合分布式交互仿真，建立一個(gè)虛擬作戰(zhàn)環(huán)境。3.多軍種聯(lián)合軍事演習(xí)五、模擬軍事§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用美軍曾使用過(guò)多種作戰(zhàn)模擬系統(tǒng)來(lái)訓(xùn)練軍事指揮人員。美國(guó)海軍開(kāi)發(fā)的“虛擬艦艇作戰(zhàn)指揮中心”可以逼真模擬與真實(shí)的艦艇指揮中心相似的環(huán)境，使受訓(xùn)者沉浸在“真實(shí)的”戰(zhàn)場(chǎng)中。4.軍事指揮人員訓(xùn)練五、模擬軍事§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用美國(guó)第四代戰(zhàn)斗機(jī)F-22和JSF將VR技術(shù)融入進(jìn)研發(fā)過(guò)程中，3D的數(shù)字化設(shè)計(jì)，大大縮短了研發(fā)周期，也大大節(jié)省了研發(fā)費(fèi)用。VR/AR技術(shù)將有望運(yùn)用于未來(lái)軍事發(fā)展，其基本的思路就是把虛擬現(xiàn)實(shí)技術(shù)用于訓(xùn)練模塊，通過(guò)計(jì)算機(jī)作戰(zhàn)模擬訓(xùn)練、模擬實(shí)戰(zhàn)、模擬戰(zhàn)場(chǎng)環(huán)境的構(gòu)建、可視化未來(lái)的兵器設(shè)計(jì)。5.縮短武器研發(fā)周期五、虛擬航天航空§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用NASA在其載人飛行器中心建立了虛擬現(xiàn)實(shí)實(shí)驗(yàn)室，其中提供了沉浸式的訓(xùn)練環(huán)境和運(yùn)動(dòng)模擬器，以及驅(qū)動(dòng)機(jī)器人裝置等工具，以模擬外太空的環(huán)境和操作。NASA還與索尼等商業(yè)機(jī)構(gòu)合作，使用虛擬現(xiàn)實(shí)技術(shù)來(lái)幫助機(jī)器人在太空中更好的完成任務(wù)，如探索和登陸等。NASA也在和各種商業(yè)或民間機(jī)構(gòu)合作推進(jìn)自己的火星登陸計(jì)劃1.具體應(yīng)用五、虛擬航天航空§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用在戴上索尼PlaystationVR頭戴設(shè)備后，NASA的人類(lèi)宇航員可以安全的坐在地球或飛船的控制艙內(nèi)，讓機(jī)器人去完成危險(xiǎn)的外太空探索和登陸任務(wù)五、虛擬航天航空§1.3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用NASA還與多媒體公司FUSIONMedia以及MIT太空系統(tǒng)實(shí)驗(yàn)室合作，開(kāi)發(fā)了一款名為Mars2030的交互式火星探險(xiǎn)應(yīng)用，讓玩家能夠在虛擬現(xiàn)實(shí)中探索這個(gè)紅色星球，并進(jìn)行各種探索任務(wù)。虛擬現(xiàn)實(shí)技術(shù)將在航天技術(shù)的發(fā)展中發(fā)揮重要的促進(jìn)作用。2.未來(lái)的研究第6章：虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用1虛擬現(xiàn)實(shí)基本概念2虛擬現(xiàn)實(shí)關(guān)鍵技術(shù)3虛擬現(xiàn)實(shí)技術(shù)在融媒體中的應(yīng)用4AR與MR一、AR與MR定義§1.4AR與MRAR是一種現(xiàn)實(shí)世界環(huán)境的交互式體驗(yàn)，其中駐留在現(xiàn)實(shí)世界中的物體通過(guò)計(jì)算機(jī)生成的感知信息得到增強(qiáng)，有時(shí)跨越多種感官模式，包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、體感和嗅覺(jué)。1.AR定義一、AR與MR定義§1.4AR與MR混合現(xiàn)實(shí)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過(guò)在虛擬環(huán)境中引入現(xiàn)實(shí)場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶(hù)之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶(hù)體驗(yàn)的真實(shí)感。在新的可視化環(huán)境里物理和數(shù)字對(duì)象共存，并實(shí)時(shí)互動(dòng).2.MR定義二、AR關(guān)鍵技術(shù)§1.4AR與MR虛擬場(chǎng)景與現(xiàn)實(shí)場(chǎng)景一同出現(xiàn)需要進(jìn)行配準(zhǔn)注冊(cè)，包括使用者的空間定位跟蹤和虛擬物體在真實(shí)空間中的定位。常用的跟蹤注冊(cè)方法有基于跟蹤器的注冊(cè)、基于機(jī)器視覺(jué)跟蹤注冊(cè)、基于無(wú)線網(wǎng)絡(luò)的混合跟蹤注冊(cè)技術(shù)等?；诟櫰鞯淖?cè)方法通過(guò)跟蹤已知物體的運(yùn)動(dòng)來(lái)確定虛擬物體的位置?；跈C(jī)器視覺(jué)跟蹤注冊(cè)方法使用計(jì)算機(jī)視覺(jué)技術(shù)跟蹤環(huán)境中的特征點(diǎn)，確定虛擬物體的位置?；跓o(wú)線網(wǎng)絡(luò)的混合跟蹤注冊(cè)技術(shù)通過(guò)將多種跟蹤方法進(jìn)行組合，提高跟蹤精度和穩(wěn)定性。1.跟蹤注冊(cè)技術(shù)二、AR關(guān)鍵技術(shù)§1.4AR與MR顯示技術(shù)是AR技術(shù)的關(guān)鍵組成成分，需要高色度的顯示設(shè)備和精良的顯示技術(shù)來(lái)降低虛擬系統(tǒng)和現(xiàn)實(shí)環(huán)境融合的違和感。顯示設(shè)備包含一系列的頭盔顯示器以及相配套的傳感器接口，使用者通過(guò)攝像頭接口和畫(huà)面結(jié)合在一起來(lái)獲取虛擬與現(xiàn)實(shí)環(huán)境共存的AR增強(qiáng)影像。精良的顯示技術(shù)通過(guò)對(duì)圖像進(jìn)行相關(guān)的處理，使之可以與虛擬環(huán)境相融合，從而得到真實(shí)感和逼真感更強(qiáng)的AR增強(qiáng)影像。在顯示技術(shù)中，常用的方法包括平面顯示、投影顯示、頭盔顯示