虛擬現(xiàn)實(shí)技術(shù)的研究

1、虛擬現(xiàn)實(shí)技術(shù)的研究摘要：本文介紹了虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)和研究現(xiàn)狀，對虛擬現(xiàn)實(shí)技術(shù)的建模技術(shù)進(jìn)行了描述，論述了虛擬現(xiàn)實(shí)技術(shù)在科學(xué)、軍事等領(lǐng)域的應(yīng)用，并對未來發(fā)展方向進(jìn)行了展望。關(guān)鍵詞：虛擬現(xiàn)實(shí)技術(shù)；三維建模技術(shù)；實(shí)時繪制技術(shù)Overview of Virtual Reality TechniqueAbstract: This paper introduces the the characteristics of virtual reality technology and the current research, Modeling of virtual reality technology is

2、 described, The applications of Virtual Reality Technique in science and military are discussed through examples, its developing trends are predicted.Key words: :virtual reality technique ; 3D Modeling Technology; Real-Time Rendering Technique一、 虛擬現(xiàn)實(shí)技術(shù)1.1、定義虛擬現(xiàn)實(shí)是從兩個英語單詞“Virtual Reality”翻譯而來的，其中“Virt

3、ual”的含義是虛擬的，非真實(shí)的，即現(xiàn)場或環(huán)境是由計(jì)算機(jī)模擬生成的非真實(shí)的，只存在于計(jì)算機(jī)內(nèi)部的世界?！癛eality”的意思是現(xiàn)實(shí)、實(shí)際，真實(shí)的事物，即真實(shí)的世界或現(xiàn)實(shí)的環(huán)境。因此，“Virtual Reality”一詞應(yīng)譯為虛擬現(xiàn)實(shí)。故虛擬現(xiàn)實(shí)的含義就是利用計(jì)算機(jī)技術(shù)通過各種技術(shù)手段在計(jì)算機(jī)內(nèi)部構(gòu)建一個讓人如臨其境的虛擬世界。這種用來構(gòu)建虛擬世界的技術(shù)就稱為虛擬現(xiàn)實(shí)技術(shù)。虛擬現(xiàn)實(shí)技術(shù)，又稱“靈境技術(shù)”或“賽伯空間”。1.2、特點(diǎn) 人們現(xiàn)在較為熟悉的是3D技術(shù)，已被廣泛的應(yīng)用于電影技術(shù)中。人們可以看到一個三維的世界，看起來更加真實(shí)，觀眾仿佛已融進(jìn)了電影情節(jié)中，具有較強(qiáng)的視覺沖擊感。相較于3D

4、技術(shù)，虛擬現(xiàn)實(shí)技術(shù)則能給我們一個更加完善的虛擬環(huán)境，它不光看起來像真的，聽起來像真的，還可以摸起來、聞起來、嘗起來都像真的。即人的視、聽、觸、嗅、味各種感覺在這個虛擬環(huán)境中就完全如在真實(shí)的世界，人們可以完全如在真實(shí)的世界中一樣與虛擬世界進(jìn)行交互。虛擬現(xiàn)實(shí)技術(shù)具有以下幾個基本特征: 交互性（Interactivity）: 指用戶對虛擬現(xiàn)實(shí)環(huán)境內(nèi)物體的操作程度以及在虛擬環(huán)境中得到反饋信息的實(shí)時性及自然程度; 沉浸感（Immersion）也可稱為臨場感: 指用訪問者到作為主角存在于模擬環(huán)境中的真實(shí)感的程度;構(gòu)想性（Imagination）也稱想像性: 指用戶沉浸在設(shè)計(jì)者構(gòu)想的多維信息空間中，通過自己

5、的感知和認(rèn)知能力獲取虛擬環(huán)境中的知識，發(fā)揮主觀能動性，發(fā)現(xiàn)新問題，形成新的思想。1.3、現(xiàn)實(shí)意義二、 虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用涉及多個領(lǐng)域，如航空航天、軍事、醫(yī)療、教育、建筑、娛樂和商業(yè)等等，廣泛的應(yīng)用領(lǐng)域使得虛擬現(xiàn)實(shí)技術(shù)具有更加廣泛的發(fā)展空間。一些高成本，高危險實(shí)驗(yàn)研究或軍事演習(xí)等可以通過虛擬現(xiàn)實(shí)技術(shù)來完成。使得教學(xué)效果更加形象具體，可使得學(xué)生將抽象的不可見的實(shí)驗(yàn)及其演變過程可視化。當(dāng)有一天，虛擬現(xiàn)實(shí)技術(shù)真正實(shí)現(xiàn)了視覺、聽覺、嗅覺、觸覺、味覺各方面的完美統(tǒng)一。那么我們就可以借助與電腦來實(shí)現(xiàn)夢想中的奇幻之旅。三、 虛擬現(xiàn)實(shí)技術(shù)的研究現(xiàn)狀2. 1國外研究現(xiàn)狀美國 虛擬現(xiàn)實(shí)技術(shù)的發(fā)源地是美國，有美國宇航

6、局（NASA）Ames實(shí)驗(yàn)室、北卡羅來納大學(xué)(UNC)計(jì)算機(jī)系、SRI研究中心、麻省理工學(xué)院（MIT）媒體實(shí)驗(yàn)室等許多知名研究機(jī)構(gòu)，故美國的虛擬現(xiàn)實(shí)技術(shù)的研究水平基本上就代表了國際水平。目前，美國在虛擬現(xiàn)實(shí)技術(shù)的研究主要集中在感知、用戶界面、后臺軟件和硬件4個方面。具體來說就是，建模和實(shí)時繪制技術(shù)。 日本 日本現(xiàn)主要致力于建立大規(guī)模虛擬現(xiàn)實(shí)知識庫和人機(jī)接口方面的研究，同時在虛擬現(xiàn)實(shí)游戲方面的研究也處于領(lǐng)先地位。富士通實(shí)驗(yàn)室有限公司研究虛擬生物與虛擬現(xiàn)實(shí)環(huán)境的相互作用，已開發(fā)了一套神經(jīng)網(wǎng)絡(luò)姿勢的識別系統(tǒng)；日本奈良尖端技術(shù)研究生院的研究小組制造了一種嗅覺模擬器，使用戶可以聞到虛擬空間中水果釋放的香

7、味，是虛擬現(xiàn)實(shí)技術(shù)在嗅覺研究領(lǐng)域的一項(xiàng)突破。 另外，國外還有研究出多個用于開發(fā)應(yīng)用程序的虛擬現(xiàn)實(shí)軟件開發(fā)平臺，如英國Superscape公司的VRT,Division公司的dVISE等，研發(fā)的開發(fā)平臺針對不同應(yīng)用項(xiàng)目，在一定程度上提高了虛擬現(xiàn)實(shí)系統(tǒng)的研發(fā)效果。2. 2國內(nèi)研究現(xiàn)狀我國從20世紀(jì)80年代起開始研究VR。北京航空航天大學(xué)時國內(nèi)最早進(jìn)行VR研究、最有權(quán)威的單位之一。它于2000年8月成立了虛擬現(xiàn)實(shí)新技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，主要從事VR、可視化技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)、圖像信息處理、分布式系統(tǒng)和人工智能等多個領(lǐng)域的研究與技術(shù)開發(fā)，承擔(dān)了一批國家重點(diǎn)項(xiàng)目，同時還與多家單位進(jìn)行橫向項(xiàng)目合作，在虛擬現(xiàn)

8、實(shí)關(guān)鍵技術(shù)的研究領(lǐng)域迅速形成了自己的特色和優(yōu)勢。三、三維建模技術(shù)由于虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)就是三維模型的建立，不僅對于模型的外觀的逼真性要求較高，而且在虛擬現(xiàn)實(shí)系統(tǒng)中， 由于部分物體好要求具有復(fù)雜的行為，以及良好的實(shí)時性和交換能力。故虛擬現(xiàn)實(shí)系統(tǒng)的建模技術(shù)與其他圖形的建模技術(shù)相比具有如下的特點(diǎn)：（1）虛擬場景中的模型數(shù)量和類型都是大量的；（2）其他圖形建模系統(tǒng)中只需構(gòu)建靜態(tài)或者是簡單運(yùn)動的物體，但在虛擬場景中卻需對物體建立自己獨(dú)特的行為，且符合物理規(guī)律。（3）為了滿足其較好的操作性和良好的實(shí)時性及交換性，故物體必須在某種適當(dāng)?shù)姆绞絹碜龀鱿鄳?yīng)的反應(yīng)。所以建模技術(shù)可分為三類：幾何建模、物理建模、行為建

9、模。幾何建模幾何建模技術(shù)按照結(jié)構(gòu)可分為層次建模法和屬主建模法。層次建模法是利用樹形結(jié)構(gòu)來表示物體的各個組成部分，當(dāng)物體發(fā)生移動時，只需對某節(jié)點(diǎn)及其相對父節(jié)點(diǎn)的位置和方向的變化進(jìn)行描述即可。屬主建模法就是讓同一類的對象具有相同的屬主，屬主里面含有了同類對象的詳細(xì)結(jié)構(gòu)。當(dāng)需要制作這一類事物時，只需建立一個指向該物主的指針即可。這樣不但簡單高效，還可以便于修改及一致性也較好。 物理建模 當(dāng)幾何建模完成后，我們就要為其構(gòu)建動力學(xué)體系，描述其預(yù)期的運(yùn)動方式。典型的物理建模方法有分形技術(shù)和粒子系統(tǒng)。分形技術(shù)的優(yōu)點(diǎn)是操作簡單，易于構(gòu)建復(fù)雜且不規(guī)則的物理模型。但是需要大規(guī)模的物理計(jì)算，造成實(shí)時性交差。所以，在

10、虛擬系統(tǒng)中一般只用了構(gòu)建靜態(tài)遠(yuǎn)景模型。在粒子系統(tǒng)中，建模時將物體以最小單位體素來劃分，為每一個體素建立獨(dú)有的位置、速度、顏色和生命周期等等屬性。通過動力學(xué)計(jì)算和隨機(jī)過程即可得到運(yùn)動且逼真的畫面。故虛擬系統(tǒng)中用粒子系統(tǒng)構(gòu)建運(yùn)動的物理模型。行為建模在幾何建模和物理建模的基礎(chǔ)上，若想讓虛擬環(huán)境更加逼真，就需要加入行為建模，行為建模用于處理物體的運(yùn)動和行為。分為運(yùn)動學(xué)法和動力學(xué)仿真法兩種方法。動力學(xué)法是通過線性插值、三次樣條插值等方法內(nèi)插幀，來達(dá)到物體的平移和旋轉(zhuǎn)等動作。并不知道物體的物理屬性，仿真效果不是很理想。動力學(xué)仿真屬于物理仿真的一部分，利用物理學(xué)定律來描述物體的運(yùn)動。使得運(yùn)動的描述更加精確和

11、自然，且物體間的交互和實(shí)時性更好。真實(shí)感實(shí)時繪制技術(shù)在虛擬現(xiàn)實(shí)系統(tǒng)中，如想做到更加逼真，只靠三維立體感是遠(yuǎn)遠(yuǎn)不夠的。還要求有較強(qiáng)的真實(shí)感和實(shí)時性。真實(shí)繪制技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中，對真實(shí)繪制技術(shù)的要求與傳統(tǒng)的真實(shí)感圖形繪制不同，傳統(tǒng)的繪制只要求圖形質(zhì)量和真實(shí)感，但是，在VR中，我們必須做到圖形顯示的更新速度不小于用戶的視覺轉(zhuǎn)變速度，否則就會出現(xiàn)畫面的遲滯現(xiàn)象。故在VR中，實(shí)時三維繪制要求圖形實(shí)時生成，每秒鐘必須生成不低于10到20幀圖像。同時還要求其真實(shí)性，必須反映模擬物體的物理屬性。通常為了使得畫面場景更加逼真和實(shí)時性強(qiáng)，通常采用紋理映射、環(huán)境映射和反走樣的方法。3.2.2基于幾何模型的實(shí)時繪制技

12、術(shù) 為了使得畫面不出現(xiàn)遲滯現(xiàn)象，就要求計(jì)算機(jī)具有很好的性能，保證每秒鐘的幀數(shù)不低于30幀。虛擬場景的制圖基礎(chǔ)是幾何，即在數(shù)學(xué)上的曲線、曲面等數(shù)學(xué)模型，必須先設(shè)定好幾何模型的輪廓，同時采用模擬虛擬攝像機(jī)在六個自由度運(yùn)動，輸出畫面。當(dāng)虛擬場景較復(fù)雜時，數(shù)據(jù)量就會巨大，若產(chǎn)生的延時過長，不但用戶的沉浸感會降低，甚至使人產(chǎn)生頭暈、乏力等“運(yùn)動病”。所以，除了提供計(jì)算機(jī)的硬件設(shè)備外，我們也要減低場景的復(fù)雜度。 用以提高虛擬三維場景的顯示速度的方法有：預(yù)測計(jì)算、脫機(jī)計(jì)算、3D剪切、可見消隱、細(xì)節(jié)層次模型等。基于圖像的實(shí)時繪制技術(shù) 基于圖形繪制（Image Based Rendering，IBR）不同于傳統(tǒng)

13、的幾何繪制方法，先建模型，在定光源的繪制。IBR直接從一系列圖形中生成未知角度的圖像，畫面直接進(jìn)行變換、插值和變形，從而得到不同視覺角度的場景畫面。其特點(diǎn)如下：第一， IBR的方法降低了計(jì)算量，減低了對計(jì)算機(jī)硬件的要求，食用于個人計(jì)算機(jī)用戶使用。第二， 圖片的來源可以使數(shù)碼相機(jī)中的真實(shí)環(huán)境中的相片，也可由電腦生成，或者二者相結(jié)合，產(chǎn)生更加逼真的場景。第三， IBR的畫面顯示開銷與畫面的復(fù)雜度無關(guān)，只于畫面的分辨率有關(guān)，所以可以顯示較復(fù)雜的畫面。 三維虛擬聲音技術(shù) 日常生活中我們所聽到的立體聲是來自于左右聲道，聲音效果可以很明顯的是我們感到來自我們面前的平面，而非像有人在我們背后喊我們時，聲音來

14、自于聲源，且能準(zhǔn)確判斷出其方位。顯然現(xiàn)在的立體聲是不能做到的。而三維虛擬聲音就是要做到聽其音辨其位，即在虛擬場景中用戶可以聽聲辯位，完全符合現(xiàn)實(shí)環(huán)境中的聽力系統(tǒng)的要求，這樣的聲音系統(tǒng)就稱之為三維虛擬聲音。三維聲音的特點(diǎn) 在虛擬現(xiàn)實(shí)系統(tǒng)的聲音系統(tǒng)中，我們要致力于為用戶營造強(qiáng)烈的存在感和真實(shí)性。故在虛擬三維聲音系統(tǒng)中的核心技術(shù)就是三維虛擬聲音定位技術(shù)。其特點(diǎn)為：全面三維定位特性（3D steering）、三維實(shí)時跟蹤特性（3D Localization）、沉浸感與交互性。 全面三維定位特性（3D steering）可以實(shí)現(xiàn)將聲音信號定位到特定虛擬生源，用戶可以通過它精確判斷出聲源的位置，并符合真實(shí)

15、世界中的聽覺方式。三維實(shí)時跟蹤特性（3D Localization）可以使聲音效果與變化的視覺相一致，即用戶的位置和聲源發(fā)生相對位置的變化時，其聲源位置也隨之改變，產(chǎn)生視聽覺得疊加和同步效果。故三維實(shí)時跟蹤特性（3D Localization）就是用來完成三維虛擬環(huán)境中實(shí)施跟蹤虛擬聲源位置變化或虛擬影像變化的能力的。沉浸感與交互性是指當(dāng)用戶在虛擬環(huán)境中時，加入三維虛擬聲音后，可以為用戶營造身臨其境的感覺，并且隨著用戶的運(yùn)動可以產(chǎn)生現(xiàn)場反映和實(shí)時響應(yīng)的能力。語音識別技術(shù)（Automatic Speech Recognition,ASR） 語音識別技術(shù)（Automatic Speech Recog

16、nition,ASR）是將語言信號轉(zhuǎn)變?yōu)榭杀挥?jì)算機(jī)識別的文字信息，使得計(jì)算機(jī)可以識別說話人的語言指令和文字內(nèi)容的技術(shù)。 要想達(dá)到語音的完全識別是非常困難的，必須經(jīng)過參數(shù)提取、參考模式建立、模式識別等若干個過程。隨著研究人員的不斷研究，使用了傅里葉轉(zhuǎn)換、到頻譜參數(shù)等方法，語音識別度也越來越高。語音合成技術(shù)（Text to Speech,TTS） 語音合成技術(shù)（Text to Speech,TTS），是指人工合成語音的技術(shù)。達(dá)到計(jì)算機(jī)輸出地語音可以準(zhǔn)確、清晰、自然的表達(dá)意思。一般方法有兩種：一是錄音/重放，二是文-語轉(zhuǎn)換。在虛擬現(xiàn)實(shí)系統(tǒng)中，語音合成技術(shù)的運(yùn)用可以提高系統(tǒng)的沉浸感，同時彌補(bǔ)視覺信息的

17、不足。人機(jī)自然交互技術(shù)在虛擬現(xiàn)實(shí)系統(tǒng)中，我們致力于使得用戶可以通過眼睛、手勢、耳朵、語言、鼻子和皮膚等等感覺器官來和計(jì)算機(jī)系統(tǒng)中產(chǎn)生的虛擬環(huán)境進(jìn)行交互，這種虛擬環(huán)境下的交換技術(shù)就稱之為人機(jī)自然交互技術(shù)。目前，人機(jī)交互技術(shù)主要體現(xiàn)在以下三個方面：第一：手勢識別技術(shù)，通過數(shù)據(jù)手套(Data glove)來實(shí)現(xiàn)。數(shù)據(jù)手套(Data glove)是虛擬現(xiàn)實(shí)系統(tǒng)中最常用的人機(jī)交互設(shè)備，可精確測量出手的位置和形狀，由此實(shí)現(xiàn)環(huán)境中的虛擬手對虛擬物體的操縱。數(shù)據(jù)手套通過手指上的彎曲、扭曲傳感器和手掌上的彎度、弧度傳感器，確定手及關(guān)節(jié)的位置和方向。手勢語言的范例如下： 數(shù)據(jù)手套還可以使你覺得你的手產(chǎn)生放在問誰水

18、中、或者沙土中的感覺。第二：面部表情識別技術(shù)，該項(xiàng)技術(shù)目前的研究與人們的期望效果還相差較遠(yuǎn)，但是去研究成果去展現(xiàn)了其魅力所在。這項(xiàng)技術(shù)一般分為三個步驟，首先是面部表情的跟蹤，利用攝像機(jī)記錄下用戶的表情，再通過圖像分析和識別技術(shù)達(dá)到表情的識別。其次是對面部表情的編碼，研究人員利用面部動作編碼系統(tǒng)（FACS）對人的面部表情進(jìn)行解剖，并對其面部活動進(jìn)行分類和編碼。最后是面部表情的識別， 通過FACS系統(tǒng)可以構(gòu)成表情識別的系統(tǒng)流程圖，如下： 第三：眼動跟蹤技術(shù)眼動跟蹤技術(shù)（Eye Movement-based Interaction）也稱之為實(shí)現(xiàn)跟蹤技術(shù)。它可以補(bǔ)充頭部跟蹤技術(shù)的不足之處，這樣即簡單有

19、直接?，F(xiàn)有的是先跟蹤技術(shù)及特點(diǎn)如下：視線追蹤方法技 術(shù) 特 點(diǎn)角膜反射高帶寬，誤差大瞳孔-角膜反射高帶寬，精度高，對人無干擾，誤差小接觸鏡高帶寬，精度最高，對人干擾大，不舒服虹膜-鞏膜邊緣高帶寬，垂直精度低，對人干擾大，誤差大眼電圖（EOG）高帶寬，精度低，對人干擾大實(shí)時碰撞檢測技術(shù) 在日常生活中人們已經(jīng)建立了一定的物理習(xí)慣，如固體之間不能彼此穿透，物體高空墜落做自由落體運(yùn)動，拋出去的物體做平拋運(yùn)動等等，同時還要受到重力和空氣流速的影響等等。為了在虛擬現(xiàn)實(shí)系統(tǒng)中完全的模擬現(xiàn)實(shí)環(huán)境，且防止發(fā)生穿透現(xiàn)象，就必須引入實(shí)時碰撞檢測技術(shù)。 Moore提出了兩個碰撞檢測算法，其一處理三角剖分的物體表面，另

20、一個處理多面體環(huán)境的碰撞檢測。為了防止穿透有三個主要部分。首先，必須檢測碰撞。其次，為響應(yīng)碰撞應(yīng)調(diào)節(jié)物體速度。最后，如果碰撞，響應(yīng)不引起物體立刻分開，必須計(jì)算和施加接觸力，直到分開。三維全景技術(shù)三維全景技術(shù)（Panorama）為現(xiàn)在最為流行的視覺技術(shù)，它以圖像繪制技術(shù)為基礎(chǔ)生成具有真實(shí)感圖像的虛擬現(xiàn)實(shí)技術(shù)。全景圖的生成，首先是通過照相機(jī)平移或旋轉(zhuǎn)得到的一序列圖像樣本；再利用圖像拼接技術(shù)生成具有強(qiáng)烈動感和透視效果的全景圖像；最后在利用圖像融合技術(shù)使得全景圖給用戶帶來全新的現(xiàn)實(shí)感和交互感。該項(xiàng)技術(shù)利用對全景圖深度信息的提取來恢復(fù)實(shí)時場景的三維信息建立模型。方法簡單，設(shè)計(jì)周期縮短，使得費(fèi)用大大降低，且效果更加，故目前較為流行。四、應(yīng)用領(lǐng)域五、存在的問題及未來的發(fā)展方向存在的問題虛擬現(xiàn)實(shí)的發(fā)展方向是很明確的更快、更高質(zhì)量的圖形更便宜、設(shè)計(jì)得更完善的頭盔式顯示器和其他輸人、