虛擬現(xiàn)實技術的研究

1、虛擬現(xiàn)實技術的研究摘要：本文介紹了虛擬現(xiàn)實技術的特點和研究現(xiàn)狀，對虛擬現(xiàn)實技術的建模技術進行了描述，論述了虛擬現(xiàn)實技術在科學、軍事等領域的應用，并對未來發(fā)展方向進行了展望。關鍵詞：虛擬現(xiàn)實技術；三維建模技術；實時繪制技術Overview of Virtual Reality TechniqueAbstract: This paper introduces the the characteristics of virtual reality technology and the current research, Modeling of virtual reality technology is

2、 described, The applications of Virtual Reality Technique in science and military are discussed through examples, its developing trends are predicted.Key words: :virtual reality technique ; 3D Modeling Technology; Real-Time Rendering Technique一、 虛擬現(xiàn)實技術1.1、定義虛擬現(xiàn)實是從兩個英語單詞“Virtual Reality”翻譯而來的，其中“Virt

3、ual”的含義是虛擬的，非真實的，即現(xiàn)場或環(huán)境是由計算機模擬生成的非真實的，只存在于計算機內(nèi)部的世界?！癛eality”的意思是現(xiàn)實、實際，真實的事物，即真實的世界或現(xiàn)實的環(huán)境。因此，“Virtual Reality”一詞應譯為虛擬現(xiàn)實。故虛擬現(xiàn)實的含義就是利用計算機技術通過各種技術手段在計算機內(nèi)部構建一個讓人如臨其境的虛擬世界。這種用來構建虛擬世界的技術就稱為虛擬現(xiàn)實技術。虛擬現(xiàn)實技術，又稱“靈境技術”或“賽伯空間”。1.2、特點 人們現(xiàn)在較為熟悉的是3D技術，已被廣泛的應用于電影技術中。人們可以看到一個三維的世界，看起來更加真實，觀眾仿佛已融進了電影情節(jié)中，具有較強的視覺沖擊感。相較于3D

4、技術，虛擬現(xiàn)實技術則能給我們一個更加完善的虛擬環(huán)境，它不光看起來像真的，聽起來像真的，還可以摸起來、聞起來、嘗起來都像真的。即人的視、聽、觸、嗅、味各種感覺在這個虛擬環(huán)境中就完全如在真實的世界，人們可以完全如在真實的世界中一樣與虛擬世界進行交互。虛擬現(xiàn)實技術具有以下幾個基本特征: 交互性（Interactivity）: 指用戶對虛擬現(xiàn)實環(huán)境內(nèi)物體的操作程度以及在虛擬環(huán)境中得到反饋信息的實時性及自然程度; 沉浸感（Immersion）也可稱為臨場感: 指用訪問者到作為主角存在于模擬環(huán)境中的真實感的程度;構想性（Imagination）也稱想像性: 指用戶沉浸在設計者構想的多維信息空間中，通過自己

5、的感知和認知能力獲取虛擬環(huán)境中的知識，發(fā)揮主觀能動性，發(fā)現(xiàn)新問題，形成新的思想。1.3、現(xiàn)實意義二、 虛擬現(xiàn)實技術的應用涉及多個領域，如航空航天、軍事、醫(yī)療、教育、建筑、娛樂和商業(yè)等等，廣泛的應用領域使得虛擬現(xiàn)實技術具有更加廣泛的發(fā)展空間。一些高成本，高危險實驗研究或軍事演習等可以通過虛擬現(xiàn)實技術來完成。使得教學效果更加形象具體，可使得學生將抽象的不可見的實驗及其演變過程可視化。當有一天，虛擬現(xiàn)實技術真正實現(xiàn)了視覺、聽覺、嗅覺、觸覺、味覺各方面的完美統(tǒng)一。那么我們就可以借助與電腦來實現(xiàn)夢想中的奇幻之旅。三、 虛擬現(xiàn)實技術的研究現(xiàn)狀2. 1國外研究現(xiàn)狀美國 虛擬現(xiàn)實技術的發(fā)源地是美國，有美國宇航

6、局（NASA）Ames實驗室、北卡羅來納大學(UNC)計算機系、SRI研究中心、麻省理工學院（MIT）媒體實驗室等許多知名研究機構，故美國的虛擬現(xiàn)實技術的研究水平基本上就代表了國際水平。目前，美國在虛擬現(xiàn)實技術的研究主要集中在感知、用戶界面、后臺軟件和硬件4個方面。具體來說就是，建模和實時繪制技術。 日本 日本現(xiàn)主要致力于建立大規(guī)模虛擬現(xiàn)實知識庫和人機接口方面的研究，同時在虛擬現(xiàn)實游戲方面的研究也處于領先地位。富士通實驗室有限公司研究虛擬生物與虛擬現(xiàn)實環(huán)境的相互作用，已開發(fā)了一套神經(jīng)網(wǎng)絡姿勢的識別系統(tǒng)；日本奈良尖端技術研究生院的研究小組制造了一種嗅覺模擬器，使用戶可以聞到虛擬空間中水果釋放的香

7、味，是虛擬現(xiàn)實技術在嗅覺研究領域的一項突破。 另外，國外還有研究出多個用于開發(fā)應用程序的虛擬現(xiàn)實軟件開發(fā)平臺，如英國Superscape公司的VRT,Division公司的dVISE等，研發(fā)的開發(fā)平臺針對不同應用項目，在一定程度上提高了虛擬現(xiàn)實系統(tǒng)的研發(fā)效果。2. 2國內(nèi)研究現(xiàn)狀我國從20世紀80年代起開始研究VR。北京航空航天大學時國內(nèi)最早進行VR研究、最有權威的單位之一。它于2000年8月成立了虛擬現(xiàn)實新技術教育部重點實驗室，主要從事VR、可視化技術、計算機網(wǎng)絡、圖像信息處理、分布式系統(tǒng)和人工智能等多個領域的研究與技術開發(fā)，承擔了一批國家重點項目，同時還與多家單位進行橫向項目合作，在虛擬現(xiàn)

8、實關鍵技術的研究領域迅速形成了自己的特色和優(yōu)勢。三、三維建模技術由于虛擬現(xiàn)實技術的基礎就是三維模型的建立，不僅對于模型的外觀的逼真性要求較高，而且在虛擬現(xiàn)實系統(tǒng)中， 由于部分物體好要求具有復雜的行為，以及良好的實時性和交換能力。故虛擬現(xiàn)實系統(tǒng)的建模技術與其他圖形的建模技術相比具有如下的特點：（1）虛擬場景中的模型數(shù)量和類型都是大量的；（2）其他圖形建模系統(tǒng)中只需構建靜態(tài)或者是簡單運動的物體，但在虛擬場景中卻需對物體建立自己獨特的行為，且符合物理規(guī)律。（3）為了滿足其較好的操作性和良好的實時性及交換性，故物體必須在某種適當?shù)姆绞絹碜龀鱿鄳姆磻Ｋ越＜夹g可分為三類：幾何建模、物理建模、行為建

9、模。幾何建模幾何建模技術按照結構可分為層次建模法和屬主建模法。層次建模法是利用樹形結構來表示物體的各個組成部分，當物體發(fā)生移動時，只需對某節(jié)點及其相對父節(jié)點的位置和方向的變化進行描述即可。屬主建模法就是讓同一類的對象具有相同的屬主，屬主里面含有了同類對象的詳細結構。當需要制作這一類事物時，只需建立一個指向該物主的指針即可。這樣不但簡單高效，還可以便于修改及一致性也較好。 物理建模 當幾何建模完成后，我們就要為其構建動力學體系，描述其預期的運動方式。典型的物理建模方法有分形技術和粒子系統(tǒng)。分形技術的優(yōu)點是操作簡單，易于構建復雜且不規(guī)則的物理模型。但是需要大規(guī)模的物理計算，造成實時性交差。所以，在

10、虛擬系統(tǒng)中一般只用了構建靜態(tài)遠景模型。在粒子系統(tǒng)中，建模時將物體以最小單位體素來劃分，為每一個體素建立獨有的位置、速度、顏色和生命周期等等屬性。通過動力學計算和隨機過程即可得到運動且逼真的畫面。故虛擬系統(tǒng)中用粒子系統(tǒng)構建運動的物理模型。行為建模在幾何建模和物理建模的基礎上，若想讓虛擬環(huán)境更加逼真，就需要加入行為建模，行為建模用于處理物體的運動和行為。分為運動學法和動力學仿真法兩種方法。動力學法是通過線性插值、三次樣條插值等方法內(nèi)插幀，來達到物體的平移和旋轉等動作。并不知道物體的物理屬性，仿真效果不是很理想。動力學仿真屬于物理仿真的一部分，利用物理學定律來描述物體的運動。使得運動的描述更加精確和

11、自然，且物體間的交互和實時性更好。真實感實時繪制技術在虛擬現(xiàn)實系統(tǒng)中，如想做到更加逼真，只靠三維立體感是遠遠不夠的。還要求有較強的真實感和實時性。真實繪制技術虛擬現(xiàn)實系統(tǒng)中，對真實繪制技術的要求與傳統(tǒng)的真實感圖形繪制不同，傳統(tǒng)的繪制只要求圖形質(zhì)量和真實感，但是，在VR中，我們必須做到圖形顯示的更新速度不小于用戶的視覺轉變速度，否則就會出現(xiàn)畫面的遲滯現(xiàn)象。故在VR中，實時三維繪制要求圖形實時生成，每秒鐘必須生成不低于10到20幀圖像。同時還要求其真實性，必須反映模擬物體的物理屬性。通常為了使得畫面場景更加逼真和實時性強，通常采用紋理映射、環(huán)境映射和反走樣的方法。3.2.2基于幾何模型的實時繪制技

12、術 為了使得畫面不出現(xiàn)遲滯現(xiàn)象，就要求計算機具有很好的性能，保證每秒鐘的幀數(shù)不低于30幀。虛擬場景的制圖基礎是幾何，即在數(shù)學上的曲線、曲面等數(shù)學模型，必須先設定好幾何模型的輪廓，同時采用模擬虛擬攝像機在六個自由度運動，輸出畫面。當虛擬場景較復雜時，數(shù)據(jù)量就會巨大，若產(chǎn)生的延時過長，不但用戶的沉浸感會降低，甚至使人產(chǎn)生頭暈、乏力等“運動病”。所以，除了提供計算機的硬件設備外，我們也要減低場景的復雜度。 用以提高虛擬三維場景的顯示速度的方法有：預測計算、脫機計算、3D剪切、可見消隱、細節(jié)層次模型等。基于圖像的實時繪制技術 基于圖形繪制（Image Based Rendering，IBR）不同于傳統(tǒng)

13、的幾何繪制方法，先建模型，在定光源的繪制。IBR直接從一系列圖形中生成未知角度的圖像，畫面直接進行變換、插值和變形，從而得到不同視覺角度的場景畫面。其特點如下：第一， IBR的方法降低了計算量，減低了對計算機硬件的要求，食用于個人計算機用戶使用。第二， 圖片的來源可以使數(shù)碼相機中的真實環(huán)境中的相片，也可由電腦生成，或者二者相結合，產(chǎn)生更加逼真的場景。第三， IBR的畫面顯示開銷與畫面的復雜度無關，只于畫面的分辨率有關，所以可以顯示較復雜的畫面。 三維虛擬聲音技術 日常生活中我們所聽到的立體聲是來自于左右聲道，聲音效果可以很明顯的是我們感到來自我們面前的平面，而非像有人在我們背后喊我們時，聲音來

14、自于聲源，且能準確判斷出其方位。顯然現(xiàn)在的立體聲是不能做到的。而三維虛擬聲音就是要做到聽其音辨其位，即在虛擬場景中用戶可以聽聲辯位，完全符合現(xiàn)實環(huán)境中的聽力系統(tǒng)的要求，這樣的聲音系統(tǒng)就稱之為三維虛擬聲音。三維聲音的特點 在虛擬現(xiàn)實系統(tǒng)的聲音系統(tǒng)中，我們要致力于為用戶營造強烈的存在感和真實性。故在虛擬三維聲音系統(tǒng)中的核心技術就是三維虛擬聲音定位技術。其特點為：全面三維定位特性（3D steering）、三維實時跟蹤特性（3D Localization）、沉浸感與交互性。 全面三維定位特性（3D steering）可以實現(xiàn)將聲音信號定位到特定虛擬生源，用戶可以通過它精確判斷出聲源的位置，并符合真實

15、世界中的聽覺方式。三維實時跟蹤特性（3D Localization）可以使聲音效果與變化的視覺相一致，即用戶的位置和聲源發(fā)生相對位置的變化時，其聲源位置也隨之改變，產(chǎn)生視聽覺得疊加和同步效果。故三維實時跟蹤特性（3D Localization）就是用來完成三維虛擬環(huán)境中實施跟蹤虛擬聲源位置變化或虛擬影像變化的能力的。沉浸感與交互性是指當用戶在虛擬環(huán)境中時，加入三維虛擬聲音后，可以為用戶營造身臨其境的感覺，并且隨著用戶的運動可以產(chǎn)生現(xiàn)場反映和實時響應的能力。語音識別技術（Automatic Speech Recognition,ASR） 語音識別技術（Automatic Speech Recog

16、nition,ASR）是將語言信號轉變?yōu)榭杀挥嬎銠C識別的文字信息，使得計算機可以識別說話人的語言指令和文字內(nèi)容的技術。 要想達到語音的完全識別是非常困難的，必須經(jīng)過參數(shù)提取、參考模式建立、模式識別等若干個過程。隨著研究人員的不斷研究，使用了傅里葉轉換、到頻譜參數(shù)等方法，語音識別度也越來越高。語音合成技術（Text to Speech,TTS） 語音合成技術（Text to Speech,TTS），是指人工合成語音的技術。達到計算機輸出地語音可以準確、清晰、自然的表達意思。一般方法有兩種：一是錄音/重放，二是文-語轉換。在虛擬現(xiàn)實系統(tǒng)中，語音合成技術的運用可以提高系統(tǒng)的沉浸感，同時彌補視覺信息的

17、不足。人機自然交互技術在虛擬現(xiàn)實系統(tǒng)中，我們致力于使得用戶可以通過眼睛、手勢、耳朵、語言、鼻子和皮膚等等感覺器官來和計算機系統(tǒng)中產(chǎn)生的虛擬環(huán)境進行交互，這種虛擬環(huán)境下的交換技術就稱之為人機自然交互技術。目前，人機交互技術主要體現(xiàn)在以下三個方面：第一：手勢識別技術，通過數(shù)據(jù)手套(Data glove)來實現(xiàn)。數(shù)據(jù)手套(Data glove)是虛擬現(xiàn)實系統(tǒng)中最常用的人機交互設備，可精確測量出手的位置和形狀，由此實現(xiàn)環(huán)境中的虛擬手對虛擬物體的操縱。數(shù)據(jù)手套通過手指上的彎曲、扭曲傳感器和手掌上的彎度、弧度傳感器，確定手及關節(jié)的位置和方向。手勢語言的范例如下： 數(shù)據(jù)手套還可以使你覺得你的手產(chǎn)生放在問誰水

18、中、或者沙土中的感覺。第二：面部表情識別技術，該項技術目前的研究與人們的期望效果還相差較遠，但是去研究成果去展現(xiàn)了其魅力所在。這項技術一般分為三個步驟，首先是面部表情的跟蹤，利用攝像機記錄下用戶的表情，再通過圖像分析和識別技術達到表情的識別。其次是對面部表情的編碼，研究人員利用面部動作編碼系統(tǒng)（FACS）對人的面部表情進行解剖，并對其面部活動進行分類和編碼。最后是面部表情的識別， 通過FACS系統(tǒng)可以構成表情識別的系統(tǒng)流程圖，如下： 第三：眼動跟蹤技術眼動跟蹤技術（Eye Movement-based Interaction）也稱之為實現(xiàn)跟蹤技術。它可以補充頭部跟蹤技術的不足之處，這樣即簡單有

19、直接。現(xiàn)有的是先跟蹤技術及特點如下：視線追蹤方法技 術 特 點角膜反射高帶寬，誤差大瞳孔-角膜反射高帶寬，精度高，對人無干擾，誤差小接觸鏡高帶寬，精度最高，對人干擾大，不舒服虹膜-鞏膜邊緣高帶寬，垂直精度低，對人干擾大，誤差大眼電圖（EOG）高帶寬，精度低，對人干擾大實時碰撞檢測技術 在日常生活中人們已經(jīng)建立了一定的物理習慣，如固體之間不能彼此穿透，物體高空墜落做自由落體運動，拋出去的物體做平拋運動等等，同時還要受到重力和空氣流速的影響等等。為了在虛擬現(xiàn)實系統(tǒng)中完全的模擬現(xiàn)實環(huán)境，且防止發(fā)生穿透現(xiàn)象，就必須引入實時碰撞檢測技術。 Moore提出了兩個碰撞檢測算法，其一處理三角剖分的物體表面，另

20、一個處理多面體環(huán)境的碰撞檢測。為了防止穿透有三個主要部分。首先，必須檢測碰撞。其次，為響應碰撞應調(diào)節(jié)物體速度。最后，如果碰撞，響應不引起物體立刻分開，必須計算和施加接觸力，直到分開。三維全景技術三維全景技術（Panorama）為現(xiàn)在最為流行的視覺技術，它以圖像繪制技術為基礎生成具有真實感圖像的虛擬現(xiàn)實技術。全景圖的生成，首先是通過照相機平移或旋轉得到的一序列圖像樣本；再利用圖像拼接技術生成具有強烈動感和透視效果的全景圖像；最后在利用圖像融合技術使得全景圖給用戶帶來全新的現(xiàn)實感和交互感。該項技術利用對全景圖深度信息的提取來恢復實時場景的三維信息建立模型。方法簡單，設計周期縮短，使得費用大大降低，且效果更加，故目前較為流行。四、應用領域五、存在的問題及未來的發(fā)展方向存在的問題虛擬現(xiàn)實的發(fā)展方向是很明確的更快、更高質(zhì)量的圖形更便宜、設計得更完善的頭盔式顯示器和其他輸人、