虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)與軟件

1、第三章第三章 虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)與軟件虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)與軟件1.環(huán)境建模技術(shù)環(huán)境建模技術(shù)虛擬環(huán)境建模的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù)，并根據(jù)應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。VR系統(tǒng)中環(huán)境的建模技術(shù)與其圖形建模技術(shù)相比，主要特點(diǎn)表現(xiàn)在以下3個(gè)方面：虛擬環(huán)境中可以有很多物體，往往需要建造大量完全不同類型的物體模型。虛擬環(huán)境中有些物體有自己的行為，而其他圖形建模系統(tǒng)中一般只有構(gòu)造靜態(tài)的物體，或是物體簡(jiǎn)單的運(yùn)動(dòng)。虛擬環(huán)境中的物體必須有良好的操縱性能，當(dāng)用戶與物體進(jìn)行交互時(shí)，物體必須以某種適當(dāng)?shù)姆绞絹碜鞒龇磻?yīng)。VR系統(tǒng)包括三維視覺和三維聽覺建模等。在當(dāng)前應(yīng)用中，環(huán)境建模一般

2、主要是三維視覺建模。三維視覺建模又是可分為幾何建模、物理建模、行為建模等。 (1)幾何建模技術(shù)幾何建模技術(shù)幾何建模技術(shù)主要研究對(duì)象是對(duì)物體幾何信息的表示與處理，它是涉及表示幾何信息數(shù)據(jù)結(jié)構(gòu)，以及相關(guān)的構(gòu)造與操縱數(shù)據(jù)結(jié)構(gòu)的算法建模方法。幾何建模通常采用以下4種方法：利用VR工具軟件來進(jìn)行建模。直接從某些商品圖形庫中選購所需的幾何圖形。利用常用建模軟件來進(jìn)行建模。直接利用VR編輯器。（2）物理建模技術(shù)）物理建模技術(shù) 典型的物理建模技術(shù)有分形技術(shù)和粒子系統(tǒng)。分形技術(shù)分形技術(shù)是指可以描述具有自相似特征的數(shù)據(jù)集。分形技術(shù)的優(yōu)點(diǎn)是用簡(jiǎn)單的操作就可以完成復(fù)雜的不規(guī)則物體建模，缺點(diǎn)是計(jì)算量太大，不利于實(shí)時(shí)性。

3、因此，在VR系統(tǒng)中一般僅用于靜態(tài)遠(yuǎn)景的建模。粒子系統(tǒng)粒子系統(tǒng)是一種典型的物理建模系統(tǒng)，粒子系統(tǒng)是用簡(jiǎn)單的體素完成復(fù)雜的運(yùn)動(dòng)建模。 （3）行為建模技術(shù)）行為建模技術(shù)行為建模負(fù)責(zé)物體的運(yùn)動(dòng)和行為的描述。如果說幾何建模是VR建模的基礎(chǔ)，行為建模則真正體現(xiàn)出VR的特征。 在虛擬環(huán)境行為建模中，建模方法主要有以下兩種：運(yùn)動(dòng)學(xué)方法運(yùn)動(dòng)學(xué)方法是通過幾何變換，如物體的平移或旋轉(zhuǎn)等來描述運(yùn)動(dòng)。動(dòng)力學(xué)仿真運(yùn)動(dòng)力學(xué)仿真運(yùn)用物理定律而非幾何變換來描述物體的行為。 2.實(shí)時(shí)三維圖形繪制技術(shù)實(shí)時(shí)三維圖形繪制技術(shù) 實(shí)時(shí)三維圖形繪制技術(shù)指利用計(jì)算機(jī)為用戶提供一個(gè)能從任意視點(diǎn)及方向?qū)崟r(shí)觀察三維場(chǎng)的手段，它要求當(dāng)用戶的視點(diǎn)改變時(shí)

4、，圖形顯示速度也必須跟上視點(diǎn)的改變速度，否則就會(huì)產(chǎn)生遲滯現(xiàn)象。(1)基于幾何圖形的實(shí)時(shí)繪制技術(shù)基于幾何圖形的實(shí)時(shí)繪制技術(shù) 目前，用于降低場(chǎng)景的復(fù)雜度，以提高三維場(chǎng)景的動(dòng)態(tài)顯示速度的常用方法有以下幾種:預(yù)測(cè)計(jì)算。脫機(jī)計(jì)算。場(chǎng)景分塊?？梢娤[。細(xì)節(jié)層次模型 。（2）基于圖像的繪制技術(shù)）基于圖像的繪制技術(shù)基于圖像的繪制技術(shù)（Image Based Rending,IBR ）是采用一些預(yù)先生成的場(chǎng)景畫面,對(duì)接近于視點(diǎn)或視線議程的畫面進(jìn)行交換、插值與變形，從而快速得到當(dāng)前視點(diǎn)處的場(chǎng)景畫面。與基于幾何的傳統(tǒng)繪制技術(shù)相比，基于圖像的實(shí)時(shí)繪制技術(shù)的優(yōu)勢(shì)在于：圖形繪制技術(shù)與場(chǎng)景復(fù)雜性無關(guān)，僅與所要生成畫面的分辨

5、率有關(guān)。預(yù)先存儲(chǔ)的圖像（或環(huán)境映照）既可以是計(jì)算機(jī)生成的，也可以是用相機(jī)實(shí)際拍攝的畫面，也可以兩者混合生成。對(duì)計(jì)算機(jī)的資源要求不高，可以在普通工作站和個(gè)人計(jì)算機(jī)上實(shí)現(xiàn)復(fù)雜場(chǎng)景的實(shí)時(shí)顯示?；趫D像的繪制技術(shù)主要有以下兩種：全景技術(shù)全景技術(shù)是指在一個(gè)場(chǎng)景中的一個(gè)觀察點(diǎn)用相機(jī)每旋轉(zhuǎn)一下角度拍攝得到一組照片，再在計(jì)算機(jī)采用各種工具軟件拼接成一個(gè)全景圖像。 圖像的插值及視圖變換技術(shù)根據(jù)在不同觀察點(diǎn)所拍攝的圖像，交互地給出或自動(dòng)得到相鄰兩個(gè)圖像之間對(duì)應(yīng)，采用插值或視圖變換的方法，求出對(duì)應(yīng)于其他點(diǎn)的圖像，生成新的視圖。3.三維虛擬聲音的顯示技術(shù)三維虛擬聲音的顯示技術(shù)把在虛擬場(chǎng)景中的能使用戶準(zhǔn)確地判斷出聲源的

6、精確位置、符合人們?cè)谡鎸?shí)境界中聽覺方式的聲音系統(tǒng)稱為三維虛擬聲音系統(tǒng) 。（1）三維虛擬聲音的特征）三維虛擬聲音的特征 全向三維定位特性全向三維定位特性（3D Steering）指在三種虛擬空間中,使用戶能準(zhǔn)確地判斷出聲源的精確位置,符合人們?cè)谡鎸?shí)境界中的聽覺方式,如同在現(xiàn)實(shí)世界中 。三維實(shí)時(shí)跟蹤特性三維實(shí)時(shí)跟蹤特性（3D Real Time Localization）是指在三維虛擬空間中，實(shí)時(shí)跟蹤虛擬聲源位置變化或景象變化的能力。 沉浸感與交互性三維虛擬聲音的沉浸感就是指加入三維虛擬聲音后，能使用戶產(chǎn)生身臨其境的感覺，這可以更進(jìn)一步使人沉浸在虛擬環(huán)境之中，有助于增強(qiáng)臨場(chǎng)效果。而三維聲音的交互特

7、性則是指隨著用戶的臨場(chǎng)反應(yīng)和實(shí)時(shí)響應(yīng)的能力。虛擬聲音技術(shù)存在的問題:聽覺定位的混淆問題。虛擬聲音環(huán)境的可視化問題。聽覺心理學(xué)和聽覺生理學(xué)的限制。（2）人類的聽覺模型與頭相關(guān)轉(zhuǎn)移函數(shù)）人類的聽覺模型與頭相關(guān)轉(zhuǎn)移函數(shù)人的聽覺模型人類聽覺系統(tǒng)用于確定聲源位置和方向信息，它不僅與混響時(shí)間差和混響強(qiáng)度有關(guān)，更取決于對(duì)進(jìn)入耳朵的聲音產(chǎn)生頻譜的耳廓。頭相關(guān)轉(zhuǎn)移函數(shù)通過測(cè)量外界聲音及鼓膜上的聲音的頻譜差異，得出相關(guān)的轉(zhuǎn)移函數(shù)，并確定出雙耳的信號(hào)傳播延遲的特點(diǎn)，以此對(duì)聲源進(jìn)行定位。 （3）語音識(shí)別與合成技術(shù)）語音識(shí)別與合成技術(shù) 語音識(shí)別技術(shù)（Automatic Speech Recognition,ASR ），

8、是指將人說話的語音信號(hào)轉(zhuǎn)換為可被計(jì)算機(jī)程序所識(shí)別的文字信息，從而識(shí)別出說話人的語音指令以及文字內(nèi)容的技術(shù)。語音合成技術(shù)（Text To Speech,TTS ），是指將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，以語音的方式播放出來的技術(shù)。 4.觸摸和力量反饋技術(shù)觸摸和力量反饋技術(shù)觸覺感知包括觸摸反饋和力量反饋所產(chǎn)生的感知信息。觸摸感知是指人與物體對(duì)象接觸所得到的全部感覺，是觸摸覺、壓覺、振動(dòng)覺、刺痛覺等皮膚感覺的統(tǒng)稱。觸摸反饋代表了作用在人皮膚上的力，它反映了人類觸摸的感覺，或者是皮膚上受到壓力的感覺；而力量反饋是作用在人肌肉、關(guān)節(jié)和筋腱上的力。限制觸摸/力量反饋技術(shù)發(fā)展的幾個(gè)技術(shù)問題：技術(shù)分析比較復(fù)雜難度。難

9、以正確描述觸覺。性能要求較高。5.自然交互技術(shù)自然交互技術(shù)在計(jì)算機(jī)系統(tǒng)提供的虛擬空間中，人可以使用眼睛、耳朵、皮膚、手勢(shì)和語音等各種感覺方式直接與之發(fā)生交互，這就是虛擬環(huán)境下的自然交互技術(shù)。 在VR領(lǐng)域中較為常用的交互技術(shù)主要有手勢(shì)識(shí)別、面部表情的識(shí)別以及眼動(dòng)跟蹤等。（1）手勢(shì)識(shí)別）手勢(shì)識(shí)別 手勢(shì)是一種較為簡(jiǎn)單、方便的交互方式，系統(tǒng)只須跟蹤用戶手的位置以及手指的夾角就有可能通過已接收的手勢(shì)下達(dá)指令。手勢(shì)識(shí)別系統(tǒng)根據(jù)輸入設(shè)備的不同，主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺（圖像）的手語識(shí)別系統(tǒng)兩種。 （2）面部表情識(shí)別）面部表情識(shí)別 計(jì)算機(jī)面部表情的識(shí)別技術(shù)通常要分為3個(gè)步驟進(jìn)行,即表情的跟蹤、表情

10、的編碼和表情的識(shí)別。面部表情的跟蹤為了識(shí)別表情，首先要將表情信息從外界攝取回來。現(xiàn)階段比較典型的例子是由Sim-Graphics開發(fā)的虛擬演員系統(tǒng)。面部表情的編碼要使計(jì)算機(jī)能識(shí)別表情，就要將表情信息以計(jì)算機(jī)所能理解的形式表示出來，即對(duì)面部表情進(jìn)行編碼。面部表情的識(shí)別表情之間存在著相互滲透和融合，很難明確地劃分為不同的種類。 表情識(shí)別的分類判別樹表情識(shí)別的分類判別樹（3）眼動(dòng)跟蹤）眼動(dòng)跟蹤眼動(dòng)跟蹤技術(shù)的基本工作原理是利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝像機(jī)，通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達(dá)到記錄、分析視線追蹤過程的目的。下表歸納了目前幾種主要的視線追蹤技術(shù)及特

11、點(diǎn)6.碰撞檢測(cè)技術(shù)碰撞檢測(cè)技術(shù) 在虛擬世界中關(guān)于碰撞，首先要檢測(cè)到發(fā)生碰撞的位置，其次是計(jì)算出發(fā)生碰撞后的反應(yīng)。（1）碰撞檢測(cè)的要求）碰撞檢測(cè)的要求實(shí)時(shí)性精確性（2）碰撞檢測(cè)的實(shí)現(xiàn)方法）碰撞檢測(cè)的實(shí)現(xiàn)方法層次包圍盒法空間分解法。7.虛擬現(xiàn)實(shí)工具軟件虛擬現(xiàn)實(shí)工具軟件VR的軟件系統(tǒng)是實(shí)現(xiàn)VR技術(shù)應(yīng)用的關(guān)鍵。目前，在國內(nèi)與國外已開發(fā)了很多VR系統(tǒng)軟件工具，如WTK（World Tool Kit）、MR(Minimal Reality Toolkit)、World Visions、FreeWRL、VRT (Virtual Reality Toolkit)、DVES (Distributed Virtu

12、al Enviroment System)等，其中WTK是應(yīng)用較多的一種。（1）WTK（World Tool Kit） 它是一種簡(jiǎn)潔的跨平臺(tái)軟件開發(fā)系統(tǒng)，可用于科學(xué)和商業(yè)領(lǐng)域建立高性能的、實(shí)時(shí)的、綜合三維工程。 WTK開發(fā)系統(tǒng)由兩部分構(gòu)成：硬件部分和軟件部分。硬件部分包括主機(jī)、圖形加速卡、VR設(shè)備。軟件部分實(shí)質(zhì)是指集成了WTK函數(shù)庫的C編輯器 。 WTK 仿真循環(huán)程序流程圖仿真循環(huán)程序流程圖（2）MR(Minimal Reality Toolkit) MR實(shí)質(zhì)上是一個(gè)支持虛擬環(huán)境開發(fā)的子程序庫。它包括3個(gè)層次的庫函數(shù)：底層包括一組設(shè)備支撐函數(shù)包，每一函數(shù)包支持一種設(shè)備，并稱為一個(gè)客戶/服務(wù)器對(duì)

13、。第二層是一組處理從設(shè)備獲得的數(shù)據(jù)并將其轉(zhuǎn)換為程序員方便使用的格式的庫函數(shù)。最高層的庫函數(shù)為程序員提供了一組打包的服務(wù)集。8.Web3D技術(shù)與軟件技術(shù)與軟件 （1）Web3D技術(shù)特點(diǎn)技術(shù)特點(diǎn)Web3D稱為網(wǎng)絡(luò)3D，是一種網(wǎng)絡(luò)上帶有交互性能實(shí)時(shí)渲染的三維技術(shù)，它的本質(zhì)就是在網(wǎng)絡(luò)上如何表現(xiàn)3D圖形，是VR技術(shù)在網(wǎng)絡(luò)上的應(yīng)用。Web3D的國際標(biāo)準(zhǔn)VRML（X3D）互聯(lián)網(wǎng)3D圖形的關(guān)鍵技術(shù)實(shí)時(shí)渲染交互性（2）Web3D應(yīng)用工具軟件應(yīng)用工具軟件 常見的國內(nèi)外軟件有：Cult3D、Viewpoint、Java3D、GL4Java、Flatland、Fluid3D、Janet3D、Pulse3D、Shout3D、Sumea、Superscape、Vecta3D、Blaxunn3D、OpenWorlds等。全景技術(shù) VRML建模語言 Atmosphere Shockwave3D技術(shù) Cult3D技術(shù) Viewpoint技術(shù) （3）Web3D應(yīng)用與發(fā)展應(yīng)用與發(fā)展 Web3D技術(shù)是針對(duì)互聯(lián)網(wǎng)上的最新和最具應(yīng)用前景的技術(shù)，今后幾年必將在互聯(lián)網(wǎng)上占有重要地位。 從目前的趨勢(shì)來看Web3D圖形將在互聯(lián)網(wǎng)上的應(yīng)用主要有以下方面：企業(yè)產(chǎn)品宣傳與電子商務(wù)娛樂休閑與游戲 多用戶虛擬社區(qū) 9.虛擬現(xiàn)實(shí)技術(shù)的總結(jié)虛擬現(xiàn)實(shí)技術(shù)的總結(jié)在硬件系統(tǒng)方面,交互性是實(shí)現(xiàn)人機(jī)和諧的關(guān)鍵，改進(jìn)硬件設(shè)備的性能則是其中的關(guān)