第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)392024/12/21第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39了解虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)分類、特點(diǎn)、應(yīng)用。熟悉虛擬現(xiàn)實(shí)系統(tǒng)相關(guān)技術(shù)的原理和實(shí)現(xiàn)方法。本章知識(shí)點(diǎn)第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39本章目錄3.13.23.33.43.5立體顯示技術(shù)三維建模技術(shù)真實(shí)感實(shí)時(shí)繪制技術(shù)

三維虛擬聲音的實(shí)現(xiàn)技術(shù)人機(jī)自然交互技術(shù)3.6碰撞檢測(cè)技術(shù)第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.1立體顯示技術(shù)立體顯示是虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)之一，它使人在虛擬世界里具有更強(qiáng)的沉浸感，立體顯示的引入可以使各種模擬器的仿真更加逼真。因此，有必要研究立體成像技術(shù)并利用現(xiàn)有的計(jì)算機(jī)平臺(tái)，結(jié)合相應(yīng)的軟硬件系統(tǒng)在平面顯示器上顯示立體視景。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.1.1立體顯示原理

由于人兩眼有4-6cm的距離，所以實(shí)際上看物體時(shí)兩只眼睛中的圖像是有差別的，如圖所示。兩幅不同的圖像輸送到大腦后，看到的是有景深的圖像。這就是計(jì)算機(jī)和投影系統(tǒng)的立體成像原理。立體顯示技術(shù)原理

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.1.2四種立體顯示技術(shù)

立體顯示技術(shù)主要有分色技術(shù)、分光技術(shù)、分時(shí)技術(shù)，以及光柵技術(shù)。其中前三種，分色、分光、分時(shí)技術(shù)的流程很相似，都是需要經(jīng)過兩次過濾，第一次是在顯示器端，第二次是在眼睛端。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)391.分色技術(shù)分色技術(shù)的基本原理是讓某些顏色的光只進(jìn)入左眼，另一部分只進(jìn)入右眼。分色技術(shù)原理第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)392.分光技術(shù)常見的光源都會(huì)隨機(jī)發(fā)出自然光和偏振光，分光技術(shù)是用偏光濾鏡或偏光片濾除特定角度偏振光以外的所有光，讓0度的偏振光只進(jìn)入右眼，90度的偏振光只進(jìn)入左眼（也可用45度和135度的偏振光搭配）。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.分時(shí)技術(shù)分時(shí)技術(shù)是將兩套畫面在不同的時(shí)間播放，顯示器在第一次刷新時(shí)播放左眼畫面，同時(shí)用專用的眼鏡遮住觀看者的右眼，下一次刷新時(shí)播放右眼畫面，并遮住觀看者的左眼。按照上述方法將兩套畫面以極快的速度切換，在人眼視覺暫留特性的作用下就合成了連續(xù)的畫面。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)394.光柵技術(shù)若在顯示器前端加上光柵，光柵的功能是要擋光，讓左眼透過光柵時(shí)只能看到部分的畫面；右眼也只能看到另外一半的畫面，于是就能讓左右眼看到不同影像并形成立體，此時(shí)無(wú)需佩戴眼鏡。而光柵本身亦可由顯示器所形成，也就是將兩片液晶畫板重疊組合而成，當(dāng)位于前端的液晶面板顯示條紋狀黑白畫面時(shí)，即可變成立體顯示器；而當(dāng)前端的液晶面板顯示全白的畫面時(shí)，不但可以顯示3D的影像，亦可同時(shí)相容于現(xiàn)有2D的顯示器。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39光柵3D顯示技術(shù)原理第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.2三維建模技術(shù)

虛擬環(huán)境建模的目的在于獲取實(shí)際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)其應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。只有設(shè)計(jì)出反映研究對(duì)象的真實(shí)有效的模型，虛擬現(xiàn)實(shí)系統(tǒng)才有可信度?；谀壳暗募夹g(shù)水平，常見的是三維視覺建模和三維聽覺建模。而在當(dāng)前應(yīng)用中，三維建模一般主要是三維視覺建模。三維視覺建?？煞譃閹缀谓?、物理建模、行為建模。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.2.1幾何建模技術(shù)幾何建模是開發(fā)虛擬現(xiàn)實(shí)系統(tǒng)過程中最基本、最重要的工作之一。虛擬環(huán)境中的幾何模型是物體幾何信息的表示，設(shè)計(jì)表示幾何信息的數(shù)據(jù)結(jié)構(gòu)、相關(guān)的構(gòu)造與操縱該數(shù)據(jù)結(jié)構(gòu)的算法。虛擬環(huán)境中的每個(gè)物體包含形狀和外觀兩個(gè)方面。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39幾何建模通?？煞譃閷哟谓７ê蛯僦鹘７ǎ海?)層次建模法（2)屬主建模法幾何建模可通過以下兩種方式實(shí)現(xiàn)：（1)人工的幾何建模方法（2)自動(dòng)的幾何建模方法第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39三維立體掃描儀第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.2.2物理建模技術(shù)

物理建模指的是虛擬對(duì)象的質(zhì)量、重量、慣性、表面紋理（光滑或粗糙）、硬度、變形模式（彈性或可塑性）等特征的建模。物理建模是虛擬現(xiàn)實(shí)系統(tǒng)中比較高層次的建模，它需要物理學(xué)與計(jì)算機(jī)圖形學(xué)配合，涉及到力的反饋問題，主要是重量建模、表面變形和軟硬度等物理屬性的體現(xiàn)。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)391.分形技術(shù)分形技術(shù)是指可以描述具有自相似特征的數(shù)據(jù)集。該技術(shù)首先被用于河流和山體的地理特征建模。在虛擬現(xiàn)實(shí)系統(tǒng)中一般僅用于靜態(tài)遠(yuǎn)景的建模。2.粒子系統(tǒng)粒子系統(tǒng)是一種典型的物理建模系統(tǒng)，粒子系統(tǒng)是用簡(jiǎn)單的體素完成復(fù)雜的運(yùn)動(dòng)建模。在虛擬現(xiàn)實(shí)系統(tǒng)中，粒子系統(tǒng)常用于描述火焰、水流、雨雪、旋風(fēng)、噴泉等現(xiàn)象及動(dòng)態(tài)運(yùn)動(dòng)的物體建模。

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.2.3行為建模技術(shù)

虛擬現(xiàn)實(shí)的本質(zhì)就是客觀世界的仿真或折射，虛擬現(xiàn)實(shí)的模型則是客觀世界中物體或?qū)ο蟮拇?。而客觀世界中的物體或?qū)ο蟪司哂斜碛^特征如外形、質(zhì)感以外，還具有一定的行為能力，并且服從一定的客觀規(guī)律。在虛擬環(huán)境行為建模中，建模方法主要有基于數(shù)值插值的運(yùn)動(dòng)學(xué)方法與基于物理的動(dòng)力學(xué)仿真方法。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.3真實(shí)感實(shí)時(shí)繪制技術(shù)要實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬世界，僅有立體顯示技術(shù)是遠(yuǎn)遠(yuǎn)不夠的，虛擬現(xiàn)實(shí)中還有真實(shí)感與實(shí)時(shí)性的要求，也就是說虛擬世界的產(chǎn)生不僅需要真實(shí)的立體感，而且虛擬世界還必須實(shí)時(shí)生成，這就必須要采用真實(shí)感實(shí)時(shí)繪制技術(shù)。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.3.1真實(shí)感繪制技術(shù)

真實(shí)感繪制是在計(jì)算機(jī)中重現(xiàn)真實(shí)世界場(chǎng)景的過程。其主要任務(wù)是要模擬真實(shí)物體的物理屬性。實(shí)時(shí)繪制是當(dāng)用戶視點(diǎn)發(fā)生變化時(shí)，他所看到的場(chǎng)景需要及時(shí)更新。為了提高顯示的逼真度，加強(qiáng)真實(shí)性，常采用下列方法：（1）紋理映射（2）環(huán)境映射（3）反走樣第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39紋理映射前后對(duì)比圖

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.3.2基于圖形的實(shí)時(shí)繪制技術(shù)

傳統(tǒng)的虛擬場(chǎng)景基本上都是基于幾何的，就是用數(shù)學(xué)意義上的曲線、曲面等數(shù)學(xué)模型預(yù)先定義好虛擬場(chǎng)景的幾何輪廓，再采用紋理映射、光照等數(shù)學(xué)模型加以渲染。大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)的主要部分是構(gòu)造一個(gè)虛擬環(huán)境，并從不同的方向進(jìn)行漫游。要達(dá)到這個(gè)目標(biāo)，首先是構(gòu)造幾何模型，其次模擬虛擬攝像機(jī)在六個(gè)自由度運(yùn)動(dòng)，并得到相應(yīng)的輸出畫面。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39除了在硬件方面采用高性能的計(jì)算機(jī)，提高計(jì)算機(jī)的運(yùn)行速度以提高圖形顯示能力外，還可以降低場(chǎng)景的復(fù)雜度，即降低圖形系統(tǒng)需處理的多邊形數(shù)目。有下面幾種用來降低場(chǎng)景復(fù)雜度的方法：（1）預(yù)測(cè)計(jì)算（2）脫機(jī)計(jì)算（3）3D剪切（4）可見消隱（5）細(xì)節(jié)層次模型第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39細(xì)節(jié)層次模型示意圖(a)原始模型(b)簡(jiǎn)化模型1(c)簡(jiǎn)化模型2(d)簡(jiǎn)化模型3

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.3.3基于圖像的實(shí)時(shí)繪制技術(shù)

當(dāng)前真實(shí)感圖形實(shí)時(shí)繪制的其中一個(gè)熱點(diǎn)問題就是基于圖像的繪制(IBR,ImageBasedRendering)。與傳統(tǒng)的基于模型的繪制方法相比,IBR方法有以下優(yōu)點(diǎn)：（1）計(jì)算量適中（2）獨(dú)立于場(chǎng)景復(fù)雜度（3）滿意的繪制質(zhì)量第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.4三維虛擬聲音的實(shí)現(xiàn)技術(shù)

虛擬現(xiàn)實(shí)系統(tǒng)中的三維聲音，使聽者能感覺到聲音是來自圍繞聽者雙耳的一個(gè)球形中的任何地方。因此把在虛擬場(chǎng)景中能使用戶準(zhǔn)確地判斷出聲源的精確位置、符合人們?cè)谡鎸?shí)境界中聽覺方式的聲音系統(tǒng)稱為三維虛擬聲音。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.4.1三維虛擬聲音的作用

聲音在虛擬現(xiàn)實(shí)系統(tǒng)中的作用，主要有以下幾點(diǎn)：（1）聲音是用戶和虛擬環(huán)境的另一種交互方法，人們可以通過語(yǔ)音與虛擬世界進(jìn)行雙向交流。（2）數(shù)據(jù)驅(qū)動(dòng)的聲音能傳遞對(duì)象的屬性信息。（3）增強(qiáng)空間信息，尤其是當(dāng)空間超出了視域范圍。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.4.2三維虛擬聲音的特征

在三維虛擬聲音系統(tǒng)最核心的技術(shù)是三維虛擬聲音定位技術(shù)，它的特征主要有：（1）全向三維定位特征。（2）三維實(shí)時(shí)跟蹤特性。（3）沉浸感與交互性。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.4.3語(yǔ)音識(shí)別技術(shù)與虛擬世界進(jìn)行語(yǔ)音交互是實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中一個(gè)高級(jí)目標(biāo)。語(yǔ)音技術(shù)在虛擬現(xiàn)實(shí)中的關(guān)鍵是語(yǔ)音識(shí)別技術(shù)和語(yǔ)音合成技術(shù)。語(yǔ)音識(shí)別技術(shù)(ASR,AutomaticSpeechRecognition)：將人說話的語(yǔ)音信號(hào)轉(zhuǎn)換為可被計(jì)算機(jī)程序所識(shí)別的文字信息，從而識(shí)別說話人的語(yǔ)音指令以及文字內(nèi)容的技術(shù)。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.4.4語(yǔ)音合成技術(shù)

語(yǔ)音合成技術(shù)（TTS,TesttoSpeech）：用人工的方法生成語(yǔ)音的技術(shù)，當(dāng)計(jì)算機(jī)合成語(yǔ)音時(shí)，如何能做到聽話人能理解其意圖并感知其情感，一般對(duì)“語(yǔ)音”的要求是清晰、可聽懂、自然、具有表現(xiàn)力。實(shí)現(xiàn)語(yǔ)音輸出有兩種方法：（1）錄音/重放。（2）文-語(yǔ)轉(zhuǎn)換。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.5人機(jī)自然交互技術(shù)在計(jì)算機(jī)系統(tǒng)提供的虛擬空間中，人可以使用眼睛、耳朵、皮膚、手勢(shì)和語(yǔ)音等各種感覺方式直接與之發(fā)生交互，這就是虛擬環(huán)境下的人機(jī)自然交互技術(shù)。在虛擬現(xiàn)實(shí)領(lǐng)域中較為常用的交互技術(shù)主要有手勢(shì)識(shí)別、面部表情的識(shí)別以及眼動(dòng)跟蹤等。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.5.1手勢(shì)識(shí)別

手勢(shì)識(shí)別系統(tǒng)的輸入設(shè)備與主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺（圖像）的手語(yǔ)識(shí)別系統(tǒng)兩種。手勢(shì)識(shí)別技術(shù)主要有：模板匹配、人工神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)分析技術(shù)。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.5.2面部表情識(shí)別

人可以通過臉部的表情表達(dá)自己的各種情緒，傳遞必要的信息。人臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識(shí)別是這個(gè)技術(shù)的主要難點(diǎn)。可以將人臉檢測(cè)方法分為兩大類：（1）基于特征的人臉檢測(cè)。（2）基于圖像的人臉檢測(cè)方法。

第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.5.3眼動(dòng)跟蹤為了模擬人眼的功能，在虛擬現(xiàn)實(shí)系統(tǒng)中引入眼動(dòng)跟蹤技術(shù)。眼動(dòng)跟蹤技術(shù)的基本工作原理是利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝像機(jī)。通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達(dá)到記錄、分析視線追蹤過程的目的。下表3.1歸納了目前幾種主要的視線追蹤技術(shù)及特點(diǎn)。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39人眼動(dòng)跟蹤技術(shù)

視覺追蹤方法技術(shù)特點(diǎn)眼電圖高帶寬，精度低，對(duì)人干擾大虹膜-鞏膜邊緣高帶寬，垂直精度低，對(duì)人干擾大，誤差大角膜反射高帶寬，誤差大瞳孔-角膜反射低帶寬，精度高，對(duì)人無(wú)干擾，誤差小接觸鏡高帶寬，精度最高，對(duì)人干擾大，不舒適第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)393.6碰撞檢測(cè)技術(shù)碰撞檢測(cè)經(jīng)常用來檢測(cè)對(duì)象甲是否與對(duì)象乙相互作用。為了保證虛擬世界的真實(shí)性，就需要虛擬現(xiàn)實(shí)系統(tǒng)能夠及時(shí)檢測(cè)出這些碰撞，產(chǎn)生相應(yīng)的碰撞反應(yīng)，并及時(shí)更新場(chǎng)景輸出，否則就會(huì)發(fā)生穿透現(xiàn)象。正是有了碰撞檢測(cè)，才可以避免諸如人穿墻而過等不真實(shí)情況的發(fā)生，影響虛擬世界的真實(shí)感。第3章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)39（1）碰撞檢測(cè)的要求為了保證虛擬世界的真實(shí)性，碰撞檢測(cè)要有較高的實(shí)時(shí)性和精確性。所謂實(shí)時(shí)性，基于視覺顯示的要求，碰撞檢測(cè)的速度一般至少要達(dá)到24Hz，而基于觸覺要求，速度至少要到到300Hz才能維持觸覺交互系統(tǒng)的穩(wěn)定性，只有達(dá)到1000Hz才能獲得平滑的效果。精