醫(yī)學虛擬現實技術及應用第3章-虛擬現實系統(tǒng)的相關課件

第3章

虛擬現實系統(tǒng)的相關技術立體顯示技術3.1三維建模技術3.2第3章虛擬現實系統(tǒng)的相關技術立體顯示技術3.1三維建模技醫(yī)學虛擬現實技術及應用第3章-虛擬現實系統(tǒng)的相關課件3.1立體顯示技術

立體顯示是虛擬現實的關鍵技術之一，它使人在虛擬世界里具有更強的沉浸感，立體顯示的引入可以使各種模擬器的仿真更加逼真。3.1立體顯示技術 立體顯示是虛擬現實的關鍵技術之3.1.1立體顯示原理

由于人的兩眼有4～6cm的距離，所以實際上看物體時兩只眼睛中的圖像是有差別的，如圖3.1所示。

兩幅不同的圖像輸送到大腦后，得到的是有景深的圖像。

這就是計算機和投影系統(tǒng)的立體成像原理。3.1.1立體顯示原理 由于人的兩眼有4～6cm

依據這個原理，結合不同的技術水平有不同的立體技術手段。

只要符合常規(guī)的觀察角度，即產生合適的圖像偏移，形成立體圖像并不困難。

依據這個原理，結合不同的技術水平有不同的立體技術手段

從計算機和投影系統(tǒng)角度看，根本問題是圖像的顯示刷新率問題，即立體帶寬指標問題。

如果立體帶寬足夠，用任何顯示器和投影機顯示立體圖像都沒有問題。 從計算機和投影系統(tǒng)角度看，根本問題是圖像的顯示刷新率圖3.1立體顯示技術原理圖3.1立體顯示技術原理3.1.24種立體顯示技術

立體顯示技術主要有分色技術、分光技術、分時技術以及光柵技術。

下面就介紹4種技術如何將片源輸送給雙眼。

其中前3種（分色技術、分光技術、分時技術）的流程很相似，都是需要經過兩次過濾，第一次是在顯示器端，第二次是在眼睛端。3.1.24種立體顯示技術 立體顯示技術主要有分色1．分色技術

分色技術的基本原理是讓某些顏色的光只進入左眼，另一部分只進入右眼。

人眼睛中的感光細胞共有4種，其中數量最多的是感覺亮度的細胞，另外3種用于感知顏色，分別可以感知紅、綠、藍3種波長的光，感知其他顏色是根據這3種顏色推理出來的，因此紅、綠、藍被稱為光的三原色。1．分色技術 分色技術的基本原理是讓某些顏色的光只進入

要注意這和美術上講的紅、黃、藍三原色是不同的，后者是顏料的調和，而前者是光的調和。

分色技術原理如圖3.2所示。 要注意這和美術上講的紅、黃、藍三原色是不同的，后者是圖3.2分色技術原理圖3.2分色技術原理圖3.3紅藍立體眼鏡、紅綠立體眼鏡、棕藍立體眼鏡圖3.3紅藍立體眼鏡、紅綠立體眼鏡、棕藍立體眼鏡2．分光技術

常見的光源都會隨機發(fā)出自然光和偏振光，分光技術是用偏光濾鏡或偏光片濾除特定角度偏振光以外的所有光，讓0°的偏振光只進入右眼，90°的偏振光只進入左眼（也可用45°和135°的偏振光搭配）。2．分光技術 常見的光源都會隨機發(fā)出自然光和偏振光，分

兩種偏振光分別搭載著兩套畫面，觀眾須帶上專用的偏光眼鏡，眼鏡的兩片鏡片由偏光濾鏡或偏光片制成，分別可以讓0°和90°的偏振光通過，這樣就完成了第二次過濾。 兩種偏振光分別搭載著兩套畫面，觀眾須帶上專用的偏光3．分時技術

分時技術是將兩套畫面在不同的時間播放，顯示器在第一次刷新時播放左眼畫面，同時用專用的眼鏡遮住觀看者的右眼，下一次刷新時播放右眼畫面，并遮住觀看者的左眼。3．分時技術 分時技術是將兩套畫面在不同的時間播放，顯

按照上述方法將兩套畫面以極快的速率切換，在人眼視覺暫留特性的作用下就合成了連續(xù)的畫面。

目前，用于遮住左右眼的眼鏡用的都是液晶板，因此也被稱為液晶快門眼鏡，早期曾用過機械眼鏡。 按照上述方法將兩套畫面以極快的速率切換，在人眼視覺暫4．光柵技術

如圖3.4所示，若在顯示器前端加上光柵（Barrier），光柵的功能是擋光，讓左眼透過光柵只能看到部分的畫面；右眼也只能看到另外一半的畫面，于是就能讓左右眼看到不同的影像并形成立體，此時無需佩戴眼鏡。4．光柵技術 如圖3.4所示，若在顯示器前端加上光柵（

而光柵本身亦可由顯示器形成，也就是將兩片液晶畫板重疊組合而成，當位于前端的液晶面板顯示條紋狀黑白畫面時，即可變成立體顯示器；而當前端的液晶面板顯示全白的畫面時，不但可以顯示3D的影像，亦可同時兼容現有2D的顯示器。 而光柵本身亦可由顯示器形成，也就是將兩片液晶畫板重疊圖3.4光柵3D顯示技術原理圖3.4光柵3D顯示技術原理3.2三維建模技術

虛擬環(huán)境建模的目的在于獲取實際三維環(huán)境的三維數據，并根據其應用的需要，利用獲取的三維數據建立相應的虛擬環(huán)境模型。

只有設計出反映研究對象的真實有效的模型，虛擬現實系統(tǒng)才有可信度。

虛擬現實系統(tǒng)中的虛擬環(huán)境，可能有下列幾種情況。3.2三維建模技術 虛擬環(huán)境建模的目的在于獲取實際（1）模仿真實世界中的環(huán)境（系統(tǒng)仿真）。（2）人類主觀構造的環(huán)境。（3）模仿真實世界中人類不可見的環(huán)境（科學可視化）。（1）模仿真實世界中的環(huán)境（系統(tǒng)仿真）。

基于目前的技術水平，常見的是三維視覺建模和三維聽覺建模。

而在當前應用中，三維建模一般主要是三維視覺建模。

三維視覺建模可分為幾何建模、物理建模、行為建模。 基于目前的技術水平，常見的是三維視覺建模和三維聽覺建3.2.1幾何建模技術

幾何建模是開發(fā)虛擬現實系統(tǒng)過程中最基本、最重要的工作之一。

虛擬環(huán)境中的幾何模型是物體幾何信息的表示，設計表示幾何信息的數據結構、相關的構造與操縱該數據結構的算法。3.2.1幾何建模技術 幾何建模是開發(fā)虛擬現實系統(tǒng)

虛擬環(huán)境中的每個物體包含形狀和外觀兩個方面。

物體的形狀由構造物體的各個多邊形、三角形和頂點等來確定，物體的外觀則由表面紋理、顏色、光照系數等來確定。 虛擬環(huán)境中的每個物體包含形狀和外觀兩個方面。1．幾何建模的內容

對象的幾何建模是生成高質量視景圖像的先決條件。

它是用來表述對象內部固有的幾何性質的抽象模型，所表達的內容包括以下幾點。1．幾何建模的內容 對象的幾何建模是生成高質量視景圖像

（1）對象中基元的輪廓和形狀，以及反映基元表面特點的屬性，例如顏色。

（2）基元間的連續(xù)性，即基元結構或對象的拓撲特性。連接性的描述可以用矩陣、樹、網絡等。（1）對象中基元的輪廓和形狀，以及反映基元表面特點的屬性，

（3）應用中要求的數值和說明信息。這些信息不一定是與幾何形狀有關的，例如基元的名稱、基元的物理特性等。（3）應用中要求的數值和說明信息。這些信息不一定是與幾何形

從體系和結構的角度看，幾何建模技術分為體素和結構兩個方面。

體素用來構造物體的原子單位，體素的選取決定了建模系統(tǒng)所能構造的對象范圍。

結構用來決定體素如何組合以構成新的對象。 從體系和結構的角度看，幾何建模技術分為體素和結構兩個2．幾何建模的方法

幾何建模通?？煞譃閷哟谓７ê蛯僦鹘７ā?/p>

（1）層次建模法。層次建模方法利用樹形結構來表示物體的各個組成部分，對描述運動繼承關系比較有利。2．幾何建模的方法 幾何建模通?？煞譃閷哟谓７ê蛯僦?/p>

（2）屬主建模法。屬主建模方法的思想是讓同一個對象擁有同一個屬主，屬主包含了該類對象的詳細結構。（2）屬主建模法。屬主建模方法的思想是讓同一個對象擁有同一3．幾何建模的實現方式

幾何建?？赏ㄟ^以下兩種方式實現。

（1）人工的幾何建模方法。

（2）自動的幾何建模方法。3．幾何建模的實現方式 幾何建?？赏ㄟ^以下兩種方式實現圖3.5用于人體外形建模的大型激光掃描系統(tǒng)圖3.5用于人體外形建模的大型激光掃描系統(tǒng)圖3.6三維立體掃描儀圖3.6三維立體掃描儀3.2.2物理建模技術

物理建模指的是對虛擬對象的質量、重量、慣性、表面紋理（光滑或粗糙）、硬度、變形模式（彈性或可塑性）等特征的建模。3.2.2物理建模技術 物理建模指的是對虛擬對象的

物理建模是虛擬現實系統(tǒng)中比較高層次的建模，它需要物理學與計算機圖形學配合，涉及到力的反饋問題，主要是重量建模、表面變形和軟硬度等物理屬性的體現。

分形技術和粒子系統(tǒng)就是典型的物理建模方法。 物理建模是虛擬現實系統(tǒng)中比較高層次的建模，它需要物理1．分形技術

分形技術是指可以描述具有自相似特征的數據集。1．分形技術 分形技術是指可以描述具有自相似特征的數2．粒子系統(tǒng)

粒子系統(tǒng)是一種典型的物理建模系統(tǒng)，粒子系統(tǒng)是用簡單的體素完成復雜的運動建模。2．粒子系統(tǒng) 粒子系統(tǒng)是一種典型的物理建模系統(tǒng)，粒子系3.2.3行為建模技術

虛擬現實的本質就是客觀世界的仿真或折射，虛擬現實的模型則是客觀世界中物體或對象的代表。

而客觀世界中的物體或對象除了具有表觀特征如外形、質感以外，還具有一定的行為能力，并且服從一定的客觀規(guī)律。3.2.3行為建模技術 虛擬現實的本質就是客觀世界

在虛擬環(huán)境行為建模中，建模方法主要有基于數值插值的運動學方法與基于物理的動力學仿真方法。

（1）運動學方法：通過幾何變換（平移和旋轉等）來描述運動。 在虛擬環(huán)境行為建模中，建模方法主要有基于數值插值的運

（2）動力學仿真：運用物理定律而非幾何變換來描述物體的行為。在該方法中，運動是通過物體的質量和慣性、力和力矩以及其他的物理作用計算出來的。（2）動力學仿真：運用物理定律而非幾何變換來描述物體的行為3.3真實感實時繪制技術

真實感實時繪制是在當前圖形算法和硬件條件限制下提出的在一定時間內完成真實感繪制的技術。

“真實感”的涵義包括幾何真實感、行為真實感和光照真實感。3.3真實感實時繪制技術 真實感實時繪制是在當前圖

幾何真實感指與描述的真實世界中對象具有十分相似的幾何外觀；行為真實感指建立的對象對于觀察者而言在某些意義上是完全真實的；光照真實感指模型對象與光源相互作用產生的與真實世界中亮度和明暗一致的圖像。 幾何真實感指與描述的真實世界中對象具有十分相似的幾何

而“實時”的涵義則包括對運動對象位置和姿態(tài)的實時計算與動態(tài)繪制，畫面更新達到人眼觀察不到閃爍的程度，并且系統(tǒng)對用戶的輸入能立即做出反應并產生相應場景以及事件的同步。

它要求當用戶的視點改變時，圖形顯示速率也必須跟上視點的改變速率，否則就會產生遲滯現象。 而“實時”的涵義則包括對運動對象位置和姿態(tài)的實時計算3.3.1真實感繪制技術

真實感繪制是在計算機中重現真實世界場景的過程。

其主要任務是要模擬真實物體的物理屬性，即物體的形狀、光學性質、表面紋理和粗糙程度以及物體間的相對位置、遮擋關系等。3.3.1真實感繪制技術 真實感繪制是在計算機中重

為了提高顯示的逼真度，加強真實性，常采用下列方法。紋理映射環(huán)境映射反走樣

圖3.8所示為紋理映射前后的對比。 為了提高顯示的逼真度，加強真實性，常采用下列方法。圖3.8紋理映射前后對比圖圖3.8紋理映射前后對比圖3.3.2基于圖形的實時繪制技術

有下面幾種用來降低場景復雜度的方法。

（1）預測計算

（2）脫機計算

（3）3D剪切

（4）可見消隱

（5）細節(jié)層次模型（LevelOfDetail，LOD）3.3.2基于圖形的實時繪制技術 有下面幾種用來降（a）原始模型（2732個點）（b）簡化模型1（2055個點）（c）簡化模型2（1088個點）（d）簡化模型3（600個點）圖3.9LOD模型示意圖（a）原始模型（2732個點）（b）簡化模型1（2055個點3.3.3基于圖像的實時繪制技術

與傳統(tǒng)的基于模型的繪制方法相比，IBR方法有以下優(yōu)點。（1）計算量適中。（2）獨立于場景復雜度。（3）滿意的繪制質量。3.3.3基于圖像的實時繪制技術 與傳統(tǒng)的基于模型

目前基于圖像的繪制的相關技術主要有以下兩種。

（1）硬件技術：實現復雜圖像實時繪制的硬件途徑主要有專用計算機圖像生成設備CIG和針對虛擬現實應用而設計的通用圖形工作站。 目前基于圖像的繪制的相關技術主要有以下兩種。

（2）軟件技術：包括基于全景函數的方法、基于圖像拼合的方法、視圖插值技術、基于圖像變形的方法、基于立體視覺的視圖合成方法。（2）軟件技術：包括基于全景函數的方法、基于圖像拼合的方法3.4三維虛擬聲音的實現技術3.4.1三維虛擬聲音的作用

聲音在虛擬現實系統(tǒng)中的作用，主要有以下幾點。

（1）聲音是用戶和虛擬環(huán)境的另一種交互方法，人們可以通過語音與虛擬世界進行雙向交流。3.4三維虛擬聲音的實現技術3.4.1三維虛擬聲音的

（2）數據驅動的聲音能傳遞對象的屬性信息。

（3）增強空間信息，尤其是當空間超出了視域范圍。（2）數據驅動的聲音能傳遞對象的屬性信息。3.4.2三維虛擬聲音的特征（1）全向三維定位特征（2）三維實時跟蹤特性（3）沉浸感與交互性3.4.2三維虛擬聲音的特征（1）全向三維定位特征3.4.3語音識別技術

語音技術在虛擬現實中的關鍵是語音識別技術和語音合成技術。

語音識別技術（AutomaticSpeechRecognition，ASR）是指將人說話的語音信號轉換為可被計算機程序所識別的文字信息，從而識別說話人的語音指令以及文字內容的技術，包括參數提取、參考模式建立和模式識別等過程。3.4.3語音識別技術 語音技術在虛擬現實中的關鍵3.4.4語音合成技術

語音合成技術（TesttoSpeech，TTS）：用人工的方法生成語音的技術，當計算機合成語音時，使聽話人能理解其意圖并感知其情感。

一般對“語音”的要求是清晰、可聽懂、自然、具有表現力。3.4.4語音合成技術 語音合成技術（Testt

實現語音輸出有兩種方法。（1）錄音/重放（2）文-語轉換 實現語音輸出有兩種方法。3.5人機自然交互技術3.5.1手勢識別

手勢識別系統(tǒng)的輸入設備主要分為基于數據手套的識別和基于視覺（圖像）的手語識別系統(tǒng)兩種。3.5人機自然交互技術3.5.1手勢識別

基于數據手套的手勢識別系統(tǒng)，就是利用數據手套和位置跟蹤器來捕捉手勢在空間運動的軌跡和時序信息，對較為復雜的手的動作進行檢測，包括手的位置、方向和手指彎曲度等，并可根據這些信息對手勢進行分析。 基于數據手套的手勢識別系統(tǒng)，就是利用數據手套和位置跟

基于視覺的手勢識別是從視覺通道獲得信號，通常用攝像機采集手勢信息，由攝像機連續(xù)拍下手部的運動圖像后，先采用輪廓的辦法識別出手上的每一根手指，進而再用邊界特征識別的方法區(qū)分出較小的、集中的各種手勢。

手勢識別技術主要有模板匹配、人工神經網絡和統(tǒng)計分析技術。 基于視覺的手勢識別是從視覺通道獲得信號，通常用攝像機3.5.2面部表情識別

一般人臉檢測問題可以描述為：給定一幅靜止圖像或一段動態(tài)圖像序列，從未知的圖像背景中分割、提取并確認可能存在的人臉，如果檢測到人臉，提取人臉特征。3.5.2面部表情識別 一般人臉檢測問題可以描述為

在某些可以控制拍攝條件的場合，將人臉限定在標尺內，此時人臉的檢測與定位相對容易。在另一些情況下，人臉在圖像中的位置預先是未知的，這時人臉的檢測與定位將受以下因素的影響：人臉在圖像中的位置、角度和不固定尺度以及光照的影響；發(fā)型、眼鏡、胡須以及人臉的表情變化等；圖像中的噪聲等。 在某些可以控制拍攝條件的場合，將人臉限定在標尺內，此

人臉檢測的基本思想是建立人臉模型，比較所有可能的待檢測區(qū)域與人臉模型的匹配程度，從而得到可能存在人臉的區(qū)域。

根據對人臉知識的利用方法，可以將人臉檢測方法分為兩大類：基于特征的人臉檢測方法和基于圖像的人臉檢測方法。 人臉檢測的基本思想是建立人臉模型，比較所有可能的待檢

（1）基于特征的人臉檢測，直接利用人臉信息，比如人臉膚色、人臉的幾何結構等。該方法包括輪廓規(guī)則；器官分布規(guī)則；膚色、紋理規(guī)則；對稱性規(guī)則；運動規(guī)則。

（2）基于圖像的人臉檢測方法可被看作一般的模式識別問題，包括神經網絡方法、特征臉方法、模板匹配方法。（1）基于特征的人臉檢測，直接利用人臉信息，比如人臉膚色、