研究生多媒體14_虛擬現(xiàn)實系統(tǒng)

1、1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成3. 全景視頻系統(tǒng)全景視頻系統(tǒng)1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實虛擬現(xiàn)實，虛擬現(xiàn)實，Vitual Reality（VR）。）。 于于1989年被提出。年被提出。它通常是指用立體眼鏡和傳感手套等一系列傳感輔助設(shè)施來實現(xiàn)的一種三它通常是指用立體眼鏡和傳感手套等一系列傳感輔助設(shè)施來實現(xiàn)的一種三維現(xiàn)實，人們通過這些設(shè)施以自然的技能（如頭的轉(zhuǎn)動、身體的運動等）維現(xiàn)實，人們通過這些設(shè)施以自然的技能（如頭的轉(zhuǎn)動、身體的運動等）向計算機(jī)送入各種動作信息，并且通過視覺、聽覺以及觸覺設(shè)施使人們得向計算機(jī)送入各種動作信息，并且通過視覺、聽覺

2、以及觸覺設(shè)施使人們得到三維視覺、聽覺及觸覺等感覺世界。到三維視覺、聽覺及觸覺等感覺世界。虛擬現(xiàn)實最重要的目標(biāo)：真實的體驗和方便自然的人機(jī)交互。能夠達(dá)到或虛擬現(xiàn)實最重要的目標(biāo)：真實的體驗和方便自然的人機(jī)交互。能夠達(dá)到或者部分達(dá)到這樣目標(biāo)的系統(tǒng)稱為虛擬現(xiàn)實系統(tǒng)。者部分達(dá)到這樣目標(biāo)的系統(tǒng)稱為虛擬現(xiàn)實系統(tǒng)。1. 1 基本概念基本概念1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實與虛擬現(xiàn)實有關(guān)的內(nèi)容已經(jīng)擴(kuò)大到與之相關(guān)的很多方面，虛擬現(xiàn)實的不同形式或術(shù)與虛擬現(xiàn)實有關(guān)的內(nèi)容已經(jīng)擴(kuò)大到與之相關(guān)的很多方面，虛擬現(xiàn)實的不同形式或術(shù)語：語：人工實現(xiàn)（人工實現(xiàn)（Artificial Reality）遙在（遙在（Teleprese

3、nce）虛擬環(huán)境（虛擬環(huán)境（Virtual Environment）賽伯空間（賽伯空間（Cyberspace）1. 1 基本概念基本概念1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實虛擬現(xiàn)實系統(tǒng)就是要利用各種先進(jìn)的硬件技術(shù)及軟件工具，設(shè)計出合理的虛擬現(xiàn)實系統(tǒng)就是要利用各種先進(jìn)的硬件技術(shù)及軟件工具，設(shè)計出合理的硬件、軟件及交互手段，使參與者能交互式地觀察和操縱系統(tǒng)生成的虛擬硬件、軟件及交互手段，使參與者能交互式地觀察和操縱系統(tǒng)生成的虛擬世界。世界。 從概念上講，任何一個虛擬現(xiàn)實系統(tǒng)都可以用三個從概念上講，任何一個虛擬現(xiàn)實系統(tǒng)都可以用三個“I”來描述其特性：來描述其特性：沉浸（沉浸（Immersion）交互（

4、交互（Interactive）想象（想象（Imagination） 1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實首先，要使參與者有首先，要使參與者有“真實真實”的體驗，這種體驗就是沉浸或投入。的體驗，這種體驗就是沉浸或投入。理想情況下虛擬環(huán)境應(yīng)該達(dá)到使用戶難以辨別真假的程度。為了達(dá)到這個理想情況下虛擬環(huán)境應(yīng)該達(dá)到使用戶難以辨別真假的程度。為了達(dá)到這個目標(biāo)，就必須具有多感知的能力，理想的虛擬現(xiàn)實系統(tǒng)應(yīng)該具有人類所具目標(biāo)，就必須具有多感知的能力，理想的虛擬現(xiàn)實系統(tǒng)應(yīng)該具有人類所具有的一切感知能力，包括視覺、聽覺、觸覺，甚至味覺和嗅覺。有的一切感知能力，包括視覺、

5、聽覺、觸覺，甚至味覺和嗅覺。 1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實第二，系統(tǒng)要能提供方便的、豐富的、主要是基于自然技能的人機(jī)交互手第二，系統(tǒng)要能提供方便的、豐富的、主要是基于自然技能的人機(jī)交互手段。段。這些手段使得參與者能夠?qū)μ摂M環(huán)境進(jìn)行實時的操縱，能從虛擬環(huán)境中得這些手段使得參與者能夠?qū)μ摂M環(huán)境進(jìn)行實時的操縱，能從虛擬環(huán)境中得到反饋的信息，也能使系統(tǒng)了解參與者關(guān)鍵部位的位置、狀態(tài)、變形等各到反饋的信息，也能使系統(tǒng)了解參與者關(guān)鍵部位的位置、狀態(tài)、變形等各種需要系統(tǒng)知道的數(shù)據(jù)。種需要系統(tǒng)知道的數(shù)據(jù)。同時，實時性是非常重要的，如果在交互時存在比較大的延遲

6、，與人的心同時，實時性是非常重要的，如果在交互時存在比較大的延遲，與人的心理經(jīng)驗不一致，就談不上自然的交互，也很難獲得沉浸感。為達(dá)到這個目理經(jīng)驗不一致，就談不上自然的交互，也很難獲得沉浸感。為達(dá)到這個目標(biāo)，高速計算和處理就必不可少。標(biāo)，高速計算和處理就必不可少。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實第三，因為虛擬現(xiàn)實不僅僅是一種媒體或用戶的高端接口，而且它還是針第三，因為虛擬現(xiàn)實不僅僅是一種媒體或用戶的高端接口，而且它還是針對某一特定領(lǐng)域、解決某些問題的應(yīng)用。如何解決這些問題，不僅需要了對某一特定領(lǐng)域、解決某些問題的應(yīng)用。如何解決這些問題，不僅需要了解

7、應(yīng)用的需求，了解技術(shù)的能力，而且還需要有豐富的想象力。解應(yīng)用的需求，了解技術(shù)的能力，而且還需要有豐富的想象力。想象力已經(jīng)稱為虛擬現(xiàn)實系統(tǒng)設(shè)計中最關(guān)鍵的問題之一。想象力已經(jīng)稱為虛擬現(xiàn)實系統(tǒng)設(shè)計中最關(guān)鍵的問題之一。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實參與者在虛擬環(huán)境中的活動或經(jīng)歷有兩種形式：參與者在虛擬環(huán)境中的活動或經(jīng)歷有兩種形式：主觀參與（主觀參與（First-person activities）:參與者是整個經(jīng)歷的中心，一切圍繞參參與者是整個經(jīng)歷的中心，一切圍繞參與者進(jìn)行；與者進(jìn)行；客觀參與（客觀參與（second-person activitie）

8、：參與者可以在虛擬環(huán)境中看到他）：參與者可以在虛擬環(huán)境中看到他自己與其他物體的交互。自己與其他物體的交互。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實顯示：頭盔三維顯示等顯示：頭盔三維顯示等交互：數(shù)據(jù)手套等交互：數(shù)據(jù)手套等具有里程碑意義的工作：具有里程碑意義的工作：立體電影、立體聲與傳感影院：立體圖像顯示、嗅覺、振動等立體電影、立體聲與傳感影院：立體圖像顯示、嗅覺、振動等模擬器：如飛行系統(tǒng)仿真器模擬器：如飛行系統(tǒng)仿真器1. 3 虛擬現(xiàn)實技術(shù)簡史虛擬現(xiàn)實技術(shù)簡史1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實3. 無障礙虛擬現(xiàn)實環(huán)境無障礙虛擬現(xiàn)實環(huán)境 VIDEOPLACE4

9、.虛擬視覺環(huán)境顯示器（虛擬視覺環(huán)境顯示器（VIVED：Virtual Visual Environment Display）5. MIT的的“白楊城影片地圖（白楊城影片地圖（Aspen Movie Map）”，一個模型在街道上，一個模型在街道上行走的系統(tǒng)。這種用戶導(dǎo)航的運行方式為后來的超媒體、虛擬空間交互行走的系統(tǒng)。這種用戶導(dǎo)航的運行方式為后來的超媒體、虛擬空間交互等提供了豐富的經(jīng)驗。等提供了豐富的經(jīng)驗。6.視覺增強系統(tǒng)視覺增強系統(tǒng)1. 3 虛擬現(xiàn)實技術(shù)簡史虛擬現(xiàn)實技術(shù)簡史1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（一）非沉浸類虛擬現(xiàn)實系統(tǒng)：（一）非沉浸類虛擬現(xiàn)實系統(tǒng)：（1）全景視頻系統(tǒng)：利用連續(xù)拍攝

10、的圖像和視頻在計算機(jī)中拼接建立實景）全景視頻系統(tǒng)：利用連續(xù)拍攝的圖像和視頻在計算機(jī)中拼接建立實景化虛擬空間。化虛擬空間。（2）基于座艙的系統(tǒng)）基于座艙的系統(tǒng)（3）桌面虛擬現(xiàn)實）桌面虛擬現(xiàn)實CAD系統(tǒng)：對虛擬世界進(jìn)行建模，通過計算機(jī)的顯示器系統(tǒng)：對虛擬世界進(jìn)行建模，通過計算機(jī)的顯示器進(jìn)行觀察，并能自由的控制觀察的視點和視角進(jìn)行觀察，并能自由的控制觀察的視點和視角（4）基于劇情的虛擬現(xiàn)實系統(tǒng)）基于劇情的虛擬現(xiàn)實系統(tǒng)1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（二）沉浸類虛擬現(xiàn)實系統(tǒng)：利用特殊的設(shè)備把參與者的視覺、聽覺和其（二）沉浸類虛擬現(xiàn)實系統(tǒng)：利用特殊的設(shè)備把

11、參與者的視覺、聽覺和其它感覺封閉起來，提供一個新的、虛擬的感覺空間，使得參與者產(chǎn)生一它感覺封閉起來，提供一個新的、虛擬的感覺空間，使得參與者產(chǎn)生一種身在身在虛擬環(huán)境中，并能夠全身心投入和沉浸其中的感覺。種身在身在虛擬環(huán)境中，并能夠全身心投入和沉浸其中的感覺。（1）基于頭盔的系統(tǒng)）基于頭盔的系統(tǒng)（2）投影虛擬現(xiàn)實系統(tǒng)：把參與者的動畫圖像和其他圖像結(jié)合到一起，插）投影虛擬現(xiàn)實系統(tǒng)：把參與者的動畫圖像和其他圖像結(jié)合到一起，插入到虛擬環(huán)境中。入到虛擬環(huán)境中。（3）遙在系統(tǒng)：虛擬現(xiàn)實與計算機(jī)技術(shù)結(jié)合的系統(tǒng)，當(dāng)在某處的操作員操）遙在系統(tǒng)：虛擬現(xiàn)實與計算機(jī)技術(shù)結(jié)合的系統(tǒng)，當(dāng)在某處的操作員操作一個虛擬現(xiàn)實系統(tǒng)

12、時，其結(jié)果卻在另一個地方發(fā)生。作一個虛擬現(xiàn)實系統(tǒng)時，其結(jié)果卻在另一個地方發(fā)生。1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（三）分布式虛擬現(xiàn)實系統(tǒng)（三）分布式虛擬現(xiàn)實系統(tǒng)如果在上述兩種系統(tǒng)的基礎(chǔ)上能夠使得多個用戶連接到一起，并能夠共享如果在上述兩種系統(tǒng)的基礎(chǔ)上能夠使得多個用戶連接到一起，并能夠共享同一個虛擬空間，則成為分布式虛擬現(xiàn)實系統(tǒng)。同一個虛擬空間，則成為分布式虛擬現(xiàn)實系統(tǒng)。（四）增強現(xiàn)實系統(tǒng)（四）增強現(xiàn)實系統(tǒng)為了增強操作員對真實環(huán)境的感受。輔助數(shù)據(jù)與觀察員所觀察到的實際環(huán)為了增強操作員對真實環(huán)境的感受。輔助數(shù)據(jù)與觀察員所觀察到的實際環(huán)境疊加到一起，以協(xié)

13、助操作員進(jìn)行操作或工作。這種疊加方式增強了原始境疊加到一起，以協(xié)助操作員進(jìn)行操作或工作。這種疊加方式增強了原始的環(huán)境信息。的環(huán)境信息。1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實科學(xué)計算可視化科學(xué)計算可視化計算機(jī)輔助設(shè)計計算機(jī)輔助設(shè)計飛行、騎車、外科手術(shù)等的操作模擬飛行、騎車、外科手術(shù)等的操作模擬軍事模擬與仿真軍事模擬與仿真教育與培訓(xùn)教育與培訓(xùn)遙在系統(tǒng)遙在系統(tǒng)心里實驗心里實驗娛樂娛樂藝術(shù)藝術(shù)通信與協(xié)同工作通信與協(xié)同工作1. 5 虛擬現(xiàn)實系統(tǒng)的應(yīng)用虛擬現(xiàn)實系統(tǒng)的應(yīng)用2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成一、系統(tǒng)感知和行為模型一、系統(tǒng)感知和行為模型人與外界的

14、交互分為兩大部分：感知與行為。人與外界的交互分為兩大部分：感知與行為。感知系統(tǒng)：感知系統(tǒng)劃分為：方向、聽覺、觸覺、味覺、嗅覺及視覺等六感知系統(tǒng)：感知系統(tǒng)劃分為：方向、聽覺、觸覺、味覺、嗅覺及視覺等六個子系統(tǒng)。在感知系統(tǒng)模型中，分別對這些子系統(tǒng)的行為方式、接收單元、個子系統(tǒng)。在感知系統(tǒng)模型中，分別對這些子系統(tǒng)的行為方式、接收單元、器官模擬、器官形成、刺激元及外部信息。器官模擬、器官形成、刺激元及外部信息。行為系統(tǒng)：姿勢、方向、走動、飲食、動作、表達(dá)及語義七個子系統(tǒng)。行為系統(tǒng)：姿勢、方向、走動、飲食、動作、表達(dá)及語義七個子系統(tǒng)。2. 1 虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)2. 虛擬現(xiàn)實系

15、統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成2. 1 虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成二、虛擬現(xiàn)實系統(tǒng)組成二、虛擬現(xiàn)實系統(tǒng)組成從總體上看，系統(tǒng)主要由人機(jī)接口設(shè)備、人機(jī)接口處理、現(xiàn)實產(chǎn)生器以及從總體上看，系統(tǒng)主要由人機(jī)接口設(shè)備、人機(jī)接口處理、現(xiàn)實產(chǎn)生器以及相應(yīng)的管理、模型及分布子系統(tǒng)等構(gòu)成。相應(yīng)的管理、模型及分布子系統(tǒng)等構(gòu)成。2. 1 虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成2. 1 虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實發(fā)生器，又稱為虛擬現(xiàn)實引擎，是任何虛擬

16、現(xiàn)實系統(tǒng)的核心，由虛擬現(xiàn)實發(fā)生器，又稱為虛擬現(xiàn)實引擎，是任何虛擬現(xiàn)實系統(tǒng)的核心，由它處理和產(chǎn)生虛擬環(huán)境。它處理和產(chǎn)生虛擬環(huán)境。具有強大的處理能力、滿足實時性要求等具有強大的處理能力、滿足實時性要求等2. 1 虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)虛擬現(xiàn)實系統(tǒng)的體系結(jié)構(gòu)2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成大視場雙眼體視顯示技術(shù)大視場雙眼體視顯示技術(shù)跟蹤裝置跟蹤裝置觸覺反饋觸覺反饋聲音子系統(tǒng)聲音子系統(tǒng)三維人機(jī)交互三維人機(jī)交互2. 2 人機(jī)交互的設(shè)備及技術(shù)人機(jī)交互的設(shè)備及技術(shù)2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成幾何建模：描述虛擬對象的形狀和外表；幾何建模：描述虛擬對象的形狀和外表；運動建模：主要是對象的

17、位置移動和碰撞檢測兩個部分；運動建模：主要是對象的位置移動和碰撞檢測兩個部分；物理建模：定義對象的質(zhì)量、重量、慣性、表面紋理、硬度、形狀改變模物理建模：定義對象的質(zhì)量、重量、慣性、表面紋理、硬度、形狀改變模式等；式等；對象行為建模：對象可以具有自己的行為特征，并不一定與用戶的輸入直對象行為建模：對象可以具有自己的行為特征，并不一定與用戶的輸入直接相關(guān)；接相關(guān)；模型分割：將虛擬環(huán)境分割成較小的單元；模型分割：將虛擬環(huán)境分割成較小的單元；三維數(shù)據(jù)格式：三維建模的基礎(chǔ)；三維數(shù)據(jù)格式：三維建模的基礎(chǔ)；2. 3 三維場景建模三維場景建模2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成VRMLCult3D全景全

18、景2. 4 虛擬現(xiàn)實軟件及開發(fā)工具虛擬現(xiàn)實軟件及開發(fā)工具3. 全景視頻系統(tǒng)全景視頻系統(tǒng)全景視頻（全景視頻（panoramic Video）：假定在一室內(nèi)空間中進(jìn)行觀察，室內(nèi)空間分為六）：假定在一室內(nèi)空間中進(jìn)行觀察，室內(nèi)空間分為六個表面，如果獲取了這六個表面許多不同距離、不同方位的實景照片，并將這些照個表面，如果獲取了這六個表面許多不同距離、不同方位的實景照片，并將這些照片按照相互的關(guān)系有機(jī)地連接起來，就可以在視覺上形成對這個房間的整個空間的片按照相互的關(guān)系有機(jī)地連接起來，就可以在視覺上形成對這個房間的整個空間的整體認(rèn)識，即全景。整體認(rèn)識，即全景。在觀察時，可以改變角度、改變視點、改變距離。只要

19、照片足夠精細(xì)，連接的緊密在觀察時，可以改變角度、改變視點、改變距離。只要照片足夠精細(xì)，連接的緊密正確，就可以獲得空間感。正確，就可以獲得空間感。3. 1 基本概念基本概念3. 全景視頻系統(tǒng)全景視頻系統(tǒng)和其他形式的虛擬現(xiàn)實技術(shù)相比，全景視頻的主要特點：和其他形式的虛擬現(xiàn)實技術(shù)相比，全景視頻的主要特點：（1）不局限于計算機(jī)生成的圖像）不局限于計算機(jī)生成的圖像（2）不需要真正的視頻，實際存儲和組織的不是視頻幀序列，而是不同層次的全）不需要真正的視頻，實際存儲和組織的不是視頻幀序列，而是不同層次的全景圖。景圖。（3）全景視頻可以將）全景視頻可以將360度全景圖無扭曲地映射到平面顯示器上。度全景圖無扭曲地映射到平面顯示器上。（4）必須有計算機(jī)的協(xié)助）必須有計算機(jī)的協(xié)助3. 1 基本概念基本概念3. 全景視頻系統(tǒng)全景視頻系統(tǒng)全景圖的生成：全景圖是利用多幅圖像拼接生成的。全景圖的生成：全景圖是利用多幅圖像拼接生成的。靜態(tài)圖像：多幅圖像將重疊的部分裁剪，做拼接，對拼接好的全景圖利用靜態(tài)圖像：多幅圖像將重疊的部分裁剪，做拼接，對拼接好的全景圖利用柱面變形技術(shù)進(jìn)行變形，使平面全景圖像產(chǎn)生