2虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)78

1、郝泳濤 博士 同濟(jì)大學(xué)CAD研究中心 副教授2007年 上海 q體系結(jié)構(gòu)體系結(jié)構(gòu)輸入處理器渲染處理器用戶模擬處理器虛擬世界數(shù)據(jù)庫q模擬處理器模擬處理器 VR的核心程序的核心程序處理處理: 控制交互、對(duì)象動(dòng)作和決定虛擬世界的控制交互、對(duì)象動(dòng)作和決定虛擬世界的狀態(tài)。狀態(tài)。q渲染處理渲染處理感覺傳輸?shù)接脩舾杏X傳輸?shù)接脩粢曈X視覺聽覺聽覺觸覺（觸摸觸覺（觸摸/力）力）實(shí)時(shí)圖像生成實(shí)時(shí)圖像生成SGI 圖形工作站圖形工作站q虛擬世界數(shù)據(jù)庫虛擬世界數(shù)據(jù)庫設(shè)計(jì)的主體部分設(shè)計(jì)的主體部分隸屬虛擬世界的對(duì)象信息隸屬虛擬世界的對(duì)象信息描述動(dòng)作的腳本描述動(dòng)作的腳本用戶信息用戶信息燈光效果燈光效果程序控制程序控制硬件設(shè)備支

2、持硬件設(shè)備支持OOD技術(shù)技術(shù)q虛擬現(xiàn)實(shí)建模語言虛擬現(xiàn)實(shí)建模語言(VRML) Virtual Reality Modeling LanguageVRML 是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開放標(biāo)準(zhǔn)放標(biāo)準(zhǔn)qA VRML cylinder#VRML V2.0 utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl系統(tǒng)活動(dòng)形式感受單元器官模擬 器官行為剌激物外部信息方向感姿勢(shì)及方向調(diào)整機(jī)械及重力感受器前庭器

3、官 身體平衡重力及加速度 重力或加速度方向聽覺聽機(jī)械感受器耳蝸器官 聲音定位空氣振動(dòng)振動(dòng)方向及性質(zhì)觸覺觸摸機(jī)械、熱量及動(dòng)覺感受器皮膚、關(guān)節(jié)、肌肉及腱各種探查活動(dòng)組織變形、關(guān)節(jié)配合及肌肉纖維緊張物體表面粘性及冷熱等各種狀態(tài)味覺嘗化學(xué)及機(jī)械感受器嘴品嘗物體化學(xué)性質(zhì) 營養(yǎng)及生化價(jià)值嗅覺嗅化學(xué)感受器鼻以鼻吸氣氣體化學(xué)性質(zhì) 氣味性質(zhì)視覺看光學(xué)感受器眼睛凝視、掃描等活動(dòng)光大小、形狀、紋理及運(yùn)動(dòng)等J.J.Gibson總結(jié)的總結(jié)的感知系統(tǒng)系統(tǒng)目的應(yīng)用相關(guān)系統(tǒng)調(diào)整姿勢(shì)適應(yīng)重力及加速度維持身體平衡前庭器官定向通過部分身體運(yùn)動(dòng)獲得外部剌激考察或感覺各種信息所有相關(guān)感覺走動(dòng)通過身體運(yùn)動(dòng)進(jìn)入其它環(huán)境從一個(gè)位置走到另一個(gè)

4、位置定向及調(diào)整姿勢(shì)飲食通過部分身體運(yùn)動(dòng)獲取或給予吸收或排除品嘗、吸收及其它身體功能行動(dòng)有利于個(gè)人的行為操作、自我保護(hù)等走動(dòng)及相關(guān)行為表達(dá)用于表達(dá)、表明或識(shí)別姿勢(shì)、面部或語言表達(dá) 語言表達(dá)、聆聽及面部表情語義用信號(hào)通知或表達(dá)語言表達(dá)基于信號(hào)的相關(guān)系統(tǒng)行為系統(tǒng) 行為 感知 參與者 行為系統(tǒng) 感知系統(tǒng) 外界環(huán)境 1992年Bryson主計(jì)算機(jī)數(shù)據(jù)手套（傳感器）（信號(hào)源）BOOM雙筒全方位監(jiān)視器多感知系統(tǒng)技術(shù)框圖多感知系統(tǒng)技術(shù)框圖q假設(shè)從視點(diǎn)假設(shè)從視點(diǎn)V通過屏幕象素通過屏幕象素 e向場(chǎng)景投射光線交場(chǎng)景中向場(chǎng)景投射光線交場(chǎng)景中的景物于的景物于P1, P2, ,Pm , 那么離視點(diǎn)那么離視點(diǎn) 最近的最近的

5、P1 就是畫就是畫面在象素點(diǎn)面在象素點(diǎn) e 處的可見點(diǎn)，象素處的可見點(diǎn)，象素 e 的光亮度應(yīng)由的光亮度應(yīng)由 P1 點(diǎn)點(diǎn)向向 P1V方向輻射的光亮度決定。如此求出視域內(nèi)每方向輻射的光亮度決定。如此求出視域內(nèi)每一個(gè)象素的光亮度，則可生成一幅完整的真實(shí)感圖象。一個(gè)象素的光亮度，則可生成一幅完整的真實(shí)感圖象。e光線跟蹤技術(shù)(ray tracing)I = Ic + ts Is + tt It其中：I ： 可見點(diǎn) P 處的光亮度。Ic： 局部光照亮度ts Is：環(huán)境鏡面反射光亮度tt It： 規(guī)則透射光亮度在圖形設(shè)備上生成逼真視景必須完成四個(gè)基本任務(wù)：在圖形設(shè)備上生成逼真視景必須完成四個(gè)基本任務(wù)：1.用

6、數(shù)學(xué)方法建立所需要三維場(chǎng)景的幾何描述用數(shù)學(xué)方法建立所需要三維場(chǎng)景的幾何描述2.將三維幾何描述轉(zhuǎn)換為二維視圖將三維幾何描述轉(zhuǎn)換為二維視圖 這可通過對(duì)場(chǎng)景的透視變換來完成。這可通過對(duì)場(chǎng)景的透視變換來完成。3.確定場(chǎng)景中的所有可見面確定場(chǎng)景中的所有可見面 這需要使用隱藏面消除算法將視域之外的或被其他物體遮擋這需要使用隱藏面消除算法將視域之外的或被其他物體遮擋的不可見面消去。的不可見面消去。4.計(jì)算場(chǎng)景中可見面的光強(qiáng)與顏色計(jì)算場(chǎng)景中可見面的光強(qiáng)與顏色 嚴(yán)格地說，就是根據(jù)基于光學(xué)物理的光照模型計(jì)算可見面投嚴(yán)格地說，就是根據(jù)基于光學(xué)物理的光照模型計(jì)算可見面投射到觀察者眼中的光亮度大小和色彩，并將它轉(zhuǎn)換成合

7、適圖射到觀察者眼中的光亮度大小和色彩，并將它轉(zhuǎn)換成合適圖形設(shè)備的顏色值，從而確定投影畫面上每一個(gè)象素的顏色，形設(shè)備的顏色值，從而確定投影畫面上每一個(gè)象素的顏色，最終生成視景。最終生成視景。q要實(shí)現(xiàn)虛擬現(xiàn)實(shí)，首先要盡可能詳細(xì)地表示虛擬現(xiàn)實(shí)的場(chǎng)景幾何信息。例如：表示虛擬環(huán)境中的山川河谷、魚蟲鳥獸，花例如：表示虛擬環(huán)境中的山川河谷、魚蟲鳥獸，花草樹木、五官軀體、車船路橋等。草樹木、五官軀體、車船路橋等。q實(shí)現(xiàn)虛擬現(xiàn)實(shí)視景的表示方法有：實(shí)現(xiàn)虛擬現(xiàn)實(shí)視景的表示方法有：多邊形多邊形(三角形三角形)網(wǎng)格表示方法網(wǎng)格表示方法結(jié)構(gòu)立體幾何表示方法結(jié)構(gòu)立體幾何表示方法體數(shù)據(jù)表示方法體數(shù)據(jù)表示方法(volume-b

8、ased method)q這種方法又稱為表面或邊界表示方法，即物體這種方法又稱為表面或邊界表示方法，即物體的立體幾何信息是通過它們的邊界面或包圍面的立體幾何信息是通過它們的邊界面或包圍面來表示的。而物體的邊界面或包圍面（即物體來表示的。而物體的邊界面或包圍面（即物體的表面）可以用多邊形表示。的表面）可以用多邊形表示。q這種方法又稱為體積表示方法。這種表示方法這種方法又稱為體積表示方法。這種表示方法中，物體被表示為一個(gè)三維體積基元的集合及中，物體被表示為一個(gè)三維體積基元的集合及它們之們的布爾運(yùn)算：并、交及差。它們之們的布爾運(yùn)算：并、交及差。Uq表示單元為體素表示單元為體素(voxel)q每個(gè)體素

9、表示了所在位置的顏色、密度每個(gè)體素表示了所在位置的顏色、密度等相關(guān)信息。等相關(guān)信息。q細(xì)節(jié)層次細(xì)節(jié)層次(Levels of Detail: LOD)技術(shù)技術(shù)q紋理映射紋理映射(texture map)技術(shù)技術(shù)Courtesy Stanford 3D Scanning Repository69,451 polys2,502 polys251 polys76 polysqDistant objects use coarser LODs:q在視景表示時(shí)，對(duì)于有些細(xì)節(jié)，不需要建立相在視景表示時(shí)，對(duì)于有些細(xì)節(jié)，不需要建立相應(yīng)的多邊形表示，為了達(dá)到很好的視覺效果，應(yīng)的多邊形表示，為了達(dá)到很好的視覺效果，只

10、需要建立簡(jiǎn)單的幾何模型，然后在幾何模型只需要建立簡(jiǎn)單的幾何模型，然后在幾何模型的面上貼上對(duì)應(yīng)的逼真圖片就可以了。這種方的面上貼上對(duì)應(yīng)的逼真圖片就可以了。這種方法稱為紋理映射方法。法稱為紋理映射方法。q這不僅增加了場(chǎng)景的逼真度，而且減少了表示這不僅增加了場(chǎng)景的逼真度，而且減少了表示場(chǎng)景的多邊形數(shù)目。場(chǎng)景的多邊形數(shù)目。映射紋理前的場(chǎng)景映射紋理后的場(chǎng)景單目視域雙目重疊視域單目視域基本原理：基本原理：人的視覺系統(tǒng)可以通過四種線索得到深度知覺人的視覺系統(tǒng)可以通過四種線索得到深度知覺:n 側(cè)視網(wǎng)膜圖象差側(cè)視網(wǎng)膜圖象差(lateral retinal image disparity);n 運(yùn)動(dòng)視差運(yùn)動(dòng)視差(

11、motion parallax);n 圖象大小差異圖象大小差異(differential image size);n 紋理梯度紋理梯度(texture gradient)。目前的立體顯示技術(shù)基本上是基于雙目視差原理實(shí)現(xiàn)的。目前的立體顯示技術(shù)基本上是基于雙目視差原理實(shí)現(xiàn)的。影響（沉浸感）立體影響（沉浸感）立體 視覺因素視覺因素 寬視野（）寬視野（） 立體顯示立體顯示 彩色彩色 高分辨率高分辨率 頭部跟蹤頭部跟蹤主要視覺設(shè)備：主要視覺設(shè)備：紅藍(lán)濾色眼鏡紅藍(lán)濾色眼鏡液晶開關(guān)的立體視眼鏡液晶開關(guān)的立體視眼鏡三維頭盔顯示器（三維頭盔顯示器（HMDHMD）雙筒全方位監(jiān)視器（雙筒全方位監(jiān)視器（BOOMBOO

12、M）墻式顯示屏自動(dòng)聲象虛擬環(huán)境（墻式顯示屏自動(dòng)聲象虛擬環(huán)境（CAVECAVE）q頭 盔 式 顯 示 器 （頭 盔 式 顯 示 器 （ H e a d M o u n t e d Display ，HMD)頭頭盔盔RGB-NTSCRBG-NTSC計(jì)計(jì)算算機(jī)機(jī)系系統(tǒng)統(tǒng)掃掃描描轉(zhuǎn)轉(zhuǎn)換換器器左左眼眼計(jì)計(jì)算算右右眼眼計(jì)計(jì)算算雙雙路路VR系系統(tǒng)統(tǒng) 圖圖形形硬硬件件圖圖形形硬硬件件HMD 實(shí)物與原理圖qHead Mounted Display, HMD眼睛顯示器鏡窺視孔合成器外部世界頭盔實(shí)現(xiàn)方法1校正透鏡陰極射線管連接的光導(dǎo)纖維束校正透鏡合成器帶有光導(dǎo)纖維的HMD的原理q美國美國icuiti公司公司q分辨率

13、：分辨率：VGA（640 X 480）q價(jià)格價(jià)格69800日?qǐng)A（約合人民幣日?qǐng)A（約合人民幣5235元）元）q距離眼睛距離眼睛1 cm，畫面相當(dāng)于，畫面相當(dāng)于2 米外米外42 英寸英寸屏幕屏幕q厚度厚度2 cm，重量，重量70 gq支持連接支持連接DVD播放器、桌面電腦等播放器、桌面電腦等q電源使用電源使用3節(jié)節(jié)AA電池，可以連續(xù)播放電池，可以連續(xù)播放5小時(shí)小時(shí)左右。左右。 Video Eyewear 眼鏡式顯示器qBinocular Omni-Orientation MonitorBOOMFS2 qBinocular Omni Orientation Monitor (BOOM)qCave A

14、utomatic Virtual EnvironmentqFully Immersive Spherical Projection System Illustration of the Spherical Projection System the Fully Immersive Spherical Projection System /technology/idesk/聽覺聽覺 3D &Stereo聲源定位：強(qiáng)度（高頻）和時(shí)差聲源定位：強(qiáng)度（高頻）和時(shí)差（低頻）（低頻）問題：聲音從頭里發(fā)出，隨強(qiáng)度差問題：聲音從頭里發(fā)出，隨強(qiáng)度差而偏左或偏右而偏左或偏右

15、原因：與耳朵形狀有關(guān)原因：與耳朵形狀有關(guān)解決：解決：Convolvotron($15,000) 耳內(nèi)錄音耳內(nèi)錄音 + 計(jì)算計(jì)算qThere are two main types of haptic devices:devices that allow users to feel textures of 2-dementional objects with a pen or mouse-type interface glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual

16、 objects q觸覺（觸覺（Haptic)Haptic: 機(jī)械感受器（壓力與紋理）機(jī)械感受器（壓力與紋理）與本體感受器與本體感受器(proprioceptor)（重（重量、形狀、大小）量、形狀、大?。C(jī)械臂，空氣囊，記憶金屬，小馬機(jī)械臂，空氣囊，記憶金屬，小馬達(dá)，小探針達(dá)，小探針第二代TeletactII裝有更高分辨率的指尖空氣室，其余部分的空氣室更大，并提供手掌反饋系統(tǒng)。很大的手掌空氣室允許用戶使勁握物體，然后接收刺激。TeletactII與TeletactI使用相似，只是空氣室由20增加到30個(gè)。在中指尖、食指尖和拇指區(qū)域空氣室密度較大，空氣室也被放在手的背部，以產(chǎn)生手接觸物體的感覺。

17、手掌空氣室側(cè)空氣室遠(yuǎn)程觸覺空氣室By SensAble Technologies RM像一付手套似的戴在用戶的手上。主要結(jié)構(gòu)包括一個(gè)小平臺(tái)，上面架著四個(gè)特制的汽缸。每個(gè)汽缸軸的頂端都和相應(yīng)的指尖相連接，軸和指尖的連接通過“Y”形的連接物。一個(gè)簡(jiǎn)單的細(xì)皮手套被作為傳感器/反饋系統(tǒng)的支持結(jié)構(gòu)。By Immersion Corporation q數(shù)據(jù)手套數(shù)據(jù)手套qDHM手勢(shì)傳感裝置原理圖手勢(shì)傳感裝置原理圖q身體跟蹤身體跟蹤位置的跟蹤（位置位置的跟蹤（位置+方向）方向）及角及角度的度量（指關(guān)節(jié)、光纖）度的度量（指關(guān)節(jié)、光纖）眼動(dòng)跟蹤眼動(dòng)跟蹤q位置跟蹤技術(shù)：位置跟蹤技術(shù)：正交電磁場(chǎng)正交電磁場(chǎng) Polhe

18、mus trackers超聲波信號(hào)超聲波信號(hào) Logitec. Mattel Power Glove機(jī)械連接機(jī)械連接 Fake Space Labs視頻信號(hào)處理視頻信號(hào)處理 Myron KruegerLED視頻傳感視頻傳感UNC at Chapel Hill慣性跟蹤（加速度）慣性跟蹤（加速度）SpaceballqPowerGlove示意圖示意圖q三維鼠標(biāo)器示意圖三維鼠標(biāo)器示意圖q一種人體運(yùn)動(dòng)記錄回放的方法一種人體運(yùn)動(dòng)記錄回放的方法q關(guān)鍵：數(shù)據(jù)的轉(zhuǎn)換關(guān)鍵：數(shù)據(jù)的轉(zhuǎn)換記錄點(diǎn)記錄點(diǎn)的坐標(biāo)的坐標(biāo)轉(zhuǎn)換成轉(zhuǎn)換成旋轉(zhuǎn)角旋轉(zhuǎn)角驅(qū)動(dòng)虛驅(qū)動(dòng)虛擬角色擬角色運(yùn)動(dòng)重運(yùn)動(dòng)重定向定向系統(tǒng)活動(dòng)形式感受單元器官模擬 器官行為剌

19、激物外部信息方向感姿勢(shì)及方向調(diào)整機(jī)械及重力感受器前庭器官 身體平衡重力及加速度 重力或加速度方向聽覺聽機(jī)械感受器耳蝸器官 聲音定位空氣振動(dòng)振動(dòng)方向及性質(zhì)觸覺觸摸機(jī)械、熱量及動(dòng)覺感受器皮膚、關(guān)節(jié)、肌肉及腱各種探查活動(dòng)組織變形、關(guān)節(jié)配合及肌肉纖維緊張物體表面粘性及冷熱等各種狀態(tài)味覺嘗化學(xué)及機(jī)械感受器嘴品嘗物體化學(xué)性質(zhì) 營養(yǎng)及生化價(jià)值嗅覺嗅化學(xué)感受器鼻以鼻吸氣氣體化學(xué)性質(zhì) 氣味性質(zhì)視覺看光學(xué)感受器眼睛凝視、掃描等活動(dòng)光大小、形狀、紋理及運(yùn)動(dòng)等J.J.Gibson總結(jié)的總結(jié)的感知系統(tǒng)系統(tǒng)目的應(yīng)用相關(guān)系統(tǒng)調(diào)整姿勢(shì)適應(yīng)重力及加速度維持身體平衡前庭器官定向通過部分身體運(yùn)動(dòng)獲得外部剌激考察或感覺各種信息所有相

20、關(guān)感覺走動(dòng)通過身體運(yùn)動(dòng)進(jìn)入其它環(huán)境從一個(gè)位置走到另一個(gè)位置定向及調(diào)整姿勢(shì)飲食通過部分身體運(yùn)動(dòng)獲取或給予吸收或排除品嘗、吸收及其它身體功能行動(dòng)有利于個(gè)人的行為操作、自我保護(hù)等走動(dòng)及相關(guān)行為表達(dá)用于表達(dá)、表明或識(shí)別姿勢(shì)、面部或語言表達(dá) 語言表達(dá)、聆聽及面部表情語義用信號(hào)通知或表達(dá)語言表達(dá)基于信號(hào)的相關(guān)系統(tǒng)行為系統(tǒng) 行為 感知 參與者 行為系統(tǒng) 感知系統(tǒng) 外界環(huán)境 虛擬環(huán)境實(shí)物虛化人虛物實(shí)化王兆其，虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究，博士學(xué)位論文，北京航空航天大學(xué)，1999.6. q應(yīng)用領(lǐng)域：維修，醫(yī)學(xué)檢查，培訓(xùn)等應(yīng)用領(lǐng)域：維修，醫(yī)學(xué)檢查，培訓(xùn)等q主要問題：虛實(shí)一致性主要問題：虛實(shí)一致性反饋虛擬環(huán)境真實(shí)環(huán)境操作實(shí)物虛化人虛物實(shí)化實(shí)物虛化虛物實(shí)化王兆其虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究博士論文，北京航空航天大學(xué)，1999.6. R. T. Azuma,A Survey of Augmented Reality,