虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)

虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用

VirtualReality郝泳濤博士同濟(jì)大學(xué)CAD研究中心

副教授2007年上海第二章

虛擬現(xiàn)實(shí)技術(shù)的技術(shù)體系結(jié)構(gòu)2.1虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)體系結(jié)構(gòu)輸入處理器渲染處理器用戶(hù)模擬處理器虛擬世界數(shù)據(jù)庫(kù)模擬處理器

VR的核心程序處理:

控制交互、對(duì)象動(dòng)作和決定虛擬世界的狀態(tài)。渲染處理感覺(jué)傳輸?shù)接脩?hù)視覺(jué)聽(tīng)覺(jué)觸覺(jué)（觸摸/力）實(shí)時(shí)圖像生成SGI圖形工作站虛擬世界數(shù)據(jù)庫(kù)設(shè)計(jì)的主體部分隸屬虛擬世界的對(duì)象信息描述動(dòng)作的腳本用戶(hù)信息燈光效果程序控制硬件設(shè)備支持OOD技術(shù)虛擬現(xiàn)實(shí)建模語(yǔ)言(VRML)VirtualRealityModelingLanguageVRML是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開(kāi)放標(biāo)準(zhǔn)AVRMLcylinder#VRMLV2.0utf8#ACylinderShape{appearanceAppearance{materialMaterial{}}geometryCylinder{height2.0radius1.5}}Cylinder.wrl2.2虛擬現(xiàn)實(shí)的多感知系統(tǒng)體系和技術(shù)總結(jié)結(jié)的的感知知系系統(tǒng)統(tǒng)人類(lèi)類(lèi)的的感感知知系系統(tǒng)統(tǒng)行為為系系統(tǒng)統(tǒng)人類(lèi)類(lèi)的的行行為為系系統(tǒng)統(tǒng)人與與環(huán)環(huán)境境的的關(guān)關(guān)系系虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)1992年Bryson主計(jì)算機(jī)數(shù)據(jù)手套（傳感器）（信號(hào)源）BOOM雙筒全方位監(jiān)視器多感感知知系系統(tǒng)統(tǒng)技技術(shù)術(shù)框框圖圖一個(gè)個(gè)示示例例：：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders1、、視視覺(jué)覺(jué)生生成成技技術(shù)術(shù)1.1視覺(jué)覺(jué)生生成成基基本本原原理理：：光線(xiàn)線(xiàn)跟跟蹤蹤的的方方法法假設(shè)設(shè)從從視視點(diǎn)點(diǎn)V通過(guò)過(guò)屏屏幕幕象象素素e向場(chǎng)場(chǎng)景景投投射射光光線(xiàn)線(xiàn)交交場(chǎng)場(chǎng)景景中中的的景景物物于于P1,P2,……,Pm,那么么離離視視點(diǎn)點(diǎn)最最近近的的P1就是是畫(huà)畫(huà)面面在在象象素素點(diǎn)點(diǎn)e處的的可可見(jiàn)見(jiàn)點(diǎn)點(diǎn)，，象象素素e的光光亮亮度度應(yīng)應(yīng)由由P1點(diǎn)向P1V方向向輻輻射射的的光光亮亮度度決決定定。。如如此此求求出出視視域域內(nèi)內(nèi)每每一一個(gè)個(gè)象象素素的的光光亮亮度度，，則則可可生生成成一一幅幅完完整整的的真真實(shí)實(shí)感感圖圖象象。。e光線(xiàn)線(xiàn)跟跟蹤蹤技技術(shù)術(shù)(raytracing)I=Ic+tsIs+ttIt其中中：：I：可可見(jiàn)見(jiàn)點(diǎn)點(diǎn)P處的的光光亮亮度度。。Ic：局局部部光光照照亮亮度度tsIs：環(huán)環(huán)境境鏡鏡面面反反射射光光亮亮度度ttIt：規(guī)規(guī)則則透透射射光光亮亮度度每一一點(diǎn)點(diǎn)的的光光亮亮度度求求法法視覺(jué)覺(jué)生生成成的的基基本本內(nèi)內(nèi)容容在圖圖形形設(shè)設(shè)備備上上生生成成逼逼真真視視景景必必須須完完成成四四個(gè)個(gè)基基本本任任務(wù)務(wù)：：用數(shù)數(shù)學(xué)學(xué)方方法法建建立立所所需需要要三三維維場(chǎng)場(chǎng)景景的的幾幾何何描描述述將三三維維幾幾何何描描述述轉(zhuǎn)轉(zhuǎn)換換為為二二維維視視圖圖這可可通通過(guò)過(guò)對(duì)對(duì)場(chǎng)場(chǎng)景景的的透透視視變變換換來(lái)來(lái)完完成成。。確定定場(chǎng)場(chǎng)景景中中的的所所有有可可見(jiàn)見(jiàn)面面這需需要要使使用用隱隱藏藏面面消消除除算算法法將將視視域域之之外外的的或或被被其其他他物物體體遮遮擋擋的的不不可可見(jiàn)見(jiàn)面面消消去去。。計(jì)算算場(chǎng)場(chǎng)景景中中可可見(jiàn)見(jiàn)面面的的光光強(qiáng)強(qiáng)與與顏顏色色嚴(yán)格格地地說(shuō)說(shuō)，，就就是是根根據(jù)據(jù)基基于于光光學(xué)學(xué)物物理理的的光光照照模模型型計(jì)計(jì)算算可可見(jiàn)見(jiàn)面面投投射射到到觀觀察察者者眼眼中中的的光光亮亮度度大大小小和和色色彩彩，，并并將將它它轉(zhuǎn)轉(zhuǎn)換換成成合合適適圖圖形形設(shè)設(shè)備備的的顏顏色色值值，，從從而而確確定定投投影影畫(huà)畫(huà)面面上上每每一一個(gè)個(gè)象象素素的的顏顏色色，，最最終終生生成成視視景景。。1.2視視景景的的幾幾何何建建模模與與表表示示方方法法要實(shí)實(shí)現(xiàn)現(xiàn)虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)，，首首先先要要盡盡可可能能詳詳細(xì)細(xì)地地表表示示虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)的的場(chǎng)場(chǎng)景景幾幾何何信信息息。。例如如：：表表示示虛虛擬擬環(huán)環(huán)境境中中的的山山川川河河谷谷、、魚(yú)魚(yú)蟲(chóng)蟲(chóng)鳥(niǎo)鳥(niǎo)獸獸，，花花草草樹(shù)樹(shù)木木、、五五官官軀軀體體、、車(chē)車(chē)船船路路橋橋等等。。實(shí)現(xiàn)現(xiàn)虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)視視景景的的表表示示方方法法有有：：多邊邊形形(三角角形形)網(wǎng)格格表表示示方方法法結(jié)構(gòu)構(gòu)立立體體幾幾何何表表示示方方法法體數(shù)數(shù)據(jù)據(jù)表表示示方方法法(volume-basedmethod)多邊邊形形(三三角角形形)表表示示方方法法這種種方方法法又又稱(chēng)稱(chēng)為為表表面面或或邊邊界界表表示示方方法法，，即即物物體體的的立立體體幾幾何何信信息息是是通通過(guò)過(guò)它它們們的的邊邊界界面面或或包包圍圍面面來(lái)來(lái)表表示示的的。。而而物物體體的的邊邊界界面面或或包包圍圍面面（（即即物物體體的的表表面面））可可以以用用多多邊邊形形表表示示。。結(jié)構(gòu)構(gòu)立立體體幾幾何何表表示示方方法法這種種方方法法又又稱(chēng)稱(chēng)為為體體積積表表示示方方法法。。這這種種表表示示方方法法中中，，物物體體被被表表示示為為一一個(gè)個(gè)三三維維體體積積基基元元的的集集合合及及它它們們之之們們的的布布爾爾運(yùn)運(yùn)算算：：并并、、交交及及差差。。Volume-basedmethods表示示單單元元為為體體素素(voxel)每個(gè)個(gè)體體素素表表示示了了所所在在位位置置的的顏顏色色、、密密度度等等相相關(guān)關(guān)信信息息。。其他他建建模模與與表表示示技技術(shù)術(shù)(VR相相關(guān)關(guān))細(xì)節(jié)節(jié)層層次次(LevelsofDetail:LOD)技技術(shù)術(shù)紋理理映映射射(texturemap)技技術(shù)術(shù)CourtesyStanford3DScanningRepository69,451polys2,502polys251polys76polysLevelofDetail:TraditionalLODInANutshellDistantobjectsusecoarserLODs:LevelofDetail:TraditionalLODInANutshell紋理理映映射射技技術(shù)術(shù)(texturemapping)在視視景景表表示示時(shí)時(shí)，，對(duì)對(duì)于于有有些些細(xì)細(xì)節(jié)節(jié)，，不不需需要要建建立立相相應(yīng)應(yīng)的的多多邊邊形形表表示示，，為為了了達(dá)達(dá)到到很很好好的的視視覺(jué)覺(jué)效效果果，，只只需需要要建建立立簡(jiǎn)簡(jiǎn)單單的的幾幾何何模模型型，，然然后后在在幾幾何何模模型型的的面面上上貼貼上上對(duì)對(duì)應(yīng)應(yīng)的的逼逼真真圖圖片片就就可可以以了了。。這這種種方方法法稱(chēng)稱(chēng)為為紋紋理理映映射射方方法法。。這不不僅僅增增加加了了場(chǎng)場(chǎng)景景的的逼逼真真度度，，而而且且減減少少了了表表示示場(chǎng)場(chǎng)景景的的多多邊邊形形數(shù)數(shù)目目。。映射射紋紋理理前前的的場(chǎng)場(chǎng)景景映射射紋紋理理后后的的場(chǎng)場(chǎng)景景紋理理映映射射技技術(shù)術(shù)(示示例例)1.3立立體顯顯示技技術(shù)基本原原理：：人的視視覺(jué)系系統(tǒng)可可以通通過(guò)四四種線(xiàn)線(xiàn)索得得到深深度知知覺(jué):側(cè)視網(wǎng)網(wǎng)膜圖圖象差差(lateralretinalimagedisparity);運(yùn)動(dòng)視視差(motionparallax);圖象大大小差差異(differentialimagesize);紋理梯梯度(texturegradient)。目前的的立體體顯示示技術(shù)術(shù)基本本上是是基于于雙目目視差差原理理實(shí)現(xiàn)現(xiàn)的。。影響（（沉浸浸感））立體體視視覺(jué)因因素寬視野野（１１８００Ｘ１１５００）立體顯顯示彩色高分辨辨率頭部跟跟蹤主要視視覺(jué)設(shè)設(shè)備：：紅藍(lán)濾濾色眼眼鏡液晶開(kāi)開(kāi)關(guān)的的立體體視眼眼鏡三維頭頭盔顯顯示器器（HMD）雙筒全全方位位監(jiān)視視器（（BOOM）墻式顯顯示屏屏自動(dòng)動(dòng)聲象象虛擬擬環(huán)境境（CAVE）頭盔式式顯示示器（（HeadMountedDisplay，HMD)HMD實(shí)物與與原理理圖頭盔顯顯示器器HeadMountedDisplay,HMD頭盔實(shí)實(shí)現(xiàn)方方法1帶有光光導(dǎo)纖纖維的的HMD的原理理HMD的的實(shí)現(xiàn)現(xiàn)方法法美國(guó)icuiti公司分辨率率：VGA（640X480）價(jià)格69800日?qǐng)A（（約合合人民民幣5235元）距離眼眼睛1cm，畫(huà)面面相當(dāng)當(dāng)于2米外42英寸屏屏幕厚度2cm，重量量70g支持連連接DVD播放器器、桌桌面電電腦等等電源使使用3節(jié)AA電池，，可以以連續(xù)續(xù)播放放5小時(shí)左左右。。VideoEyewear眼鏡式式顯示示器BOOMBinocularOmni-OrientationMonitorBOOMFS2BinocularOmniOrientationMonitor(BOOM)CAVECaveAutomaticVirtualEnvironmentCyberSphereFullyImmersiveSphericalProjectionSystemIllustrationoftheSphericalProjectionSystemtheFullyImmersiveSphericalProjectionSystemImmersaDeskInfinityWall2、聲聲音生生成技技術(shù)聽(tīng)覺(jué)3D&Stereo聲源定定位：：強(qiáng)度度（高高頻））和時(shí)時(shí)差（（低頻頻）問(wèn)題：：聲音音從頭頭里發(fā)發(fā)出，，隨強(qiáng)強(qiáng)度差差而偏偏左或或偏右右原因：：與耳耳朵形形狀有有關(guān)解決：：Convolvotron($15,000)耳內(nèi)錄錄音+計(jì)計(jì)算算3觸觸覺(jué)與與力覺(jué)覺(jué)生成成技術(shù)術(shù)3.1觸觸覺(jué)與與力覺(jué)覺(jué)反饋饋設(shè)備備Therearetwomaintypesofhapticdevices:devicesthatallowusersto"feel"texturesof2-dementionalobjectswithapenormouse-typeinterfacegloveorpen-typedevicesthatallowtheuserto"touch"andmanipulate3-dementionalvirtualobjects觸覺(jué)（（Haptic)Haptic:機(jī)機(jī)械感感受器器（壓壓力與與紋理理）與與本體體感受受器(proprioceptor)（重重量、、形狀狀、大大?。C(jī)械臂臂，空空氣囊囊，記記憶金金屬，，小馬馬達(dá)，，小探探針第二代代TeletactII裝有更更高分分辨率率的指指尖空空氣室室，其其余部部分的的空氣氣室更更大，，并提提供手手掌反反饋系系統(tǒng)。。很大大的手手掌空空氣室室允許許用戶(hù)戶(hù)使勁勁握物物體，，然后后接收收刺激激。TeletactII與TeletactI使用相相似，，只是是空氣氣室由由20增加加到30個(gè)個(gè)。在中指指尖、、食指指尖和和拇指指區(qū)域域空氣氣室密密度較較大，，空氣氣室也也被放放在手手的背背部，，以產(chǎn)產(chǎn)生手手接觸觸物體體的感感覺(jué)。。ARRC力力學(xué)反反饋手手套筆式力力量感感知器器PHANTOM?Omni?HapticDeviceBySensAbleTechnologies力反饋饋手套套R(shí)MⅡRMⅡⅡ像一付付手套套似的的戴在在用戶(hù)戶(hù)的手手上。。主要要結(jié)構(gòu)構(gòu)包括括一個(gè)個(gè)小平平臺(tái)，，上面面架著著四個(gè)個(gè)特制制的汽汽缸。。每個(gè)個(gè)汽缸缸軸的的頂端端都和和相應(yīng)應(yīng)的指指尖相相連接接，軸軸和指指尖的的連接接通過(guò)過(guò)“Y”形的連連接物物。一一個(gè)簡(jiǎn)簡(jiǎn)單的的細(xì)皮皮手套套被作作為傳傳感器器/反反饋系系統(tǒng)的的支持持結(jié)構(gòu)構(gòu)。CyberGraspByImmersionCorporation數(shù)據(jù)手手套DHM手勢(shì)傳傳感裝裝置原原理圖圖4、身身體位位置跟跟蹤身體跟跟蹤位置的的跟蹤蹤（位位置+方向））及及角度度的度度量（（指關(guān)關(guān)節(jié)、、光纖纖）眼動(dòng)跟跟蹤位置跟跟蹤技技術(shù)：：正交電電磁場(chǎng)場(chǎng)Polhemustrackers超聲波波信號(hào)號(hào)Logitec.MattelPowerGlove機(jī)械連連接FakeSpaceLabs視頻信信號(hào)處處理MyronKruegerLED視頻傳傳感UNCatChapelHill慣性跟跟蹤（（加速速度））SpaceballPowerGlove示意圖圖三維鼠鼠標(biāo)器器示意意圖基于運(yùn)運(yùn)動(dòng)跟跟蹤的的方法法一種人人體運(yùn)運(yùn)動(dòng)記記錄回回放的的方法法關(guān)鍵：：數(shù)據(jù)據(jù)的轉(zhuǎn)轉(zhuǎn)換基于運(yùn)運(yùn)動(dòng)跟跟蹤的的方法法基于運(yùn)運(yùn)動(dòng)跟跟蹤的的方法法記錄點(diǎn)的坐標(biāo)轉(zhuǎn)換成旋轉(zhuǎn)角驅(qū)動(dòng)虛擬角色運(yùn)動(dòng)重定向基于運(yùn)運(yùn)動(dòng)跟跟蹤的的方法法虛擬現(xiàn)現(xiàn)實(shí)系系統(tǒng)一個(gè)示示例：：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders2.3幾種典典型的的虛擬擬現(xiàn)實(shí)實(shí)系統(tǒng)統(tǒng)及其其應(yīng)用用總結(jié)的的感知系系統(tǒng)人類(lèi)的的感知知系統(tǒng)統(tǒng)行為系系統(tǒng)人類(lèi)的的行為為系統(tǒng)統(tǒng)人與環(huán)環(huán)境的的關(guān)系系虛擬現(xiàn)現(xiàn)實(shí)的的概念念模型型王兆其其，《虛擬環(huán)環(huán)境中中物體體運(yùn)動(dòng)動(dòng)逼真真性的的研究究》，博士士學(xué)位位論文文，北北京航航空航航天大大學(xué)，，1999.6.(1)AugmentedReality應(yīng)用領(lǐng)領(lǐng)域：：維修修，醫(yī)醫(yī)學(xué)檢檢查，，培訓(xùn)訓(xùn)等主要問(wèn)問(wèn)題：：虛實(shí)實(shí)一致致性王兆其其《虛擬環(huán)環(huán)境中中物體體運(yùn)動(dòng)動(dòng)逼真真性的的研究究》博士論論文，，北京京航空空航天天大學(xué)學(xué)，1999