虛擬現(xiàn)實技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)2

虛擬現(xiàn)實技術(shù)及應用

VirtualReality郝泳濤博士同濟大學CAD研究中心

副教授2007年上海第二章

虛擬現(xiàn)實技術(shù)的技術(shù)體系結(jié)構(gòu)2.1虛擬現(xiàn)實技術(shù)的體系結(jié)構(gòu)體系結(jié)構(gòu)輸入處理器渲染處理器用戶模擬處理器虛擬世界數(shù)據(jù)庫模擬處理器

VR的核心程序處理:

控制交互、對象動作和決定虛擬世界的狀態(tài)。渲染處理感覺傳輸?shù)接脩粢曈X聽覺觸覺（觸摸/力）實時圖像生成SGI圖形工作站虛擬世界數(shù)據(jù)庫設(shè)計的主體部分隸屬虛擬世界的對象信息描述動作的腳本用戶信息燈光效果程序控制硬件設(shè)備支持OOD技術(shù)虛擬現(xiàn)實建模語言(VRML)VirtualRealityModelingLanguageVRML是在因特網(wǎng)上建立虛擬現(xiàn)實的開放標準AVRMLcylinder#VRMLV2.0utf8#ACylinderShape{appearanceAppearance{materialMaterial{}}geometryCylinder{height2.0radius1.5}}Cylinder.wrl2.2虛擬現(xiàn)實的多感知系統(tǒng)體系和技術(shù)總結(jié)的感知系統(tǒng)人類的感知系系統(tǒng)行為系統(tǒng)人類的行為系系統(tǒng)人與環(huán)境的關(guān)關(guān)系虛擬現(xiàn)實系統(tǒng)統(tǒng)1992年Bryson主計算機數(shù)據(jù)手套（傳感器）（信號源）BOOM雙筒全方位監(jiān)視器多感知系統(tǒng)技技術(shù)框圖一個示例：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders1、視覺生成成技術(shù)1.1視覺生成基本本原理：光線跟蹤的方方法假設(shè)從視點V通過屏幕象素素e向場景投射光光線交場景中中的景物于P1,P2,…,Pm,那么離視點最最近的P1就是畫面在象象素點e處的可見點，，象素e的光亮度應由由P1點向P1V方向輻射的光光亮度決定。。如此求出視視域內(nèi)每一個個象素的光亮亮度，則可生生成一幅完整整的真實感圖圖象。e光線跟蹤技術(shù)術(shù)(raytracing)I=Ic+tsIs+ttIt其中：I：可見點點P處的光亮度。。Ic：局部光光照亮度tsIs：環(huán)境鏡面反反射光亮度ttIt：規(guī)則透射射光亮度每一點的光亮亮度求法視覺生成的基基本內(nèi)容在圖形設(shè)備上上生成逼真視視景必須完成成四個基本任任務：用數(shù)學方法建建立所需要三三維場景的幾幾何描述將三維幾何描描述轉(zhuǎn)換為二二維視圖這可通過對場場景的透視變變換來完成。。確定場景中的的所有可見面面這需要使用隱隱藏面消除算算法將視域之之外的或被其其他物體遮擋擋的不可見面面消去。計算場景中可可見面的光強強與顏色嚴格地說，就就是根據(jù)基于于光學物理的的光照模型計計算可見面投投射到觀察者者眼中的光亮亮度大小和色色彩，并將它它轉(zhuǎn)換成合適適圖形設(shè)備的的顏色值，從從而確定投影影畫面上每一一個象素的顏顏色，最終生生成視景。1.2視景景的幾何建模模與表示方法法要實現(xiàn)虛擬現(xiàn)現(xiàn)實，首先要要盡可能詳細細地表示虛擬擬現(xiàn)實的場景景幾何信息。。例如：表示虛虛擬環(huán)境中的的山川河谷、、魚蟲鳥獸，，花草樹木、、五官軀體、、車船路橋等等。實現(xiàn)虛擬現(xiàn)實實視景的表示示方法有：多邊形(三角形)網(wǎng)格表示方法法結(jié)構(gòu)立體幾何何表示方法體數(shù)據(jù)表示方方法(volume-basedmethod)多邊形(三角角形)表示方方法這種方法又稱稱為表面或邊邊界表示方法法，即物體的的立體幾何信信息是通過它它們的邊界面面或包圍面來來表示的。而而物體的邊界界面或包圍面面（即物體的的表面）可以以用多邊形表表示。結(jié)構(gòu)立體幾何何表示方法這種方法又稱稱為體積表示示方法。這種種表示方法中中，物體被表表示為一個三三維體積基元元的集合及它它們之們的布布爾運算：并并、交及差。。Volume-basedmethods表示單元為體體素(voxel)每個體素表示示了所在位置置的顏色、密密度等相關(guān)信信息。其他建模與表表示技術(shù)(VR相關(guān))細節(jié)層次(LevelsofDetail:LOD)技術(shù)紋理映射(texturemap)技術(shù)CourtesyStanford3DScanningRepository69,451polys2,502polys251polys76polysLevelofDetail:TraditionalLODInANutshellDistantobjectsusecoarserLODs:LevelofDetail:TraditionalLODInANutshell紋理映射技術(shù)術(shù)(texturemapping)在視景表示時時，對于有些些細節(jié)，不需需要建立相應應的多邊形表表示，為了達達到很好的視視覺效果，只只需要建立簡簡單的幾何模模型，然后在在幾何模型的的面上貼上對對應的逼真圖圖片就可以了了。這種方法法稱為紋理映映射方法。這不僅增加了了場景的逼真真度，而且減減少了表示場場景的多邊形形數(shù)目。映射紋理前的的場景映射紋理后的的場景紋理映射技術(shù)術(shù)(示例)1.3立體體顯示技術(shù)基本原理：人的視覺系統(tǒng)統(tǒng)可以通過四四種線索得到到深度知覺:側(cè)視網(wǎng)膜圖象象差(lateralretinalimagedisparity);運動視差(motionparallax);圖象大小差異異(differentialimagesize);紋理梯度(texturegradient)。目前的立體顯顯示技術(shù)基本本上是基于雙雙目視差原理理實現(xiàn)的。影響（沉浸感感）立體視視覺因素寬視野（１８８０Ｘ１５００）立體顯示彩色高分辨率頭部跟蹤主要視覺設(shè)備備：紅藍濾色眼鏡鏡液晶開關(guān)的立立體視眼鏡三維頭盔顯示示器（HMD）雙筒全方位監(jiān)監(jiān)視器（BOOM）墻式顯示屏自自動聲象虛擬擬環(huán)境（CAVE）頭盔式顯示器器（HeadMountedDisplay，HMD)HMD實物與原理圖圖頭盔顯示器HeadMountedDisplay,HMD頭盔實現(xiàn)方法法1帶有光導纖維維的HMD的原理HMD的實實現(xiàn)方法美國icuiti公司分辨率：VGA（640X480）價格69800日圓（約合人人民幣5235元）距離眼睛1cm，畫面相當于于2米外42英寸屏幕厚度2cm，重量70g支持連接DVD播放器、桌面面電腦等電源使用3節(jié)AA電池，可以連連續(xù)播放5小時左右。VideoEyewear眼鏡式顯示器器BOOMBinocularOmni-OrientationMonitorBOOMFS2BinocularOmniOrientationMonitor(BOOM)CAVECaveAutomaticVirtualEnvironmentCyberSphereFullyImmersiveSphericalProjectionSystemIllustrationoftheSphericalProjectionSystemtheFullyImmersiveSphericalProjectionSystemImmersaDeskInfinityWall2、聲音生成成技術(shù)聽覺3D&Stereo聲源定位：強強度（高頻））和時差（低低頻）問題：聲音從從頭里發(fā)出，，隨強度差而而偏左或偏右右原因：與耳朵朵形狀有關(guān)解決：Convolvotron($15,000)耳內(nèi)錄音+計算算3觸覺與力力覺生成技術(shù)術(shù)3.1觸覺覺與力覺反饋饋設(shè)備Therearetwomaintypesofhapticdevices:devicesthatallowusersto"feel"texturesof2-dementionalobjectswithapenormouse-typeinterfacegloveorpen-typedevicesthatallowtheuserto"touch"andmanipulate3-dementionalvirtualobjects觸覺（Haptic)Haptic:機械感感受器（壓力力與紋理）與與本體感受器器(proprioceptor)（重量、形形狀、大?。C械臂，空氣氣囊，記憶金金屬，小馬達達，小探針第二代TeletactII裝有更高分辨辨率的指尖空空氣室，其余余部分的空氣氣室更大，并并提供手掌反反饋系統(tǒng)。很很大的手掌空空氣室允許用用戶使勁握物物體，然后接接收刺激。TeletactII與TeletactI使用相似，只只是空氣室由由20增加到到30個。在中指尖、食食指尖和拇指指區(qū)域空氣室室密度較大，，空氣室也被被放在手的背背部，以產(chǎn)生生手接觸物體體的感覺。ARRC力力學反饋手手套筆式力量感感知器PHANTOM?Omni?HapticDeviceBySensAbleTechnologies力反饋手套套RMⅡRMⅡ像一付手套套似的戴在在用戶的手手上。主要要結(jié)構(gòu)包括括一個小平平臺，上面面架著四個個特制的汽汽缸。每個個汽缸軸的的頂端都和和相應的指指尖相連接接，軸和指指尖的連接接通過“Y”形的連接物物。一個簡簡單的細皮皮手套被作作為傳感器器/反饋系系統(tǒng)的支持持結(jié)構(gòu)。CyberGraspByImmersionCorporation數(shù)據(jù)手套DHM手勢傳感裝裝置原理圖圖4、身體位位置跟蹤身體跟蹤位置的跟蹤蹤（位置+方向）及及角度的度度量（指關(guān)關(guān)節(jié)、光纖纖）眼動跟蹤位置跟蹤技技術(shù)：正交電磁場場Polhemustrackers超聲波信號號Logitec.MattelPowerGlove機械連接FakeSpaceLabs視頻信號處處理MyronKruegerLED視頻傳感UNCatChapelHill慣性跟蹤（（加速度））SpaceballPowerGlove示意圖三維鼠標器器示意圖基于運動跟跟蹤的方法法一種人體運運動記錄回回放的方法法關(guān)鍵：數(shù)據(jù)據(jù)的轉(zhuǎn)換基于運動跟跟蹤的方法法基于運動跟跟蹤的方法法記錄點的坐標轉(zhuǎn)換成旋轉(zhuǎn)角驅(qū)動虛擬角色運動重定向基于運動跟跟蹤的方法法虛擬現(xiàn)實系系統(tǒng)一個示例：：virtualcockpitVirtualRealitysystemstotrainaircraftpilotsandtankcommanders2.3幾種典型的的虛擬現(xiàn)實實系統(tǒng)及其其應用總結(jié)的感知系統(tǒng)人類的感知知系統(tǒng)行為系統(tǒng)人類的行為為系統(tǒng)人與環(huán)境的的關(guān)系虛擬現(xiàn)實的的概念模型型王兆其，《虛擬環(huán)境中中物體運動動逼真性的的研究》，博士學位位論文，北北京航空航航天大學，，1999.6.(1)AugmentedReality應用領(lǐng)域：：維修，醫(yī)醫(yī)學檢查，，培訓等主要問題：：虛實一致致性王兆其《虛擬環(huán)境中中物體運動動逼真性的的研究》博士論文，，北京航空空航天大學學，1999.6.R.T.Azuma,ASurveyofAugmentedReality,Presence:TeleoperatorsandVirtualEnvironments,1997,