虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)

虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)5/9/20241虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)第二章

虛擬現(xiàn)實(shí)技術(shù)的技術(shù)體系結(jié)構(gòu)5/9/20242虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)2.1虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)5/9/20243虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)體系結(jié)構(gòu)輸入處理器渲染處理器用戶模擬處理器虛擬世界數(shù)據(jù)庫(kù)5/9/20244虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)模擬處理器

VR的核心程序處理:控制交互、對(duì)象動(dòng)作和決定虛擬世界的狀態(tài)。5/9/20245虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)渲染處理感覺(jué)傳輸?shù)接脩粢曈X(jué)聽覺(jué)觸覺(jué)（觸摸/力）實(shí)時(shí)圖像生成SGI圖形工作站5/9/20246虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬世界數(shù)據(jù)庫(kù)設(shè)計(jì)的主體部分隸屬虛擬世界的對(duì)象信息描述動(dòng)作的腳本用戶信息燈光效果程序控制硬件設(shè)備支持OOD技術(shù)5/9/20247虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)建模語(yǔ)言(VRML)VirtualRealityModelingLanguageVRML是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開放標(biāo)準(zhǔn)5/9/20248虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)AVRMLcylinder#VRMLV2.0utf8#ACylinderShape{appearanceAppearance{materialMaterial{}}geometryCylinder{height2.0radius1.5}}Cylinder.wrl5/9/20249虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)2.2虛擬現(xiàn)實(shí)的多感知系統(tǒng)體系和技術(shù)5/9/202410虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)J.J.Gibson總結(jié)的感知系統(tǒng)人類的感知系統(tǒng)5/9/202411虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)行為系統(tǒng)人類的行為系統(tǒng)5/9/202412虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)人與環(huán)境的關(guān)系5/9/202413虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)http://www.reflex.lth.se/reflex/whatisVR/5/9/202414虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)1992年Bryson主計(jì)算機(jī)數(shù)據(jù)手套（傳感器）（信號(hào)源）BOOM雙筒全方位監(jiān)視器多感知系統(tǒng)技術(shù)框圖5/9/202415虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)一個(gè)示例：virtualcockpithttp://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm5/9/202416虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)VirtualRealitysystems

totrainaircraftpilotsandtankcommanders/info/fact_gadget/best_ever_qa/science__technology/computers/1781.html5/9/202417虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)1、視覺(jué)生成技術(shù)5/9/202418虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)1.1視覺(jué)生成基本原理：光線跟蹤的方法假設(shè)從視點(diǎn)V通過(guò)屏幕象素e向場(chǎng)景投射光線交場(chǎng)景中的景物于P1,P2,…,Pm,那么離視點(diǎn)最近的P1就是畫面在象素點(diǎn)e處的可見點(diǎn)，象素e的光亮度應(yīng)由P1點(diǎn)向P1V方向輻射的光亮度決定。如此求出視域內(nèi)每一個(gè)象素的光亮度，則可生成一幅完整的真實(shí)感圖象。e5/9/202419虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)光線跟蹤技術(shù)(raytracing)I=Ic+tsIs

+ttIt其中：I：可見點(diǎn)P處的光亮度。Ic：局部光照亮度tsIs：環(huán)境鏡面反射光亮度ttIt：規(guī)則透射光亮度每一點(diǎn)的光亮度求法5/9/202420虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)視覺(jué)生成的基本內(nèi)容在圖形設(shè)備上生成逼真視景必須完成四個(gè)基本任務(wù)：用數(shù)學(xué)方法建立所需要三維場(chǎng)景的幾何描述將三維幾何描述轉(zhuǎn)換為二維視圖這可通過(guò)對(duì)場(chǎng)景的透視變換來(lái)完成。確定場(chǎng)景中的所有可見面這需要使用隱藏面消除算法將視域之外的或被其他物體遮擋的不可見面消去。計(jì)算場(chǎng)景中可見面的光強(qiáng)與顏色嚴(yán)格地說(shuō)，就是根據(jù)基于光學(xué)物理的光照模型計(jì)算可見面投射到觀察者眼中的光亮度大小和色彩，并將它轉(zhuǎn)換成合適圖形設(shè)備的顏色值，從而確定投影畫面上每一個(gè)象素的顏色，最終生成視景。5/9/202421虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)1.2視景的幾何建模與表示方法要實(shí)現(xiàn)虛擬現(xiàn)實(shí)，首先要盡可能詳細(xì)地表示虛擬現(xiàn)實(shí)的場(chǎng)景幾何信息。例如：表示虛擬環(huán)境中的山川河谷、魚蟲鳥獸，花草樹木、五官軀體、車船路橋等。實(shí)現(xiàn)虛擬現(xiàn)實(shí)視景的表示方法有：多邊形(三角形)網(wǎng)格表示方法結(jié)構(gòu)立體幾何表示方法體數(shù)據(jù)表示方法(volume-basedmethod)5/9/202422虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)多邊形(三角形)表示方法這種方法又稱為表面或邊界表示方法，即物體的立體幾何信息是通過(guò)它們的邊界面或包圍面來(lái)表示的。而物體的邊界面或包圍面（即物體的表面）可以用多邊形表示。5/9/202423虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)結(jié)構(gòu)立體幾何表示方法這種方法又稱為體積表示方法。這種表示方法中，物體被表示為一個(gè)三維體積基元的集合及它們之們的布爾運(yùn)算：并、交及差。5/9/202424虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)Volume-basedmethods表示單元為體素(voxel)每個(gè)體素表示了所在位置的顏色、密度等相關(guān)信息。5/9/202425虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)其他建模與表示技術(shù)(VR相關(guān))細(xì)節(jié)層次(LevelsofDetail:LOD)技術(shù)紋理映射(texturemap)技術(shù)5/9/202426虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)CourtesyStanford3DScanningRepository69,451polys2,502polys251polys76polysLevelofDetail:

TraditionalLODInANutshellFrom:DavidLuebke(UniversityofVirginia)/~gfx/Courses/2004/RealTime/lecture06.LOD1.ppt5/9/202427虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)DistantobjectsusecoarserLODs:LevelofDetail:

TraditionalLODInANutshellFrom:DavidLuebke(UniversityofVirginia)/~gfx/Courses/2004/RealTime/lecture06.LOD1.ppt5/9/202428虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)紋理映射技術(shù)(texturemapping)在視景表示時(shí)，對(duì)于有些細(xì)節(jié)，不需要建立相應(yīng)的多邊形表示，為了達(dá)到很好的視覺(jué)效果，只需要建立簡(jiǎn)單的幾何模型，然后在幾何模型的面上貼上對(duì)應(yīng)的逼真圖片就可以了。這種方法稱為紋理映射方法。這不僅增加了場(chǎng)景的逼真度，而且減少了表示場(chǎng)景的多邊形數(shù)目。5/9/202429虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)映射紋理前的場(chǎng)景映射紋理后的場(chǎng)景紋理映射技術(shù)(示例)5/9/202430虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)1.3立體顯示技術(shù)基本原理：人的視覺(jué)系統(tǒng)可以通過(guò)四種線索得到深度知覺(jué):側(cè)視網(wǎng)膜圖象差(lateralretinalimagedisparity);運(yùn)動(dòng)視差(motionparallax);圖象大小差異(differentialimagesize);紋理梯度(texturegradient)。目前的立體顯示技術(shù)基本上是基于雙目視差原理實(shí)現(xiàn)的。5/9/202431虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)影響（沉浸感）立體視覺(jué)因素寬視野（１８０Ｘ１５０）立體顯示彩色高分辨率頭部跟蹤主要視覺(jué)設(shè)備：紅藍(lán)濾色眼鏡液晶開關(guān)的立體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監(jiān)視器（BOOM）墻式顯示屏自動(dòng)聲象虛擬環(huán)境（CAVE）5/9/202432虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)頭盔式顯示器（HeadMountedDisplay，HMD)5/9/202433虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)HMD實(shí)物與原理圖頭盔顯示器HeadMountedDisplay,HMD5/9/202434虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)頭盔實(shí)現(xiàn)方法1帶有光導(dǎo)纖維的HMD的原理HMD的實(shí)現(xiàn)方法5/9/202435虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)美國(guó)icuiti公司分辨率：VGA（640X480）價(jià)格69800日?qǐng)A（約合人民幣5235元）距離眼睛1cm，畫面相當(dāng)于2米外42英寸屏幕厚度2cm，重量70g支持連接DVD播放器、桌面電腦等電源使用3節(jié)AA電池，可以連續(xù)播放5小時(shí)左右。VideoEyewear眼鏡式顯示器5/9/202436虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)5/9/202437虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)5/9/202438虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)BOOMBinocularOmni-OrientationMonitor/tools.htmBOOMFS25/9/202439虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)BinocularOmniOrientationMonitor(BOOM)5/9/202440虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)CAVECaveAutomaticVirtualEnvironment/pape/CAVE/http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld076.htm5/9/202441虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)CyberSphereFullyImmersiveSphericalProjectionSystemIllustrationoftheSphericalProjectionSystemtheFullyImmersiveSphericalProjectionSystemhttp://www.vr-systems.ndtilda.co.uk/sphere1.htm5/9/202442虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)ImmersaDesk/pape/CAVE/idesk/paper//technology/idesk/5/9/202443虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)InfinityWall/pape/CAVE/idesk/paper/http://www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm5/9/202444虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)2、聲音生成技術(shù)5/9/202445虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)聽覺(jué)3D&Stereo聲源定位：強(qiáng)度（高頻）和時(shí)差（低頻）問(wèn)題：聲音從頭里發(fā)出，隨強(qiáng)度差而偏左或偏右原因：與耳朵形狀有關(guān)解決：Convolvotron($15,000)耳內(nèi)錄音+計(jì)算5/9/202446虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)3觸覺(jué)與力覺(jué)生成技術(shù)5/9/202447虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)3.1觸覺(jué)與力覺(jué)反饋設(shè)備Therearetwomaintypesofhapticdevices:devicesthatallowusersto"feel"texturesof2-dementionalobjectswithapenormouse-typeinterfacegloveorpen-typedevicesthatallowtheuserto"touch"andmanipulate3-dementionalvirtualobjects5/9/202448虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)觸覺(jué)（Haptic)Haptic:機(jī)械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大?。C(jī)械臂，空氣囊，記憶金屬，小馬達(dá)，小探針5/9/202449虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)第二代TeletactII裝有更高分辨率的指尖空氣室，其余部分的空氣室更大，并提供手掌反饋系統(tǒng)。很大的手掌空氣室允許用戶使勁握物體，然后接收刺激。TeletactII與TeletactI使用相似，只是空氣室由20增加到30個(gè)。在中指尖、食指尖和拇指區(qū)域空氣室密度較大，空氣室也被放在手的背部，以產(chǎn)生手接觸物體的感覺(jué)。ARRC力學(xué)反饋手套5/9/202450虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)筆式力量感知器5/9/202451虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)PHANTOM?Omni?HapticDevice/products/phantom_ghost/phantom-omni.aspBySensAbleTechnologies5/9/202452虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)力反饋手套R(shí)MⅡRMⅡ像一付手套似的戴在用戶的手上。主要結(jié)構(gòu)包括一個(gè)小平臺(tái)，上面架著四個(gè)特制的汽缸。每個(gè)汽缸軸的頂端都和相應(yīng)的指尖相連接，軸和指尖的連接通過(guò)“Y”形的連接物。一個(gè)簡(jiǎn)單的細(xì)皮手套被作為傳感器/反饋系統(tǒng)的支持結(jié)構(gòu)。5/9/202453虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)CyberGrasp/3d/products/cyber_grasp.phpByImmersionCorporation5/9/202454虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)數(shù)據(jù)手套5/9/202455虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)DHM手勢(shì)傳感裝置原理圖5/9/202456虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)4、身體位置跟蹤5/9/202457虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)身體跟蹤位置的跟蹤（位置+方向） 及角度的度量（指關(guān)節(jié)、光纖）眼動(dòng)跟蹤5/9/202458虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)位置跟蹤技術(shù)：正交電磁場(chǎng) Polhemustrackers超聲波信號(hào) Logitec.MattelPowerGlove機(jī)械連接 FakeSpaceLabs視頻信號(hào)處理 MyronKruegerLED視頻傳感 UNCatChapelHill慣性跟蹤（加速度） Spaceball5/9/202459虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)PowerGlove示意圖5/9/202460虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)三維鼠標(biāo)器示意圖5/9/202461虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)基于運(yùn)動(dòng)跟蹤的方法一種人體運(yùn)動(dòng)記錄回放的方法關(guān)鍵：數(shù)據(jù)的轉(zhuǎn)換5/9/202462虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)基于運(yùn)動(dòng)跟蹤的方法5/9/202463虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)基于運(yùn)動(dòng)跟蹤的方法記錄點(diǎn)的坐標(biāo)轉(zhuǎn)換成旋轉(zhuǎn)角驅(qū)動(dòng)虛擬角色運(yùn)動(dòng)重定向5/9/202464虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)基于運(yùn)動(dòng)跟蹤的方法5/9/202465虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)http://www.reflex.lth.se/reflex/whatisVR/5/9/202466虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)一個(gè)示例：virtualcockpithttp://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm5/9/202467虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)VirtualRealitysystems

totrainaircraftpilotsandtankcommanders/info/fact_gadget/best_ever_qa/science__technology/computers/1781.html5/9/202468虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)2.3幾種典型的虛擬現(xiàn)實(shí)系統(tǒng)及其應(yīng)用5/9/202469虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)J.J.Gibson總結(jié)的感知系統(tǒng)人類的感知系統(tǒng)5/9/202470虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)行為系統(tǒng)人類的行為系統(tǒng)5/9/202471虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)人與環(huán)境的關(guān)系5/9/202472虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)的概念模型王兆其，《虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究》，博士學(xué)位論文，北京航空