虛擬現實技術導論 課件全套 梁曉輝 第1-6章 概論、虛擬現實常用軟硬件-Unity開發(fā)實例-VR電力仿真培訓系統(tǒng)

虛擬現實技術導論第1章概論本講大綱1.1基本概念及發(fā)展簡史1.2虛擬現實的關聯概念1.3典型特征1.4虛擬現實系統(tǒng)1.5虛擬現實系統(tǒng)的構建過程1.6習題1.1基本概念及發(fā)展簡史虛擬現實(VR)——三元世界的界面真實世界虛擬世界

人虛擬現實是人與虛擬世界及真實世界的相互作用虛擬現實就是采用以計算機技術為核心的現代高技術生成逼真的視、聽、觸覺一體化的一定范圍的三維虛擬環(huán)境，用戶可以借助必要的裝備以自然的方式與虛擬環(huán)境中的物體進行交互作用、相互影響，從而獲得親臨等同真實環(huán)境的感受和體驗?；靖拍钐摂M現實技術充分利用計算機硬件和軟件的集成技術，提供一種實時、三維的虛擬環(huán)境，用戶借助必要的設備（如頭盔，手套等）以自然方式與虛擬環(huán)境中的物體進行交互，從而沉浸于虛擬環(huán)境中，產生接近真實環(huán)境的感受和體驗。虛擬環(huán)境是由計算機生成的實時動態(tài)的三維立體逼真圖像，它可以是某一現實世界的再現，也可以是虛擬構想的世界。關鍵詞：3D+交互基本概念3D＋交互示例虛擬現實產生的背景與應用需求演化密切相關與計算技術發(fā)展密切相關虛擬現實產生的背景現代科學研究的主要手段理論研究（推導、演繹）科學實驗（統(tǒng)計、歸納）一個問題如何使得計算過程和結果更為直觀？科學計算數值計算方法模擬仿真新的計算方法虛擬現實產生的背景直觀為什么首先要可視？真正的直觀需要可視、可聽、可觸、可嗅，而視覺占到人的輸入信息的80%以上，是基本的可視的概念并不陌生解析幾何（代數、幾何）在于虛擬現實關聯的學科中，與“可視”相關的也是最早發(fā)展的虛擬現實產生的背景虛擬現實考慮的核心問題如何把現實世界中物體和數據映射成具有某種幾何、物理和行為屬性的對象（實物虛化）如何計算機中的虛擬對象映射到現實世界中（虛物實化）發(fā)展簡史80多年前的飛行模擬器……1929年EdwinA.Link發(fā)明了一種飛行模擬器“藍盒子”，可提供俯仰、偏航、滾轉等復雜飛行動作。這是人類模擬仿真物理現實的初次嘗試如今，全球民航共使用著約1200余臺全飛模擬機，其中約550臺位于美國、75臺位于英國、我國擁有約60多臺，而德國和日本分別擁有50臺，法國擁有其中的40余臺發(fā)展簡史

50多年前的摩托車仿真器……1956年，MortonHeileg開發(fā)了一個摩托車仿真器Sensorama，基于一對并排的35mm照相機實現三維視頻反饋，有立體聲效，能產生振動感覺1962年的“Sensoramasimulator”專利已具有一定的VR技術的思想發(fā)展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發(fā)展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發(fā)展簡史人機交互1987年，James.D.Foley在具有影響力的《科學美國人》上發(fā)表了“InterfacesforAdvancedComputing”。該雜志還發(fā)表了報導數據手套的文章，引起人們的關注發(fā)展簡史AR……VR……1973年，Krueger提出了“ArtificialReality”一詞，這是早期出現的VR詞語1989年，美國VPL公司的創(chuàng)立者JaronLanier提出了VirtualReality一詞2014年3月20日，Facebook公司宣布斥資20億美元收購虛擬現實公司Oculus。這是Facebook金額排名第二的收購交易2014年7月25日，Amazon發(fā)布FirePhone3D手機，

增強3D購物/娛樂體驗2014年9月，微軟研發(fā)3D觸覺反饋觸摸屏：醫(yī)生可以摸到腫瘤2015年1月22日，微軟舉辦Win10預覽版發(fā)布會，推出HoloLens全息影像頭盔2015年CES（國際消費電子展），三星等推出的多款虛擬現實頭盔、應用等發(fā)展簡史發(fā)展簡史虛擬現實可能應用的九個領域：2016年1月14日，高盛發(fā)布58頁報告，指出虛擬現實（VR）和增強現實（AR）將像PC一樣改變世界預期到2025年VR和AR軟硬件營收達800-1800億美元高盛預測報告：像PC一樣改變世界視頻游戲現場直播視頻娛樂零售業(yè)房地產教育健康工程軍事發(fā)展簡史2018年，美國公布的《2016-2045年新興科技趨勢報告》預測未來30年里，虛擬現實和增強現實這些技術將成為主流技術。AR將把實時相關的信息給用戶投放在現實中，而VR則可以通過融合視覺、聽覺、嗅覺和觸覺來實現深度沉浸的體驗。發(fā)展簡史近年來，元宇宙（Metaverse）成為市場上比較火熱的概念。元宇宙指利用科技手段連接與創(chuàng)造出與現實世界映射和交互的虛擬世界，該虛擬世界同時是一個具備基本新型社會體系的數字生活空間。其本質是對現實世界的虛擬化、數字化，包括對內容生產、經濟系統(tǒng)、用戶體驗以及實體世界大量真實內容的改造。其中，擴展現實（ExtendedReality，XR）技術是VR與AR技術的綜合，為用戶提供沉浸式體驗，與數字孿生技術、區(qū)塊鏈技術一道成為支持元宇宙的核心技術之一。發(fā)展簡史使人機界面、人機交互自然、友好是計算機科學工作者不懈追求的目標。計算與仿真成為科學技術探索除理論研究、科學實驗之外的第三種手段。人們在許多領域所需解決的問題越來越需要有力的預測手段和虛擬環(huán)境。追求、探求、需求計算機科學工作者不斷追求的三個目標：快捷，聰明，和諧虛擬現實的三大應用方向訓練演練(模擬現實環(huán)境)規(guī)劃（設計）預測(虛擬未來環(huán)境)觀賞娛樂(構想現實未來幻想環(huán)境)1.2虛擬現實的關聯概念與VR緊密相關的概念MR（混合現實）、AR（增強現實）、AV（增強虛擬）這些概念根據虛擬環(huán)境與真實環(huán)境信息融合的程度劃分虛擬現實發(fā)展的四個傳統(tǒng)領域

虛擬現實傳統(tǒng)仿真真實數據等游戲動畫CAD/CAM圖形圖像人機交互等概念仿真等虛擬實體等近年來一些熱詞都有與虛擬現實相關內容云計算：GoogleGlass（顯示）大數據：可視分析（視覺處理）可穿戴：新型人機界面（交互方式）5G：全景展示（內容展現形式）人工智能：內容處理，交互1.3典型特征VR3I典型特征示意圖沉浸（Immersion）交互（Interaction）構想（Imagination）虛擬現實的三個主要特點依托的學科多（多學科交叉融合）應用性強（與應用領域交叉融合）高度依賴數據資源和計算資源1.4虛擬現實系統(tǒng)虛擬現實系統(tǒng)邏輯結構典型虛擬現實系統(tǒng)一般包含一個虛擬環(huán)境（VirtualEnvironment，VE）及若干化身虛擬現實系統(tǒng)的4種分類（1）沉浸型（2）桌面型（3）增強型（4）分布型沉浸型這類系統(tǒng)主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。航天航空領域的應用沉浸型這類系統(tǒng)主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。醫(yī)學領域的應用桌面型這類系統(tǒng)主要面向普及型應用，其典型特點是基于個人計算機和常規(guī)交互設備，在通用硬件上構造簡易型的系統(tǒng)。虛擬奧運博物館增強型這類系統(tǒng)主要面向增強現實的應用，其典型特點是：利用機械、聲波、光學、電磁技術獲取運動物體的3D姿態(tài)，然后與虛擬對象進行注冊、融合，并使用透視頭盔式顯示器，在現實場景中疊加虛擬物體，增加虛實融合的內容。大飛機虛擬融合系統(tǒng)分布型這類系統(tǒng)主要面向網絡環(huán)境下的虛擬現實應用，其典型特點是：利用網絡將不同節(jié)點的虛擬現實系統(tǒng)加以聯結，構建共享一致的虛擬環(huán)境，從而進行協(xié)同和交互。分布型分布型虛擬現實系統(tǒng)的典型架構：邏輯層主要實現了虛擬環(huán)境物理層通過每個虛擬的區(qū)域可能對應一個區(qū)域服務器此外，物理層還設置了模型服務器與監(jiān)控服務器用于數據處理與服務管理1.5虛擬現實系統(tǒng)的構建過程虛擬現實系統(tǒng)構建過程建模+渲染+交互界面1.6習題習題虛擬現實的概念是什么？其主要特征是什么？構造虛擬環(huán)境的主要過程是什么？你認為構造虛擬環(huán)境的難點是什么？虛擬現實技術導論第2章虛擬現實常用軟硬件本講大綱2.1典型輸入設備2.2典型輸出設備2.3常用軟件2.4習題2.1典型輸入設備用戶位姿獲取設備電磁跟蹤設備（電磁發(fā)射、接收）聲學跟蹤設備（超聲等發(fā)射、接收）光學跟蹤設備（光學傳感器、攝像頭）光波、有標志點、無標識點、深度圖通過攝像機獲取二維圖像標志點，進而獲得三維位置慣性跟蹤設備（加速度計、陀螺儀）眼球跟蹤設備混合方式用戶位姿獲取設備——電磁跟蹤設備現有電磁跟蹤設備一般由控制部件、信號發(fā)射器（transmitter）和接收器（receiver）組成發(fā)射器與接收器均包括3個相互垂直（正交）的電磁感應圈；發(fā)射器通過電磁感應圈產生磁場，接收器接收到磁場，并在感應圈上產生相應的電流；根據接收到的電流信號，通過控制部件預先設定的算法計算，就能得到跟蹤目標相對于接收器的位置和方向。根據所發(fā)射磁場的不同，又可分為交流電發(fā)射器型和直流電發(fā)射器型。用戶位姿獲取設備——電磁跟蹤設備目前使用較為廣泛的直流電跟蹤系統(tǒng)，如AscensionTechnology公司的FlockofBirds系統(tǒng)，其刷新率可達100Hz，系統(tǒng)延遲在沒有噪聲濾波器的情況下，最小可到17ms。FlockofBirds系統(tǒng)用戶位姿獲取設備——聲學跟蹤設備聲學跟蹤技術利用超聲波的特性來達到目標的位置跟蹤。不過從理論上講，聽覺波也是可以使用的。聲學跟蹤系統(tǒng)根據其跟蹤方法可以分為兩類：飛行時間（TimeofFlight，ToF）測量法相位差（Phase-Coherent，PC）測量法為了更好地確定目標位置和方向，在實際應用中，通常采用多個超聲波發(fā)射/接收傳感器。Logitech跟蹤設備用戶位姿獲取設備——光學跟蹤設備光學跟蹤系統(tǒng)的感光設備種類很多，如普通攝像機、光敏二極管等。光源也是多種多樣的，可以是環(huán)境光，也可以是受跟蹤器控制發(fā)出的光。為了防止可見光的干擾，有時也使用紅外線作為光源。光學跟蹤系統(tǒng)使用的技術主要可分為：標志系統(tǒng)模式識別系統(tǒng)激光測距系統(tǒng)光學跟蹤設備用戶位姿獲取設備——標志系統(tǒng)標志系統(tǒng)（markersystem）也稱為信號燈系統(tǒng)或固定傳感器系統(tǒng)，是當前使用最多的光學跟蹤技術。它有兩種結構：自外而內（out-inside）結構，例如圖a以及結構自內而外（inside-out）結構，例如圖b。用戶位姿獲取設備——模式識別系統(tǒng)模式識別系統(tǒng)的原理是通過比較已知的樣本模式與傳感器得到的模式而得出物體位置的，它其實是前面介紹的標志系統(tǒng)的一個改進。把幾個LED那樣的發(fā)光器件按某一固定陣列（即樣本模式排列），并將其固定在被跟蹤對象的身上。然后由攝像機跟蹤拍攝運動的LED陣列，記錄整個LED陣列模式的變化。這實際上是將人的運動抽象為固定模式的LED點陣運動，從而避免從圖像中直接識別被跟蹤物體所帶來的復雜性。用戶位姿獲取設備——激光測距系統(tǒng)激光測距系統(tǒng)將激光發(fā)射到被測物體，然后接收從物體上反射回來的光測量出位置。激光通過一個衍射光柵射到被跟蹤物體上，然后接收經物體表面反射的2D衍射圖的傳感器記錄。這種經反射的衍射圈帶有一定的畸變，而這一畸變是與距離有關的，作為測量距離的一種量度。HTCViveLighthouseHTCViveLighthouse使用雙基站定位系統(tǒng)。Valve在頭顯和控制器上安裝了很多光敏傳感器。在基站的LED閃光之后就會同步信號，然后光敏傳感器可以測量出軸激光和軸激光分別到達傳感器的時間。這個時間就正好是軸和軸激光轉到這個特定的，點亮傳感器的角度的時間，于是傳感器相對于基站的軸和軸角度也就已知了；分布在頭顯和控制器上的光敏傳感器位置也是已知的，于是通過各個傳感器的位置差，就可以計算出頭顯位置和運動軌跡。用戶位姿獲取設備——慣性跟蹤設備慣性跟蹤技術使用慣性傳感器進行跟蹤，主要包括陀螺儀（gyroscope）傳感器從原理上，高速旋轉的陀螺有保持其旋轉軸朝向不變的能力，可以測量被跟蹤物體的3自由度選擇運動（yaw、roll、pitch），從而達到對頭部方向運動的跟蹤。加速器（accelerator）傳感器加速計用來測量頭部運動的加速度或者是環(huán)境中運動物體的加速度，達到對頭部位置運動的跟蹤。慣性跟蹤設備用戶位姿獲取設備——眼球跟蹤設備ASL的MobileEye是可移動的眼球軌跡追蹤系統(tǒng)，專為需要自由移動應用而設計，可以用在室內也可以在戶外，它緊湊、堅固，能應用到體育方面。該系統(tǒng)重量輕，用于記錄的設備也很小，能別在一條皮帶上。眼睛圖像和場景圖像交錯地保存在特制的DVCR磁帶里，以確保足夠高分辨率。其采樣率為25/30Hz。ASLModel504用戶運動數據獲取設備運動捕獲是記錄人體運動信息以供分析和回放的技術。捕捉的數據既可簡單到記錄軀體部件的空間位置，也可復雜到記錄臉部和肌肉群的細致運動。應用在計算機角色動畫的運動捕捉則涉及到如何把真人動作轉換為虛擬角色的動作，直接轉換映射，用真人演員的手臂運動控制虛擬角色的手臂動作間接轉換映射，用真人演員的手臂和手指動作來控制虛擬角色的皮膚顏色和情緒等。影視特效動畫制作虛擬現實游戲人體工程學模擬訓練生物力學用戶運動數據獲取設備運動數據獲取裝備全身運動捕捉系統(tǒng)機械電子式運動捕捉系統(tǒng)光學動作捕捉系統(tǒng)臉部表情捕捉系統(tǒng)數據手套用戶運動數據獲取設備——機械電子式運動捕捉系統(tǒng)ME4是ME電子機械式運動捕獲系統(tǒng)的最新產品ME4更貼身、重量更輕、操作更簡單，其設計最大程度滿足用戶動作的自由度和舒適度，由安放于人體17處關節(jié)的43只運動傳感器精確記錄運動者骨骼的轉動ME4價格低，同時可最多捕獲16人的運動信息，沒有光學運動捕獲常見的測量死角和標記點混淆，沒有電磁跟蹤系統(tǒng)常見的外界干擾產生的誤差增加傳感器錨點數量、位置（頭、肘、膝蓋、臀部）可配合完成諸如頭手倒立、四肢匍匐、就座等復雜動作捕獲。用戶運動數據獲取設備——光學動作捕捉系統(tǒng)光學動作捕捉系統(tǒng)廣泛用于運動、人體工程學、實時動畫制作、工業(yè)測量、臨床運動分析、知覺動作技能研究。它可用于各種環(huán)境包括醫(yī)院、工廠大學、運動場、動畫制作攝影棚和國際空間站等。PS光學式人體運動捕捉系統(tǒng)是目前光學式系統(tǒng)中價格最便宜、性能最好的系統(tǒng)。它依靠主動方式的、一元硬幣大小的LED，可以快速、高精度、方便地獲取人體各個部位的運動數據。不同于被動式的光學反射標志，其能夠實時獲取多達120個LED主動方式標志點的運動軌跡。用戶運動數據獲取設備——臉部表情捕捉系統(tǒng)FT45臉部表情跟蹤系統(tǒng)是廣泛使用的人體臉部表情跟蹤系統(tǒng)。通過臉部的36個不同標記，FT45系統(tǒng)可以實時捕獲臉部運動數據。研究者可以在不同的場合多次重復使用這些數據文件。這些數據可以反映到其他虛擬角色的3D臉部模型上，從而獲得和表演者相似的表情，也可以進行表情變化。用戶運動數據獲取設備——數據手套數據手套是虛擬現實應用的主要交互設備，它作為一只虛擬的手或控件用于3DVR場景的模擬交互，可進行物體抓取、移動、裝配、操縱、控制，有有線和無線、左手和右手之分，可用于視景仿真軟件環(huán)境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真實物體幾何材質屬性獲取設備3D掃描儀接觸式掃描儀非接觸式掃描儀激光掃描儀結構式3D掃描儀3D照相機真實物體幾何材質屬性獲取設備——3D掃描儀利用光學、機械等方法，獲取三維物體的表面幾何屬性，分為接觸式和非接觸式。真實物體幾何材質屬性獲取設備——接觸式掃描儀接觸式掃描儀通過內置高精度位置和方向傳感器感知探頭所處位置。主要產品有MS接觸式數據化儀。MS接觸式數據化儀是由三段碳纖維臂構成，臂與臂之間由球狀連接器相連，內置高精度位置和方向傳感器，以感知探頭所處位置。真實物體幾何材質屬性獲取設備——非接觸式掃描儀激光掃描儀使用條狀激光對輸入對象進行掃描，使用CCD相機接受其反射光束。根據三角測距原理獲得與拍攝物體之間的距離，進行3D數據化處理。目前已成形的產品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。結構光式3D掃描儀有別于傳統(tǒng)的激光點掃描和線掃描方式，該掃描系統(tǒng)采用結構光照相式原理對物體進行快速面掃描。目前成型的產品有3DREALSCAN和北京天遠的3D掃描系統(tǒng)。3D照相機美能達公司1999年推出3D1500數碼照相機可將現實世界中的實物實景拍攝為3D影像。3D數碼照相機在逼真再現立體世界方面還存在著不足，比如，目前只能通過3D技術再現小實物，拍攝后在計算機中處理的時間也較長。目前的3D照相機主要有Komamura的Horseman3Dcamera，它采用了雙鏡頭組，但雙鏡頭是同時工作的，因此不需要額外地處理就可以直接拍攝出紅藍立體眼鏡能夠觀看的立體照片。2.2典型輸出設備典型輸出設備視覺輸出

3D立體眼鏡頭盔式顯示器3D環(huán)幕儀全息顯示真3D立體顯示器力/觸覺輸出力覺/動感反饋設備觸覺反饋典型輸出設備——3D立體眼鏡一般由立體圖形加速卡、紅外控制發(fā)射盒、有線或線立體眼鏡，支持高分辨率、高場頻、逐行立體顯示。具有全面、小型、經濟、適用的特點，適于基于PC機的小型VR系統(tǒng)，具有較好的性能價格比。典型輸出設備——頭盔式顯示器headmounteddisplay（HMD），分為遮擋型和透視型典型輸出設備——3D環(huán)幕儀利用投影、液晶屏構造的大范圍視景空間典型輸出設備——全息顯示伽伯通過記錄3D物體信息的物光波的振幅和位相分布，并將記錄結果稱為“全息圖”。通常可以將全息圖理解為一個大容量的存儲器件，存儲或“凍結”了3D物體的全部信息。為了從全息圖中提取物光波的信息，還必須采用適當的光波照射全息圖，“解凍”或恢復原來的物光波，人眼朝向再現物光波進行觀察時，就如同通過全息圖去觀察原來的真實物體一樣。典型輸出設備——真3D立體顯示器基于人眼立體視覺的3D成像受到觀察角度、輔助儀器、眼睛觀察時間等限制。由于焦距固定，使得眼睛在場景中無法像觀看一個真實物體那樣收縮或改變焦距，所以沒有真正意義上實現物體的全面3D顯示。全息成像無法顯示動態(tài)立體圖像，很大程度上限制了全息顯示技術在現代信息顯示中的應用。隨著計算機技術和圖形圖像技術的發(fā)展，出現了直接在3D數據場中生成體素點，不需佩戴任何輔助設備，可全視角、多人同時觀察立體圖像且具有物理景深的3D顯示器，即真3D立體顯示器，其相關技術稱為真3D立體顯示技術。真3D立體顯示技術，按成像原理不同可分為：靜態(tài)成像技術動態(tài)成像技術把兩束激光束照到一個由特殊材料制造的透明圖像空間上，經過折射，兩束光相交到一點，激發(fā)圖像空間材料發(fā)光，便產生了組成立體圖像最小單位—體素，每個體素對應真實物體的一個實際的點，當這兩束激光束快速移動時，在圖像空間中就形成許許多多個交叉點，無數個體素點就構成了真3D的物體圖像。動態(tài)成像技術將顯示的圖像用2D切片的方式投影到一個旋轉或平移的屏幕上，同時該屏幕以觀察者無法察覺的速度在運動，由于人眼的視覺暫留，從而在人眼中形成3D物體，實現圖像的真3D顯示。典型輸出設備——真3D立體顯示器當前幾種先進的真3D立體顯示器包括Felix3D以及Perspecta3D等。典型輸出設備——真3D立體顯示器力覺/動感反饋（force/kinestheticfeedback）觸覺反饋（tactilefeedback）典型輸出設備——力/觸覺輸出力覺反饋設備是虛擬現實系統(tǒng)中的一種重要的設備，能使參與者實現虛擬環(huán)境中除視覺、聽覺之外的第三感覺——觸覺和力感。它可提供高度逼真的3D力（觸覺）反饋能力，在辦公室/桌面環(huán)境下進行操作，并與標準PC機兼容。它能進一步增強虛擬環(huán)境的交互性，從而真正體會到虛擬世界中的交互真實感。相對力反饋，觸覺反饋還處于初級階段。日本岐阜大學工學系元島棲二教授的研究小組成功開發(fā)出世界最小的超敏感觸覺傳感器，在醫(yī)療器械領域應用前景廣泛。傳感器在約0.1mm3的合成樹脂中埋入了直徑1~10μm、長300~500μm、像彈簧一樣的螺旋狀微細碳線圈元件。碳線圈接觸物體之后，會將微小的壓力和溫度變化轉換成電信號。此外，傳感器還可以感知“擰”、"摩擦"等信號。2.3常用軟件構建具有逼真感和交互性的VR系統(tǒng)，首先面臨的就是建模?，F有的虛擬現實建模軟件主要集中在支持虛擬景物的幾何和物理建模方面。前者又可分為面向動畫制作與面向實時繪制的建模軟件兩類。建模軟件面向動畫制作的建模，也稱為3D幾何造型設計，是3D動畫制作工具的基本功能。動畫制作中的建模一般包括基本幾何形體繪制、復雜模型組合等。現有一些公開的3D模型庫可供使用，以提高開發(fā)效率。目前流行的3D動畫制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模軟件——面向動畫制作的建模軟件Maya主界面Houdini主界面3D模型的數據組織合適對實時繪制有重要影響。在面向實時繪制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。該數據格式已成為視景仿真領域公認的模型數據標準，大部分VR開發(fā)軟件，如VEGA，OpenGVS等都支持這種格式MultigenCreator是美國MultiGen-Paradigm公司推出的一個交互式3D建模軟件，支持建立優(yōu)化的3D模型，具有多邊形建模、矢量建模、大規(guī)模地形精確生成等功能。建模軟件——面向實時繪制的建模軟件Multigencreator主界面地形模型相比其他模型規(guī)模更大，手工建模工作量巨大。因此，出現了一系列專為地形制作開發(fā)的工具，如CreatorTerrainStudio，TerraVista等。為提高建模效率，出現了一些特定功能的輔助工具，如格式轉換工具Polytrans，Deep-Exploration等，可將面向動畫制作的3D模型數據格式進行轉換，適用于實時VR系統(tǒng)；三維模型化簡工具GeomagicDecimate、Action3DReducer、RationalReducer等，可對較為復雜的面向動畫制作的3D模型進行簡化，以滿足實時繪制的需要。建模軟件——面向實時繪制的建模軟件Terravista主界面此外，還有一些面向深度圖像的建模工具，如攝像采集裝置和激光掃描儀附帶的軟件系統(tǒng)。這些軟件系統(tǒng)專門處理通過相應設備采集到的深度圖像，并生成幾何模型。例如微軟公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中專門集成了KinectFusion等算法，實現從深度相機的標定、3D點云建模、表面網格生成以及骨架標定等。建模軟件——面向實時繪制的建模軟件Kinect

SDK主界面最初的Web3D標準是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的幾何尺寸、形狀、色彩、材質、光照等。但是由于標準過于龐大，VRML處理效率低下，很多公司并沒有完全遵循VRML標準，而是推出自己的制作工具，使用專用的文件格式和瀏覽器插件。Web3D標準與建模工具VRML

Editor主界面1998年，VRML組織改名Web3D聯盟，同時制定了一個新標準Extensible3D（X3D）。X3D整個新出現的XML，Java和流傳輸等技術，希望提高處理能力、繪制質量和傳輸速度。2004年8月，X3D規(guī)范被ISO批準為ISO/IEC19775國際標準。但到目前為止，X3D標準仍未完全統(tǒng)一Web3D格式，面臨一些有力的競爭，如由Intel，微軟，Macromedia，Adobe，波音等公司聯合組建的3DIF（3DIndustryForum）聯盟支持的U3D（Universal3D）標準。在面向Web應用方面也有一些基于圖像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D標準與建模工具虛擬環(huán)境和對象的逼真性取決于外觀建模水平，也有賴于虛擬對象的物理建模，也就是物理引擎的實現。物理引擎計算虛擬環(huán)境中物體運動、場景變化、物體與場景之間、物體與物體之間的交互作用和動力學特性效果。它通常以程序庫的形式提供，其中包括若干功能模塊，各模塊為應用程序留出接口。它定義了一個高層的API集合，封裝了底層的物理計算細節(jié)，使得開發(fā)人員可以專注于高層應用程序開發(fā)，大幅度縮短開發(fā)周期。物理引擎HavokPhysics是Havok公司開發(fā)的物理引擎，基于剛體動力學，能模擬多關節(jié)剛體的約束和連接，開發(fā)者可以指定對象的物理性質，如質量、密度、摩擦系數等。HavokPhysics引入連續(xù)碰撞檢測技術，包含RagDoll人體模型系統(tǒng)，可以表現車輛在虛擬環(huán)境中的各種動態(tài)效果，包括車輛間的相互碰撞和各種操作的模擬。HavokPhysics是目前應用最為廣泛的物理引擎之一，但計算量大，對CPU等硬件要求高。物理引擎為解決物理運算計算量大的問題，美國AGEIA公司研制了專門的物理加速硬件。該公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是繼GPU以后的又一次處理器功能專門化。2006年3月GDC06（GameDeveloperConference），游戲開發(fā)者會議），第一塊物理加速卡正式發(fā)布，命名為PhysX。在PPU的支持下，PhysX每秒可處理32000~50000個剛體，效率有了大幅度提高。物理引擎VR應用中的渲染軟件主要來源于計算機圖形學。從圖形學發(fā)展的角度，基本可分為3層：最下層是基礎3D圖形繪制庫，提供一系列圖形繪制標準API；中間層是3D圖形引擎；最上層是可視化開發(fā)平臺或實際應用。渲染軟件基礎3D圖形繪制庫主要有OpenGL、Direct3D、Java3D、Vulcan等，它們直接操作圖形硬件，提供了3D圖形繪制的底層基礎API。渲染軟件——基礎3D圖形繪制庫OpenGL是一個開放的3D圖形軟件包，具有建模、變換、顏色模式設置、光照和材質設置、紋理映射、位圖顯示和圖像增強、雙緩存動畫等功能。OpenGL獨立于窗口系統(tǒng)和操作系統(tǒng)，以它為基礎開發(fā)的應用程序可以十分方便地在各種平臺間移植。Direct3D是微軟提供的基于COM接口標準的3D圖形API，具有良好的硬件兼容性，支持很多最新的圖形學技術成果。現在幾乎所有具有3D圖形加速的顯卡都支持Direct3D。但其接口較為復雜，且只能在Windows平臺上使用。Java3DAPI是Sun定義的用來開發(fā)3D圖形和Web3D應用程序的編程接口。除提供OpenGL，Direct3D定義的一部分底層繪制功能外，還提供了一些建造3D物體的高層構造函數。從所處層次看，Java3D兼有基礎3D圖形繪制庫和3D圖形引擎的一些功能。3D圖形引擎提供面向實時VR應用的完整軟件開發(fā)支持，負責底層3D圖形繪制的數據組織和處理，發(fā)揮硬件的加速特性，為上層應用程序提供有效的圖形繪制支持。圖形引擎一般包括真實感渲染、3D場景管理、聲音管理、碰撞檢測、地形匹配以及實時對象維護等功能，并提供與3D虛擬環(huán)境繪制相關的高層API渲染軟件——3D圖形引擎渲染軟件——常見的圖形引擎OpenGLPerformer是一個可擴展的實時3D視景開發(fā)軟件包，在OpenGL圖形庫基礎上構建，提供了一組標準C/C++語言綁定的編程接口，通過一個靈活的3D圖形工具集提供高性能繪制能力。OpenGVS直接架構于OpenGL，Direct3D等3D圖形API上，包含一組面向對象的C++API，封裝了繁雜的底層圖形驅動函數。這些API分為相機、通道、幀緩沖、煙霧、光源、對象、場景、特效、工具等各組資源，開發(fā)人員可以根據需要調用這些資源來驅動硬件實時產生所需的圖形。Vega支持多種3D模型，提供了許多可選模塊，支持導航、照明、動畫、人物、大規(guī)模地形、CAD數據輸入和DIS/HLA分布式應用等需求。OpenSceneGraph（OSG）是一個基于OpenGL的開源3D圖形開發(fā)庫，提供了一套C++API，具有較完整的3D圖形開發(fā)功能，通過狀態(tài)轉化、繪圖管道和自定制等操作，還可以進行繪制性能優(yōu)化。OSG主要包括場景圖形核心、Producer庫、OpenThread庫以及用戶插件等4個部分。VTree是一個面向對象的3D圖形開發(fā)庫，包括一系列C++類和有關函數。VTree生成并連接不同節(jié)點到一個附屬于景物實體的可視化樹結構，該樹結構定義了對實體進行繪制和處理的方法。VTK是一個開源庫，主要用于3D繪制、圖像處理與科學計算可視化。VTK基于面向對象思想，提供一系列C++API。VTK也是基于OpenGLAPI實現的。渲染軟件——可視化平臺早期流行的可視化開發(fā)平臺法國達索公司的VirtoolsDevEON公司的EONStudioAct3D公司的Quest3D等近年來，一些游戲公司開發(fā)的游戲開發(fā)編輯器，也具備類似可視化開發(fā)平臺的特征，其中代表性的游戲開發(fā)編輯器有Unity3D，Unreal等渲染軟件——可視化平臺Unity3DUnity3D由丹麥Unity公司開發(fā)，是一款讓玩家輕松創(chuàng)建諸如3D視頻游戲、建筑可視化、實時3D動畫等互動內容的多平臺的綜合型游戲開發(fā)工具，也是一個全面整合的專業(yè)游戲引擎。作為一款跨平臺的游戲開發(fā)工具，從一開始就設計成易于使用的產品。支持包括IOS，Android、PC、Web、PS3、Xbox等多個平臺的發(fā)布。同時作為一個完全集成的專業(yè)級應用，Unity還包含了價值數百萬美元的功能強大的游戲引擎。具體的特性包含整合的編輯器、跨平臺發(fā)布、地形編輯、著色器，腳本，網絡，物理，版本控制等特性，是當前最流行的游戲開發(fā)平臺。渲染軟件——可視化平臺UnrealUE（UnrealEngine，虛幻引擎）是由Epic開發(fā)的。其3D圖形繪制引擎采用了實時光跡追蹤、HDR光照技術、虛擬位移等技術，并且支持物理與破壞、體積光、卷積混響和環(huán)境立體聲繪制等技術。目前，虛幻引擎已經更新到Unreal5版本。渲染軟件——可視化平臺除了Unity3D和UnrealEngine外，尚有CryEngine（水晶石）、Cocos3D等游戲引擎。這些引擎或提供專門的VR模式，或提供對VR系統(tǒng)硬件API的支持，均實現了對VR應用開發(fā)的支持渲染軟件——分布式開發(fā)工具現有分布式VR支撐工具主要由虛擬環(huán)境服務器和分布式開發(fā)平臺兩種方式。采用虛擬環(huán)境服務器建立的分布式VR應用系統(tǒng)具有很強的模塊耦合性，VR服務器和客戶端的代碼需要作為一個系統(tǒng)的兩個部分進行開發(fā)。一些集成度較高的可視化開發(fā)平臺，如Virtools等，都具有單獨的虛擬環(huán)境服務器模塊。分布式VR開發(fā)平臺則是將分布式VR應用系統(tǒng)中與分布有關的內容，以及所需要的支撐服務提取出來，構建獨立的開發(fā)工具。渲染軟件——其他專業(yè)工具在機械設計領域，一些專業(yè)化軟件，如虛擬樣機分析軟件ADAMSCAD/CAE/CAM領域的幾何模型設計軟件CATIA、工業(yè)用有限元分析軟件ANSYS、計算流體力學仿真軟件Pointwise等。渲染軟件——其他專業(yè)工具虛擬人的仿真也有一些專業(yè)化的軟件開發(fā)包，如DI-GUY。

DI-GUY采集了真實士兵訓練的特征數據，具有士兵的7級LOD細節(jié)的全紋理模型、多種制服、武器和附屬裝備，可定義包括站、跪、匍匐前進等行為。2.4習題習題安裝Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特點。了解ARKits、ARCore的主要功能習題安裝Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特點。了解ARKits、ARCore的主要功能虛擬現實技術導論第1章概論本講大綱3.1虛擬現實模型3.2虛擬現實幾何建模3.3虛擬現實物理建模3.4虛擬現實行為建模3.5虛擬現實建模的特點與評價指標3.6幾何建模例——點云化簡3.7物理建模例——虛擬人體運動合成3.8物理建模例——基于SPH的熱帶氣旋建模3.9習題3.1虛擬現實模型模型“模型”是一個人為構造的物體，以便使人們容易觀察現實世界中的物體，例如：物理模型、數學模型……。換言之，“模型”是對物體全部或部分屬性的一個抽象。對象模型對象模型是構建虛擬環(huán)境的基礎，也是實物虛化的重要組成部分。一般的，主要包括幾何形狀、表面信息、物理特性、變化屬性等。對象模型幾何形狀描述對象形狀的幾何模型包含了點的位置信息和拓撲結構信息，主要由點、線、面等幾何元素組成。例如，使用一些現有的圖形庫來表現對象的幾何外形：大小、方向和位置等對象外表的真實感主要取決于其顏色、光照和紋理等。通過紋理元素的色彩、明暗度和透明度的變化來表現對象的表面細節(jié)，能夠減少多邊形的數量和增加對象在場景中的真實感。目前，投影法和參數表示法是兩種常用的表面紋理映射方法。表面信息為了保證視景表示和對象物體在虛擬環(huán)境中運動的合理性，經常需要建立對象物體的某些物理模型，使得場景中的對象遵循客觀的物理規(guī)律，從而生成具有一定真實感和逼真性的三維視景。一般賦予對象物體的物理特性主要有質量、動量、沖量、轉動慣量、光滑度、柔韌性和可塑性等。物理特性與變化屬性幾何模型從數學的角度，對于一個物體的幾何表示要考慮物體自身的特征，例如：

有界性、封閉性剛性：物體在剛性變換（平移、旋轉等）下是否保持不變規(guī)則性：一個物體中的點或線具有相同的性質光滑：……計算機圖形學與虛擬現實中，采用“幾何模型”的概念描述現實中的物體的幾何形狀，對物體幾何方面的屬性進行了抽象?！皫缀文Ｐ汀笔俏矬w模型的一個子集。幾何模型的表示方法基本幾何元素包括：點、邊、面、體。主要表示方法線框表示：結構簡單，用頂點和鄰邊表示形體表面表示：在上述基礎上，增加面，從而可以滿足對面的操作參數曲面三角形表示實體表示點表示……實體表示又稱為結構立體幾何表示，一般直接用立體基元表示對象物體，體積表示具有簡潔、可靠的特性，而且有時很容易計算?？臻g占有表示和結構立體幾何表示（CSG）是兩種主要的體積表示方法，其中CSG方法將物體表示為一個三維體積基元的集合和一個布爾運算集：并、交及差，其體積基元有塊、圓柱體、圓錐體和球等。表面或邊界法以Euler定理為基礎的結構規(guī)則，即如果V是多面體的頂角數，E是邊緣數，F是面數，則V–E+F=2,推廣到非簡單連接體為V–E+F=2（B–H），其中B是體的個數，H是“孔”或“柄”的個數。所以在表面或邊界法中，體結點描述景物結構，面結點描述表面特征，邊緣結點提供面，邊緣和頂角間的拓撲信息，頂角結點描述三維頂角的位置等。模型的組織方法（數據結構）數據結構主要是為了描述拓撲關系（即頂點連接關系、面片連接關系等）在設計數據結構時，空間與速度總是一對矛盾。線形表、樹、圖都是可以考慮的結構，在具體構建時，可以使用數組也可以使用指針精心的設計這樣的數據結構對于繪制有很大的好處往往高效的算法是以對存儲空間的占用為代價的繪制過程實際是對上述數據結構的遍歷。關鍵是如何快速的遍歷，查找挑選出需要顯示的物體，將這些內容交給底層進行繪制模型的組織方法（數據結構）模型的組織方法（數據結構）對于“任意”情況，數據結構可能需要存儲額外的信息。例如，如果對構成物體的多邊形的邊數不加限制，每個面表必須顯式存儲每個多邊形邊的數量，而且涉及到大量的內存的申請與釋放對多邊形的凸凹不加限制，額外計算量也很大所以，對多邊形構成的物體，往往對多邊形的類型加以約束，例如采用三角形描述（最簡單的一種凸多邊形）任意的多邊形可以按照一定的方法劃分為多個三角形（計算幾何）[關鍵是算法的效率問題]基于三角面片的模型表示三個頂點的空間坐標用途：空間變換，投影三個頂點的法向量（或面片的整個法向量）用途：光照計算三個頂點的紋理坐標或顏色用途：顯示顏色信息VR中采用的幾何表示方法虛擬現實領域普遍采用的表示方法是表面多邊形（三角形網格）表示法，即以一組表面多邊形來存儲物體的描述，用多邊形描述的通常被稱為“標準圖形物體”。由于所有表面以線性方程形式加以描述，大大簡化并加速了表面的繪制和顯示。也就是說，所有的三維模型都將由點、線、面來構造。3.2虛擬現實幾何建模幾何建模幾何建模形狀建模外觀建模結構建模物理建模剛體建模柔性體建模流體建模行為建模形狀建模要描述虛擬對象的形狀，最基本的任務是利用點、線、面等基本幾何元素表征虛擬對象的外邊界。目前最常用的形狀建模方式可分為顯式表示與隱式表示兩種。其中，顯式表示是指使用點云、網格、體素等表征虛擬對象外邊界的位置與拓撲信息；隱式表示則是指使用曲線曲面等參數方程、距離場（Distancefield）、水平集（Levelset）等方法描述虛擬對象的外邊界。外觀建模虛擬對象的外觀是指區(qū)別于其他虛擬對象的質地特征，如表面反照率、紋理等影響虛擬對象真實感的特征。如果不考慮存儲和計算的開銷，通過增加虛擬對象形狀多邊形的方法可以表征出十分逼真的表面，但由于VR對計算和顯示實時性要求高，實際系統(tǒng)中普遍采用紋理映射(TextureMapping)等技術刻畫虛擬對象的外觀。采用紋理映射技術，一方面可增加細節(jié)層次以及虛擬對象的真實感；二是可減少多邊形的數量，在不影響實時性的同時，增強了虛擬對象和場景的真實效果。結構建模除了要模擬虛擬對象的形狀和外觀，很多時候還需描述虛擬對象的空間結構信息，以體現虛擬對象內部結構或虛擬對象之間的空間關系。以虛擬人體為例，可使用骨架結構表示各關節(jié)間的關系，并應用于人體動畫、人體運動分析、不同人體的匹配等。對復雜的工業(yè)裝備來說，可建立各個組成部分（亦稱部件）的結構關系，從而對不同部分進行控制，以滿足虛擬裝配、拆裝維護等要求。幾何建模幾何建模的常用方法程序構造——利用函數、點線面直接采集——三維掃描儀、視覺建模工具——利用軟件幾何建模幾何建模的常用方法程序構造——利用函數、點線面直接采集——三維掃描儀、視覺建模工具——利用軟件幾何建模幾何建模的常用方法程序構造——利用函數、點線面直接采集——三維掃描儀、視覺建模工具——利用軟件幾何建模中涉及的基本概念層次細節(jié)（LOD）自由度（DOF）實例透明紋理映射材質動畫序列層次細節(jié)技術(LevelofDetail,LOD)LOD技術用一組復雜程度（常常以多邊形數來衡量）各不相同的層次模型來描述對象，并在運行過程中根據一些主客觀標準在這些LOD模型進行切換，從而能夠實時改變場景的復雜度。當視點變化時，所選取的細節(jié)模型可能各不相同，并在模型切換的瞬間產生跳躍的感覺，此時就需要使用過渡算法（比如，瞬時關閉技術和形狀過渡技術）來實現其中的過渡。LOD在地形表示中的應用

顯示地形最理想的情況是僅僅顯示所需的細節(jié)，而用戶卻認為地形是在以最高的分辨率顯示。因此，那些由許多小平面以最高的分辨率建模的地形，我們希望能夠用較少的較大的小平面不斷地代替，直到整個地形被降低為在所需范圍內的最低表示分辨率。層次結構的四叉樹表示NPSNET（NavalPostgraduateSchoolNetwork）使用了四叉樹的存儲策略來實現LOD。它采用了一種動態(tài)模式，可以動態(tài)地調整分辨率和幀速率，即當幀速率降低到某一門限值以下時，調整分辨率邊界值，則較多的地形自動以相對低的分辨率顯示；相反地，當幀速率超過某一門限值時，較多的地形自動以相對高的分辨率顯示。

1km*1km的地形塊地形塊的四叉樹表逸夫館中某窗戶的LOD模型15-0米時選用高級LOD：96個多邊形的窗子，全部幾何建模35-15米時選用中級LOD：34個多邊形的窗子，部分使用紋理視點距窗子75-35范圍時選用低級LOD：2個多邊形的窗子，全部使用紋理視點在室外時僅使用逸夫館外觀模型1800個三角形視點位于某一樓層時，當前樓層中的實體按距離標準選用LOD模型，其它樓層的大部分實體暫不繪制室外室內某一樓層遠距離中距離近距離

0個0個2個34個96個自由度(DegreeOfFree,DOF）紋理貼圖紋理貼圖是一個用圖像、函數或其它數據源來改變表面在每一處的外觀的過程。例如，我們不必用精確的幾何去表現一塊磚墻，而只需把一幅磚墻的圖像貼到一個多邊形上。除非觀察者非?？拷鼔?，否則我們并不會覺得缺少幾何細節(jié)（例如發(fā)現磚頭和泥漿在同一表面上）。既節(jié)省了大量的造型工作量，也節(jié)省了內存空間，加快了繪制速度。“Allittakesisfortherenderedimagetolookright”——JimBlinn紋理貼圖可能的缺陷但是，貼了紋理的磚墻還會出現并非由于缺少幾何細節(jié)而出現的不真實的缺陷。但是：磚是發(fā)亮的(shiny),但是泥漿不是。但我們會發(fā)現磚和泥漿同樣發(fā)亮。為了生成更真實的效果，我們還需要一張鏡面高光紋理貼圖。但是：磚不是平的，其表面通常是粗糙的。我們還需要凹凸紋理（Bumpmapping）廣義紋理貼圖(GeneralizedTexturing)紋理貼圖可看成是一種有效的改變物體表面屬性的一種方法。顏色、高光、凹凸、反射、透明度等等都可采用紋理貼圖。從貼圖圖像中取出相應的值代入光亮度計算方程。計算物體空間位置用投影函數計算(u,v)用對應函數找到紋素應用值變換函數改變方程或Fragment值單個紋理的廣義貼圖流水線采用該復雜流水線的原因：每一步都可給用戶提供有用的控制磚墻紋理貼圖的流水線——計算空間位置磚墻紋理貼圖的流水線——投影函數投影函數把三維空間點轉化為紋理坐標。常用的投影函數：Spherical,Cylindrical,PlanarProjections,參數曲面的(u,v)映射其它：如根據表面法向來確定6個平面投影方向sphericalcylindricalplanar應用應用應用(u,v)磚墻紋理貼圖的流水線——對應函數對應函數把參數空間的值轉化為紋理空間的位置。第一種對應函數:用API選擇一部分紋理（子紋理）進行紋理映射。另一種對應函數：用矩陣變換。由于OpenGL支持4X4矩陣操作，任何API的應用層都可采用這類變換，如平移、旋轉、比例變換、錯切等ImageTexturing在硬件圖形加速卡中，紋理圖像的大小經常為2m×2n(或者2m×2m)的紋素，其中m和n為非負整數。不同的圖形卡有不同的紋理大小上限。若投影得到的象素數目比原始紋理大，則需要把紋理圖像放大(magnification)；若投影得到的象素數目比原始紋理小，則需要把紋理圖像縮小(minification)；OpenGL

mipmapsMipmaps（使用Bi-linear

Interpolation）材質（materials）幾何建模的準則嚴格按照真實數據建立比例對應的幾何模型一般應建立各模型部件的不同層次細節(jié)，以求得漫游性能與模型質量間的均衡效果使用最少的多邊形獲取相同的視覺效果在建模階段即對具有運動特征的模型部件進行優(yōu)化的數據組織，定義基本運動參數幾何建模的常見問題過于注重實體幾何尺寸、表面特性的構建，忽略了更為重要的場景數據庫整體結構的優(yōu)化設計。Z值爭奪問題T型相交問題使用凹多邊形表示實體表面Z值爭奪問題多邊形位置重疊造成的Z值爭奪。即兩個多邊形在空間位置上具有相同的深度值（Z值），導致圖形系統(tǒng)進行場景顯示時使用Z-BUFFER消隱算法無法正確判斷哪一個多邊形應該優(yōu)先顯示，引起畫面閃爍。解決此類問題的方法有多種，如多邊形剪切、子面設置等。NNN是否已經掃描了所有多邊形是否計算了此多邊形所有的像素數YYY幀緩沖區(qū)置成背景色Z緩沖區(qū)置成最小Z值掃描當前多邊形把Z(x,y)存入Z緩沖區(qū)中的(x,y)處把多邊形在(x,y)處的亮度值存入緩沖區(qū)中的(x,y)處移到下一個像素計算多邊形在該像素的深度值Z(x,y)移到下一個多邊形Z(x,y)是否大于Z緩沖區(qū)在(x,y)處的值多邊形剪切算法T型多邊形組合T型多邊形組合。此類問題常見于由二維CAD電子圖板經拉伸操作構成的三維模型中。其導致畫面閃爍的原因與Z值爭奪相似。應在建模過程中避免T型多邊形組合的出現。使用凹多邊形表示實體表面使用凹多邊形表示實體表面。大多數圖形系統(tǒng)都明確規(guī)定，不能使用凹多邊形繪制實體表面。一般地，圖形系統(tǒng)對實體表面的凹多邊形進行自動切分，將一個凹多邊形分解為多個凸多邊形。3.3虛擬現實物理建模物理建模物理建模（Physically-basedModeling，PBM）是虛擬現實中比較高層次的建模，它有機融入物理模型，將虛擬對象的物理屬性加以體現。近年來，除了靜態(tài)的物理屬性，越來越多物理學中動態(tài)過程，如人體運動解算、流體計算、燃燒計算等與VR結合，在虛擬環(huán)境中實現了面部表情的模擬、織物的模擬、爆炸的模擬等。根據虛擬對象的物理性質，可大致分為剛體建模、柔性體建模與流體建模。剛體建模剛體建模適用于僅需考慮位置與方向的改變，而不需要考慮形變的虛擬對象，建模所涉及的內容主要包括剛體的運動、碰撞檢測以及連接和約束等問題。剛體建?！獎傮w的運動僅包含一個部件的剛體運動較為簡單，可以采用牛頓第二定律等刻畫其運動參數及運動。對于包含多個部件的剛體，如人體、手等，相對較為復雜。在刻畫多個部件的剛體運動時，以人體運動為例，可以有關鍵幀方法、運動學方法和動力學方法等。后兩者分別通過使用運動學和動力學方法建立人體運動的物理模型。與運動學方法相比，動力學方法需指定的參數較少，而且對復雜運動過程的模擬更為逼真，但計算量較大，運動控制的難度較大。剛體建模——碰撞檢測剛體的碰撞檢測主要針對對剛體運動中的碰撞進行分析，為加速計算，一般采用樹結構對虛擬環(huán)境中的虛擬對象進行組織，通過空間剖分法或層次包圍盒法建立樹結構?？臻g剖分的策略有均勻剖分、BSP樹、kd樹和八叉樹等,適用于分布比較稀疏均勻的幾何對象間的碰撞檢測。層次包圍盒法利用形狀簡單的包圍盒刻畫復雜的虛擬對象，包圍盒的結構有層次包圍球樹、AABB（Aligned-axisBoundingBox）層次樹、OBB（OrientedBoundingBox）層次樹等，適用于復雜環(huán)境中的碰撞檢測。八叉樹空間剖分AABB層次樹剛體建?！B接和約束連接和約束建模鉸鏈類型的虛擬對象（如門窗、轉動的機械臂）在多個約束情況下的關聯運動問題。關聯運動一般可分為前向關聯運動和反向關聯運動，前向關聯運動研究給出關聯運動中每個關節(jié)的角度和長度，求解關節(jié)末端所能到達的位置；反向關聯運動研究的是給定某個位置，確定已知關節(jié)模型的可達性。柔性體建模柔性體不同于剛體，在外力的作用下會產生形變，建模難度更大。柔性體建模主要關注動力學模型及其迭代求解方法。柔性體建模中常用的動力學模型有連續(xù)體模型、彈簧-質點模型等。柔性體建模——連續(xù)體模型連續(xù)體模型使用本構模型描述不同材料的物理特性，如彈性力、阻尼力等，再使用有限元方法模擬不同形變下的力或能量。此外，為得到更加理想的物理模擬效果，還可使用力傳感、視覺傳感器等采集實際材料的力-形變關系，更加準確地描述虛擬對象的靜態(tài)與動態(tài)特性。連續(xù)體模型主要用于虛擬現實中布料、毛發(fā)、松軟組織、人體器官、肌肉、面部表情的模擬。柔性體建?！獜椈?質量模型彈簧-質點模型將柔性體表面視為離散的質點與連接質點的彈簧組成的規(guī)則網格結構。質點間通過彈簧相連，受到彈簧彈力和阻尼力，遵循胡克定律，即當實際長度大于松弛長度時，彈簧將對兩端的質點產生相向的拉力；反之，在外力作用下變形后，有恢復原樣（松弛狀態(tài)）的傾向。柔性體建?！黧w建模流體建模主要使用計算流體力學模型，如使用納維-斯托克斯（Navier-Stokes，NS）方程建模流體的運動。NS方程常見的迭代求解方法有基于網格的方法和無網格的方法?；诰W格的方法主要使用拉格朗日網格或歐拉網格模擬流體在固定網格單元上的運動，是目前流體模擬的主要方法。但是，基于網格的方法容易產生網格畸變導致計算誤差過大。此外，該方法難以模擬大形變現象，如動態(tài)裂紋擴展、流固耦合等。無網格的方法通過使用一系列任意分布的節(jié)點（或粒子）來求解具有各種邊界條件的NS方程，節(jié)點或粒子之間不需要網格進行連接，因此不僅可以保證計算的精度，還可降低計算的難度。基于網格的流體仿真無網格（SPH）的流體仿真3.4虛擬現實行為建模行為建模VR中的行為建模主要研究虛擬環(huán)境中自治對象建模方法，如游戲中由計算機控制的角色，元宇宙中的人工智能生成的智能體等。早期工作中，行為建模的研究主要在軍事仿真領域，如ModSAF、STOW、WARSIM2000等分布式虛擬戰(zhàn)場環(huán)境中的計算機生成兵力。隨著VR研究與應用的發(fā)展，行為建模已拓展到公共安全、教育、文化娛樂等眾多領域，如應急仿真規(guī)劃系統(tǒng)(EmergencySimulationProgram，ESP）等。近年來，隨著數字孿生和元宇宙等的興起，各類VR應用對自治對象行為的智能水平提出了越來越高的要求。這一領域屬于與人工智能的交叉研究范疇，與生成式人工智能（ArtificialIntelligenceGeneratedContent，AIGC）和應用都有密切的關聯，雖進展緩慢但卻是未來VR發(fā)展的重要關注點。行為建模根據自治對象的類型，可以將行為建模分為個體建模與群體建模兩類。其中，群體又有聚合類對象和自治對象組織兩類。聚合類對象包括多個個體，但可以使用多種解析度來表示。例如，既可以將其當作整體單一的對象，也可將其看作多個個體。根據具體的事件對群體的影響，可以采用不同的解析度。例如，在考察高溫對人群行為的影響時，可以將人群看作一個整體來建模；但在考察火災對人群行為的影響時，需要采用高解析度來建模不同的個體。聚合體對象行為建模主要內容包括計算模型、多解析度表現方法，以及聚合、解聚規(guī)則等。行為建模根據自治對象的類型，可以將行為建模分為個體建模與群體建模兩類。其中，群體又有聚合類對象和自治對象組織兩類。自治對象組織的行為建模更加復雜。自治對象組織是若干獨立存在個體的組織，其中每個個體進行自主決策，同時服從組織的控制。因此，自治對象的行為表現為個體行為和整體組織行為兩個層面，不同層面對行為建模的要求不同。常用行為建模方法有限狀態(tài)自動機自治對象的簡單反應性行為可以采用有限狀態(tài)自動機進行建模。其中，自治對象每種可能的反應動作表示為一個狀態(tài)，發(fā)生的事件控制狀態(tài)間的轉換。采用有限狀態(tài)自動機是軍事仿真中常用的行為建模方法。面向專家系統(tǒng)的建模方法將自治對象看成一個近似的專家系統(tǒng)，將其行為建模看作知識的獲取、表示和推理系統(tǒng)建立的過程，比較適合個體和群體的建模。對確定性知識，采用基于邏輯、規(guī)則、框架的表示，以及相應的推理系統(tǒng)；對不確定性知識，可采用模糊邏輯、神經網絡、基于范例的推理和貝葉斯方法等。此外，還可使用強化學習等方法以提高自治對象的求解復雜問題的能力?；趯＜蚁到y(tǒng)的方法基于Agent的建模方法將人工智能中關于Agent的研究引入VR中，適用于個體和群體的行為建模。相較上述方法，基于Agent的建模方法一方面能夠描述個體對象的自主性、自治性和智能性等特征，如建模個體對象的信念、意圖、愿望等；另一方面Agent之間的通信、協(xié)商、協(xié)作等可以描述自治對象組織的協(xié)作特性。目前，基于Agent的行為建模已得到越來越多的應用?；贏gent的方法3.5虛擬現實建模的特點與評價指標虛擬現實建模的特點由于要實時操控和處理虛擬對象，虛擬現實建模方法與傳統(tǒng)計算機輔助設計中以幾何造型為主的建模有所不同。例如，在計算機輔助設計中，往往通過增加模型的幾何復雜度來提高建模的準確度。但在VR中，更傾向于使用紋理、層次細節(jié)等技術來提升虛擬對象的逼真度。虛擬現實建模的內容相較傳統(tǒng)計算機圖形學中的建模更為豐富，除對虛擬對象的外形、表觀、結構等信息進行表征外，還建模了虛擬對象的物理屬性、行為屬性等，從而為用戶提供具有沉浸感的交互體驗。虛擬現實建模的特點差異虛擬現實建模計算機輔助設計建模計算機圖形學建模特點具有真實感、實時性和交互性，考慮交互性和實現意圖；模型細節(jié)比較少，可以提高實時性具有準確性，較少考慮實時性和交互性；模型細節(jié)較多，可以犧牲實時性來獲得較高的精度具有真實感，較少考慮實時性和交互性；模型細節(jié)較多，渲染效果可以預先計算用戶親身體驗虛擬環(huán)境，身臨其境，能夠交互，無時限限制，可真實詳盡地展示能夠交互，不考慮沉浸感能夠交互，較少考慮沉浸感應用主要用于仿真，需要對用戶輸入做出反應，如飛行訓練、游戲和視景仿真等主要用于工業(yè)制造與仿真計算，如機械零件設計、芯片電路仿真等主要用于影視、流媒體、電子游戲等，以預先設計好的演示為主虛擬現實建模評價指標真實感真實感是度量虛擬對象感知精確程度的指標，包括但不限于視覺真實感、觸覺真實感等；實時性虛擬現實應用要求虛擬對象或場景的顯示幀率不低于某一閾值，否則會影響用戶的視覺感知質量；交互延遲虛擬現實應用對交互延遲有高的要求。響應時間太長會大大影響用戶的體驗；易用性虛擬現實應用對交互延遲有高的要求。響應時間太長會大大影響用戶的體驗；……3.6幾何建模例——點云化簡點云化簡點云的質量取決于采樣密度，然而較大的采樣密度往往導致虛擬對象的幾何復雜度上升，不利于存儲與處理。特別對于存儲與計算資源有限的設備，如移動終端，大規(guī)模點云往往導致較高的交互延遲，降低了用戶的視覺體驗。因此，需要引入點云的化簡技術對其進行優(yōu)化?，F有點云化簡算法迭代法迭代法是指不斷的從點云中去掉按某種標準計算的貢獻值或誤差值最小的點，直到誤差或貢獻值達到閾值為止，從而得到一個子集作為簡化結果。該方法類似于漸近網格的簡化方法。這類方法較為簡單高效，但是不能保證全局采樣點的均勻分布。聚類法是指把輸入點集按照一定規(guī)則進行聚類，劃分成一些小的子集，這些小的子集不能超過給定的上限范圍，如直徑的大小等。如采用基于采樣點層次結構的聚類簡化方法，該方法通過空間二分將點集遞歸地進行劃分聚類。也有方法通過PCA找到關鍵點，然后進行聚類，從而得到保持幾何特征的簡化結果。這類方法簡單且快速，但是誤差較大，且因為沒有優(yōu)化策略，所以結果通常會包含很多多余的點。聚類法粒子仿真法是指通過施加點的斥力使點的分布均勻化的方法。該方法首先在表面隨機分布需要的粒子數，然后通過點的斥力移動粒子的位置直到達到平衡。該類方法能較好地控制采樣密度，但是由于收斂速度較慢，處理大規(guī)模數據時效率較低。粒子仿真法上述三類方法在簡化過程中，將點云中的點看成單純幾何意義上的點，且不能預先指定逼近誤差，因此簡化效果往往不能準確表示虛擬對象的結構，并且難以收斂?；赟plats的點云簡化方法在簡化過程中考慮到點云的繪制圖元的幾何空間影響，并能用預先指定的全局誤差進行控制，得到了較好的簡化效果。以常見的點的繪制圖元splat為例，首先在指定全局誤差下，生成每個采樣點的最大splat；然后采用貪心算法選擇能覆蓋整個表面的最小子集；最后通過全局優(yōu)化算法使所有的splat均勻分布。基于繪制圖元的方法相較上述三類方法能夠取到較好的簡化結果，但是計算復雜，時間開銷較大。改進的算法思想基于MLS和splat的點云化簡方法的核心思想是使用MLS投影算子計算splat的中心點，使得splat與其覆蓋范圍內的原始點云采樣的點的子集之間的誤差和最小。由此得到一個代表鄰域的誤差最小的splat。通過上述方法獲得的所有splat的中心點的集合，就是一個化簡后的點云。整個算法包括兩個步驟：首先，為每個原始點云的采樣點創(chuàng)建對應的splat集；其次，通過貪心算法選擇一組能夠覆蓋整個模型且數量最小的splat集合。選擇標準是循環(huán)選取覆蓋點數增值最大的splat，直到選擇的splat集合能夠覆蓋所有的輸入采樣點集。算法實現創(chuàng)建splat集合MLS投影計算splat中心點Splat覆蓋區(qū)域Splat最小集選擇算法算法實現MLS投影計算splat中心點MLS是根據鄰域點進行局部多項式逼近的方法，MLS投影表示將點投影到MLS逼近的表面上。對輸入點進行MLS投影可以得到代表鄰域的誤差最小的點，將其作為splat中心點，可以得到誤差最小的代表鄰域的splat面，從而得到分布更加合理的splats集。算法實現MLS投影計算splat中心點

接下來，使用協(xié)方差分析來評估法線，其原理主要基于主成分分析。首先根據待求點??及其鄰域點計算其協(xié)方差矩陣??，如下所示：

協(xié)方差矩陣表示了點鄰域內采樣點的分布情況，對其進行特征值分析可以評估其局部表面的屬性。

算法實現splats覆蓋區(qū)域獲得splat的法線和中心點之后，需要知道每個splat的覆蓋面積，這取決于預先指定的全局最大誤差閾值。用splat來代表其覆蓋的鄰域范圍，則鄰域點中某點的誤差即點到splat在法線方向上的距離算法實現splats覆蓋區(qū)域

算法實現splats最小集選擇選擇算法的目的是獲取能覆蓋整個表面的最小splats集。具體地，通過貪心算法不斷地選取覆蓋點數增值最大的splat，直到選擇的splat子集能夠覆蓋所有的輸入采樣點。

算法實現splats最小集選擇算法

實驗結果首先，使用少量的點驗證MLS投影的效果，實驗結果如圖所示。其中，綠色點表示點（藍色點）的最近20個鄰域點，（紅色點）是點的MLS投影點。

可看出，MLS投影點比點更適合用來代表的鄰域。實驗結果接著，在不同幾何復雜度的點云上進行了化簡實驗，化簡結果如表所示?？梢钥闯觯惴梢杂行У鼗喣Ｐ?，且計算時間較短。模型輸入點數

簡化后的點數簡化時間(s)bunny35,9450.2477180.1864130.051,559110.023,150100.014,6166santa75,7810.1638760.022,52540horse100,0