虛擬現(xiàn)實技術3rd

1、虛擬現(xiàn)實技術Virtual Reality Technology汪日偉 天津理工大學 計算機與通信學院題綱第一講 虛擬現(xiàn)實概述第二講 虛擬現(xiàn)實顯示技術計算機三維圖形技術立體圖形顯示技術聲音、力覺顯示第三講 虛擬現(xiàn)實跟蹤技術位置跟蹤器數(shù)據(jù)手套人體運動跟蹤第四講 人體動畫技術虛擬現(xiàn)實的概念模型王兆其，?虛擬環(huán)境中物體運動逼真性的研究?，博士學位論文，北京航空航天大學，1999.6. 第三講 虛擬現(xiàn)實跟蹤技術本講題綱運動跟蹤設備簡介6DOF位置跟蹤器數(shù)據(jù)手套人體運動跟蹤1、運動跟蹤設備簡介運動跟蹤設備：mouse (2D)There are many different kindsWheeled m

2、ouse2-button mouse3-button mouseOptical mouseWireless mouse.The Purpose of a MouseTranslate your hand motion into signals that the computer can use to position a cursor on the screen.Inside a wheeled mouse:The Components of Non-optical MouseA ball Touches the desktop Rolls when mouse moves.Two rolle

3、rs Touch the ball Detect motion directions at 90 degrees to each other.Drive a shaft that spins a disk with holes in it.Optical MouseSame goal, but has no moving parts.Introduced in late 1999.Uses a tiny camera to take 1,500 pictures every second and sees how patterns have moved from previous image.

4、Using the image, it is determined how far the mouse has moved and how far the cursor should move on the screen.Provides increased tracking response that is smoother.Doesnt require a special mouse pad.Problems With Using Mouse for ArtDont have a change in touch sensitivity.Somewhat clunky to move exa

5、ctly as you wish.Really designed as a pointing device, not a drawing device.Dirty mice cause major problems with input.Problems with Carpal Tunnel Syndrome .Need to prevent by usingExercisesGood posture at computerPossibly hand bracesSpecial equipment運動跟蹤設備： Trackball運動跟蹤設備： Graphics TabletOften use

6、d with a mouse also.運動跟蹤設備：6DOF跟蹤器Flock of Bird運動跟蹤設備：數(shù)據(jù)衣采用電磁式位置/姿態(tài)傳感器獲得人體運動軌跡圖雙人徒手搏斗動作示意圖真現(xiàn)實與虛擬現(xiàn)實人體之間的交互示意圖運動跟蹤設備：數(shù)據(jù)衣(無線)數(shù)據(jù)衣與數(shù)據(jù)手套的工作原理相似，但可以檢測出整個身體的運動。VPL 研制出一種使用與數(shù)據(jù)手套相同的光纖系統(tǒng)制成的數(shù)據(jù)衣。大量的光纖安裝在一個緊身衣服上，它能測量肢體的位置，然后用計算機重建出圖象。這種方法是否會在虛擬環(huán)境中占有一席之地還有待考證。但對于涉及到具體工作環(huán)境中人的位置的研究，這種技術是非常重要的。對于數(shù)據(jù)衣生產廠家，一個潛在的問題是，人的外形

7、變化太大。采用兩個或多個攝象機類型的傳感器分辨三維信息。它利用先進的模式識別技術跟蹤頭部位置。運動跟蹤設備：光學式運動捕捉設備工作原理在要跟蹤的物體上貼上反光標簽(Marker)，通過鏡頭發(fā)射和接受指定波長的紅外光，這樣可以獲得Marker的三維運動軌跡。必須保證每個marker 有兩個以上相機觀察到。工作原理運動跟蹤設備：基于圖像系統(tǒng)采用兩個或多個攝象機類型的傳感器分辨三維信息。它利用先進的模式識別技術跟蹤頭部位置。一種四攝像頭的攝影設備一種全場景的光學跟蹤系統(tǒng)運動跟蹤設備：數(shù)據(jù)手套數(shù)據(jù)手套可以把手勢轉化成計算機可識別的數(shù)據(jù)。 由于其合理的性能價格比，數(shù)據(jù)手套已成為最流行的手控制器。在手套反

8、面嵌有光導纖維傳感器，可以監(jiān)視手指伸展情況。在手背上安裝的空間跟蹤系統(tǒng)能監(jiān)視手的位置和方向，并且有一個微處理器來監(jiān)控通過光導纖維的光量以及由空間跟蹤器返回的信息。數(shù)據(jù)手套數(shù)據(jù)手套構成：輸入傳感設備，空間位置跟蹤器作用：抓取、移動、裝配、操縱、控制虛擬物體VPL公司 Data GloveVertex公司Cyber Glove Exos公司 DHM Glove 精度高Mattel公司 Power Glove 價廉5DT公司 Glove5/16運動跟蹤設備簡介：小結2DOF 運動跟蹤設備6DOF 運動跟蹤設備數(shù)據(jù)衣數(shù)據(jù)衣(無線)光學式運動跟蹤(3DOF)基于圖像的運動跟蹤方法數(shù)據(jù)手套2、6DOF 跟

9、蹤器6 DOF跟蹤器6 DOF(自由度, Degree Of Freedom)交流電磁跟蹤系統(tǒng)原理圖實現(xiàn)方法1：交流電磁跟蹤系統(tǒng)由勵磁源、磁接收器和計算模塊組成。勵磁源是由三個磁場方向相互垂直的由交流電流產生的雙極磁源構成, 磁接收器由三套分別測試三個勵磁源的線圈構成。Flock of Bird實現(xiàn)方法2：直流電磁跟蹤系統(tǒng)直流電磁跟蹤系統(tǒng)由發(fā)射器(相當于勵磁源)、接收器(相當于磁接收器)和計算模塊組成。靜態(tài)準確度：靜態(tài)準確度是跟蹤器確定空間某一位置坐標的能力。該數(shù)據(jù)是與單個樣本的參考值相比的最大偏差。動態(tài)準確度：動態(tài)準確度是指在跟蹤器的傳感器運動時系統(tǒng)的準確度。更新率：跟蹤器向輸出端口輸出位置

10、及方向數(shù)據(jù)的能力。等待時間：等待時間是一種速率，系統(tǒng)的獲取局部以該速率獲得新數(shù)據(jù)。更新率與等待時間共同構成了相位延遲反響。相位延遲：在靜態(tài)情況下，或感受器位置變化慢時，計算機的輸出能在準確度限制及計算機分辨率的范圍內跟蹤感受器在空間的絕對位置。當感受器動得很快時，計算機的輸出與感受器的位置就會有一個明顯的誤差。這就是眾所周知的相位延遲。定位：定位是實際位置和方向與報告的位置和方向之間的對應。信號噪聲比：位置方向跟蹤系統(tǒng)的信號噪聲比給出了信號成份相對噪聲成份的簡單表示。性能參數(shù)所受限制電磁跟蹤系統(tǒng)的缺點是對出現(xiàn)在發(fā)射器和接收器系統(tǒng)附近的電子導體(尤其是鐵磁物質)非常敏感。這些鐵磁物質使得發(fā)射器形

11、成的電磁場模式發(fā)生畸變，這種畸變的場會導致跟蹤器計算的位置和方向結果錯誤。實現(xiàn)方法3：聲音定位跟蹤系統(tǒng)利用不同聲源的聲音到達某一特定地點的時間差、相位差、聲壓差等進行定位與跟蹤。一般使用超音速頻率(20kHz以上)以使發(fā)射器發(fā)射的聲音不被周圍的人聽到,從而不至于造成環(huán)境污染。因此，又稱之為超音速系統(tǒng)。兩種根本算法:聲波飛行時間(Time-of-flight)測量法相位相干測量法。聲波飛行時間位置跟蹤器聲波飛行時間設備通過測量聲波飛行時間來確定距離。通過使用多個發(fā)射器和傳感器獲得一系列的距離，便可以計算出接收器的位置和方向。聲波飛行時間位置跟蹤器受幾個因素的限制：聲波每毫秒大約可傳播1英尺，而發(fā)

12、射波的傳播必須在測量開始前完成，只有當波陣面到達傳感器時才可得到有意義的數(shù)據(jù)。這些系統(tǒng)必須允許發(fā)射器在產生脈沖后發(fā)出幾毫秒的聲脈沖并且在新的測量開始前，等待反射脈沖(回聲)消失。所需的時間應乘上發(fā)射器-傳感器的組合數(shù)，因為每一個組合都需要單獨的飛行序列。由于時間飛行設備的較低的數(shù)據(jù)傳輸率，它們在分類誤差上存在缺陷。測量的可靠性依賴于設備檢測被發(fā)射聲波到達的準確時刻的能力。到達的檢測會受到來自磁盤驅動器的周圍噪聲和CRT掃描序列的干擾。空氣流和傳感器閉鎖也會導致分類誤差。進一步的濾波可以補償誤差，但是這種額外的數(shù)據(jù)需求將降低測試更新速度增加滯后。相位相干位置跟蹤器相位相干位置跟蹤器通過比較基準信

13、號與由傳感器檢測到的發(fā)射信號二者的相位來確定距離。由于相位可被連續(xù)地測量，因此相位相干系統(tǒng)能產生較高的數(shù)據(jù)傳輸率。大的數(shù)據(jù)設備可進行屢次濾波以克服環(huán)境干擾的影響而不影響系統(tǒng)的精度、響應性、或者耐久性。聲音位置跟蹤器的評價聲波飛行時間系統(tǒng)小范圍內，聲波飛行時間系統(tǒng)有較好的精確度和響應性。操作范圍擴大時，聲波飛行時間數(shù)據(jù)傳輸率的降低，系統(tǒng)對于歸類誤差的校正能力變差。任何范圍內都容易受到偽聲音脈沖的干擾。統(tǒng)由于每一次測量的都是一個絕對距離，不易產生累積誤差。相位相干系統(tǒng)相位相干系統(tǒng)本質上不易受到噪聲的干擾。具有較高的數(shù)據(jù)傳輸率使此系統(tǒng)能提供改善了的精度、響應性、范圍大和魯棒性。相位相干系統(tǒng)也不易受到

14、偽脈沖的干擾。不能直接測量距離而只能測量位置的變化，容易產生累積誤差?；趥鞲衅鞯奶摂M人上肢運動實時控制初衷：希望使用傳感器，實時記錄真實人體手語運動，以減輕手工編輯手語時的工作量，并到達手語合成中的逼真性要求。虛擬人上肢運動實時控制虛擬人模型虛擬人可以抽象為一個 Articulation (鏈體)，其姿態(tài)可以由以下參數(shù)表示：基準位置 ：表示虛擬人在全局環(huán)境中的位置各關節(jié)的角度 ：表示各骨骼段(segment)相對于它所附骨骼段的方向。對于不同的虛擬人幾體模型，根據(jù)給定的人體姿態(tài)表示參數(shù)，應用運動學方法(平移與旋轉)，都可以計算出虛擬人的姿態(tài)，并應用計算機圖形學的方法顯示這一姿態(tài)。一個姿態(tài)序列

15、組成一個人體運動虛擬人上肢運動實時控制傳感器安放說明：T1所獲取的位置與方向信息是參考值上手臂的信息由逆運動學方法(inverse kinematic)方法計算出來。手腕的信息由數(shù)據(jù)手套獲取。T4可用來感知頭部的運動，暫時不使用。一只手的肩關節(jié)與肘關節(jié)共有 5 個自由度，面上述方法中每只手使用一個 6DOF 傳感器，因此可以完全確定人手的姿態(tài)，而且還可以使用一個多余的自由度進行糾錯或校驗每次傳感器讀取一幀數(shù)據(jù)時，一個 6DOF 傳感器返回的數(shù)據(jù)是它在全局坐標系(發(fā)射器坐標系) 中的位置與方向： (x, y, z, , , )虛擬人上肢運動實時控制傳感器數(shù)據(jù)虛擬人上肢運動實時控制人體上肢姿態(tài)計算

16、方法坐標系世界坐標系 (W坐標系)，即發(fā)射器設備坐標系。T1坐標系，即傳感器T1的本地坐標系。肩關節(jié)初始坐標系 (S0坐標系)肩關節(jié)坐標系 (S坐標系)。肘關節(jié)初始坐標系 (E0坐標系)肘關節(jié)坐標系 (E坐標系)。T2坐標系，即傳感器T2的本地坐標系。對于右手是T3坐標系虛擬人上肢運動實時控制人體上肢姿態(tài)計算方法問題:給定姿態(tài)下，根據(jù)各傳感器在發(fā)射器坐標系中的位置與方向，計算出：肩關節(jié)在身體坐標系(即 T1坐標系)中的 Euler 角肘關節(jié)在當前肩關節(jié)坐標系(即S坐標系)中的 Euler角虛擬人上肢運動實時控制人體上肢姿態(tài)計算方法T2 在 E 坐標系中的位置與方向為 (x0, y0, z0,

17、0, 0, 0 )肩關節(jié) S 在初始時刻(即S0)在 T1 坐標系中的位置與方向為 (x0, y0, z0, 0, 0, 0 )上手臂的長度 |SE| = l假設計算過程中假設以下量。這些量可以通過傳感器校正得到。虛擬人上肢運動實時控制人體上肢姿態(tài)計算方法肘關節(jié)E在S0坐標系中的位置E(S0)其中E(E) = (0,0,0)肘關節(jié)E在S0坐標系中的 Euler 角 eE(S0) 其中RE(E) = (0, 0, 0)計算肘關節(jié)在S0坐標系中的位置與方向虛擬人上肢運動實時控制人體上肢姿態(tài)計算方法設肩關節(jié)S的本地坐標系的三個單位向量在S0坐標系中的表示分別為：XS(S0), YS(S0) , ZS

18、(S0)。那么取：計算肩關節(jié)S在S0坐標系中的 Euler 角虛擬人上肢運動實時控制人體上肢姿態(tài)計算方法計算肩關節(jié) E 在 S 坐標系中的 Euler 角虛擬人上肢運動實時控制小結優(yōu)點：肩與肘共有5個自由度，而一個傳感器有6個自由度，因此，該方法可以完全確定一只手的狀態(tài)，不存在不確定性問題，甚至還可以用多余的一個自由度進行糾錯處理，判斷是否出現(xiàn)了傳感器的滑落。計算速度快，粗略估計達7001000 FPS，可完全實現(xiàn)實時處理缺點：因為沒有考慮鎖骨關節(jié)，因此，當聳肩太厲害時，會引起運動失真虛擬人上肢運動實時控制傳感器校正方法傳感器校正的目的是計算各傳感器在人體上安放的位置與方向，以便確定計算人體姿

19、態(tài)時所需要的所有參量。我們的系統(tǒng)中，校正的目的是測量所有假設量：T2 在 E 坐標系中的位置與方向為 (x0, y0, z0, 0, 0, 0 )肩關節(jié) S 在初始時刻(即S0)在 T1 坐標系中的位置與方向為 (x0, y0, z0, 0, 0, 0 )上手臂的長度 |SE| = l虛擬人上肢運動實時控制傳感器校正方法5 個校正姿態(tài)虛擬人上肢運動實時控制傳感器校正方法根據(jù)各姿態(tài)之間的旋轉關系，求出S0坐標系的 X，Y， Z方向及原點位置姿態(tài)1到姿態(tài)5的旋轉軸與S0坐標系中的XY平面的交點即姿態(tài)1下肘關節(jié)在S0坐標系中的位置，由此可以求出肩關節(jié)到肘關節(jié)的長度，即上手臂的長度。因為人體運動過程中

20、，T2相對于E坐標系不發(fā)生變化。所以，我們可以求姿態(tài)1下，T2在E0坐標系中的方向作為T2在E坐標系的方向，并求T2在E0中的位置作為T2在E的位置。小結優(yōu)點：簡捷缺點：有時不太穩(wěn)定，特別是左右兩手難于保持完全一致！因此，還需要找更好的校正方法。虛擬人上肢運動實時控制傳感器校正方法3、數(shù)據(jù)手套Anatomical Definitions of the Human Hand數(shù)據(jù)手套及其虛擬手模型我們使用的數(shù)據(jù)手套每只手有18個傳感器，根本上是每個手 的每個自由度都有一個角度傳感器用來獲取它的關節(jié)角度。但有一個例外，即除拇指外的其余4個手指的外展只用了三角度傳感器，用來測量它們的三個張開角度。多余

21、的一個傳感器用余測量手掌的弓形(我們不用)手指關節(jié)角度計算每從數(shù)據(jù)手套讀取數(shù)據(jù)時，所讀取的數(shù)據(jù)是當前姿態(tài)下，每個指關節(jié)的一個8位模擬量 (0255)，將其轉換成角度的根本公式為：Angle = Gain * (A/D_value - Offset)其中Offset 是偏移量，Gain是比例因子，這兩個值都需要通過數(shù)據(jù)手套校正完成。說明：因為人的手及數(shù)據(jù)手套變形較小，因此，對于每個人，只需要進行一次校正，以后可以屢次重復使用。而傳感器的校正在每次重新配戴或傳感器滑動時，都需要重新校正。例外處理-手指外展MI = (middle-index abduction sensor value - middle offset) * middle abduction gain. RM = (ring-middle abduction sensor value - ring offse