虛擬現(xiàn)實的硬件與軟件基礎(chǔ)

第二章虛擬現(xiàn)實硬件與軟件基礎(chǔ)虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第1頁高性能計算機；廣角（寬視野）立體顯示設(shè)備；觀察者（頭、眼）跟蹤設(shè)備；人體姿勢跟蹤設(shè)備；立體聲；觸覺、力覺反饋；語音輸入輸出等。2.1概論虛擬現(xiàn)實硬件設(shè)備:虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第2頁交互性

是虛擬現(xiàn)實系統(tǒng)首要特征。為了允許人機交互，必須使用特殊人機接口與外部設(shè)備，既要允許用戶將信息輸入到計算機，也要使計算機能反饋信息給用戶。今天VR外部設(shè)備在功效和目標上各不相同。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第3頁比如：身體運動由3-D位置跟蹤器跟蹤；手勢由傳感手套數(shù)字化；視覺反饋發(fā)送給立體顯示器；虛擬聲音由3-D聲音生成器計算；觀察方向隨跟蹤球和操縱桿改變等。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第4頁虛擬現(xiàn)實應(yīng)用系統(tǒng)特點：含有靈活性、可移植性與實時交互特征。本章內(nèi)容：將描述一些虛擬現(xiàn)實硬件設(shè)備及其軟件，并分別講述其功效、特征以及當(dāng)前不足。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第5頁2.2VR硬件系統(tǒng)集成虛擬現(xiàn)實（VR）系統(tǒng)集成關(guān)鍵技術(shù)：虛擬現(xiàn)實系統(tǒng)中通常包括大量需要處理來自各種設(shè)備感知信息、模型和數(shù)據(jù)，所以，建立一個以計算機為核心、將多種I/O交互設(shè)備協(xié)調(diào)組合在一起硬件平臺，是VR系統(tǒng)集成關(guān)鍵技術(shù)。計算機系統(tǒng)作用：實時處理、數(shù)據(jù)輸入/輸出、虛擬境界管理和生成等功能。計算機系統(tǒng)功能：（1）要保障虛擬三維場景實時計算和顯示，盡量降低延遲；(2)其次還要協(xié)調(diào)各種I/O交互設(shè)備之間工作，以確保系統(tǒng)整體運行性能。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第6頁當(dāng)前虛擬現(xiàn)實計算機系統(tǒng)能夠是PC機、工作站和超級計算機等，而且多數(shù)情況下都采取各種機，并以各種方式連接。

PC機和工作站比較：

（1）PC機普通只能用于低級VR系統(tǒng)，這主要是因為與工作站和超級計算機相比，它圖形和聲音處理功效都是有限。

（2）工作站專門用于虛擬現(xiàn)實系統(tǒng)中，它含有多個處理器，方便深入增強整體系統(tǒng)結(jié)構(gòu)，其中有系統(tǒng)能夠允許一百多個處理器同時運行一個程序，從而使VR系統(tǒng)性能到達最正確。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第7頁虛擬現(xiàn)實集成系統(tǒng):是指在工作站或者PC機上工作不一樣組合虛擬現(xiàn)實硬、軟件工具包。它提供了一套緊湊設(shè)備，在此系統(tǒng)內(nèi)，虛擬世界可被創(chuàng)造、仿真和可視，還能經(jīng)過這些集成設(shè)備取得浸入式體驗。下面以VIEW（VirtualInterfaceEnvironmentWorkstation）為例，介紹VR系統(tǒng)平臺。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第8頁VIEW系統(tǒng)組成

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第9頁

VIEW由一組由計算機控制I/O子系統(tǒng)組成：它以HP企業(yè)HP900／835為主，圖形處理采取SGI企業(yè)圖形計算機或HPSRX圖形系統(tǒng)配置了Plohemus空間跟蹤系統(tǒng)來跟蹤使用者手部位置，配置了LEEP廣角立體視景頭戴顯示器和單色液晶顯示器，雙屏顯示器三維場景由遙控攝像機獲取，且視景可伴隨操作者視線（頭部位姿）改變；頭盔上有一個麥克風(fēng)方便作語音識別，兩個耳機進行三維聲音跟蹤，Convolvotron三維音頻輸出設(shè)備則使整個虛擬環(huán)境附有立體聲音響；VPL數(shù)據(jù)手套用于識別使用者手勢控制系統(tǒng)行為，使操作者能夠借助語音、手語（手指動作組合姿態(tài)由數(shù)據(jù)手套Dataglove形成）與環(huán)境交互；同時還配置了BOOMCRT顯示器及FakeSpace遠程攝像系統(tǒng)。這些子系統(tǒng)分別提供虛擬環(huán)境所需各種感覺通道識別和控制功效。使用者“置身”于這么VR環(huán)境，周圍是預(yù)先定義好虛擬物體及三維空間聲響效果，從而為各類VR應(yīng)用系統(tǒng)研發(fā)提供了一個方便。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第10頁VIEW系統(tǒng)應(yīng)用：遠程機器人控制，復(fù)雜信息管理及人類諸原因研究。當(dāng)前大多數(shù)虛擬現(xiàn)實系統(tǒng)硬件體系結(jié)構(gòu)都由VIEW發(fā)展而來。同時，這種以基于LCD頭盔顯示器、數(shù)據(jù)手套及頭部跟蹤器為特征硬件體系結(jié)構(gòu)也己成為當(dāng)今虛擬現(xiàn)實系統(tǒng)主流。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第11頁2.3VR三維跟蹤傳感設(shè)備

三維交互設(shè)備作用：把各種信息輸入計算機，并向用戶提供對應(yīng)反饋，它們是使參加者能以人類自然技能與虛擬環(huán)境交互必要工具。三維交互設(shè)備分類：依據(jù)傳感渠道以及在功效和目標上不一樣，虛擬現(xiàn)實系統(tǒng)三維交互設(shè)備主要被分為三維跟蹤傳感設(shè)備，立體顯示設(shè)備、手數(shù)字化設(shè)備、聲音設(shè)備以及系統(tǒng)集成設(shè)備等幾大類。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第12頁虛擬現(xiàn)實技術(shù)是在三維空間中與人交互技術(shù)，為了能及時、準確地獲取人動作信息，需要有各類高精度、高可靠跟蹤定位設(shè)備。傳感器技術(shù)，它是VR系統(tǒng)中實現(xiàn)人機之間溝通極其主要通信伎倆，是實時處理關(guān)鍵技術(shù)。當(dāng)前虛擬現(xiàn)實系統(tǒng)使用仍是多年來慣用方法，其經(jīng)典工作方式是，固定發(fā)射器發(fā)射出電磁信號，該信號被附在用戶頭上機動傳感器截獲，傳感器接收到這些信號后進行解碼，確定發(fā)射器與接收器之間相對位置及方位，信號隨即傳輸?shù)綍r間運行系統(tǒng)進而傳給三維圖形環(huán)境處理系統(tǒng)。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第13頁2.3.1電磁波跟蹤器

原理：它使用一個信號發(fā)生器（3個正交線圈組）產(chǎn)生低頻電磁場，然后由放置于接收器中另外三組正交線圈組負責(zé)接收，經(jīng)過取得感生電流和磁場場強9個數(shù)據(jù)來計算被跟蹤物體位置和方向（如圖）。特點：體積小、價格廉價、用戶運動自由，而且敏感性不依賴于跟蹤方位，不過其系統(tǒng)延遲較長，跟蹤范圍小，且準確度輕易受環(huán)境中大金屬物體或其它磁場影響。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第14頁慣用電磁波跟蹤器多數(shù)電磁波跟蹤器采取交流磁場（如Polhemus跟蹤器），但也有采取直流磁場（如Ascension跟蹤器）交變電磁跟蹤系統(tǒng)對傳感器或接收器附近電磁體較為敏感，它會因為周圍環(huán)境中金屬或鐵磁性物質(zhì)而產(chǎn)生渦旋電流和干擾性次磁場，從而造成信號發(fā)生畸變，跟蹤精度降低。

直流電磁跟蹤系統(tǒng)只是在測量開始時產(chǎn)生渦旋電流而在穩(wěn)定狀態(tài)下衰減為零，這就降低了畸變磁場產(chǎn)生率，使跟蹤準確度大大提升。且能夠確保在較大操作范圍內(nèi)高靈敏度。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第15頁2.3.2超聲波跟蹤器

工作原理：發(fā)射器發(fā)出高頻超聲波脈沖（頻率20kHz以上）后，由接收器計算收到信號時間差、相位差或聲壓差等，就能夠跟蹤物體距離和方位了。特點：性能適中，成本低廉，而且不會受外部磁場和大塊金屬物質(zhì)干擾，敏感性卻輕易受接收器方位和空氣密度影響。分類：按照測量方法不一樣，分為飛行時間測量法和相位相干測量法。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第16頁聲波飛行時間跟蹤原理：經(jīng)過測量聲波飛行時間延遲來確定距離。它同時使用多個發(fā)射器和接收器，方便取得一系列距離量，從而計算出準確位置和方向。聲波飛行時間跟蹤特點：含有很好準確度和響應(yīng)性；易受到外界噪音脈沖干擾，同時數(shù)據(jù)傳輸率還會伴隨監(jiān)測范圍擴大而降低，適合用于小范圍內(nèi)操作環(huán)境。相位相干跟蹤原理：經(jīng)過比較基準信號和傳感器監(jiān)測到發(fā)射信號之間相位差來確定距離。相位相干跟蹤特點：含有較高數(shù)據(jù)傳輸率、可確保系統(tǒng)監(jiān)測精度、響應(yīng)性以及耐久性等，而不受到外界噪聲干擾。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第17頁2.3.3光學(xué)跟蹤器光學(xué)跟蹤器能夠使用自然光、激光或紅外線等作為光源，但為防止干擾用戶觀察視線，當(dāng)前多采取紅外線方式。優(yōu)點：可工作范圍較小、其數(shù)據(jù)處理速度、響應(yīng)性都非常好，適合用于頭部活動范圍相當(dāng)受限但要求含有較高刷新率和準確率實時應(yīng)用。光學(xué)跟蹤傳感器結(jié)構(gòu)實現(xiàn)方法通常有兩種：“由外向內(nèi)”方式和“由內(nèi)向外”方式。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第18頁“由外向內(nèi)”方式特點和原理：傳感器是固定，發(fā)射器是可移動。它通常是利用置于已知位置多臺攝影機或攝像機，追蹤放置在被監(jiān)測物體表面紅外線發(fā)光二極管位置，并經(jīng)過觀察多個目標來計算它方位?！坝赏庀騼?nèi)”方式不足：這類光學(xué)跟蹤器采取了昂貴信號處理器硬件，所以它主要用于飛機座艙模擬?！坝蓛?nèi)向外”方式特點和原理：發(fā)射器是固定，而傳感器是可移動。因為在此種方式中，多個傳感器能夠由一組發(fā)射器支持，因而在定點傳送系統(tǒng)跟蹤多個目標時候，含有比“由外向內(nèi)”方式更優(yōu)異性能。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第19頁2.3.4其它空間跟蹤系統(tǒng)1.機械跟蹤器：通常把參考點和跟蹤體直接經(jīng)過連桿裝置相連。它采用鋼體框架，一方面可以支撐觀察設(shè)備，其次可以測量跟蹤體位置和方位。這種跟蹤器精度和響應(yīng)性適中，不受電磁場影響，但活動范圍十分有限，而且對用戶有一定機械束縛。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第20頁2.慣性跟蹤器：

慣性跟蹤器也是采取機械方法，其原理是利用小型陀螺儀測量被監(jiān)測物在其傾角、偏角和轉(zhuǎn)角方面數(shù)據(jù)。它不是一個六自由度設(shè)備，但在不需要位置信息場所還是十分有用。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第21頁3.圖像提取跟蹤器：原理:由一組（兩臺或兩臺以上）視頻攝像機拍攝人及其動作，然后經(jīng)過圖像處理技術(shù)運算和分析來確定人位置及動作。優(yōu)點:作為一個高級采樣識別技術(shù)，圖像提取跟蹤設(shè)備計算密度高，又不會受附近磁場或金屬物質(zhì)影響，而且對用戶沒有運動約束，因而在使用上含有極大方便。缺點:因為圖像提取跟蹤設(shè)備是經(jīng)過比較已知采樣位置和傳感采樣來確定位置，因而對監(jiān)測物體距離和監(jiān)測環(huán)境燈光照明系統(tǒng)要求較高，通常遠距離物體或過強、過弱照明都會降低采樣識別系統(tǒng)準確度。另外，較少數(shù)量攝像機可能使監(jiān)測環(huán)境中物體（包含參加者）出現(xiàn)在攝像機視野中被屏蔽現(xiàn)象，而較多數(shù)量攝像機又會增加采樣識別算法復(fù)雜度和系統(tǒng)冗余度。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第22頁2.3.5對跟蹤傳感設(shè)備評價

跟蹤裝置性能指標主要包含：（1）等候時間（即延遲）指從采樣開始到數(shù)據(jù)能夠處理之前時間間隔；我們要求跟蹤設(shè)備系統(tǒng)延遲應(yīng)足夠短，因為長延遲會影響沉醉效果。（2）位置精度即實際位置與測量位置之間偏差；偏差越小，伴隨用戶動作產(chǎn)生模擬效果就越好。（3）分辨率即設(shè)備能檢測到最小位移；另外還有取樣率、運行約束、環(huán)境隔離要求等指標。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第23頁表3種慣用跟蹤技術(shù)主要性能指標跟蹤器類型分辨率精度延遲跟蹤范圍電磁波1mm0.03mm3mm0.1mm50ms半徑<1.6m半球形超聲波10mm0.5mm依空氣密度改變30ms4～5m光學(xué)2rnrn0.02mm1rnrn＜1ms4～8m（可擴展至14m）跟蹤器類型分辨率精度延遲跟蹤范圍電磁波1mm0.03mm3mm0.1mm50ms半徑<1.6m半球形超聲波10mm0.5mm依空氣密度改變30ms4～5m光學(xué)2rnrn0.02mm1rnrn＜1ms4～8m（可擴展至14m）跟蹤器類型分辨率精度延遲跟蹤范圍電磁波1mm0.03mm3mm0.1mm50ms半徑<1.6m半球形超聲波10mm0.5mm依空氣密度改變30ms4～5m光學(xué)2rnrn0.02mm1rnrn＜1ms4～8m（可擴展至14m）跟蹤器類型分辨率精度延遲跟蹤范圍電磁波1mm0.03mm3mm0.1mm50ms半徑<1.6m半球形超聲波10mm0.5mm依空氣密度改變30ms4～5m3光學(xué)2mm0.02mm1mm＜1ms4～8m3（可擴展至14m3）虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第24頁2.4VR立體顯示設(shè)備

對虛擬世界沉醉感主要依賴于人類視覺感知。人眼立體視覺效應(yīng)原理:當(dāng)人在現(xiàn)實生活中觀察物體時，雙眼之間6～7cm距離（瞳距）會使左、右眼分別產(chǎn)生一個稍有不一樣圖像（即體視差），我們大腦經(jīng)過分析后會把這兩幅圖像融合為一幅畫面，并由此取得距離和深度感覺。比較慣用顯示設(shè)備主要有立體眼鏡、頭盔顯示器、雙目全方位顯示器以及大屏幕立體投影等。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第25頁2.4.1頭盔顯示器（Head一Mounted3DDisplay，HMD）

HMD是專為用戶提供虛擬現(xiàn)實中立體景物顯示器。

HMD工作原理：它通常被固定在用戶頭部，由兩個LCD或CRT顯示器分別向兩只眼睛提供圖像，這兩個顯示器中圖像由計算機分別驅(qū)動，屏上兩幅圖像存在著細小差異，類似于“雙眼視差”，大腦將融合這兩個視差圖像以取得深度感知。HMD特點：它能夠使參加者暫時與真實世界隔離開，而處于完全沉醉狀態(tài)。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第26頁雙眼局部重合頭盔顯示器光學(xué)模型虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第27頁安裝在頭盔上顯示器能夠包含：陰極射線管（CRT）、液晶顯示（LCD）、發(fā)光二極管（LED）、熒光管、液晶開關(guān)顯示器以及微機械硅顯示器等各種顯示技術(shù)。現(xiàn)階段最為慣用是CRT和LCD兩種，其中，CRT顯示器含有較高分辨率，而LCD顯示器含有很好亮度，預(yù)計微機械硅顯示器將成為今后新型HMD顯示部件發(fā)展主流。與立體眼鏡等顯示設(shè)備相比，頭盔顯示器即使價格昂貴，但卻含有很好沉醉感，而且用戶走動自由。當(dāng)然，它也存在著諸如約束感較強、LCD分辨率偏低，失真較大等問題。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第28頁衡量頭盔顯示器性能規(guī)格參數(shù)及其含義：（1）逼真立體視覺（雙眼視覺）

“逼真”指所看到景象中全部點方位角和俯仰角與原始圖像中對應(yīng)點都一樣。

“逼真立體視覺”要求兩眼所看到兩幅圖像同時符合“逼真”這個條件。

（2）視場

視場即人眼能夠看到視覺范圍大小，它對VR系統(tǒng)影響包含兩個方面：總視場角和視場重合角。

視場是沉醉感關(guān)鍵原因，是衡量光學(xué)系統(tǒng)性能好壞主要參數(shù)。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第29頁衡量頭盔顯示器性能規(guī)格參數(shù)及其含義（3）分辨率人眼在視網(wǎng)膜中心部分分辨率較高，大約為1弧分左右，而伴隨距離中心點越來越遠，其分辨率也會越來越低。（4）透射率

頭盔顯示器又能夠分為“看穿”式和非“看穿”式兩種。戴上“看穿”式顯示器，用戶能夠同時看到計算機產(chǎn)生圖像和真實外部景象。戴上非“看穿”式顯示器時，用戶就只能看到由計算機生成圖像了。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第30頁衡量頭盔顯示器性能規(guī)格參數(shù)及其含義(5)重合率

雙眼圖像重合在一起部分，我們稱之為雙目重合區(qū)。局部重合式頭盔顯示器能夠在不降低分辨率前提下，提供更寬視場。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第31頁衡量頭盔顯示器性能規(guī)格參數(shù)及其含義（6）重量理想頭盔顯示器不但應(yīng)確保前后兩部分保持平衡（不要前重后輕），而且其重量應(yīng)該是和一副眼鏡差不多，這么能夠盡可能降低使用者疲勞和不適感。（7）人原因決定頭盔顯示器性能很多參數(shù)之間是存在相互制約關(guān)系。在設(shè)計和購置頭盔顯示器時，一定要將硬件規(guī)格和參數(shù)、系統(tǒng)本身應(yīng)用需求以及造價成本等多方面原因給予綜合考慮，選擇適當(dāng)產(chǎn)品。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第32頁虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第33頁2.4.2雙目全方位顯示器(BOOM）BOOM（Binocu1arOmniorientationMonitor）是一個可移動式顯示器。

BOOM特點：有兩個相互垂直機械臂支撐、有實時觀察和交互能力。

BOOM優(yōu)點：分辨率高于HMD，且圖像柔和；系統(tǒng)延遲小，且不受磁場和超聲波背景噪音影響；應(yīng)用方便靈活。BOOM缺點：使使用者運動受限，這是因為在工作空間中心支撐架造成了“死區(qū)”，所以BOOM工作區(qū)要去除中心大約0.5m2空間范圍。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第34頁2.4.3CRT終端——液晶光閘眼鏡工作原理：由計算機分別產(chǎn)生左、右眼兩幅圖像，經(jīng)過合成處理后，采取分時交替方法顯示于CRT終端上。用戶則佩帶一副與計算機相連液晶光閘眼鏡，眼鏡左、右鏡片在驅(qū)動電信號作用下，將以與圖像顯示同時速率交替“開”（透光）、“閉”（遮光），即當(dāng)計算機顯示左眼圖像時，右眼透鏡將被遮閉，而當(dāng)計算機顯示右眼圖像時，左眼透鏡則被遮閉。這么做能夠讓用戶左、右眼分別只看到對應(yīng)左、右圖像。依據(jù)雙目視差與深度距離正比關(guān)系，人視覺生理系統(tǒng)就能夠自動將這兩幅視差圖像融合成一個立體視像了。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第35頁CRT終端液晶光閘眼鏡優(yōu)缺點：相對于頭盔顯示器或BOOM而言，液晶光閘眼鏡是一個非常廉價立體顯示設(shè)備。它極其短促光柵開／關(guān)時間和監(jiān)視器高刷新率形成了無閃爍圖像，使得這種圖像比基于LCD頭盔顯示器要清楚得多，而且長時間觀察也不會令人疲憊。同時，立體眼鏡重量輕，使用舒適，其操作范圍最遠可離監(jiān)視器6m，不過，因為光柵過濾器泄漏一部分光，所以使用者看到圖像亮度不如普通屏幕好，且因為使用者沒有與顯示器相聯(lián)，無法感覺到是被虛擬世界包圍，因而沉醉感較差，通常只在桌面式VR系統(tǒng)或一些多用戶環(huán)境下應(yīng)用，比如科學(xué)可視化和極細微外科手術(shù)等。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第36頁2.4.4大屏幕投影——液晶光閘眼鏡將CRT終端顯示改為大屏幕投影顯示就得大屏幕投影液晶光閘眼鏡。用于投影CRT或數(shù)字投影機要求含有極高亮度和分辨率，它適合于在較大視野內(nèi)產(chǎn)生投影圖像應(yīng)用需求。美國芝加哥大學(xué)研制CAVE系統(tǒng)，結(jié)構(gòu)了一個由4面投影屏幕形成立方體虛擬環(huán)境，又叫“洞穴”。各屏幕（背投式）同時顯示從某一固定觀察點看到全部視像，由此提供一個全景式環(huán)境。該系統(tǒng)需要復(fù)雜而昂貴計算機投影控制系統(tǒng)：它通常采取球面大屏幕，投影機位于球心，含有與雙攝像機立體觀察器相同俯仰和偏轉(zhuǎn)兩個位置，并一直保持以觀察者為正前方在球屏上對應(yīng)移動，從而形成一定視景圍繞感。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第37頁大屏幕投影—（液晶光閘眼鏡）顯示

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第38頁2.5手數(shù)字化設(shè)備

普通跟蹤、探測設(shè)備都含有簡單、緊湊和易于操作等優(yōu)點，但因為它們本身結(jié)構(gòu)限制，使操作者手活動自由度僅限于在桌上一個小區(qū)域中，減弱了它與虛擬世界交互作用直觀性。VR技術(shù)一項重大突破就是用手來代替鍵盤、鼠標，作為人與計算機交互一個主要伎倆。借助各種專用手數(shù)字化設(shè)備，操作者不但能夠取得大范圍基于手勢交互操作，同時經(jīng)過感知單個手指運動還能夠增加人在虛擬空間中自由度和靈活性。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第39頁2.5.1.1VPL數(shù)據(jù)手套數(shù)據(jù)手套由來：最早傳感手套是由VPL企業(yè)開發(fā)，叫做DataGlove，所以通常又把傳感手套叫做數(shù)據(jù)手套。數(shù)據(jù)手套由很輕彈性材料組成，緊貼在手上。該系統(tǒng)包含位置/方向傳感器和沿每個手指背部安裝一組有保護套光纖導(dǎo)線，它們檢測手指和手運動。DataGlove工作原理：作為傳感器光纖能夠測量每個手指彎曲和伸展；磁性位置/方向傳感器則如同電磁跟蹤器一樣，這種傳感器測量手絕對位置（x，y，z）和三個轉(zhuǎn)角方向（轉(zhuǎn)動、俯仰、搖擺）。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第40頁詳細：作為傳感器光纖能夠測量每個手指彎曲和伸展。每條光纖從控制器線路板引出，經(jīng)過一長段軟管抵達手套上腕部固定器。從這里，光纖導(dǎo)線延伸到手指上，經(jīng)過手指關(guān)節(jié)，然后回到腕部固定器和控制器。在控制器內(nèi)部，每根光纖導(dǎo)線一端配置一個發(fā)光二極管，而其另一端連接一個光傳感器?？刂茊卧褟墓鈧鞲衅髂抢锝邮盏侥芰哭D(zhuǎn)變成電信號。當(dāng)彎曲手指時，發(fā)光二極管光經(jīng)過光纖導(dǎo)線從導(dǎo)線保護套裂縫或切口逸出。關(guān)節(jié)越彎曲，光纖逸出越多，抵達光傳感器光越少。光量多少就反應(yīng)了手指彎曲程度。計算機依據(jù)光電信號數(shù)據(jù)算出手指和關(guān)節(jié)彎曲程度。每個手指最少有兩條光纖導(dǎo)線，一條檢測手指下部關(guān)節(jié)，另一條檢測手指中間關(guān)節(jié)。因為拇指只有兩個關(guān)節(jié)，大拇指上僅有一條光纖導(dǎo)線。為了增加檢測準確度，每個手指上可再增加一條或幾條光纖導(dǎo)線。但不論添加多少光纖導(dǎo)線，這種方法只能測量手指活動。在DataGlove中，第二個測量儀器是一個磁性位置/方向傳感器，如同在前面電磁跟蹤器一樣，這種傳感器測量手絕對位置（x，y，z）和三個轉(zhuǎn)角方向（轉(zhuǎn)動、俯仰、搖擺）。這兩種方法結(jié)合使計算機能夠跟蹤手所作出任何動作。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第41頁DataGlove利用：數(shù)據(jù)手套由主機經(jīng)過25條指令集進行控制，測量十個關(guān)節(jié)（五個和手掌相連指骨、一個大拇指關(guān)節(jié)和四個其它指骨關(guān)節(jié)），并有附加傳感器來測量外展肌和小關(guān)節(jié)。數(shù)據(jù)統(tǒng)計則以30～60Hz速率傳送。數(shù)據(jù)手套有大、中、小三種型號手套。當(dāng)安裝不正確手套時需要頻繁地重新校正尺寸。用同時命令能夠使用左、右手套。當(dāng)兩個跟蹤系統(tǒng)被同時使用時，我們就不得不對各自傳輸器進行改進。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第42頁2.5.1.2PowerGlove手控器PowerGlove手控器是Mattel為家庭視頻游戲市場而設(shè)計，普通用于游戲機，現(xiàn)已停產(chǎn)。其性能比用于其它行業(yè)同類產(chǎn)品要低得多。PowerGlove使用基于有一恒定彈力塑料張力測量儀（Amtec企業(yè)生產(chǎn)這種包有0.6mm特殊配方油墨聚酯條透明物質(zhì)）。PowerGlove原理：手是由安裝在手套背部超聲發(fā)生器來定位，它發(fā)出超聲波由三個超聲波接收器輪番接收，并測得接收時間，最大測量范圍是1.524m。PowerGlove特點：在手套上安裝一個控制板，板上有“開始”及四個方向鍵。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第43頁2.5.1.3CyberGloveCyberGlove是由Virtex（VirtualTechnologies）企業(yè)開發(fā)，是CyberCAD虛擬設(shè)計環(huán)境中虛擬技術(shù)一個理想接口設(shè)備，可被廣泛應(yīng)用來創(chuàng)建、終止、定位三維物體。

CyberGlove含有22個傳感器，每個手指有三個彎曲傳感器和一個外展肌傳感器。它是一個高精度設(shè)備，能夠提供準確而連續(xù)輸出。CyberGlove特點：（1）傳感器輸出僅依賴手指關(guān)節(jié)角度，而與關(guān)節(jié)突出無關(guān)，所以每次戴手套時，校正數(shù)據(jù)均不變。（2）傳感器輸出和彎曲角度成線性關(guān)系，所以對于關(guān)節(jié)彎曲極點，分辨率不會下降。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第44頁幾個常見數(shù)據(jù)手套虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第45頁2.5.2三維鼠標

普通鼠標只能感受在平面運動，而立體鼠標能夠感受用戶在六個自由度運動，包含三個平移參數(shù)和三個旋轉(zhuǎn)參數(shù)。立體鼠標稱為spacemouse，如3Space企業(yè)Spaceball，也有些人把它稱為cubicmouse。下面介紹幾個簡單三維鼠標：

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第46頁三維鼠標虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第47頁三維鼠標虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第48頁2.6其它交互設(shè)備2.6.1觸摸和力反饋裝置（Touch/ForceFeedback）問題提出在VR系統(tǒng)中，能否讓用戶產(chǎn)生“沉醉”效果關(guān)鍵原因之一是用戶能否用他／她手或身體其它部分去操作虛擬物體，并在操作同時能夠感覺到虛擬物體反作用力。數(shù)據(jù)手套能夠?qū)崟r生成手與物體靠近和遠離圖像。不過到今天為止，商品化數(shù)據(jù)手套都不提供觸覺反饋作用，這就極難讓用戶有手真抓到物體和推進物體感覺，于是觸摸和力反饋裝置也就應(yīng)運而生了。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第49頁觸覺是人們用于感知外部世界一大感覺通道，它由觸摸反饋感知和力量反饋感知兩大部分組成。

當(dāng)前，已經(jīng)有相當(dāng)數(shù)量觸摸和力量反饋裝置允許用戶在虛擬環(huán)境中與物體接觸。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第50頁1.觸摸反饋裝置當(dāng)前最慣用一個模擬觸摸反饋方法就是使用氣壓法或振動法數(shù)據(jù)手套。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第51頁氣壓法是使用小空氣袋作為傳感裝置。

在手套上有20～30個空氣袋放在對應(yīng)位置，當(dāng)發(fā)生虛擬觸摸時，這些小型氣袋能夠經(jīng)過空氣壓縮泵充氣和放氣而被快速地加壓或減壓。同時，由計算機中存放相關(guān)力模式數(shù)據(jù)來決定各個氣袋在不一樣狀態(tài)下氣壓值，以再現(xiàn)觸碰物體時手各個部位觸覺感受及其受力情況。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第52頁振動法

是用小振動換能器實現(xiàn)。換能器通常是利用狀態(tài)記憶合金制成，當(dāng)電流經(jīng)過這些換能器時，它們就會發(fā)生形變和彎曲。我們能夠依據(jù)需要把換能器做成各種形狀后，安裝在皮膚表面各個位置上。利用高性能換能器有可能產(chǎn)生對虛擬物體光滑度、粗糙度感覺。與氣袋不一樣是：換能器幾乎能夠立刻對一個控制信號做出反應(yīng)，這使得它們適合于產(chǎn)生不連續(xù)、快速感覺。而氣袋產(chǎn)生力反饋比狀態(tài)記憶合金要慢些、強些，更適合表現(xiàn)一些遲緩、柔和力。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第53頁2.力量反饋裝置力量反饋裝置意義：不但有利于增強虛擬交互逼真性而且能夠說有時它也是一個必需設(shè)備。

力量反饋裝置工作原理：經(jīng)過機械或其它動力推進和刺激使用者手，腕、臂、肘、肩等部位，使之產(chǎn)生對應(yīng)觸覺感知。力量反饋裝置類型：力感反饋操縱桿、吊掛式機械手臂、桌面式多自由度游戲棒以及可獨立作用于每個手指手控力反饋裝置等。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第54頁PHANTOM3.0是美國SensAble企業(yè)研制開發(fā)，是一個可編程、含有觸覺及力反饋功效裝置。當(dāng)PHANTOM機械臂在工作空間中運動時，就會在計算機屏幕上出現(xiàn)一個指示針，反應(yīng)機械臂在工作空間中位置。同時，經(jīng)過碰撞檢測等技術(shù)探測到指示針與虛擬模型接觸時，計算機會發(fā)出信號，告訴機械臂接觸到了虛擬模型，并將該模型物理性質(zhì)，如質(zhì)量、軟硬程度、光滑程度等反饋給PHANTOM系統(tǒng)，再由該系統(tǒng)產(chǎn)生對應(yīng)力傳遞給操作者，使其含有力感受，從而實現(xiàn)了力反饋。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第55頁PHANTOM系統(tǒng)能夠被方便地放置在桌面上，提供最大為(40.6cmX58.4cmX83.8cm)范圍工作空間，并提供六自由度觸摸和力量反饋，從而在用戶手部產(chǎn)生＜150g平移或扭轉(zhuǎn)力量。另外，它還含有0.02mm位置分辨率。PHANTOM系統(tǒng)特點：設(shè)備安裝簡單、使用輕便靈巧，且不會因本身重量等問題而讓用戶在使用中產(chǎn)生疲憊甚至疼痛感覺。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第56頁2.6.2數(shù)據(jù)衣（DataSuit）

數(shù)據(jù)衣服是利用數(shù)據(jù)手套原理研制成。數(shù)據(jù)衣服原理：將大量光纖安裝在一個緊身衣服上，能夠依據(jù)需要檢測出人四肢、腰部活動以及各關(guān)節(jié)（如腕關(guān)節(jié)、肘關(guān)節(jié)）彎曲角度，然后用計算機重建出圖像。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第57頁2.6.3三維掃描儀（3DHandheldLaserScanner）三維掃描儀功效是依據(jù)掃描真實模型外觀特征，建造出該物體對應(yīng)計算機模型。

工作原理是：由三維掃描儀向物體發(fā)射一束激光。然后經(jīng)過操作桿上攝像機從每個角度考查并統(tǒng)計下物體各截面輪廓信息。與此同時，安裝在操作桿前端高性能傳感跟蹤器也將同時地統(tǒng)計下三維掃描儀在位置及方向上變換信息。全部這些數(shù)據(jù)都將傳送給與之相連計算機，再由對應(yīng)軟件做深入處理后，該物體對應(yīng)計算機三維模型就顯示在我們面前了。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第58頁三維掃描儀特點：建模過程快速、準確、方便，它能夠到達（0.23mm～0.43mm）高精度和1,000點／秒快速取樣速度，用戶只要描出模型輪廓，就能在幾分鐘內(nèi)取得復(fù)雜3D數(shù)據(jù)，并在現(xiàn)在當(dāng)今流行各種圖形圖像處理軟件中（如3DStudioMAX、Maya等）展現(xiàn)出來。三維掃描儀應(yīng)用：它提供了一個最快速、便捷3D建模方法。三維掃描儀能夠描繪出任何形狀。對于那些非金屬、不透明物體處理效果較為理想。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第59頁圖

三維掃描儀使用與效果

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第60頁2.7VR聲音系統(tǒng)——3D聲音生成器“3D聲音”并非立體聲，3D聲音是指由計算機生成、能由人工設(shè)定聲源在空間中三維位置一個聲音。3D聲音生成器是利用人類定位聲音特點生成出3D聲音一套軟硬件系統(tǒng)。人類進行聲音定位依據(jù)兩個要素：兩耳時間差（ITD）和兩耳強度差（IID）。虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第61頁3D聲音產(chǎn)生過程：試驗人員位于一個圓頂房子內(nèi)，在房間內(nèi)放置特定空間位置聲源。微小麥克風(fēng)放置在試驗人員耳朵內(nèi)，靠近于中耳。然后，把聲源依次打開，并存放和數(shù)字化麥克風(fēng)輸出。比如，當(dāng)說話者抵達聽眾左邊發(fā)出聲音時，聲音將首先抵達左耳，而且比右耳有更大強度。使用Fourier變換器能夠計算麥克風(fēng)輸出頻率響應(yīng)，以及對應(yīng)HRTF系數(shù)（用來模擬人耳對聲音不一樣頻段反射作用），我們便能把該聲音虛擬地定位在空間任何位置。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第62頁2.7.13D聲音定位系統(tǒng)早期環(huán)境音系統(tǒng)未考慮人頭自由運動，因而人頭不得不保持固定位置。虛擬頭錄制系統(tǒng)合理地引進了環(huán)境音效果。許多影片是經(jīng)過一個環(huán)境音道錄制。含有數(shù)字信號處理器準確頭跟蹤系統(tǒng)出現(xiàn)實現(xiàn)了真正3D聲音定位。最先商用3D聲音定位器是由NASAAmesRiverEngineeringInc企業(yè)生產(chǎn)，它是依據(jù)NASAAmesResearchCenter需要而設(shè)計和提供。VPL企業(yè)以Audiosphere命名注冊了稱為Convolvotron

CrystalRiver3D定位器。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第63頁2.7.2聲學(xué)硬件

CRE（CrystalRiverEngineering）企業(yè)以其

Convolvotron、Beachtron、Acoustetron及Alphatron產(chǎn)品提供三維聲音教授級支持。

Convolvotron是一數(shù)字式有頻信號處理系統(tǒng)。

Beachtron可產(chǎn)生兩路獨立虛擬聲源，刷新頻率為22Hz，HRTF只提供每耳75系統(tǒng)。

Acoustetron為集成三維音頻工作站，包含Convolvotron及Beachtron處理器。

Alphatron為較新產(chǎn)品。它采取了每耳256系統(tǒng)HRTF。兩聲道同時工作時刷新頻率為44Hz，平均延時23ms。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第64頁2.8VR軟件工具集

虛擬現(xiàn)實系統(tǒng)是一個將各種先進硬件技術(shù)和軟件技術(shù)集合在一起、極其復(fù)雜系統(tǒng)。

虛擬現(xiàn)實工具集是依據(jù)現(xiàn)實需要而產(chǎn)生，它們主要用于提供支持虛擬交互，動畫和物理仿真等控制語言，同時，這些工具集通常都是與硬件無關(guān)，也就是說，它們含有相當(dāng)普遍性，能夠應(yīng)用在不一樣硬件配置環(huán)境中，從而為開發(fā)廣泛虛擬現(xiàn)實應(yīng)用系統(tǒng)提供了一致軟件環(huán)境。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第65頁2.8.1WorldToolKit（WTK）

WorldToolKit（WTK）是由美國Sense8企業(yè)開發(fā)虛擬環(huán)境應(yīng)用工具軟件。從底層看，WTK是由幾百個C語言函數(shù)組成軟件包。對用戶來說，WTK提供了一個完整用于生成虛擬環(huán)境應(yīng)用開發(fā)工具。它能夠不依賴于硬件環(huán)境而運行在從pc機到SGI工作站各種機器上，而且支持一系列虛擬環(huán)境外圍設(shè)備。用戶能夠利用WTK開發(fā)VR應(yīng)用系統(tǒng)，它們通常由主機、

WTK庫、C語言編譯庫、3D造型軟件包、圖像捕捉硬件／軟件，以及諸如paintBox位圖編輯軟件等部件組成。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第66頁WTK經(jīng)典程序包含一個初始化階段和一個仿真階段。初始化包含建立交互跟蹤傳感器、標識物體、配置照明、初始化視點等；仿真循環(huán)能夠執(zhí)行一次或?qū)掖?，每次循環(huán)負責(zé)完成與虛擬現(xiàn)實一次交互。WTK仿真循環(huán)程序流程圖：

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第67頁2.8.2MinimalRealityToolkit（MR）

MR是由加拿大Alberta大學(xué)MarkGreen教授和他領(lǐng)導(dǎo)研究小組開發(fā)虛擬環(huán)境應(yīng)用工具軟件。它能夠無償從Alberta大學(xué)取得，但不能用于商業(yè)目標。MR實質(zhì)上是一個支持虛擬環(huán)境開發(fā)子程序庫，包含3個層次庫函數(shù)。（1）底層包含一組設(shè)備支撐函數(shù)包，每一函數(shù)包支持一個設(shè)備，并稱為一個客戶／服務(wù)器對。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第68頁（2）MR第二層是一組處理從設(shè)備取得數(shù)據(jù)并將其轉(zhuǎn)換為程序員方便使用格式庫函數(shù)。

（3）最高層庫函數(shù)為程序員提供了一組打包服務(wù)集，它們是基于普通虛擬環(huán)境系統(tǒng)要求。用VR實現(xiàn)應(yīng)用中，必須有惟一一個主程序，用于控制整個應(yīng)用系統(tǒng)并負責(zé)其它應(yīng)用程序運行初始化工作。

MR應(yīng)用程序能夠分為應(yīng)用配置式、應(yīng)用計算式兩大類。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第69頁應(yīng)用配置部分用于初始化MR工具庫，并依據(jù)用戶指定配置要求處理對應(yīng)應(yīng)用配置文件。應(yīng)用計算部分用于完成MR應(yīng)用系統(tǒng)指派給程序任務(wù)。

MR支持各種外圍設(shè)備，包含Polhemus空間跟蹤器，VPLDataGlove，VPLEyePhone和聲音合成設(shè)備等虛擬環(huán)境系統(tǒng)慣用設(shè)備。另外MR還可由SGI和DEC工作站上C語言直接調(diào)用，并支持分布式用戶界面、數(shù)據(jù)共享、各種交互技術(shù)及實時性能分析等多項功效。

虛擬現(xiàn)實的硬件與軟件基礎(chǔ)第70頁2.8.3Distribute