7虛擬現(xiàn)實(shí)的硬件與軟件基礎(chǔ)77.ppt

1、第二章 虛擬現(xiàn)實(shí)的硬件與軟件基礎(chǔ),高性能計(jì)算機(jī)； 廣角（寬視野）的立體顯示設(shè)備； 觀(guān)察者（頭、眼）的跟蹤設(shè)備； 人體姿勢(shì)的跟蹤設(shè)備； 立體聲； 觸覺(jué)、力覺(jué)反饋； 語(yǔ)音輸入輸出等。,2.1 概論,虛擬現(xiàn)實(shí)的硬件設(shè)備:,交互性 是虛擬現(xiàn)實(shí)系統(tǒng)的首要特性。為了允許人機(jī)交互，必須使用特殊的人機(jī)接口與外部設(shè)備，既要允許用戶(hù)將信息輸入到計(jì)算機(jī)，也要使計(jì)算機(jī)能反饋信息給用戶(hù)。今天的VR外部設(shè)備在功能和目的上各不相同。,例如 ：,身體運(yùn)動(dòng)由3-D位置跟蹤器跟蹤； 手勢(shì)由傳感手套數(shù)字化； 視覺(jué)反饋發(fā)送給立體顯示器； 虛擬聲音由3-D聲音生成器計(jì)算； 觀(guān)察方向隨跟蹤球和操縱桿改變等。,虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)的特點(diǎn)： 具

2、有靈活性、可移植性與實(shí)時(shí)交互的特性。 本章內(nèi)容：將描述一些虛擬現(xiàn)實(shí)硬件設(shè)備及其軟件，并分別講述其功能、特征以及當(dāng)前的局限性。,2.2 VR硬件的系統(tǒng)集成,虛擬現(xiàn)實(shí)（VR）系統(tǒng)集成的關(guān)鍵技術(shù)： 虛擬現(xiàn)實(shí)系統(tǒng)中通常包括大量需要處理來(lái)自各種設(shè)備的感知信息、模型和數(shù)據(jù)，因此，建立一個(gè)以計(jì)算機(jī)為核心、將多種I/O交互設(shè)備協(xié)調(diào)組合在一起的硬件平臺(tái)，是VR系統(tǒng)集成的關(guān)鍵技術(shù)。 計(jì)算機(jī)系統(tǒng)的作用：實(shí)時(shí)處理、數(shù)據(jù)輸入/輸出、虛擬境界的管理和生成等功能。 計(jì)算機(jī)系統(tǒng)的功能：（1）要保障虛擬三維場(chǎng)景的實(shí)時(shí)計(jì)算和顯示，盡量減少延遲；(2)另一方面還要協(xié)調(diào)各種I/O交互設(shè)備之間的工作，以確保系統(tǒng)整體運(yùn)行的性能。,目前虛

3、擬現(xiàn)實(shí)的計(jì)算機(jī)系統(tǒng)可以是PC機(jī)、工作站和超級(jí)計(jì)算機(jī)等，而且多數(shù)情況下都采用多種機(jī)，并以各種方式連接。 PC機(jī)和工作站的比較： （1）PC機(jī)一般只能用于低檔的VR系統(tǒng)，這主要是因?yàn)榕c工作站和超級(jí)計(jì)算機(jī)相比，它的圖形和聲音處理功能都是有限的。 （2）工作站專(zhuān)門(mén)用于虛擬現(xiàn)實(shí)系統(tǒng)中，它具有多個(gè)處理器，以便進(jìn)一步增強(qiáng)整體系統(tǒng)結(jié)構(gòu)，其中有的系統(tǒng)可以允許一百多個(gè)處理器同時(shí)運(yùn)行一個(gè)程序，從而使VR系統(tǒng)的性能達(dá)到最佳。,虛擬現(xiàn)實(shí)的集成系統(tǒng): 是指在工作站或者PC機(jī)上工作的不同組合虛擬現(xiàn)實(shí)硬、軟件工具包。它提供了一套緊湊的設(shè)備，在此系統(tǒng)內(nèi)，虛擬世界可被創(chuàng)造、仿真和可視，還能通過(guò)這些集成設(shè)備獲得浸入式體驗(yàn)。 下面以

4、VIEW（Virtual Interface Environment Workstation）為例，介紹VR系統(tǒng)平臺(tái)。,VIEW系統(tǒng)組成,VIEW由一組由計(jì)算機(jī)控制的I/O子系統(tǒng)組成：它以HP公司的HP900835為主，圖形處理采用SGI公司的圖形計(jì)算機(jī)或HPSRX圖形系統(tǒng)配備了Plohemus空間跟蹤系統(tǒng)來(lái)跟蹤使用者手部的位置，配備了LEEP廣角立體視景頭戴顯示器和單色液晶顯示器，雙屏顯示器的三維場(chǎng)景由遙控?cái)z像機(jī)獲取，且視景可隨著操作者的視線(xiàn)（頭部位姿）變化；頭盔上有一個(gè)麥克風(fēng)以便作語(yǔ)音識(shí)別，兩個(gè)耳機(jī)進(jìn)行三維聲音跟蹤，Convolvotron三維音頻輸出設(shè)備則使整個(gè)虛擬環(huán)境附有立體聲音響；V

5、PL數(shù)據(jù)手套用于識(shí)別使用者手勢(shì)控制系統(tǒng)的行為，使操作者能夠借助語(yǔ)音、手語(yǔ)（手指動(dòng)作的組合姿態(tài)由數(shù)據(jù)手套Dataglove形成）與環(huán)境交互；同時(shí)還配備了BOOM CRT顯示器及Fake Space遠(yuǎn)程攝像系統(tǒng)。這些子系統(tǒng)分別提供虛擬環(huán)境所需的各種感覺(jué)通道的識(shí)別和控制功能。使用者“置身”于這樣的VR環(huán)境，周?chē)穷A(yù)先定義好的虛擬物體及三維空間的聲響效果，從而為各類(lèi)VR應(yīng)用系統(tǒng)的研發(fā)提供了一個(gè)方便。,VIEW系統(tǒng)的應(yīng)用：遠(yuǎn)程機(jī)器人控制，復(fù)雜信息管理及人類(lèi)諸因素的研究。目前大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)的硬件體系結(jié)構(gòu)都由VIEW發(fā)展而來(lái)。同時(shí)，這種以基于LCD的頭盔顯示器、數(shù)據(jù)手套及頭部跟蹤器為特征的硬件體系結(jié)構(gòu)也

6、己成為當(dāng)今虛擬現(xiàn)實(shí)系統(tǒng)的主流。,2.3 VR的三維跟蹤傳感設(shè)備,三維交互設(shè)備的作用：把各種信息輸入計(jì)算機(jī)，并向用戶(hù)提供相應(yīng)的反饋，它們是使參與者能以人類(lèi)自然技能與虛擬環(huán)境交互的必要工具。 三維交互設(shè)備的分類(lèi)：根據(jù)傳感渠道以及在功能和目的上的不同，虛擬現(xiàn)實(shí)系統(tǒng)的三維交互設(shè)備主要被分為三維跟蹤傳感設(shè)備，立體顯示設(shè)備、手?jǐn)?shù)字化設(shè)備、聲音設(shè)備以及系統(tǒng)集成設(shè)備等幾大類(lèi)。,虛擬現(xiàn)實(shí)技術(shù)是在三維空間中與人交互的技術(shù)，為了能及時(shí)、準(zhǔn)確地獲取人的動(dòng)作信息，需要有各類(lèi)高精度、高可靠的跟蹤定位設(shè)備。 傳感器技術(shù)，它是VR系統(tǒng)中實(shí)現(xiàn)人機(jī)之間溝通的極其重要的通信手段，是實(shí)時(shí)處理的關(guān)鍵技術(shù)。 目前虛擬現(xiàn)實(shí)系統(tǒng)使用的仍是多

7、年來(lái)的常用方法，其典型的工作方式是，固定發(fā)射器發(fā)射出電磁信號(hào)，該信號(hào)被附在用戶(hù)頭上的機(jī)動(dòng)傳感器截獲，傳感器接收到這些信號(hào)后進(jìn)行解碼，確定發(fā)射器與接收器之間的相對(duì)位置及方位，信號(hào)隨后傳輸?shù)綍r(shí)間運(yùn)行系統(tǒng)進(jìn)而傳給三維圖形環(huán)境處理系統(tǒng)。,2.3.1 電磁波跟蹤器,原理：它使用一個(gè)信號(hào)發(fā)生器（3個(gè)正交線(xiàn)圈組）產(chǎn)生低頻電磁場(chǎng)，然后由放置于接收器中的另外三組正交線(xiàn)圈組負(fù)責(zé)接收，通過(guò)獲得的感生電流和磁場(chǎng)場(chǎng)強(qiáng)的9個(gè)數(shù)據(jù)來(lái)計(jì)算被跟蹤物體的位置和方向（如圖）。,特點(diǎn)：體積小、價(jià)格便宜、用戶(hù)運(yùn)動(dòng)自由，而且敏感性不依賴(lài)于跟蹤方位，但是其系統(tǒng)延遲較長(zhǎng)，跟蹤范圍小，且準(zhǔn)確度容易受環(huán)境中大的金屬物體或其他磁場(chǎng)的影響。,常用電

8、磁波跟蹤器,多數(shù)電磁波跟蹤器采用交流磁場(chǎng)（如Polhemus的跟蹤器），但也有的采用直流磁場(chǎng)（如Ascension的跟蹤器） 交變電磁跟蹤系統(tǒng)對(duì)傳感器或接收器附近的電磁體較為敏感，它會(huì)因?yàn)橹車(chē)h(huán)境中的金屬或鐵磁性物質(zhì)而產(chǎn)生渦旋電流和干擾性次磁場(chǎng)，從而導(dǎo)致信號(hào)發(fā)生畸變，跟蹤精度降低。 直流電磁跟蹤系統(tǒng)只是在測(cè)量開(kāi)始時(shí)產(chǎn)生渦旋電流而在穩(wěn)定狀態(tài)下衰減為零，這就減少了畸變磁場(chǎng)的產(chǎn)生率，使跟蹤精確度大大提高。且能夠保證在較大操作范圍內(nèi)的高靈敏度。,2.3.2 超聲波跟蹤器,工作原理：發(fā)射器發(fā)出高頻超聲波脈沖（頻率20kHz以上）后，由接收器計(jì)算收到信號(hào)的時(shí)間差、相位差或聲壓差等，就可以跟蹤物體的距離和方

9、位了。 特點(diǎn)：性能適中，成本低廉，而且不會(huì)受外部磁場(chǎng)和大塊金屬物質(zhì)的干擾，敏感性卻容易受接收器的方位和空氣密度的影響。 分類(lèi)：按照測(cè)量方法的不同，分為飛行時(shí)間測(cè)量法和相位相干測(cè)量法。,聲波飛行時(shí)間跟蹤的原理：通過(guò)測(cè)量聲波的飛行時(shí)間延遲來(lái)確定距離的。它同時(shí)使用多個(gè)發(fā)射器和接收器，以便獲得一系列的距離量，從而計(jì)算出準(zhǔn)確的位置和方向。 聲波飛行時(shí)間跟蹤的特點(diǎn)：具有較好的精確度和響應(yīng)性；易受到外界噪音脈沖的干擾，同時(shí)數(shù)據(jù)傳輸率還會(huì)隨著監(jiān)測(cè)范圍的擴(kuò)大而降低，適用于小范圍內(nèi)的操作環(huán)境。 相位相干跟蹤的原理：通過(guò)比較基準(zhǔn)信號(hào)和傳感器監(jiān)測(cè)到的發(fā)射信號(hào)之間的相位差來(lái)確定距離的。 相位相干跟蹤的特點(diǎn)：具有較高的數(shù)

10、據(jù)傳輸率、可保證系統(tǒng)監(jiān)測(cè)的精度、響應(yīng)性以及耐久性等，而不受到外界噪聲的干擾。,2.3.3 光學(xué)跟蹤器,光學(xué)跟蹤器可以使用自然光、激光或紅外線(xiàn)等作為光源，但為避免干擾用戶(hù)的觀(guān)察視線(xiàn)，目前多采用紅外線(xiàn)方式。 優(yōu)點(diǎn)：可工作范圍較小、其數(shù)據(jù)處理速度、響應(yīng)性都非常好，適用于頭部活動(dòng)范圍相當(dāng)受限但要求具有較高刷新率和精確率的實(shí)時(shí)應(yīng)用。 光學(xué)跟蹤傳感器結(jié)構(gòu)的實(shí)現(xiàn)方法通常有兩種：“由外向內(nèi)”方式和“由內(nèi)向外”方式。,“由外向內(nèi)”方式特點(diǎn)和原理：傳感器是固定的，發(fā)射器是可移動(dòng)的。它通常是利用置于已知位置的多臺(tái)照相機(jī)或攝像機(jī)，追蹤放置在被監(jiān)測(cè)物體表面的紅外線(xiàn)發(fā)光二極管的位置，并通過(guò)觀(guān)察多個(gè)目標(biāo)來(lái)計(jì)算它的方位。 “

11、由外向內(nèi)”方式不足：這類(lèi)光學(xué)跟蹤器采用了昂貴的信號(hào)處理器硬件，因此它主要用于飛機(jī)座艙模擬。 “由內(nèi)向外”方式特點(diǎn)和原理：發(fā)射器是固定的，而傳感器是可移動(dòng)的。由于在此種方式中，多個(gè)傳感器可以由一組發(fā)射器支持，因而在定點(diǎn)傳送系統(tǒng)跟蹤多個(gè)目標(biāo)的時(shí)候，具有比“由外向內(nèi)”方式更優(yōu)秀的性能。,2.3.4 其他空間跟蹤系統(tǒng),1. 機(jī)械跟蹤器 ： 通常把參考點(diǎn)和跟蹤體直接通過(guò)連桿裝置相連。它采用鋼體框架，一方面可以支撐觀(guān)察設(shè)備，另一方面可以測(cè)量跟蹤體的位置和方位。 這種跟蹤器的精度和響應(yīng)性適中，不受電磁場(chǎng)的影響，但活動(dòng)范圍十分有限，而且對(duì)用戶(hù)有一定的機(jī)械束縛。,2. 慣性跟蹤器 ： 慣性跟蹤器也是采用機(jī)械方法

12、，其原理是利用小型陀螺儀測(cè)量被監(jiān)測(cè)物在其傾角、偏角和轉(zhuǎn)角方面的數(shù)據(jù)。它不是一種六自由度的設(shè)備，但在不需要位置信息的場(chǎng)合還是十分有用的。,3. 圖像提取跟蹤器： 原理:由一組（兩臺(tái)或兩臺(tái)以上）視頻攝像機(jī)拍攝人及其動(dòng)作，然后通過(guò)圖像處理技術(shù)的運(yùn)算和分析來(lái)確定人的位置及動(dòng)作。 優(yōu)點(diǎn):作為一種高級(jí)的采樣識(shí)別技術(shù)，圖像提取跟蹤設(shè)備的計(jì)算密度高，又不會(huì)受附近的磁場(chǎng)或金屬物質(zhì)的影響，而且對(duì)用戶(hù)沒(méi)有運(yùn)動(dòng)約束，因而在使用上具有極大的方便。 缺點(diǎn):由于圖像提取跟蹤設(shè)備是通過(guò)比較已知的采樣位置和傳感的采樣來(lái)確定位置的，因而對(duì)監(jiān)測(cè)物體的距離和監(jiān)測(cè)環(huán)境的燈光照明系統(tǒng)要求較高，通常遠(yuǎn)距離的物體或過(guò)強(qiáng)、過(guò)弱的照明都會(huì)降低采

13、樣識(shí)別系統(tǒng)的精確度。另外，較少數(shù)量的攝像機(jī)可能使監(jiān)測(cè)環(huán)境中的物體（包括參與者）出現(xiàn)在攝像機(jī)視野中被屏蔽的現(xiàn)象，而較多數(shù)量的攝像機(jī)又會(huì)增加采樣識(shí)別算法的復(fù)雜度和系統(tǒng)冗余度。,2.3.5 對(duì)跟蹤傳感設(shè)備的評(píng)價(jià),跟蹤裝置的性能指標(biāo)主要包括： （1）等待時(shí)間（即延遲） 指從采樣開(kāi)始到數(shù)據(jù)可以處理之前的時(shí)間間隔；我們要求跟蹤設(shè)備的系統(tǒng)延遲應(yīng)足夠短，因?yàn)殚L(zhǎng)延遲會(huì)影響沉浸效果。 （2）位置精度 即實(shí)際位置與測(cè)量位置之間的偏差；偏差越小，隨著用戶(hù)動(dòng)作產(chǎn)生的模擬效果就越好。 （3）分辨率 即設(shè)備能檢測(cè)到的最小位移； 另外還有取樣率、運(yùn)行約束、環(huán)境隔離要求等指標(biāo)。,表 3種常用跟蹤技術(shù)的主要性能指標(biāo),2.4 VR

14、的立體顯示設(shè)備,對(duì)虛擬世界的沉浸感主要依賴(lài)于人類(lèi)的視覺(jué)感知。 人眼立體視覺(jué)效應(yīng)的原理:當(dāng)人在現(xiàn)實(shí)生活中觀(guān)察物體時(shí)，雙眼之間67cm的距離（瞳距）會(huì)使左、右眼分別產(chǎn)生一個(gè)稍有不同的圖像（即體視差），我們的大腦通過(guò)分析后會(huì)把這兩幅圖像融合為一幅畫(huà)面，并由此獲得距離和深度的感覺(jué)。 比較常用的顯示設(shè)備主要有立體眼鏡、頭盔顯示器、雙目全方位顯示器以及大屏幕立體投影等。,2.4.1 頭盔顯示器（Head一Mounted 3D Display，HMD）,HMD是專(zhuān)為用戶(hù)提供虛擬現(xiàn)實(shí)中立體景物的顯示器。 HMD的工作原理：它通常被固定在用戶(hù)的頭部，由兩個(gè)LCD或CRT顯示器分別向兩只眼睛提供圖像，這兩個(gè)顯示屏

15、中的圖像由計(jì)算機(jī)分別驅(qū)動(dòng)，屏上的兩幅圖像存在著細(xì)小的差別，類(lèi)似于“雙眼視差”，大腦將融合這兩個(gè)視差圖像以獲得深度感知。 HMD的特點(diǎn)：它可以使參與者暫時(shí)與真實(shí)世界隔離開(kāi)，而處于完全沉浸狀態(tài) 。,雙眼局部重疊的頭盔顯示器光學(xué)模型,安裝在頭盔上的顯示器可以包括：陰極射線(xiàn)管（CRT）、液晶顯示（LCD）、發(fā)光二極管（LED）、熒光管、液晶開(kāi)關(guān)顯示器以及微機(jī)械硅顯示器等多種顯示技術(shù)?，F(xiàn)階段最為常用的是CRT和LCD兩種，其中，CRT顯示器具有較高分辨率，而LCD顯示器具有較好的亮度，預(yù)計(jì)微機(jī)械硅顯示器將成為今后新型HMD顯示部件的發(fā)展主流。 與立體眼鏡等顯示設(shè)備相比，頭盔顯示器雖然價(jià)格昂貴，但卻具有較

16、好的沉浸感，而且用戶(hù)的走動(dòng)自由。當(dāng)然，它也存在著諸如約束感較強(qiáng)、LCD的分辨率偏低，失真較大等問(wèn)題。,衡量頭盔顯示器性能的規(guī)格參數(shù)及其含義：,（1）逼真的立體視覺(jué)（雙眼視覺(jué)） “逼真”指所看到的景象中的所有點(diǎn)的方位角和俯仰角與原始圖像中的對(duì)應(yīng)點(diǎn)都一樣。 “逼真的立體視覺(jué)” 要求兩眼所看到的兩幅圖像同時(shí)符合“逼真”這個(gè)條件。 （2）視場(chǎng) 視場(chǎng)即人眼能夠看到的視覺(jué)范圍的大小，它對(duì)VR系統(tǒng)的影響包括兩個(gè)方面：總視場(chǎng)角和視場(chǎng)重疊角。 視場(chǎng)是沉浸感的關(guān)鍵因素，是衡量光學(xué)系統(tǒng)性能好壞的主要參數(shù)。,衡量頭盔顯示器性能的規(guī)格參數(shù)及其含義,（3）分辨率 人眼在視網(wǎng)膜中心部分的分辨率較高，大約為1弧分左右，而隨著

17、距離中心點(diǎn)越來(lái)越遠(yuǎn)，其分辨率也會(huì)越來(lái)越低。 （4）透射率 頭盔顯示器又可以分為“看穿”式和非“看穿”式兩種。 戴上“看穿”式顯示器，用戶(hù)可以同時(shí)看到計(jì)算機(jī)產(chǎn)生的圖像和真實(shí)的外部景象。 戴上非“看穿”式顯示器時(shí)，用戶(hù)就只能看到由計(jì)算機(jī)生成的圖像了。,衡量頭盔顯示器性能的規(guī)格參數(shù)及其含義,(5)重疊率 雙眼圖像重疊在一起的部分，我們稱(chēng)之為雙目重疊區(qū)。 局部重疊式頭盔顯示器可以在不降低分辨率的前提下，提供更寬的視場(chǎng)。,衡量頭盔顯示器性能的規(guī)格參數(shù)及其含義,（6）重量 理想的頭盔顯示器不但應(yīng)保證前后兩部分保持平衡（不要前重后輕），而且其重量應(yīng)該是和一副眼鏡差不多，這樣可以盡量減少使用者的疲勞和不適感。

18、 （7）人的因素 決定頭盔顯示器性能的很多參數(shù)之間是存在相互制約關(guān)系的。在設(shè)計(jì)和購(gòu)買(mǎi)頭盔顯示器時(shí)，一定要將硬件的規(guī)格和參數(shù)、系統(tǒng)自身的應(yīng)用需求以及造價(jià)成本等多方面因素予以綜合考慮，選擇適當(dāng)?shù)漠a(chǎn)品。,2.4.2 雙目全方位顯示器 (BOOM）,BOOM（Binocu1ar Omni orientation Monitor）是一種可移動(dòng)式顯示器。 BOOM的特點(diǎn)：有兩個(gè)互相垂直的機(jī)械臂支撐、有實(shí)時(shí)的觀(guān)測(cè)和交互能力 。 BOOM的優(yōu)點(diǎn)：分辨率高于HMD，且圖像柔和 ；系統(tǒng)延遲小，且不受磁場(chǎng)和超聲波背景噪音的影響；應(yīng)用方便靈活。 BOOM的缺點(diǎn)：使使用者的運(yùn)動(dòng)受限，這是因?yàn)樵诠ぷ骺臻g中心的支撐架造成了

19、“死區(qū)”，因此BOOM的工作區(qū)要去除中心大約0.5m2的空間范圍。,2.4.3 CRT終端液晶光閘眼鏡,工作原理：由計(jì)算機(jī)分別產(chǎn)生左、右眼的兩幅圖像，經(jīng)過(guò)合成處理后，采用分時(shí)交替的方法顯示于CRT終端上。用戶(hù)則佩帶一副與計(jì)算機(jī)相連的液晶光閘眼鏡，眼鏡的左、右鏡片在驅(qū)動(dòng)電信號(hào)的作用下，將以與圖像顯示同步的速率交替“開(kāi)”（透光）、“閉”（遮光），即當(dāng)計(jì)算機(jī)顯示左眼圖像時(shí)，右眼透鏡將被遮閉，而當(dāng)計(jì)算機(jī)顯示右眼圖像時(shí)，左眼透鏡則被遮閉。這樣做可以讓用戶(hù)的左、右眼分別只看到相應(yīng)的左、右圖像。根據(jù)雙目視差與深度距離的正比關(guān)系，人的視覺(jué)生理系統(tǒng)就可以自動(dòng)將這兩幅視差圖像融合成一個(gè)立體視像了。,CRT終端液晶

20、光閘眼鏡的優(yōu)缺點(diǎn)：,相對(duì)于頭盔顯示器或BOOM而言，液晶光閘眼鏡是一種非常廉價(jià)的立體顯示設(shè)備。它極其短促的光柵開(kāi)關(guān)時(shí)間和監(jiān)視器的高刷新率形成了無(wú)閃爍圖像，使得這種圖像比基于LCD的頭盔顯示器要清晰得多，而且長(zhǎng)時(shí)間觀(guān)察也不會(huì)令人疲倦。同時(shí)，立體眼鏡重量輕，使用舒適，其操作范圍最遠(yuǎn)可離監(jiān)視器6m，但是，由于光柵過(guò)濾器泄漏一部分光，所以使用者看到的圖像亮度不如普通屏幕好，且由于使用者沒(méi)有與顯示器相聯(lián)，無(wú)法感覺(jué)到是被虛擬世界包圍，因而沉浸感較差，通常只在桌面式VR系統(tǒng)或一些多用戶(hù)的環(huán)境下應(yīng)用，例如科學(xué)可視化和極細(xì)微的外科手術(shù)等。,2.4.4 大屏幕投影液晶光閘眼鏡,將CRT終端顯示改為大屏幕投影顯示就

21、得大屏幕投影液晶光閘眼鏡。 用于投影的CRT或數(shù)字投影機(jī)要求具有極高的亮度和分辨率，它適合于在較大的視野內(nèi)產(chǎn)生投影圖像的應(yīng)用需求。 美國(guó)芝加哥大學(xué)研制的CAVE系統(tǒng)，構(gòu)造了一個(gè)由4面投影屏幕形成的立方體虛擬環(huán)境，又叫“洞穴”。各屏幕（背投式）同時(shí)顯示從某一固定觀(guān)察點(diǎn)看到的所有視像，由此提供一種全景式的環(huán)境。該系統(tǒng)需要復(fù)雜而昂貴的計(jì)算機(jī)投影控制系統(tǒng)：它通常采用球面大屏幕，投影機(jī)位于球心，具有與雙攝像機(jī)立體觀(guān)察器相同的俯仰和偏轉(zhuǎn)兩個(gè)位置，并始終保持以觀(guān)察者為正前方在球屏上相應(yīng)移動(dòng)，從而形成一定的視景環(huán)繞感。,大屏幕投影（液晶光閘眼鏡）顯示,2.5 手?jǐn)?shù)字化設(shè)備,一般的跟蹤、探測(cè)設(shè)備都具有簡(jiǎn)單、緊湊

22、和易于操作等優(yōu)點(diǎn)，但由于它們自身構(gòu)造的限制，使操作者手的活動(dòng)自由度僅限于在桌上的一個(gè)小區(qū)域中，減弱了它與虛擬世界交互作用的直觀(guān)性。 VR技術(shù)的一項(xiàng)重大突破就是用手來(lái)代替鍵盤(pán)、鼠標(biāo)，作為人與計(jì)算機(jī)交互的一種重要手段。借助各種專(zhuān)用的手?jǐn)?shù)字化設(shè)備，操作者不但可以獲得大范圍的基于手勢(shì)的交互操作，同時(shí)通過(guò)感知單個(gè)手指的運(yùn)動(dòng)還可以增加人在虛擬空間中的自由度和靈活性。,2.5.1.1 VPL數(shù)據(jù)手套,數(shù)據(jù)手套的由來(lái)：最早的傳感手套是由VPL公司開(kāi)發(fā)的，叫做DataGlove，所以通常又把傳感手套叫做數(shù)據(jù)手套 。 數(shù)據(jù)手套由很輕的彈性材料構(gòu)成，緊貼在手上。該系統(tǒng)包括位置/方向傳感器和沿每個(gè)手指背部安裝的一組有

23、保護(hù)套的光纖導(dǎo)線(xiàn)，它們檢測(cè)手指和手的運(yùn)動(dòng) 。 DataGlove 的工作原理：作為傳感器的光纖可以測(cè)量每個(gè)手指的彎曲和伸展 ；磁性的位置/方向傳感器則如同電磁跟蹤器一樣，這種傳感器測(cè)量手的絕對(duì)位置（x，y，z）和三個(gè)轉(zhuǎn)角方向（轉(zhuǎn)動(dòng)、俯仰、搖擺）。,具體：作為傳感器的光纖可以測(cè)量每個(gè)手指的彎曲和伸展。每條光纖從控制器的線(xiàn)路板引出，經(jīng)過(guò)一長(zhǎng)段軟管到達(dá)手套上的腕部固定器。從這里，光纖導(dǎo)線(xiàn)延伸到手指上，經(jīng)過(guò)手指的關(guān)節(jié)，然后回到腕部固定器和控制器。 在控制器內(nèi)部，每根光纖導(dǎo)線(xiàn)的一端配備一個(gè)發(fā)光二極管，而其另一端連接一個(gè)光傳感器?？刂茊卧褟墓鈧鞲衅髂抢锝邮盏降哪芰哭D(zhuǎn)變成電信號(hào)。當(dāng)彎曲手指時(shí)，發(fā)光二極管的

24、光經(jīng)過(guò)光纖導(dǎo)線(xiàn)從導(dǎo)線(xiàn)保護(hù)套的裂縫或切口逸出。關(guān)節(jié)越彎曲，光纖逸出越多，到達(dá)光傳感器的光越少。光量的多少就反映了手指的彎曲程度。 計(jì)算機(jī)根據(jù)光電信號(hào)數(shù)據(jù)算出手指和關(guān)節(jié)彎曲的程度。每個(gè)手指最少有兩條光纖導(dǎo)線(xiàn)，一條檢測(cè)手指下部關(guān)節(jié)，另一條檢測(cè)手指中間關(guān)節(jié)。因?yàn)槟粗钢挥袃蓚€(gè)關(guān)節(jié)，大拇指上僅有一條光纖導(dǎo)線(xiàn)。為了增加檢測(cè)的準(zhǔn)確度，每個(gè)手指上可再增加一條或幾條光纖導(dǎo)線(xiàn)。但不論添加多少光纖導(dǎo)線(xiàn)，這種方法只能測(cè)量手指的活動(dòng)。在DataGlove中，第二個(gè)測(cè)量?jī)x器是一個(gè)磁性的位置/方向傳感器，如同在前面的電磁跟蹤器一樣，這種傳感器測(cè)量手的絕對(duì)位置（x，y，z）和三個(gè)轉(zhuǎn)角方向（轉(zhuǎn)動(dòng)、俯仰、搖擺）。這兩種方法的結(jié)合使

25、計(jì)算機(jī)能夠跟蹤手所作出的任何動(dòng)作。,DataGlove 的運(yùn)用：數(shù)據(jù)手套由主機(jī)通過(guò)25條指令集進(jìn)行控制，測(cè)量十個(gè)關(guān)節(jié)（五個(gè)和手掌相連的指骨、一個(gè)大拇指關(guān)節(jié)和四個(gè)其他指骨關(guān)節(jié)），并有附加的傳感器來(lái)測(cè)量外展肌和小關(guān)節(jié)。數(shù)據(jù)記錄則以3060Hz的速率傳送。 數(shù)據(jù)手套有大、中、小三種型號(hào)的手套。當(dāng)安裝不正確的手套時(shí)需要頻繁地重新校正尺寸。 用同步命令可以使用左、右手套。當(dāng)兩個(gè)跟蹤系統(tǒng)被同時(shí)使用時(shí)，我們就不得不對(duì)各自的傳輸器進(jìn)行改進(jìn)。,2.5.1.2 PowerGlove手控器,PowerGlove手控器是Mattel為家庭視頻游戲市場(chǎng)而設(shè)計(jì)的，一般用于游戲機(jī)，現(xiàn)已停產(chǎn)。其性能比用于其他行業(yè)的同類(lèi)產(chǎn)品要

26、低得多。 PowerGlove使用基于有一恒定彈力塑料的張力測(cè)量?jī)x（Amtec公司生產(chǎn)這種包有0.6mm特殊配方油墨的聚酯條透明物質(zhì)）。 PowerGlove的原理：手是由安裝在手套背部的超聲發(fā)生器來(lái)定位的，它發(fā)出的超聲波由三個(gè)超聲波接收器輪流接收，并測(cè)得接收時(shí)間，最大測(cè)量范圍是1.524m。 PowerGlove的特點(diǎn)：在手套上安裝一個(gè)控制板，板上有“開(kāi)始”及四個(gè)方向鍵 。,2.5.1.3 CyberGlove,CyberGlove是由Virtex（Virtual Technologies）公司開(kāi)發(fā)的，是CyberCAD虛擬設(shè)計(jì)環(huán)境中虛擬技術(shù)一個(gè)理想的接口設(shè)備，可被廣泛應(yīng)用來(lái)創(chuàng)建、終止、定位

27、三維物體。 CyberGlove具有22個(gè)傳感器，每個(gè)手指有三個(gè)彎曲傳感器和一個(gè)外展肌傳感器。它是一種高精度設(shè)備，能夠提供準(zhǔn)確而連續(xù)的輸出。 CyberGlove的特點(diǎn)：（1）傳感器輸出僅依賴(lài)手指關(guān)節(jié)的角度，而與關(guān)節(jié)的突出無(wú)關(guān)，因此每次戴手套時(shí)，校正數(shù)據(jù)均不變。（2）傳感器輸出和彎曲角度成線(xiàn)性關(guān)系，因此對(duì)于關(guān)節(jié)彎曲極點(diǎn)，分辨率不會(huì)下降。,幾種常見(jiàn)的數(shù)據(jù)手套,2.5.2 三維鼠標(biāo),普通的鼠標(biāo)只能感受在平面的運(yùn)動(dòng)，而立體鼠標(biāo)能夠感受用戶(hù)在六個(gè)自由度的運(yùn)動(dòng)，包括三個(gè)平移參數(shù)和三個(gè)旋轉(zhuǎn)參數(shù)。 立體鼠標(biāo)稱(chēng)為space mouse，如 3Space公司的 Spaceball，也有人把它稱(chēng)為cubic mo

28、use。 下面介紹幾種簡(jiǎn)單的三維鼠標(biāo)：,三維鼠標(biāo),三維鼠標(biāo),2.6 其他交互設(shè)備,2.6.1 觸摸和力反饋裝置（Touch/Force Feedback） 問(wèn)題的提出 在VR系統(tǒng)中，能否讓用戶(hù)產(chǎn)生“沉浸”效果的關(guān)鍵因素之一是用戶(hù)能否用他她的手或身體的其他部分去操作虛擬物體，并在操作的同時(shí)能夠感覺(jué)到虛擬物體的反作用力。數(shù)據(jù)手套可以實(shí)時(shí)的生成手與物體接近和遠(yuǎn)離的圖像。但是到今天為止，商品化的數(shù)據(jù)手套都不提供觸覺(jué)反饋?zhàn)饔?，這就很難讓用戶(hù)有手真的抓到物體和推動(dòng)物體的感覺(jué)，于是觸摸和力反饋裝置也就應(yīng)運(yùn)而生了。,觸覺(jué)是人們用于感知外部世界的一大感覺(jué)通道，它由觸摸反饋感知和力量反饋感知兩大部分組成。 目前，

29、已經(jīng)有相當(dāng)數(shù)量的觸摸和力量反饋裝置允許用戶(hù)在虛擬環(huán)境中與物體接觸。,1. 觸摸反饋裝置,目前最常用的一種模擬觸摸反饋的方法就是使用氣壓法或振動(dòng)法的數(shù)據(jù)手套。,氣壓法是使用小空氣袋作為傳感裝置 。,在手套上有2030個(gè)空氣袋放在對(duì)應(yīng)的位置，當(dāng)發(fā)生虛擬觸摸時(shí)，這些小型氣袋能夠通過(guò)空氣壓縮泵的充氣和放氣而被迅速地加壓或減壓。同時(shí)，由計(jì)算機(jī)中存儲(chǔ)的相關(guān)力模式數(shù)據(jù)來(lái)決定各個(gè)氣袋在不同狀態(tài)下的氣壓值，以再現(xiàn)觸碰物體時(shí)手的各個(gè)部位的觸覺(jué)感受及其受力情況。,振動(dòng)法 是用小振動(dòng)換能器實(shí)現(xiàn)的。換能器通常是利用狀態(tài)記憶合金制成的，當(dāng)電流通過(guò)這些換能器時(shí)，它們就會(huì)發(fā)生形變和彎曲。我們可以根據(jù)需要把換能器做成各種形狀后

30、，安裝在皮膚表面的各個(gè)位置上。利用高性能的換能器有可能產(chǎn)生對(duì)虛擬物體的光滑度、粗糙度的感覺(jué)。 與氣袋不同的是：換能器幾乎可以立刻對(duì)一個(gè)控制信號(hào)做出反應(yīng)，這使得它們適合于產(chǎn)生不連續(xù)、快速的感覺(jué)。而氣袋產(chǎn)生的力反饋比狀態(tài)記憶合金要慢些、強(qiáng)些，更適合表現(xiàn)一些緩慢、柔和的力。,2. 力量反饋裝置,力量反饋裝置的意義：不但有助于增強(qiáng)虛擬交互的逼真性而且可以說(shuō)有時(shí)它也是一種必需的設(shè)備。 力量反饋裝置的工作原理：通過(guò)機(jī)械或其他動(dòng)力推動(dòng)和刺激使用者的手，腕、臂、肘、肩等部位，使之產(chǎn)生相應(yīng)的觸覺(jué)感知。 力量反饋裝置的類(lèi)型：力感反饋操縱桿、吊掛式機(jī)械手臂、桌面式多自由度游戲棒以及可獨(dú)立作用于每個(gè)手指的手控力反饋裝

31、置等。,PHANTOM3.0 是美國(guó)SensAble公司研制開(kāi)發(fā) 的，是一種可編程的、具有觸覺(jué)及力反饋功能的裝置 。,當(dāng)PHANTOM的機(jī)械臂在工作空間中運(yùn)動(dòng)時(shí)，就會(huì)在計(jì)算機(jī)屏幕上出現(xiàn)一個(gè)指示針，反映機(jī)械臂在工作空間中的位置。同時(shí)，通過(guò)碰撞檢測(cè)等技術(shù)探測(cè)到指示針與虛擬模型接觸時(shí)，計(jì)算機(jī)會(huì)發(fā)出信號(hào)，告訴機(jī)械臂接觸到了虛擬模型，并將該模型的物理性質(zhì)，如質(zhì)量、軟硬程度、光滑程度等反饋給PHANTOM系統(tǒng)，再由該系統(tǒng)產(chǎn)生相應(yīng)的力傳遞給操作者，使其具有力的感受，從而實(shí)現(xiàn)了力反饋。,PHANTOM系統(tǒng)可以被方便地放置在桌面上，提供最大為 (40.6cm X 58.4cm X 83.8 cm)范圍的工作空間

32、，并提供六自由度的觸摸和力量反饋，從而在用戶(hù)手部產(chǎn)生150g的平移或扭轉(zhuǎn)力量。另外，它還具有0.02mm的位置分辨率 。 PHANTOM系統(tǒng)的特點(diǎn)：設(shè)備安裝簡(jiǎn)單、使用輕便靈巧，且不會(huì)因自身重量等問(wèn)題而讓用戶(hù)在使用中產(chǎn)生疲倦甚至疼痛的感覺(jué)。,2.6.2 數(shù)據(jù)衣（Data Suit）,數(shù)據(jù)衣服是利用數(shù)據(jù)手套的原理研制成的。 數(shù)據(jù)衣服的原理：將大量的光纖安裝在一個(gè)緊身衣服上，可以根據(jù)需要檢測(cè)出人的四肢、腰部的活動(dòng)以及各關(guān)節(jié)（如腕關(guān)節(jié)、肘關(guān)節(jié)）的彎曲角度，然后用計(jì)算機(jī)重建出圖像。,2.6.3三維掃描儀（3D Handheld Laser Scanner）,三維掃描儀的功能是根據(jù)掃描真實(shí)模型外觀(guān)特征，建

33、造出該物體對(duì)應(yīng)的計(jì)算機(jī)模型。 工作原理是：由三維掃描儀向物體發(fā)射一束激光。然后通過(guò)操作桿上的攝像機(jī)從每個(gè)角度考察并記錄下物體各截面的輪廓信息。與此同時(shí)，安裝在操作桿前端的高性能傳感跟蹤器也將同步地記錄下三維掃描儀在位置及方向上的變換信息。所有這些數(shù)據(jù)都將傳送給與之相連的計(jì)算機(jī)，再由相應(yīng)軟件做進(jìn)一步處理后，該物體對(duì)應(yīng)的計(jì)算機(jī)三維模型就顯示在我們面前了。,三維掃描儀的特點(diǎn)：建模過(guò)程快速、精確、方便，它可以達(dá)到（0.23mm0.43mm）的高精度和1,000點(diǎn)秒的快速取樣速度，用戶(hù)只要描出模型的輪廓，就能在幾分鐘內(nèi)獲得復(fù)雜的3D數(shù)據(jù)，并在現(xiàn)在當(dāng)今流行的多種圖形圖像處理軟件中（如3D Studio M

34、AX、Maya等）呈現(xiàn)出來(lái) 。 三維掃描儀的應(yīng)用：它提供了一種最迅速、便捷的3D建模方法。三維掃描儀可以描繪出任何形狀。對(duì)于那些非金屬、不透明物體的處理效果較為理想。,圖 三維掃描儀的使用與效果,2.7 VR的聲音系統(tǒng)3D聲音生成器,“3D聲音”并非立體聲，3D聲音是指由計(jì)算機(jī)生成的、能由人工設(shè)定聲源在空間中三維位置的一種聲音。 3D聲音生成器是利用人類(lèi)定位聲音的特點(diǎn)生成出3D聲音的一套軟硬件系統(tǒng)。 人類(lèi)進(jìn)行聲音的定位依據(jù)兩個(gè)要素：兩耳時(shí)間差（ITD）和兩耳強(qiáng)度差（IID）。,3D聲音的產(chǎn)生過(guò)程：,試驗(yàn)人員位于一個(gè)圓頂房子內(nèi)，在房間內(nèi)放置特定空間位置的聲源。微小的麥克風(fēng)放置在試驗(yàn)人員的耳朵內(nèi)，

35、接近于中耳。然后，把聲源依次打開(kāi)，并存儲(chǔ)和數(shù)字化麥克風(fēng)輸出。例如，當(dāng)說(shuō)話(huà)者到達(dá)聽(tīng)眾的左邊發(fā)出聲音時(shí)，聲音將首先到達(dá)左耳，并且比右耳有更大的強(qiáng)度。使用Fourier變換器可以計(jì)算麥克風(fēng)輸出的頻率響應(yīng)，以及相應(yīng)的HRTF系數(shù)（用來(lái)模擬人耳對(duì)聲音不同頻段的反射作用），我們便能把該聲音虛擬地定位在空間的任何位置。,2.7.1 3D聲音定位系統(tǒng),早期的環(huán)境音系統(tǒng)未考慮人頭的自由運(yùn)動(dòng)，因而人頭不得不保持固定的位置。虛擬頭錄制系統(tǒng)合理地引進(jìn)了環(huán)境音的效果。許多影片是通過(guò)一個(gè)環(huán)境音道錄制的。具有數(shù)字信號(hào)處理器的精確的頭跟蹤系統(tǒng)的出現(xiàn)實(shí)現(xiàn)了真正的 3D聲音定位。 最先商用的 3D聲音定位器是由 NASA Ame

36、s River Engineering Inc公司生產(chǎn)的，它是根據(jù) NASA Ames Research Center的需要而設(shè)計(jì)和提供的。VPL公司以Audiosphere命名注冊(cè)了稱(chēng)為Convolvotron的 Crystal River的3D定位器。,2.7.2 聲學(xué)硬件,CRE（Crystal River Engineering）公司以其 Convolvotron、Beachtron、Acoustetron 及Alphatron產(chǎn)品提供三維聲音的專(zhuān)家級(jí)支持。 Convolvotron是一數(shù)字式有頻信號(hào)處理系統(tǒng)。 Beachtron可產(chǎn)生兩路獨(dú)立的虛擬聲源，刷新頻率為22 Hz， HRT

37、F只提供每耳75系統(tǒng)。 Acoustetron為集成的三維音頻工作站，包括Convolvotron及Beachtron處理器。 Alphatron為較新產(chǎn)品。它采用了每耳256系統(tǒng)的HRTF。兩聲道同時(shí)工作時(shí)刷新頻率為44Hz，平均延時(shí)23ms。,2.8 VR軟件工具集,虛擬現(xiàn)實(shí)系統(tǒng)是一個(gè)將各種先進(jìn)的硬件技術(shù)和軟件技術(shù)集合在一起的、極其復(fù)雜的系統(tǒng)。 虛擬現(xiàn)實(shí)工具集是根據(jù)現(xiàn)實(shí)需要而產(chǎn)生的，它們主要用于提供支持虛擬交互，動(dòng)畫(huà)和物理仿真等的控制語(yǔ)言，同時(shí)，這些工具集通常都是與硬件無(wú)關(guān)的，也就是說(shuō)，它們具有相當(dāng)?shù)钠毡樾裕梢詰?yīng)用在不同的硬件配置環(huán)境中，從而為開(kāi)發(fā)廣泛的虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)提供了一致的軟件環(huán)

38、境。,2.8.1 World Tool Kit（WTK）,World Tool Kit（WTK）是由美國(guó)Sense8公司開(kāi)發(fā)的虛擬環(huán)境應(yīng)用工具軟件。 從底層看，WTK是由幾百個(gè)C語(yǔ)言函數(shù)組成的軟件包。 對(duì)用戶(hù)來(lái)說(shuō)，WTK提供了一個(gè)完整的用于生成虛擬環(huán)境的應(yīng)用開(kāi)發(fā)工具。它可以不依賴(lài)于硬件環(huán)境而運(yùn)行在從pc機(jī)到SGI工作站的各種機(jī)器上，并且支持一系列虛擬環(huán)境的外圍設(shè)備。 用戶(hù)可以利用WTK開(kāi)發(fā)VR的應(yīng)用系統(tǒng)，它們通常由主機(jī)、 WTK庫(kù)、C語(yǔ)言編譯庫(kù)、3D造型軟件包、圖像捕獲硬件軟件，以及諸如paint Box的位圖編輯軟件等部件組成。,WTK的典型程序包含一個(gè)初始化階段和一個(gè)仿真階段。初始化包括建

39、立交互跟蹤傳感器、標(biāo)識(shí)物體、配置照明、初始化視點(diǎn)等；仿真循環(huán)可以執(zhí)行一次或多次，每次循環(huán)負(fù)責(zé)完成與虛擬現(xiàn)實(shí)一次交互。 WTK仿真循環(huán)程序流程圖：,2.8.2 Minimal Reality Toolkit（MR）,MR是由加拿大Alberta大學(xué)的Mark Green教授和他領(lǐng)導(dǎo)的研究小組開(kāi)發(fā)的虛擬環(huán)境應(yīng)用工具軟件。它可以免費(fèi)從Alberta大學(xué)獲得，但不能用于商業(yè)目的。 MR實(shí)質(zhì)上是一個(gè)支持虛擬環(huán)境開(kāi)發(fā)的子程序庫(kù)，包括3個(gè)層次的庫(kù)函數(shù)。 （1）底層包括一組設(shè)備支撐函數(shù)包，每一函數(shù)包支持一種設(shè)備，并稱(chēng)為一個(gè)客戶(hù)服務(wù)器對(duì)。,（2）MR的第二層是一組處理從設(shè)備獲得的數(shù)據(jù)并將其轉(zhuǎn)換為程序員方便使用的

40、格式的庫(kù)函數(shù)。 （3）最高層的庫(kù)函數(shù)為程序員提供了一組打包的服務(wù)集，它們是基于一般虛擬環(huán)境系統(tǒng)要求的。 用VR實(shí)現(xiàn)的應(yīng)用中，必須有惟一的一個(gè)主程序，用于控制整個(gè)應(yīng)用系統(tǒng)并負(fù)責(zé)其他應(yīng)用程序運(yùn)行的初始化工作。 MR的應(yīng)用程序可以分為應(yīng)用配置式、應(yīng)用計(jì)算式兩大類(lèi)。,應(yīng)用配置部分用于初始化MR的工具庫(kù)，并根據(jù)用戶(hù)指定的配置要求處理相應(yīng)的應(yīng)用配置文件。 應(yīng)用計(jì)算部分用于完成MR應(yīng)用系統(tǒng)指派給程序的任務(wù)。 MR支持各種外圍設(shè)備，包括Polhemus空間跟蹤器，VPL Data Glove，VPL Eye Phone和聲音合成設(shè)備等虛擬環(huán)境系統(tǒng)常用的設(shè)備。另外MR還可由SGI和DEC工作站上的C語(yǔ)言直接調(diào)用，并支持分布式用戶(hù)界面、數(shù)據(jù)共享、多種交互技術(shù)及實(shí)時(shí)性能分析等多項(xiàng)功能。,2.8.3 Distributed Virtual Environment System（DVS）,由于虛擬現(xiàn)實(shí)系統(tǒng)本身的并行計(jì)算要求，研發(fā)一種并行計(jì)算系統(tǒng)或分布式系統(tǒng)對(duì)于