頭盔實(shí)驗(yàn)(2014)1研究生

1、頭盔、數(shù)據(jù)手套人機(jī)交互實(shí)驗(yàn)頭盔、數(shù)據(jù)手套人機(jī)交互實(shí)驗(yàn)北京航空航天大學(xué)自動化科學(xué)與電氣工程學(xué)院李秀芝 孫 琦實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)?zāi)康?. 通過在實(shí)驗(yàn)平臺上的硬件設(shè)備和軟件環(huán)境，學(xué)習(xí)頭盔式顯示器和數(shù)據(jù)手套的基本功能和基本工作原理。2. 學(xué)習(xí)人機(jī)交互系統(tǒng)的硬件和軟件總體框架結(jié)構(gòu)的構(gòu)成及如何建立一個簡單的人-機(jī)交互系統(tǒng)。3. 學(xué)習(xí)建模方法和建模步驟，并利用頭盔顯示器和數(shù)據(jù)手套及相關(guān)的其它硬件設(shè)備建立一個小型的虛擬現(xiàn)實(shí)環(huán)境。先修課程和參考書目先修課程和參考書目先修課程：先修課程：Visual C，C+語言編程，計算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用主要參考書：主要參考書：吳家鑄，黨崗等， 視景仿真技術(shù)及應(yīng)用，西安電子

2、科技大學(xué)，2000孫家廣，計算機(jī)圖形學(xué) ，清華大學(xué)出版社，2000VTree Users Manual(PDF格式)OpenGL編程手冊龔光紅，韓亮等先進(jìn)仿真技術(shù)實(shí)驗(yàn)教程 機(jī)械工業(yè)出版社，2010課程安排：16學(xué)時系統(tǒng)硬件平臺系統(tǒng)硬件平臺 三維交互設(shè)備包括：頭盔立體顯示器、數(shù)據(jù)手套、三維跟蹤傳感器、聲音及系統(tǒng)集成設(shè)備、網(wǎng)絡(luò)分頻器和計算機(jī)等。 計算機(jī)：三臺通用PC機(jī)網(wǎng)絡(luò)/通信設(shè)備：10/100M自適應(yīng)網(wǎng)卡/交換機(jī)監(jiān)視器：兩臺通用PC機(jī)顯示器頭盔式顯示器，V6， LCD 雙通道頭盔顯示器一個，全彩色，分辨率為 640*480數(shù)據(jù)手套一只，右手，18個傳感器，不帶觸覺與力反饋和手勢識別6自由度(DO

3、F)運(yùn)動跟蹤傳感器：Flock 六自由度電磁位置跟蹤器一套。 使用V6型頭盔立體顯示器作為顯示設(shè)備, 雙通道，全彩色，分辨率為640480。由2個CRT顯示器分別向兩只眼睛提供圖像。 圖像由計算機(jī)分別驅(qū)動，由2臺成像計算機(jī)采用立體成像算法生成的左右眼圖像, 將2幅略有差別的圖像在頭盔顯示器中疊加后，產(chǎn)生立體的顯示效果. 頭盔顯示器被固定在實(shí)驗(yàn)者的頭部，可以使參與者暫時與真實(shí)世界隔離開，感到處于沉浸狀態(tài)。頭盔顯示器（側(cè)面）頭盔顯示器（側(cè)面）頭盔顯示器頭盔顯示器 數(shù)據(jù)手套為一只右手手套，不帶觸覺、力反饋和手勢識別，上有18個傳感器用來測量右手18個關(guān)節(jié)和角度，通過6自由度運(yùn)動跟蹤傳感器對于手在空間

4、的實(shí)際方位及運(yùn)動方式進(jìn)行檢測。數(shù)據(jù)手套戴在實(shí)驗(yàn)者手上，作為一只虛擬手用于與虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行交互，可以在虛擬場景中進(jìn)行物體抓取、移動、裝配、操縱、控制等操作；并把手指和手掌伸屈時的各姿勢轉(zhuǎn)換成數(shù)字信號傳送給計算機(jī)，計算機(jī)通過應(yīng)用程序識別出實(shí)驗(yàn)者的手在虛擬世界中操作時的姿勢，執(zhí)行相應(yīng)的操作。數(shù)據(jù)手套數(shù)據(jù)手套數(shù)據(jù)手套（背面）數(shù)據(jù)手套（背面）數(shù)據(jù)手套連接示意圖六自由度運(yùn)動跟蹤傳感器六自由度運(yùn)動跟蹤傳感器一套Flock of Birds跟蹤器包括一個發(fā)射器，若干接收器，若干控制盒，其中一個接收器對應(yīng)一個控制盒。接收器通過感應(yīng)發(fā)射器發(fā)射出的電磁場的強(qiáng)弱、方向等來判斷自己所處的位置角度。網(wǎng)絡(luò)分頻器 系統(tǒng)硬件

5、介紹系統(tǒng)硬件介紹系統(tǒng)的基本結(jié)構(gòu)* 傳感器、控制信號綜合* 雙目同步*右眼圖象生成*左眼圖象生成3. 3. 硬件系統(tǒng)構(gòu)成及工作原理硬件系統(tǒng)構(gòu)成及工作原理 系統(tǒng)由3臺通用計算機(jī)（PC1，PC2，PC3）和相應(yīng)的VR設(shè)備組成。計算機(jī)通過基于TCP/IP協(xié)議的100 M HUB相連。 PC1（服務(wù)器）為中心控制計算機(jī)，主要完成數(shù)據(jù)手套和6自由度運(yùn)動跟蹤傳感器信號的采集、計算，網(wǎng)絡(luò)數(shù)據(jù)的管理，頭盔顯示器的雙眼同步等任務(wù)。 2臺成像計算機(jī)PC2 、PC3分別完成左、右眼三維圖像的實(shí)時生成任務(wù)，并將生成的視頻信號輸出到頭盔顯示器。 頭盔顯示器頂部和數(shù)據(jù)手套腕部的運(yùn)動跟蹤傳感器測量頭部和手部的位置與姿態(tài)，數(shù)據(jù)

6、手套測量手部各關(guān)節(jié)的姿態(tài)；數(shù)據(jù)手套連接傳感器和頭盔顯示器分別連接接收器，都通過RS232電纜將數(shù)據(jù)輸入到中心控制計算機(jī)中進(jìn)行處理。然后，通過局域網(wǎng)將頭部與手的2個傳感器的位置及角度信息、手掌及各關(guān)節(jié)的角度信息發(fā)送給兩臺成像計算機(jī)。2臺成像計算機(jī)分別根據(jù)這些信息生成左右眼的顯示畫面以及虛擬手的圖像，傳送給雙通道頭盔顯示器并顯示出來。系統(tǒng)原理框圖系統(tǒng)原理框圖分頻器監(jiān)視器/右分頻器監(jiān)視器/左RFLOCKFLOCK控制盒HUBPC1PC2PC3手套頭盔控制盒TRFBB位于頭盔顯示器頂部和數(shù)據(jù)手套腕部的運(yùn)動跟蹤傳感器測量頭部和手部的位置與姿態(tài)；數(shù)據(jù)手套測量手部各關(guān)節(jié)的姿態(tài)通過RS232串口電纜將數(shù)據(jù)輸入

7、到中心控制計算機(jī)(PC1)中進(jìn)行處理通過局域網(wǎng)將手的運(yùn)動和姿態(tài)信息、位置信息；以及兩眼點(diǎn)的位置信息、視線方向信息發(fā)送給成像計算機(jī)PC2 、PC3兩臺成像計算機(jī)分別生成左右眼的顯示畫面以及虛擬手的圖像，然后傳送給雙通道頭盔顯示器并顯示將兩幅略有差別的圖像在頭盔顯示器中疊加后，便會產(chǎn)生立體的顯示效果系統(tǒng)軟件介紹系統(tǒng)軟件介紹系統(tǒng)的軟件工具平臺操作系統(tǒng)：Windows 2000 或者 XP均可開發(fā)平臺：基于Microsoft Visual C+ 自研VRLabHome、VRLabPiano、VRLabFit動態(tài)鏈接庫。底層底層開發(fā)工具： CG2 VTree/OpenGL ，Virtual Hand S

8、uit，MultiGen Creator。三維建模軟件三維建模軟件Creator提供了非常強(qiáng)大的建模工具。通過平面圖形、幾何體等工具箱中的多邊形繪制、圓的繪制、墻體、平移旋轉(zhuǎn)等工具，制作出虛擬場景的基本幾何模型。而且，考慮到整個系統(tǒng)的實(shí)時顯示性能，保證虛擬現(xiàn)實(shí)系統(tǒng)的交互性，在保證模型基本框架的基礎(chǔ)上，盡量減少多邊形數(shù)量，優(yōu)化模型結(jié)構(gòu)。 可以使用Creator的工具條、建模工具箱、菜單命令，在數(shù)據(jù)庫窗口內(nèi)完成創(chuàng)建模型、調(diào)整視圖、編輯模型等多種操作。工具窗口的圖表列于主窗口的左側(cè)，通過點(diǎn)擊可以打開工具窗口，并可以利用鼠標(biāo)任意拖動到屏幕上的任何位置。三維建模軟件三維建模軟件建立模型及紋理制作建立模型

9、及紋理制作 根據(jù)基本方法，可以構(gòu)建虛擬實(shí)驗(yàn)場景的模塊：如椅子模型， 模型構(gòu)建完成后，為了更真實(shí)的仿真，可對所建的模塊進(jìn)行一些美化處理，如添加顏色、材質(zhì)、紋理以及燈光等，使模型更逼真。添加顏色后的椅子 椅子模型 建立模型及紋理制作建立模型及紋理制作添加了顏色和材質(zhì)的燈管日光燈模型制作紋理是Creator建模的一個至關(guān)重要的環(huán)節(jié)，要虛擬模型逼真，就需要加紋理。粘貼紋理后的電腦桌 建立模型及紋理制作建立模型及紋理制作CREATOR建立制作的實(shí)驗(yàn)室場景效果圖 燈光控制效果CREATOR建立制作的實(shí)驗(yàn)室場景效果圖 CREATOR建立制作的實(shí)驗(yàn)室場景效果圖 交互性交互性 : 是指人對虛擬環(huán)境內(nèi)物體的可操作

10、程度和從環(huán)境得到反饋的自然程度 。例如 , 人可以用手去直接抓取虛擬環(huán)境中的物體 , 這時手有握著東西的感覺 , 并可以感覺物體的重量 ( 其實(shí)這時手里并沒有實(shí)物 ), 視場中被抓的物體也立刻隨著手的移動而移動。沉浸感沉浸感 : 進(jìn)入由VR技術(shù)提供的虛擬三維空間環(huán)境 , 并作為該環(huán)境中的一員 , 參與該環(huán)境中物質(zhì)間的變化與作用。對于任何一個虛擬現(xiàn)實(shí)系統(tǒng) , 操作者必須能通過該系統(tǒng)提供的多維感覺反饋投入虛擬環(huán)境中 ,“ 身臨其境 ” 地觀察、探索和參與環(huán)境中的事物的變化，并能相互作用。想象性想象性 : 虛擬環(huán)境可使操作者沉浸其中并且獲取新的知識 , 提高感性和理性認(rèn)識 , 就能深化概念和萌發(fā)新意

11、。虛擬現(xiàn)實(shí)可以啟發(fā)人的創(chuàng)造性思維。立體成像算法的理論基礎(chǔ)與實(shí)現(xiàn)立體成像算法的理論基礎(chǔ)與實(shí)現(xiàn)立體視覺是人們感覺到空間立體感的主要原因，當(dāng)人在現(xiàn)實(shí)生活中觀察物體時，由于雙眼之間存在67cm的水平距離(瞳距)，所以在同一時刻，兩個不同圖像通過不同角度進(jìn)入視野，在左右眼的視網(wǎng)膜上分別產(chǎn)生一個稍有不同的圖像(即體視差)。軟件部分：首先測得觀察者的瞳距，分別計算出左右眼的位置坐標(biāo)。在眼坐標(biāo)系下將視點(diǎn)位置向左或右移動 ，然后將此坐標(biāo)轉(zhuǎn)換到實(shí)際坐標(biāo)系下并傳給左右眼成像計算機(jī)，進(jìn)行透視投影。硬件部分：將兩臺成像計算機(jī)視頻通道分別與頭盔顯示器的左右通道相連。另外頭盔顯示器的外殼上有調(diào)整兩眼距離及清晰度的裝置。系統(tǒng)

12、組成模塊系統(tǒng)組成模塊 （1）運(yùn)動跟蹤數(shù)據(jù)處理模塊。模塊包括數(shù)據(jù)采集和坐標(biāo)轉(zhuǎn)換，每個計算周期讀取數(shù)據(jù)手套的18個角度數(shù)據(jù)、2個位置跟蹤器的位置和姿態(tài)數(shù)據(jù)，并根據(jù)手關(guān)節(jié)角度和幾何參數(shù)計算空間的坐標(biāo)轉(zhuǎn)換矩陣。（2）網(wǎng)絡(luò)通信與同步模塊。首先將2臺成像計算機(jī)與中心控制計算機(jī)進(jìn)行網(wǎng)絡(luò)聯(lián)接，通過編程實(shí)現(xiàn)數(shù)據(jù)的收發(fā)；其次解決2臺成像計算機(jī)之間的數(shù)據(jù)同步與刷新同步問題。（3）場景渲染模塊。先利用Creator和VTree建模軟件建立虛擬場景模型，然后利用立體成像算法分別計算和渲染左右眼各自的視覺場景圖，并在頭盔顯示器中進(jìn)行疊加。（4）虛擬操作模塊。該模塊執(zhí)行碰撞檢測算法和碰撞響應(yīng)算法，分析實(shí)驗(yàn)操作者對虛擬環(huán)境實(shí)

13、行了何種操作。虛擬現(xiàn)實(shí)系統(tǒng)的人機(jī)交互實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)的人機(jī)交互實(shí)現(xiàn)模型建立后，利用實(shí)時三維視景系統(tǒng)軟件(VTree)使模型在已建立的場景中動起來，即在Visual C+ 6.0的界面上，使用VTree的語句實(shí)現(xiàn)。在Creator里面建立的虛擬模型，其輸出格式為.flt，而在實(shí)時仿真軟件VTree里面以及之后Visual C+中編程實(shí)現(xiàn)系統(tǒng)功能時候，所要用到的文件格式為.vt，所以需要通過VTree工具將所建立的模型文件.flt轉(zhuǎn)換為.vt，VTree 的功能的功能實(shí)驗(yàn)用到的關(guān)鍵技術(shù)實(shí)時圖形生成（坐標(biāo)轉(zhuǎn)換，碰撞檢測）三維幾何建模（幾何建模，紋理貼圖）網(wǎng)絡(luò)通訊編程（編程，同步技術(shù)）立體顯示技術(shù)（雙

14、眼立體顯示技術(shù)）傳感器數(shù)據(jù)采集（串行口通訊） 實(shí)驗(yàn)實(shí)驗(yàn)實(shí)驗(yàn)一：頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建 8學(xué)時實(shí)驗(yàn)二：室內(nèi)漫游虛擬手控制實(shí)驗(yàn) 8學(xué)時實(shí)驗(yàn)三：虛擬手彈鋼琴實(shí)驗(yàn) 8學(xué)時實(shí)驗(yàn)四：零件抓取與裝配實(shí)驗(yàn) 8學(xué)時實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建 通過系統(tǒng)平臺的搭建，熟悉虛擬現(xiàn)實(shí)技術(shù)的常用設(shè)備，了解各硬件的功能，理解人機(jī)交互系統(tǒng)的框架結(jié)構(gòu)。1連接傳感器與接收機(jī)；2連接數(shù)據(jù)手套線路；3連接頭盔線路；4檢查主從機(jī)IP，建立連接；5運(yùn)行主從機(jī)程序，觀察實(shí)驗(yàn)效果。實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建實(shí)驗(yàn)一、頭盔、數(shù)據(jù)

15、手套人機(jī)交互系統(tǒng)平臺搭建 實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建 實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建實(shí)驗(yàn)一、頭盔、數(shù)據(jù)手套人機(jī)交互系統(tǒng)平臺搭建 實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制 通過編程實(shí)現(xiàn)一套虛擬現(xiàn)實(shí)環(huán)境室內(nèi)漫游虛擬手控制。 利用已經(jīng)開發(fā)好的VRLabHome動態(tài)鏈接庫，調(diào)用庫函數(shù)來執(zhí)行一定的功能（如加載場景，采集數(shù)據(jù)，網(wǎng)絡(luò)傳輸?shù)龋罱K實(shí)現(xiàn)整個系統(tǒng)。 1建立虛擬場景（在客戶端PC2或PC3進(jìn)行），加載home.vt、lampshade.vt；2數(shù)據(jù)采集及轉(zhuǎn)換（在服務(wù)器PC1進(jìn)行）；3三臺PC機(jī)進(jìn)行網(wǎng)絡(luò)傳輸（在服務(wù)器與

16、客戶端同時進(jìn)行）；4虛擬人的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）5虛擬手控制的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制 實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制 實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制 實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制 實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制（開關(guān)）實(shí)驗(yàn)二、室內(nèi)漫游虛擬手控制（開關(guān)） 實(shí)驗(yàn)三實(shí)驗(yàn)三 虛擬手彈鋼琴虛擬手彈鋼琴 通過編程實(shí)現(xiàn)一套虛擬現(xiàn)實(shí)環(huán)境虛擬手彈鋼琴。利用已經(jīng)開發(fā)好的VRLabPiano動態(tài)鏈接庫，調(diào)用庫函數(shù)來執(zhí)行一定的功能（如加載場景，采集數(shù)據(jù)，網(wǎng)絡(luò)傳輸?shù)龋?，最終實(shí)現(xiàn)整

17、個系統(tǒng)。1建立虛擬場景（在客戶端PC2或PC3進(jìn)行），加載piano.vt；2數(shù)據(jù)采集及轉(zhuǎn)換（在服務(wù)器PC1進(jìn)行）；3三臺PC機(jī)進(jìn)行網(wǎng)絡(luò)傳輸（在服務(wù)器與客戶端同時進(jìn)行）；4虛擬人的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）5虛擬手控制的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）實(shí)驗(yàn)三實(shí)驗(yàn)三 虛擬手彈鋼琴虛擬手彈鋼琴 實(shí)驗(yàn)三實(shí)驗(yàn)三 虛擬手彈鋼琴虛擬手彈鋼琴 實(shí)驗(yàn)三實(shí)驗(yàn)三 虛擬手彈鋼琴虛擬手彈鋼琴 實(shí)驗(yàn)四實(shí)驗(yàn)四 零件抓取與裝配零件抓取與裝配 通過編程實(shí)現(xiàn)一套虛擬現(xiàn)實(shí)環(huán)境零件抓取與裝配。 利用已經(jīng)開發(fā)好的VRLabFit動態(tài)鏈接庫，調(diào)用庫函數(shù)來執(zhí)行一定的功能（如加載場景，采集數(shù)據(jù)，網(wǎng)絡(luò)傳輸?shù)龋罱K實(shí)現(xiàn)整個系統(tǒng)。 1建立虛擬場景（在客戶端PC2或PC3進(jìn)行），加載fit.vt；2數(shù)據(jù)采集及轉(zhuǎn)換（在服務(wù)器PC1進(jìn)行）；3三臺PC機(jī)進(jìn)行網(wǎng)絡(luò)傳輸（在服務(wù)器與客戶端同時進(jìn)行）；4虛擬人的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）；5虛擬手控制的實(shí)現(xiàn)（在客戶端PC2或PC3進(jìn)行）。實(shí)驗(yàn)四實(shí)驗(yàn)四 零件抓取與裝配零件抓取與裝配 實(shí)驗(yàn)四實(shí)驗(yàn)四 零件抓取與裝配零件抓取與裝配 本課程要掌握的基本技能硬件設(shè)備使用：1. 頭盔顯示器（分頻器）2. 數(shù)據(jù)手套3. 電磁跟蹤器（Flock）軟件技術(shù)：1. 了解和掌握圖形運(yùn)行環(huán)境（VTree SD