人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61課件

1、人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR612022/8/9人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面1、因特網(wǎng)2、多通道3、虛擬現(xiàn)實化4、基于智能體人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望1.以WIMP(窗口、圖符、菜單、鼠標)為代表的圖形用戶界面還將繼續(xù)使用，尤其是在辦公室中廣泛應用。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望2.最普遍的將是以因特網(wǎng)為中心的多種多樣人機界面。我們不僅擁有現(xiàn)在以瀏覽器、搜索引擎為代表的桌面網(wǎng)絡用戶界面，而且還將有一批適應不同帶寬（從高速視頻點播,到低速移動電話）、不

2、同尺寸（從手表掌上電腦，到墻壁大小）的多種多樣界面。因特網(wǎng)將進入我們的家庭和生活，界面也將嵌入在各種電器以至汽車導航中，普通百姓可通過語音、手寫等易用、方便的界面，實現(xiàn)網(wǎng)上購物等日常用途。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應用。 以虛擬現(xiàn)實為代表的計算機系統(tǒng)的擬人化和以掌上電腦為代表的計算機的微型化和隨身化，是當前計算機的兩個重要的應用趨勢。目前以鼠標和鍵盤為代表的圖形用戶界面技術是影響它們發(fā)展的瓶頸。利用人的多種感覺通道和動作通道（如語音、手寫、表情、姿勢、視線、筆等輸入），以并行、非精確方式與計算機系

3、統(tǒng)進行交互，可以提高人機交互的自然性和高效性。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應用。 以三維、沉浸感的逼真輸出為標志的虛擬現(xiàn)實技術是多媒體、多通道界面的重要應用目標。目前，語音和手寫輸入在實用化方面已有很大進展。預計，隨著模式識別、全息圖象、自然語言理解和新的傳感技術的發(fā)展，人機界面技術將進一步朝著計算機主動感受、理解人的意圖方向發(fā)展。新的多通道、多媒體人機界面是重要發(fā)展趨勢。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如果強迫人類去適應計算機

4、，坐在桌旁操作鼠標和鍵盤，肯定會限制計算機的應用。如果用白光全息技術代替立體顯示器或立體眼鏡，用攝像跟蹤技術及自然語言理解技術來代替“手套”或“鍵盤”，那么人們會有更充分的活動自由，可以在現(xiàn)實環(huán)境中享受虛擬的樂趣！人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61下一代人機界面的展望傳統(tǒng)界面依然會有生機。因特網(wǎng)無處不在。各式各樣的全新界面被嵌入到我們生活的各種設備中。以用戶為中心、新的自然人機界面正將我們帶離桌面，去探索更廣闊的物理的、生活的、和數(shù)字的世界！新世紀將更加美好！人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR611。什么是虛擬現(xiàn)實？關于術語Virtual Reality（VR）(J.Lan

5、ier,1989) 譯為: 虛擬現(xiàn)實、靈境、幻真. 其他： Virtual Environment Artificial Reality (M.W.Krueger,1970s) Cyberspace (W.Gibson,1984)人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR611。什么是虛擬現(xiàn)實？ 是一種可以創(chuàng)建和體驗虛擬世界的計算機系統(tǒng)。而虛擬世界是全體虛擬環(huán)境或給定仿真對象的全體。虛擬環(huán)境是由計算機生成的，通過視、聽、觸覺等作用于用戶，使之產(chǎn)生身臨其境感覺的交互式視景仿真。 用計算機技術來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發(fā)，利用自然的技能和某些設備

6、對這一生成的虛擬世界客體進行瀏覽和交互考察。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR611。什么是虛擬現(xiàn)實？1.逼真的感覺 視覺，聽覺，觸覺，嗅覺 等2.自然的交互 運動，姿勢，語言，身體跟蹤 等3.個人的視點 用戶的眼、耳、身 所感到的感覺信息4.迅速的響應 感覺信息根據(jù)視點變化和用戶輸入及時更新人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR611。什么是虛擬現(xiàn)實？一項綜合技術涉及計算機圖形學、人機接口技術、圖像處理與模式識別、多傳感器技術、語音處理與音響技術、網(wǎng)絡技術、并行處理技術、高性能計算機系統(tǒng)、人工智能技術. 核心：2M(MPP,MultiMedia),2O(Open System,O

7、bject-oriented)需要計算機專家、人類工程學(Ergonomics) 專家、 心理學專家等共同開發(fā)研究。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61虛擬現(xiàn)實應有的特征（3I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現(xiàn)實與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個靜態(tài)的世界，而是可以對使用者的輸入作出反應。虛擬現(xiàn)實環(huán)境可以通過控制與監(jiān)視裝置影響或被使用者影響。想象 （Imagination）: 它的應用能解決在工程、醫(yī)學、軍事等方面的一些問題,這些應用是與設計者并行操作,為發(fā)揮它們的

8、創(chuàng)造性而設計的,這極大地依賴于人類的想象力。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61分布式虛擬環(huán)境（Distributed Virtual Environment) 利用計算機構(gòu)造的一個真實世界的模擬，地理上分布的用戶可以通過網(wǎng)絡共享該環(huán)境，并與周圍的環(huán)境以及在相互之間進行交互。共享虛擬環(huán)境涉及到虛擬現(xiàn)實、分布對象、網(wǎng)絡、人機交互、智能代理等領域。其他同義詞包括: Networked VE(VR),Shared VE(VR),Multi-User VE, etc. 其實質(zhì)是一種人機交互界面 人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61分布式虛擬環(huán)境的應用軍事訓練 SIMNET&DIS

9、教育與培訓 pedagogical agent Steve; JackMOO網(wǎng)絡會議與遠程協(xié)作 Sony公司基于DIVE的一個系統(tǒng)娛樂和虛擬社區(qū) Cybertown (使用Blaxxun）電子商務 VR commerce of IBM 人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61分布式虛擬環(huán)境發(fā)展的原動力因特網(wǎng)技術的廣泛使用: Internet已經(jīng)成為娛樂、商業(yè)等的重要媒體硬件基礎：網(wǎng)絡帶寬的提高（寬帶網(wǎng)的逐漸普及），個人計算機圖形處理能力的增強軟件基礎： 虛擬現(xiàn)實技術和網(wǎng)絡技術的結(jié)合日益復雜的數(shù)據(jù)使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過

10、網(wǎng)絡實現(xiàn)人與人之間實時、形象的交流人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61著名分布式虛擬環(huán)境項目介紹DIVE http:/www.sics.se/dive/由瑞典Institute of Computer Science開發(fā)運行在 SG IRIX, PCNT4, PCLinux/Mesa, Sun Solaris,HP HPUX上核心代碼使用C語言寫成提供API和TCL Script接口1991年第一版本SIMNET&DIS美國DARPA(Defense Advanced Research Projects Agency )1983年開始的一項研究，交付官方使用于1990年，用于模擬組隊

11、作戰(zhàn)環(huán)境特點：對象-事件模型，自治模擬節(jié)點，預測算法DIS網(wǎng)絡軟件架構(gòu)的核心是協(xié)議數(shù)據(jù)單元（PDU） 沒有中央服務器 ,可擴展性好人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61基于Web和VRML的分布式虛擬環(huán)境 Blaxxun Interactive Inc / 1995年成立，總部在德國慕尼黑Virtual Worlds Platform 5.1 多人服務器Blaxxun contact VRML客戶端程序blaxxun3D Java解釋VRML Vnet /jeffs/vnet/ VRML+Java DeepMatrix VRML+Java人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR612

12、。歷史回顧虛擬現(xiàn)實和其他技術一樣，也是在前人大量工作的基礎上發(fā)展起來的。1。立體電影，立體聲技術2。飛行模擬器 最早實際使用的仿真技術；3?！靶请H旅行”“宇宙飛船”的演示4。機械手、機器人 危險場合進行各類“遙控操作”；5。游戲 駕駛汽車、潛艇航行人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR612。歷史回顧重 要 事 件HMD Head-Mounted Display 1968年Sutherland 三維頭盔顯示器 ；Videoplace 1985年Krueger正式發(fā)表無障礙的人工現(xiàn)實；VIEW項目 Virtual Environment Workstation美國宇航局Ames研究中心的虛擬

13、環(huán)境工作站；Data Glove VPL公司采用定位裝置Polhemus的數(shù)據(jù)手套；人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61VPL公司采用三維定位裝置Polhemus的數(shù)據(jù)手套示意圖人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61三維定位裝置Polhemus原理人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61重 要 事 件BOOMBinocular Omni-Oriented Monitor 美國宇航局Fakespace Lab的雙筒全方位監(jiān)視器；CAVEAudio-Visual Experience Automatic Virtual Environment 1992年Cruz-Neira

14、的墻式顯示屏自動聲象虛擬環(huán)境；VRML Virtual Reality Modeling Language 因特網(wǎng)上 1.0及2.0版本的虛擬現(xiàn)實建模語言人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61CAVE 墻式顯示屏自動聲象虛擬環(huán)境Audio-Visual Experience Automatic Virtual Environment人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用應用和需求是技術發(fā)展的推動力1）軍事美國國防部和軍方認為：虛擬現(xiàn)實將在武器系統(tǒng)性能評價、武器操縱訓練及指揮大規(guī)模軍事演習三方面發(fā)揮重大作用。 他們制定了戰(zhàn)爭綜合演示廳計劃、防務仿真交互網(wǎng)絡計劃、綜合戰(zhàn)役橋

15、計劃、及虛擬座艙、衛(wèi)星塑造者等應用環(huán)境，并在核武器試驗及許多局部戰(zhàn)爭中進行了應用，不僅節(jié)省了大量的軍事費用，更重要的是提高了現(xiàn)代化作戰(zhàn)指揮方面能力。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用2）航天航空美國宇航局是虛擬現(xiàn)實最早研究的單位和應用者。宇宙飛船及各類航空器是需耗費巨資的現(xiàn)代化工具，而進入宇宙有大量未知、危險的因素，因而模擬各種航空器可能遇到的環(huán)境，不僅可節(jié)省大量費用，而且是十分必要的。虛擬風洞就是一例。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用3）計算機輔助設計 虛擬樣機、虛擬建筑物 工業(yè)產(chǎn)品均需要反復構(gòu)思和設計，但用戶往往仍不滿意?？煞裨谠O計早期就給用戶一個

16、逼真的產(chǎn)品樣機？ 美國波音公司Butler設計了一個稱為VS-X的虛擬飛機，它可使設計人員有身臨其境觀察飛機外形、內(nèi)部結(jié)構(gòu)及布局的效果；建筑設計師可在蓋樓前通過虛擬建筑物，讓用戶自己來觀察外形和內(nèi)部房間部位，也便于設計師修改設計。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用4）外科手術和人體器官的模擬外科醫(yī)生的培訓是一項投資大、時間長的工作，這是因為不能隨便讓實習醫(yī)生在病人身上動手術?？墒遣挥H自動手，又如何學會手術呢？虛擬手術臺已能部分模仿外科醫(yī)生的現(xiàn)場。同樣，提供模擬的人體器官，可讓學生逼真地觀察器官內(nèi)部的構(gòu)造和病灶，具有極高的實驗價值。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR6

17、13。應用5）科學研究和計算的可視化各種分子結(jié)構(gòu)模型、大壩應力計算的結(jié)果、地震石油勘探數(shù)據(jù)處理等，均十分需要三維（甚至多維）圖形可視化的顯示和交互瀏覽，虛擬現(xiàn)實技術為科學研究探索微觀形態(tài)等提供了形象直觀的工具。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用6）遠程控制虛擬現(xiàn)實可采用遙控手段，通過機械手、機器人對危險或有毒環(huán)境進行操作。人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR613。應用7）教育、游戲與其他這是向人們、尤其是青少年提供生動的課堂和娛樂手段的好機遇，它具有三維聲象效果、能進行交互操作的功能，因而已為商家們看好，紛紛開發(fā)低檔虛擬現(xiàn)實產(chǎn)品。如虛擬博物館，網(wǎng)上景點瀏覽。人機交互

18、技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61虛擬房間人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61積木世界人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61虛擬現(xiàn)實的適用特點1。需要高成本制造的設備，如航天器，軍用設備。2。對人有危險的環(huán)境，如核試驗、飛行訓練。3。目前尚未出現(xiàn)的環(huán)境，如建筑物、天體物理人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術(系統(tǒng)框圖)1992年Bryson主計算機數(shù)據(jù)手套（傳感器）（信號源）BOOM雙筒全方位監(jiān)視器人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術1.大規(guī)模數(shù)據(jù)的場景建模技術；2.動態(tài)實時的立體視覺、聽覺等生成技術;3.三維定位、方向跟蹤、觸

19、覺反饋等傳感技術和設備；4.符合人類認知心理的三維自然交互技術;5.三維交互軟件及系統(tǒng)集成技術人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術影響（沉浸感）立體 視覺因素寬視野（）立體顯示彩色高分辨率頭部跟蹤人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術視覺設備紅藍濾色眼鏡液晶開關的體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監(jiān)視器（BOOM）墻式顯示屏自動聲象虛擬環(huán)境（CAVE） 類型： 透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術雙眼立體視圖的生成三維場景上任一點P(x,y,z)，對于左右眼視點L、R，

20、在投影平面z=0上的成象點Pl(xl,yl)、Pr(xr,yr)計算如下：xl = (x*k - z*d/2)/(k+z) xr = (x*k + z*d/2)/(k+z)yl = yr = y*k/(k+z) 可推導得：xl = (x + d/2)/(1 + z/k) - d/2xr = (x - d/2)/(1 + z/k) + d/2可用硬件實現(xiàn)人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術聽覺： 3D & Stereo聲源定位：強度（高頻）和時差（低頻）問題：聲音從頭里發(fā)出，隨強度差而偏左或偏右原因：與耳朵形狀有關解決：Convolvotron($15,000) 耳內(nèi)錄音

21、+ 計算人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術觸覺（Haptic)Haptic: 機械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大?。C械臂，空氣囊，記憶金屬，小馬達，小探針。Sandpaper (Minsky,1990) 將小馬達連到游戲桿；攪動人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61三維操縱棍,力反饋原理圖人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術適當?shù)模ê唵蔚模┯|覺和/或聽覺提示與反饋能極大地改善人機交互質(zhì)量兩個基本的性能指標:幀 頻 10fps ， 響應時間 0.1s人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR6

22、14。關鍵技術身體跟蹤： 位置的跟蹤（位置+方向）及角度的度量（指關節(jié)、光纖）；眼動跟蹤位置跟蹤技術：正交電磁場 Polhemus trackers超聲波信號 Logitec. Mattel Power Glove機械連接 Fake Space Labs視頻信號處理 Myron KruegerLED視頻傳感UNC at Chapel Hill慣性跟蹤（加速度）Spaceball人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61DHM手勢傳感裝置原理圖人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61PowerGlove示意圖人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61三維鼠標器示意圖人機交互技術第一

23、章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術市場上已有的產(chǎn)品：（硬件）液晶開關的體視眼鏡SEGA LCD Glasses, StereoGraphics CrystalEyes, Toshiba 3D Scope LCD Glasses三維頭盔顯示器（HMD）LEEP Systems Cyberface 2/3Polhemus Laboratories Looking GlassRPI HMSI(Head - Mounted Sensory Interface)Virtual Reality Group HMDVirtual Research Flight Helmet人機交互技術第一章虛擬現(xiàn)實

24、的現(xiàn)狀和發(fā)展VR614。關鍵技術市場上已有的產(chǎn)品：（硬件）控制和接口設備:VPL Data Glove（數(shù)據(jù)手套）Mattel Power GloveGlobal 3D controller (三維定位器）Logitech 3D Mouse and Head Tracker（三維鼠標、頭部跟蹤器）Polhemus Isotrak/FastrakISCAN Head - Mounted Eye Imaging System （視線跟蹤器）SENSible Technologies PHANToM（觸覺反饋設備）人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61頭盔系統(tǒng)人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀

25、和發(fā)展VR61跟蹤系統(tǒng)人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61三維觸覺系統(tǒng)交戰(zhàn)技能訓練者人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術市場上已有的產(chǎn)品：（系統(tǒng)）SGI公司虛擬現(xiàn)實中心 (Reality Center)CAVE仿真工作室 (Reality Studio)Onyx2 (8 CPU)仿真工作站 (Reality Station)Onyx2桌上型 仿真工作站(Reality Desktop)Octane 320 NT 工作站SGI IRIS Performer 仿真開發(fā)環(huán)境SGI OpenGL Optimizer (Open Inventor) 仿真開發(fā)環(huán)境 (中、低

26、檔）SGI Fahrenheit (沸點）三維圖形接口庫( for Windows NT)MultiGen , Paradigm/ Vega 三維應用建模軟件人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR614。關鍵技術市場上已有的產(chǎn)品：（軟件）MultiGen , Paradigm/ Vega 三維應用建模軟件Dimension Superscape Virtual RealitiesSense 8 WorldToolKit (WTK)Virtus WalkThroughVREAMDivision PROVISION 100VRXStrayLight PhotoVRThe Vivid Group -MandalaW Industries Virtuality人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR61原型人機交互技術第一章虛擬現(xiàn)實的現(xiàn)狀和發(fā)展VR615。最新進展與分類最新進展1）使用基于圖像的繪制技術（或與圖形