混合現(xiàn)實(shí)(MR)與虛擬現(xiàn)實(shí)(VR)課件

1、第 6 章混合現(xiàn)實(shí)6.1混合現(xiàn)實(shí)的概念6.2混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系6.3混合現(xiàn)實(shí)的交互技術(shù) 6.1混合現(xiàn)實(shí)的概念混合現(xiàn)實(shí)是一種使真實(shí)世界和虛擬物體在同一視覺(jué)空間中顯示和交互的計(jì)算機(jī)虛擬 現(xiàn)實(shí)技術(shù)。加拿大多倫多大學(xué)工業(yè)工程系的Paul Milgram對(duì)混合現(xiàn)實(shí)（Mixed Reality， MR）的定義是：真實(shí)世界和虛擬世界在一個(gè)顯示設(shè)備中同時(shí)呈現(xiàn)。也有學(xué)者認(rèn)為： “現(xiàn)代意義上的混合現(xiàn)實(shí)是不同類型的現(xiàn)實(shí)（主要是指真實(shí)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)）的彼 此混合。將計(jì)算機(jī)所生成的虛擬對(duì)象融合到真實(shí)的環(huán)境當(dāng)中，從而建立出一個(gè)新的環(huán)境 及符合一般視覺(jué)上所認(rèn)知的虛擬影像，在這之中，現(xiàn)實(shí)世界中的物件能夠

2、與虛擬世界中 的物件共同存在并且即時(shí)地產(chǎn)生互動(dòng)?！狈祷?.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系現(xiàn)實(shí)與虛擬兩部分構(gòu)成了混合現(xiàn)實(shí)，其中用戶與虛擬世界的聯(lián)結(jié)是虛擬部分關(guān)心的 內(nèi)容。因此，涉及兩個(gè)方面的內(nèi)部，即虛擬世界的構(gòu)建與呈現(xiàn)、人與虛擬世界的交互。 所看到的虛擬世界是與人類感官直接聯(lián)結(jié)的，因此，要構(gòu)造完美的虛擬世界必須通過(guò)建 立與人類感官匹配的自然通道。虛擬世界的呈現(xiàn)，音響效果的營(yíng)造，觸覺(jué)、力覺(jué)等各種 知覺(jué)感知和反饋要通過(guò)真實(shí)感渲染得到。因此，用戶與虛擬世界的交互必須建立相同的 知覺(jué)通道，通過(guò)分析用戶的自然行為，在感知、理解、響應(yīng)和呈現(xiàn)上形成環(huán)路，這是虛 擬現(xiàn)實(shí)技術(shù)的核心內(nèi)容。下一頁(yè)返回6

3、.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系由于對(duì)現(xiàn)實(shí)世界的模擬本身非常困難，因此混合現(xiàn)實(shí)沒(méi)有對(duì)復(fù)雜多變的現(xiàn)實(shí)世界進(jìn) 行實(shí)時(shí)模擬，其建立的是虛擬世界與現(xiàn)實(shí)世界的聯(lián)結(jié)，并模擬二者的相互影響。而要使 虛擬世界與現(xiàn)實(shí)世界融為一體，技術(shù)上的諸多挑戰(zhàn)不僅要感知用戶的主體行為，還要感 知一切現(xiàn)實(shí)世界中有關(guān)聯(lián)的人、環(huán)境甚至事件語(yǔ)義，提供恰當(dāng)?shù)慕换ズ头答?。因此，?合現(xiàn)實(shí)涉及了從計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、模式識(shí)別到光學(xué)、電子、材料等多個(gè)學(xué)科領(lǐng)域。正是由于混合現(xiàn)實(shí)與現(xiàn)實(shí)世界的 緊密聯(lián)系，才使其具備強(qiáng)大且廣泛的實(shí)用價(jià)值。上一頁(yè)下一頁(yè)返回6.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系混合現(xiàn)實(shí)技術(shù)是 虛擬世界與現(xiàn)

4、實(shí)世界無(wú)縫融合的技術(shù)。虛 擬現(xiàn)實(shí)代表的是計(jì) 算機(jī)營(yíng)造的世界，使 人類的知覺(jué)感知延展到計(jì)算機(jī)中；而混合 現(xiàn)實(shí)技術(shù)在保持對(duì)現(xiàn)實(shí)世界正常感知的基礎(chǔ)上，通過(guò)建立虛擬 世界與現(xiàn)實(shí)世界之間 的聯(lián)系，再將人類感 官延伸到虛擬世界。 混合現(xiàn)實(shí)技術(shù)中所關(guān) 注的虛擬世界可以有 豐富的內(nèi)容。從早期 的虛擬現(xiàn)實(shí)世界的局 部場(chǎng)景，與現(xiàn)實(shí)世界 無(wú)縫融合，使得我們 可以看到匪夷所思的 場(chǎng)景，典型的是電影阿凡達(dá)呈現(xiàn)的世 界。然而，計(jì)算機(jī)的 強(qiáng)大能力不僅在于對(duì) 場(chǎng)景的營(yíng)造能力，還 在于對(duì)信息搜集、數(shù) 據(jù)整理和分析呈現(xiàn)的 能力。在信息爆炸的 時(shí)代，信息容量和復(fù) 雜度遠(yuǎn)遠(yuǎn)超過(guò)人類所 能夠的范圍，在宏觀 上把握信息的內(nèi)涵， 提供對(duì)數(shù)

5、據(jù)蘊(yùn)涵的語(yǔ) 義分析，才有可能使 人類理解數(shù)據(jù)。混合 現(xiàn)實(shí)技術(shù)可以在數(shù)據(jù)分析的基礎(chǔ)上建立用戶與數(shù)據(jù)的聯(lián)結(jié)，從而使得用戶可以直接感知數(shù)據(jù)分析的結(jié)果，將人類感知延展到數(shù)據(jù)語(yǔ)義層面。上一頁(yè)下一頁(yè)返回6.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系混合現(xiàn)實(shí)技術(shù)包含虛擬世界和現(xiàn)實(shí)世界。在需要虛擬現(xiàn)實(shí)技術(shù) 支持的同時(shí)，也需要增強(qiáng)現(xiàn)實(shí)技術(shù)的支持。虛擬現(xiàn)實(shí)技術(shù)的第一個(gè) 核心問(wèn)題是對(duì)虛擬世界的建模，包括模擬現(xiàn)實(shí)世界的模型或人工設(shè) 計(jì)的模型；對(duì)現(xiàn)實(shí)世界模型的模擬，即場(chǎng)景重建技術(shù)。虛擬現(xiàn)實(shí)的 第二個(gè)問(wèn)題是將觀察者知覺(jué)與虛擬世界的空間注冊(cè)，滿足視覺(jué)沉浸 感的呈現(xiàn)技術(shù)；第三個(gè)問(wèn)題是提供與人類感知通道一致的交互技 術(shù)，即感

6、知和反饋技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上， 還需要將現(xiàn)實(shí)世界與虛擬世界進(jìn)行注冊(cè)，并且感知真實(shí)世界發(fā)生的 狀況、動(dòng)態(tài)，搜集真實(shí)世界的數(shù)據(jù)，進(jìn)行數(shù)據(jù)分析和語(yǔ)義分析，并 對(duì)其進(jìn)行響應(yīng)。因此，混合現(xiàn)實(shí)的虛實(shí)融合分析三個(gè)層面，即虛實(shí) 世界產(chǎn)生智能上的交互融合；虛實(shí)世界產(chǎn)生社會(huì)學(xué)意義上的交互融 合，如行人互相避讓的行為；虛實(shí)空間產(chǎn)生視覺(jué)上的交互影響。上一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.1用戶界面形態(tài)新型交互技術(shù)和設(shè)備的出現(xiàn)，使人機(jī)界面不斷向著更高效、更 自然的方向發(fā)展。在混合現(xiàn)實(shí)中使用較多的用戶界面形態(tài)包括TUI、 觸控用戶界面、3DUI、多通道用戶界面和混合用戶界面。（1）TUI是目前在

7、混合現(xiàn)實(shí)領(lǐng)域應(yīng)用最多的交互方式。它支持 用戶直接使用現(xiàn)實(shí)世界中的物體與計(jì)算機(jī)進(jìn)行交互。無(wú)論是在虛擬 環(huán)境中使用現(xiàn)實(shí)物體輔助交互（AV），還是在虛擬環(huán)境中加入輔助 的虛擬信息（AR），在這種交互方式下都顯得非常自然并對(duì)用戶具 有吸引力。下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)（2）觸控用戶界面是在GUI的基礎(chǔ)上，以觸覺(jué)感知為主要指點(diǎn) 技術(shù)的交互技術(shù)。在混合現(xiàn)實(shí)中，一種比較自然的方式是直接用手 通過(guò)屏幕與虛實(shí)物體交互。手機(jī)、平板電腦等移動(dòng)設(shè)備及透明觸屏 都提供了這種支持，這使得直接觸控成為混合現(xiàn)實(shí)中主要的交互方 式之一。（3）在3DUI中，用戶與計(jì)算機(jī)進(jìn)行交互是在一個(gè)虛擬或現(xiàn)實(shí)的3D空間中進(jìn)行 的。3

8、DUI是從虛擬現(xiàn)實(shí)技術(shù)中衍生而來(lái)的交互技術(shù)，它可以支持在純虛擬環(huán)境中進(jìn)行物體獲取、觀察世界、地形漫游、搜索 與導(dǎo)航。在混合現(xiàn)實(shí)環(huán)境中，這種交互需 求是大量存在的，因此，3DUI是混合現(xiàn)實(shí) 中重要的交互手段之一。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)（4）在混合現(xiàn)實(shí)中的許多應(yīng)用都利 用了多通道交互技術(shù)。多通道用戶界面支 持用戶通過(guò)多種通道與計(jì)算機(jī)進(jìn)行交互。 這些通道包括不同的輸入工具（如文字、 語(yǔ)音、手勢(shì)等）和不同的人類感知通道（聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)等）。在這種交互方 式中通常需要維持不同通道間的一致性。（5）混合用戶界面為用戶提供更為靈活的交互平臺(tái)，它將不同但相互補(bǔ)足的用戶界面進(jìn)行組合，用戶通

9、過(guò)多種不 同的交互設(shè)備進(jìn)行交互，以滿足多樣化 的日常交互行為。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.2交互對(duì)象的虛實(shí)融合 1注冊(cè)跟蹤技術(shù)在增強(qiáng)現(xiàn)實(shí)中，如果用戶改變自身 位置和觀察角度，被觀察的虛擬物體就 能實(shí)時(shí)融洽地與現(xiàn)實(shí)場(chǎng)景保持一致。要 達(dá)到此種效果 ， 在增強(qiáng)現(xiàn)實(shí)中必須明 確觀察者和虛擬物體在現(xiàn)實(shí)環(huán)境中的準(zhǔn)確位置和姿態(tài)。設(shè)計(jì)者一般會(huì)事先決定 虛擬物體在現(xiàn)實(shí)環(huán)境中的位置，因此， 只要注意觀察者的位置和姿態(tài)，就可以 根據(jù)觀察者的實(shí)時(shí)視角重建坐標(biāo)系，計(jì) 算出虛擬物體的顯示姿態(tài)，實(shí)現(xiàn)交互對(duì) 象的虛實(shí)融合。這個(gè)過(guò)程是三維注冊(cè)過(guò) 程，其實(shí)現(xiàn)方法一般分為基于傳感器的 注冊(cè)技術(shù)、基于視覺(jué)的注冊(cè)

10、技術(shù)和混合 注冊(cè)技術(shù)三種。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)2顯示設(shè)備顯示設(shè)備要解決的問(wèn)題是讓用戶簡(jiǎn)單、便捷地觀察到虛實(shí)融合的場(chǎng)景。在AV中，由于場(chǎng)景的主體是虛擬的，其方位可以由系統(tǒng)唯一確定，因此，可以直接使用傳統(tǒng)顯示設(shè) 備來(lái)呈現(xiàn)虛實(shí)融合場(chǎng)景。而在AR中，場(chǎng)景是用戶直接觀察到的現(xiàn)實(shí) 世界，技術(shù)上一般采用頭戴式顯示設(shè)備（HMD）、手持式顯示設(shè)備 和投影式顯示設(shè)備來(lái)實(shí)現(xiàn)。其中，HMD包括光學(xué)透視型和視頻透視 型兩種。光學(xué)透視型顯示設(shè)備是通過(guò)透明屏幕直接觀察現(xiàn)實(shí)世界，視頻透視型顯示設(shè)備是用頭戴式攝像機(jī)采集現(xiàn)實(shí)世界視頻作為背景投影到顯示器上。手持式顯示設(shè)備（如手機(jī)、平板電腦）一般采用視頻透 視

11、技術(shù)，利用設(shè)備上的攝像頭采集現(xiàn)實(shí)世界的圖像。投影式顯示設(shè)備 利用各種投影儀將圖像直接投影到墻壁、桌面、物理實(shí)體等現(xiàn)實(shí)世界 的物體中，從而在這些物體上疊加虛擬信息。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.3手勢(shì)識(shí)別技術(shù)混合現(xiàn)實(shí)中使用的手勢(shì)識(shí)別技術(shù)可以按照輸入設(shè)備分為基于傳感 器和基于計(jì)算機(jī)視覺(jué)兩種?；趥鞲衅鞯氖謩?shì)識(shí)別技術(shù)利用不同的硬件設(shè)備（如數(shù)據(jù)手套、運(yùn)動(dòng)傳感器），跟蹤返回人手以及手部各骨骼所在的三維坐標(biāo)，從而測(cè)量手勢(shì)在三維空間中的位置信息和手指等關(guān) 節(jié)的運(yùn)動(dòng)信息。這種系統(tǒng)可以直接獲得人手在三維空間中的坐標(biāo)和手 指運(yùn)動(dòng)的參數(shù)，數(shù)據(jù)的精確度高，可識(shí)別的手勢(shì)多且辨識(shí)率高，但需 要佩戴額外

12、的設(shè)備。基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù)利用單個(gè)或多個(gè) 攝像頭來(lái)采集手勢(shì)信息，經(jīng)計(jì)算機(jī)系統(tǒng)分析獲取圖像來(lái)識(shí)別手勢(shì)。該 技術(shù)使學(xué)習(xí)和使用簡(jiǎn)單靈活，更自然、直接地進(jìn)行人機(jī)交互，但計(jì)算 過(guò)程較復(fù)雜，識(shí)別率和實(shí)時(shí)性較差。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)混合現(xiàn)實(shí)中使用的手勢(shì)可分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)兩類。靜態(tài)手 勢(shì)是指某一時(shí)刻表態(tài)的手臂、手掌或手指的形狀、姿態(tài)，手勢(shì)數(shù)據(jù)中 不包含連續(xù)時(shí)間序列信息，這類手勢(shì)給用戶提供了利用手掌就能完成 的交互行為，一般用基于圖像特征聚類的方法進(jìn)行識(shí)別；動(dòng)態(tài)手勢(shì)是 指在一段連續(xù)的時(shí)間內(nèi)手臂、手掌或手指的姿態(tài)變化或移動(dòng)路徑，手 勢(shì)數(shù)據(jù)中需要包括隨時(shí)間變化的空間特征，這類手

13、勢(shì)能夠很好地表示 空間路徑手勢(shì)，且需要使用基于隱馬爾可夫模型（HMM）、基于動(dòng) 態(tài)時(shí)間規(guī)整和基于壓縮時(shí)間軸的方法進(jìn)行識(shí)別。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.43D交互技術(shù)在3D交互技術(shù)的支持下，3DUI能夠很自然地應(yīng)用于混合現(xiàn)實(shí)場(chǎng)景。3D交互技術(shù)支持用戶使用3D的輸入手段操作3D的對(duì)象及內(nèi)容，并得到3D的 視覺(jué)、聽(tīng)覺(jué)等多通道反饋。面向通用任 務(wù)的3D交互技術(shù)分為導(dǎo)航、選擇/操作和 系統(tǒng)控制三個(gè)方面。其實(shí)現(xiàn)結(jié)構(gòu)可以劃 分為3個(gè)具有顯著特點(diǎn)的層次幾何模 型、直接操縱隱喻、高層語(yǔ)義交互。其 中，幾何模型層提供3D可視反饋，直接 操縱隱喻定義包括選取、點(diǎn)擊、拖動(dòng)、 旋轉(zhuǎn)在內(nèi)的直接操縱功

14、能，而面向高層語(yǔ)義的交互隱喻層允許用戶實(shí)現(xiàn)更為復(fù)雜的交互任務(wù)，如指定路徑進(jìn)行漫游， 這些任務(wù)需要由多個(gè)直接操縱層的動(dòng)作 序列組合完成。混合現(xiàn)實(shí)應(yīng)用中的自然 交互和直觀反饋將主要在這一層得到 實(shí)現(xiàn)。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.5語(yǔ)音和聲音交互技術(shù)從聲 音的類型上，可以將這種技術(shù)分為非語(yǔ) 音（聲音）交互技術(shù)和語(yǔ)音交互技術(shù)。 非語(yǔ)音交互技術(shù)主要使用聲音給用戶提 供聽(tīng)覺(jué)線索，使用戶能夠有效地掌握和 理解交互內(nèi)容；語(yǔ)音交換技術(shù)包括語(yǔ)音 輸入、語(yǔ)音識(shí)別和處理及語(yǔ)音輸出在內(nèi) 的一整套交互技術(shù)。一個(gè)完整的語(yǔ)音交互系統(tǒng)由語(yǔ)音輸 入和語(yǔ)音輸出系統(tǒng)兩部分組成。語(yǔ)音輸入系統(tǒng)包括語(yǔ)音識(shí)別和語(yǔ)義理解

15、兩個(gè)子系統(tǒng)。語(yǔ)音識(shí)別系統(tǒng)負(fù)責(zé)將語(yǔ)音轉(zhuǎn)化為 音素，其識(shí)別方法是利用相應(yīng)的語(yǔ)音特 征，如梅爾倒譜和語(yǔ)音模型、HMM和高 斯混合模型進(jìn)行切分和識(shí)別。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)語(yǔ)義理解 系統(tǒng)通過(guò)語(yǔ)言模型將語(yǔ)音識(shí)別系統(tǒng)的結(jié) 果進(jìn)行修正并組合成符合語(yǔ)法結(jié)構(gòu)和語(yǔ) 言習(xí)慣的詞、短語(yǔ)和句子。多元語(yǔ)言模 型得到最廣泛的應(yīng)用。語(yǔ)音輸出系統(tǒng)分為有限詞匯和無(wú)限詞匯兩種。有限詞匯一般用于對(duì)有限的消息提示、控制指令、標(biāo)準(zhǔn)問(wèn)題進(jìn)行語(yǔ)音反饋； 對(duì)于無(wú)限詞匯，如盲人使用的讀書(shū)軟件或復(fù)雜的導(dǎo)航 系統(tǒng)，無(wú)法將所有句子進(jìn)行預(yù)先錄制，只能通過(guò)語(yǔ)音 合成的方法形成輸出語(yǔ)音。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.

16、6其他交互技術(shù) 1觸覺(jué)反饋技術(shù)觸覺(jué)反饋技術(shù)在產(chǎn)生力學(xué)信號(hào)的過(guò)程中能夠通過(guò) 人類的動(dòng)覺(jué)和觸覺(jué)給用戶反饋信息。從字面上看，這項(xiàng)技術(shù)提供給用戶的是通過(guò)觸摸的方式感知實(shí)際或虛擬的力學(xué)信號(hào)。但實(shí)際上，觸覺(jué)反饋技術(shù)還包括提供 體位、運(yùn)動(dòng)、重量等動(dòng)覺(jué)通道的力學(xué)信號(hào)。這一特點(diǎn) 對(duì)拓寬混合現(xiàn)實(shí)的交互帶寬，增加混合現(xiàn)實(shí)應(yīng)用的真 實(shí)感和沉浸感有很大的幫助。觸覺(jué)反饋技術(shù)就曾用于 乳腺癌觸診訓(xùn)練中。被訓(xùn)人員通過(guò)仿真運(yùn)動(dòng)模型，親 身體驗(yàn)到虛擬腫瘤上的觸覺(jué)刺激。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)2眼動(dòng)跟蹤技術(shù)用戶感興趣的區(qū)域及用戶的心理和生理狀態(tài)是能 夠通過(guò)眼睛注視的方向體現(xiàn)出來(lái)的。因此，通過(guò)眼睛注視進(jìn)行的交互技術(shù)

17、是最快速的人機(jī)交互方式之一。眼動(dòng)跟蹤技術(shù)可分為基于視頻和非基于視頻兩種?；?于視頻的方法使用非接觸式攝像機(jī)獲取用戶頭部或眼睛的視頻圖像，再用圖像處理的方法獲得頭部和眼睛 的方向，最終組合計(jì)算出眼睛注視方向；非基于視頻 的方法使用接觸式設(shè)備依附于用戶的皮膚或眼球，從 而獲取眼睛注視方向。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技術(shù)3筆式交互技術(shù)筆式交互能夠模擬人們?nèi)粘５募埞P工作環(huán)境。由 于筆式交互設(shè)備具有便攜、可移動(dòng)的特點(diǎn)，方便了人 們?cè)诓煌臅r(shí)間和地點(diǎn)靈活地進(jìn)行交流。目前，筆式 交互技術(shù)常見(jiàn)的有筆式界面范式、筆跡識(shí)別與理解、 基于筆的交互通道拓展 。曾經(jīng)有人將筆和交互平板 作為主要交互工具 ，實(shí)現(xiàn)了一個(gè)混合現(xiàn)實(shí)協(xié)同工作 環(huán)境。上一頁(yè)下一頁(yè)返回6.3 混合現(xiàn)實(shí)的交互技