基于混合現(xiàn)實(shí)的3D實(shí)時(shí)交互系統(tǒng)(共14頁)

1、北京工業(yè)大學(xué)畢業(yè)設(shè)計(jì)（文獻(xiàn)翻譯） 基于混合(hnh)現(xiàn)實(shí)的3D實(shí)時(shí)(sh sh)交互系統(tǒng)摘要(zhiyo)本文中描述了一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)3D視頻會(huì)議系統(tǒng)，通過這項(xiàng)技術(shù)，使用者以自己的視角觀察被編輯過的真實(shí)世界，它將身在偏遠(yuǎn)的地方的合作者呈現(xiàn)到現(xiàn)場(chǎng)中。我們通過估計(jì)相機(jī)和基準(zhǔn)標(biāo)記間的3D轉(zhuǎn)換來將合作者的形象注冊(cè)到世界中。我們描述了一種新的從輪廓中獲取形狀的算法。這種算法能以每秒30幀的速度生成合作者的影響和相關(guān)的深度圖。當(dāng)這種虛擬的視覺被添加在真實(shí)的景觀上時(shí)，它將給人一種強(qiáng)烈的印象：合作者就是重建場(chǎng)景的一部分。我們也證明了真實(shí)的合作者與虛擬場(chǎng)景的交互。最后，我們考慮了應(yīng)用有型的AR接口實(shí)現(xiàn)真實(shí)

2、世界中的使用者和虛擬空間中的合作者的交互。關(guān)鍵字：視頻會(huì)議、增強(qiáng)現(xiàn)實(shí)、基于圖像的渲染、輪廓中提取形狀、互動(dòng)一、導(dǎo)言科幻小說已經(jīng)預(yù)示了許多巨大在計(jì)算和通信領(lǐng)域的巨大進(jìn)步。在2001年，一個(gè)太空奧德賽，弗洛伊德博士使用可視電話與家人通話。這是一個(gè)早期的屏幕可視的2D視頻會(huì)議。這項(xiàng)技術(shù)是現(xiàn)在已是司空見慣。最近，在電影星球大戰(zhàn)中描述了3-D全息溝通。在本文中，我們也許是第一個(gè)應(yīng)用計(jì)算機(jī)圖形學(xué)創(chuàng)造了全息電話?，F(xiàn)有的會(huì)議技術(shù)有著很大的局限性。只有音頻的會(huì)議在在對(duì)話中失去了重要的視覺線索，這導(dǎo)致了干擾和重疊的增加 8，對(duì)話者間消除歧義和互動(dòng)的困難。14 傳統(tǒng)的2維視頻會(huì)議改善事宜，但眾多的用戶動(dòng)作和手勢(shì)不能

3、被捕獲13，參與者之間沒有空間的線索而且參與者之間不能進(jìn)行眼神的交流。參與者只有在屏幕前才能被看到，而且參與人數(shù)也是被顯示器的分辨率限制的。這些限制破壞通信保真度34，和交流的流暢性10，并增加干擾和重疊11。配套的虛擬環(huán)境提供了面對(duì)面交談4的共同空間的線索，只是把使用者從真實(shí)世界中分離出來。此外，非語言溝通使用傳統(tǒng)的化身很難傳達(dá)，這導(dǎo)致存在感的降低。我們定義了完美的視頻化身致使使用者不能區(qū)分屏幕中的是真實(shí)的人在還是一個(gè)遠(yuǎn)程的合作者。也許與完美的遠(yuǎn)程展示最接近的目標(biāo)就是未來辦公室的工作。27 Ogi et al的虛擬的視頻化身Mulligan和Daniilidis的工作2324.。所有系統(tǒng)都應(yīng)

4、用了多個(gè)相機(jī)去重建一個(gè)參與者的幾何模型。所有的系統(tǒng)使用多個(gè)攝像機(jī)來構(gòu)建一個(gè)參與者的幾何模型,然后使用該模型為遠(yuǎn)程的合作者生成適當(dāng)?shù)囊晥D。盡管令人印象深刻,這些系統(tǒng)目前不生成整個(gè)3 D模型不能在虛擬化身周圍進(jìn)行360度移動(dòng)。此外,由于這些系統(tǒng)的輸出是以投影屏幕為媒介的其顯示是不可移植的。本文(bnwn)的目標(biāo)是通過引入增強(qiáng)(zngqing)現(xiàn)實(shí)的視頻會(huì)議系統(tǒng)，提供(tgng)一個(gè)這些問題的解決方案。增強(qiáng)現(xiàn)實(shí)技術(shù)是指在真實(shí)場(chǎng)景中實(shí)時(shí)的插入由計(jì)算機(jī)生成的3D內(nèi)容。見2,3。通常，使用者通過一個(gè)前方裝有攝像頭的頭盔顯示器來觀察世界。視頻實(shí)時(shí)的捕獲，修改和傳送到觀察者的視野中。實(shí)質(zhì)上，我們創(chuàng)造了一個(gè)活生

5、生的化身并且通過AR技術(shù)來將他顯示到真實(shí)的世界中。(見圖1) 除了創(chuàng)建一個(gè)極具吸引力的存在感,這種設(shè)施廣泛應(yīng)用于在論文的第一部分,我們回顧以前的工作在基于“增強(qiáng)現(xiàn)實(shí)”會(huì)議。會(huì)議和協(xié)作應(yīng)用程序的范圍。支持技術(shù)的系統(tǒng)是一個(gè)新穎方法在可以實(shí)時(shí)交互速度下生成任意視圖的合作者。在第二部分中,我們描述了算法和證明它在實(shí)時(shí)溝通應(yīng)用程序的競(jìng)爭(zhēng)技術(shù)中的一些優(yōu)勢(shì)。在論文的第三部分,我們介紹了一些其他我們的技術(shù)可以適合的應(yīng)用場(chǎng)合。這些包括可視化的合作者在虛擬的空間中,和一個(gè)新穎方法用戶在現(xiàn)實(shí)空間與虛擬的合作者,使用有形的用戶界面技術(shù)。圖1觀察者通過前方裝有攝像頭的頭盔顯示器觀察世界我們的系統(tǒng)探測(cè)環(huán)境中的標(biāo)記并且在上

6、面加上了一個(gè)實(shí)時(shí)的生動(dòng)的視頻組件，并且其內(nèi)容可以隨著觀察者的觀察方向調(diào)整。二、現(xiàn)有技術(shù)Billinghrst 和佐藤第一次探索到AR是如何能被用來支持遠(yuǎn)程合作和提供視頻和非語音交流的工具. 用戶佩戴一個(gè)輕量級(jí)的HMD就可以看到單一的遠(yuǎn)程用戶以一個(gè)真實(shí)大小的現(xiàn)場(chǎng)虛擬視頻窗口出現(xiàn)在真實(shí)卡片上.整體效果就是與會(huì)者出現(xiàn)在預(yù)計(jì)的本地用戶的真實(shí)工作場(chǎng)所.因?yàn)榭ㄆ沁h(yuǎn)程參與者的物理表示,我們的合作接口能作為看作為Ishii的有形接口比喻的變種Ishii97。用戶能安排卡片的空間來創(chuàng)造一個(gè)虛擬空間上的會(huì)議空間，卡片也是足夠小的，足以被輕便的攜帶，保證了產(chǎn)品的可移植性。用戶可以不再被要求呆在桌面而且可以說能在任

7、何地點(diǎn)開會(huì)。所以遠(yuǎn)程的與會(huì)者變成了任何世界中環(huán)境的一部分，潛在上能達(dá)到身臨其境的感覺。AR會(huì)議(huy)接口和傳統(tǒng)桌面視頻會(huì)議有許多別的明顯(mngxin)差別。遠(yuǎn)程用戶可以顯示為一個(gè)真人大小的圖像并且(bngqi)可以立刻被顯示為一個(gè)潛在的任意數(shù)量的遠(yuǎn)程用戶。摘要虛擬視頻窗口可以恢復(fù)協(xié)作。最后,遠(yuǎn)程用戶的形象完全就是真正的虛擬相機(jī)放置在用戶的眼睛里自然觀察到的東西。在用戶研究中對(duì)比了AR會(huì)議和傳統(tǒng)的音頻和視頻會(huì)議的主題顯示出遠(yuǎn)程用戶在AR會(huì)議條件較高的存在感，這是一個(gè)容易察覺到非言語交際線索6。確實(shí)，引人注目的自然AR會(huì)議依靠視頻會(huì)議的條件充分展示了一個(gè)用戶在接近顯示器，并在AR條件給虛擬合

8、作者建立面對(duì)面的談話。最近的工作7提出一個(gè)AR會(huì)議界面，支持多個(gè)遠(yuǎn)程用戶和應(yīng)用的alpha映射技術(shù)，從背景中提取遠(yuǎn)程用戶的視頻并且創(chuàng)造一個(gè)更自然的圖像（見圖2）。在這個(gè)接口用戶與用戶研究中認(rèn)為，提供更多的合作存在的AR條件和提高參與者之間的對(duì)話的理解。三、3 D實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)3.1概述在本文中，我們旨在在視覺場(chǎng)景插入遠(yuǎn)程合作者得實(shí)時(shí)圖像（見圖1和圖2）。當(dāng)觀察員移動(dòng)他的頭，這個(gè)合作者視角可以適當(dāng)?shù)淖兓？臻g中存在的結(jié)果可以得到一個(gè)關(guān)于遠(yuǎn)程合作者的穩(wěn)定的三位感官體驗(yàn)。為了實(shí)現(xiàn)這一目標(biāo)，我們要求：（一）頭戴式攝像頭，（二）現(xiàn)場(chǎng)的位置估計(jì)，（三）在當(dāng)?shù)暮献髡叩挠^點(diǎn)是渲染成的場(chǎng)景，可能采取的閉塞帳戶。我

9、們依次考慮這些問題。頭盔攝像機(jī)位姿估計(jì)一個(gè)大洋VisorCY-DH-4400VP頭盔顯示器（HMD）提出相同的640480像素的圖像和兩只眼睛被視為通過現(xiàn)場(chǎng)。一個(gè)PremaCam SCM系列彩色安全攝像機(jī)連接到本HMD前面。它能在640 x480分辨率捕獲每秒25張圖像。我們聘請(qǐng)的加藤和Billinhurst的標(biāo)記跟蹤方法18。我們簡(jiǎn)化的姿勢(shì)插入的2-D進(jìn)入現(xiàn)場(chǎng)的黑色和白色的基準(zhǔn)標(biāo)記的估計(jì)問題，虛擬的內(nèi)容與每個(gè)標(biāo)記。由于這些標(biāo)記的形狀和圖案，據(jù)說很容易找到這些標(biāo)記，計(jì)算它們相對(duì)位置的相機(jī)?？傊瑪z像機(jī)圖像閾值化和連續(xù)的暗區(qū)使用連通分量算法確定。輪廓尋求技術(shù)確定這些地區(qū)的輪廓。不完全包含四個(gè)角落

10、被丟棄的輪廓。我們估計(jì)，擬合直線的角落位置和每邊的交點(diǎn)決定。一個(gè)射影變換用于映射標(biāo)準(zhǔn)形狀封閉區(qū)域。然后交叉與存儲(chǔ)模式唯一建立在一個(gè)校準(zhǔn)相機(jī)的圖像，標(biāo)記的身份和定位標(biāo)記角落的圖像位置以標(biāo)志和方向確定三維位置。此信息表示為歐氏變換矩陣與攝像機(jī)的標(biāo)記協(xié)調(diào)制度，并用于呈現(xiàn)相應(yīng)的視圖進(jìn)入現(xiàn)場(chǎng)的虛擬內(nèi)容。增強(qiáng)現(xiàn)實(shí)標(biāo)記跟蹤和校準(zhǔn)軟件 35。圖2 向著更自然(zrn)的增強(qiáng)現(xiàn)實(shí)視頻會(huì)議的發(fā)展。6的初始(ch sh)工作，從單一的合作者的2D影響(yngxing)標(biāo)記（左）。后續(xù)的工作增加了合作者的數(shù)量，并且引入了繪圖去增加二維視頻流的真實(shí)感（中）。本文中我們介紹的實(shí)時(shí)全3D視頻會(huì)議（右）。四、虛擬視覺點(diǎn)產(chǎn)生器

11、4.1背景虛擬合作者可以無縫融入現(xiàn)實(shí)世界中，我們需要為每個(gè)視頻幀生成相應(yīng)的視圖。為了實(shí)現(xiàn)這一目標(biāo)，我們必須生成一個(gè)合作者的3-D形態(tài)，每幀的模型。一種新的視圖可以很容易地構(gòu)造給定的形狀和幾個(gè)已知的觀點(diǎn)。一種方法是使用立體深度的深度信息收集。立體重建，現(xiàn)在可以實(shí)現(xiàn)在速度的互動(dòng)172324。然而，由此產(chǎn)生的稠密深度圖是不健全的沒有現(xiàn)行制度的相機(jī)?；趫D像相關(guān)的渲染技術(shù)28 1沒有明確計(jì)算的深度，但仍需要密集的圖像之間的匹配，同樣容易出錯(cuò)。一個(gè)更具吸引力的方法是已被21 22從輪廓信息使用的快速3-D模型建設(shè)。一些相機(jī)放在被測(cè)物體周圍。在每個(gè)相機(jī)的每個(gè)像素被列為屬于主體（前景）或背景。導(dǎo)致前景表面被

12、稱為“剪影”。在每個(gè)相機(jī)的每個(gè)像素收集的光（很窄）被置于三維空間中的基礎(chǔ)的矩形金字塔，金字塔的頂點(diǎn)在攝像機(jī)的焦點(diǎn)和金字塔的無限延伸的焦點(diǎn)?？梢约僭O(shè)為背景像素，這個(gè)空間是空置的。形狀的剪影算法由最初假設(shè)空間到被完全占據(jù)，從每個(gè)攝像頭使用的每一個(gè)背景像素，瓜分了空間碎片留下的前景對(duì)象的代表。圖三 虛擬(xn)視點(diǎn)產(chǎn)生于從輪廓中產(chǎn)生的形狀，相機(jī)拒絕了背景中的點(diǎn)。A與C之間的點(diǎn)已經(jīng)經(jīng)過處理(chl)并與背景圖像進(jìn)行合成。這些點(diǎn)被標(biāo)記為未占用且為洋紅色。未被處理的點(diǎn)被標(biāo)記為黃色。D點(diǎn)是在相機(jī)(xingj)2中是背景,所以它將被標(biāo)記為未被占用并且搜索將繼續(xù)沿著這條線。顯然，將改善、重建模型，增加更多的攝像

13、機(jī)。然而，由此產(chǎn)生的深度重建可能無法捕捉對(duì)象的真實(shí)形狀。最好的重建形狀被稱為“視覺船體”20。盡管有這個(gè)限制，形狀、剪影匹配技術(shù)有三個(gè)顯著的優(yōu)勢(shì)。首先，它是更強(qiáng)大的立體視覺。背景像素，即使誤判為一個(gè)圖像對(duì)象的一部分，其他的輪廓很可誤判違規(guī)空間。二是速度明顯比任何立體聲要求廣大。它通常有一個(gè)緩慢的更新速度。第三，技術(shù)是價(jià)格低廉，無需專門的硬件?；谏鲜鲈颍疚闹兴枋龅南到y(tǒng)是基于形狀的剪影信息。我們相信，這是一個(gè)首創(chuàng)系統(tǒng)，是能夠從大量的相機(jī)（15）3D模型和紋理捕捉，并顯示他們從任意角度每秒25幀（捕捉攝像頭幀速率）的圖像。據(jù)我們所知，最接近的同類系統(tǒng)的東西只有5相機(jī)和模型的質(zhì)量做到這樣。算法

14、概述由于任何標(biāo)準(zhǔn)的4x4投影矩陣，代表所需的虛擬攝像頭，虛擬圖像每個(gè)像素的中心在空間光相機(jī)中，開始向外延伸。沿著這條線的人意給定距離相當(dāng)于三維空間的點(diǎn)。為了確定分配給一個(gè)特定的虛擬像素是什么顏色，我們需要知道的第一個(gè)（最接近）潛在的被占領(lǐng)點(diǎn)。沿著這條射線。這種三維點(diǎn)可投射到每一個(gè)真實(shí)相機(jī)背面的顏色樣本，以獲得該位置數(shù)據(jù)。然后，這些樣本相結(jié)合，產(chǎn)生最終的虛擬像素的顏色。因此，該算法在每個(gè)虛擬像素執(zhí)行三個(gè)操作：確定虛擬攝像頭看到的虛擬像素的深度。查找在附近的真實(shí)(zhnsh)圖像的相應(yīng)像素所有這些的基礎(chǔ)上，確定像素顏色(yns)的測(cè)量。4.2確定(qudng)像素深度每個(gè)虛擬像素的深度是一個(gè)明確的

15、搜索。在虛擬相機(jī)投影中心和收益對(duì)應(yīng)的像素中心（見圖3）沿射線向外開始搜索。每名候選點(diǎn)的三維點(diǎn)。沿著這條線被評(píng)估為潛在的位置。一個(gè)候選點(diǎn)是空置的，如果它投影到任何剪影背景標(biāo)記。當(dāng)點(diǎn)一個(gè)點(diǎn)被發(fā)現(xiàn)時(shí)，所有的輪廓標(biāo)記為前景，被認(rèn)為是潛在的空間，并停止搜索。要限制每個(gè)虛擬像素搜索，相應(yīng)的光與每個(gè)真實(shí)圖像的邊界相交。我們投射到每個(gè)圖像形成對(duì)應(yīng)的極線的射線。這些極線滿足的圖像邊界點(diǎn)被發(fā)現(xiàn)和射線投射到這些邊界點(diǎn)時(shí)，射線對(duì)這些地區(qū)的十字路口定義減少搜索空間。如果搜索沒有發(fā)現(xiàn)任何潛在的被占領(lǐng)的像素達(dá)到本地區(qū)最遠(yuǎn)的限制，虛擬像素被標(biāo)記為背景。4.3確定像素顏色在一般情況下，我們更偏向于以最接近近符合新穎的視角攝的像

16、機(jī)接收到的信號(hào)為基礎(chǔ)建立像素顏色。我們把攝像機(jī)按照臨近性進(jìn)行排名，并選擇最接近的前三個(gè)攝像機(jī)?，F(xiàn)在我們計(jì)算三維點(diǎn)在于每個(gè)候選相機(jī)的圖像。不幸的是，真正的相機(jī)并不一定會(huì)看到這些空間中的點(diǎn)- 另一個(gè)物體可能存在于真正的相機(jī)和點(diǎn)之間。如果真實(shí)像素這樣堵塞著，它就不能作用于其顏色的虛擬像素。我們重復(fù)上一個(gè)真正的相機(jī)的像素的深度搜索算法。如果恢復(fù)的深度在空間中足夠接近三維虛擬攝像頭像素點(diǎn)計(jì)算的3D點(diǎn)，我們假設(shè)真正的攝像頭像素不閉塞 真實(shí)像素的顏色是可以作用于虛擬像素的顏色。在實(shí)踐中，我們靠立刻接收哪些在幾何學(xué)上必然不會(huì)被堵塞的點(diǎn)來增加系統(tǒng)的速度。我們從非閉塞相機(jī)的像素中取加權(quán)平均，比如最接近的攝像頭給它

17、最高的權(quán)重。 4.4系統(tǒng)的硬件和軟件14臺(tái)索尼DCX 390攝像機(jī)被等距的布置在物體的周圍，還有一臺(tái)從上方觀察他。五臺(tái)Pentium III型1Ghz的視頻捕捉器件從每臺(tái)攝像機(jī)中獲得數(shù)據(jù)。視頻獲取機(jī)通過確定輪廓來來對(duì)頻中的幀進(jìn)行預(yù)處理，并通過千兆以太網(wǎng)鏈路將數(shù)據(jù)傳輸出去。它的渲染服務(wù)器基于1.7 GHz奔騰IV Xeon處理器。我們算法的特點(diǎn)使我們能夠基于15臺(tái)相機(jī)快速的產(chǎn)生非常高質(zhì)量的模型。本文的數(shù)據(jù)是在384x288分辨率下以100ms的延遲在25 fps的產(chǎn)生。由于每個(gè)前臺(tái)的對(duì)象必須對(duì)所有攝像機(jī)完全可見，所以要對(duì)每個(gè)攝像機(jī)的變焦水平進(jìn)行調(diào)整，以便使它可以總能看到的物體，甚至在它來回移動(dòng)的

18、情況下也是一樣。這意味著每個(gè)相機(jī)的分辨率的限制必須分布在所需的成像區(qū)域。因此,我們不可避免的要在圖像質(zhì)量和數(shù)據(jù)捕獲量之間進(jìn)行權(quán)衡。同樣，深度估計(jì)的準(zhǔn)確性將會(huì)隨著攝像機(jī)的對(duì)物體的遠(yuǎn)離而下降。同樣，系統(tǒng)所需的物理空間大小決定于所需的捕獲(bhu)區(qū)域和所用鏡頭的領(lǐng)域。我們(w men)已經(jīng)嘗試用2.8毫米(ho m)的鏡頭，提供了一個(gè)角度約90度場(chǎng)。這個(gè)鏡頭可以捕捉到的空間是在相機(jī)3.3米遠(yuǎn)的時(shí)候捕捉到2.5m高，直徑3.3米的視場(chǎng)。4.5與其他方法的比較我們的系統(tǒng)是類似的精神Matusik22等工作。他們還提出一種利用sillhouette信息基于圖像的新穎的視圖生成算法。主要區(qū)別是，Matus

19、ik從現(xiàn)有的攝像機(jī)角度生成了整體的虛擬外殼。然而我們只產(chǎn)生可見的部分。LOK21提出了一種替代量為基礎(chǔ)的方法重建。上述線性系統(tǒng)的規(guī)模與攝像機(jī)的數(shù)量都增加。我們的系統(tǒng)框架在實(shí)踐中要慢得多，因?yàn)閷?duì)像素顏色的估計(jì)（這需要大量的渲染時(shí)間）只使用一個(gè)固定數(shù)量的攝像機(jī)圖像擴(kuò)展。五、三維混合現(xiàn)實(shí)交互我們?nèi)到y(tǒng)結(jié)合虛擬的觀點(diǎn)和增強(qiáng)現(xiàn)實(shí)軟件（見圖5）。對(duì)于每一幀，增強(qiáng)現(xiàn)實(shí)系統(tǒng)的識(shí)別標(biāo)記和相機(jī)位置的變換矩陣。這被傳遞到虛擬角度服務(wù)器，連同估計(jì)攝像機(jī)標(biāo)定矩陣。服務(wù)器響應(yīng)返回的RGBA圖像，每個(gè)像素的adepth估計(jì)。這種遠(yuǎn)程合作者模擬視圖然后疊加在原始圖像，并顯示給用戶。為了提高系統(tǒng)的速度，我們引入的增強(qiáng)現(xiàn)實(shí)視頻演

20、示一個(gè)單一幀延遲。因此，增強(qiáng)現(xiàn)實(shí)系統(tǒng)開始處理下一幀的虛擬視圖服務(wù)器而產(chǎn)生的前一個(gè)視圖。 然后發(fā)生交換返回到增強(qiáng)現(xiàn)實(shí)系統(tǒng)的圖形顯示，新的變換矩陣被發(fā)送到虛擬視圖渲染。延遲保證，無論是機(jī)器浪費(fèi)了大量的處理時(shí)間，等待其他，并保持高吞吐量。在實(shí)踐中，這意味著沒有明顯的延遲為用戶 - 當(dāng)他們移動(dòng)他們的頭，合作者同時(shí)出現(xiàn)移動(dòng)。圖4 系統(tǒng)(xtng)概況：15臺(tái)相機(jī)來捕捉(bzhu)物體的影像，影像傳送給5個(gè)視頻(shpn)捕捉機(jī)器來計(jì)算這些數(shù)據(jù)，隨后數(shù)據(jù)送給服務(wù)器。混合現(xiàn)實(shí)的客戶端從頭盔中獲得信息，并且計(jì)算了標(biāo)記的姿態(tài)。相關(guān)的轉(zhuǎn)換矩陣隨后被傳遞給服務(wù)器從而呈現(xiàn)適當(dāng)?shù)奈矬w的視圖?？傃舆t小于100毫秒。我們的

21、客戶 - 服務(wù)器系統(tǒng)優(yōu)勢(shì)之一是，網(wǎng)絡(luò)的要求相對(duì)較低由于每一幀需要只有一個(gè)圖像，該系統(tǒng)是不超過2維視頻會(huì)議在帶寬方面要求事實(shí)上，它可能是要求不高，因?yàn)槲覀冎缊D像哪一部分是“背景”，促進(jìn)壓縮然而，在標(biāo)準(zhǔn)視頻會(huì)議相比，服務(wù)質(zhì)量是極其重要的保留模型的互動(dòng)品質(zhì)增強(qiáng)現(xiàn)實(shí)會(huì)議六、增強(qiáng)現(xiàn)實(shí)會(huì)議在增強(qiáng)現(xiàn)實(shí)會(huì)議的應(yīng)用中，參與者1(合作者)站在一個(gè)被虛擬視點(diǎn)相機(jī)包圍的地方。參與者2(觀察者)坐在其他地方，戴著內(nèi)嵌顯示器的頭盔。在接下來的文章我們使用術(shù)語“合作者”和“觀察員”使用我們系統(tǒng)的角色,一系列經(jīng)過渲染的合作者的視頻信息被送給觀察者使得合作者的影像疊加在真實(shí)世界中的基本標(biāo)記上。特定的合作者的形象被生成在頭盔相

22、機(jī)和基本標(biāo)記之間。因此,如果觀察者移動(dòng)他的頭,或操作基準(zhǔn)的標(biāo)記物,圖像會(huì)有適當(dāng)?shù)母淖儭＿@個(gè)系統(tǒng)建立了三維空間中觀察者對(duì)合作者的感知。合作者的音頻流數(shù)據(jù)也經(jīng)過了特殊的處理使得它好像是從虛擬世界中的合作者發(fā)出的。對(duì)于我們的應(yīng)用程序，我們選擇了一個(gè)比較大的成像空間（約3x3x2m），這是一個(gè)相對(duì)較低的分辨率。允許系統(tǒng)捕捉運(yùn)動(dòng)和非語言的信息，這不可能用一個(gè)單一的固定攝像機(jī)拍攝。我們提出的一個(gè)演員飾演戲劇的例子中（參見圖1,2 c和5A）他的表演整個(gè)范圍，包括來回踱步，跪下和站起，都可以被系統(tǒng)捕捉并在增強(qiáng)現(xiàn)實(shí)中傳送給觀察者。并不需要過多的說明觀察者就可以自然地感到合作者穩(wěn)定的成為世界的一部分。事實(shí)上，大

23、空間成像是一個(gè)設(shè)計(jì)的選擇，被選擇來證明大規(guī)模的動(dòng)作和手勢(shì)。大面積也使我們能夠一次捕捉幾個(gè)人，即使是在他們緊靠的時(shí)候。我們的系統(tǒng)仍然產(chǎn)生了非常成功的結(jié)果，我們的現(xiàn)實(shí)理論是將圖像顯示在一個(gè)小卡片上，這種設(shè)計(jì)尤其適合于觀看這些運(yùn)動(dòng)，因?yàn)楹艽蟮拿娣e被縮小到一個(gè)較小的空間，并可以很容易操縱使得觀察者從理想的角度查看合作者。我們做的這個(gè)基本的演示表示了我們的技術(shù)能夠捕捉這種運(yùn)動(dòng)，這是我們的競(jìng)爭(zhēng)者無法做到的。然而，這種安排的缺點(diǎn)之一是：在雙向的系統(tǒng)中，觀看的位置不對(duì)稱?？紤]兩個(gè)用戶。這當(dāng)然是可能的，每個(gè)觀看方向指示，讓他們可以自己定位正確。這個(gè)系統(tǒng)與圖形替身的一個(gè)例子在5中。但是，用戶不能同時(shí)定位自己的合作

24、者觀看方向（假設(shè)在他的頭頂）和他的合作者對(duì)他的卡標(biāo)記（假設(shè)他的頭部以下）的看法。圖5 視頻會(huì)議可以(ky)以桌面為背景有可移植性并容易操作(cozu)的位置或者我們可以生成一種真人大小(dxio)的影響作為一種更自然的互動(dòng)。呈現(xiàn)在真人大小的合作者面前的這些問題有顯而易見的解決方案。然后保持相對(duì)的身體姿勢(shì)和使用方向正是與現(xiàn)實(shí)生活中相同（見圖5b）。在這種情況下，不妨使用移動(dòng)相機(jī)，這樣更接近形象，體積小，分辨率高得多。它仍然是可以跟蹤用戶的頭部，在此配置中使用地板或墻壁上的基準(zhǔn)標(biāo)記。然而，在實(shí)踐中，經(jīng)測(cè)試顯示被測(cè)試者很難保持在場(chǎng)景中位置，同時(shí)跟蹤功能或一個(gè)商業(yè)模擬現(xiàn)實(shí)的跟蹤解決方案十分優(yōu)秀。我們已

25、經(jīng)嘗試使用Intersense IS 900跟蹤的結(jié)果是非常穩(wěn)定。在這種情況下，交流是盡量貼近現(xiàn)實(shí)生活的，我們可以模擬。全面的3-D合作者出現(xiàn)在用戶的空間，真正形成規(guī)模。這使得除了保持很自然的可視化，這項(xiàng)技術(shù)允許參與者之間的練習(xí)。目前我們的系統(tǒng)是單向的 - 用戶可以看到的是合作者而不是相反。一個(gè)對(duì)稱的關(guān)系介紹了進(jìn)一步的混亂情況：完全自然的溝通被中斷。因?yàn)楫?dāng)戴著頭盔顯示器的時(shí)候無法保持眼神的相互交流。一個(gè)明顯的解決辦法是用光學(xué)“see-though”現(xiàn)實(shí)頭盔使眼睛仍然可以看到顯示器來增強(qiáng)對(duì)真實(shí)會(huì)議的調(diào)解。最近的工作還調(diào)查了改變每個(gè)合作者對(duì)別人頭上與計(jì)算機(jī)顯示的圖形表示的眼睛34觀點(diǎn)的可能性。七、

26、虛擬環(huán)境中的協(xié)作虛擬環(huán)境代表了一個(gè)令人振奮的新的介質(zhì)。事實(shí)上，對(duì)于特定的任務(wù)，他們確實(shí)優(yōu)于視頻會(huì)議31。然而，這在以前是不可能準(zhǔn)確的使得協(xié)作者在一個(gè)虛擬環(huán)境中可見，和一個(gè)象征性的圖形表示（替身），被應(yīng)用于他們所在的地方。在在本節(jié)中，我們用一個(gè)實(shí)際的人，因?yàn)樗麄兲剿鞯奶摂M空間中實(shí)時(shí)模擬視圖的象征性的化身。我們?cè)谔摂M空間中的合作者產(chǎn)生相應(yīng)的視圖，從我們目前的位置和方向。為了沉浸在虛擬環(huán)境中的用戶和合作者，它是必要的能夠精確地跟蹤他們頭的方向和位置，所以可以(ky)從正確的角度呈現(xiàn)虛擬場(chǎng)景。這些參數(shù)的估計(jì)采用的Intersense IS900跟蹤(gnzng)系統(tǒng)，該措施在1.5mm和取向(q xi

27、n)位置在0.05度內(nèi)9x3m地區(qū)。為觀察員的位置和方向信息由Intersense系統(tǒng)也被發(fā)送到虛擬視圖系統(tǒng)生成的合作者和相關(guān)的深度圖形象。這是寫進(jìn)觀察員的現(xiàn)場(chǎng)。允許使用Z-緩沖技術(shù)實(shí)現(xiàn)遮擋影響的深度圖。圖6顯示了從一個(gè)序列數(shù)幀在它的觀察員探索與合作者，誰是一門藝術(shù)專家一個(gè)虛擬藝術(shù)畫廊。合作者，是在虛擬視圖系統(tǒng)，被認(rèn)為是通過畫廊討論與用戶的照片。生成虛擬觀點(diǎn)抓住了他的姿態(tài)在虛擬環(huán)境中功能和自然溝通的藝術(shù)讓專家動(dòng)作和手勢(shì)。請(qǐng)注意，它甚至明確靜止畫面的場(chǎng)景由于豐富的手勢(shì)和身體上正在發(fā)生的事情對(duì)我們的系統(tǒng)傳達(dá)信息。我們的系統(tǒng)一個(gè)關(guān)鍵功能是能夠捕獲在大面積，從四面八方，使參與者他們可以移動(dòng)和可視化一個(gè)

28、自然的虛擬空間。我們相信這是首次在現(xiàn)場(chǎng)，完全3-D視頻頭像虛擬環(huán)境合作示范。圖6 虛擬環(huán)境的交互。虛擬視點(diǎn)生成器可以被用于在虛擬環(huán)境中制作視頻影像。我們提出的例子是一個(gè)虛擬畫廊的導(dǎo)游。人可以用姿態(tài)來表示環(huán)境中的物體并且用非預(yù)言的線索來交流信息。八、有形的增強(qiáng)現(xiàn)實(shí)互動(dòng)視頻會(huì)議應(yīng)用一個(gè)有趣的方面是虛擬內(nèi)容被連接到物理現(xiàn)實(shí)世界的對(duì)象。操縱這些對(duì)象來創(chuàng)建與電腦的“有形的用戶接口”（見圖1）。在我們以前的應(yīng)用中，這只是允許用戶定位在他視頻會(huì)議流/她環(huán)境。我們也可以應(yīng)用這些技術(shù)交互用戶在一個(gè)自然物理方式。例如，Kato et al。 19表明原型室內(nèi)設(shè)計(jì)中的應(yīng)用，用戶可以拿起，放下，推動(dòng)在一個(gè)虛擬空間中的

29、虛擬家具。26，7和32。我們已經(jīng)探索在一個(gè)AR技術(shù)在寫作娛樂中的應(yīng)用。我們將虛擬世界疊加在現(xiàn)實(shí)世界中在他辦公桌上（見圖7）合作者探索一個(gè)微型世界。合作者通過真實(shí)的“槳”移動(dòng)，觀察員現(xiàn)在可以看到來回走動(dòng)的虛擬環(huán)境中的合作者，甚至把他抱起來，通過操縱真實(shí)的物理槳來把它放置在新的虛擬環(huán)境中。5這個(gè)特別的虛擬環(huán)境被選擇應(yīng)用一個(gè)真實(shí)世界的書籍作為接口。不同基準(zhǔn)標(biāo)記（或設(shè)置者）被印在每一頁上，并伴隨著不同的環(huán)境。觀察者只需打開這本書的頁面選擇合適的虛擬世界。有形(yuxng)的交互技術(shù)也可應(yīng)用于與合作者物理(wl)上的交互(jioh)。我們提出的例子是一個(gè)“卡通”風(fēng)格的環(huán)境（見圖7）。我們用槳使得卡通物

30、體如鐵砧和炸彈落下到合作者上，合作者嘗試實(shí)時(shí)的去躲避這些東西。虛擬視圖系統(tǒng)范圍傳感器內(nèi)的地圖讓我們來計(jì)算平均的觀察員位置，從而實(shí)現(xiàn)碰撞檢測(cè)例程。觀察員通過把槳放置在對(duì)象周圍從一個(gè)對(duì)象庫(kù)中拿起一個(gè)物體。當(dāng)槳在觀察者上方時(shí)，他可以通過傾斜槳來使物體落下。在所有這一切中，合作者并不直接看到用戶，看到的是他的觀察方向上的用戶的圖像，并看到他動(dòng)作的結(jié)果 - 虛擬環(huán)境的變化或物體從天上掉下。未來可能性之一是將小型相機(jī)融入槳，并使用它在合作者的視角方向的背景中去建立一個(gè)大型的觀察者的影像，使得觀察者使用上帝視角來觀察。這種現(xiàn)實(shí)世界中的合作者和虛擬世界中的同事的合作非常重要，以前未曾探索。它很容易聯(lián)想到現(xiàn)實(shí)世

31、界的應(yīng)用。室內(nèi)設(shè)計(jì)中的應(yīng)用19。這將使得一個(gè)客戶沉浸在虛擬的空間并傳達(dá)給設(shè)計(jì)師他希望的家具擺放方法變?yōu)榭赡?。該系統(tǒng)將允許設(shè)計(jì)師觀察房間內(nèi)的客戶并與他溝通，同時(shí)在使用的有形技術(shù)，使房間內(nèi)容宏觀變化。九、討論和未來工作我們已經(jīng)提出了從輪廓形狀算法，它是一個(gè)能夠?qū)崟r(shí)生成現(xiàn)場(chǎng)目標(biāo)的深度圖像的新穎的觀點(diǎn)。該算法具有很高的效率并且允許一系列的實(shí)時(shí)協(xié)作的應(yīng)用發(fā)展。該系統(tǒng)的獨(dú)特功能在如下方面提高協(xié)同工作的效率（i）我們捕捉的是一個(gè)完整的從四面八方都可見的3-D模型。（ii）我們可以在一個(gè)很大的范圍內(nèi)測(cè)量總是在變動(dòng)的目標(biāo)，并且（三）我們將這個(gè)重建出來的模型放置到用戶的真實(shí)的視野中。使用這些功能，我們展示了基于增

32、強(qiáng)現(xiàn)實(shí)視頻會(huì)議系統(tǒng)，其中的合作者形象是建立在疊加在現(xiàn)實(shí)世界中三維影像。使用戶有合作者似乎是在場(chǎng)的感覺。這是例子是第一個(gè)直播的、實(shí)時(shí)的、3D的增強(qiáng)現(xiàn)實(shí)的表達(dá)。此外，解決了許多限制當(dāng)今視頻會(huì)議系統(tǒng)應(yīng)用的問題，如非語言表達(dá)的溝通，可移植性，并具備在世界上各個(gè)地方安排合作者的能力。我們也使用了虛擬的觀察角度系統(tǒng)在虛擬環(huán)境中實(shí)時(shí)生成一個(gè)3D的合作者的影像。將真實(shí)世界的部分引入到虛擬環(huán)境中，這就是一個(gè)增強(qiáng)現(xiàn)實(shí)的例子。如前所述，觀察者總是能看到合作者的形象，但這次他們是在一個(gè)虛擬的空間中。虛擬空間擁有很大的面積，使得合作者的影像可以打手勢(shì)來代表世界中的各個(gè)方面。最后，我們使用“有形”互動(dòng)技術(shù)，以顯示用戶如何

33、與合作者在一個(gè)三維世界自然交互。我們呈現(xiàn)了一個(gè)實(shí)例的游戲，游戲中使合作者必須回避從上方落下的物體。這種類型的協(xié)作接口是Ishiis有形用戶界面的16一個(gè)變種。該系統(tǒng)一個(gè)明顯缺點(diǎn)是，目前的實(shí)踐中總是需要硬件空間和計(jì)算能力：我們目前使用的很大的工作室已漆成綠色，圖像的處理基于15相機(jī)的圖像處理器和6臺(tái)電腦。這是一個(gè)直接有效的方法，但這是容易被實(shí)施的。該算法自然是使用于專門的硬件并實(shí)行并行處理。事實(shí)上相關(guān)的項(xiàng)目已經(jīng)采用圖形硬件加速圖形sillhouette算法21。即使在在這樣的硬件改善情況，摩爾定律表明，在短短四年時(shí)間里，一臺(tái)計(jì)算機(jī)將能夠?qū)崿F(xiàn)這個(gè)算法。改進(jìn)分割技術(shù)，廣角鏡頭和自動(dòng)校準(zhǔn)方法可以看到這

34、樣的系統(tǒng)集成到正常房間。我們未來研究工作重點(diǎn)(zhngdin)將是探討多個(gè)用戶的合作，其中(qzhng)每個(gè)用戶使用一個(gè)虛擬的視角(shjio)系統(tǒng)。每個(gè)都能能從合適的角度看到其他人，不論他們是身在一個(gè)真實(shí)或是虛擬空間。我們希望，這將使更多的人比以更有效的使用計(jì)算機(jī)媒體溝通。如需進(jìn)一步信息，請(qǐng)?jiān)L問.sg或 HYPERLINK 。圖7 有形的交互序列，這表明了增強(qiáng)現(xiàn)實(shí)中的使用者和合作者的互動(dòng)。序列一次沿著每一行運(yùn)行。在第一幀，用戶看到合作者在它的桌子上探索虛擬的環(huán)境。合作者會(huì)與基本的標(biāo)記： “槳”聯(lián)合起來。這形成了一個(gè)有形的接口，允許用戶把他從環(huán)境中抽離。然后用戶可以把書翻頁來更改數(shù)據(jù)集合虛擬現(xiàn)

35、實(shí)環(huán)境。這是有形互動(dòng)的第二個(gè)例子。然后用戶將合作者移動(dòng)到一個(gè)新的環(huán)境中并進(jìn)行探索。在最后一行，我們提出了一個(gè)互動(dòng)游戲。用戶用槳從”兵工廠”選擇了一個(gè)大石頭。然后他把大石頭移動(dòng)到合作者的上方試圖用石頭砸到他，合作者看到石頭在他的上方并試圖逃走。參考文獻(xiàn)1.Avidan, S. and Shashua, A. Novel view synthesis by cascading trilinear tensors. IEEE Trans. Visualization and Computer Graphics 4, 4 (Oct-Dec 1998) 293-305.2.Azuma, R.T. A s

36、urvey of augmented reality. Presence 6, 4 (Aug. 1997), 355-385.3.Azuma, R.T., Baillot, Y., Behringer, R., Feiner, S., Julier, S. and MacIntyre, B. Recent advances in augmented reality. IEEE Computer Graphics and Applications 21, 6 (Nov./Dec. 2001), 34-37.4. Benford, S. and Fahlen, L. A spatial model

37、 of interaction in large virtual environments, in Proc. ECSCW93 (Milano, Italy, Sept. 1993), 107-114.Billinghurst, M., Kato, H. and Poupyrev, I. The MagicBook: An interface that moves seamlessly between reality and virtuality. IEEE Computer Graphics and Applications 21, 3 (May/Jun 2001), 6-8.6. Bill

38、inghurst, M. and Kato, H. Real world teleconferencing. In Proc. CHI99 (New York, 1999),194-195.7. Billinghurst, M., Poupyrev, I., Kato, H. and May, R. Mixing realities in shared space: an augmented reality interface for collaborative computing. In Proc. ICME00, (New York, 2000), 1641-1644.8. Boyle,

39、E., Anderson, A. and Newlands, A. The effects of visibility on dialogue and performance in a co-operative problem solving task. Language and Speech 37, 1 (Jan./Mar. 1994), 1-20.9. Cassell, J. and Thorisson, K.R. The power of a nod and a glance: envelope vs. emotional feedback in animated conversatio

40、nal agents. Applied Artificial Intelligence 13, 4-5 (June 1999), 519-539.10. OConaill, B., Whittaker, S. and Wilbur, S., Conversations over video conferences: an evaluation of the spoken aspects of video-mediated communication. HCI 8, (1993), 389-428.11. OConaill, B. and Whittaker, S., Characterizin

41、g, predicting and measuring video-mediated communication: a conversational approach. In K. Finn, Sellen, S. Wilbur (Eds.), Video Mediated Communication. LEA: NJ, 1997, 107-132.12. Feiner, S., MacIntyre, B., Haupt, M. and Solomon, E. Windows on the world: 2d windows for 3d augmented reality. In Proc.

42、 UIST93 (Atlanta , 1993), 145-155.13. Heath, C. and Luff, P. Disembodied conduct: communication through video in a multimedia environment. In Proc. CHI91 (New Orleans, LA, 1991), 93-103.14. Hindus, D., Ackerman, M., Mainwaring, S. and Starr, B., Thunderwire: A field study of an audio-only media spac

43、e. In Proc. CSCW96, (Nov. 1996), 238-247.15. Hoffman, H. Physically touching virtual objects using tactile augmentation enhances the realism of virtual environments. In Proc. VRAI98, (Los Alamitos, CA, 1998), 59-63.16. Ishii, H. and Ulmer, B. Tangible bits: towards seamless interfaces between people

44、, bits and atoms. In Proc. CHI97 (Atlanta GA, 1997), 234-241.17. Kanade, T., Kano, H. Kimura, S., Yoshida, A. and Kazuo, Development of a video-rate stereo machine. In ProcIRSC, (Pittsburgh PA, Aug. 1995), 95-100. 18. Kato, H. and Billinghurst, M. Marker tracking and HMD calibration for a video base

45、d augmented reality conferencing system. In Proc. IWAR (San Francisco CA, 1999), 85-94.19. Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K. and Tachibana, K. Virtual object manipulation on a table-top AR environment. In Proc. ISAR00 (Munich, Germany, 2000), 111-119.20. Laurentini, A. The visual

46、 hull concept for silhouette based image understanding. IEEE PAMI 16, 2 (Feb. 1994), 150-162.21. Lok, B. Online model reconstruction for interactive virtual environments. In Proc Symp. Interactive 3D Graphics01, (Chapel Hill NC, Mar. 2001) 69-72.22. Matusik, W., Buehler, C., Raskar, R., Gortler, S.J

47、. and McMillan, L. Image-based visual hulls. In Proc. SIGGRAPH00, (New Orleans LA, 2000), 369-374.23. Mulligan, J., Isler, V. and Daniilidis, K. Performance evaluation of stereo for telepresence. In Proc. ICCV01 (Vancouver, 2001) 558-565.24. Mulligan, J. and Daniilidis, K. Real time trinocular stereo for tele-immersion. In Proc. ICIP01(Thessaloniki, Greece 2001) 959-962. 25. Ogi, T., Yamada, T., Tamagawa, K., Kano, M. and Hirose,M. Immersive Telecommunication Using Stereo Video Avatar. In Proc IEEE VR01 (Yokohama