基于混合現(xiàn)實的3D實時交互系統(tǒng)(共14頁)

1、北京工業(yè)大學(xué)畢業(yè)設(shè)計（文獻(xiàn)翻譯） 基于混合(hnh)現(xiàn)實的3D實時(sh sh)交互系統(tǒng)摘要(zhiyo)本文中描述了一種基于增強(qiáng)現(xiàn)實的實時3D視頻會議系統(tǒng)，通過這項技術(shù)，使用者以自己的視角觀察被編輯過的真實世界，它將身在偏遠(yuǎn)的地方的合作者呈現(xiàn)到現(xiàn)場中。我們通過估計相機(jī)和基準(zhǔn)標(biāo)記間的3D轉(zhuǎn)換來將合作者的形象注冊到世界中。我們描述了一種新的從輪廓中獲取形狀的算法。這種算法能以每秒30幀的速度生成合作者的影響和相關(guān)的深度圖。當(dāng)這種虛擬的視覺被添加在真實的景觀上時，它將給人一種強(qiáng)烈的印象：合作者就是重建場景的一部分。我們也證明了真實的合作者與虛擬場景的交互。最后，我們考慮了應(yīng)用有型的AR接口實現(xiàn)真實

2、世界中的使用者和虛擬空間中的合作者的交互。關(guān)鍵字：視頻會議、增強(qiáng)現(xiàn)實、基于圖像的渲染、輪廓中提取形狀、互動一、導(dǎo)言科幻小說已經(jīng)預(yù)示了許多巨大在計算和通信領(lǐng)域的巨大進(jìn)步。在2001年，一個太空奧德賽，弗洛伊德博士使用可視電話與家人通話。這是一個早期的屏幕可視的2D視頻會議。這項技術(shù)是現(xiàn)在已是司空見慣。最近，在電影星球大戰(zhàn)中描述了3-D全息溝通。在本文中，我們也許是第一個應(yīng)用計算機(jī)圖形學(xué)創(chuàng)造了全息電話。現(xiàn)有的會議技術(shù)有著很大的局限性。只有音頻的會議在在對話中失去了重要的視覺線索，這導(dǎo)致了干擾和重疊的增加 8，對話者間消除歧義和互動的困難。14 傳統(tǒng)的2維視頻會議改善事宜，但眾多的用戶動作和手勢不能

3、被捕獲13，參與者之間沒有空間的線索而且參與者之間不能進(jìn)行眼神的交流。參與者只有在屏幕前才能被看到，而且參與人數(shù)也是被顯示器的分辨率限制的。這些限制破壞通信保真度34，和交流的流暢性10，并增加干擾和重疊11。配套的虛擬環(huán)境提供了面對面交談4的共同空間的線索，只是把使用者從真實世界中分離出來。此外，非語言溝通使用傳統(tǒng)的化身很難傳達(dá)，這導(dǎo)致存在感的降低。我們定義了完美的視頻化身致使使用者不能區(qū)分屏幕中的是真實的人在還是一個遠(yuǎn)程的合作者。也許與完美的遠(yuǎn)程展示最接近的目標(biāo)就是未來辦公室的工作。27 Ogi et al的虛擬的視頻化身Mulligan和Daniilidis的工作2324.。所有系統(tǒng)都應(yīng)

4、用了多個相機(jī)去重建一個參與者的幾何模型。所有的系統(tǒng)使用多個攝像機(jī)來構(gòu)建一個參與者的幾何模型,然后使用該模型為遠(yuǎn)程的合作者生成適當(dāng)?shù)囊晥D。盡管令人印象深刻,這些系統(tǒng)目前不生成整個3 D模型不能在虛擬化身周圍進(jìn)行360度移動。此外,由于這些系統(tǒng)的輸出是以投影屏幕為媒介的其顯示是不可移植的。本文(bnwn)的目標(biāo)是通過引入增強(qiáng)(zngqing)現(xiàn)實的視頻會議系統(tǒng)，提供(tgng)一個這些問題的解決方案。增強(qiáng)現(xiàn)實技術(shù)是指在真實場景中實時的插入由計算機(jī)生成的3D內(nèi)容。見2,3。通常，使用者通過一個前方裝有攝像頭的頭盔顯示器來觀察世界。視頻實時的捕獲，修改和傳送到觀察者的視野中。實質(zhì)上，我們創(chuàng)造了一個活生

5、生的化身并且通過AR技術(shù)來將他顯示到真實的世界中。(見圖1) 除了創(chuàng)建一個極具吸引力的存在感,這種設(shè)施廣泛應(yīng)用于在論文的第一部分,我們回顧以前的工作在基于“增強(qiáng)現(xiàn)實”會議。會議和協(xié)作應(yīng)用程序的范圍。支持技術(shù)的系統(tǒng)是一個新穎方法在可以實時交互速度下生成任意視圖的合作者。在第二部分中,我們描述了算法和證明它在實時溝通應(yīng)用程序的競爭技術(shù)中的一些優(yōu)勢。在論文的第三部分,我們介紹了一些其他我們的技術(shù)可以適合的應(yīng)用場合。這些包括可視化的合作者在虛擬的空間中,和一個新穎方法用戶在現(xiàn)實空間與虛擬的合作者,使用有形的用戶界面技術(shù)。圖1觀察者通過前方裝有攝像頭的頭盔顯示器觀察世界我們的系統(tǒng)探測環(huán)境中的標(biāo)記并且在上

6、面加上了一個實時的生動的視頻組件，并且其內(nèi)容可以隨著觀察者的觀察方向調(diào)整。二、現(xiàn)有技術(shù)Billinghrst 和佐藤第一次探索到AR是如何能被用來支持遠(yuǎn)程合作和提供視頻和非語音交流的工具. 用戶佩戴一個輕量級的HMD就可以看到單一的遠(yuǎn)程用戶以一個真實大小的現(xiàn)場虛擬視頻窗口出現(xiàn)在真實卡片上.整體效果就是與會者出現(xiàn)在預(yù)計的本地用戶的真實工作場所.因為卡片是遠(yuǎn)程參與者的物理表示,我們的合作接口能作為看作為Ishii的有形接口比喻的變種Ishii97。用戶能安排卡片的空間來創(chuàng)造一個虛擬空間上的會議空間，卡片也是足夠小的，足以被輕便的攜帶，保證了產(chǎn)品的可移植性。用戶可以不再被要求呆在桌面而且可以說能在任

7、何地點開會。所以遠(yuǎn)程的與會者變成了任何世界中環(huán)境的一部分，潛在上能達(dá)到身臨其境的感覺。AR會議(huy)接口和傳統(tǒng)桌面視頻會議有許多別的明顯(mngxin)差別。遠(yuǎn)程用戶可以顯示為一個真人大小的圖像并且(bngqi)可以立刻被顯示為一個潛在的任意數(shù)量的遠(yuǎn)程用戶。摘要虛擬視頻窗口可以恢復(fù)協(xié)作。最后,遠(yuǎn)程用戶的形象完全就是真正的虛擬相機(jī)放置在用戶的眼睛里自然觀察到的東西。在用戶研究中對比了AR會議和傳統(tǒng)的音頻和視頻會議的主題顯示出遠(yuǎn)程用戶在AR會議條件較高的存在感，這是一個容易察覺到非言語交際線索6。確實，引人注目的自然AR會議依靠視頻會議的條件充分展示了一個用戶在接近顯示器，并在AR條件給虛擬合

8、作者建立面對面的談話。最近的工作7提出一個AR會議界面，支持多個遠(yuǎn)程用戶和應(yīng)用的alpha映射技術(shù)，從背景中提取遠(yuǎn)程用戶的視頻并且創(chuàng)造一個更自然的圖像（見圖2）。在這個接口用戶與用戶研究中認(rèn)為，提供更多的合作存在的AR條件和提高參與者之間的對話的理解。三、3 D實時增強(qiáng)現(xiàn)實3.1概述在本文中，我們旨在在視覺場景插入遠(yuǎn)程合作者得實時圖像（見圖1和圖2）。當(dāng)觀察員移動他的頭，這個合作者視角可以適當(dāng)?shù)淖兓??？臻g中存在的結(jié)果可以得到一個關(guān)于遠(yuǎn)程合作者的穩(wěn)定的三位感官體驗。為了實現(xiàn)這一目標(biāo)，我們要求：（一）頭戴式攝像頭，（二）現(xiàn)場的位置估計，（三）在當(dāng)?shù)暮献髡叩挠^點是渲染成的場景，可能采取的閉塞帳戶。我

9、們依次考慮這些問題。頭盔攝像機(jī)位姿估計一個大洋VisorCY-DH-4400VP頭盔顯示器（HMD）提出相同的640480像素的圖像和兩只眼睛被視為通過現(xiàn)場。一個PremaCam SCM系列彩色安全攝像機(jī)連接到本HMD前面。它能在640 x480分辨率捕獲每秒25張圖像。我們聘請的加藤和Billinhurst的標(biāo)記跟蹤方法18。我們簡化的姿勢插入的2-D進(jìn)入現(xiàn)場的黑色和白色的基準(zhǔn)標(biāo)記的估計問題，虛擬的內(nèi)容與每個標(biāo)記。由于這些標(biāo)記的形狀和圖案，據(jù)說很容易找到這些標(biāo)記，計算它們相對位置的相機(jī)?？傊?，攝像機(jī)圖像閾值化和連續(xù)的暗區(qū)使用連通分量算法確定。輪廓尋求技術(shù)確定這些地區(qū)的輪廓。不完全包含四個角落

10、被丟棄的輪廓。我們估計，擬合直線的角落位置和每邊的交點決定。一個射影變換用于映射標(biāo)準(zhǔn)形狀封閉區(qū)域。然后交叉與存儲模式唯一建立在一個校準(zhǔn)相機(jī)的圖像，標(biāo)記的身份和定位標(biāo)記角落的圖像位置以標(biāo)志和方向確定三維位置。此信息表示為歐氏變換矩陣與攝像機(jī)的標(biāo)記協(xié)調(diào)制度，并用于呈現(xiàn)相應(yīng)的視圖進(jìn)入現(xiàn)場的虛擬內(nèi)容。增強(qiáng)現(xiàn)實標(biāo)記跟蹤和校準(zhǔn)軟件 35。圖2 向著更自然(zrn)的增強(qiáng)現(xiàn)實視頻會議的發(fā)展。6的初始(ch sh)工作，從單一的合作者的2D影響(yngxing)標(biāo)記（左）。后續(xù)的工作增加了合作者的數(shù)量，并且引入了繪圖去增加二維視頻流的真實感（中）。本文中我們介紹的實時全3D視頻會議（右）。四、虛擬視覺點產(chǎn)生器

11、4.1背景虛擬合作者可以無縫融入現(xiàn)實世界中，我們需要為每個視頻幀生成相應(yīng)的視圖。為了實現(xiàn)這一目標(biāo)，我們必須生成一個合作者的3-D形態(tài)，每幀的模型。一種新的視圖可以很容易地構(gòu)造給定的形狀和幾個已知的觀點。一種方法是使用立體深度的深度信息收集。立體重建，現(xiàn)在可以實現(xiàn)在速度的互動172324。然而，由此產(chǎn)生的稠密深度圖是不健全的沒有現(xiàn)行制度的相機(jī)。基于圖像相關(guān)的渲染技術(shù)28 1沒有明確計算的深度，但仍需要密集的圖像之間的匹配，同樣容易出錯。一個更具吸引力的方法是已被21 22從輪廓信息使用的快速3-D模型建設(shè)。一些相機(jī)放在被測物體周圍。在每個相機(jī)的每個像素被列為屬于主體（前景）或背景。導(dǎo)致前景表面被

12、稱為“剪影”。在每個相機(jī)的每個像素收集的光（很窄）被置于三維空間中的基礎(chǔ)的矩形金字塔，金字塔的頂點在攝像機(jī)的焦點和金字塔的無限延伸的焦點?？梢约僭O(shè)為背景像素，這個空間是空置的。形狀的剪影算法由最初假設(shè)空間到被完全占據(jù)，從每個攝像頭使用的每一個背景像素，瓜分了空間碎片留下的前景對象的代表。圖三 虛擬(xn)視點產(chǎn)生于從輪廓中產(chǎn)生的形狀，相機(jī)拒絕了背景中的點。A與C之間的點已經(jīng)經(jīng)過處理(chl)并與背景圖像進(jìn)行合成。這些點被標(biāo)記為未占用且為洋紅色。未被處理的點被標(biāo)記為黃色。D點是在相機(jī)(xingj)2中是背景,所以它將被標(biāo)記為未被占用并且搜索將繼續(xù)沿著這條線。顯然，將改善、重建模型，增加更多的攝像

13、機(jī)。然而，由此產(chǎn)生的深度重建可能無法捕捉對象的真實形狀。最好的重建形狀被稱為“視覺船體”20。盡管有這個限制，形狀、剪影匹配技術(shù)有三個顯著的優(yōu)勢。首先，它是更強(qiáng)大的立體視覺。背景像素，即使誤判為一個圖像對象的一部分，其他的輪廓很可誤判違規(guī)空間。二是速度明顯比任何立體聲要求廣大。它通常有一個緩慢的更新速度。第三，技術(shù)是價格低廉，無需專門的硬件?；谏鲜鲈?，本文中所描述的系統(tǒng)是基于形狀的剪影信息。我們相信，這是一個首創(chuàng)系統(tǒng)，是能夠從大量的相機(jī)（15）3D模型和紋理捕捉，并顯示他們從任意角度每秒25幀（捕捉攝像頭幀速率）的圖像。據(jù)我們所知，最接近的同類系統(tǒng)的東西只有5相機(jī)和模型的質(zhì)量做到這樣。算法

14、概述由于任何標(biāo)準(zhǔn)的4x4投影矩陣，代表所需的虛擬攝像頭，虛擬圖像每個像素的中心在空間光相機(jī)中，開始向外延伸。沿著這條線的人意給定距離相當(dāng)于三維空間的點。為了確定分配給一個特定的虛擬像素是什么顏色，我們需要知道的第一個（最接近）潛在的被占領(lǐng)點。沿著這條射線。這種三維點可投射到每一個真實相機(jī)背面的顏色樣本，以獲得該位置數(shù)據(jù)。然后，這些樣本相結(jié)合，產(chǎn)生最終的虛擬像素的顏色。因此，該算法在每個虛擬像素執(zhí)行三個操作：確定虛擬攝像頭看到的虛擬像素的深度。查找在附近的真實(zhnsh)圖像的相應(yīng)像素所有這些的基礎(chǔ)上，確定像素顏色(yns)的測量。4.2確定(qudng)像素深度每個虛擬像素的深度是一個明確的

15、搜索。在虛擬相機(jī)投影中心和收益對應(yīng)的像素中心（見圖3）沿射線向外開始搜索。每名候選點的三維點。沿著這條線被評估為潛在的位置。一個候選點是空置的，如果它投影到任何剪影背景標(biāo)記。當(dāng)點一個點被發(fā)現(xiàn)時，所有的輪廓標(biāo)記為前景，被認(rèn)為是潛在的空間，并停止搜索。要限制每個虛擬像素搜索，相應(yīng)的光與每個真實圖像的邊界相交。我們投射到每個圖像形成對應(yīng)的極線的射線。這些極線滿足的圖像邊界點被發(fā)現(xiàn)和射線投射到這些邊界點時，射線對這些地區(qū)的十字路口定義減少搜索空間。如果搜索沒有發(fā)現(xiàn)任何潛在的被占領(lǐng)的像素達(dá)到本地區(qū)最遠(yuǎn)的限制，虛擬像素被標(biāo)記為背景。4.3確定像素顏色在一般情況下，我們更偏向于以最接近近符合新穎的視角攝的像

16、機(jī)接收到的信號為基礎(chǔ)建立像素顏色。我們把攝像機(jī)按照臨近性進(jìn)行排名，并選擇最接近的前三個攝像機(jī)?，F(xiàn)在我們計算三維點在于每個候選相機(jī)的圖像。不幸的是，真正的相機(jī)并不一定會看到這些空間中的點- 另一個物體可能存在于真正的相機(jī)和點之間。如果真實像素這樣堵塞著，它就不能作用于其顏色的虛擬像素。我們重復(fù)上一個真正的相機(jī)的像素的深度搜索算法。如果恢復(fù)的深度在空間中足夠接近三維虛擬攝像頭像素點計算的3D點，我們假設(shè)真正的攝像頭像素不閉塞 真實像素的顏色是可以作用于虛擬像素的顏色。在實踐中，我們靠立刻接收哪些在幾何學(xué)上必然不會被堵塞的點來增加系統(tǒng)的速度。我們從非閉塞相機(jī)的像素中取加權(quán)平均，比如最接近的攝像頭給它

17、最高的權(quán)重。 4.4系統(tǒng)的硬件和軟件14臺索尼DCX 390攝像機(jī)被等距的布置在物體的周圍，還有一臺從上方觀察他。五臺Pentium III型1Ghz的視頻捕捉器件從每臺攝像機(jī)中獲得數(shù)據(jù)。視頻獲取機(jī)通過確定輪廓來來對頻中的幀進(jìn)行預(yù)處理，并通過千兆以太網(wǎng)鏈路將數(shù)據(jù)傳輸出去。它的渲染服務(wù)器基于1.7 GHz奔騰IV Xeon處理器。我們算法的特點使我們能夠基于15臺相機(jī)快速的產(chǎn)生非常高質(zhì)量的模型。本文的數(shù)據(jù)是在384x288分辨率下以100ms的延遲在25 fps的產(chǎn)生。由于每個前臺的對象必須對所有攝像機(jī)完全可見，所以要對每個攝像機(jī)的變焦水平進(jìn)行調(diào)整，以便使它可以總能看到的物體，甚至在它來回移動的

18、情況下也是一樣。這意味著每個相機(jī)的分辨率的限制必須分布在所需的成像區(qū)域。因此,我們不可避免的要在圖像質(zhì)量和數(shù)據(jù)捕獲量之間進(jìn)行權(quán)衡。同樣，深度估計的準(zhǔn)確性將會隨著攝像機(jī)的對物體的遠(yuǎn)離而下降。同樣，系統(tǒng)所需的物理空間大小決定于所需的捕獲(bhu)區(qū)域和所用鏡頭的領(lǐng)域。我們(w men)已經(jīng)嘗試用2.8毫米(ho m)的鏡頭，提供了一個角度約90度場。這個鏡頭可以捕捉到的空間是在相機(jī)3.3米遠(yuǎn)的時候捕捉到2.5m高，直徑3.3米的視場。4.5與其他方法的比較我們的系統(tǒng)是類似的精神Matusik22等工作。他們還提出一種利用sillhouette信息基于圖像的新穎的視圖生成算法。主要區(qū)別是，Matus

19、ik從現(xiàn)有的攝像機(jī)角度生成了整體的虛擬外殼。然而我們只產(chǎn)生可見的部分。LOK21提出了一種替代量為基礎(chǔ)的方法重建。上述線性系統(tǒng)的規(guī)模與攝像機(jī)的數(shù)量都增加。我們的系統(tǒng)框架在實踐中要慢得多，因為對像素顏色的估計（這需要大量的渲染時間）只使用一個固定數(shù)量的攝像機(jī)圖像擴(kuò)展。五、三維混合現(xiàn)實交互我們?nèi)到y(tǒng)結(jié)合虛擬的觀點和增強(qiáng)現(xiàn)實軟件（見圖5）。對于每一幀，增強(qiáng)現(xiàn)實系統(tǒng)的識別標(biāo)記和相機(jī)位置的變換矩陣。這被傳遞到虛擬角度服務(wù)器，連同估計攝像機(jī)標(biāo)定矩陣。服務(wù)器響應(yīng)返回的RGBA圖像，每個像素的adepth估計。這種遠(yuǎn)程合作者模擬視圖然后疊加在原始圖像，并顯示給用戶。為了提高系統(tǒng)的速度，我們引入的增強(qiáng)現(xiàn)實視頻演

20、示一個單一幀延遲。因此，增強(qiáng)現(xiàn)實系統(tǒng)開始處理下一幀的虛擬視圖服務(wù)器而產(chǎn)生的前一個視圖。 然后發(fā)生交換返回到增強(qiáng)現(xiàn)實系統(tǒng)的圖形顯示，新的變換矩陣被發(fā)送到虛擬視圖渲染。延遲保證，無論是機(jī)器浪費(fèi)了大量的處理時間，等待其他，并保持高吞吐量。在實踐中，這意味著沒有明顯的延遲為用戶 - 當(dāng)他們移動他們的頭，合作者同時出現(xiàn)移動。圖4 系統(tǒng)(xtng)概況：15臺相機(jī)來捕捉(bzhu)物體的影像，影像傳送給5個視頻(shpn)捕捉機(jī)器來計算這些數(shù)據(jù)，隨后數(shù)據(jù)送給服務(wù)器?；旌犀F(xiàn)實的客戶端從頭盔中獲得信息，并且計算了標(biāo)記的姿態(tài)。相關(guān)的轉(zhuǎn)換矩陣隨后被傳遞給服務(wù)器從而呈現(xiàn)適當(dāng)?shù)奈矬w的視圖?？傃舆t小于100毫秒。我們的

21、客戶 - 服務(wù)器系統(tǒng)優(yōu)勢之一是，網(wǎng)絡(luò)的要求相對較低由于每一幀需要只有一個圖像，該系統(tǒng)是不超過2維視頻會議在帶寬方面要求事實上，它可能是要求不高，因為我們知道圖像哪一部分是“背景”，促進(jìn)壓縮然而，在標(biāo)準(zhǔn)視頻會議相比，服務(wù)質(zhì)量是極其重要的保留模型的互動品質(zhì)增強(qiáng)現(xiàn)實會議六、增強(qiáng)現(xiàn)實會議在增強(qiáng)現(xiàn)實會議的應(yīng)用中，參與者1(合作者)站在一個被虛擬視點相機(jī)包圍的地方。參與者2(觀察者)坐在其他地方，戴著內(nèi)嵌顯示器的頭盔。在接下來的文章我們使用術(shù)語“合作者”和“觀察員”使用我們系統(tǒng)的角色,一系列經(jīng)過渲染的合作者的視頻信息被送給觀察者使得合作者的影像疊加在真實世界中的基本標(biāo)記上。特定的合作者的形象被生成在頭盔相

22、機(jī)和基本標(biāo)記之間。因此,如果觀察者移動他的頭,或操作基準(zhǔn)的標(biāo)記物,圖像會有適當(dāng)?shù)母淖?。這個系統(tǒng)建立了三維空間中觀察者對合作者的感知。合作者的音頻流數(shù)據(jù)也經(jīng)過了特殊的處理使得它好像是從虛擬世界中的合作者發(fā)出的。對于我們的應(yīng)用程序，我們選擇了一個比較大的成像空間（約3x3x2m），這是一個相對較低的分辨率。允許系統(tǒng)捕捉運(yùn)動和非語言的信息，這不可能用一個單一的固定攝像機(jī)拍攝。我們提出的一個演員飾演戲劇的例子中（參見圖1,2 c和5A）他的表演整個范圍，包括來回踱步，跪下和站起，都可以被系統(tǒng)捕捉并在增強(qiáng)現(xiàn)實中傳送給觀察者。并不需要過多的說明觀察者就可以自然地感到合作者穩(wěn)定的成為世界的一部分。事實上，大

23、空間成像是一個設(shè)計的選擇，被選擇來證明大規(guī)模的動作和手勢。大面積也使我們能夠一次捕捉幾個人，即使是在他們緊靠的時候。我們的系統(tǒng)仍然產(chǎn)生了非常成功的結(jié)果，我們的現(xiàn)實理論是將圖像顯示在一個小卡片上，這種設(shè)計尤其適合于觀看這些運(yùn)動，因為很大的面積被縮小到一個較小的空間，并可以很容易操縱使得觀察者從理想的角度查看合作者。我們做的這個基本的演示表示了我們的技術(shù)能夠捕捉這種運(yùn)動，這是我們的競爭者無法做到的。然而，這種安排的缺點之一是：在雙向的系統(tǒng)中，觀看的位置不對稱?？紤]兩個用戶。這當(dāng)然是可能的，每個觀看方向指示，讓他們可以自己定位正確。這個系統(tǒng)與圖形替身的一個例子在5中。但是，用戶不能同時定位自己的合作

24、者觀看方向（假設(shè)在他的頭頂）和他的合作者對他的卡標(biāo)記（假設(shè)他的頭部以下）的看法。圖5 視頻會議可以(ky)以桌面為背景有可移植性并容易操作(cozu)的位置或者我們可以生成一種真人大小(dxio)的影響作為一種更自然的互動。呈現(xiàn)在真人大小的合作者面前的這些問題有顯而易見的解決方案。然后保持相對的身體姿勢和使用方向正是與現(xiàn)實生活中相同（見圖5b）。在這種情況下，不妨使用移動相機(jī)，這樣更接近形象，體積小，分辨率高得多。它仍然是可以跟蹤用戶的頭部，在此配置中使用地板或墻壁上的基準(zhǔn)標(biāo)記。然而，在實踐中，經(jīng)測試顯示被測試者很難保持在場景中位置，同時跟蹤功能或一個商業(yè)模擬現(xiàn)實的跟蹤解決方案十分優(yōu)秀。我們已

25、經(jīng)嘗試使用Intersense IS 900跟蹤的結(jié)果是非常穩(wěn)定。在這種情況下，交流是盡量貼近現(xiàn)實生活的，我們可以模擬。全面的3-D合作者出現(xiàn)在用戶的空間，真正形成規(guī)模。這使得除了保持很自然的可視化，這項技術(shù)允許參與者之間的練習(xí)。目前我們的系統(tǒng)是單向的 - 用戶可以看到的是合作者而不是相反。一個對稱的關(guān)系介紹了進(jìn)一步的混亂情況：完全自然的溝通被中斷。因為當(dāng)戴著頭盔顯示器的時候無法保持眼神的相互交流。一個明顯的解決辦法是用光學(xué)“see-though”現(xiàn)實頭盔使眼睛仍然可以看到顯示器來增強(qiáng)對真實會議的調(diào)解。最近的工作還調(diào)查了改變每個合作者對別人頭上與計算機(jī)顯示的圖形表示的眼睛34觀點的可能性。七、

26、虛擬環(huán)境中的協(xié)作虛擬環(huán)境代表了一個令人振奮的新的介質(zhì)。事實上，對于特定的任務(wù)，他們確實優(yōu)于視頻會議31。然而，這在以前是不可能準(zhǔn)確的使得協(xié)作者在一個虛擬環(huán)境中可見，和一個象征性的圖形表示（替身），被應(yīng)用于他們所在的地方。在在本節(jié)中，我們用一個實際的人，因為他們探索的虛擬空間中實時模擬視圖的象征性的化身。我們在虛擬空間中的合作者產(chǎn)生相應(yīng)的視圖，從我們目前的位置和方向。為了沉浸在虛擬環(huán)境中的用戶和合作者，它是必要的能夠精確地跟蹤他們頭的方向和位置，所以可以(ky)從正確的角度呈現(xiàn)虛擬場景。這些參數(shù)的估計采用的Intersense IS900跟蹤(gnzng)系統(tǒng)，該措施在1.5mm和取向(q xi

27、n)位置在0.05度內(nèi)9x3m地區(qū)。為觀察員的位置和方向信息由Intersense系統(tǒng)也被發(fā)送到虛擬視圖系統(tǒng)生成的合作者和相關(guān)的深度圖形象。這是寫進(jìn)觀察員的現(xiàn)場。允許使用Z-緩沖技術(shù)實現(xiàn)遮擋影響的深度圖。圖6顯示了從一個序列數(shù)幀在它的觀察員探索與合作者，誰是一門藝術(shù)專家一個虛擬藝術(shù)畫廊。合作者，是在虛擬視圖系統(tǒng)，被認(rèn)為是通過畫廊討論與用戶的照片。生成虛擬觀點抓住了他的姿態(tài)在虛擬環(huán)境中功能和自然溝通的藝術(shù)讓專家動作和手勢。請注意，它甚至明確靜止畫面的場景由于豐富的手勢和身體上正在發(fā)生的事情對我們的系統(tǒng)傳達(dá)信息。我們的系統(tǒng)一個關(guān)鍵功能是能夠捕獲在大面積，從四面八方，使參與者他們可以移動和可視化一個

28、自然的虛擬空間。我們相信這是首次在現(xiàn)場，完全3-D視頻頭像虛擬環(huán)境合作示范。圖6 虛擬環(huán)境的交互。虛擬視點生成器可以被用于在虛擬環(huán)境中制作視頻影像。我們提出的例子是一個虛擬畫廊的導(dǎo)游。人可以用姿態(tài)來表示環(huán)境中的物體并且用非預(yù)言的線索來交流信息。八、有形的增強(qiáng)現(xiàn)實互動視頻會議應(yīng)用一個有趣的方面是虛擬內(nèi)容被連接到物理現(xiàn)實世界的對象。操縱這些對象來創(chuàng)建與電腦的“有形的用戶接口”（見圖1）。在我們以前的應(yīng)用中，這只是允許用戶定位在他視頻會議流/她環(huán)境。我們也可以應(yīng)用這些技術(shù)交互用戶在一個自然物理方式。例如，Kato et al。 19表明原型室內(nèi)設(shè)計中的應(yīng)用，用戶可以拿起，放下，推動在一個虛擬空間中的

29、虛擬家具。26，7和32。我們已經(jīng)探索在一個AR技術(shù)在寫作娛樂中的應(yīng)用。我們將虛擬世界疊加在現(xiàn)實世界中在他辦公桌上（見圖7）合作者探索一個微型世界。合作者通過真實的“槳”移動，觀察員現(xiàn)在可以看到來回走動的虛擬環(huán)境中的合作者，甚至把他抱起來，通過操縱真實的物理槳來把它放置在新的虛擬環(huán)境中。5這個特別的虛擬環(huán)境被選擇應(yīng)用一個真實世界的書籍作為接口。不同基準(zhǔn)標(biāo)記（或設(shè)置者）被印在每一頁上，并伴隨著不同的環(huán)境。觀察者只需打開這本書的頁面選擇合適的虛擬世界。有形(yuxng)的交互技術(shù)也可應(yīng)用于與合作者物理(wl)上的交互(jioh)。我們提出的例子是一個“卡通”風(fēng)格的環(huán)境（見圖7）。我們用槳使得卡通物

30、體如鐵砧和炸彈落下到合作者上，合作者嘗試實時的去躲避這些東西。虛擬視圖系統(tǒng)范圍傳感器內(nèi)的地圖讓我們來計算平均的觀察員位置，從而實現(xiàn)碰撞檢測例程。觀察員通過把槳放置在對象周圍從一個對象庫中拿起一個物體。當(dāng)槳在觀察者上方時，他可以通過傾斜槳來使物體落下。在所有這一切中，合作者并不直接看到用戶，看到的是他的觀察方向上的用戶的圖像，并看到他動作的結(jié)果 - 虛擬環(huán)境的變化或物體從天上掉下。未來可能性之一是將小型相機(jī)融入槳，并使用它在合作者的視角方向的背景中去建立一個大型的觀察者的影像，使得觀察者使用上帝視角來觀察。這種現(xiàn)實世界中的合作者和虛擬世界中的同事的合作非常重要，以前未曾探索。它很容易聯(lián)想到現(xiàn)實世

31、界的應(yīng)用。室內(nèi)設(shè)計中的應(yīng)用19。這將使得一個客戶沉浸在虛擬的空間并傳達(dá)給設(shè)計師他希望的家具擺放方法變?yōu)榭赡?。該系統(tǒng)將允許設(shè)計師觀察房間內(nèi)的客戶并與他溝通，同時在使用的有形技術(shù)，使房間內(nèi)容宏觀變化。九、討論和未來工作我們已經(jīng)提出了從輪廓形狀算法，它是一個能夠?qū)崟r生成現(xiàn)場目標(biāo)的深度圖像的新穎的觀點。該算法具有很高的效率并且允許一系列的實時協(xié)作的應(yīng)用發(fā)展。該系統(tǒng)的獨特功能在如下方面提高協(xié)同工作的效率（i）我們捕捉的是一個完整的從四面八方都可見的3-D模型。（ii）我們可以在一個很大的范圍內(nèi)測量總是在變動的目標(biāo)，并且（三）我們將這個重建出來的模型放置到用戶的真實的視野中。使用這些功能，我們展示了基于增

32、強(qiáng)現(xiàn)實視頻會議系統(tǒng)，其中的合作者形象是建立在疊加在現(xiàn)實世界中三維影像。使用戶有合作者似乎是在場的感覺。這是例子是第一個直播的、實時的、3D的增強(qiáng)現(xiàn)實的表達(dá)。此外，解決了許多限制當(dāng)今視頻會議系統(tǒng)應(yīng)用的問題，如非語言表達(dá)的溝通，可移植性，并具備在世界上各個地方安排合作者的能力。我們也使用了虛擬的觀察角度系統(tǒng)在虛擬環(huán)境中實時生成一個3D的合作者的影像。將真實世界的部分引入到虛擬環(huán)境中，這就是一個增強(qiáng)現(xiàn)實的例子。如前所述，觀察者總是能看到合作者的形象，但這次他們是在一個虛擬的空間中。虛擬空間擁有很大的面積，使得合作者的影像可以打手勢來代表世界中的各個方面。最后，我們使用“有形”互動技術(shù)，以顯示用戶如何

33、與合作者在一個三維世界自然交互。我們呈現(xiàn)了一個實例的游戲，游戲中使合作者必須回避從上方落下的物體。這種類型的協(xié)作接口是Ishiis有形用戶界面的16一個變種。該系統(tǒng)一個明顯缺點是，目前的實踐中總是需要硬件空間和計算能力：我們目前使用的很大的工作室已漆成綠色，圖像的處理基于15相機(jī)的圖像處理器和6臺電腦。這是一個直接有效的方法，但這是容易被實施的。該算法自然是使用于專門的硬件并實行并行處理。事實上相關(guān)的項目已經(jīng)采用圖形硬件加速圖形sillhouette算法21。即使在在這樣的硬件改善情況，摩爾定律表明，在短短四年時間里，一臺計算機(jī)將能夠?qū)崿F(xiàn)這個算法。改進(jìn)分割技術(shù)，廣角鏡頭和自動校準(zhǔn)方法可以看到這

34、樣的系統(tǒng)集成到正常房間。我們未來研究工作重點(zhngdin)將是探討多個用戶的合作，其中(qzhng)每個用戶使用一個虛擬的視角(shjio)系統(tǒng)。每個都能能從合適的角度看到其他人，不論他們是身在一個真實或是虛擬空間。我們希望，這將使更多的人比以更有效的使用計算機(jī)媒體溝通。如需進(jìn)一步信息，請訪問.sg或 HYPERLINK 。圖7 有形的交互序列，這表明了增強(qiáng)現(xiàn)實中的使用者和合作者的互動。序列一次沿著每一行運(yùn)行。在第一幀，用戶看到合作者在它的桌子上探索虛擬的環(huán)境。合作者會與基本的標(biāo)記： “槳”聯(lián)合起來。這形成了一個有形的接口，允許用戶把他從環(huán)境中抽離。然后用戶可以把書翻頁來更改數(shù)據(jù)集合虛擬現(xiàn)

35、實環(huán)境。這是有形互動的第二個例子。然后用戶將合作者移動到一個新的環(huán)境中并進(jìn)行探索。在最后一行，我們提出了一個互動游戲。用戶用槳從”兵工廠”選擇了一個大石頭。然后他把大石頭移動到合作者的上方試圖用石頭砸到他，合作者看到石頭在他的上方并試圖逃走。參考文獻(xiàn)1.Avidan, S. and Shashua, A. Novel view synthesis by cascading trilinear tensors. IEEE Trans. Visualization and Computer Graphics 4, 4 (Oct-Dec 1998) 293-305.2.Azuma, R.T. A s

36、urvey of augmented reality. Presence 6, 4 (Aug. 1997), 355-385.3.Azuma, R.T., Baillot, Y., Behringer, R., Feiner, S., Julier, S. and MacIntyre, B. Recent advances in augmented reality. IEEE Computer Graphics and Applications 21, 6 (Nov./Dec. 2001), 34-37.4. Benford, S. and Fahlen, L. A spatial model

37、 of interaction in large virtual environments, in Proc. ECSCW93 (Milano, Italy, Sept. 1993), 107-114.Billinghurst, M., Kato, H. and Poupyrev, I. The MagicBook: An interface that moves seamlessly between reality and virtuality. IEEE Computer Graphics and Applications 21, 3 (May/Jun 2001), 6-8.6. Bill

38、inghurst, M. and Kato, H. Real world teleconferencing. In Proc. CHI99 (New York, 1999),194-195.7. Billinghurst, M., Poupyrev, I., Kato, H. and May, R. Mixing realities in shared space: an augmented reality interface for collaborative computing. In Proc. ICME00, (New York, 2000), 1641-1644.8. Boyle,

39、E., Anderson, A. and Newlands, A. The effects of visibility on dialogue and performance in a co-operative problem solving task. Language and Speech 37, 1 (Jan./Mar. 1994), 1-20.9. Cassell, J. and Thorisson, K.R. The power of a nod and a glance: envelope vs. emotional feedback in animated conversatio

40、nal agents. Applied Artificial Intelligence 13, 4-5 (June 1999), 519-539.10. OConaill, B., Whittaker, S. and Wilbur, S., Conversations over video conferences: an evaluation of the spoken aspects of video-mediated communication. HCI 8, (1993), 389-428.11. OConaill, B. and Whittaker, S., Characterizin

41、g, predicting and measuring video-mediated communication: a conversational approach. In K. Finn, Sellen, S. Wilbur (Eds.), Video Mediated Communication. LEA: NJ, 1997, 107-132.12. Feiner, S., MacIntyre, B., Haupt, M. and Solomon, E. Windows on the world: 2d windows for 3d augmented reality. In Proc.

42、 UIST93 (Atlanta , 1993), 145-155.13. Heath, C. and Luff, P. Disembodied conduct: communication through video in a multimedia environment. In Proc. CHI91 (New Orleans, LA, 1991), 93-103.14. Hindus, D., Ackerman, M., Mainwaring, S. and Starr, B., Thunderwire: A field study of an audio-only media spac

43、e. In Proc. CSCW96, (Nov. 1996), 238-247.15. Hoffman, H. Physically touching virtual objects using tactile augmentation enhances the realism of virtual environments. In Proc. VRAI98, (Los Alamitos, CA, 1998), 59-63.16. Ishii, H. and Ulmer, B. Tangible bits: towards seamless interfaces between people

44、, bits and atoms. In Proc. CHI97 (Atlanta GA, 1997), 234-241.17. Kanade, T., Kano, H. Kimura, S., Yoshida, A. and Kazuo, Development of a video-rate stereo machine. In ProcIRSC, (Pittsburgh PA, Aug. 1995), 95-100. 18. Kato, H. and Billinghurst, M. Marker tracking and HMD calibration for a video base

45、d augmented reality conferencing system. In Proc. IWAR (San Francisco CA, 1999), 85-94.19. Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K. and Tachibana, K. Virtual object manipulation on a table-top AR environment. In Proc. ISAR00 (Munich, Germany, 2000), 111-119.20. Laurentini, A. The visual

46、 hull concept for silhouette based image understanding. IEEE PAMI 16, 2 (Feb. 1994), 150-162.21. Lok, B. Online model reconstruction for interactive virtual environments. In Proc Symp. Interactive 3D Graphics01, (Chapel Hill NC, Mar. 2001) 69-72.22. Matusik, W., Buehler, C., Raskar, R., Gortler, S.J

47、. and McMillan, L. Image-based visual hulls. In Proc. SIGGRAPH00, (New Orleans LA, 2000), 369-374.23. Mulligan, J., Isler, V. and Daniilidis, K. Performance evaluation of stereo for telepresence. In Proc. ICCV01 (Vancouver, 2001) 558-565.24. Mulligan, J. and Daniilidis, K. Real time trinocular stereo for tele-immersion. In Proc. ICIP01(Thessaloniki, Greece 2001) 959-962. 25. Ogi, T., Yamada, T., Tamagawa, K., Kano, M. and Hirose,M. Immersive Telecommunication Using Stereo Video Avatar. In Proc IEEE VR01 (Yokohama