全景圖的虛擬現(xiàn)實(shí)系統(tǒng)

1、全景圖的虛擬現(xiàn)實(shí)系統(tǒng)    摘要  全景圖(panoramic image)是近來(lái)出現(xiàn)在internet上的另一種新的交互式的虛擬場(chǎng)景表示方式,它基于圖像繪制ibr（image-based render）的方式再現(xiàn)了三維場(chǎng)景,可用瀏覽器實(shí)現(xiàn)虛擬場(chǎng)景的漫游,同時(shí)也詳細(xì)介紹了這種全景圖瀏覽器的實(shí)現(xiàn)原理。本文在總結(jié)已有技術(shù)的基礎(chǔ)上，提出一個(gè)基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)模型，并改進(jìn)算法實(shí)現(xiàn)了高效的拼接。 關(guān)鍵詞  全景圖; 基于圖像繪制ibr; 虛擬現(xiàn)實(shí); 圖像拼接   1  概述 全景圖是基于圖形繪制ibr（ima

2、ge-based render）的關(guān)鍵技術(shù)。現(xiàn)有的ibr技術(shù)大概可以分為四類：基于全景圖（panoramic image）的方法，基于圖像深度信息的方法，基于光場(chǎng)（light field）信息和基于 morphing的方法?，F(xiàn)階段，相對(duì)成熟的技術(shù)是第一種基于全景圖的方法 ,而且它實(shí)現(xiàn)方便處理量易于在internet實(shí)現(xiàn)。 目前，業(yè)界對(duì)全景圖的基本制作方法是：在固定的視點(diǎn)用照相機(jī)或者攝像機(jī)按照一定的方式（通常是按照均勻角度繞軸旋轉(zhuǎn)360 度）采集圖像，采集之后的圖像輸入計(jì)算機(jī)進(jìn)行圖像拼接、整合等處理，生成無(wú)縫全景圖像，最后再用計(jì)算機(jī)經(jīng)過(guò)投影展示出來(lái)，并且提供局部的有限的漫游功能。雖然全景視圖有其

3、自身的局限性，比如視點(diǎn)單一，只能在場(chǎng)景內(nèi)部實(shí)現(xiàn)漫游等，但是由于該技術(shù)具有極強(qiáng)的可操作性，而且技術(shù)也相對(duì)成熟，已經(jīng)成為應(yīng)用最為普遍的ibr技術(shù)之一。目前全景視圖主要應(yīng)用在：虛擬環(huán)境、游戲設(shè)計(jì)、電影特技效果、虛擬博物館等等。在商用領(lǐng)域比較著名的有apple的quicktime vr、ipix viewer、live picture、ibm的hot media等系統(tǒng)。 2  全景圖的制作流程 全景圖制作流程包括全景模型選擇，圖像采集，圖像拼接，圖像縫合以及全景圖展示瀏覽五個(gè)步驟 ，如圖1。 （1）全景模型選擇：根據(jù)全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模

4、式。這三種模式就是分別把已經(jīng)拼接好的全景圖投影到立方體/ 圓柱體/球體的內(nèi)表面。此外還有其他展示模式，如采用正多面體去逼近球面的方法。 （2）圖像采集：一般有兩種方法，用全景拍攝器材進(jìn)行拍攝或者通過(guò)普通相機(jī)拍攝再進(jìn)行圖像拼接。前一種方式比較容易采集圖像，但是這種方法往往意味著購(gòu)買(mǎi)昂貴的攝影器材，因此影響了其通用性。而后一種方式，用普通相機(jī)在固定點(diǎn)拍攝圖片然后拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術(shù)圖像拼接算法正是研究的重點(diǎn)。 （3）圖像拼接與縫合：現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于特征的方法、基于流的方法和基于相位相關(guān)的方法。在得到拼接好的圖像后，還需要對(duì)圖像

5、重疊部分進(jìn)行處理，以實(shí)現(xiàn)圖像的無(wú)縫拼接。目前經(jīng)常采用的一種簡(jiǎn)單的圖像縫合技術(shù)就是線性插值法（linear interpolation）。 （4）全景圖展示：得到360度的全景圖像后，還要把該圖像投影到所選擇模型的內(nèi)表面展示，并提供簡(jiǎn)單的瀏覽功能。 （5）運(yùn)動(dòng)物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機(jī)拍攝物體時(shí)，如果對(duì)物體的水平方向和垂直方向各拍攝一圈，就可以對(duì)物體進(jìn)行二維的交互控制。鏈接是指：把得到的全景圖按一定方式組織起來(lái)，供交互式顯示用；把運(yùn)動(dòng)物體嵌入到全景圖中去，成為“熱點(diǎn)”，使用戶可以對(duì)它進(jìn)行交互式控制。      

6、;                        圖全景圖制作流程 3  全景圖像拼接技術(shù)的研究 3.1全景圖生成的經(jīng)典算法 自全景圖的概念提出到目前，有很多學(xué)者都對(duì)全景圖的生成算法做過(guò)深入的研究，其中mcmillan和szeliski等人的工作尤其突出。mcmillan和bishop提出了全景函數(shù)模型，該算法根據(jù)攝像機(jī)繞軸旋轉(zhuǎn)360度所拍攝的圖像序列求解每個(gè)相機(jī)的參

7、數(shù)，由此進(jìn)行全景圖拼接，但是該算法不太適合于照相機(jī)，因?yàn)樗髢煞鶊D像之間要有超過(guò)2/3 的重疊，這樣對(duì)一個(gè)場(chǎng)景如用照相機(jī)去采集圖像就需要拍攝大量的圖片，而這顯然增大了圖像采集的難度，也增加了計(jì)算量和誤差量。而且mcmillan試圖通過(guò)柱面極幾何約束實(shí)現(xiàn)匹配點(diǎn)自動(dòng)匹配，但是極幾何約束核心基礎(chǔ)矩陣對(duì)誤差過(guò)分敏感，也因此導(dǎo)致匹配結(jié)果無(wú)法實(shí)用。 szeliski和shum3在他們的一系列的文章中提出了用8參數(shù)的二維（2d）投影模型求解投影矩陣m。該模型的數(shù)學(xué)表達(dá)如下所示：           

8、0;                             (1)                      

9、0;                                    （2） 3.2全景圖像拼接算法歸類及其比較     現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于相位的方法、基于流的方法和基于特征的方法。

10、   （1）基于相位的方法：該方法利用傅立葉變換、小波變換等等先對(duì)圖像進(jìn)行變換，再利用變換后的圖像的某些特征進(jìn)行匹配。但是如果存在空間上的局部變化，就會(huì)導(dǎo)致該方法產(chǎn)生較大誤差。     （2）基于流的方法：也叫做基于面積的方法。該方法是通過(guò)比較兩幅圖像亮度（或顏色）差異，并使之最小化來(lái)尋找最佳匹配點(diǎn)的。上文描述的兩種經(jīng)典算法就是屬于該方法，采用這種方法的還有：duffin 4和barrett在szeliski研究的基礎(chǔ)上提出的一種恢復(fù)6個(gè)參數(shù)模型的算法。基于面積方法的缺點(diǎn)就是它的計(jì)算量明顯偏大。    （3）基于特征的方法：

11、該方法的主要思想就是從一幅圖像中提取一定的特征，如：點(diǎn)、線、邊緣等等，并用此特征為匹配模板，在第二幅圖像中搜索。該方法可以提高計(jì)算速度，但是提取合適的圖像特征比較困難。5     如何提取合適的圖像特征，很多學(xué)者在這個(gè)方面做了探討，其中 kim6等人利用抽取物體輪廓作為特征，而鐘力7等人利用重疊圖像兩列象素的亮度（或顏色）比或者亮度（或顏色）作為特征模板，張鵬8等人利用象素灰度值信息提取某一矩形區(qū)域作為特征模板進(jìn)行匹配。     需要注意的另一個(gè)問(wèn)題就是采集的圖像中重疊部分并不是單純的平面位移變換，還存在伸縮變形等，所以這也

12、增大了特征提取的難度。 4  算法的選擇與改進(jìn)     以上三種算法都有其自身的特點(diǎn)，當(dāng)然也有各自的局限性，應(yīng)該根據(jù)全景模型的不同和圖像采集方式的差異選擇合適的算法。下面根據(jù)全景圖生成過(guò)程詳細(xì)描述對(duì)算法的選擇和改進(jìn)。 4.1 全景模型選擇 本文提出的方法中采用圓柱模式，這種模式相對(duì)簡(jiǎn)單，同時(shí)又不影響全景圖像瀏覽的真實(shí)性。由于立方體模式過(guò)于簡(jiǎn)單，該模式在展示全景圖時(shí)存在明顯的邊界痕跡，降低了全景圖像真實(shí)性；球面模式雖然相對(duì)擴(kuò)大了全景圖瀏覽的視野，可是也相應(yīng)增加了算法復(fù)雜度和圖像采集的難度。 4.2 圖像采集 為了提高圖像拼接算法的復(fù)雜度處理能力以及能夠自適

13、應(yīng)抖動(dòng)、光照差、扭曲等。本文對(duì)圖像采集方式未做過(guò)多限制：不用三角架固定相機(jī)，繞攝影者中心360度旋轉(zhuǎn)相機(jī)拍攝圖像，每次拍攝相機(jī)旋轉(zhuǎn)的角度為，不固定相機(jī)的焦距，這樣做的目的是進(jìn)一步提高算法自適應(yīng)校準(zhǔn)圖像拼接能力。 4.3 圖像拼接 首先，抽取合適的圖像特征來(lái)定位拼接，為了盡可能多的保留圖像的特征，利用數(shù)字圖像處理中的laplace算子邊緣檢測(cè)算法，再加上二值化處理和平滑濾波3*3模板的噪音消除抽取出圖像的特征圖。       圖2   特征提取后圖象的二值化圖 圖象經(jīng)過(guò)變換之后，得到了具有重疊相似區(qū)域的兩幅圖象，對(duì)于

14、相似區(qū)域的尋找，一般的算法都是根據(jù)人體視覺(jué)特征定義1個(gè)模板矢量(pattern vector)，對(duì)兩幅圖象分別運(yùn)算相似距離，根據(jù)相似距離來(lái)尋找圖象的相似部分。本文提出了一種新的重疊區(qū)域的搜尋方法，它基于差值圖象的極值點(diǎn)搜尋，可以方便地提取兩幅圖象之間的相似部分，不需要頻域上的任何運(yùn)算。設(shè)有兩個(gè)矩形區(qū)域a和b，已知b中包含一個(gè)區(qū)域a2，a與a2是相同的模塊，求b中a2的位置。典型的算法是從的左下角起，把每一塊與a大小相同的區(qū)域c與a相比較，得出評(píng)價(jià)函數(shù)，其值最小的區(qū)域就是a2。 評(píng)價(jià)函數(shù)一般定義為:對(duì)于a和c中每一對(duì)對(duì)應(yīng)點(diǎn)p和q，      &#

15、160;                          (1) 考慮到兩幅圖象的亮度不一樣，即使是同一模塊，由于亮度不同，評(píng)價(jià)函數(shù)的值也很大，把評(píng)價(jià)函數(shù)定義為：               

16、60;                  (2) 4.4 圖像縫合 圖像縫合分兩個(gè)步驟。拼接處會(huì)有明顯的一條縫?？捎妙伾珨M合的方法來(lái)調(diào)和相鄰圖象的亮度,生成無(wú)縫的合成圖象。以合成圖象的拼接線為中心,兩邊各取10個(gè)象素點(diǎn)的距離,此區(qū)域?yàn)槌C正區(qū)。第一步是圖像經(jīng)過(guò)矩陣投影生成新的圖像需要用到雙性插值。第二步是兩幅圖像重疊區(qū)域之間的線性插值。 4.5柱面投影 柱面投影變換及其反變換算法的核心是投影變換公式,為此建立坐標(biāo)系,如圖4所示。

17、原始圖象i、投影柱面圖象j和柱面k,原點(diǎn)為觀察點(diǎn)(投影中心)。設(shè)柱面半徑為,投影寬度角為,圖象寬度為,高度為。能很容易得到柱面圖象的寬度為r×sin(/2),高度仍為。對(duì)圖象i上的任意一點(diǎn),假設(shè)它在圖象上的坐標(biāo)為(,),p在柱面圖象j上的對(duì)應(yīng)點(diǎn)q,假設(shè)q在j上的坐標(biāo)是(,)。5    圖3柱面投影變換 這里角由每張圖象所占的角度唯一確定。一個(gè)全景的角度是360º那么每張圖象對(duì)應(yīng)的角度就顯而易見(jiàn)了一般的角約為30 - 40º。最后，根據(jù)兩幅圖像的平移量，柱面投影，最后拼接全景圖（見(jiàn)圖4和圖）。 5  實(shí)驗(yàn)結(jié)果 基于全

18、景圖的虛擬實(shí)景生成系統(tǒng)的實(shí)現(xiàn)在是一臺(tái)windows nt操作系統(tǒng)下的pc工作站，p3-1g，128m內(nèi)存，顯卡(硬件支持opengl加速)，使用microsoft visual c+6.0和opengl編程。    圖4 圖象拼接前的情況    圖5 圖象拼接后的全景圖 6  結(jié)論及展望 隨著基于圖象繪制技術(shù)發(fā)展，全景圖現(xiàn)已廣泛應(yīng)用在軍事、教育、科研、商業(yè)、影視、娛樂(lè)、工程訓(xùn)練等，并隨著java和internet的發(fā)展成為一種快捷、實(shí)用、效果很好的虛擬現(xiàn)實(shí)漫游系統(tǒng)。本文對(duì)基于全景圖的虛擬現(xiàn)實(shí)模型進(jìn)行了比較

19、深入的研究，在根據(jù)前人對(duì)全景圖的研究資料中，本文提出了一種基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)模型的構(gòu)想，并給出了較為實(shí)用的解決方案，克服了抖動(dòng)、光照差、扭曲等對(duì)全景圖的影響，對(duì)圖象拼接算法作了比較和改進(jìn)嘗試，對(duì)圓柱面投影作了較深入的探討，實(shí)用價(jià)值高效率。未來(lái)基于全景圖的虛擬現(xiàn)實(shí)各種技術(shù)發(fā)展將前景廣闊。 參考文獻(xiàn) 1  cai yong, liu xue hui, wu eng hua. image-based rendering: a technology for virtual reality system. journal of software, 1997, 8 (10): 721- 728 ( in chinese) (蔡勇, 劉學(xué)慧, 吳恩華. 基于圖像繪制的虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境.軟件學(xué)報(bào), 1997, 8 (10) : 721- 728) 2  chen s e. quick time vr an image-based approach to virtual environment navigation. in: p roc s iggra ph 95, new york, 1995. 29- 38 3  szeliski r, shum h-y. creating full