基于計(jì)算機(jī)視覺(jué)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法

基于計(jì)算機(jī)視覺(jué)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法

0維環(huán)境注冊(cè)技術(shù)現(xiàn)實(shí)的改進(jìn)是一項(xiàng)將計(jì)算機(jī)生成的附加信息用于改善或擴(kuò)展用戶在現(xiàn)實(shí)環(huán)境中看到的真實(shí)環(huán)境的技術(shù)。現(xiàn)實(shí)和虛擬之間的區(qū)別在于，它不是將現(xiàn)實(shí)與用戶分開(kāi)，而是將計(jì)算機(jī)生成的虛擬物體和場(chǎng)景疊加在真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)“改善”的現(xiàn)實(shí)。在增強(qiáng)的環(huán)境中，用戶不僅可以看到周圍的真實(shí)環(huán)境，還可以看到計(jì)算機(jī)生成的增強(qiáng)信息。該增強(qiáng)信息可以是與真實(shí)環(huán)境或真實(shí)環(huán)境共存的虛擬物體，或者是與存在的真實(shí)物體相關(guān)的幾何信息。在用戶看來(lái)，真實(shí)物體和虛擬物體是共存的，相互放大或相互補(bǔ)充。由于它的應(yīng)用和發(fā)展前景，它引起了越來(lái)越多的人們的注意。許多大學(xué)和研究機(jī)構(gòu)正在進(jìn)行研究和探索。三維環(huán)境注冊(cè)技術(shù)不僅是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)技術(shù),也是保證增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能的關(guān)鍵技術(shù),因此一直是增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究中的重要方面.增強(qiáng)現(xiàn)實(shí)系統(tǒng)利用附加的圖形或文字信息來(lái)對(duì)周圍真實(shí)世界的場(chǎng)景進(jìn)行動(dòng)態(tài)地增強(qiáng).因?yàn)楫?dāng)轉(zhuǎn)動(dòng)和移動(dòng)頭部的時(shí)候,眼睛所看到的視野將隨之變動(dòng),而且計(jì)算機(jī)生產(chǎn)的增強(qiáng)信息也應(yīng)該隨之做相應(yīng)的變化,所以,增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須能夠?qū)崟r(shí)地檢測(cè)出回路中人的頭部位置和視線指向,然后才能根據(jù)這些信息實(shí)時(shí)地確定所要添加的虛擬信息在真實(shí)空間坐標(biāo)中的映射位置,并將這些信息實(shí)時(shí)地顯示在圖象的正確位置,這就是三維環(huán)境注冊(cè)系統(tǒng)所要完成的任務(wù).雖然利用電磁跟蹤器或者超聲波探測(cè)器也可以進(jìn)行三維注冊(cè),但是這些注冊(cè)方法的精度和使用范圍都不能滿足增強(qiáng)現(xiàn)實(shí)的需要,同時(shí)也容易受到外界干擾,因而通用性差;而常用的立體視覺(jué)注冊(cè)方法,一般需要兩個(gè)以上的攝像機(jī),還要通過(guò)立體圖象對(duì)的分析來(lái)進(jìn)行注冊(cè),由于這類方法往往算法復(fù)雜,而且需要作大量的圖象處理運(yùn)算,因此將使系統(tǒng)延時(shí)增加,實(shí)時(shí)性能下降.1算法原理和理論思維增強(qiáng)現(xiàn)實(shí)系統(tǒng)的三維環(huán)境注冊(cè)包含使用者頭部(攝像機(jī))的空間定位跟蹤以及虛擬物體在真實(shí)空間中的定位兩個(gè)方面的內(nèi)容.1.1虛擬空間坐標(biāo)系為了說(shuō)明本文的注冊(cè)算法原理,這里采用4個(gè)坐標(biāo)系統(tǒng)來(lái)進(jìn)行描述,如圖1所示,xyz是絕對(duì)空間坐標(biāo)系(真實(shí)空間坐標(biāo)系);ξηζ表示虛擬空間坐標(biāo)系,此坐標(biāo)系用來(lái)對(duì)所添加的虛擬空間進(jìn)行幾何描述;x′y′z′(左手坐標(biāo)系)表示觀察空間坐標(biāo)系(攝像機(jī)坐標(biāo)系);uv是一個(gè)二維坐標(biāo)系,表示投影圖象平面坐標(biāo)系,此坐標(biāo)系的o′z′軸與觀察者視線方向重合.由于所需要添加的虛擬物體在真實(shí)空間坐標(biāo)系中的方位是由系統(tǒng)要完成的功能所決定的,即虛擬空間坐標(biāo)系ξηζ與真實(shí)空間坐標(biāo)系xyz的關(guān)系是已知的,所以虛擬空間坐標(biāo)系ξηζ中三維虛擬物體的幾何描述(ξ,η,ζ)可以變換為真實(shí)空間坐標(biāo)系xyz中的幾何描述(x,y,z)[xyz1]=[ξηζ1]A(1)[xyz1]=[ξηζ1]A(1)上式中,A是兩個(gè)坐標(biāo)系之間已知的變換矩陣.如果能夠求出真實(shí)空間坐標(biāo)系xyz與觀察空間坐標(biāo)系x′y′z′之間的變換矩陣B,就可以將虛擬物體坐標(biāo)系中三維虛擬物體的幾何描述(ξ,η,ζ)變換為觀察空間坐標(biāo)系中的幾何描述(x′,y′,z′)[x′y′z′1]=[ξηζ1]AB(2)[x′y′z′1]=[ξηζ1]AB(2)此時(shí),再將觀察空間坐標(biāo)系中的虛擬物體投影到圖象平面坐標(biāo)系uv中,就完成了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的三維注冊(cè).1.2旋轉(zhuǎn)矩陣b中的參數(shù)三維基準(zhǔn)注冊(cè)的任務(wù)是實(shí)現(xiàn)對(duì)使用者頭部(攝像機(jī))的空間定位和跟蹤,通過(guò)上面的分析可見(jiàn),由于只要求出矩陣B就達(dá)到了目的,因此本文算法的基本步驟是:(1)已知標(biāo)志點(diǎn)在場(chǎng)景中的坐標(biāo)(xi,yi,zi);(2)測(cè)定標(biāo)志點(diǎn)的投影坐標(biāo)(ui,vi);(3)利用透視投影方程建立圖象平面點(diǎn)與場(chǎng)景點(diǎn)的聯(lián)系;(4)解出變換矩陣B.為方便起見(jiàn),在這里虛擬物體幾何表達(dá)與真實(shí)物體幾何表達(dá)的關(guān)系用如下普通的變換表達(dá)式(x′,y′,z′)Τ=R(x,y,z)Τ+Τ(3)(x′,y′,z′)T=R(x,y,z)T+T(3)其中,R=[rxxrxyrxzryxryyryzrzxrzyrzz]Τ=(tx,ty,tz)R=???rxxryxrzxrxyryyrzyrxzryzrzz???T=(tx,ty,tz)從真實(shí)空間坐標(biāo)系到觀察空間坐標(biāo)系的變換如下x′=rxxx+rxyy+rxzz+txy′=ryxx+ryyy+ryzz+tyz′=rzxx+rzyy+rzzz+tz(4)x′=rxxx+rxyy+rxzz+txy′=ryxx+ryyy+ryzz+tyz′=rzxx+rzyy+rzzz+tz(4)在觀察空間坐標(biāo)系中,雖然場(chǎng)景點(diǎn)的位置是未知的,但是點(diǎn)在圖象平面上的投影可以由透視投影方程來(lái)確定uF=x′z′=rxxx+rxyy+rxzz+txrzxx+rzyy+rzzz+tzvF=y′z′=ryxx+ryyy+ryzz+tyrzxx+rzyy+rzzz+tz(5)uF=x′z′=rxxx+rxyy+rxzz+txrzxx+rzyy+rzzz+tzvF=y′z′=ryxx+ryyy+ryzz+tyrzxx+rzyy+rzzz+tz(5)其中,F為攝像機(jī)的焦距(這里假設(shè)攝像機(jī)的內(nèi)部參數(shù)已知,即F已知),由聯(lián)立式(4)和式(5)可知,每一個(gè)標(biāo)志點(diǎn)可以確定如下兩個(gè)獨(dú)立的約束方程u(rzxx+rzyy+rzzz+tz)-F(rxxx+rxyy+rxzz+tx)=0v(rzxx+rzyy+rzzz+tz)-F(ryxx+ryyy+ryzz+ty)=0(6)u(rzxx+rzyy+rzzz+tz)?F(rxxx+rxyy+rxzz+tx)=0v(rzxx+rzyy+rzzz+tz)?F(ryxx+ryyy+ryzz+ty)=0(6)顯然,由6個(gè)標(biāo)志點(diǎn)可以產(chǎn)生12個(gè)方程,從而可以解出變換矩陣B中的12個(gè)參數(shù).實(shí)際上,如果使用旋轉(zhuǎn)矩陣的規(guī)范化正交約束,只需4個(gè)點(diǎn)就可以解出矩陣B中的12個(gè)參數(shù).例如在圖5的應(yīng)用系統(tǒng)中,由于標(biāo)志點(diǎn)都在同一個(gè)平面內(nèi),4個(gè)標(biāo)志點(diǎn)的絕對(duì)坐標(biāo)為(xi,yi,0)(i=1,2,3,4),所以式(6)可以簡(jiǎn)化為u(rzxx+rzyy+1)-F(rxxx+rxyy+tx)=0v(rzxx+rzyy+1)-F(ryxx+ryyy+ty)=0(7)u(rzxx+rzyy+1)?F(rxxx+rxyy+tx)=0v(rzxx+rzyy+1)?F(ryxx+ryyy+ty)=0(7)其實(shí),由于tz只是各參數(shù)的比例因子,所以可以設(shè)tz=1,同時(shí)由于式(7)中有8個(gè)參數(shù),而且由4個(gè)標(biāo)志點(diǎn)可以得到8個(gè)方程,因此解這個(gè)線性方程組就可以求出8個(gè)參數(shù):rzx,rzy,rxx,rxy,ryx,ryy,tx和ty.因?yàn)樾D(zhuǎn)矩陣R是正交規(guī)范化矩陣,所以RTR=I一定成立,利用這一特性可以計(jì)算如下幾個(gè)參數(shù)rxz=√1-r2xx-r2xyryz=√1-r2yx-r2yyrzz=√1-rzxrxz-rzyryzrxz=1?r2xx?r2xy??????????√ryz=1?r2yx?r2yy??????????√rzz=1?rzxrxz?rzyryz??????????????√這樣,就完成了三維基準(zhǔn)注冊(cè)任務(wù).1.3虛擬物體的注冊(cè)完成了虛擬空間坐標(biāo)系ξηζ到觀察空間坐標(biāo)系x′y′z′的轉(zhuǎn)換后,下一步就是將虛擬物體投影到畫(huà)平面坐標(biāo)系中.如圖2所示,用OXY表示要顯示的畫(huà)平面坐標(biāo)系,D表示攝像機(jī)中心至顯示器的距離,有一個(gè)虛擬物體圖象點(diǎn)A在觀察空間坐標(biāo)系中的坐標(biāo)為(x′a,y′a,z′a),本文的目的就是計(jì)算出A點(diǎn)在畫(huà)平面坐標(biāo)系中的坐標(biāo)(X0,Y0).圖中,a′和a″是A在o′x′z′和o′y′z′上的正投影,它們?cè)诋?huà)平面上的投影圖象分別是ax和ay,由于Δo′oax≈Δo′a′za′,Δo′oay≈Δo′a′za″所以有X0D=x′az′a?Y0D=y′az′a其中,x′a,y′a,z′a為A點(diǎn)在觀察空間坐標(biāo)系中的坐標(biāo)(在基準(zhǔn)注冊(cè)中已經(jīng)求出),由此可以得到X0=Dx′az′a?Y0=Dy′az′a這樣,就完成了對(duì)虛擬物體的注冊(cè).1.4左右眼合同元型如果考慮到增強(qiáng)現(xiàn)實(shí)中需要立體顯示,則應(yīng)對(duì)三維注冊(cè)算法作適當(dāng)修改.從立體顯示示意圖(見(jiàn)圖3)可以看出,立體顯示時(shí),因?yàn)橛^察點(diǎn)的位置分別左移和右移d的距離,所以需要將x′y′z′坐標(biāo)系沿x軸作平移變換,以便最后得到圖象點(diǎn)分別在左右眼平面坐標(biāo)系中的坐標(biāo),為此,算法上需要將式(2)作修改,即左眼[x′Ly′Lz′L1]=[ξηζ1]ABAL右眼[x′Ry′Rz′R1]=[ξηζ1]ABAR其中,左眼變換矩陣AL=[100001000010d001]右眼變換矩陣AR=[100001000010d001]2維場(chǎng)景注冊(cè)筆者開(kāi)發(fā)的一種新型掌上增強(qiáng)現(xiàn)實(shí)系統(tǒng)(如圖4所示)就成功地應(yīng)用了上述算法來(lái)進(jìn)行三維注冊(cè),并且效果良好.在該系統(tǒng)中,是采用透射式HMD(頭盔顯示器)來(lái)在一塊平板上增強(qiáng)顯示一個(gè)虛擬物體.具體做法是:首先在平板的4個(gè)角上放置4個(gè)不同顏色的標(biāo)志點(diǎn),并利用頭盔上的一個(gè)彩色CCD攝像機(jī)實(shí)時(shí)拍攝真實(shí)場(chǎng)景;然后在三維注冊(cè)時(shí),則通過(guò)圖象處理的方法提取出4個(gè)標(biāo)志點(diǎn)的平面坐標(biāo),再用上述算法實(shí)現(xiàn)三維場(chǎng)景注冊(cè);最后圖形工作站則根據(jù)該三維注冊(cè)信息實(shí)時(shí)生成左、右眼虛擬物體圖象對(duì),并同步地送到左右眼的LCD顯示器上,從而在用戶面前呈現(xiàn)一個(gè)虛實(shí)結(jié)合的場(chǎng)景.圖5展示了幾個(gè)在實(shí)驗(yàn)室里的AR系統(tǒng)上,以不同的角度試驗(yàn)獲得的真實(shí)場(chǎng)景和復(fù)合場(chǎng)景,由圖5(b)可見(jiàn),一只虛擬的恐龍被添加到真實(shí)場(chǎng)景中.其中,真實(shí)場(chǎng)景只是一個(gè)黑色的箱子,戴上AR頭盔的用戶所看到的是已經(jīng)添加了虛擬恐龍的復(fù)合場(chǎng)景.無(wú)論用戶以何種角度觀察,虛擬的恐龍好像就是站在箱子上,說(shuō)明該系統(tǒng)所生成的復(fù)合場(chǎng)景是成功的.3基于視覺(jué)的三維注冊(cè)算法與虛擬現(xiàn)實(shí)相比,由于在增強(qiáng)現(xiàn)實(shí)的環(huán)境注冊(cè)時(shí),不僅要實(shí)時(shí)地獲得用戶頭部的位置姿態(tài)信息,而且還要實(shí)現(xiàn)虛擬物體(由計(jì)算機(jī)生成的物體)與真實(shí)場(chǎng)景的準(zhǔn)確融合,因此對(duì)注冊(cè)有更高的要求.這樣常用的電磁或超聲波傳感器位置跟蹤法已經(jīng)不能滿足需要了,而兩個(gè)攝像機(jī)的立體圖象對(duì)注冊(cè)法又計(jì)算量太大,為此,本文從理論上論證了一種基于視覺(jué)的三維注冊(cè)算法,由于這種算法不僅計(jì)算量小,通用性強(qiáng),而且數(shù)值求解是線性過(guò)程,因此誤差小.通過(guò)實(shí)際應(yīng)用證明,該種算法具有良好的三維注冊(cè)性能,可以滿足增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)三維注冊(cè)需要.雖然本文從理論上證明了4個(gè)標(biāo)志點(diǎn)就可以算出注冊(cè)矩陣的12個(gè)參數(shù),