一種多屏拼接幾何校正技術(shù)

一種多屏拼接幾何校正技術(shù)

隨著科學(xué)技術(shù)的快速發(fā)展和信息的快速擴(kuò)張，人們對(duì)顯示技術(shù)的要求越來越高。由于分辨率低、動(dòng)態(tài)分析能力低等優(yōu)點(diǎn)，單個(gè)普通投影無法滿足市場(chǎng)的需求。雖然單光刻的分辨率和高動(dòng)態(tài)記錄能力很差，但很難推廣。這是因?yàn)樗吡?，無法普及。因此，多段重疊技術(shù)已經(jīng)深入研究和開發(fā)，并在可視化、虛擬現(xiàn)實(shí)和通信等領(lǐng)域得到了廣泛應(yīng)用。這種多段疊加技術(shù)是一種通用的高檢測(cè)技術(shù)，該技術(shù)是一種應(yīng)用于3d濾波和高檢測(cè)技術(shù)的一部分。通過這種低分析率的多段投影，我們可以在圖像上形成完整的重疊圖像。實(shí)現(xiàn)多臺(tái)投影儀的拼接顯示主要存在以下2個(gè)問題:1)由于多臺(tái)投影儀的拼接問題以及投影儀透鏡扭曲等問題,引起投影顯示圖像的幾何不連續(xù)、枕形失真、圖像的邊緣呈現(xiàn)非矩形等現(xiàn)象;2)由于各臺(tái)投影儀的內(nèi)部參數(shù)或者質(zhì)量問題,引起投影顯示圖像重疊區(qū)域偏亮,各投影儀間顏色不一致等明顯的不匹配問題.多年來,國內(nèi)外學(xué)者針對(duì)上述2個(gè)問題做了大量的分析與研究,主要提出了2類解決辦法,即幾何校正和顏色校正.由于幾何校正技術(shù)是多屏拼接技術(shù)的基礎(chǔ)環(huán)節(jié)和關(guān)鍵步驟,直接決定了顯示系統(tǒng)的有效性,因此本文亦將重點(diǎn)集中于此.基于數(shù)碼相機(jī)的幾何校正技術(shù)作為近年來的研究熱點(diǎn),得到了國內(nèi)外學(xué)者的廣泛關(guān)注,其主要是利用數(shù)碼相機(jī)獲得投影儀坐標(biāo)系與幕布坐標(biāo)系的對(duì)應(yīng)關(guān)系,進(jìn)而預(yù)校正投影儀的圖像,使得投影顯示的結(jié)果呈現(xiàn)規(guī)則的矩形形狀,且投影儀間的拼接呈現(xiàn)幾何連續(xù)性.目前,公認(rèn)的經(jīng)典算法主要可以分為三大類:線性校正方法、分段線性校正方法和非線性校正方法.文獻(xiàn)提出的線性幾何校正方法將多臺(tái)投影儀分別投影水平方向和豎直方向的特征線,然后利用數(shù)碼相機(jī)拍攝圖片,對(duì)特征線求交獲得特征點(diǎn),進(jìn)而獲得投影儀坐標(biāo)系和幕布坐標(biāo)系的對(duì)應(yīng)關(guān)系,最終預(yù)校正投影儀中的圖像以實(shí)現(xiàn)多屏的無縫拼接顯示.由于投影儀凹凸不平的透鏡會(huì)造成投影顯示圖像的非線性扭曲,而傳統(tǒng)的線性方法無法克服這種非線性扭曲,因此文獻(xiàn)提出了矩形分塊的分段線性校正方法,即將投影圖像分成若干矩形片段,分別預(yù)校正每個(gè)投影圖像片段,進(jìn)而提高了多投影顯示的精度.文獻(xiàn)提出了更為精確的分段線性校正方法,即通過三角剖分的方式將投影圖像采樣為若干的三角面片,通過計(jì)算三角面片在數(shù)碼相機(jī)和投影儀之間的對(duì)應(yīng)關(guān)系,以獲得多投影顯示的結(jié)果.然而,分段線性幾何校正方法只是將問題細(xì)化,并沒有從根本上解決投影儀透鏡的非線性扭曲.文獻(xiàn)提出了一種用于逼近投影儀透鏡非線性扭曲的有理Bézier曲面函數(shù)的方法.該方法充分利用有理Bézier曲面函數(shù)的仿射不變性和透視不變性等好的性質(zhì),綜合了非有理Bézier曲面函數(shù)和單應(yīng)性矩陣技術(shù),有效地逼近了投影儀透鏡的非線性扭曲,獲得了較好的實(shí)驗(yàn)效果.但是,高密度采樣以及大量的計(jì)算增加了該方法的復(fù)雜度.本文在基于數(shù)碼相機(jī)的幾何校正過程中發(fā)現(xiàn),數(shù)碼相機(jī)的透鏡扭曲亦是影響多屏顯示結(jié)果非線性扭曲的重要原因.因此,綜合考慮了多屏拼接的效率以及復(fù)雜度等問題,本文在傳統(tǒng)的線性幾何校正技術(shù)的基礎(chǔ)上,提出一種新的基于相機(jī)參數(shù)還原的多屏拼接幾何校正技術(shù).在幾何校正過程中,首先利用數(shù)碼相機(jī)對(duì)標(biāo)準(zhǔn)的國際象棋棋盤進(jìn)行拍攝,獲取圖片,并通過計(jì)算獲得相機(jī)的預(yù)校正參數(shù);在求取特征點(diǎn)過程中,利用預(yù)校正參數(shù)還原數(shù)碼相機(jī)拍攝的圖片,以更準(zhǔn)確地獲得投影儀和幕布的對(duì)應(yīng)關(guān)系;最終實(shí)現(xiàn)多投影儀在幾何上的無縫拼接.在顏色校正過程中,則采用了傳統(tǒng)的類余弦曲線函數(shù)對(duì)相鄰?fù)队皟x的重疊區(qū)域進(jìn)行顏色校正處理.對(duì)高分辨率圖像進(jìn)行多屏拼接顯示的實(shí)驗(yàn)結(jié)果表明,本文方法有效地克服了數(shù)碼相機(jī)透鏡所造成的顯示結(jié)果的非線性扭曲,提高了幾何校正的精度,而且時(shí)間復(fù)雜度得到了有效的控制,具有很強(qiáng)的實(shí)用性.1多機(jī)聯(lián)合網(wǎng)絡(luò)校正在解決投影結(jié)果非線性扭曲問題的過程中,經(jīng)典的幾何校正方法通常只強(qiáng)調(diào)投影儀透鏡的非線性扭曲,而忽略了數(shù)碼相機(jī)透鏡的非線性扭曲.本文通過設(shè)置透鏡扭曲系數(shù)的實(shí)驗(yàn)發(fā)現(xiàn),數(shù)碼相機(jī)透鏡的非線性扭曲是顯示結(jié)果呈非線性扭曲的重要原因之一.因此,在分析了文獻(xiàn)的數(shù)碼相機(jī)的非線性扭曲的基礎(chǔ)上,本文利用數(shù)碼相機(jī)對(duì)標(biāo)準(zhǔn)的國際象棋棋盤進(jìn)行拍攝獲取采樣圖片,然后利用文獻(xiàn)中提出的迭代計(jì)算方式獲得相機(jī)的預(yù)校正參數(shù).1.1徑向扭曲模型為了還原數(shù)碼相機(jī)透鏡的非線性扭曲,首先對(duì)數(shù)碼相機(jī)的校正模型進(jìn)行分析.透鏡的非線性扭曲模型主要由兩部分獨(dú)立構(gòu)成,即徑向扭曲與切向扭曲.徑向扭曲模型為{xr=(1+k1r2+k2r4+k3r6)x=x+ρxyr=(1+k1r2+k2r4+k3r6)y=y+ρy{xr=(1+k1r2+k2r4+k3r6)x=x+ρxyr=(1+k1r2+k2r4+k3r6)y=y+ρy;其中,r=x2+y2??????√r=x2+y2;ki為徑向扭曲系數(shù),1≤i≤3.同理,切向扭曲模型為{xt=x+2p1xy+p2r2+2p2x2=x+τxyt=y+2p2xy+p1r2+2p1y2=y+τy{xt=x+2p1xy+p2r2+2p2x2=x+τxyt=y+2p2xy+p1r2+2p1y2=y+τy;其中r=x2+y2??????√r=x2+y2;pi為切向扭曲系數(shù),1≤i≤2.由于透鏡的徑向扭曲和切向扭曲是2個(gè)相互獨(dú)立的過程,因此可以將2個(gè)扭曲過程合并構(gòu)成整體的扭曲模型為{xd=x+ρx+τxyd=y+ρy+τy.{xd=x+ρx+τxyd=y+ρy+τy.通過對(duì)文獻(xiàn)對(duì)透鏡的非線性扭曲模型的分析,并按照上文所獲得的非線性模型可知,透鏡的非線性扭曲程度主要是由k1,k2,k3,p1和p2這5個(gè)分量共同作用而產(chǎn)生的.通過設(shè)置如表1所示的扭曲參數(shù),即設(shè)置不同的k1,k2,k3,p1,p2分量,獲得了3組扭曲參數(shù).根據(jù)這3組扭曲參數(shù),通過對(duì)標(biāo)準(zhǔn)網(wǎng)格進(jìn)行扭曲處理,獲得了對(duì)應(yīng)的3幅扭曲網(wǎng)格圖像,如圖1所示.從圖1中可以看出,由切向扭曲系數(shù)和徑向扭曲系數(shù)的5個(gè)分量直接決定了圖像的非線性扭曲程度.因此,若要恢復(fù)圖像,就必須通過大量的采樣實(shí)驗(yàn)預(yù)先計(jì)算出扭曲系數(shù),進(jìn)而對(duì)圖像進(jìn)行還原處理.1.2多機(jī)聯(lián)合采樣實(shí)驗(yàn)誤差分析為了能夠有效地獲得校正參數(shù),本文對(duì)標(biāo)準(zhǔn)的國際象棋棋盤進(jìn)行拍照和采樣實(shí)驗(yàn),經(jīng)過對(duì)采樣圖像提取角點(diǎn)、計(jì)算、校正、誤差分析、迭代等步驟來獲取數(shù)碼相機(jī)的扭曲參數(shù),具體的過程參見相機(jī)校正工具包1.圖2所示為標(biāo)準(zhǔn)國際象棋棋盤的采樣圖像,圖3所示為角點(diǎn)獲取的采樣圖像,圖4所示為對(duì)它們校正前后的誤差分析.利用上述方法對(duì)每幅采樣圖像重復(fù)地進(jìn)行角點(diǎn)獲取和誤差分析,最終經(jīng)過迭代計(jì)算獲得數(shù)碼相機(jī)的焦距、主中心點(diǎn)坐標(biāo)、偏斜系數(shù),以及校正后與原始圖像的誤差,本文實(shí)驗(yàn)的數(shù)碼相機(jī)參數(shù)如表2所示.在反復(fù)求解影響透鏡非線性扭曲系數(shù)過程中,由于圖像樣本不斷優(yōu)化,因此獲得校正圖像的誤差逐漸減小,扭曲參數(shù)的獲取也更加準(zhǔn)確.1.3種新的多屏拼接技術(shù)利用第1.2節(jié)獲得的扭曲參數(shù)對(duì)原國際象棋棋盤的圖像進(jìn)行還原,如圖5所示.圖5所示為圖像樣本與其經(jīng)過相機(jī)參數(shù)恢復(fù)后得到的圖像.通過對(duì)比可以明顯得出,校正后的圖像更接近國際棋盤的真實(shí)形狀,進(jìn)而驗(yàn)證了通過數(shù)碼相機(jī)恢復(fù)初始圖像的有效性,為本文所提出一種新的基于相機(jī)參數(shù)還原的多屏拼接技術(shù)提供了依據(jù).2種基于攝像機(jī)參數(shù)還原的幾何校正方法本文通過對(duì)數(shù)碼相機(jī)透鏡的非線性扭曲的分析與驗(yàn)證發(fā)現(xiàn),普通數(shù)碼相機(jī)拍攝圖像的非線性扭曲比較明顯,是多屏拼接系統(tǒng)顯示結(jié)果非線性扭曲的重要原因之一.因此,本文利用國際象棋棋盤實(shí)驗(yàn)并求取數(shù)碼相機(jī)的校正參數(shù),進(jìn)而提出了一種新的基于相機(jī)參數(shù)還原的幾何校正方法.該方法在傳統(tǒng)的線性校正的基礎(chǔ)上,對(duì)數(shù)碼相機(jī)拍攝獲取的圖像均按照已經(jīng)求得的相機(jī)校正參數(shù)對(duì)其進(jìn)行預(yù)校正,有效地降低了由于數(shù)碼相機(jī)透鏡的非線性扭曲而引起的誤差,具有很強(qiáng)的實(shí)用性,具體的過程如下.2.1基于圖像特征的測(cè)線在特征點(diǎn)提取的過程中,本文采用對(duì)投影直線求交點(diǎn)的算法求取特征點(diǎn),即在數(shù)碼相機(jī)位置保持固定的前提下,每臺(tái)投影儀分別投影顯示水平特征線和垂直特征線,圖6所示為左上角投影儀分別投影水平特征線和垂直特征線的實(shí)例圖像及其經(jīng)相機(jī)校正參數(shù)恢復(fù)后的圖像.其中,圖6a,6b所示為左上角投影儀投影水平特征線和垂直特征線經(jīng)數(shù)碼相機(jī)拍攝后獲得的圖像,而圖6c,6d則分別是經(jīng)相機(jī)校正參數(shù)校正后的圖像.通過比較可以得出,校正后的圖像有效地克服了數(shù)碼相機(jī)透鏡的非線性扭曲,獲得了準(zhǔn)確的投影特征線.進(jìn)而,通過直線求交的算法求出水平特征線與垂直特征線的交點(diǎn),即需要的特征點(diǎn).2.2多屏拼接系統(tǒng)投影區(qū)域的確定為了獲得多屏拼接系統(tǒng)的有效顯示區(qū)域,每臺(tái)投影儀分別投影全白圖像,利用數(shù)碼相機(jī)拍攝并進(jìn)行相機(jī)校正處理,進(jìn)而獲得各個(gè)投影儀顯示圖像的角點(diǎn)坐標(biāo),最終通過計(jì)算獲得重疊區(qū)域的信息和最大投影區(qū)域.圖7中,中間標(biāo)準(zhǔn)的矩形邊框所表示的區(qū)域便是多屏拼接系統(tǒng)的有效投影區(qū)域,即4臺(tái)投影儀投影圖像的最大內(nèi)接矩陣.4個(gè)不規(guī)則的四邊形邊框所表示的區(qū)域即不同投影儀投影的區(qū)域,而線條比較粗的邊框所表示的區(qū)域則是左上角投影儀應(yīng)該投影的區(qū)域.2.3xy1由于投影儀擺放的位置和投影的方向是任意的,若要形成規(guī)則的矩形顯示和無縫拼接,必須對(duì)投影的圖像進(jìn)行校正,具體過程如下:Step1.根據(jù)第2.1節(jié)中獲得的數(shù)碼相機(jī)中特征點(diǎn)的坐標(biāo)與投影儀幀緩存中的已知坐標(biāo)的對(duì)應(yīng)關(guān)系,建立線性方程組,求解得出大小為3×3的單應(yīng)性矩陣M.求解的公式為???xwyww???=???p1p4p7p2p5p8p3p6p9??????XY1???(xwyww)=(p1p2p3p4p5p6p7p8p9)(XY1);其中,(x,y)是每臺(tái)投影儀的特征點(diǎn)坐標(biāo),(X,Y)是與其對(duì)應(yīng)的數(shù)碼相機(jī)中特征點(diǎn)的坐標(biāo),向量P=(p1,p2,p3,…,p9)即為單應(yīng)性矩陣M.Step2.根據(jù)第2.2節(jié)中每臺(tái)投影儀在有效投影區(qū)域中所占的比例將待顯示圖像分成4塊,分配到每臺(tái)投影儀的幀緩存中.Step3.通過單應(yīng)性矩陣M的逆矩陣M-1,利用每臺(tái)投影儀有效顯示區(qū)域的角點(diǎn)坐標(biāo),預(yù)扭曲投影儀幀緩存中的圖像,如圖8所示.圖8中,四邊形區(qū)域P1P2P3P4是左上角投影儀在投影幕布上的最大投影區(qū)域,而四邊形區(qū)域Q1Q2Q3Q4是其有效投影區(qū)域,通過逆矩陣M-1計(jì)算獲得投影儀幀緩存中的預(yù)扭曲區(qū)域Q′1Q′2Q′3Q′4.對(duì)每臺(tái)投影儀均進(jìn)行此操作,便可獲得多屏拼接系統(tǒng)在各個(gè)投影儀中的預(yù)扭曲圖像.2.4多投影顯示圖像在本文所應(yīng)用的多投影顯示系統(tǒng)中,對(duì)計(jì)算機(jī)集群采用了分布式的操作方法.即在拼接顯示的過程中,集群各機(jī)分別在本地存放并讀取待顯示的圖像與配置參數(shù),主機(jī)控制集群進(jìn)行同步繪制,最終得出多投影顯示圖像.相對(duì)于傳統(tǒng)的集中式操作方法,分布式操作有如下的優(yōu)點(diǎn):1)對(duì)網(wǎng)絡(luò)的帶寬要求較低;2)主機(jī)的負(fù)擔(dān)較小;3)實(shí)時(shí)性比較強(qiáng).但隨之而來有如下的缺點(diǎn):1)所有集群都需存儲(chǔ)信息,浪費(fèi)了空間資源;2)對(duì)集群的同步性要求較高.而在硬件高速發(fā)達(dá)的科技社會(huì)中,集群分布式操作更有利于多投影儀的拼接顯示.3實(shí)驗(yàn)結(jié)果與分析在本文實(shí)驗(yàn)的多屏拼接系統(tǒng)中,投影儀陣列是由4臺(tái)Toshiba普通型號(hào)、最大分辨率為1024×768的投影儀構(gòu)成的2×2陣列;數(shù)碼相機(jī)的型號(hào)為Cannon400D,18mm～55mm的鏡頭,最大分辨率為3888×2592;集群是由16臺(tái)2.6GHzCPU,512MB顯存的單機(jī)組成;投影幕布則是采用7m×4m的背投幕.利用上述硬件設(shè)備,采用本文提出的相機(jī)參數(shù)還原的算法對(duì)多屏拼接系統(tǒng)進(jìn)行幾何校正,進(jìn)而采用類余弦函數(shù)對(duì)相鄰?fù)队皟x的重疊區(qū)域進(jìn)行顏色校正,獲得如圖9,10所示的實(shí)驗(yàn)結(jié)果.通過圖9可以看出,傳統(tǒng)方法本文獲得的標(biāo)準(zhǔn)網(wǎng)格呈現(xiàn)明顯的非線性扭曲,且?guī)缀挝恢妹黠@不連續(xù);采用本文方法所獲得的標(biāo)準(zhǔn)網(wǎng)格,不僅呈現(xiàn)矩形顯示,而且基本上消除了透鏡非線性對(duì)投影結(jié)果的影響.圖10所示為真實(shí)圖像的投影結(jié)果,可以明顯看出,采用本文方法所獲得的投影結(jié)果相對(duì)于傳統(tǒng)方法幾何位置顯示標(biāo)準(zhǔn),邊界呈現(xiàn)良好的矩形表示,獲得了較為理想的投影結(jié)果.而且,由于本文方法是在線性方法的基礎(chǔ)上實(shí)施的,因此時(shí)間復(fù)雜度和空間復(fù)雜度都能夠滿足市場(chǎng)的要求,具有較強(qiáng)的實(shí)用性.4多屏拼接校