淺談相機標定中的對應點

淺談相機標定中的對應點

1自動匹配算法相機校正是計算機視覺研究的基礎，在三維重建和目標跟蹤定位方面發(fā)揮著重要作用。在高精度的視覺任務中,一般都采用標定板進行相機內(nèi)參數(shù)標定。標定板上布有規(guī)則的控制點,它們的坐標事先已知,定位誤差通常在μ級。自從Tsai和Zhang的經(jīng)典論文相繼問世以來,相機標定已被認為是一項較為成熟的技術(shù)。但是,現(xiàn)有的標定算法通常都假設不同圖像之間標志點的對應關(guān)系已經(jīng)確定,重點研究如何精確地計算內(nèi)外參數(shù)。而標志點間的匹配問題長期來沒有得到足夠的重視,一般都采用手工的方式指定對應關(guān)系,使得相機標定依然是一個耗時而費力的過程。因此,研究可靠而自動的匹配算法是實現(xiàn)全自動相機標定的關(guān)鍵所在。標志點的匹配與標定板的模式密切相關(guān)。采用自我識別的標志點可以實現(xiàn)自動匹配,但是該模式的制作難度較高,價格偏貴。目前,大多數(shù)匹配算法都是針對棋盤模式的,雖然取得了長足的進展,但這些算法對噪聲和圖像模糊比較敏感。鑒于棋盤模式固有的局限性,為了確保角點的提取精度,通常要求較高的圖像質(zhì)量。相反,圓型標志點對圖像質(zhì)量要求相對較低,具有較好的實用價值,但針對這種模式的匹配幾乎都是采用純手動方式進行的,如果要標定幾十幅圖像,工作量相當大,很容易造成誤匹配。典型的計算機用戶只是偶爾使用一下視覺任務,一般不愿意投資昂貴的設備。因此,靈活、穩(wěn)定和廉價是非常重要的。為此,本文在圓點模式的基礎上,增設了5個大圓作為方位圓,設計出一種新的圓型標定模式。經(jīng)過圖像閾值化和橢圓檢測等前處理后,提出了在圓型標定模式下的標志點自動檢測和匹配算法,并集成現(xiàn)有的相機內(nèi)外參數(shù)計算方法,最終實現(xiàn)相機的全自動標定。2標志列數(shù)nx行數(shù)ny本文使用如圖1所示的標定板,其參數(shù)為:沿X軸方向的圓形標志列數(shù)Nx=11,沿Y軸方向的圓形標志行數(shù)Ny=9,縱向和橫向間距皆為35mm,5個大圓的直徑皆為20mm,小圓直徑皆為10mm。整個標定系統(tǒng)結(jié)構(gòu)如圖2所示。3圓標記的檢測3.1橢圓檢測去噪由于標定板通常是黑底白圖案,因此采用閾值的辦法就可以把圖像中感興趣的區(qū)域從背景中分割出來。本文基于圖像灰度直方圖,通過迭代的方式來實現(xiàn)閾值的自動選擇。閾值分割后的圖像一般含有冗余信息,很難通過常規(guī)去噪方法把它們剔出。由于采用了圓形標志點,經(jīng)過透視變換后,它在圖像中的像為橢圓,因此,可以利用橢圓檢測的方法來濾出圖中明顯的冗余信息。橢圓檢測方法種類繁多,這里直接借用文獻的方法。設P為所有檢測到的橢圓點集合。經(jīng)橢圓檢測后,大量的冗余信息被去除,但是,一些與標志點的形狀大小都非常相似的橢圓形區(qū)域依然保留了下來。3.2標志點和噪聲首先約定標定板中標志點的編碼順序,如圖1所示。設標定板共有Nm個標志點,Nm=Nx×Ny,Nx為沿X軸方向的標志點列數(shù),Ny為沿Y軸方向的標志點行數(shù),縱向間距等于橫向間距。設Nmin=min(Nx,Ny),對于圖1中的標定板,Nmin=9。在復雜背景下,經(jīng)過橢圓檢測后,橢圓集合P中的元素個數(shù)NP一般大于等于Nm,標志點檢測的實質(zhì)就是刪除多余的元素,使NP=Nm?；谏厦娴募s定,本文提出了一種基于代價函數(shù)的標志點檢測算法。對于任意的pi∈P,求P中距離pi最近的4個點qj,pi與每個qj相連可以形成4條直線Lpi,qj(j=1,2,3,4)。對于每條直線Lpi,qj,計算P中距離Lpi,qj最近的Nmin個點(包括pi和qj本身),記這Nmin個點構(gòu)成的集合為PNmin。設PNmin中距離最遠的兩個點分別為pf1和pf2,把PNmin中的點按距離pf1從近到遠的順序排列,得到如圖3中的xl(l=1,2,…,Nmin)。定義集合PNmin中的元素在直線Lpf1,pf2方向的間距規(guī)則度為ˉRijRijˉˉˉˉˉ:ˉRij=Νmin∑l=1RlΝmin(1)Rijˉˉˉˉˉ=∑l=1NminRlNmin(1)式中:Rl=recip(|xl+2-xl+1||xl+1-xl|)Rl=recip(|xl+2?xl+1||xl+1?xl|),l=1,2,…,Nmin-2,recip(x)={x?x≥11/x?x<1。設PNmin中距離直線Lpi,qj最遠的點為pf,距離為d(Lpiqj,pf),那么,PNmin中的元素在Lpf1,pf2方向的線性間距規(guī)則度Hij可定義為:Ηij=ˉRij?d(Lpi,qj,pf)(2)Hij的值越小,說明PNmin中的元素在Lpf1,pf2方向分布得越規(guī)則,pi點就越有可能是標志點。但是,對于某些線性度較好的噪聲點,僅靠單個方向的Hij很可能造成誤判。因此,定義pi成為標志點的代價函數(shù)如下:Ci=min(T1,T2,…,T6)(3)式中:Τ1=Ηi1+Ηi2∠(Lpi,q1,Lpi,q2),Τ2=Ηi1+Ηi3∠(Lpi,q1,Lpi,q3),Τ3=Ηi1+Ηi4∠(Lpi,q1,Lpi,q4),Τ4=Ηi2+Ηi3∠(Lpi,q2,Lpi,q3),Τ5=Ηi2+Ηi4∠(Lpi,q2,Lpi,q4),Τ6=Ηi3+Ηi4∠(Lpi,q3,Lpi,q4),∠(*,*)表示取銳角。Ci表示pi點的鄰域規(guī)則分布性。采用式(3),標志點和噪聲的代價函數(shù)值通常相差一個數(shù)量級左右,因此比較容易分離。求P中所有點的代價函數(shù),并按從小到大的順序排列,則排在前面的Nm個點即為標志點,記為Pm。4橢圓標志點的確定在3.2節(jié),從圖像中檢測出來的標志點還未與標定板編碼建立起對應關(guān)系,為此,利用標定板中5個大圓的位置信息,提出一種自動的標志點匹配算法。規(guī)定標定板中5個大圓按圖1所示的方式排列的。接下來的首要任務是找出這5個圓在Pm中所對應的橢圓。根據(jù)橢圓長半軸的值,很容易把最大的5個橢圓從Pm中標記出來,記為E。按如下步驟,可從E中識別出每個橢圓標號:1)求E中距離最近的2個橢圓,記為E1和E2(它們分別對應著Ⅳ和Ⅴ,或者Ⅴ和Ⅳ);2)在剩余的3個橢圓中,求距離最遠的2個橢圓,記為E3和E4(它們分別對應著Ⅱ和Ⅲ,或者Ⅲ和Ⅱ),把最后剩余的橢圓記為E5,E5就是橢圓Ⅰ;3)計算橢圓E1和E2連線的中點O,記過點O和橢圓E5圓心的直線為LOI,則E1和E2中離直線LO,I較近的就是橢圓Ⅳ,不失一般性,假設E1被判為橢圓Ⅳ,則E2為橢圓Ⅴ。4)設過橢圓Ⅳ和Ⅰ的圓心的直線為LIV,I,當觀察者沿著直線LIV,I從橢圓Ⅳ向橢圓Ⅰ行進時(以后凡是涉及到點與直線的位置判斷時,觀察者總是從直線的第1個下標點走向第2個下標點),如果E3位于觀察者左邊的則為橢圓Ⅲ,反之為橢圓Ⅱ。假設E3被判為橢圓Ⅲ,則E4為橢圓Ⅱ。點與直線的方位關(guān)系可以通過下面的方法判斷:設c(x,y)、s(xs,ys)和e(xe,ye)為平面上的3點,c點與直線Lse的位置關(guān)系判別式為:F=y(xe-xs)-x(ye-ys)+xsye-xeys(4)如果F>0,表示當觀察者沿著直線Ls,e從點s(xs,ys)向點e(xe,ye)行進時,c(x,y)在觀察者的左方,反之,c(x,y)在觀察者的右方。到此,5個大橢圓全被識別出來,并建立起了與標定板中5個大圓的一一對應關(guān)系,接下來將討論如何利用5個大圓找出所有標志點的匹配關(guān)系。設標定板左下標志點為A,左上標志點為B,右下標志點為C,右上標志點為D,如圖1所示。我們首先根據(jù)5個已知的橢圓找出標志點A、B、C、D,然后由這4個標志點確定別的標志點。設過橢圓Ⅲ和Ⅱ的圓心的直線為LIII,II,設φ為直線LIII,II與LIV,I之間的夾角(從LIII,II到LIV,I為逆時針,φ為正)。1pk確定ny個點根據(jù)橢圓Ⅱ和Ⅰ,計算Pm中位于直線LII,I左側(cè)且離LII,I最遠的點,即為A點。同理,可以確定B、C、D。計算Pm中距離直線LA,B最近的Ny個點,并按離直線A點的距離從小到大的順序排列,這Ny個點正好對應著標定板中的左起第1列。計算Pm中離直線LIII,II最近的Nx個點,并按離直線LA,B的距離從小到大的順序排列,把排序后的Nx個點記為集合PIII,II。對于pk∈PIII,II(k=2,…,Nx),計算過pk且平行于LA,B的直線Lk,求Pm中距離Lk最近的Ny個點,設A′和B′是這Ny個點中最遠的兩個點,且A′離A比B′離A更近,將這Ny個點按距離A′由近到遠的順序排列,生成集合PA′,B′,那么PA′,B′正好對應著標定板中的左起第k列的標志點。更新A=A′,B=B′,開始考察pk+1。依次類推,可以實現(xiàn)所有標志點的匹配。2如圖4b所示，處理方法與1相似，不會重復5動3次或3次以上難以完成標定相機標定的目的是要確定內(nèi)參數(shù)和外參數(shù)。Zhang等人提出的兩步法只需將平面模板在相機面前轉(zhuǎn)動3次或3次以上即可完成標定,無需知道模板的運動參數(shù),已成為目前普遍采用的方法之一。后來,人們從標定精度、魯棒性以及簡便性等角度對Zhang的標定模型進行了發(fā)展。鑒于標定算法的研究已經(jīng)比較完善,本文以第4節(jié)的匹配結(jié)果作為輸入,直接采用Zhang的方法計算內(nèi)外參數(shù)。6機光軸和標定板法向的不同時距離圖像的成像以CCD、KADAKDCS420D、NIKOND50和NIKOND200等數(shù)碼相機以及焦距在20～50mm之間的NIKON系列定焦鏡頭為標定對象,所有的算法均在VC++平臺下實現(xiàn)。拍攝任務在室內(nèi)進行,只要保持相機光軸和標定板法向之間的夾角處于在15°～70°之間,標定板可以隨意旋轉(zhuǎn)和移動。圖5(a)是順光(來自窗外的自然光)并強制閃光情況下拍攝的照片,在逆光情況下獲得的照片如圖5(c)所示,而圖5(e)顯示了在紋理地板背景下的成像效果。圖5(b)、(d)和(f)分別給出了相應條件下標志點的匹配結(jié)果。為了驗證提出的匹配算法的正確性和精度,本文把匹配好的點對作為Zhang的算法的輸入,計算出內(nèi)外參數(shù)和反投影誤差,反投影誤差是指投影點和測量點之間的歐式距離。設k1和k2為畸變系數(shù),ea為平均反投影誤差,em為最大反投影誤差。從表1中可以看出,針對4種不同相機的標定實驗反投影誤差都在2個像素以內(nèi),說明標志點的檢測和匹配是正確的。7實驗結(jié)果分析盡管已有大量的標定算法和軟件可用,但是相機標定依然是一個耗時的過程。本文以標志點的自動檢測和匹配為突破口,結(jié)合現(xiàn)有的標定算法,最終實現(xiàn)了相機的全自動標定。實驗結(jié)果顯示了本文所提系統(tǒng)在不同場景和光照條件下的自動性和正