計(jì)算機(jī)視覺測(cè)量與導(dǎo)航

1、Harbin Institute ofTechnology計(jì)算機(jī)視覺測(cè)量與導(dǎo)航實(shí)驗(yàn)報(bào)告院 系：航天學(xué)院學(xué) 科：控制科學(xué)與工程姓 名：TSX學(xué) 號(hào)：任課教師：張永安盧鴻謙日 期：2014.05. 13摘要人類視覺過程可看成是一個(gè)復(fù)雜的從感覺到知覺的過程，也就是指三維世界 投影得到二維圖像,再由二維圖像認(rèn)知三維世界的內(nèi)容和含義的過程。信號(hào)處理 理論與計(jì)算機(jī)出現(xiàn)以后，人們用攝像機(jī)等獲取環(huán)境圖像并轉(zhuǎn)換成數(shù)字信號(hào)，完成 對(duì)視覺信息的獲取和傳輸過程,用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺信息的處理、存儲(chǔ)和理解等 過程,形成了計(jì)算機(jī)視覺這門新興學(xué)科。其中從二維圖像恢復(fù)三維物體可見表面 的兒何結(jié)構(gòu)的工作就叫做三維重建。隨著計(jì)算機(jī)

2、硬件、軟件、圖像采集、處理技 術(shù)的迅速發(fā)展，三維重建的理論和技術(shù)己被廣泛應(yīng)用于航空航天、機(jī)器人技術(shù)、 文字識(shí)別、工業(yè)檢測(cè)、軍事偵察、地理勘察、現(xiàn)場(chǎng)測(cè)量和虛擬植物可視化等領(lǐng)域。 相機(jī)標(biāo)定是三維重建必不可少的步驟，它包括對(duì)諸如主點(diǎn)坐標(biāo)、焦距等與相機(jī)內(nèi) 部結(jié)構(gòu)有關(guān)的內(nèi)部參數(shù)的確定和對(duì)相機(jī)的旋轉(zhuǎn)、平移這些外部參數(shù)的確定。價(jià)格 低廉的實(shí)驗(yàn)器材、簡(jiǎn)單的實(shí)驗(yàn)環(huán)境、快捷的標(biāo)定速度和較高的標(biāo)定精度是現(xiàn)在相 機(jī)標(biāo)定研究追求的凡大方向。數(shù)碼相機(jī)的標(biāo)定就是研究的熱點(diǎn)之一。本次報(bào)告介 紹了基于棋盤格模板標(biāo)定的基本原理和算法，利用MATLAB的相機(jī)標(biāo)定工具箱， 使用張征友算法對(duì)相機(jī)進(jìn)行了標(biāo)定，記錄了標(biāo)定的過程，并給出結(jié)果

3、，最后對(duì)影 響標(biāo)定精度的因素進(jìn)行了分析。關(guān)鍵詞：相機(jī)標(biāo)定 張正友角點(diǎn)提取內(nèi)外參1基于棋盤格標(biāo)定的基本原理和算法1.1基礎(chǔ)知識(shí)1.1.1射影幾何當(dāng)描述一張相機(jī)拍攝的圖像時(shí)，由于其長(zhǎng)度、角度、平行關(guān)系都可能發(fā)生變 化，因此無法完全用歐氏兒何來處理圖像，而射影兒何卻可以，因?yàn)樵谏溆皟汉?中，允許存在包括透視投影的更大一類變換，而不僅僅是歐氏凡何的平移和旋轉(zhuǎn)。 實(shí)際上，歐氏兒何是射影兒何的一個(gè)子集。齊次坐標(biāo)設(shè)歐氏直線上點(diǎn)p的笛卡爾坐標(biāo)為(x, y)如果Xj, x2, xs滿足x=xi/x2, y =X2/x3 XsO,則稱三維向量(Xl, X2, Xs)T為點(diǎn)P的齊次坐標(biāo)。當(dāng)Xs= 0時(shí)，(Xi, X

4、2, 0)T 規(guī)定直線上的無窮遠(yuǎn)點(diǎn)的齊次坐標(biāo)。實(shí)際上，齊次坐標(biāo)是用一個(gè)n+ 1維向量來表示原本n維的向量。應(yīng)用齊次 坐標(biāo)的目的是用矩陣運(yùn)算把二維、三維甚至高維空間中的一個(gè)點(diǎn)集從一個(gè)坐標(biāo)系 變換到另一個(gè)坐標(biāo)系。形的兒何變換主要包括平移、旋轉(zhuǎn)、縮放等。以矩陣表達(dá) 式來計(jì)算這些變換時(shí)，平移是矩陣相加，旋轉(zhuǎn)和縮放則是矩陣相乘，綜合起來可 以表示為P=R*P+T (R為旋轉(zhuǎn)縮放矩陣，T為平移矩陣，P為原向量，P為變 換后的向量)。當(dāng)n+1維的齊次坐標(biāo)中第n+1維為0,則表示n維空間的一個(gè)無 窮遠(yuǎn)點(diǎn)。i.i.2 n維射影射影平面的構(gòu)造如下:當(dāng)x:x勿:= Xi ：x2：x3,即x： = A Xj, i=l

5、, 2, 3,(xi：xz：x?)i與(Xi :x2:x3)t表示同一個(gè)點(diǎn)，我們把(XpXXg)1看作與 (X1：X2：X3)T等價(jià)的，記為(X：X勿:X)T (X1 ：X2：X3)T。在這個(gè)等價(jià)的關(guān)系下， 所有等價(jià)類稱為齊次向量。任何具體的向量(Xi：X2：X3)T都是所屬等價(jià)類的表示。在R3 - (0,0,0)T的向量等價(jià)類組成了射影平面P2,其中記號(hào)-(0,0,0)T表示去掉 零向量，即(0,0,0)T不與尹中任何點(diǎn)對(duì)應(yīng)。反過來，對(duì)任何齊次向量(X：XKX)T ,若 XsO,可以定義X=X1/X2，y =x2/x3,于是確定了歐氏平面上的一個(gè)點(diǎn)P(x, y)To 這樣，歐氏平面上的點(diǎn)P與

6、*夭0的齊次坐標(biāo)(x，i：x勿:x)T,建立了一個(gè)一一對(duì) 應(yīng)，而(Xi：X2： 0)T在歐氏平面上不存在任何對(duì)應(yīng)點(diǎn)。二維射影平面可以看作三維空間的子集，二維平面上的線性變換叫做平面射影變換或單應(yīng)，二維射影變換可以用3 X 3可逆矩陣表示為：/ 、% 1圮售、X；11211123113X。(1.1)J】31h321%3)或者表示為：x； = Hx,此方程中的H矩陣乘以任意一個(gè)非零因子不會(huì)改變 射影變換，也就是說二維射影變換的H有八個(gè)自由度。三維射影類似二維射影變換，三維空間變換可以用4 X 4的可逆矩陣H表示。因 此，三維空間變換表示為：x； = Hx(1.2)變換矩陣H是齊次矩陣，乘以任意一個(gè)

7、非零因子不會(huì)改變射影變換，因此 三維射影變換有14個(gè)自由度。1. 2相機(jī)模型數(shù)碼相機(jī)圖像拍攝的過程實(shí)際上是一個(gè)光學(xué)成像的過程。相機(jī)的成像過程涉 及到四個(gè)坐標(biāo)系：世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系以及這四 個(gè)坐標(biāo)系的轉(zhuǎn)換：理想透視模型一一針孔成像模型相機(jī)模型是光學(xué)成像模型的簡(jiǎn)化，目前有線性模型和非線性模型兩種。實(shí)際 的成像系統(tǒng)是透鏡成像的非線性模型。最基本的透鏡成像原理如圖1.1所示圖1.1透鏡成像原理示意圖其中U為物距，f為焦距，V為相距。三者滿足關(guān)系式:(1.3)相機(jī)的鏡頭是一組透鏡，當(dāng)平行于主光軸的光線穿過透鏡時(shí)，會(huì)聚到一點(diǎn)上, 這個(gè)點(diǎn)叫做焦點(diǎn)，焦點(diǎn)到透鏡中心的距離叫做焦距f。

8、數(shù)碼相機(jī)的鏡頭相當(dāng)于一 個(gè)凸透鏡，感光元件就處在這個(gè)凸透鏡的焦點(diǎn)附近，將焦距近似為凸透鏡中心到 感光元件的距離時(shí)就成為小孔成像模型。世界坐標(biāo)系：是客觀三維世界的絕對(duì)坐標(biāo)系，也稱客觀坐標(biāo)系。因?yàn)閿?shù)碼 相機(jī)安放在三維空間中，我們需要世界坐標(biāo)系這個(gè)基準(zhǔn)坐標(biāo)系來描述數(shù)碼相機(jī)的 位置，并且用它來描述安放在此三維環(huán)境中的其它任何物體的位置，用(Xw,Yw,Zw) 表示其坐標(biāo)值。相機(jī)坐標(biāo)系(光心坐標(biāo)系)：以相機(jī)的光心為坐標(biāo)原點(diǎn)，X軸和Y軸分別 平行于圖像坐標(biāo)系的X軸和Y軸，相機(jī)的光軸為Z軸，用(Xc,%,Zc)表示其坐標(biāo) 值。圖像坐標(biāo)系：以CCD圖像平面的中心為坐標(biāo)原點(diǎn)，X軸和Y軸分別平行 于圖像平面的兩條

9、垂直邊，用(x,y)表示其坐標(biāo)值。圖像坐標(biāo)系是用物理單位(例 如亳米)表示像素在圖像中的位置。像素坐標(biāo)系：以CCD圖像平面的左上角頂點(diǎn)為原點(diǎn)，X軸和Y軸分別平 行于圖像坐標(biāo)系的X軸和Y軸，用(u,v)表示其坐標(biāo)值。數(shù)碼相機(jī)采集的圖像首 先是形成標(biāo)準(zhǔn)電信號(hào)的形式，然后再通過模數(shù)轉(zhuǎn)換變換為數(shù)字圖像。每幅圖像的 存儲(chǔ)形式是MXN的數(shù)組，M行N列的圖像中的每一個(gè)元素的數(shù)值代表的是圖 像點(diǎn)的灰度。這樣的每個(gè)元素叫像素，像素坐標(biāo)系就是以像素為單位的圖像坐標(biāo) 系。像素坐標(biāo)系與圖像坐標(biāo)系的關(guān)系的轉(zhuǎn)換關(guān)系為：(1.4)(1.5)采用齊次坐標(biāo)再用矩陣形式將上式表示為:1dx0vo110其中(,V。)是圖像坐標(biāo)系原

10、點(diǎn)在像素坐標(biāo)系中的坐標(biāo)，dx和dy分別是每個(gè) 像素在圖像平面x和y方向上的物理尺寸。圖像坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換為：X里Zc(1.7)(18)其中f為焦距（像平面與相機(jī)坐標(biāo)系原點(diǎn)的距離）。用齊次坐標(biāo)系和矩陣表 示上述關(guān)系：001(1.9)相機(jī)坐標(biāo)系與世界坐標(biāo)系的變換為:Q.10)其中R為3X3正交旋轉(zhuǎn)矩陣，T為三維平移向量。將式1.6、式1.9和式L10綜合起來:01&0fV1 ；00、，RT、X0ayvo00T1z017w1(Hl)嗎2叫m32V。0其中:afE(1.12)afF(1.13)axo Uo0、03y V00(1.14)001i =R T、Y1 )(1.16) 7令H = （14

11、 K 1】3）=盛（1 r3 t）,則r1 = -K-14U2 = -K-1l）2o 根據(jù)己知 A人的空間三維點(diǎn)的坐標(biāo)與像素坐標(biāo)系下的坐標(biāo)用最小二乘法可以求出H。根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即站弓=0和|r】H引=1 （|表示向量的二范數(shù)）, 每幅圖象可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束：Q.17)(118)1菸官也=0=hjK-TK1h2由于攝像機(jī)有5個(gè)未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時(shí), 就可以線性唯一求解出。令耳2323耳3B?3B33耳 2 B耳3 23Yj=(l以hj呻技+ 1上hj l2hj2 %1切+ 3% 奴場(chǎng)3 +瞄切 婦站)則kBhj =雄即:)Tb = 0,求出內(nèi)

12、部矩陣的解。再由 H =(4 112 113)= r2 t)可以得到:(119)t = -K-1h3(1.22)A根據(jù)Hi, IHI r211=1,可以求出入的值,就求出所有相機(jī)參數(shù)的值。優(yōu)化函數(shù)迭代求精理想狀況下，像素坐標(biāo)系下的坐標(biāo)與空間點(diǎn)坐標(biāo)通過求出的相機(jī)參數(shù)矩陣投 影回像素坐標(biāo)系是同一點(diǎn)，但是實(shí)際情況會(huì)有誤差，所以為了對(duì)相機(jī)參數(shù)求精, 可以用下面的投影誤差最小化函數(shù)迭代求精。/ TOC o 1-5 h z n mniin 切|叫-m(K,R,、Mj)|(123)V=1 廣1)其中m表示像素坐標(biāo)系下的坐標(biāo),n】(K,R,t.,Mj)表示空間M點(diǎn)經(jīng)過初始估 計(jì)的相機(jī)參數(shù)投影到像素坐標(biāo)系下的坐

13、標(biāo)。2標(biāo)定流程及標(biāo)定結(jié)果2.1標(biāo)定流程運(yùn)行工具箱運(yùn)行MATLAB標(biāo)定工具箱calib_gui,選擇標(biāo)準(zhǔn)模式。如圖2.1：1 ) Camera Calibration Toolbox - Standard Version，! x|Image namesRead imagesExtract grid cornersCalibrationShow ExtrinsicReproject on imagesAnalyse eirorRecomp, cornersAdd/Suppress imagesSaveLoadExitComp. ExtiinsicUndistort imageExport cali

14、b dataShow calib results圖2.1標(biāo)定工具箱讀取圖片點(diǎn)擊標(biāo)定工具箱界面的Images names按鈕，輸入標(biāo)定圖像的基本名字 (Image)和圖片格式(bmp),然后所有圖片會(huì)加載到內(nèi)存內(nèi)，并以縮略圖形式顯 示出，如圖2.2：Calibration images圖2.2加載圖片的縮略圖角點(diǎn)提取點(diǎn)擊標(biāo)定工具箱窗口的Extract grid corners按鈕，點(diǎn)擊“enter”選擇所有 圖片，也可以通過2 5 8 10的方式選擇部分圖片。然后點(diǎn)擊“enter”選擇默認(rèn) 的角點(diǎn)查找器的窗口大小。最后單擊“enter”選擇自動(dòng)的平方計(jì)算機(jī)制。點(diǎn)擊 后圖片將會(huì)顯示出來，用帶十字光

15、標(biāo)的箭頭依次選擇圖片的棋盤格的四個(gè)極端角 落，依次處理完后所有圖片，如圖2.3：圖2.3選取四個(gè)極端角落選擇四個(gè)極端角落后，顯示出在缺少畸變情況下預(yù)測(cè)的網(wǎng)格角點(diǎn)，如圖2.4：The red crosses should be close to the image cornera100200300400500600?0O圖2.4預(yù)測(cè)的角點(diǎn)位置所有圖片處理完后，提取出的角點(diǎn)位置，如圖2.5：EXrted comersu=OA圖2.5提取的角點(diǎn)位置相機(jī)標(biāo)定為了使用張正友法的配置，需要禁用模型的切向分量和限制徑向分量到第四 級(jí)(est_dist = 1;1;0;0;0),并且激活傾斜估計(jì)(est_al

16、pha =1)。設(shè)置后點(diǎn)擊 Calibration進(jìn)行標(biāo)定。標(biāo)定結(jié)果如下： TOC o 1-5 h z Calibration pai2imcters afterion;Focal Length:fc=1124.150551121. 15055Principal point:cc=351.50000263.50000 Skev:alpha_c=0. 00000 = angle ofpixel=90. 00000degreesDistortion:kc=0.000000.000000.000000.000000.00000圖2.6初始化后的標(biāo)定參數(shù)Calibration results afte

17、r optimization (with xmcertainties):Focal Length:fc=974.2383697B. 79D881? 33. 8560B34.81316 Principal point:cc=403.28623304. 15140)? 13.492885.24848 )Skew:alpha.c=(0. 00158 )? 0. 00083)= angle ofpixel axes =89.90941 ?0.04745degreesDistortion:kc=(-0.079750.07726 0.00000 0.00000 0.00000 )?0.018/80.118

18、950.00000 0.00000 0.00000)Pixel eccoE：ecc=0. 126360. 19OJ7 圖2.7優(yōu)化后的標(biāo)定結(jié)果計(jì)算反投誤差點(diǎn)擊標(biāo)定工具箱窗口的Reproject on images來顯示到到原圖像的二次投影, 這次投影是通過當(dāng)前的內(nèi)參和外參來計(jì)算的，參數(shù)通過輸入“enter”選擇默認(rèn) 的參數(shù)。計(jì)算出的反投誤差如圖2.8：圖2.8反投誤差點(diǎn)擊相機(jī)標(biāo)定工具箱的Show Extrinsic,外部參數(shù)會(huì)以3D的形式顯示出來, 如圖2.9：圖2.9相機(jī)外部參數(shù)優(yōu)化標(biāo)定結(jié)果由圖2.8可知，當(dāng)前的反投誤差仍比較大，這是因?yàn)樵谝恍┗儑?yán)重的圖片上做的角點(diǎn)提取不夠好?？梢酝ㄟ^自動(dòng)地重新計(jì)算所有圖片的角點(diǎn)來減小誤差, 點(diǎn)擊Recomp. Corners,并選擇默認(rèn)的角點(diǎn)查找器大小和所有圖片。重新計(jì)算角 點(diǎn)之后，再點(diǎn)擊Calibration進(jìn)行標(biāo)定。Focal Length： fc Pxincipal point: cc Skev: alph angle of pixel 獨(dú)g = 89.90941 ?0. 0丁3斗 degrees-0.079880.077570.00000 0.00000 0.00000 ?( 0.018750.11869 0.00000 0.00000 0.00000 0.126030.19021 1圖2.10