計算機視覺測量與導(dǎo)航

1、Harbin Institute ofTechnology計算機視覺測量與導(dǎo)航實驗報告院 系：航天學(xué)院學(xué) 科：控制科學(xué)與工程姓 名：TSX學(xué) 號：任課教師：張永安盧鴻謙日 期：2014.05. 13摘要人類視覺過程可看成是一個復(fù)雜的從感覺到知覺的過程，也就是指三維世界 投影得到二維圖像,再由二維圖像認知三維世界的內(nèi)容和含義的過程。信號處理 理論與計算機出現(xiàn)以后，人們用攝像機等獲取環(huán)境圖像并轉(zhuǎn)換成數(shù)字信號，完成 對視覺信息的獲取和傳輸過程,用計算機實現(xiàn)對視覺信息的處理、存儲和理解等 過程,形成了計算機視覺這門新興學(xué)科。其中從二維圖像恢復(fù)三維物體可見表面 的兒何結(jié)構(gòu)的工作就叫做三維重建。隨著計算機

2、硬件、軟件、圖像采集、處理技 術(shù)的迅速發(fā)展，三維重建的理論和技術(shù)己被廣泛應(yīng)用于航空航天、機器人技術(shù)、 文字識別、工業(yè)檢測、軍事偵察、地理勘察、現(xiàn)場測量和虛擬植物可視化等領(lǐng)域。 相機標定是三維重建必不可少的步驟，它包括對諸如主點坐標、焦距等與相機內(nèi) 部結(jié)構(gòu)有關(guān)的內(nèi)部參數(shù)的確定和對相機的旋轉(zhuǎn)、平移這些外部參數(shù)的確定。價格 低廉的實驗器材、簡單的實驗環(huán)境、快捷的標定速度和較高的標定精度是現(xiàn)在相 機標定研究追求的凡大方向。數(shù)碼相機的標定就是研究的熱點之一。本次報告介 紹了基于棋盤格模板標定的基本原理和算法，利用MATLAB的相機標定工具箱， 使用張征友算法對相機進行了標定，記錄了標定的過程，并給出結(jié)果

3、，最后對影 響標定精度的因素進行了分析。關(guān)鍵詞：相機標定 張正友角點提取內(nèi)外參1基于棋盤格標定的基本原理和算法1.1基礎(chǔ)知識1.1.1射影幾何當(dāng)描述一張相機拍攝的圖像時，由于其長度、角度、平行關(guān)系都可能發(fā)生變 化，因此無法完全用歐氏兒何來處理圖像，而射影兒何卻可以，因為在射影兒何 中，允許存在包括透視投影的更大一類變換，而不僅僅是歐氏凡何的平移和旋轉(zhuǎn)。 實際上，歐氏兒何是射影兒何的一個子集。齊次坐標設(shè)歐氏直線上點p的笛卡爾坐標為(x, y)如果Xj, x2, xs滿足x=xi/x2, y =X2/x3 XsO,則稱三維向量(Xl, X2, Xs)T為點P的齊次坐標。當(dāng)Xs= 0時，(Xi, X

4、2, 0)T 規(guī)定直線上的無窮遠點的齊次坐標。實際上，齊次坐標是用一個n+ 1維向量來表示原本n維的向量。應(yīng)用齊次 坐標的目的是用矩陣運算把二維、三維甚至高維空間中的一個點集從一個坐標系 變換到另一個坐標系。形的兒何變換主要包括平移、旋轉(zhuǎn)、縮放等。以矩陣表達 式來計算這些變換時，平移是矩陣相加，旋轉(zhuǎn)和縮放則是矩陣相乘，綜合起來可 以表示為P=R*P+T (R為旋轉(zhuǎn)縮放矩陣，T為平移矩陣，P為原向量，P為變 換后的向量)。當(dāng)n+1維的齊次坐標中第n+1維為0,則表示n維空間的一個無 窮遠點。i.i.2 n維射影射影平面的構(gòu)造如下:當(dāng)x:x勿:= Xi ：x2：x3,即x： = A Xj, i=l

5、, 2, 3,(xi：xz：x?)i與(Xi :x2:x3)t表示同一個點，我們把(XpXXg)1看作與 (X1：X2：X3)T等價的，記為(X：X勿:X)T (X1 ：X2：X3)T。在這個等價的關(guān)系下， 所有等價類稱為齊次向量。任何具體的向量(Xi：X2：X3)T都是所屬等價類的表示。在R3 - (0,0,0)T的向量等價類組成了射影平面P2,其中記號-(0,0,0)T表示去掉 零向量，即(0,0,0)T不與尹中任何點對應(yīng)。反過來，對任何齊次向量(X：XKX)T ,若 XsO,可以定義X=X1/X2，y =x2/x3,于是確定了歐氏平面上的一個點P(x, y)To 這樣，歐氏平面上的點P與

6、*夭0的齊次坐標(x，i：x勿:x)T,建立了一個一一對 應(yīng)，而(Xi：X2： 0)T在歐氏平面上不存在任何對應(yīng)點。二維射影平面可以看作三維空間的子集，二維平面上的線性變換叫做平面射影變換或單應(yīng)，二維射影變換可以用3 X 3可逆矩陣表示為：/ 、% 1圮售、X；11211123113X。(1.1)J】31h321%3)或者表示為：x； = Hx,此方程中的H矩陣乘以任意一個非零因子不會改變 射影變換，也就是說二維射影變換的H有八個自由度。三維射影類似二維射影變換，三維空間變換可以用4 X 4的可逆矩陣H表示。因 此，三維空間變換表示為：x； = Hx(1.2)變換矩陣H是齊次矩陣，乘以任意一個

7、非零因子不會改變射影變換，因此 三維射影變換有14個自由度。1. 2相機模型數(shù)碼相機圖像拍攝的過程實際上是一個光學(xué)成像的過程。相機的成像過程涉 及到四個坐標系：世界坐標系、相機坐標系、圖像坐標系、像素坐標系以及這四 個坐標系的轉(zhuǎn)換：理想透視模型一一針孔成像模型相機模型是光學(xué)成像模型的簡化，目前有線性模型和非線性模型兩種。實際 的成像系統(tǒng)是透鏡成像的非線性模型。最基本的透鏡成像原理如圖1.1所示圖1.1透鏡成像原理示意圖其中U為物距，f為焦距，V為相距。三者滿足關(guān)系式:(1.3)相機的鏡頭是一組透鏡，當(dāng)平行于主光軸的光線穿過透鏡時，會聚到一點上, 這個點叫做焦點，焦點到透鏡中心的距離叫做焦距f。

8、數(shù)碼相機的鏡頭相當(dāng)于一 個凸透鏡，感光元件就處在這個凸透鏡的焦點附近，將焦距近似為凸透鏡中心到 感光元件的距離時就成為小孔成像模型。世界坐標系：是客觀三維世界的絕對坐標系，也稱客觀坐標系。因為數(shù)碼 相機安放在三維空間中，我們需要世界坐標系這個基準坐標系來描述數(shù)碼相機的 位置，并且用它來描述安放在此三維環(huán)境中的其它任何物體的位置，用(Xw,Yw,Zw) 表示其坐標值。相機坐標系(光心坐標系)：以相機的光心為坐標原點，X軸和Y軸分別 平行于圖像坐標系的X軸和Y軸，相機的光軸為Z軸，用(Xc,%,Zc)表示其坐標 值。圖像坐標系：以CCD圖像平面的中心為坐標原點，X軸和Y軸分別平行 于圖像平面的兩條

9、垂直邊，用(x,y)表示其坐標值。圖像坐標系是用物理單位(例 如亳米)表示像素在圖像中的位置。像素坐標系：以CCD圖像平面的左上角頂點為原點，X軸和Y軸分別平 行于圖像坐標系的X軸和Y軸，用(u,v)表示其坐標值。數(shù)碼相機采集的圖像首 先是形成標準電信號的形式，然后再通過模數(shù)轉(zhuǎn)換變換為數(shù)字圖像。每幅圖像的 存儲形式是MXN的數(shù)組，M行N列的圖像中的每一個元素的數(shù)值代表的是圖 像點的灰度。這樣的每個元素叫像素，像素坐標系就是以像素為單位的圖像坐標 系。像素坐標系與圖像坐標系的關(guān)系的轉(zhuǎn)換關(guān)系為：(1.4)(1.5)采用齊次坐標再用矩陣形式將上式表示為:1dx0vo110其中(,V。)是圖像坐標系原

10、點在像素坐標系中的坐標，dx和dy分別是每個 像素在圖像平面x和y方向上的物理尺寸。圖像坐標系與相機坐標系的轉(zhuǎn)換為：X里Zc(1.7)(18)其中f為焦距（像平面與相機坐標系原點的距離）。用齊次坐標系和矩陣表 示上述關(guān)系：001(1.9)相機坐標系與世界坐標系的變換為:Q.10)其中R為3X3正交旋轉(zhuǎn)矩陣，T為三維平移向量。將式1.6、式1.9和式L10綜合起來:01&0fV1 ；00、，RT、X0ayvo00T1z017w1(Hl)嗎2叫m32V。0其中:afE(1.12)afF(1.13)axo Uo0、03y V00(1.14)001i =R T、Y1 )(1.16) 7令H = （14

11、 K 1】3）=盛（1 r3 t）,則r1 = -K-14U2 = -K-1l）2o 根據(jù)己知 A人的空間三維點的坐標與像素坐標系下的坐標用最小二乘法可以求出H。根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即站弓=0和|r】H引=1 （|表示向量的二范數(shù)）, 每幅圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束：Q.17)(118)1菸官也=0=hjK-TK1h2由于攝像機有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時, 就可以線性唯一求解出。令耳2323耳3B?3B33耳 2 B耳3 23Yj=(l以hj呻技+ 1上hj l2hj2 %1切+ 3% 奴場3 +瞄切 婦站)則kBhj =雄即:)Tb = 0,求出內(nèi)

12、部矩陣的解。再由 H =(4 112 113)= r2 t)可以得到:(119)t = -K-1h3(1.22)A根據(jù)Hi, IHI r211=1,可以求出入的值,就求出所有相機參數(shù)的值。優(yōu)化函數(shù)迭代求精理想狀況下，像素坐標系下的坐標與空間點坐標通過求出的相機參數(shù)矩陣投 影回像素坐標系是同一點，但是實際情況會有誤差，所以為了對相機參數(shù)求精, 可以用下面的投影誤差最小化函數(shù)迭代求精。/ TOC o 1-5 h z n mniin 切|叫-m(K,R,、Mj)|(123)V=1 廣1)其中m表示像素坐標系下的坐標,n】(K,R,t.,Mj)表示空間M點經(jīng)過初始估 計的相機參數(shù)投影到像素坐標系下的坐

13、標。2標定流程及標定結(jié)果2.1標定流程運行工具箱運行MATLAB標定工具箱calib_gui,選擇標準模式。如圖2.1：1 ) Camera Calibration Toolbox - Standard Version，! x|Image namesRead imagesExtract grid cornersCalibrationShow ExtrinsicReproject on imagesAnalyse eirorRecomp, cornersAdd/Suppress imagesSaveLoadExitComp. ExtiinsicUndistort imageExport cali

14、b dataShow calib results圖2.1標定工具箱讀取圖片點擊標定工具箱界面的Images names按鈕，輸入標定圖像的基本名字 (Image)和圖片格式(bmp),然后所有圖片會加載到內(nèi)存內(nèi)，并以縮略圖形式顯 示出，如圖2.2：Calibration images圖2.2加載圖片的縮略圖角點提取點擊標定工具箱窗口的Extract grid corners按鈕，點擊“enter”選擇所有 圖片，也可以通過2 5 8 10的方式選擇部分圖片。然后點擊“enter”選擇默認 的角點查找器的窗口大小。最后單擊“enter”選擇自動的平方計算機制。點擊 后圖片將會顯示出來，用帶十字光

15、標的箭頭依次選擇圖片的棋盤格的四個極端角 落，依次處理完后所有圖片，如圖2.3：圖2.3選取四個極端角落選擇四個極端角落后，顯示出在缺少畸變情況下預(yù)測的網(wǎng)格角點，如圖2.4：The red crosses should be close to the image cornera100200300400500600?0O圖2.4預(yù)測的角點位置所有圖片處理完后，提取出的角點位置，如圖2.5：EXrted comersu=OA圖2.5提取的角點位置相機標定為了使用張正友法的配置，需要禁用模型的切向分量和限制徑向分量到第四 級(est_dist = 1;1;0;0;0),并且激活傾斜估計(est_al

16、pha =1)。設(shè)置后點擊 Calibration進行標定。標定結(jié)果如下： TOC o 1-5 h z Calibration pai2imcters afterion;Focal Length:fc=1124.150551121. 15055Principal point:cc=351.50000263.50000 Skev:alpha_c=0. 00000 = angle ofpixel=90. 00000degreesDistortion:kc=0.000000.000000.000000.000000.00000圖2.6初始化后的標定參數(shù)Calibration results afte

17、r optimization (with xmcertainties):Focal Length:fc=974.2383697B. 79D881? 33. 8560B34.81316 Principal point:cc=403.28623304. 15140)? 13.492885.24848 )Skew:alpha.c=(0. 00158 )? 0. 00083)= angle ofpixel axes =89.90941 ?0.04745degreesDistortion:kc=(-0.079750.07726 0.00000 0.00000 0.00000 )?0.018/80.118

18、950.00000 0.00000 0.00000)Pixel eccoE：ecc=0. 126360. 19OJ7 圖2.7優(yōu)化后的標定結(jié)果計算反投誤差點擊標定工具箱窗口的Reproject on images來顯示到到原圖像的二次投影, 這次投影是通過當(dāng)前的內(nèi)參和外參來計算的，參數(shù)通過輸入“enter”選擇默認 的參數(shù)。計算出的反投誤差如圖2.8：圖2.8反投誤差點擊相機標定工具箱的Show Extrinsic,外部參數(shù)會以3D的形式顯示出來, 如圖2.9：圖2.9相機外部參數(shù)優(yōu)化標定結(jié)果由圖2.8可知，當(dāng)前的反投誤差仍比較大，這是因為在一些畸變嚴重的圖片上做的角點提取不夠好?？梢酝ㄟ^自動地重新計算所有圖片的角點來減小誤差, 點擊Recomp. Corners,并選擇默認的角點查找器大小和所有圖片。重新計算角 點之后，再點擊Calibration進行標定。Focal Length： fc Pxincipal point: cc Skev: alph angle of pixel 獨g = 89.90941 ?0. 0丁3斗 degrees-0.079880.077570.00000 0.00000 0.00000 ?( 0.018750.11869 0.00000 0.00000 0.00000 0.126030.19021 1圖2.10