機(jī)器視覺(jué)及其應(yīng)用實(shí)驗(yàn)報(bào)告

1、絡(luò)嚼It矣求衣孝Harbin I nstituteof Technology實(shí)驗(yàn)報(bào)告For pers onal use only in study and research; not for commercial use課程名稱：機(jī)器視覺(jué)及其應(yīng)用實(shí)驗(yàn)名稱：攝像機(jī)標(biāo)定上機(jī)驗(yàn)證院 系：自動(dòng)化測(cè)試與控制系班 級(jí)：實(shí)驗(yàn)人：學(xué) 號(hào): 11教 師：實(shí)驗(yàn)時(shí)間：哈爾濱工業(yè)大學(xué)機(jī)器視覺(jué)及其應(yīng)用實(shí)驗(yàn)報(bào)告一、實(shí)驗(yàn)名稱：攝像機(jī)標(biāo)定上機(jī)驗(yàn)證二、實(shí)驗(yàn)人員： 胡洋三、實(shí)驗(yàn)日期： 2013.11.8四、實(shí)驗(yàn)?zāi)康模荷蠙C(jī)驗(yàn)證攝像機(jī)標(biāo)定方法五、實(shí)驗(yàn)原理：攝像機(jī)標(biāo)定是一個(gè)確定攝像機(jī)內(nèi)部參數(shù) （包括幾何與光學(xué)參數(shù) ）和外部參數(shù) （包括

2、攝像機(jī)相對(duì)世界坐標(biāo)的位置及方向 ）的過(guò)程。攝像機(jī)標(biāo)定的目的是建立攝像機(jī)世界坐標(biāo)系中坐標(biāo)（xw,yw,zw）T 與其相應(yīng)圖像像素坐標(biāo)（u,v）之間的關(guān)系。最終實(shí)現(xiàn)利用計(jì)算機(jī)采集得到的二維圖像來(lái)恢復(fù)待 測(cè)物體的三維信息的目的。攝像機(jī)標(biāo)定方法是視覺(jué)系統(tǒng)實(shí)現(xiàn)的前提和基礎(chǔ)。目前現(xiàn)有的攝像機(jī)標(biāo)定技術(shù) 大體可以分成兩類：傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定方法是在一定的攝像機(jī)模型基礎(chǔ)上，基于形狀、尺寸已知 的特定參照物，利用參照物上的特征點(diǎn)的世界坐標(biāo)和相應(yīng)的像素坐標(biāo)之間的關(guān) 系，通過(guò)一系列數(shù)學(xué)變換和計(jì)算方法， 求取攝像機(jī)模型的內(nèi)外參數(shù)。 傳統(tǒng)的攝像 機(jī)標(biāo)定方法需要高精度的已知結(jié)構(gòu)信息，

3、過(guò)程復(fù)雜， 但是標(biāo)定精度高， 適用于多 種攝像機(jī)模型。而攝像機(jī)自標(biāo)定方法則不依賴特定的標(biāo)定參照物， 僅僅利用攝像機(jī)獲取的一 系列圖像信息來(lái)確定攝像機(jī)參數(shù)。 攝像機(jī)自標(biāo)定方法對(duì)環(huán)境適應(yīng)較好， 可以無(wú)人 參與下完成標(biāo)定，但是精度低，魯棒性不足，不適用于測(cè)量場(chǎng)合。傳統(tǒng)的攝像機(jī)標(biāo)定方法按其求解的方法可分為三類： 線性方法、非線性優(yōu)化 方法和考慮畸變補(bǔ)償?shù)膬刹椒?15。線性方法不需要迭代， 速度較快。 但是定標(biāo)過(guò)程中忽略了攝像機(jī)鏡頭的非線 性畸變，使得定標(biāo)精度受到影響。 一般的線性求解方法是透鏡變換方法和直接線 性變換（DLT）方法，他們都是利用一定數(shù)目的已知特征點(diǎn)的成像信息和公式（2-18）的投影變換

4、矩陣求解。S V = mio譏)1譏)2嗆3milmi2mi3叫丄m22m23xwyw.ZwJ 一um0o(2-18)本實(shí)驗(yàn)采用傳統(tǒng)的攝像機(jī)標(biāo)定方法。在傳統(tǒng)的標(biāo)定方法中，標(biāo)定參照的標(biāo)準(zhǔn) 件的精度對(duì)標(biāo)定結(jié)果的影響較大。但 3D立體靶標(biāo)的制作成本較高，且加工精度 受加工條件的限制?；?D平面靶標(biāo)提出了攝像機(jī)標(biāo)定方法避免了一般傳統(tǒng)方 法對(duì)設(shè)備要求較高，操作繁瑣等缺點(diǎn)，同時(shí)標(biāo)定精度高。在標(biāo)定過(guò)程中，要求平面靶標(biāo)至少有兩個(gè)不同的姿態(tài)，攝像機(jī)和平面靶標(biāo)都 可以自由的移動(dòng)，不需要知道運(yùn)動(dòng)參數(shù)，且不論攝像機(jī)從任何角度拍攝靶標(biāo)， 攝 像機(jī)內(nèi)部參數(shù)都為常數(shù)，只有外部參數(shù)發(fā)生變化。該標(biāo)定示意圖如圖7所示。第一步：

5、求解測(cè)量平面與圖像平面之間的單應(yīng)性矩陣。 測(cè)量平面上的三維點(diǎn)記為M = (x, y, z)T，其相應(yīng)圖像平面上的二維點(diǎn)記為m = (u,v)T，貝U相應(yīng)的齊次坐標(biāo)分別為M =(x,y, z,1)T與m = (u,v,1)T。攝像機(jī)基于針孔成像模型，空間點(diǎn)M與圖像點(diǎn)m之間的關(guān)系為：sr = A R 1 T M(2-19)圖7二維平面標(biāo)靶標(biāo)定示意圖其中，s為一任意的非零尺寸因子，A矩陣稱為攝像機(jī)的內(nèi)部參數(shù)矩陣，定義為：«x理U° 1A=0«yV0 01 一(2-20)垂直因子。旋轉(zhuǎn)矩陣R與平移向量T稱為攝像機(jī)的外部參數(shù)矩陣(Uo,Vo)為主點(diǎn)坐標(biāo)，：、- y分別是u軸

6、和V軸的尺度因子，是u軸和V軸的不為了不失一般性，可以假設(shè)測(cè)量平面位于世界坐標(biāo)系的Zw =0平面。記旋轉(zhuǎn)矩陣的第i列為r,，則由式(2-19)可得式(2-21)ul s v = A E將式子(2-21)進(jìn)一步簡(jiǎn)化，得到:(2-21)sm 二 HM(2-22)其中，H就是要求得的測(cè)量平面與圖像平面之間的單應(yīng)性矩陣。則H二 A £ a T 1為一 3*3的矩陣，入為一個(gè)常數(shù)因子。由于攝像機(jī)圖像平面的點(diǎn)的坐標(biāo)可以通過(guò)圖像處理的方式獲取。所以每張圖片都可以計(jì)算出一個(gè)H矩陣。第二步：攝像機(jī)內(nèi)部參數(shù)的求解。記 H二乜h> h31，則有:h h2 h31 - A 匕 r2 T 1因?yàn)閞1和r

7、2是標(biāo)準(zhǔn)正交的。所以可以得到關(guān)于內(nèi)參的兩個(gè)限制條件: 可人和飛=0h1rAJAJh1 hjAJAJh2設(shè)(2-23)(2-24)(2-25)B12B32B33(2-26)可知B矩陣是一個(gè)對(duì)陣矩陣，所以可以寫成一個(gè)六維向量形式:b=直11月2月22啟3月23月33 。設(shè)H中的第i列向量為hj =忙山2山3，那么可以將公式(2-24)改寫為:(2-27)(2-28)hj Bhj = Vj bVij hhj1 ,102 *人2厲1,hi2hj2,301 * 幣此3,302 * 人2山3,人3此3 丁最后根據(jù)內(nèi)參限制條件(2-24)、(2-25)得到：(2-29)b矩陣有六個(gè)_(W1 -V22)V矩陣

8、是2*6矩陣，也就是說(shuō)每張圖像可以建立起兩個(gè)方程,未知數(shù)，也就是說(shuō)至少三張圖片就可以求出b矩陣。b矩陣的解出，相機(jī)內(nèi)參矩陣A也就可以解出來(lái)了，而從每張圖像的 R矩陣、T向量也就可以得到了。雙目攝像機(jī)與單目攝像機(jī)的區(qū)別是： 雙目攝像機(jī)中還需要確定兩個(gè)攝像機(jī)之 間的位置關(guān)系，其中，Ro和To分別表示旋轉(zhuǎn)矩陣和平移向量。通過(guò)標(biāo)定確定兩 個(gè)攝像機(jī)的內(nèi)部參數(shù)以及外部參數(shù)，其中，Ri、Ti與R2、T2分別表示左、右攝像機(jī)與世界坐標(biāo)系的相對(duì)位置。假定空間中任意一點(diǎn)在世界坐標(biāo)系、左攝像機(jī)坐標(biāo)系和右攝像機(jī)坐標(biāo)系下的 非齊次坐標(biāo)分別為Xw、Xi、X2，則有：Xi = RXw Ti, X2 = R2Xw T2(2-

9、30)消去Xw,得到：x2 = R2 Fi_i X! T2 - R2 Fi_iTi(2-3i)兩個(gè)攝像機(jī)之間的位置關(guān)系 Ro、To可以用以下關(guān)系式表示：& = RzR ,T =T2 - 只2育氣(2-32)第三步：參數(shù)優(yōu)化。因?yàn)槌跏嫉膮?shù)已經(jīng)求解出來(lái)了，所以將每張圖像的控制點(diǎn)根據(jù)求解的參數(shù)重新投影回三維空間，最小化與真實(shí)值的差異，其實(shí)就是建立非線性最小化模型。這里用的是 Leve nberg-Marquardt迭代算法，從而計(jì)算出 所有參數(shù)的準(zhǔn)確值。第四步：使用HALCON軟件工具，驗(yàn)證上述標(biāo)定過(guò)程。六：實(shí)驗(yàn)結(jié)果:ff ff ff ff ff ff ff ff ff ff ff ff

10、ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff 7f T7ff Tf T7ff Tf Tf T7ff Tf T7ff Tf T7ff Tf Tf T7ff Tf T7ff Tf T7ff Tf Tf T7ff Tf T7ff Tf T7ff Tf Tf T7ff Tf T7ff Tf T7ff Tf Tf

11、 T7ff Tf T7ff Tf T7ff Tf Tf T7ff Tf T7ff Tf T7ff Tf Tf Tf# Camera : Parameter#>Focus#>Kappa#>Sx#>Sy#>Cx#>Cy#>ImageWidth#>ImageHeightParGroup: Camera: Parameter;"Internal camera parameters"Focus:foc: 0.08171021;DOUBLE:0.0:;"Focal length of the lens"Kappa:ka

12、ppa: -640.0071;DOUBLE:;"Radial distortio n coefficie nt"Sx:sx: 7.533656e-006;DOUBLE:0.0:;"Width of a cell on the sensor"Sy:sy: 7.4e-006;DOUBLE:0.0:;"Height of a cell on the sensor"Cx:cx: 333.4;DOUBLE:;"X-coordinate of the image center"Cy:cy: 244.9793;DOUBLE:;&

13、quot;Y-coordinate of the image center"ImageWidth:imgw: 652;INT:1:32768; "Width of the images"ImageHeight:imgh: 494;INT:1:32768; "Height of the images"# HALCON Version 11.0 - Fri Nov 01 14:33:12 2013#外參數(shù)標(biāo)定：S»U' 4111 口廳3 *4tn*?U' WiSBIWQXQfflnr= 盤co - c«i>

14、.»E3£«Fv*B巾応l：Hfb -6405-1. 7.1012-le-W,.383.Erbrbi WT ABahJVBP./lJAljil» =* 1»1ju.n_-Dxi:Lt3i3n.n ISBbKDl-uMllTfl I-訊陽(yáng)i ±ind_-=iLL-=ahElu匕” C&lTAhWHU,. 53.ur«U3ia M*rkTXBJhP MiELDiMcKixiCB)dw E/t CE1CS pE二"dE¥_dXaplMy (Ch1E«17|* Hete. xht £i

15、bkl <4iM：xft pbtriM-ceiaiileeaLi Im awn uxl c心n m uWj0 ds« iB wht proqir-uv 1 aaai«r4_0alibiB?i«D_UTieiliax ,evaiind_M.rl,J共9|工車A Mr alirMl罕. dwv_*x_Mlnx E' nd"divjt-zsurcla 1>1 lE>?vZfl=dJ. r RCoorf, CCnnrdr v=._cuf1b_-»sj 4 | HEnanl r .9) k：h1ii«b_丄白肚自 r&

16、#177;fiLie«hH,iu£|1 xr it £ i”r»rf r 4r 1 * NvrLr ivil W U 甲ft b*T f 1 HeT Xir0dixp.nrdi £ T k'I七：實(shí)驗(yàn)總結(jié)和分析：通過(guò)實(shí)驗(yàn)前的理論準(zhǔn)備， 對(duì)攝像機(jī)的坐標(biāo)標(biāo)定原理及方法有了一定認(rèn)識(shí)， 在實(shí)驗(yàn)中， 了 解了實(shí)際應(yīng)用中標(biāo)定的基本操作方法和 HALCON 軟件工具的使用方法和編程手段， 以及其 中常用的一些算法函數(shù)等， 理論與實(shí)際相結(jié)合， 從而對(duì)攝像機(jī)的各種坐標(biāo)系轉(zhuǎn)換和坐標(biāo)標(biāo)定 有了更深入的理解，為以后更深入的學(xué)習(xí)打下了一定基礎(chǔ)。僅供個(gè)人用于學(xué)習(xí)、研究；不得用于商業(yè)用途For personal use only in study and research; not for commercial use.Nur f u r den pers?nlichen f u r Studie