Matlab攝像機(jī)標(biāo)定工具箱的使用說(shuō)明

1、攝像機(jī)標(biāo)定工具箱1.1 Matlab攝像機(jī)標(biāo)定工具箱工具箱下載：/bouguetj/calib_doc/download/index.html說(shuō)明文檔：/bouguetj/calib_doc/安裝：將下載的工具箱文件toolbox_calib.zip解壓縮，將目錄toolbox_calib拷貝到Matlab的目錄下。采集圖像：采集的圖像統(tǒng)一命名后，拷貝到toolbox_calib目錄中。命名規(guī)則為基本名和編號(hào)，基本名在前，后面直接跟著數(shù)字編號(hào)。編號(hào)最多為3位十進(jìn)制數(shù)字。1.1.1 標(biāo)

2、定模型內(nèi)參數(shù)標(biāo)定采用的模型如式(1-1)所示，Brown畸變模型式(1-2)所示。 (1-1)式中：(u, v)是特征點(diǎn)的圖像坐標(biāo)，(xc, yc, zc)是特征點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)，kx、ky是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)，ks是對(duì)應(yīng)于圖像坐標(biāo)u、v的攝像機(jī)的x、y軸之間不垂直帶來(lái)的耦合放大系數(shù)，(u0, v0)是光軸中心點(diǎn)的圖像坐標(biāo)即主點(diǎn)坐標(biāo)，(xc1, yc1)是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)。ks=ackx，ac是攝像機(jī)的實(shí)際y軸與理想y軸之間的夾角，單位為弧度。 (1-2)式中：(xc1d, yc1d)是焦距歸一化成像平面上的成像點(diǎn)畸變后的坐標(biāo)，kc1是2

3、階徑向畸變系數(shù)，kc2是4階徑向畸變系數(shù)，kc5是6階徑向畸變系數(shù)，kc3、kc4是切向畸變系數(shù)，r為成像點(diǎn)到攝像機(jī)坐標(biāo)系原點(diǎn)的距離，r2= xc12 + yc12。1.1.2 操作界面將Matlab的當(dāng)前目錄設(shè)定為含有標(biāo)定工具箱的目錄，即toolbox_calib目錄。在Matlab命令窗口運(yùn)行calib_gui指令，彈出圖1所示選擇窗口。圖1 內(nèi)存使用方式窗口圖1窗口中，具有兩個(gè)選項(xiàng)，分別是“Standard”和“Memory efficient”。如果點(diǎn)擊選擇“Standard”，則將目錄中的所有圖像讀入內(nèi)存中，所需內(nèi)存較大。如果點(diǎn)擊選擇“Memory efficient”，則將目錄中的

4、圖像按照需要每次一幅圖像讀入內(nèi)存中，所需內(nèi)存較小。在選擇了內(nèi)存使用方式后，彈出標(biāo)定工具箱操作面板。圖2是選擇“Standard”后彈出的標(biāo)定工具箱操作面板。圖2 標(biāo)定工具箱操作面板圖2所示的標(biāo)定工具箱操作面板具有16個(gè)操作命令鍵，其功能如下：(1) “Image names”鍵：指定圖像的基本名(Basename)和圖像格式，并將相應(yīng)的圖像讀入內(nèi)存。(2) “Read names”鍵：將指定基本名和格式的圖像讀入內(nèi)存。(3) “Extract grid corners”鍵：提取網(wǎng)格角點(diǎn)。(4) “Calibration”鍵：內(nèi)參數(shù)標(biāo)定。(5) “Show Extrinsic”鍵：以圖形方式顯示

5、攝像機(jī)與標(biāo)定靶標(biāo)之間的關(guān)系。(6) “Project on images”鍵：按照攝像機(jī)的內(nèi)參數(shù)以及攝像機(jī)的外參數(shù)(即靶標(biāo)坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的變換關(guān)系)，根據(jù)網(wǎng)格點(diǎn)的笛卡爾空間坐標(biāo)，將網(wǎng)格角點(diǎn)反投影到圖像空間。(7) “Analyse error”鍵：圖像空間的誤差分析(8) “Recomp. corners”鍵：重新提取網(wǎng)格角點(diǎn)。(9) “Add/Suppress images”鍵：增加/刪除圖像。(10) “Save”鍵：保存標(biāo)定結(jié)果。將內(nèi)參數(shù)標(biāo)定結(jié)果以及攝像機(jī)與靶標(biāo)之間的外參數(shù)保存為m文件Calib_results.m，存放于toolbox_calib目錄中。(11) “Load”

6、鍵：讀入標(biāo)定結(jié)果。從存放于toolbox_calib目錄中的標(biāo)定結(jié)果文件Calib_results.mat讀入。(12) “Exit”鍵：退出標(biāo)定。(13) “Comp. Extrinsic”鍵：計(jì)算外參數(shù)。(14) “Undistort image”鍵：生成消除畸變后的圖像并保存。(15) “Export calib data”鍵：輸出標(biāo)定數(shù)據(jù)。分別以靶標(biāo)坐標(biāo)系中的平面坐標(biāo)和圖像中的圖像坐標(biāo)，將每一幅靶標(biāo)圖像的角點(diǎn)保存為兩個(gè)tex文件。(16) “Show calib results”鍵：顯示標(biāo)定結(jié)果。1.1.3 內(nèi)參數(shù)標(biāo)定預(yù)先將命名為Image1Image20的tif格式的20幅靶標(biāo)圖像保

7、存在toolbox_calib目錄中。當(dāng)然，采集的靶標(biāo)圖像也可以采用不同的格式，如bmp格式、jpg格式等。但應(yīng)注意，用于標(biāo)定的靶標(biāo)圖像需要采用相同的圖像格式。攝像機(jī)的內(nèi)參數(shù)標(biāo)定過(guò)程，如下所述。(1) 指定圖像基本名與圖像格式在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Image names”鍵，在Matlab命令窗口分別輸入基本名Image和圖像格式t，出現(xiàn)下述對(duì)話內(nèi)容：Basename camera calibration images (without number nor suffix): ImageImage format: (='r'='ras', '

8、;b'='bmp', 't'='tif', 'p'='pgm', 'j'='jpg', 'm'='ppm') tLoading image ..8.19.20.done同時(shí)，在Matlab的圖形窗口顯示出20幅靶標(biāo)圖像，如圖3所示。圖3 靶標(biāo)圖像(2) 提取角點(diǎn)在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Extract grid corners”鍵。n 在Matlab命令

9、窗口出現(xiàn)“Number(s) of image(s) to process ( = all images) =”時(shí)，輸入要進(jìn)行角點(diǎn)提取的靶標(biāo)圖像的編號(hào)并回車。直接回車表示選用缺省值。選擇缺省值式，對(duì)讀入的所有的靶標(biāo)圖像進(jìn)行角點(diǎn)提取。n 在Matlab命令窗口出現(xiàn)“Window size for corner finder (wintx and winty): ”時(shí)，分別在“wintx ( = 5) =”和“winty ( = 5) =”輸入行中輸入角點(diǎn)提取區(qū)域的窗口半寬m和半高n。m和n為正整數(shù)，單位為像素，缺省值為5個(gè)像素。選定m和n后，命令窗口顯示角點(diǎn)提取區(qū)域的窗口尺寸(2n+1)x(2m

10、+1)。例如，選擇缺省時(shí)角點(diǎn)提取區(qū)域的窗口尺寸為11x11像素。n 在Matlab命令窗口出現(xiàn)“Do you want to use the automatic square counting mechanism (0=default) or do you always want to enter the number of squares manually (1,other)? ”時(shí)，選擇缺省值0表示自動(dòng)計(jì)算棋盤(pán)格靶標(biāo)選定區(qū)域內(nèi)的方格行數(shù)和列數(shù)，選擇值1表示人工計(jì)算并輸入棋盤(pán)格靶標(biāo)選定區(qū)域內(nèi)的方格行數(shù)和列數(shù)。n 到顯示所選擇靶標(biāo)圖像的圖形窗口，利用鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域。點(diǎn)擊的第一

11、個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，順序點(diǎn)擊4個(gè)角點(diǎn)形成四邊形。注意，所形成的四邊形的邊應(yīng)與棋盤(pán)格靶標(biāo)的網(wǎng)格線基本平行。否則，影響角點(diǎn)提取精度，甚至導(dǎo)致角點(diǎn)提取錯(cuò)誤。n 在Matlab命令窗口出現(xiàn)“Size dX of each square along the X direction (=100mm) = ”和“Size dY of each square along the Y direction (=100mm) = ”時(shí)，分別輸入方格長(zhǎng)度和寬度，單位為mm。方格長(zhǎng)度和寬度的缺省值均為100mm。n 在Matlab命令窗口出現(xiàn)“Need of an initial guess for disto

12、rtion? (=no, other=yes) ”時(shí)，如果選擇no則不輸入畸變初始值，如果選擇yes則輸入畸變初始值。輸入的畸變初始值，將同時(shí)賦值給需要估計(jì)的5個(gè)畸變系數(shù)，即徑向畸變系數(shù)kc(1)、kc(2)、kc(5)和切向畸變系數(shù)kc(3)、kc(4)。如果不估計(jì)6階徑向畸變系數(shù)kc(5)，則kc(5)被賦值為0。按照上述步驟，對(duì)用于標(biāo)定的每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)提取。例如，m=5，n=5時(shí)，角點(diǎn)提取區(qū)域的窗口尺寸為11x11像素，未輸入畸變初始值，此時(shí)圖像Image6的角點(diǎn)提取結(jié)果如圖4所示。圖4(a)只標(biāo)出了待提取角點(diǎn)的位置，圖4(b)標(biāo)出了角點(diǎn)提取區(qū)域窗口和提取出的角點(diǎn)。從圖4中可以發(fā)

13、現(xiàn)，圖4(a)中的十字標(biāo)記位置與角點(diǎn)具有明顯偏差，但在角點(diǎn)附近；圖4(b)中的每個(gè)角點(diǎn)提取區(qū)域窗口包含了角點(diǎn)，表示角點(diǎn)提取結(jié)果的十字標(biāo)記位置與角點(diǎn)位置具有很好的吻合度。同樣在m=5，n=5時(shí)，未輸入畸變初始值，但通過(guò)鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域時(shí)，所形成的四邊形的邊與棋盤(pán)格靶標(biāo)的網(wǎng)格線成較大夾角，此時(shí)圖像Image1的角點(diǎn)提取結(jié)果如圖5所示。從圖5中可以發(fā)現(xiàn)，圖5(a)中的十字標(biāo)記位置與角點(diǎn)具有明顯偏差，部分十字標(biāo)記遠(yuǎn)離角點(diǎn)；圖5(b)中的很多角點(diǎn)提取區(qū)域窗口沒(méi)有包含角點(diǎn)，表示角點(diǎn)提取結(jié)果的十字標(biāo)記位置并不在角點(diǎn)位置，說(shuō)明角點(diǎn)提取存在錯(cuò)誤。(a)(b)圖4 合適的靶標(biāo)選定區(qū)域與角點(diǎn)提取結(jié)果

14、，(a) 靶標(biāo)選定區(qū)域，(b) 角點(diǎn)提取結(jié)果(3) 內(nèi)參數(shù)標(biāo)定對(duì)用于標(biāo)定的每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)提取后，在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Calibration”鍵，即可完成攝像機(jī)的內(nèi)參數(shù)標(biāo)定。內(nèi)參數(shù)標(biāo)定時(shí)，Matlab工具箱首先進(jìn)行初始化，即將圖像中心點(diǎn)坐標(biāo)作為主點(diǎn)坐標(biāo)的初始值，采用平面靶標(biāo)網(wǎng)格的消失點(diǎn)估計(jì)出攝像機(jī)的內(nèi)參數(shù)作為內(nèi)參數(shù)的初始值，畸變初始值設(shè)為0。鏡頭畸變采用包括徑向畸變和切向畸變的Brown畸變模型，并假設(shè)6階徑向畸變系數(shù)kc(5)=0。假設(shè)攝像機(jī)的x軸與y軸嚴(yán)格垂直，即圖像坐標(biāo)(u, v)與歸一化成像平面內(nèi)的成像點(diǎn)坐標(biāo)(xc1, yc1)解耦，ks=0，內(nèi)參數(shù)采用4參數(shù)模型

15、。數(shù)組est_dist(1:5)是畸變系數(shù)kc(1:5)是否標(biāo)定的標(biāo)志，只對(duì)標(biāo)志取值為1的畸變系數(shù)標(biāo)定，標(biāo)志取值為0的畸變系數(shù)不標(biāo)定。(a)(b)圖5 錯(cuò)誤的靶標(biāo)選定區(qū)域與角點(diǎn)提取結(jié)果，(a) 靶標(biāo)選定區(qū)域，(b) 角點(diǎn)提取結(jié)果內(nèi)參數(shù)標(biāo)定給出初始化后的標(biāo)定結(jié)果和優(yōu)化后的標(biāo)定結(jié)果。其中，對(duì)內(nèi)參數(shù)的優(yōu)化采用L-M梯度下降法。優(yōu)化后的結(jié)果中給出的參數(shù)不確定性，是3倍的標(biāo)準(zhǔn)方差。fc中的兩個(gè)數(shù)據(jù)分別是kx和ky，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc為光軸中心點(diǎn)的圖像坐標(biāo)(u0, v0)，又稱為主點(diǎn)坐標(biāo)，單位為像素。alpha_c是對(duì)應(yīng)于圖像坐標(biāo)v的攝像機(jī)的實(shí)際y軸與理想y軸之間

16、的夾角ac，單位為弧度，默認(rèn)值為0弧度。后續(xù)給出的圖像軸之間的夾角為對(duì)應(yīng)于圖像坐標(biāo)u、v的攝像機(jī)的x、y軸之間的夾角，默認(rèn)值為90°。est_alpha是alpha_c是否標(biāo)定的標(biāo)志位，只有est_alpha=1時(shí)對(duì)alpha_c進(jìn)行標(biāo)定。kc為畸變系數(shù)kc1kc5，kc(1)為二階徑向畸變系數(shù)kc1，kc(2)為4階徑向畸變系數(shù)kc2，kc(5)為6階徑向畸變系數(shù)kc5，kc(3)為圖像坐標(biāo)u對(duì)應(yīng)于xy項(xiàng)的切向畸變系數(shù)kc3，kc(4)為圖像坐標(biāo)v對(duì)應(yīng)于xy項(xiàng)的切向畸變系數(shù)kc4。err為將網(wǎng)格角點(diǎn)反投影到圖像空間的誤差的標(biāo)準(zhǔn)方差，單位為像素。在優(yōu)化后的結(jié)果中，不確定性的數(shù)值越小，

17、說(shuō)明標(biāo)定的精度越高。如果不確定性項(xiàng)的數(shù)值與結(jié)果值相比所占比例較大，則需要重新標(biāo)定。初始化后的標(biāo)定結(jié)果：Focal Length: fc = 673.45516 673.45516 Principal point: cc = 319.50000 239.50000 Skew: lpha_c = 0.00000 => angle of pixel = 90.00000 degreesDistortion: kc = 0.00000 0.00000 0.00000 0.00000 0.00000 優(yōu)化后的標(biāo)定結(jié)果：Focal Length: fc = 657.80887 658.51372 &

18、#177; 1.86106 1.34683 Principal point: cc = 302.95191 248.06759 ± 1.88046 2.85817 Skew: alpha_c = 0.00000 ± 0.00000 => angle of pixel axes = 90.00000 ±0.00000 degreesDistortion: kc = -0.25853 0.14834 0.00074 -0.00030 0.00000 ± 0.00784 0.03727 0.00085 0.00042 0.00000 Pixel erro

19、r: err = 0.15205 0.12424 (4) 顯示攝像機(jī)與標(biāo)定靶標(biāo)之間的關(guān)系完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Show Extrinsic”鍵，即可在新的圖形窗口顯示攝像機(jī)與標(biāo)定靶標(biāo)之間的關(guān)系，如圖6所示。圖6(a)為假設(shè)攝像機(jī)固定時(shí)攝像機(jī)與靶標(biāo)之間的關(guān)系，圖6(b)為假設(shè)靶標(biāo)固定時(shí)攝像機(jī)與靶標(biāo)之間的關(guān)系。 (a) (b)圖6 攝像機(jī)坐標(biāo)系與靶標(biāo)之間的關(guān)系，(a) 攝像機(jī)固定，(b) 靶標(biāo)固定(5) 誤差分析完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Analyse error”鍵，即可在新的圖形窗口顯示出標(biāo)定使用的所有角點(diǎn)反投影到圖像空間的圖像坐標(biāo)誤差，如圖7所示。在圖

20、7所示的圖形窗口，利用鼠標(biāo)移動(dòng)十字標(biāo)尺可以選擇角點(diǎn)，即可在命令窗口顯示出該角點(diǎn)的信息，包括該角點(diǎn)所屬圖像、索引號(hào)、以方格為單位的坐標(biāo)、圖像坐標(biāo)、反投影后的圖像坐標(biāo)誤差、角點(diǎn)提取區(qū)域的窗口半寬m和半高n。選擇角點(diǎn)后在命令窗口顯示的信息：Selected image: 5Selected point index: 51Pattern coordinates (in units of (dX, dY): (X,Y)=(11, 8)Image coordinates (in pixel): (426.32, 261.58)Pixel error = (-0.05908, 0.17309)Window

21、size: (wintx,winty) = (6, 6)(6) 反投影到圖像空間完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Project on image”鍵，在Matlab命令窗口出現(xiàn)“Number(s) of image(s) to process ( = all images) =”時(shí)，輸入要進(jìn)行反投影的靶標(biāo)圖像的編號(hào)并回車。直接回車表示選用缺省值。選擇缺省值式，對(duì)用于標(biāo)定的所有靶標(biāo)圖像進(jìn)行反投影。選擇圖像后，在新的圖形窗口顯示反投影結(jié)果，并在命令窗口輸出用于標(biāo)定的所有靶標(biāo)圖像的角點(diǎn)反投影的圖像誤差的標(biāo)準(zhǔn)方差。Image6反投影的結(jié)果如圖8所示，其中“+”為角點(diǎn)的圖像坐標(biāo)位置，“o”為

22、角點(diǎn)反投影的圖像坐標(biāo)位置。點(diǎn)擊“Project on image”鍵后，在命令窗口顯示的信息如下：Number(s) of image(s) to show ( = all images) = 6Pixel error: err = 0.66512 0.41428 (all active images)圖7 反投影到圖像空間的角點(diǎn)圖像坐標(biāo)誤差圖8 Image6的角點(diǎn)反投影結(jié)果(7) 圖像畸變校正完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Undistort image”鍵，則按照畸變系數(shù)對(duì)讀入的所有靶標(biāo)圖像進(jìn)行處理，生成消除畸變后的圖像并保存在toolbox_calib目錄中。生成的消除畸變后

23、的圖像，以原圖像的文件名在基本名和編號(hào)之間插入_rect作為其文件名。圖9所示為Image6的原始圖像和消除畸變后的圖像。(8) 增加/刪除圖像在標(biāo)定工具箱操作面板點(diǎn)擊“Add/Suppress image”鍵，在命令窗口輸入代表增加圖像、刪除圖像的數(shù)字，然后輸入圖像編號(hào)，可以增加/刪除標(biāo)定使用的圖像。(9) 重新提取網(wǎng)格角點(diǎn)完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Recomp. corners”鍵，在命令窗口輸入角點(diǎn)提取區(qū)域的窗口半寬m和半高n、輸入重新提取網(wǎng)格角點(diǎn)的圖像編號(hào)、選擇沖投影方式后，即可對(duì)所選圖像重新進(jìn)行角點(diǎn)提取。重新進(jìn)行角點(diǎn)提取后，可以再次進(jìn)行內(nèi)參數(shù)標(biāo)定。重新提取網(wǎng)格角點(diǎn)時(shí)

24、采用了以前的標(biāo)定結(jié)果，經(jīng)過(guò)重新提取網(wǎng)格角點(diǎn)再次標(biāo)定后，內(nèi)參數(shù)標(biāo)定精度會(huì)有所提高。如果初次角點(diǎn)提取的效果較好，則重新進(jìn)行網(wǎng)格角點(diǎn)提取的作用不大。點(diǎn)擊“Recomp. corners”鍵后，在命令窗口顯示的信息如下：Re-extraction of the grid corners on the images (after first calibration)Window size for corner finder (wintx and winty):wintx ( = 5) = winty ( = 5) = Window size = 11x11Number(s) of image(s) to

25、 process ( = all images) = Use the projection of 3D grid or manual click (=auto, other=manual): Processing image .5.done (a) (b)圖9 原始圖像和校正后圖像，(a) 原始圖像 (b) 消除畸變后的圖像1.1.4 外參數(shù)標(biāo)定外參數(shù)標(biāo)定是在內(nèi)參數(shù)已知的前提下進(jìn)行的。在完成攝像機(jī)的內(nèi)參數(shù)標(biāo)定后，或者在命令窗口輸入攝像機(jī)的內(nèi)參數(shù)后，可以對(duì)棋盤(pán)格靶標(biāo)相對(duì)于攝像機(jī)的外參數(shù)進(jìn)行標(biāo)定。在標(biāo)定工具箱操作面板點(diǎn)擊“Comp. Extrinsic”鍵，在命令窗口輸入靶標(biāo)圖像名稱

26、和圖像格式，再按照1.1.2節(jié)(2)中的過(guò)程提取角點(diǎn)，可實(shí)現(xiàn)靶標(biāo)相對(duì)于攝像機(jī)的外參數(shù)標(biāo)定。外參數(shù)標(biāo)定時(shí)，在命令窗口顯示的信息如下：Computation of the extrinsic parameters from an image of a patternThe intrinsic camera parameters are assumed to be known (previously computed)Image name (full name without extension): Image1Image format: (='r'='ras', &

27、#39;b'='bmp', 't'='tif', 'p'='pgm', 'j'='jpg', 'm'='ppm') tExtraction of the grid corners on the imageWindow size for corner finder (wintx and winty):wintx ( = 5) = winty ( = 5) = Window size = 11x11Click on the four extreme

28、 corners of the rectangular complete pattern (the first clicked corner is the origin).Size dX of each square along the X direction (=30mm) = 100Size dY of each square along the Y direction (=30mm) = 100Corner extraction.外參數(shù)標(biāo)定結(jié)果如下：Translation vector: Tc_ext = -531.674715 400.142025 1999.135937 Rotati

29、on vector: omc_ext = 2.258838 -0.002845 0.157413 Rotation matrix: Rc_ext = 0.992075 -0.055515 0.112716 0.051405 -0.639246 -0.767282 0.114649 0.766996 -0.631327 Pixel error: err = 0.14406 0.10000 在外參數(shù)標(biāo)定結(jié)果中，Tc_ext為靶標(biāo)坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的位移向量，單位為mm；omc_ext為對(duì)應(yīng)于姿態(tài)矩陣的rodrigues旋轉(zhuǎn)向量；Rc_ext為旋轉(zhuǎn)矩陣；err為將網(wǎng)格角點(diǎn)反投影到圖像空間的誤

30、差的標(biāo)準(zhǔn)方差，單位為像素。1.1.5 立體視覺(jué)標(biāo)定在進(jìn)行立體視覺(jué)標(biāo)定之前，按照1.1.2節(jié)方法分別標(biāo)定立體視覺(jué)系統(tǒng)的左、右攝像機(jī)的內(nèi)參數(shù)。左攝像機(jī)采集的圖像與右攝像機(jī)采集的圖像分別命名，左攝像機(jī)采集的圖像命名為left1left14，右攝像機(jī)采集的圖像命名為right1right14。左攝像機(jī)內(nèi)參數(shù)的標(biāo)定結(jié)果保存后的Calib_results.mat文件重命名為Calib_Results_left.mat，右攝像機(jī)的標(biāo)定結(jié)果保存后的Calib_results.mat文件重命名為Calib_Results_right.mat。在Matlab命令窗口運(yùn)行stereo_gui指令，彈出圖10所示立體

31、視覺(jué)標(biāo)定工具箱窗口。圖10 立體視覺(jué)標(biāo)定工具箱操作面板圖10所示的標(biāo)定工具箱操作面板具有8個(gè)操作命令鍵，其功能如下：(1) “Load left and right calibration files”鍵：讀入左、右攝像機(jī)的標(biāo)定結(jié)果，并對(duì)左攝像機(jī)相對(duì)于右攝像機(jī)的位姿進(jìn)行初步標(biāo)定。在圖10所示操作面板點(diǎn)擊“Load left and right calibration files”鍵，在Matlab的命令窗口輸入左攝像機(jī)的標(biāo)定結(jié)果文件名和右攝像機(jī)的標(biāo)定結(jié)果文件名，則在命令窗口顯示下述內(nèi)容：Intrinsic parameters of left camera:Focal Length: fc_l

32、eft = 533.00371 533.15260 ± 1.07629 1.10913 Principal point: cc_left = 341.58612 234.25940 ± 1.24041 1.33065 Skew: alpha_c_left =0.00000 ± 0.00000 => angle of pixel axes = 90.00000 ±0.00000 degreesDistortion: kc_left = -0.28947 0.10326 0.00103 -0.00029 0.00000 ± 0.00596 0

33、.02055 0.00030 0.00037 0.00000 Intrinsic parameters of right camera:Focal Length: fc_right = 536.98262 536.56938 ± 1.19786 1.15677 Principal point: cc_right = 326.47209 249.33257 ± 1.36588 1.34252 Skew: alpha_c_right = 0.00000 ±0.00000 => angle of pixel axes = 90.00000 ±0.0000

34、0 degreesDistortion: kc_right = -0.28936 0.10677 -0.00078 0.00020 0.00000 ± 0.00488 0.00866 0.00027 0.00062 0.00000 Extrinsic parameters (position of right camera wrt left camera):Rotation vector: om = 0.00611 0.00409 -0.00359 Translation vector: T = -99.84929 0.82221 0.43647 顯示的結(jié)果中，fc_left是左攝像

35、機(jī)的放大系數(shù)，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc_left為左攝像機(jī)的主點(diǎn)坐標(biāo)，單位為像素。alpha_c_left是對(duì)應(yīng)于左攝像機(jī)的實(shí)際y軸與理想y軸之間的夾角，單位為弧度，默認(rèn)值為0弧度。kc_left為左攝像機(jī)的畸變系數(shù)。fc_right是右攝像機(jī)的放大系數(shù)，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc_right為右攝像機(jī)的主點(diǎn)坐標(biāo)，單位為像素。alpha_c_right是對(duì)應(yīng)于右攝像機(jī)的實(shí)際y軸與理想y軸之間的夾角，單位為弧度，默認(rèn)為0弧度。kc_right為右攝像機(jī)的畸變系數(shù)。om為左攝像機(jī)相對(duì)于右攝像機(jī)的姿態(tài)矩陣的rodrigues旋轉(zhuǎn)向

36、量，利用函數(shù)rodrigues可以轉(zhuǎn)換為姿態(tài)矩陣。T為左攝像機(jī)相對(duì)于右攝像機(jī)的位移向量，即左攝像機(jī)坐標(biāo)系原點(diǎn)在右攝像機(jī)坐標(biāo)系中的位移向量，單位mm。rodrigues(om) = 0.999983631582173 0.003519746065755 0.004510870798495-0.003489484865457 0.999971473651176 -0.006698908811843-0.004534320577757 0.006683058545923 0.999967387800907(2) “Run stereo calibration”鍵：計(jì)算優(yōu)化后的外參數(shù)。在圖10所示操作

37、面板點(diǎn)擊“Run stereo calibration”鍵，則在Matlab的命令窗口輸出左、右攝像機(jī)的內(nèi)參數(shù)和優(yōu)化后的外參數(shù)。輸出結(jié)果如下所示：Intrinsic parameters of left camera:Focal Length: fc_left = 533.52331 533.52700 ± 0.83147 0.84055 Principal point: cc_left = 341.60377 235.19287 ± 1.23937 1.20470 Skew: alpha_c_left = 0.00000 ± 0.00000 => angl

38、e of pixel axes = 90.00000 ?0.00000 degreesDistortion: kc_left = -0.28838 0.09714 0.00109 -0.00030 0.00000 ± 0.00621 0.02155 0.00028 0.00034 0.00000 Intrinsic parameters of right camera:Focal Length: fc_right = 536.81376 536.47649 ± 0.87631 0.86541 Principal point: cc_right = 326.28655 250

39、.10121 ± 1.31444 1.16609 Skew: alpha_c_right = 0.00000 ± 0.00000 => angle of pixel axes = 90.00000 +0.00000 degreesDistortion: kc_right = -0.28943 0.10690 -0.00059 0.00014 0.00000 ± 0.00486 0.00883 0.00022 0.00055 0.00000 Extrinsic parameters (position of right camera wrt left came

40、ra):Rotation vector: om = 0.00669 0.00452 -0.00350 ± 0.00270 0.00308 0.00029 Translation vector: T = -99.80198 1.12443 0.05041 ± 0.14200 0.11352 0.49773 (3) “Show Extrinsics of stereo rig”鍵：顯示靶標(biāo)相對(duì)于攝像機(jī)的位姿，如圖11所示。(4) “Show Intrinsic parameters”鍵：在Matlab的命令窗口顯示左、右攝像機(jī)的內(nèi)參數(shù)和優(yōu)化后的外參數(shù)。(5) “Save ste

41、reo calib results”鍵：將標(biāo)定結(jié)果保存為文件Calib_Results_stereo.mat，存放于toolbox_calib目錄中。(6) “Load stereo calib results”鍵：讀入標(biāo)定結(jié)果。從存放于toolbox_calib目錄中的標(biāo)定結(jié)果文件Calib_Results_stereo.mat讀入。(7) “Rectify the calibration images”鍵：按照畸變系數(shù)對(duì)左、右攝像機(jī)采集的所有靶標(biāo)圖像進(jìn)行處理，生成消除畸變后的圖像并保存在toolbox_calib目錄中。生成的消除畸變后的圖像，以原圖像的文件名在基本名和編號(hào)之間插入_rec

42、tified作為其文件名。(8) “Exit”鍵：退出立體視覺(jué)標(biāo)定。圖11 靶標(biāo)相對(duì)于攝像機(jī)的位姿1.1.6 標(biāo)定注意事項(xiàng)在采用Matlab工具箱的攝像機(jī)標(biāo)定中，內(nèi)參數(shù)標(biāo)定是進(jìn)行其它參數(shù)標(biāo)定的基礎(chǔ)。首先需要完成內(nèi)參數(shù)標(biāo)定，才能進(jìn)行外參數(shù)標(biāo)定或者立體視覺(jué)標(biāo)定、手眼標(biāo)定等。因此，內(nèi)參數(shù)標(biāo)定過(guò)程中需要注意的問(wèn)題，在其它所有的標(biāo)定中都應(yīng)注意。(1) 內(nèi)參數(shù)標(biāo)定需要注意的問(wèn)題n 制作棋盤(pán)格靶標(biāo)時(shí)應(yīng)特別注意，黑色方格與白色方格尺寸需要相同，而且所有方格的尺寸必須嚴(yán)格一致。靶標(biāo)的方格數(shù)量不宜太小，行數(shù)和列數(shù)以大于10為宜。方格的尺寸不宜太大或太小，采集的整幅靶標(biāo)圖像中方格的邊長(zhǎng)尺寸不小于20像素。n 采集靶

43、標(biāo)圖像時(shí)應(yīng)特別注意，需要在不同的角度不同的位置采集靶標(biāo)的多幅圖像。采集到的圖像必須清晰，靶標(biāo)圖像尺寸以占整幅圖像尺寸的1/33/4為宜。靶標(biāo)圖像最好在整幅圖像的不同位置都有分布，不宜過(guò)于集中于同一區(qū)域。靶標(biāo)放置位置與攝像機(jī)之間的距離最好為視覺(jué)系統(tǒng)的主要工作距離。靶標(biāo)相對(duì)于攝像機(jī)的角度應(yīng)有較大范圍的變化，應(yīng)包含繞三個(gè)軸較大角度的旋轉(zhuǎn)，最好不小于30度。采集的靶標(biāo)圖像數(shù)量不應(yīng)太少，建議以1020幅靶標(biāo)圖像為宜。n 采集圖像過(guò)程中，攝像機(jī)的焦距不能調(diào)整。因?yàn)榻咕鄬儆跀z像機(jī)的內(nèi)參數(shù)，不同焦距下采集的圖像隱含了不同的內(nèi)參數(shù)，這些圖像放在一起進(jìn)行標(biāo)定不能得到正確的結(jié)果。n 采集的靶標(biāo)圖像統(tǒng)一命名，由基本名

44、和編號(hào)構(gòu)成，如Image1Image15。靶標(biāo)圖像的數(shù)據(jù)格式必須相同。n 將靶標(biāo)圖像拷貝到toolbox_calib目錄中。n 提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域。點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，順序點(diǎn)擊4個(gè)角點(diǎn)形成四邊形。相鄰兩次點(diǎn)擊的角點(diǎn)應(yīng)在同一條網(wǎng)格線上，使得所形成的四邊形的邊應(yīng)與棋盤(pán)格靶標(biāo)的網(wǎng)格線基本平行。為提高點(diǎn)擊的角點(diǎn)的精度，建議將顯示靶標(biāo)圖像的圖像窗口放大到最大，利用鼠標(biāo)的十字標(biāo)線盡可能準(zhǔn)確的點(diǎn)擊4個(gè)角點(diǎn)。n 攝像機(jī)的實(shí)際y軸與理想y軸之間的夾角ac是否標(biāo)定，由est_alpha標(biāo)志位設(shè)定。est_alpha=1時(shí)對(duì)alpha_c進(jìn)行標(biāo)定，est_a

45、lpha=0時(shí)不對(duì)alpha_c進(jìn)行標(biāo)定。n 數(shù)組est_dist(1:5)是畸變系數(shù)kc(1:5)是否標(biāo)定的標(biāo)志，只對(duì)標(biāo)志取值為1的畸變系數(shù)標(biāo)定，標(biāo)志取值為0的畸變系數(shù)不標(biāo)定。默認(rèn)值為est_dist(1:5)=1 1 1 1 0，即對(duì)畸變系數(shù)kc1kc4進(jìn)行標(biāo)定，對(duì)kc5不進(jìn)行標(biāo)定，kc5=0。n 運(yùn)行calib_gui指令后，Matlab處于busy狀態(tài)，Matlab命令窗口不再響應(yīng)其它命令。只有在點(diǎn)擊標(biāo)定工具箱的“Exit”鍵退出標(biāo)定后，Matlab命令窗口才能恢復(fù)響應(yīng)其它命令。(2) 外參數(shù)標(biāo)定需要注意的問(wèn)題n 方格尺寸必須輸入實(shí)際尺寸。n 提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊的第一個(gè)

46、角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，得到的外參數(shù)是靶標(biāo)坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位姿。n rodrigues旋轉(zhuǎn)向量omc_ext與姿態(tài)矩陣Rc_ext可以利用rodrigues函數(shù)進(jìn)行轉(zhuǎn)換。omc_ext=rodrigues(Rc_ext)，Rc_ext=rodrigues(omc_ext)。(3) 立體視覺(jué)標(biāo)定需要注意的問(wèn)題n 提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，左右攝像機(jī)對(duì)應(yīng)的靶標(biāo)圖像對(duì)需要選擇相同的第一個(gè)角點(diǎn)作為原點(diǎn)。其他的3個(gè)角點(diǎn)在左右攝像機(jī)的靶標(biāo)圖像中也應(yīng)相同。n 左右攝像機(jī)采集的圖像數(shù)量必須相同。相同的編號(hào)的左右攝像機(jī)采集的圖像是靶標(biāo)在同一位姿時(shí)左右攝像機(jī)采集

47、的圖像，構(gòu)成一組立體視覺(jué)的靶標(biāo)圖像對(duì)。n 得到的外參數(shù)是左攝像機(jī)相對(duì)于右攝像機(jī)的位姿，即左攝像機(jī)坐標(biāo)系在右攝像機(jī)坐標(biāo)系中的位姿。n 運(yùn)行stereo_gui指令后，Matlab命令窗口可以響應(yīng)其它命令。(4) 手眼標(biāo)定(Eye-in-Hand)需要注意的問(wèn)題n 首先進(jìn)行攝像機(jī)的內(nèi)參數(shù)標(biāo)定。在攝像機(jī)內(nèi)參數(shù)標(biāo)定時(shí)，機(jī)器人可以不運(yùn)動(dòng)，通過(guò)改變靶標(biāo)的位置和姿態(tài)采集1020幅靶標(biāo)圖像。角點(diǎn)提取時(shí)，不需要具有相同的靶標(biāo)坐標(biāo)系原點(diǎn)。n 然后進(jìn)行外參數(shù)標(biāo)定。靶標(biāo)固定不動(dòng)，較大幅度的改變機(jī)器人的位姿，采集510幅靶標(biāo)圖像。角點(diǎn)提取時(shí)，對(duì)采用的510幅靶標(biāo)圖像必須選擇相同的靶標(biāo)坐標(biāo)系原點(diǎn)，并具有相同的靶標(biāo)坐標(biāo)軸方

48、向。得到的外參數(shù)為靶標(biāo)坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位姿。n 利用攝像機(jī)的內(nèi)參數(shù)、機(jī)器人的末端位姿(或工具坐標(biāo)系位姿)、對(duì)應(yīng)于機(jī)器人位姿的靶標(biāo)坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的位姿，計(jì)算出攝像機(jī)坐標(biāo)系相對(duì)于機(jī)器人末端坐標(biāo)系(或工具坐標(biāo)系)的位姿。具體計(jì)算方法可以利用最小二乘法。n 機(jī)器人的位姿從機(jī)器人控制器中讀取，一般為6維向量。其姿態(tài)部分一般為繞X、Y、Z軸的旋轉(zhuǎn)角度，對(duì)應(yīng)的3個(gè)旋轉(zhuǎn)變換的相乘順序可以查閱機(jī)器人說(shuō)明書(shū)，或者通過(guò)特定的末端位姿進(jìn)行驗(yàn)證。1.2 OpenCV攝像機(jī)標(biāo)定工具箱OpenCV網(wǎng)站說(shuō)明文檔：/doc/tutorials/calib3d/came

49、ra_calibration/camera_calibration.htmlOpenCV中文網(wǎng)站攝像頭標(biāo)定：張正友標(biāo)定算法：/xpl/articleDetails.jsp?arnumber=888718本文完整的程序代碼(運(yùn)行環(huán)境VS2008+opencv2.3.1)：1.2.1 標(biāo)定模型OpenCV內(nèi)參數(shù)標(biāo)定采用的模型如式(1-3)所示，Brown畸變模型如式(1-4)所示。 (1-3)式中：(u, v)是特征點(diǎn)的圖像坐標(biāo)，(xc, yc, zc)是特征點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)，kx、ky是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)，

50、(u0, v0)是光軸中心點(diǎn)的圖像坐標(biāo)即主點(diǎn)坐標(biāo)，(xc1, yc1)是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)。ky=akx，a是縱橫比系數(shù)。 (1-4)式中：(ud, vd)是具有畸變相對(duì)于主點(diǎn)的圖像坐標(biāo)，(ud, vd)= (u, v)- (u0, v0)，(u¢d, v¢d)是消除畸變后相對(duì)于主點(diǎn)的圖像坐標(biāo)，(u¢d, v¢d)= (u¢, v¢)- (u0, v0)，(u¢, v¢)是消除畸變后的圖像坐標(biāo)，k1是2階徑向畸變系數(shù)，k2是4階徑向畸變系數(shù)，k3是6階徑向畸變系數(shù)，p1、p2是切向畸變系數(shù)，r為圖像點(diǎn)

51、到主點(diǎn)的距離，r2= ud2 + vd2。標(biāo)定結(jié)果給出的畸變系數(shù)為k1, k2, p1, p2, k3。由于k3主要針對(duì)與畸變較大的鏡頭，例如魚(yú)眼鏡頭，所以一般情況下該值取0。1.2.2 內(nèi)參數(shù)標(biāo)定(1) 首先加載多幅棋盤(pán)格靶標(biāo)圖像并設(shè)置棋盤(pán)格靶標(biāo)的內(nèi)角點(diǎn)參數(shù)。標(biāo)定過(guò)程中，需要不同視角下拍攝的棋盤(pán)格靶標(biāo)的圖像，如圖12所示。其中，內(nèi)角點(diǎn)是指黑色方塊相互聯(lián)通位置的角點(diǎn)，圖12所示棋盤(pán)格靶標(biāo)的內(nèi)角點(diǎn)數(shù)量為9×6。/設(shè)置棋盤(pán)格X方向上的角點(diǎn)個(gè)數(shù)ChessBoardSize.width = 9;/設(shè)置棋盤(pán)格Y方向上的角點(diǎn)個(gè)數(shù)ChessBoardSize.hight = 6;/設(shè)置棋盤(pán)格子的邊

52、長(zhǎng)，單位為mmfloat SquareWidth = 30;/利用cvLoadImage函數(shù)加載圖像chessBoard_Img=cvLoadImage( filename, 1 ); (a) (b)圖12 不同視角下拍攝的棋盤(pán)格圖像(2) 對(duì)棋盤(pán)格靶標(biāo)圖像進(jìn)行特征點(diǎn)提取。選用cvFindChessboardCorners函數(shù)提取一幅靶標(biāo)圖像的角點(diǎn)特征。當(dāng)一幅靶標(biāo)圖像的角點(diǎn)正確提取后，再調(diào)用函數(shù)cvFindCornerSubPix可以進(jìn)行亞像素圖像特征的提取。依次對(duì)每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)特征提取。然后，調(diào)用cvDrawChessboardCorners函數(shù)，可以在棋盤(pán)格靶標(biāo)圖形上繪制出檢測(cè)到的

53、角點(diǎn)。繪制的圖像如圖13所示。/獲取棋盤(pán)格靶標(biāo)中的角點(diǎn)，如果所有角點(diǎn)都被檢測(cè)到且它們都被以一定順序排布（一行一行地，每行從左到右），函數(shù)返回非零值，否則在函數(shù)不能發(fā)現(xiàn)或者記錄所有角點(diǎn)的情況下，函數(shù)返回0。find_corners_result=cvFindChessboardCorners(current_frame_gray,/棋盤(pán)格的灰度圖像，將chessBoard_Img進(jìn)行轉(zhuǎn)換得到ChessBoardSize,/棋盤(pán)格每行角點(diǎn)的個(gè)數(shù)和每列角點(diǎn)的個(gè)數(shù)&cornerscaptured_frames*NPoints,/ 檢測(cè)到的角點(diǎn)坐標(biāo)&corner_countcapture

54、d_frames,/檢測(cè)到的角點(diǎn)的個(gè)數(shù)CV_CALIB_CB_ADAPTIVE_THRESH );/使用自適應(yīng)閾值/通過(guò)迭代方法求取具有子象素精度的角點(diǎn)位置cvFindCornerSubPix( current_frame_gray, /棋盤(pán)格靶標(biāo)的灰度圖像&cornerscaptured_frames*NPoints,/檢測(cè)到的角點(diǎn)坐標(biāo)NPoints, /單幅圖像中角點(diǎn)的個(gè)數(shù)cvSize(5,5),cvSize(-1,-1), /不忽略corner臨近的像素進(jìn)行精確估計(jì)，cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,30, /最大迭代

55、次數(shù)（iteration）0.01) ); /最小精度（epsilon）/在棋盤(pán)格靶標(biāo)圖像上繪制檢測(cè)到的角點(diǎn)cvDrawChessboardCorners(current_frame_rgb, /顯示繪制結(jié)果的圖像 ChessBoardSize, /棋盤(pán)格靶標(biāo)中每行和每列角點(diǎn)的個(gè)數(shù)（9×6） &cornerscaptured_frames*NPoints, /檢測(cè)到的角點(diǎn)坐標(biāo) NPoints, /單幅圖像角點(diǎn)的個(gè)數(shù)find_corners_result);/角點(diǎn)檢測(cè)成功標(biāo)志圖13 將角點(diǎn)繪制在棋盤(pán)格上的效果圖(3) 求取角點(diǎn)的三維世界坐標(biāo)。每一幅圖像檢測(cè)的角點(diǎn)對(duì)應(yīng)于相同的世界坐標(biāo)系，世界坐標(biāo)系以最左上方的角點(diǎn)為原點(diǎn)。例如圖13中，最左上方的角點(diǎn)世界坐標(biāo)為(0，0，0)，其右邊相鄰角點(diǎn)的世界坐標(biāo)為(30，0，0)，其下方相鄰角點(diǎn)的世界坐標(biāo)為(0，30，0)。依次類推，可以得到所有角點(diǎn)的世界坐標(biāo)。注意所有角點(diǎn)的Z坐標(biāo)為0，這是因?yàn)槠灞P(pán)格靶標(biāo)位于Z=0的平面上。(4) 計(jì)算攝像機(jī)內(nèi)參數(shù)。運(yùn)行cvCalibrateCamera2函數(shù)實(shí)現(xiàn)攝像機(jī)內(nèi)參數(shù)的標(biāo)定。實(shí)際標(biāo)定時(shí)，采集1020幅棋盤(pán)格靶標(biāo)圖像