Matlab攝像機(jī)標(biāo)定工具箱的使用說(shuō)明1

第頁(yè)攝像機(jī)標(biāo)定工具箱1.1Matlab攝像機(jī)標(biāo)定工具箱工具箱下載：說(shuō)明文檔：安裝：將下載的工具箱文件toolbox_calib.zip解壓縮，將目錄toolbox_calib拷貝到Matlab的目錄下。采集圖像：采集的圖像統(tǒng)一命名后，拷貝到toolbox_calib目錄中。命名規(guī)則為基本名和編號(hào)，基本名在前，后面直接跟著數(shù)字編號(hào)。編號(hào)最多為3位十進(jìn)制數(shù)字。1.1.1標(biāo)定模型內(nèi)參數(shù)標(biāo)定采用的模型如式(1-1)所示，Brown畸變模型式(1-2)所示。(1-1)式中：(u,v)是特征點(diǎn)的圖像坐標(biāo)，(xc,yc,zc)是特征點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)，kx、ky是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)，ks是對(duì)應(yīng)于圖像坐標(biāo)u、v的攝像機(jī)的x、y軸之間不垂直帶來(lái)的耦合放大系數(shù)，(u0,v0)是光軸中心點(diǎn)的圖像坐標(biāo)即主點(diǎn)坐標(biāo)，(xc1,yc1)是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)。ks=ckx，c是攝像機(jī)的實(shí)際y軸及理想y軸之間的夾角，單位為弧度。(1-2)式中：(xc1d,yc1d)是焦距歸一化成像平面上的成像點(diǎn)畸變后的坐標(biāo)，kc1是2階徑向畸變系數(shù)，kc2是4階徑向畸變系數(shù)，kc5是6階徑向畸變系數(shù)，kc3、kc4是切向畸變系數(shù)，r為成像點(diǎn)到攝像機(jī)坐標(biāo)系原點(diǎn)的距離，r2=xc12+yc12。1.1.2將Matlab的當(dāng)前目錄設(shè)定為含有標(biāo)定工具箱的目錄，即toolbox_calib目錄。在Matlab命令窗口運(yùn)行calib_gui指令，彈出圖1所示選擇窗口。圖1內(nèi)存使用方式窗口圖1窗口中，具有兩個(gè)選項(xiàng)，分別是“Standard”和“Memoryefficient”。如果點(diǎn)擊選擇“Standard”，則將目錄中的所有圖像讀入內(nèi)存中，所需內(nèi)存較大。如果點(diǎn)擊選擇“Memoryefficient”，則將目錄中的圖像按照需要每次一幅圖像讀入內(nèi)存中，所需內(nèi)存較小。在選擇了內(nèi)存使用方式后，彈出標(biāo)定工具箱操作面板。圖2是選擇“Standard”后彈出的標(biāo)定工具箱操作面板。圖2標(biāo)定工具箱操作面板圖2所示的標(biāo)定工具箱操作面板具有16個(gè)操作命令鍵，其功能如下：(1)“Imagenames”鍵：指定圖像的基本名(Basename)和圖像格式，并將相應(yīng)的圖像讀入內(nèi)存。(2)“Readnames”鍵：將指定基本名和格式的圖像讀入內(nèi)存。(3)“Extractgridcorners”鍵：提取網(wǎng)格角點(diǎn)。(4)“Calibration”鍵：內(nèi)參數(shù)標(biāo)定。(5)“ShowExtrinsic”鍵：以圖形方式顯示攝像機(jī)及標(biāo)定靶標(biāo)之間的關(guān)系。(6)“Projectonimages”鍵：按照攝像機(jī)的內(nèi)參數(shù)以及攝像機(jī)的外參數(shù)(即靶標(biāo)坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的變換關(guān)系)，根據(jù)網(wǎng)格點(diǎn)的笛卡爾空間坐標(biāo)，將網(wǎng)格角點(diǎn)反投影到圖像空間。(7)“Analyseerror”鍵：圖像空間的誤差分析(8)“Recomp.corners”鍵：重新提取網(wǎng)格角點(diǎn)。(9)“Add/Suppressimages”鍵：增加/刪除圖像。(10)“Save”鍵：保存標(biāo)定結(jié)果。將內(nèi)參數(shù)標(biāo)定結(jié)果以及攝像機(jī)及靶標(biāo)之間的外參數(shù)保存為m文件Calib_results.m，存放于toolbox_calib目錄中。(11)“Load”鍵：讀入標(biāo)定結(jié)果。從存放于toolbox_calib目錄中的標(biāo)定結(jié)果文件Calib_results.mat讀入。(12)“Exit”鍵：退出標(biāo)定。(13)“Comp.Extrinsic”鍵：計(jì)算外參數(shù)。(14)“Undistortimage”鍵：生成消除畸變后的圖像并保存。(15)“Exportcalibdata”鍵：輸出標(biāo)定數(shù)據(jù)。分別以靶標(biāo)坐標(biāo)系中的平面坐標(biāo)和圖像中的圖像坐標(biāo)，將每一幅靶標(biāo)圖像的角點(diǎn)保存為兩個(gè)tex文件。(16)“Showcalibresults”鍵：顯示標(biāo)定結(jié)果。1.1.3預(yù)先將命名為Image1～I(xiàn)mage20的tif格式的20幅靶標(biāo)圖像保存在toolbox_calib目錄中。當(dāng)然，采集的靶標(biāo)圖像也可以采用不同的格式，如bmp格式、jpg格式等。但應(yīng)注意，用于標(biāo)定的靶標(biāo)圖像需要采用相同的圖像格式。攝像機(jī)的內(nèi)參數(shù)標(biāo)定過(guò)程，如下所述。(1)指定圖像基本名及圖像格式在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Imagenames”鍵，在Matlab命令窗口分別輸入基本名Image和圖像格式t，出現(xiàn)下述對(duì)話(huà)內(nèi)容：Basenamecameracalibrationimages(withoutnumbernorsuffix):ImageImageformat:([]='r'='ras','b'='bmp','t'='tif','p'='pgm','j'='jpg','m'='ppm')tLoadingimage1...2...3...4...5...6...7...8...9...10...11...12...13...14...15...16...17...18...19...20...done同時(shí)，在Matlab的圖形窗口顯示出20幅靶標(biāo)圖像，如圖3所示。圖3靶標(biāo)圖像(2)提取角點(diǎn)在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Extractgridcorners”鍵。在Matlab命令窗口出現(xiàn)“Number(s)ofimage(s)toprocess([]=allimages)=”時(shí)，輸入要進(jìn)行角點(diǎn)提取的靶標(biāo)圖像的編號(hào)并回車(chē)。直接回車(chē)表示選用缺省值。選擇缺省值式，對(duì)讀入的所有的靶標(biāo)圖像進(jìn)行角點(diǎn)提取。在Matlab命令窗口出現(xiàn)“Windowsizeforcornerfinder(wintxandwinty):”時(shí)，分別在“wintx([]=5)=”和“winty([]=5)=”輸入行中輸入角點(diǎn)提取區(qū)域的窗口半寬m和半高n。m和n為正整數(shù)，單位為像素，缺省值為5個(gè)像素。選定m和n后，命令窗口顯示角點(diǎn)提取區(qū)域的窗口尺寸(2n+1)x(2m+1)。例如，選擇缺省時(shí)角點(diǎn)提取區(qū)域的窗口尺寸為在Matlab命令窗口出現(xiàn)“Doyouwanttousetheautomaticsquarecountingmechanism(0=[]=default)ordoyoualwayswanttoenterthenumberofsquaresmanually(1,other)?”時(shí)，選擇缺省值0表示自動(dòng)計(jì)算棋盤(pán)格靶標(biāo)選定區(qū)域內(nèi)的方格行數(shù)和列數(shù)，選擇值1表示人工計(jì)算并輸入棋盤(pán)格靶標(biāo)選定區(qū)域內(nèi)的方格行數(shù)和列數(shù)。到顯示所選擇靶標(biāo)圖像的圖形窗口，利用鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域。點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，順序點(diǎn)擊4個(gè)角點(diǎn)形成四邊形。注意，所形成的四邊形的邊應(yīng)及棋盤(pán)格靶標(biāo)的網(wǎng)格線(xiàn)基本平行。否則，影響角點(diǎn)提取精度，甚至導(dǎo)致角點(diǎn)提取錯(cuò)誤。在Matlab命令窗口出現(xiàn)“SizedXofeachsquarealongtheXdirection([]=100mm)=”和“SizedYofeachsquarealongtheYdirection([]=100mm)=”時(shí)，分別輸入方格長(zhǎng)度和寬度，單位為mm。方格長(zhǎng)度和寬度的缺省值均為100mm。在Matlab命令窗口出現(xiàn)“Needofaninitialguessfordistortion?([]=no,other=yes)”時(shí)，如果選擇no則不輸入畸變初始值，如果選擇yes則輸入畸變初始值。輸入的畸變初始值，將同時(shí)賦值給需要估計(jì)的5個(gè)畸變系數(shù)，即徑向畸變系數(shù)kc(1)、kc(2)、kc(5)和切向畸變系數(shù)kc(3)、kc(4)。如果不估計(jì)6階徑向畸變系數(shù)kc(5)，則kc(5)被賦值為0。按照上述步驟，對(duì)用于標(biāo)定的每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)提取。例如，m=5，n=5時(shí)，角點(diǎn)提取區(qū)域的窗口尺寸為11x11像素，未輸入畸變初始值，此時(shí)圖像Image6的角點(diǎn)提取結(jié)果如圖4所示。圖4(a)只標(biāo)出了待提取角點(diǎn)的位置，圖4(b)標(biāo)出了角點(diǎn)提取區(qū)域窗口和提取出的角點(diǎn)。從圖4中可以發(fā)現(xiàn)，圖4(a)中的十字標(biāo)記位置及角點(diǎn)具有明顯偏差，但在角點(diǎn)附近；圖4(b)中的每個(gè)角點(diǎn)提取區(qū)域窗口包含了角點(diǎn)，表示角點(diǎn)提取結(jié)果的十字標(biāo)記位置及角點(diǎn)位置具有很好的吻合度。同樣在m=5，n=5時(shí)，未輸入畸變初始值，但通過(guò)鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域時(shí)，所形成的四邊形的邊及棋盤(pán)格靶標(biāo)的網(wǎng)格線(xiàn)成較大夾角，此時(shí)圖像Image1的角點(diǎn)提取結(jié)果如圖5所示。從圖5中可以發(fā)現(xiàn)，圖5(a)中的十字標(biāo)記位置及角點(diǎn)具有明顯偏差，部分十字標(biāo)記遠(yuǎn)離角點(diǎn)；圖5(b)中的很多角點(diǎn)提取區(qū)域窗口沒(méi)有包含角點(diǎn)，表示角點(diǎn)提取結(jié)果的十字標(biāo)記位置并不在角點(diǎn)位置，說(shuō)明角點(diǎn)提取存在錯(cuò)誤。(a)(b)圖4合適的靶標(biāo)選定區(qū)域及角點(diǎn)提取結(jié)果，(a)靶標(biāo)選定區(qū)域，(b)角點(diǎn)提取結(jié)果(3)內(nèi)參數(shù)標(biāo)定對(duì)用于標(biāo)定的每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)提取后，在圖2所示的標(biāo)定工具箱操作面板點(diǎn)擊“Calibration”鍵，即可完成攝像機(jī)的內(nèi)參數(shù)標(biāo)定。內(nèi)參數(shù)標(biāo)定時(shí)，Matlab工具箱首先進(jìn)行初始化，即將圖像中心點(diǎn)坐標(biāo)作為主點(diǎn)坐標(biāo)的初始值，采用平面靶標(biāo)網(wǎng)格的消失點(diǎn)估計(jì)出攝像機(jī)的內(nèi)參數(shù)作為內(nèi)參數(shù)的初始值，畸變初始值設(shè)為0。鏡頭畸變采用包括徑向畸變和切向畸變的Brown畸變模型，并假設(shè)6階徑向畸變系數(shù)kc(5)=0。假設(shè)攝像機(jī)的x軸及y軸嚴(yán)格垂直，即圖像坐標(biāo)(u,v)及歸一化成像平面內(nèi)的成像點(diǎn)坐標(biāo)(xc1,yc1)解耦，ks=0，內(nèi)參數(shù)采用4參數(shù)模型。數(shù)組est_dist(1:5)是畸變系數(shù)kc(1:5)是否標(biāo)定的標(biāo)志，只對(duì)標(biāo)志取值為1的畸變系數(shù)標(biāo)定，標(biāo)志取值為0的畸變系數(shù)不標(biāo)定。(a)(b)圖5錯(cuò)誤的靶標(biāo)選定區(qū)域及角點(diǎn)提取結(jié)果，(a)靶標(biāo)選定區(qū)域，(b)角點(diǎn)提取結(jié)果內(nèi)參數(shù)標(biāo)定給出初始化后的標(biāo)定結(jié)果和優(yōu)化后的標(biāo)定結(jié)果。其中，對(duì)內(nèi)參數(shù)的優(yōu)化采用L-M梯度下降法。優(yōu)化后的結(jié)果中給出的參數(shù)不確定性，是3倍的標(biāo)準(zhǔn)方差。fc中的兩個(gè)數(shù)據(jù)分別是kx和ky，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc為光軸中心點(diǎn)的圖像坐標(biāo)(u0,v0)，又稱(chēng)為主點(diǎn)坐標(biāo)，單位為像素。alpha_c是對(duì)應(yīng)于圖像坐標(biāo)v的攝像機(jī)的實(shí)際y軸及理想y軸之間的夾角c，單位為弧度，默認(rèn)值為0弧度。后續(xù)給出的圖像軸之間的夾角為對(duì)應(yīng)于圖像坐標(biāo)u、v的攝像機(jī)的x、y軸之間的夾角，默認(rèn)值為90。est_alpha是alpha_c是否標(biāo)定的標(biāo)志位，只有est_alpha=1時(shí)對(duì)alpha_c進(jìn)行標(biāo)定。kc為畸變系數(shù)kc1~kc5，kc(1)為二階徑向畸變系數(shù)kc1，kc(2)為4階徑向畸變系數(shù)kc2，kc(5)為6階徑向畸變系數(shù)kc5，kc(3)為圖像坐標(biāo)u對(duì)應(yīng)于xy項(xiàng)的切向畸變系數(shù)kc3，kc(4)為圖像坐標(biāo)v對(duì)應(yīng)于xy項(xiàng)的切向畸變系數(shù)kc4。err為將網(wǎng)格角點(diǎn)反投影到圖像空間的誤差的標(biāo)準(zhǔn)方差，單位為像素。在優(yōu)化后的結(jié)果中，不確定性的數(shù)值越小，說(shuō)明標(biāo)定的精度越高。如果不確定性項(xiàng)的數(shù)值及結(jié)果值相比所占比例較大，則需要重新標(biāo)定。初始化后的標(biāo)定結(jié)果：FocalLength:fc=[673.45516673.45516]Principalpoint:cc=[319.50000239.50000]Skew:lpha_c=[0.00000]=>angleofpixel=90.00000degreesDistortion:kc=[0.000000.000000.000000.000000.00000]優(yōu)化后的標(biāo)定結(jié)果：FocalLength:fc=[657.80887658.51372]±[1.861061.34683]Principalpoint:cc=[302.95191248.06759]±[1.880462.85817]Skew:alpha_c=[0.00000]±[0.00000]=>angleofpixelaxes=90.00000±0.00000degreesDistortion:kc=[-0.258530.148340.00074-0.000300.00000]±[0.007840.037270.000850.000420.00000]Pixelerror:err=[0.152050.12424](4)顯示攝像機(jī)及標(biāo)定靶標(biāo)之間的關(guān)系完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“ShowExtrinsic”鍵，即可在新的圖形窗口顯示攝像機(jī)及標(biāo)定靶標(biāo)之間的關(guān)系，如圖6所示。圖6(a)為假設(shè)攝像機(jī)固定時(shí)攝像機(jī)及靶標(biāo)之間的關(guān)系，圖6(b)為假設(shè)靶標(biāo)固定時(shí)攝像機(jī)及靶標(biāo)之間的關(guān)系。(a)(b)圖6攝像機(jī)坐標(biāo)系及靶標(biāo)之間的關(guān)系，(a)攝像機(jī)固定，(b)靶標(biāo)固定(5)誤差分析完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Analyseerror”鍵，即可在新的圖形窗口顯示出標(biāo)定使用的所有角點(diǎn)反投影到圖像空間的圖像坐標(biāo)誤差，如圖7所示。在圖7所示的圖形窗口，利用鼠標(biāo)移動(dòng)十字標(biāo)尺可以選擇角點(diǎn)，即可在命令窗口顯示出該角點(diǎn)的信息，包括該角點(diǎn)所屬圖像、索引號(hào)、以方格為單位的坐標(biāo)、圖像坐標(biāo)、反投影后的圖像坐標(biāo)誤差、角點(diǎn)提取區(qū)域的窗口半寬m和半高n。選擇角點(diǎn)后在命令窗口顯示的信息：Selectedimage:5Selectedpointindex:51Patterncoordinates(inunitsof(dX,dY)):(X,Y)=(11,8)Imagecoordinates(inpixel):(426.32,261.58)Pixelerror=(-0.05908,0.17309)Windowsize:(wintx,winty)=(6,6)(6)反投影到圖像空間完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Projectonimage”鍵，在Matlab命令窗口出現(xiàn)“Number(s)ofimage(s)toprocess([]=allimages)=”時(shí)，輸入要進(jìn)行反投影的靶標(biāo)圖像的編號(hào)并回車(chē)。直接回車(chē)表示選用缺省值。選擇缺省值式，對(duì)用于標(biāo)定的所有靶標(biāo)圖像進(jìn)行反投影。選擇圖像后，在新的圖形窗口顯示反投影結(jié)果，并在命令窗口輸出用于標(biāo)定的所有靶標(biāo)圖像的角點(diǎn)反投影的圖像誤差的標(biāo)準(zhǔn)方差。Image6反投影的結(jié)果如圖8所示，其中“+”為角點(diǎn)的圖像坐標(biāo)位置，“o”為角點(diǎn)反投影的圖像坐標(biāo)位置。點(diǎn)擊“Projectonimage”鍵后，在命令窗口顯示的信息如下：Number(s)ofimage(s)toshow([]=allimages)=6Pixelerror:err=[0.665120.41428](allactiveimages)圖7反投影到圖像空間的角點(diǎn)圖像坐標(biāo)誤差圖8Image6的角點(diǎn)反投影結(jié)果(7)圖像畸變校正完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Undistortimage”鍵，則按照畸變系數(shù)對(duì)讀入的所有靶標(biāo)圖像進(jìn)行處理，生成消除畸變后的圖像并保存在toolbox_calib目錄中。生成的消除畸變后的圖像，以原圖像的文件名在基本名和編號(hào)之間插入_rect作為其文件名。圖9所示為Image6的原始圖像和消除畸變后的圖像。(8)增加/刪除圖像在標(biāo)定工具箱操作面板點(diǎn)擊“Add/Suppressimage”鍵，在命令窗口輸入代表增加圖像、刪除圖像的數(shù)字，然后輸入圖像編號(hào)，可以增加/刪除標(biāo)定使用的圖像。(9)重新提取網(wǎng)格角點(diǎn)完成內(nèi)參數(shù)標(biāo)定后，在標(biāo)定工具箱操作面板點(diǎn)擊“Recomp.corners”鍵，在命令窗口輸入角點(diǎn)提取區(qū)域的窗口半寬m和半高n、輸入重新提取網(wǎng)格角點(diǎn)的圖像編號(hào)、選擇沖投影方式后，即可對(duì)所選圖像重新進(jìn)行角點(diǎn)提取。重新進(jìn)行角點(diǎn)提取后，可以再次進(jìn)行內(nèi)參數(shù)標(biāo)定。重新提取網(wǎng)格角點(diǎn)時(shí)采用了以前的標(biāo)定結(jié)果，經(jīng)過(guò)重新提取網(wǎng)格角點(diǎn)再次標(biāo)定后，內(nèi)參數(shù)標(biāo)定精度會(huì)有所提高。如果初次角點(diǎn)提取的效果較好，則重新進(jìn)行網(wǎng)格角點(diǎn)提取的作用不大。點(diǎn)擊“Recomp.corners”鍵后，在命令窗口顯示的信息如下：Re-extractionofthegridcornersontheimages(afterfirstcalibration)Windowsizeforcornerfinder(wintxandwinty):wintx([]=5)=winty([]=5)=Windowsize=11x11Number(s)ofimage(s)toprocess([]=allimages)=Usetheprojectionof3Dgridormanualclick([]=auto,other=manual):Processingimage1...2...3...4...5...done(a)(b)圖9原始圖像和校正后圖像，(a)原始圖像(b)消除畸變后的圖像1.1.4外參數(shù)標(biāo)定是在內(nèi)參數(shù)已知的前提下進(jìn)行的。在完成攝像機(jī)的內(nèi)參數(shù)標(biāo)定后，或者在命令窗口輸入攝像機(jī)的內(nèi)參數(shù)后，可以對(duì)棋盤(pán)格靶標(biāo)相對(duì)于攝像機(jī)的外參數(shù)進(jìn)行標(biāo)定。在標(biāo)定工具箱操作面板點(diǎn)擊“Comp.Extrinsic”鍵，在命令窗口輸入靶標(biāo)圖像名稱(chēng)和圖像格式，再按照1.1.2節(jié)(2)中的過(guò)程提取角點(diǎn)，可實(shí)現(xiàn)靶標(biāo)相對(duì)于攝像機(jī)的外參數(shù)標(biāo)定。外參數(shù)標(biāo)定時(shí)，在命令窗口顯示的信息如下：ComputationoftheextrinsicparametersfromanimageofapatternTheintrinsiccameraparametersareassumedtobeknown(previouslycomputed)Imagename(fullnamewithoutextension):Image1Imageformat:([]='r'='ras','b'='bmp','t'='tif','p'='pgm','j'='jpg','m'='ppm')tExtractionofthegridcornersontheimageWindowsizeforcornerfinder(wintxandwinty):wintx([]=5)=winty([]=5)=Windowsize=11x11Clickonthefourextremecornersoftherectangularcompletepattern(thefirstclickedcorneristheorigin)...SizedXofeachsquarealongtheXdirection([]=30mm)=100SizedYofeachsquarealongtheYdirection([]=30mm)=100Cornerextraction...外參數(shù)標(biāo)定結(jié)果如下：Translationvector:Tc_ext=[-531.674715 400.142025 2019.135937]Rotationvector:omc_ext=[2.258838 -0.002845 0.157413]Rotationmatrix:Rc_ext=[0.992075 -0.055515 0.1127160.051405 -0.639246 -0.7672820.114649 0.766996 -0.631327]Pixelerror:err=[0.14406 0.10000]在外參數(shù)標(biāo)定結(jié)果中，Tc_ext為靶標(biāo)坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的位移向量，單位為mm；omc_ext為對(duì)應(yīng)于姿態(tài)矩陣的rodrigues旋轉(zhuǎn)向量；Rc_ext為旋轉(zhuǎn)矩陣；err為將網(wǎng)格角點(diǎn)反投影到圖像空間的誤差的標(biāo)準(zhǔn)方差，單位為像素。1.1.5在進(jìn)行立體視覺(jué)標(biāo)定之前，按照1.1.2節(jié)方法分別標(biāo)定立體視覺(jué)系統(tǒng)的左、右攝像機(jī)的內(nèi)參數(shù)。左攝像機(jī)采集的圖像及右攝像機(jī)采集的圖像分別命名，左攝像機(jī)采集的圖像命名為left1~left14，右攝像機(jī)采集的圖像命名為right1~right14。左攝像機(jī)內(nèi)參數(shù)的標(biāo)定結(jié)果保存后的Calib_results.mat文件重命名為Calib_Results_left.mat，右攝像機(jī)的標(biāo)定結(jié)果保存后的Calib_results.mat文件重命名為Calib_Results_right.mat。在Matlab命令窗口運(yùn)行stereo_gui指令，彈出圖10所示立體視覺(jué)標(biāo)定工具箱窗口。圖10立體視覺(jué)標(biāo)定工具箱操作面板圖10所示的標(biāo)定工具箱操作面板具有8個(gè)操作命令鍵，其功能如下：(1)“Loadleftandrightcalibrationfiles”鍵：讀入左、右攝像機(jī)的標(biāo)定結(jié)果，并對(duì)左攝像機(jī)相對(duì)于右攝像機(jī)的位姿進(jìn)行初步標(biāo)定。在圖10所示操作面板點(diǎn)擊“Loadleftandrightcalibrationfiles”鍵，在Matlab的命令窗口輸入左攝像機(jī)的標(biāo)定結(jié)果文件名和右攝像機(jī)的標(biāo)定結(jié)果文件名，則在命令窗口顯示下述內(nèi)容：Intrinsicparametersofleftcamera:FocalLength:fc_left=[533.00371533.15260]±[1.076291.10913]Principalpoint:cc_left=[341.58612234.25940]±[1.240411.33065]Skew:alpha_c_left=[0.00000]±[0.00000]=>angleofpixelaxes=90.00000±0.00000degreesDistortion:kc_left=[-0.289470.103260.00103-0.000290.00000]±[0.005960.020550.000300.000370.00000]Intrinsicparametersofrightcamera:FocalLength:fc_right=[536.98262536.56938]±[1.197861.15677]Principalpoint:cc_right=[326.47209249.33257]±[1.365881.34252]Skew:alpha_c_right=[0.00000]±[0.00000]=>angleofpixelaxes=90.00000±0.00000degreesDistortion:kc_right=[-0.289360.10677-0.000780.000200.00000]±[0.004880.008660.000270.000620.00000]Extrinsicparameters(positionofrightcamerawrtleftcamera):Rotationvector:om=[0.006110.00409-0.00359]Translationvector:T=[-99.849290.822210.43647]顯示的結(jié)果中，fc_left是左攝像機(jī)的放大系數(shù)，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc_left為左攝像機(jī)的主點(diǎn)坐標(biāo)，單位為像素。alpha_c_left是對(duì)應(yīng)于左攝像機(jī)的實(shí)際y軸及理想y軸之間的夾角，單位為弧度，默認(rèn)值為0弧度。kc_left為左攝像機(jī)的畸變系數(shù)。fc_right是右攝像機(jī)的放大系數(shù)，即焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)。cc_right為右攝像機(jī)的主點(diǎn)坐標(biāo)，單位為像素。alpha_c_right是對(duì)應(yīng)于右攝像機(jī)的實(shí)際y軸及理想y軸之間的夾角，單位為弧度，默認(rèn)為0弧度。kc_right為右攝像機(jī)的畸變系數(shù)。om為左攝像機(jī)相對(duì)于右攝像機(jī)的姿態(tài)矩陣的rodrigues旋轉(zhuǎn)向量，利用函數(shù)rodrigues可以轉(zhuǎn)換為姿態(tài)矩陣。T為左攝像機(jī)相對(duì)于右攝像機(jī)的位移向量，即左攝像機(jī)坐標(biāo)系原點(diǎn)在右攝像機(jī)坐標(biāo)系中的位移向量，單位mm。rodrigues(om)=[0.9999836315821730.57550.8495-0.54570.999971473651176-0.1843-0.77570.59230.999967387800907](2)“Runstereocalibration”鍵：計(jì)算優(yōu)化后的外參數(shù)。在圖10所示操作面板點(diǎn)擊“Runstereocalibration”鍵，則在Matlab的命令窗口輸出左、右攝像機(jī)的內(nèi)參數(shù)和優(yōu)化后的外參數(shù)。輸出結(jié)果如下所示：Intrinsicparametersofleftcamera:FocalLength:fc_left=[533.52331533.52700]±[0.831470.84055]Principalpoint:cc_left=[341.60377235.19287]±[1.239371.20470]Skew:alpha_c_left=[0.00000]±[0.00000]=>angleofpixelaxes=90.00000?0.00000degreesDistortion:kc_left=[-0.288380.097140.00109-0.000300.00000]±[0.006210.021550.000280.000340.00000]Intrinsicparametersofrightcamera:FocalLength:fc_right=[536.81376536.47649]±[0.876310.86541]Principalpoint:cc_right=[326.28655250.10121]±[1.314441.16609]Skew:alpha_c_right=[0.00000]±[0.00000]=>angleofpixelaxes=90.00000+0.00000degreesDistortion:kc_right=[-0.289430.10690-0.000590.000140.00000]±[0.004860.008830.000220.000550.00000]Extrinsicparameters(positionofrightcamerawrtleftcamera):Rotationvector:om=[0.006690.00452-0.00350]±[0.002700.003080.00029]Translationvector:T=[-99.801981.124430.05041]±[0.142000.113520.49773](3)“ShowExtrinsicsofstereorig”鍵：顯示靶標(biāo)相對(duì)于攝像機(jī)的位姿，如圖11所示。(4)“ShowIntrinsicparameters”鍵：在Matlab的命令窗口顯示左、右攝像機(jī)的內(nèi)參數(shù)和優(yōu)化后的外參數(shù)。(5)“Savestereocalibresults”鍵：將標(biāo)定結(jié)果保存為文件Calib_Results_stereo.mat，存放于toolbox_calib目錄中。(6)“Loadstereocalibresults”鍵：讀入標(biāo)定結(jié)果。從存放于toolbox_calib目錄中的標(biāo)定結(jié)果文件Calib_Results_stereo.mat讀入。(7)“Rectifythecalibrationimages”鍵：按照畸變系數(shù)對(duì)左、右攝像機(jī)采集的所有靶標(biāo)圖像進(jìn)行處理，生成消除畸變后的圖像并保存在toolbox_calib目錄中。生成的消除畸變后的圖像，以原圖像的文件名在基本名和編號(hào)之間插入_rectified作為其文件名。(8)“Exit”鍵：退出立體視覺(jué)標(biāo)定。圖11靶標(biāo)相對(duì)于攝像機(jī)的位姿1.1.6在采用Matlab工具箱的攝像機(jī)標(biāo)定中，內(nèi)參數(shù)標(biāo)定是進(jìn)行其它參數(shù)標(biāo)定的基礎(chǔ)。首先需要完成內(nèi)參數(shù)標(biāo)定，才能進(jìn)行外參數(shù)標(biāo)定或者立體視覺(jué)標(biāo)定、手眼標(biāo)定等。因此，內(nèi)參數(shù)標(biāo)定過(guò)程中需要注意的問(wèn)題，在其它所有的標(biāo)定中都應(yīng)注意。(1)內(nèi)參數(shù)標(biāo)定需要注意的問(wèn)題制作棋盤(pán)格靶標(biāo)時(shí)應(yīng)特別注意，黑色方格及白色方格尺寸需要相同，而且所有方格的尺寸必須嚴(yán)格一致。靶標(biāo)的方格數(shù)量不宜太小，行數(shù)和列數(shù)以大于10為宜。方格的尺寸不宜太大或太小，采集的整幅靶標(biāo)圖像中方格的邊長(zhǎng)尺寸不小于20像素。采集靶標(biāo)圖像時(shí)應(yīng)特別注意，需要在不同的角度不同的位置采集靶標(biāo)的多幅圖像。采集到的圖像必須清晰，靶標(biāo)圖像尺寸以占整幅圖像尺寸的1/3～3/4為宜。靶標(biāo)圖像最好在整幅圖像的不同位置都有分布，不宜過(guò)于集中于同一區(qū)域。靶標(biāo)放置位置及攝像機(jī)之間的距離最好為視覺(jué)系統(tǒng)的主要工作距離。靶標(biāo)相對(duì)于攝像機(jī)的角度應(yīng)有較大范圍的變化，應(yīng)包含繞三個(gè)軸較大角度的旋轉(zhuǎn)，最好不小于30度。采集的靶標(biāo)圖像數(shù)量不應(yīng)太少，建議以10～20幅靶標(biāo)圖像為宜。采集圖像過(guò)程中，攝像機(jī)的焦距不能調(diào)整。因?yàn)榻咕鄬儆跀z像機(jī)的內(nèi)參數(shù)，不同焦距下采集的圖像隱含了不同的內(nèi)參數(shù)，這些圖像放在一起進(jìn)行標(biāo)定不能得到正確的結(jié)果。采集的靶標(biāo)圖像統(tǒng)一命名，由基本名和編號(hào)構(gòu)成，如Image1~Image15。靶標(biāo)圖像的數(shù)據(jù)格式必須相同。將靶標(biāo)圖像拷貝到toolbox_calib目錄中。提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊設(shè)定棋盤(pán)格靶標(biāo)的選定區(qū)域。點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，順序點(diǎn)擊4個(gè)角點(diǎn)形成四邊形。相鄰兩次點(diǎn)擊的角點(diǎn)應(yīng)在同一條網(wǎng)格線(xiàn)上，使得所形成的四邊形的邊應(yīng)及棋盤(pán)格靶標(biāo)的網(wǎng)格線(xiàn)基本平行。為提高點(diǎn)擊的角點(diǎn)的精度，建議將顯示靶標(biāo)圖像的圖像窗口放大到最大，利用鼠標(biāo)的十字標(biāo)線(xiàn)盡可能準(zhǔn)確的點(diǎn)擊4個(gè)角點(diǎn)。攝像機(jī)的實(shí)際y軸及理想y軸之間的夾角c是否標(biāo)定，由est_alpha標(biāo)志位設(shè)定。est_alpha=1時(shí)對(duì)alpha_c進(jìn)行標(biāo)定，est_alpha=0時(shí)不對(duì)alpha_c進(jìn)行標(biāo)定。數(shù)組est_dist(1:5)是畸變系數(shù)kc(1:5)是否標(biāo)定的標(biāo)志，只對(duì)標(biāo)志取值為1的畸變系數(shù)標(biāo)定，標(biāo)志取值為0的畸變系數(shù)不標(biāo)定。默認(rèn)值為est_dist(1:5)=[11110]，即對(duì)畸變系數(shù)kc1～kc4進(jìn)行標(biāo)定，對(duì)kc5不進(jìn)行標(biāo)定，kc5=0。運(yùn)行calib_gui指令后，Matlab處于busy狀態(tài)，Matlab命令窗口不再響應(yīng)其它命令。只有在點(diǎn)擊標(biāo)定工具箱的“Exit”鍵退出標(biāo)定后，Matlab命令窗口才能恢復(fù)響應(yīng)其它命令。(2)外參數(shù)標(biāo)定需要注意的問(wèn)題方格尺寸必須輸入實(shí)際尺寸。提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，得到的外參數(shù)是靶標(biāo)坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位姿。rodrigues旋轉(zhuǎn)向量omc_ext及姿態(tài)矩陣Rc_ext可以利用rodrigues函數(shù)進(jìn)行轉(zhuǎn)換。omc_ext=rodrigues(Rc_ext)，Rc_ext=rodrigues(omc_ext)。(3)立體視覺(jué)標(biāo)定需要注意的問(wèn)題提取角點(diǎn)時(shí)，在圖形窗口利用鼠標(biāo)點(diǎn)擊的第一個(gè)角點(diǎn)作為靶標(biāo)坐標(biāo)系的原點(diǎn)，左右攝像機(jī)對(duì)應(yīng)的靶標(biāo)圖像對(duì)需要選擇相同的第一個(gè)角點(diǎn)作為原點(diǎn)。其他的3個(gè)角點(diǎn)在左右攝像機(jī)的靶標(biāo)圖像中也應(yīng)相同。左右攝像機(jī)采集的圖像數(shù)量必須相同。相同的編號(hào)的左右攝像機(jī)采集的圖像是靶標(biāo)在同一位姿時(shí)左右攝像機(jī)采集的圖像，構(gòu)成一組立體視覺(jué)的靶標(biāo)圖像對(duì)。得到的外參數(shù)是左攝像機(jī)相對(duì)于右攝像機(jī)的位姿，即左攝像機(jī)坐標(biāo)系在右攝像機(jī)坐標(biāo)系中的位姿。運(yùn)行stereo_gui指令后，Matlab命令窗口可以響應(yīng)其它命令。(4)手眼標(biāo)定(Eye-in-Hand)需要注意的問(wèn)題首先進(jìn)行攝像機(jī)的內(nèi)參數(shù)標(biāo)定。在攝像機(jī)內(nèi)參數(shù)標(biāo)定時(shí)，機(jī)器人可以不運(yùn)動(dòng)，通過(guò)改變靶標(biāo)的位置和姿態(tài)采集10～20幅靶標(biāo)圖像。角點(diǎn)提取時(shí)，不需要具有相同的靶標(biāo)坐標(biāo)系原點(diǎn)。然后進(jìn)行外參數(shù)標(biāo)定。靶標(biāo)固定不動(dòng)，較大幅度的改變機(jī)器人的位姿，采集5～10幅靶標(biāo)圖像。角點(diǎn)提取時(shí)，對(duì)采用的5～10幅靶標(biāo)圖像必須選擇相同的靶標(biāo)坐標(biāo)系原點(diǎn)，并具有相同的靶標(biāo)坐標(biāo)軸方向。得到的外參數(shù)為靶標(biāo)坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位姿。利用攝像機(jī)的內(nèi)參數(shù)、機(jī)器人的末端位姿(或工具坐標(biāo)系位姿)、對(duì)應(yīng)于機(jī)器人位姿的靶標(biāo)坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的位姿，計(jì)算出攝像機(jī)坐標(biāo)系相對(duì)于機(jī)器人末端坐標(biāo)系(或工具坐標(biāo)系)的位姿。具體計(jì)算方法可以利用最小二乘法。機(jī)器人的位姿從機(jī)器人控制器中讀取，一般為6維向量。其姿態(tài)部分一般為繞X、Y、Z軸的旋轉(zhuǎn)角度，對(duì)應(yīng)的3個(gè)旋轉(zhuǎn)變換的相乘順序可以查閱機(jī)器人說(shuō)明書(shū)，或者通過(guò)特定的末端位姿進(jìn)行驗(yàn)證。1.2OpenCV攝像機(jī)標(biāo)定工具箱OpenCV網(wǎng)站說(shuō)明文檔：doc/2.3.2/html/doc/tutorials/calib3d/camera_calibration/camera_calibration.htmlOpenCV中文網(wǎng)站攝像頭標(biāo)定：攝像頭標(biāo)定張正友標(biāo)定算法：本文完整的程序代碼(運(yùn)行環(huán)境VS2019+opencv2.3.1)：/1kTvCsb91.2.1標(biāo)定模型OpenCV內(nèi)參數(shù)標(biāo)定采用的模型如式(1-3)所示，Brown畸變模型如式(1-4)所示。(1-3)式中：(u,v)是特征點(diǎn)的圖像坐標(biāo)，(xc,yc,zc)是特征點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)，kx、ky是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)到圖像坐標(biāo)的放大系數(shù)，(u0,v0)是光軸中心點(diǎn)的圖像坐標(biāo)即主點(diǎn)坐標(biāo)，(xc1,yc1)是焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)。ky=akx，a是縱橫比系數(shù)。(1-4)式中：(ud,vd)是具有畸變相對(duì)于主點(diǎn)的圖像坐標(biāo)，(ud,vd)=(u,v)-(u0,v0)，(ud,vd)是消除畸變后相對(duì)于主點(diǎn)的圖像坐標(biāo)，(ud,vd)=(u,v)-(u0,v0)，(u,v)是消除畸變后的圖像坐標(biāo)，k1是2階徑向畸變系數(shù)，k2是4階徑向畸變系數(shù)，k3是6階徑向畸變系數(shù)，p1、p2是切向畸變系數(shù)，r為圖像點(diǎn)到主點(diǎn)的距離，r2=ud2+vd2。標(biāo)定結(jié)果給出的畸變系數(shù)為[k1,k2,p1,p2,k3]。由于k3主要針對(duì)及畸變較大的鏡頭，例如魚(yú)眼鏡頭，所以一般情況下該值取0。1.2.2(1)首先加載多幅棋盤(pán)格靶標(biāo)圖像并設(shè)置棋盤(pán)格靶標(biāo)的內(nèi)角點(diǎn)參數(shù)。標(biāo)定過(guò)程中，需要不同視角下拍攝的棋盤(pán)格靶標(biāo)的圖像，如圖12所示。其中，內(nèi)角點(diǎn)是指黑色方塊相互聯(lián)通位置的角點(diǎn)，圖12所示棋盤(pán)格靶標(biāo)的內(nèi)角點(diǎn)數(shù)量為9×6。//設(shè)置棋盤(pán)格X方向上的角點(diǎn)個(gè)數(shù)ChessBoardSize.width=9;//設(shè)置棋盤(pán)格Y方向上的角點(diǎn)個(gè)數(shù)ChessBoardSize.hight=6;//設(shè)置棋盤(pán)格子的邊長(zhǎng)，單位為mmfloatSquareWidth=30;//利用cvLoadImage函數(shù)加載圖像chessBoard_Img=cvLoadImage(,1);(a)(b)圖12不同視角下拍攝的棋盤(pán)格圖像(2)對(duì)棋盤(pán)格靶標(biāo)圖像進(jìn)行特征點(diǎn)提取。選用cvFindChessboardCorners函數(shù)提取一幅靶標(biāo)圖像的角點(diǎn)特征。當(dāng)一幅靶標(biāo)圖像的角點(diǎn)正確提取后，再調(diào)用函數(shù)cvFindCornerSubPix可以進(jìn)行亞像素圖像特征的提取。依次對(duì)每一幅靶標(biāo)圖像進(jìn)行角點(diǎn)特征提取。然后，調(diào)用cvDrawChessboardCorners函數(shù)，可以在棋盤(pán)格靶標(biāo)圖形上繪制出檢測(cè)到的角點(diǎn)。繪制的圖像如圖13所示。//獲取棋盤(pán)格靶標(biāo)中的角點(diǎn)，如果所有角點(diǎn)都被檢測(cè)到且它們都被以一定順序排布（一行一行地，每行從左到右），函數(shù)返回非零值，否則在函數(shù)不能發(fā)現(xiàn)或者記錄所有角點(diǎn)的情況下，函數(shù)返回0。find_corners_result=cvFindChessboardCorners(current_frame_gray,//棋盤(pán)格的灰度圖像，將chessBoard_Img進(jìn)行轉(zhuǎn)換得到 ChessBoardSize,//棋盤(pán)格每行角點(diǎn)的個(gè)數(shù)和每列角點(diǎn)的個(gè)數(shù) &corners[captured_frames*NPoints],//檢測(cè)到的角點(diǎn)坐標(biāo) &corner_count[captured_frames],//檢測(cè)到的角點(diǎn)的個(gè)數(shù) CV_CALIB_CB_ADAPTIVE_THRESH);//使用自適應(yīng)閾值//通過(guò)迭代方法求取具有子象素精度的角點(diǎn)位置cvFindCornerSubPix(current_frame_gray,//棋盤(pán)格靶標(biāo)的灰度圖像 &corners[captured_frames*NPoints],//檢測(cè)到的角點(diǎn)坐標(biāo) NPoints,//單幅圖像中角點(diǎn)的個(gè)數(shù) cvSize(5,5),cvSize(-1,-1),//不忽略corner臨近的像素進(jìn)行精確估計(jì)， cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,30,//最大迭代次數(shù)（iteration）0.01));//最小精度（epsilon）//在棋盤(pán)格靶標(biāo)圖像上繪制檢測(cè)到的角點(diǎn) cvDrawChessboardCorners(current_frame_rgb,//顯示繪制結(jié)果的圖像ChessBoardSize,//棋盤(pán)格靶標(biāo)中每行和每列角點(diǎn)的個(gè)數(shù)（9×6） &corners[captured_frames*NPoints],//檢測(cè)到的角點(diǎn)坐標(biāo) NPoints,//單幅圖像角點(diǎn)的個(gè)數(shù) find_corners_result);//角點(diǎn)檢測(cè)成功標(biāo)志圖13將角點(diǎn)繪制在棋盤(pán)格上的效果圖(3)求取角點(diǎn)的三維世界坐標(biāo)。每一幅圖像檢測(cè)的角點(diǎn)對(duì)應(yīng)于相同的世界坐標(biāo)系，世界坐標(biāo)系以最左上方的角點(diǎn)為原點(diǎn)。例如圖13中，最左上方的角點(diǎn)世界坐標(biāo)為(0，0，0)，其右邊相鄰角點(diǎn)的世界坐標(biāo)為(30，0，0)，其下方相鄰角點(diǎn)的世界坐標(biāo)為(0，30，0)。依次類(lèi)推，可以得到所有角點(diǎn)的世界坐標(biāo)。注意所有角點(diǎn)的Z坐標(biāo)為0，這是因?yàn)槠灞P(pán)格靶標(biāo)位于Z=0的平面上。(4)計(jì)算攝像機(jī)內(nèi)參數(shù)。運(yùn)行cvCalibrateCamera2函數(shù)實(shí)現(xiàn)攝像機(jī)內(nèi)參數(shù)的標(biāo)定。實(shí)際標(biāo)定時(shí)，采集10～20幅棋盤(pán)格靶標(biāo)圖像可以很好地實(shí)現(xiàn)攝像機(jī)的參數(shù)標(biāo)定。應(yīng)當(dāng)注意，多幅靶標(biāo)圖像必須在不同距離不同視角下進(jìn)行采集。//攝像機(jī)標(biāo)定cvCalibrateCamera2(object_points,//角點(diǎn)的三維世界坐標(biāo) image_points,//角點(diǎn)的圖像坐標(biāo)，由corners[]轉(zhuǎn)換得到 point_counts,//角點(diǎn)的數(shù)目，由corner_count[]轉(zhuǎn)換得到 cvSize(image_width,image_height),//圖像尺寸 intrinsics,//輸出的攝像機(jī)內(nèi)參數(shù) distortion_coeff,//輸出的攝像機(jī)畸變系數(shù) rotation_vectors,//攝像機(jī)外參數(shù)中的旋轉(zhuǎn)向量 translation_vectors,//攝像機(jī)外參數(shù)中的平移向量 0); //額外選項(xiàng)利用圖12所示的10幅不同角度和位置的靶標(biāo)圖像進(jìn)行了內(nèi)參數(shù)標(biāo)定，結(jié)果為：畸變系數(shù)為：[-0.13180.4704-0.0017-0.0027](5)圖像重投影。獲得攝像機(jī)的內(nèi)參數(shù)、畸變系數(shù)和變換矩陣后，利用函數(shù)cvProjectPoi