機器視覺技術及應用 課件 第六章 機器視覺測量

機器視覺測量第六章第六章機器視覺測量相機標定6.1項目任務6.2拓展任務6.3第六章

機器視覺測量相機標定016.1相機標定?相機標定的原理世界坐標系：點在真實世界中的位置，描述相機位置。相機坐標系：以相機sensor中心為原點，建立相機坐標系。圖像物理坐標系：經(jīng)過小孔成像后得到的二維坐標系。圖像像素坐標系：成像點在相機sensor上像素的行數(shù)和列數(shù)，原點為圖像左上角，不帶有任何物理單位，或者說單位是pixel。光軸與圖像平面的交點為主點。各種坐標系圖解6.1相機標定?相機標定的原理6.1相機標定?相機標定的原理

則從世界坐標系到像素坐標系其中Z為一常數(shù)，f為攝像機的焦距，單位一般是mm。dx,dy為每個像素點在圖像坐標系x軸，y軸上的尺寸，單位是毫米/每像素，是每個sensor的固有參數(shù)。芯片的中心并不在光軸上，安裝的時候總會有些誤差。兩個新的參數(shù)(u0,v0)，代表主點在像素坐標系下的偏移。6.1相機標定?相機標定的原理

M1為相機內(nèi)參，包括相機的焦距，光軸與圖像平面的焦點位置等內(nèi)部參數(shù)，和外部因素無關，因此稱為內(nèi)參，主要包含4個參數(shù)：f/dx、f/dy、u0、v0。M2為相機外參，表征世界坐標系到相機坐標系的位置轉(zhuǎn)換關系，是相機在世界坐標系下的位置姿態(tài)矩陣，認為是攝像機的外參，為6個參數(shù)（R3×3，T3×1）。則從世界坐標系到像素坐標系6.1相機標定?相機標定的原理通過透鏡后物點在實際的成像平面上的像與理想成像之間存在一點畸變誤差，導致原始圖像的失真，如圖所示。誤差主要存在徑向畸變和切向畸變兩種。其他類型的畸變，沒有徑向畸變、切向畸變顯著。徑向畸變是由于相機的透鏡形狀造成的，切向畸變則是整個相機的組裝過程中造成的。影響鏡頭畸變的參數(shù)一共有5個，徑向畸變3個，切向畸變2個。這5個參數(shù)和M1一起，都是需要標定的相機內(nèi)參。常見扭曲類型6.1相機標定?相機標定的方法相機標定方法主要有：標定物標定法、主動視覺相機標定方法、相機自標定法。主動視覺相機標定法：是指已知相機的某些運動信息對相機進行標定。該方法不需要標定物，但需要控制相機做某些特殊運動，利用這種運動的特殊性可以計算出相機內(nèi)部參數(shù)。相機自標定方法：并不需要知道圖像點的三維坐標，它通過計算某一點在不同拍攝角度的場景圖中的相對關系來確定相機標定的參數(shù)問題。標定物標定法：不僅需要明確標定物大小、形狀，還要確定物體表面的特殊點坐標。典型的有張正友平面標定法等。張氏標定法是使用二維方格組成的標定板進行標定。采集標定板不同位姿圖片，提取圖片中角點像素坐標，通過矩陣計算出相機的內(nèi)外參數(shù)初始值。該方法介于基于主動視覺相機標定法和自標定法之間，既克服了基于主動視覺的相機標定法需要的高精度三維標定物的缺點，又解決了自標定法魯棒性差的難題。不僅使用靈活方便，而且精度很高，魯棒性好。因此很快被全世界廣泛采用。標定張正友博士1999年，發(fā)表在國際頂級會議ICCV上的論文中，提出的一種利用平面棋盤格進行相機標定的實用方法。目前，這一標定法在全世界被普遍采用。標定張氏標定法棋盤格和圓點格標定板標定標定工具CalibCheckboradTool1）參數(shù)設置。2）抓取校正圖像。3）計算校正。標定校準板原點校準板可以有一個原點，以兩個交叉矩形表示。如果找到，該點將成為原始校準空間的原點。標定非線性轉(zhuǎn)換兩者圖像的差異標定運行結(jié)果6.1相機標定?相機標定的視覺標定工具1.CogCalibCheckerboardTool標定棋盤格和圓點格標定板棋盤格標定工具只能與滿足特定尺寸要求的標定板一起使用。對于棋盤格標定板，黑白方塊必須以交叉圖案方式排列，黑白方塊必須具有同樣的尺寸。黑白塊的長寬比應該在0.90到1.10的范圍內(nèi)。所采集的圖像必須包括至少9個完整方塊，方塊必須至少為15×15像素。6.1相機標定?相機標定的視覺標定工具2.CogCalibNPointToNPointTool標定CogCalibNPointToNPointTool工具同兩組點來校正圖像，一組點為像素坐標點，另一組點是像素坐標點對應的物理坐標點第六章

機器視覺測量項目任務026.2項目任務?鋰電池尺寸測量任務要求：（1）對視野范圍內(nèi)的電池塊進行定位，能夠在視野下準確找到鋰電池塊；（2）對鋰電池進行標定處理，學習標定的概念和基本操作流程；（3）測量鋰電池塊的長和寬，判斷是否合格；（4）測量鋰電池塊中心點到右側(cè)邊緣距離；（5）將鋰電池的尺寸、是否合格等數(shù)據(jù)顯示到界面上。程序流程設計一、項目任務二、任務實施1.硬件配置2.

項目任務流程設計3.進行HMI界面設計?鋰電池尺寸測量取像工作流程2.項目任務流程設計（1）程序觸發(fā)（2）取像（3）視覺任務配置（4）添加結(jié)果圖像2.項目任務流程設計?視覺任務配置1）配置輸入圖像。2）轉(zhuǎn)換成灰度圖像。3）標定。2.項目任務流程設計?標定添加“CogCalibCheckerboardTool”工具，用棋盤格標定。將棋盤格標定片置于相機視野中，采集拍攝圖片。雙擊打開“CogCalibCheckerboardTool”工具，對相關參數(shù)進行配置，并進行校正。在標定的時候，將標定板圖像傳遞給CogCalibCheckerboardTool的Current.Inputimage。校正板的塊尺寸X、Y填上格子寬度即可，單位為mm。校準板可以有一個原點，以兩個交叉矩形表示，如圖所示。如果找到，該點將成為原始校準空間的原點。如果沒有找到，原始校準空間的原點是最接近校準圖像中心的頂點。2.項目任務流程設計?標定在“校正”界面中，將塊尺寸X、Y和標定片棋盤格的尺寸保持一致，如3×3mm。點擊“抓取校正圖像”，將待校正圖像從Current.Inputimage傳遞給Current.CalibrationImage。然后，點擊“計算校正”。運行工具，生成校正空間。2.項目任務流程設計?標定計算校正完成時，注意查看“轉(zhuǎn)換結(jié)果”頁面的RMS誤差，如圖所示。該誤差表示將提取到的角點與利用轉(zhuǎn)換關系計算的角點之間在未校正空間上的均方根誤差，其數(shù)值一般在0~1之間，如果誤差較大則說明標定過程存在問題。2.項目任務流程設計?標定CogCalibCheckboardTool中包含標定時圖像、當前輸入圖像、輸出圖像、未標定點的圖像坐標與原始坐標系下特征點的物理坐標以及最重要的坐標轉(zhuǎn)換關系數(shù)據(jù)。校正空間生成后，只要將校準的輸出圖像傳遞給其他工具的輸入圖像，即可使用校準結(jié)果。此時，即使更換輸入圖像源，輸入圖像也可采用校正空間。將校正的輸出圖像“CogCalibCheckboardTool1.OutputImage”傳遞給PMAlignTool和FixtureTool。輸入圖像可采用校正空間，形成標定的特征坐標系。2.項目任務流程設計?視覺任務配置1）配置輸入圖像。2）轉(zhuǎn)換成灰度圖像。3）標定。4）特征提取。添加“CogPMAlignTool”工具，調(diào)整相關參數(shù)，進行模板匹配。在“抓取訓練圖像”時，注意把鋰電池中每張圖像不一致的特征掩膜過濾掉，如中間的文字和二維碼。在“所選空間名稱”欄目選擇校正空間--“@\CheckerboardCalibration”。5）建立圖像特征坐標系。使用CogFixtureTool，建立標定后的圖像特征坐標系（@\CheckerboardCalibration\Fixture）。將形成的特征坐標系圖片輸出，提供后續(xù)工具參照使用。2.項目任務流程設計?CogCalipTool工具6）卡尺測量長度。使用CogCalipTool工具測量長度。VisionPro視覺軟件中的卡尺工具(CogCalipTool)利用邊緣檢測原理，來測量物體的寬度、邊緣或特征的位置，邊對的位置及寬度等。與其他視覺工具不同的是，CogCaliperTool工具需要預先知道待測邊緣或特征的大概位置和特點。CogCaliperTool原理就是將二維空間投影轉(zhuǎn)化成一維空間。沿著規(guī)定方向中的平行光線添加像素灰度值，形成一維投影圖像?？ǔ吖ぞ咴硐葘⒍S空間投影轉(zhuǎn)化成一維空間，在一維空間中進行邊緣檢測。卡尺工具原理創(chuàng)建投影圖像，應用邊線篩選，從輸入圖像中消除噪音，返回得分最高的邊緣?？ǔ吖ぞ咴硗ㄟ^使用一個篩選算子遍歷一維投影圖像來執(zhí)行篩選?？ǔ吖ぞ咴砗Y選寬度=6尖邊線（1個像素寬）鈍邊線（5個像素寬）篩選寬度=2篩選寬度=4篩選尺寸接近邊線尺寸生產(chǎn)較強的邊線峰值，篩選尺寸太大或者太小會減少峰值卡尺工具操作方法定義目標區(qū)域設置基本參數(shù)選擇并建立計分標準測試并評價結(jié)果卡尺工具操作方法卡尺區(qū)域指圖像中探測到邊線的區(qū)域，在圖形上由輸入圖像中的藍色方框表示掃描方向投影方向旋轉(zhuǎn)手柄傾斜手柄重新調(diào)整手柄的大小定義目標區(qū)域2.項目任務流程設計?卡尺測量原理CogCaliperTool工具操作方法包括：設置搜索區(qū)域、設置卡尺參數(shù)、計分設置、運行、查看結(jié)果。應用CogCaliperTool工具的第一步就是在待測位置設定一個投影區(qū)域，投影區(qū)域包含了感興趣特征，投影操作綜合投影區(qū)域內(nèi)的所有信息。增強與投影方向平行的邊緣特征并減弱噪聲的影響。辨識目標區(qū)域中的目標邊線必須與投影方向平行。掃描方向投影方向旋轉(zhuǎn)手柄傾斜手柄重新調(diào)整手柄的大小定義目標區(qū)域定義目標區(qū)域區(qū)域標準：包含目標邊線邊線必須與投影方向平行可能必須旋轉(zhuǎn)在可能時，不包括目標邊線以外的特征可能必須傾斜投影方向投影方向區(qū)域卡尺工具操作方法設置基本參數(shù)卡尺工具操作方法設置對比度閾值卡尺工具操作方法計分尺寸函數(shù)：?Size_Diff_Norm：|w-d|/w?Size_Norm：d/w?Size_Diff_Norm_Asym：(w-d)/ww=邊線模型的寬度d=邊線對子的寬度2.項目任務流程設計?卡尺測量原理計分即為采用應用到該邊線探測的計分方法，給最滿足預期邊線的邊線對象打可能的最高分。VisionPro卡尺有主要三種計分函數(shù)，通過選定的函數(shù)計算出我們需要查找的邊。這三種計分函數(shù)分別是：對比度、位置、尺寸。對比度函數(shù)：指所找線條兩側(cè)顏色的色差值，以像素值的變化來表示。位置函數(shù)：指的是卡尺線沿搜索方向的線條到卡尺的距離（單位像素）。位置是邊緣與投影窗口的中心之間的距離。尺寸函數(shù)：相對前兩個函數(shù)功能稍弱。它是沿搜索方向在卡尺框內(nèi)抓取第一根符合條件的線。有幾種尺寸計算方式，SizDiffNorm、SizeNorm、SizeDiffNormAsym等。

跨立是指邊線是否跨過投影窗口的中心。如果是，得分為1；卡尺工具操作方法運行結(jié)果2.項目任務流程設計?卡尺測量步驟①設置投影區(qū)域：在“區(qū)域”欄，選擇“CogRectangleAffine”（仿射矩形），即可旋轉(zhuǎn)和傾斜的矩形，選擇空間為校正空間（“@\CheckerboardCalibration\Fixture”）。用這矩形在校正空間中框選卡尺需要測量的待測區(qū)域。2.項目任務流程設計?卡尺測量步驟②設置邊緣模式：可設置為查找單個邊緣或邊緣對。為了確保CogCaliperTool工具找到的邊符合我們的期望，可以設置邊緣極性(從暗到明或從明到暗)、邊緣相對于原點的位置、以及邊緣對的寬度等參數(shù)。選擇單個邊線或者邊線對子然后指出預期的極性。對于邊線對子，還需要規(guī)定邊線之間的預期距離。2.項目任務流程設計?卡尺測量步驟③設置對比度閾值：小于對比度閾值的邊會被忽略，大于對比度閾值的邊被保留。④過濾一半像素：此參數(shù)主要用于邊緣篩選，其目的是消除噪聲和增強峰值。⑤最大結(jié)果數(shù)n：只從備選邊種保留最強n條邊，如果備選邊不足n，則全部保留。2.項目任務流程設計?卡尺測量結(jié)果⑥運行卡尺工具后，顯示找到的邊線在報告的邊線處的LastRun.InputImage中繪制綠線。其余結(jié)果圖形在LastRun.RegionData中顯示，顯示仿射轉(zhuǎn)換圖像將像素從區(qū)域添加到區(qū)域數(shù)據(jù)(RegionData)。如圖所示，通過左邊的參數(shù)調(diào)整，能夠在右邊RegionData區(qū)域數(shù)據(jù)中，直觀地顯示是否找到邊線（綠線）和具體所在位置。⑦“結(jié)果”欄目中，該邊線或邊線對就某個計分函數(shù)所得的得分按照從高到低的順序?qū)y量結(jié)果顯示在結(jié)果表格中。2.項目任務流程設計?卡尺測量結(jié)果輸出將測量的結(jié)果添加到工具的輸出端。選中卡尺工具，右鍵點擊選中并打開“添加終端”界面。選擇“所有（未過濾）”，找到Results<CogCalipResults>下的Results.Item[0].Width，點擊“添加輸出”即可。將CogCalipTool測量工具的輸出鏈接到整個工具（003_ToolBlock）的終端輸出“Outputs”，命名為“Length”。7）卡尺測量寬度。使用CogCalipTool工具測量寬度。2.項目任務流程設計?視覺任務配置8）測量中心距。測量中心距的流程是：依次找到鋰電池的4個角點（A、B、C、D），然后找到對角線（AC、BD），由對角線找到中心點，也即兩個對角線的交點（AC-BD），然后找到鋰電池的邊線AB，由中心點和邊線，測量其中心距。2.項目任務流程設計?測量中心距①定位角點。添加CogFindCornerTool，選擇標定輸出的特征坐標系（@\CheckerboardCalibration\Fixture）。如圖6-19所示，設置卡尺參數(shù)，包括卡尺數(shù)量、搜索長度、投影長度等，以便能夠準確地找到鋰電池塊的角點。2.項目任務流程設計?測量中心距重復添加4個CogFindCornerTool，直至鋰電池塊的4個頂點都找到。為了很好地辨識各個頂點，4個工具名可以依次命名為CogFindCornerTool-A、CogFindCornerTool-B、CogFindCornerTool-C、CogFindCornerTool-D。②定位對角線。使用CogFitLineTool，添加兩個頂點（A、C）坐標輸入項，得到對角線AC。同樣，達到對角線BD。③定位中心點。使用IntersectLineLineTool，添加輸入項（即對角線AC、BD），得到交叉點，即中心點（AC-BD）坐標。④定位邊線。使用CogFindLineTool，調(diào)整相關參數(shù)，準確地找到鋰電池塊右側(cè)（長邊）邊線AB。⑤測量中心點至邊線距離。使用DistancePointLineTool，添加中心點（AC-BD）和右側(cè)邊線輸入項（AB），測量出中心點到右側(cè)邊線的距離，并且將這個距離（Distance）鏈接到整個工具（“003_ToolBlock”的終端輸出“Outputs”，命名為“Distance”。2.項目任務流程設計?視覺任務配置9）測量距離公差分析。添加ResultsAnalysis工具，對所測量的鋰電池塊的長和寬進行分析判斷。如圖所示，把經(jīng)卡尺測量的長和寬測量值添加到ResultAnalysis工具的兩個輸入Input-Length,Input-Width。公稱長度56mm，寬38mm，公差為±0.2mm。2.項目任務流程設計?判斷結(jié)果輸出將判斷輸出結(jié)果輸出。選擇左側(cè)工具樹中的“CogResultsAnalysisTool1”，鼠標右鍵點擊，選擇“添加終端”，在成員瀏覽下，在“所有（未過濾）”下，依次選擇“CogResultsAnalysisTool→Result<CogResultsAnalysisTool>→E