基于hancon雙目立體視覺焊縫檢測

1、基于halcon的雙目立體視覺焊縫檢測基于halcon的雙目立體視覺焊縫檢測現(xiàn)代焊接生產(chǎn)中，對焊接技術和質(zhì)量的要求愈來愈高。自動化和 智能化在焊接生產(chǎn)上的應用日趨廣泛。近年來圖像處理技術和機器視覺技術得到空前的發(fā)展，如果把機 器視覺技術用在焊縫成形質(zhì)量評判中， 可以提高評判效率，為焊接質(zhì) 量評判的智能化打下基礎。機器視覺是運用計算機來模擬人的視覺， 從不同事物的圖像中獲取信息，進行相應處理并加以分析、理解，最 終應用于實際的檢測與測量等。機器視覺檢測和測量方法不但可以有 效提高生產(chǎn)效率與自動化程度，且易于實現(xiàn)信息的集成，從而滿足數(shù) 字化自動化生產(chǎn)的要求。機器視覺中的立體視覺技術把二維景物的分析

2、推廣到了三維景 物，該項技術可方便實現(xiàn)從圖像獲取到三維景物表面重建的完整體 系，對于整個機器視覺的發(fā)展具有重要意義。 雙目立體視覺是立體視 覺中的一個重要的分支，它直接模擬人視覺處理景物的方式， 可以在 各種條件下靈活地測量景的立體信息。2雙目視覺檢測2.1 基本理論如圖1所示，設點 防空間焊縫某一特征點，該點在兩相機平面O1和O2的投影點依次為P1和P2。好、圖1雙目視覺原理根據(jù)空間解析幾何理論，很顯然，式（3）中的4個方程均具有平 面解析式的形式，前2方程代表2平面相交，得到的是直線O1P1P的 方程，同理直線02P2P的方程由后2個方程得出。兩直線方程相交， 即可求出P點的空間三維坐標。

3、可見，若采用單相機模型，則理論上僅能解出一條直線的空間方 程，無法得出空間點的準確三維坐標， 而雙目視覺理論則能夠克服這 個缺陷，從而使焊縫的精確測量有了可能。2.2 圖像處理為實現(xiàn)準確測量的目的，必須對采集到的圖像進行數(shù)字化處理。首先，經(jīng)過相機采集到的焊縫圖像不可避免地存在一些污染痕跡，這些痕跡會對有效捕捉焊縫特征點產(chǎn)生影響，這在計算機圖形學中被稱 之為噪點，要進行降噪處理以剔除噪點。其次，初步采集到的圖像為 全信息圖像，欲提取有效焊縫信息，必須對圖像進行二值化處理，以便計算機有效區(qū)分焊縫輪面坐標系 OXlYl, O XrYr的轉換矩陣分別為Ml和Mr,那么根據(jù)透鏡成像原理,針對左右相機，可

4、得如下2個方程:U1V111=MX Y Z1lmulm21l m311l m12 l m22l m321l m13l m23l m331l m14 l m24l m341XYZ1U2V2 11=MX r YZ1r m11r m21r m311r m12 r m22 r m321rm13rm23rm331rm14rm24rm341XYZ1式中：(u1 , v1, 1)和(u2, v2, 1)依次為pl和p2的齊次相機平面坐標；(X, Y, Z, 1 )為點P在空間絕對坐標系中的齊次坐標。將式(1)和式(2)展開并聯(lián)立有:l(U1m|31 l(V1m31(U1m|31r (V1m|311mn)X1

5、m21)Xm：)Xrm21)Xl (U1m|32 l (V1m|32 (um31 r (V1m|32l、， m12)Y l m22)Y m；1)Yrm22)Yl (U1m|33 l (V1 m33 (Um31r (V1m|33lm13)Zlm23)Zrmn)Zrm2)Zl mi4 l m24r m14r m24lU34lu34(3)U34ru342.3 焊縫檢測設P和Q為焊縫圖像邊緣上的2個像素點，其經(jīng)過計算得出的三維坐標為(XP, YP, ZP)和(XQ, YQ, ZQ),那么，根據(jù)空間2點距離公式有四口 Q兩點間的距離為：:222d (Xp Xq) (Yp Yq) (Zp Zq)由此，可計

6、算焊縫邊緣上任意兩點的距離。 垂直于焊縫軸線并與 其輪廓相交的線段長度可認為是焊縫寬度， 同時已知空間點坐標也可 計算曲線長度，從而有效計算長度。焊縫高度信息可由左右相機采集到校正后圖像立體匹配之后得 到的深度圖中圖像灰度值的變化得到3焊縫檢測系統(tǒng)為實現(xiàn)對焊縫檢測，需要一套完備的軟硬件系統(tǒng)，系統(tǒng)主要結構 模塊包括圖像采集模塊、圖像處理模塊、雙目視覺計算模塊以及最后 的焊縫尺寸計算模塊。下面分別對各個模塊進行詳細介紹。3.1 圖像采集模塊橋面裂縫檢測雙目視覺測量系統(tǒng)圖像采集模塊的核心是雙目相 機。本系統(tǒng)兩個CCDEC業(yè)相機，將兩個US級業(yè)相機固定在支架上與 計算機相連，同過調(diào)用halcon程序即

7、可同時采集兩幅清晰的焊縫縫圖 像。3.2 圖像處理模塊圖像處理的步驟為：1)通過在程序中多次調(diào)用算子 mean_image對圖像進行均值濾波處理，從而剔除對檢測結果不利的噪點。2）利用算子emphasize對降噪后的圖像進行增強處理，為裂縫邊緣檢測做準備3）利用算子var_threshold進行自動閾值分害U ,進而利用算子region_to_bin對圖像進行二值化，二值化后圖像如圖 2所示。圖2二值化焊縫圖像4）由圖2可知焊縫二值化圖像效果較差，因此在程序中利用形態(tài)學算子closing_circle對圖像進行閉運算得到效果較好的二值化圖像如圖4所示。留開一湎口. 1 方找FedUtni 口串

8、 的力陶適應寄口扇1國、»，舔圖3二值化圖像5）由圖3可知改進后的二值化圖像雖仍具有許多孔洞，但利用圖3已可以提取焊縫的左右邊緣。在程序中利用halcon算子 threshold_sub_pix即可根據(jù)二值化圖像提取出圖像中的輪廓信息， 接著通過使用算子select_shape_xld通過對輪廓位置及長度的篩選， 提取出焊縫的左右輪廓并濾掉由二值化圖像中不需要的孔洞帶來的 其他輪廓。提取出的輪廓如圖4所示。6）根據(jù)提取出的焊縫的兩個輪廓，利用算子distance_cc可計算出兩輪廓間最長與最短的坐標距離。303 -弋11 票爵弧m蜷 E,0 4西4 % 國語區(qū)百口 ”國M »

9、; ：»加（圖4焊縫左右輪廓3.3雙目視覺計算模塊3.3.1 相機標定3.1 節(jié)中對雙目視覺基本理論與坐標計算方法作了介紹，其中轉 換矩陣Ml和Mr中的某些參數(shù)是相機的固有屬性，稱為內(nèi)參數(shù)（如鏡頭 畸變系數(shù)），這些參數(shù)是已知的。而將三維空間點投影到二維平面過 程中的平移矩陣和旋轉矩陣中的參數(shù)是未知的，為求解這些參數(shù)，以及得到相機實際內(nèi)參需要在檢測前對相機進行標定。本文采用自制10cm標定板機halcon標定函數(shù)對左右相機進行標定。經(jīng)標定之后，相機的內(nèi)外參數(shù)即可求得，代入Ml和Mr矩陣，即 可參與計算。3.3.2 圖像匹配與尺寸計算以上分析可見，空間點P的三維坐標是通過這一點在左右相機

10、平 面上的二維坐標計算可得。因此，從理論上講，必須精確尋得點P在 左右相機平面中的像點，才能進行準確計算。這一過程稱為圖像的匹 配過程。本文中采用halcon自帶函數(shù)binocular_disparity即可實現(xiàn)圖 像的匹配。經(jīng)匹配計算之后，即可得出同一空間點在兩相機平面中的 二維坐標。然后即可得到圖像坐標之間與實際物理距離之間比值關系 K,根據(jù)比例K及上節(jié)計算得到的輪廓之間的坐標距離，即可得到兩輪廓間的實際物理距離。將實際得到的結果在halcon圖形窗口中顯示如下:周出窗口一油;0- 3彳 « q q 網(wǎng)送困 囤加，» »用|焊縫最大寬膜7829吵伽焊縫高度3：