基于hancon雙目立體視覺焊縫檢測

1、基于halcon的雙目立體視覺焊縫檢測基于halcon的雙目立體視覺焊縫檢測現(xiàn)代焊接生產(chǎn)中，對焊接技術(shù)和質(zhì)量的要求愈來愈高。自動(dòng)化和 智能化在焊接生產(chǎn)上的應(yīng)用日趨廣泛。近年來圖像處理技術(shù)和機(jī)器視覺技術(shù)得到空前的發(fā)展，如果把機(jī) 器視覺技術(shù)用在焊縫成形質(zhì)量評判中， 可以提高評判效率，為焊接質(zhì) 量評判的智能化打下基礎(chǔ)。機(jī)器視覺是運(yùn)用計(jì)算機(jī)來模擬人的視覺， 從不同事物的圖像中獲取信息，進(jìn)行相應(yīng)處理并加以分析、理解，最 終應(yīng)用于實(shí)際的檢測與測量等。機(jī)器視覺檢測和測量方法不但可以有 效提高生產(chǎn)效率與自動(dòng)化程度，且易于實(shí)現(xiàn)信息的集成，從而滿足數(shù) 字化自動(dòng)化生產(chǎn)的要求。機(jī)器視覺中的立體視覺技術(shù)把二維景物的分析

2、推廣到了三維景 物，該項(xiàng)技術(shù)可方便實(shí)現(xiàn)從圖像獲取到三維景物表面重建的完整體 系，對于整個(gè)機(jī)器視覺的發(fā)展具有重要意義。 雙目立體視覺是立體視 覺中的一個(gè)重要的分支，它直接模擬人視覺處理景物的方式， 可以在 各種條件下靈活地測量景的立體信息。2雙目視覺檢測2.1 基本理論如圖1所示，設(shè)點(diǎn) 防空間焊縫某一特征點(diǎn)，該點(diǎn)在兩相機(jī)平面O1和O2的投影點(diǎn)依次為P1和P2。好、圖1雙目視覺原理根據(jù)空間解析幾何理論，很顯然，式（3）中的4個(gè)方程均具有平 面解析式的形式，前2方程代表2平面相交，得到的是直線O1P1P的 方程，同理直線02P2P的方程由后2個(gè)方程得出。兩直線方程相交， 即可求出P點(diǎn)的空間三維坐標(biāo)。

3、可見，若采用單相機(jī)模型，則理論上僅能解出一條直線的空間方 程，無法得出空間點(diǎn)的準(zhǔn)確三維坐標(biāo)， 而雙目視覺理論則能夠克服這 個(gè)缺陷，從而使焊縫的精確測量有了可能。2.2 圖像處理為實(shí)現(xiàn)準(zhǔn)確測量的目的，必須對采集到的圖像進(jìn)行數(shù)字化處理。首先，經(jīng)過相機(jī)采集到的焊縫圖像不可避免地存在一些污染痕跡，這些痕跡會對有效捕捉焊縫特征點(diǎn)產(chǎn)生影響，這在計(jì)算機(jī)圖形學(xué)中被稱 之為噪點(diǎn)，要進(jìn)行降噪處理以剔除噪點(diǎn)。其次，初步采集到的圖像為 全信息圖像，欲提取有效焊縫信息，必須對圖像進(jìn)行二值化處理，以便計(jì)算機(jī)有效區(qū)分焊縫輪面坐標(biāo)系 OXlYl, O XrYr的轉(zhuǎn)換矩陣分別為Ml和Mr,那么根據(jù)透鏡成像原理,針對左右相機(jī)，可

4、得如下2個(gè)方程:U1V111=MX Y Z1lmulm21l m311l m12 l m22l m321l m13l m23l m331l m14 l m24l m341XYZ1U2V2 11=MX r YZ1r m11r m21r m311r m12 r m22 r m321rm13rm23rm331rm14rm24rm341XYZ1式中：(u1 , v1, 1)和(u2, v2, 1)依次為pl和p2的齊次相機(jī)平面坐標(biāo)；(X, Y, Z, 1 )為點(diǎn)P在空間絕對坐標(biāo)系中的齊次坐標(biāo)。將式(1)和式(2)展開并聯(lián)立有:l(U1m|31 l(V1m31(U1m|31r (V1m|311mn)X1

5、m21)Xm：)Xrm21)Xl (U1m|32 l (V1m|32 (um31 r (V1m|32l、， m12)Y l m22)Y m；1)Yrm22)Yl (U1m|33 l (V1 m33 (Um31r (V1m|33lm13)Zlm23)Zrmn)Zrm2)Zl mi4 l m24r m14r m24lU34lu34(3)U34ru342.3 焊縫檢測設(shè)P和Q為焊縫圖像邊緣上的2個(gè)像素點(diǎn)，其經(jīng)過計(jì)算得出的三維坐標(biāo)為(XP, YP, ZP)和(XQ, YQ, ZQ),那么，根據(jù)空間2點(diǎn)距離公式有四口 Q兩點(diǎn)間的距離為：:222d (Xp Xq) (Yp Yq) (Zp Zq)由此，可計(jì)

6、算焊縫邊緣上任意兩點(diǎn)的距離。 垂直于焊縫軸線并與 其輪廓相交的線段長度可認(rèn)為是焊縫寬度， 同時(shí)已知空間點(diǎn)坐標(biāo)也可 計(jì)算曲線長度，從而有效計(jì)算長度。焊縫高度信息可由左右相機(jī)采集到校正后圖像立體匹配之后得 到的深度圖中圖像灰度值的變化得到3焊縫檢測系統(tǒng)為實(shí)現(xiàn)對焊縫檢測，需要一套完備的軟硬件系統(tǒng)，系統(tǒng)主要結(jié)構(gòu) 模塊包括圖像采集模塊、圖像處理模塊、雙目視覺計(jì)算模塊以及最后 的焊縫尺寸計(jì)算模塊。下面分別對各個(gè)模塊進(jìn)行詳細(xì)介紹。3.1 圖像采集模塊橋面裂縫檢測雙目視覺測量系統(tǒng)圖像采集模塊的核心是雙目相 機(jī)。本系統(tǒng)兩個(gè)CCDEC業(yè)相機(jī)，將兩個(gè)US級業(yè)相機(jī)固定在支架上與 計(jì)算機(jī)相連，同過調(diào)用halcon程序即

7、可同時(shí)采集兩幅清晰的焊縫縫圖 像。3.2 圖像處理模塊圖像處理的步驟為：1)通過在程序中多次調(diào)用算子 mean_image對圖像進(jìn)行均值濾波處理，從而剔除對檢測結(jié)果不利的噪點(diǎn)。2）利用算子emphasize對降噪后的圖像進(jìn)行增強(qiáng)處理，為裂縫邊緣檢測做準(zhǔn)備3）利用算子var_threshold進(jìn)行自動(dòng)閾值分害U ,進(jìn)而利用算子region_to_bin對圖像進(jìn)行二值化，二值化后圖像如圖 2所示。圖2二值化焊縫圖像4）由圖2可知焊縫二值化圖像效果較差，因此在程序中利用形態(tài)學(xué)算子closing_circle對圖像進(jìn)行閉運(yùn)算得到效果較好的二值化圖像如圖4所示。留開一湎口. 1 方找FedUtni 口串

8、 的力陶適應(yīng)寄口扇1國、»，舔圖3二值化圖像5）由圖3可知改進(jìn)后的二值化圖像雖仍具有許多孔洞，但利用圖3已可以提取焊縫的左右邊緣。在程序中利用halcon算子 threshold_sub_pix即可根據(jù)二值化圖像提取出圖像中的輪廓信息， 接著通過使用算子select_shape_xld通過對輪廓位置及長度的篩選， 提取出焊縫的左右輪廓并濾掉由二值化圖像中不需要的孔洞帶來的 其他輪廓。提取出的輪廓如圖4所示。6）根據(jù)提取出的焊縫的兩個(gè)輪廓，利用算子distance_cc可計(jì)算出兩輪廓間最長與最短的坐標(biāo)距離。303 -弋11 票爵弧m蜷 E,0 4西4 % 國語區(qū)百口 ”國M »

9、; ：»加（圖4焊縫左右輪廓3.3雙目視覺計(jì)算模塊3.3.1 相機(jī)標(biāo)定3.1 節(jié)中對雙目視覺基本理論與坐標(biāo)計(jì)算方法作了介紹，其中轉(zhuǎn) 換矩陣Ml和Mr中的某些參數(shù)是相機(jī)的固有屬性，稱為內(nèi)參數(shù)（如鏡頭 畸變系數(shù)），這些參數(shù)是已知的。而將三維空間點(diǎn)投影到二維平面過 程中的平移矩陣和旋轉(zhuǎn)矩陣中的參數(shù)是未知的，為求解這些參數(shù)，以及得到相機(jī)實(shí)際內(nèi)參需要在檢測前對相機(jī)進(jìn)行標(biāo)定。本文采用自制10cm標(biāo)定板機(jī)halcon標(biāo)定函數(shù)對左右相機(jī)進(jìn)行標(biāo)定。經(jīng)標(biāo)定之后，相機(jī)的內(nèi)外參數(shù)即可求得，代入Ml和Mr矩陣，即 可參與計(jì)算。3.3.2 圖像匹配與尺寸計(jì)算以上分析可見，空間點(diǎn)P的三維坐標(biāo)是通過這一點(diǎn)在左右相機(jī)

10、平 面上的二維坐標(biāo)計(jì)算可得。因此，從理論上講，必須精確尋得點(diǎn)P在 左右相機(jī)平面中的像點(diǎn)，才能進(jìn)行準(zhǔn)確計(jì)算。這一過程稱為圖像的匹 配過程。本文中采用halcon自帶函數(shù)binocular_disparity即可實(shí)現(xiàn)圖 像的匹配。經(jīng)匹配計(jì)算之后，即可得出同一空間點(diǎn)在兩相機(jī)平面中的 二維坐標(biāo)。然后即可得到圖像坐標(biāo)之間與實(shí)際物理距離之間比值關(guān)系 K,根據(jù)比例K及上節(jié)計(jì)算得到的輪廓之間的坐標(biāo)距離，即可得到兩輪廓間的實(shí)際物理距離。將實(shí)際得到的結(jié)果在halcon圖形窗口中顯示如下:周出窗口一油;0- 3彳 « q q 網(wǎng)送困 囤加，» »用|焊縫最大寬膜7829吵伽焊縫高度3：