機(jī)器視覺原理及應(yīng)用 課件 第5、6章 線結(jié)構(gòu)光三維測量、深度相機(jī)

機(jī)器視覺原理及應(yīng)用《機(jī)器視覺原理及應(yīng)用》第五章線結(jié)構(gòu)光三維測量5.1線結(jié)構(gòu)光提取5.2單目線結(jié)構(gòu)光測量原理5.3雙目線結(jié)構(gòu)光測量原理5.4三維人體掃描5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)5.1線結(jié)構(gòu)光提取線結(jié)構(gòu)光的基本原理是由結(jié)構(gòu)光投射器向被測物體表面投射可控制的光條，并由圖像傳感器(如攝像機(jī))獲得圖像，通過系統(tǒng)幾何關(guān)系，利用三角原理計(jì)算得到物體的三維坐標(biāo)。線結(jié)構(gòu)光光條圖像具有光條方向性強(qiáng)、圖像對(duì)比度高、光條形狀細(xì)長等特征。在理想情況下，線結(jié)構(gòu)光光條圖像可以近似為沿光條中心線方向灰度緩慢變化，沿光條中心線法線方向具有類高斯型灰度分布的條形線狀結(jié)構(gòu)，如圖5-1所示。5.1.1線結(jié)構(gòu)光特點(diǎn)圖5-1光條寬度方向上的灰度分布圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(1)灰度重心法提取光條中心

灰度重心法的基本原理是將待檢測區(qū)域中每個(gè)像素的灰度值加權(quán)平均從而計(jì)算得到該區(qū)域的光條中心的坐標(biāo)，可以以下公式實(shí)現(xiàn)：其中，代表的是圖像上一個(gè)像素點(diǎn)的灰度值，是待檢測區(qū)域的集合，需要設(shè)定一定的閾值，通常情況下，激光條在圖像上占用5~10個(gè)像素左右，集合的個(gè)數(shù)一般選10，是待檢測區(qū)域的重心坐標(biāo)。圖5-2灰度重心法中心線提取效果圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(2)Steger算法提取光條中心

Steger算法提取光條中心是基于Hessian矩陣的一種亞像素級(jí)別提取方法。需要提取的激光條紋中心對(duì)應(yīng)Hessian矩陣的特征值，光條中心法線方向?qū)?yīng)Hessian矩陣的特征向量，得到法線方向之后可以沿著該方向進(jìn)行泰勒展開即可以求解出所需要的光條中心坐標(biāo)。圖5-3Steger算法中提取效果圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(3)曲線擬合算法提取光條中心

曲線擬合法的基本原理為：通過擬合光條灰度分布的高斯曲線，然后計(jì)算擬合得到的高斯曲線的峰值，該峰值即為光條中心的坐標(biāo)。圖5-4曲線擬合算法中心線提取效果圖5.2單目線結(jié)構(gòu)光測量原理5.2.1激光三角法簡介光學(xué)激光三角法利用三角形內(nèi)的幾何關(guān)系來建立被測量與已知量之間的關(guān)系，光學(xué)激光三角法在應(yīng)用的時(shí)候，應(yīng)該滿足斯凱普夫拉格條件，在滿足該條件的情況下，即感光CCD平面、透鏡平面以及激光平面三個(gè)平面相交于同一條直線的時(shí)候，可以得到如圖(a)的測量示意圖：

圖5-5激光三角法原理示意圖5.2單目線結(jié)構(gòu)光測量原理5.2.1激光三角法簡介根據(jù)三角形正弦定理可得公式如下:

公式(a)公式(c)通過公式(a)可以推導(dǎo)出公式(c):公式(b)公式(d)

5.2單目線結(jié)構(gòu)光測量原理5.2.2單目線結(jié)構(gòu)光的光平面標(biāo)定方法線結(jié)構(gòu)光標(biāo)定即求解線激光器投射出的光平面方程的過程，光平面空間方程是獲得被測物體表面上光條中心點(diǎn)相機(jī)坐標(biāo)的前提條件，光平面空間方程的求解精度，直接對(duì)最終視覺系統(tǒng)的測量精度產(chǎn)生影響。在光平面標(biāo)定的過程中，將線結(jié)構(gòu)光投射到特制靶標(biāo)上，已知在世界坐標(biāo)系下靶標(biāo)上的特征點(diǎn)之間的相對(duì)關(guān)系。在標(biāo)定的過程中，將線激光發(fā)射器固定，并將線結(jié)構(gòu)光投射至靶標(biāo)平面上并與特征點(diǎn)重合，通過改變標(biāo)靶的位姿，可以獲得若干幅標(biāo)靶圖像，利用每幅圖像上靶標(biāo)的特征點(diǎn)，可以獲得每個(gè)位姿下的相機(jī)外參及特征點(diǎn)的世界坐標(biāo)，通過獲取足夠多的特征點(diǎn)進(jìn)行幾何約束。5.2單目線結(jié)構(gòu)光測量原理5.2.2單目線結(jié)構(gòu)光的光平面標(biāo)定方法單目線結(jié)構(gòu)光標(biāo)定模型如圖(a)所示，該模型中有１個(gè)CCD相機(jī)與１個(gè)線型半導(dǎo)體激光器，并選用白紙作為光平面標(biāo)定的基準(zhǔn)，來準(zhǔn)確提取線激光的光條中心。圖5-6單目線結(jié)構(gòu)光標(biāo)定示意圖5.2單目線結(jié)構(gòu)光測量原理5.2.3系統(tǒng)設(shè)計(jì)與搭建利用相機(jī)與近紅外線激光器設(shè)計(jì)一套三維重建點(diǎn)云信息系統(tǒng)，該系統(tǒng)由一個(gè)彩色相機(jī)和一個(gè)波長為780nm的近紅外線激光器構(gòu)成，其中獲取被測物體的點(diǎn)云過程是基于激光三角法測量原理完成的，其工作原理如圖所示。圖5-7激光三角法測量原理5.2單目線結(jié)構(gòu)光測量原理5.2.4結(jié)果與分析在本次三維重建實(shí)驗(yàn)中，選用了工業(yè)制造領(lǐng)域常見的工具刀頭和沖壓電極模具作為掃描樣本，對(duì)6次掃描結(jié)果進(jìn)行全局注冊(cè)，得到待測場景與重建效果如圖所示。系統(tǒng)搭建的三維點(diǎn)云獲取系統(tǒng)中生成點(diǎn)云是基于單目線激光三維重建技術(shù)，由于相機(jī)視場較小，會(huì)造成被測物體部分點(diǎn)云缺失的問題?；诖丝梢酝ㄟ^增加一個(gè)相機(jī)構(gòu)成雙目線激光點(diǎn)云紋理獲取系統(tǒng)，建立起雙目相機(jī)與紋理相機(jī)之間的聯(lián)系，從而解決單目相機(jī)的遮擋問題。(a)實(shí)驗(yàn)樣本(b)重建效果（c)

實(shí)驗(yàn)樣本(d)重建效果圖5-8實(shí)驗(yàn)使用的測量樣本與點(diǎn)云重建效果圖5.3雙目線結(jié)構(gòu)光測量原理雙目線結(jié)構(gòu)光測量系統(tǒng)是機(jī)器視覺的一種重要形式，利用雙攝像機(jī)從不同的角度，甚至不同的時(shí)空獲取同一三維場景的兩幅數(shù)字圖像，通過立體匹配計(jì)算兩幅圖像像素間的位置偏差（即視差）來獲取該三維場景的三維幾何信息與深度信息，并重建該場景的三維形狀與位置，實(shí)現(xiàn)三維測量。雙目立體視覺標(biāo)定、雙目立體視覺中的對(duì)應(yīng)點(diǎn)匹配是雙目線結(jié)構(gòu)光測量的重要環(huán)節(jié)。一個(gè)完整的雙目視覺系統(tǒng)的基本過程是，首先對(duì)左右相機(jī)進(jìn)行標(biāo)定，得到左右相機(jī)的內(nèi)參數(shù)矩陣和兩個(gè)相機(jī)之間的坐標(biāo)系轉(zhuǎn)換關(guān)系矩陣；然后兩相機(jī)同時(shí)采集圖像，分別提取左右像面的特征點(diǎn)進(jìn)行立體匹配，最后利用之前標(biāo)定得到的畸變系數(shù)，根據(jù)畸變模型，將實(shí)際像素坐標(biāo)校正為理想像素坐標(biāo)，再代入模型中計(jì)算空間三維坐標(biāo)進(jìn)行三維點(diǎn)的重建。本節(jié)所使用的線結(jié)構(gòu)光只是輔助提供測量特征點(diǎn)，激光束經(jīng)柱面鏡形成光條，在掃描物體表面過程中提供方便測量的特征，且激光條的亮度高，成像之后特征點(diǎn)與背景圖像的對(duì)比度高，容易從背景圖像中提取出來，圖像處理也相對(duì)簡單。5.3雙目線結(jié)構(gòu)光測量原理5.3.1外極線約束原理立體匹配是指在兩幅不同角度觀察得到的立體圖像上尋找空間物體上同一點(diǎn)的圖像坐標(biāo)，并將它們一一對(duì)應(yīng)起來的過程，也稱為對(duì)應(yīng)點(diǎn)的匹配或立體圖像配準(zhǔn)。立體匹配是雙目線結(jié)構(gòu)光測量原理中的核心部分，同時(shí)也是視覺研究中的重點(diǎn)和難點(diǎn)。在獲得提取出的特征點(diǎn)及其特征屬性后，可由立體匹配中的外極線約束關(guān)系在兩幅圖像中找到特征點(diǎn)的一一對(duì)應(yīng)關(guān)系，再利用三維測量的原理得到點(diǎn)的三維坐標(biāo)。外極線約束是雙目立體視覺中的一個(gè)基本約束，兩臺(tái)攝像機(jī)的投影中心C1和C2與任意空間點(diǎn)P構(gòu)成的平面C1PC2稱為外極平面，其與左右像面分別相交，各截得一條直線e1m1和e2m2，稱為左、右外極線，且左、右像面上的所有外極線都在各自像面上交于一點(diǎn)e1和e2，該點(diǎn)稱為外極中心。作為點(diǎn)m1的同名像點(diǎn)，m2必在同一空間點(diǎn)P與投影中心C1、C2確定的外極平面內(nèi)。這一由雙目視覺測頭固有幾何約束所衍生的隱含共面約束，就是所謂的外極線約束?？梢宰C明兩條對(duì)應(yīng)的外極線e1m1和e2m2滿足公式(5-22)的等式關(guān)系：(5-22)其中，Mab為通過攝像機(jī)標(biāo)定獲得的兩攝像機(jī)坐標(biāo)系的空間變換矩陣。5.3雙目線結(jié)構(gòu)光測量原理外極線外極平面C1PC2外極點(diǎn)Pm1m2C2e2e1C1圖5-9外極線約束原理圖對(duì)任意參考像點(diǎn)m1，其與外極中心e1的連線e1m1斜率一定，由外極線約束可知，其匹配像點(diǎn)m2與外極中心e2的連線斜率也一定，且有式（5-22）的關(guān)系。故通過外極線約束，可將候選點(diǎn)的搜索域從平面搜索范圍縮小到像面上過定點(diǎn)的直線上。5.3雙目線結(jié)構(gòu)光測量原理如圖5-10所示，因此候選匹配點(diǎn)只能分布于過右外極中心的外極線上。由于匹配的特征點(diǎn)已經(jīng)是經(jīng)過特征檢測的變形光條的中心，因此可以認(rèn)定候選的匹配像點(diǎn)只能是即在外極線上，同時(shí)位于變形光條中心的那些交點(diǎn)。參考像點(diǎn)左外極線右外極線左外極中心右外極中心匹配像點(diǎn)右像面左像面圖5-10基于外極線約束的匹配方法5.3雙目線結(jié)構(gòu)光測量原理5.3.2系統(tǒng)設(shè)計(jì)與搭建根據(jù)雙目線結(jié)構(gòu)光測量原理設(shè)計(jì)的多視角三維測量系統(tǒng)主要完成多視角傳感器的標(biāo)定和多視角三維數(shù)據(jù)的獲取兩方面的工作，所搭建的多視角三維測量系統(tǒng)整體結(jié)構(gòu)如圖5-11所示。

左相機(jī)右相機(jī)線激光

同步帶位移臺(tái)1.7m1.7m0.40m計(jì)算機(jī)雙攝像機(jī)測量傳感器圖5-11多視角三維重建系統(tǒng)5.3雙目線結(jié)構(gòu)光測量原理5.3.2系統(tǒng)設(shè)計(jì)與搭建利用多視角三維重建系統(tǒng)來掃描如圖5-12(a)所示的模特，在系統(tǒng)開始運(yùn)行后，編碼器產(chǎn)生外觸發(fā)信號(hào)觸發(fā)8個(gè)CCD相機(jī)同時(shí)采集圖像數(shù)據(jù)，利用Steger中心線提取方法提取圖像中的激光條紋數(shù)據(jù)可以有效提升系統(tǒng)精度，通過對(duì)提取到的條紋數(shù)據(jù)進(jìn)行重建拼接得到的人體各個(gè)視角的三維點(diǎn)云數(shù)據(jù)如圖5-12(b)~5-12(e)所示。(a)待掃描模特(b)右側(cè)點(diǎn)云(c)正面點(diǎn)云(d)背面點(diǎn)云(e)左側(cè)點(diǎn)云圖5-12人體掃描實(shí)驗(yàn)5.4三維人體掃描人體掃描三維成像技術(shù)是掃描三維成像技術(shù)中重要的一部分。激光三維人體掃描儀基于激光三角法測量原理，獲取被測人體表面的光帶位圖，然后對(duì)位圖進(jìn)行光帶中心線提取，最后將提取到的中心線坐標(biāo)利用傳感器標(biāo)定結(jié)果進(jìn)行像素坐標(biāo)與世界坐標(biāo)之間的轉(zhuǎn)換，加之掃描系統(tǒng)的豎直機(jī)構(gòu)獲得的垂直坐標(biāo)，共同組成三維人體點(diǎn)云坐標(biāo)。在此過程中將光學(xué)系統(tǒng)、機(jī)械系統(tǒng)、電子電路系統(tǒng)與計(jì)算機(jī)系統(tǒng)等有機(jī)結(jié)合在一起。該系統(tǒng)測量得到的三維點(diǎn)云數(shù)據(jù)，可以直接應(yīng)用于諸如人體尺寸自動(dòng)測量、三維骨架提取、三維打印以及三維人體試衣等后續(xù)技術(shù)中。5.4三維人體掃描激光三角法應(yīng)用于三維人體掃描儀中的原理示意圖如圖5-13所示，CCD平面和透鏡在實(shí)際工程中一般以CCD相機(jī)的形式被組合在一起，因此CCD平面和透鏡二者互相平行，角φ=90°，f遠(yuǎn)遠(yuǎn)小于l，此時(shí)斯凱普夫拉格條件仍然成立，公式(5-13)變形為公式(5-23)：5.4.1激光三角法應(yīng)用于三維人體掃描儀被測物體透鏡CCD平面激光器圖5-13三維人體掃描儀中的激光三角法示意圖(5-23)5.4三維人體掃描5.4.1激光三角法應(yīng)用于三維人體掃描儀圖5-14激光光帶被人體表面遮擋的情況示意。上部的CCD相機(jī)下部的CCD相機(jī)線激光器人體為了提高測量的速度，采用線激光器作為投影光源。線激光在空間中形成一個(gè)激光平面，被測的人體表面在空間中與該激光平面相交產(chǎn)生激光光帶，同時(shí)CCD相機(jī)拍攝該激光帶，利用公式(5-23)就可以計(jì)算出光帶上每一點(diǎn)在該激光平面上的二維空間相對(duì)坐標(biāo)位置。配合可以在垂直方向上精密移動(dòng)的一維運(yùn)動(dòng)滑軌，通過獲取滑軌的位置坐標(biāo)，就可以完整掃描還原出人體表面每個(gè)被激光帶采樣點(diǎn)的相對(duì)三維世界坐標(biāo)。這些點(diǎn)的三維世界坐標(biāo)組合在一起，就得到了人體的三維點(diǎn)云數(shù)據(jù)。5.4三維人體掃描5.4.1激光三角法應(yīng)用于三維人體掃描儀圖5-15三維人體掃描儀俯視示意。此外，對(duì)于圖5-14所示的情況，上部的CCD相機(jī)不能采集到被人體自身遮擋的激光光帶，需要下部的CCD相機(jī)來采集這條光帶的三維坐標(biāo)。而且，每一個(gè)CCD相機(jī)視場角和激光平面的水平范圍都是有限的，以人體身高方向?yàn)檩S線的情況下，單個(gè)CCD和激光器配合組成的三維坐標(biāo)傳感器只能掃描90°范圍的人體坐標(biāo)點(diǎn)云。因此，若想一次掃描完成360°人體三維點(diǎn)云數(shù)據(jù)的采集，就需要多組三維傳感器同時(shí)采集光帶信息，如圖5-15所示。3D傳感器13D傳感器23D傳感器33D傳感器4人體工作范圍激光平面5.4三維人體掃描5.4.2三維人體掃描儀的系統(tǒng)構(gòu)成圖5-16三維人體掃描儀的系統(tǒng)構(gòu)成。上小節(jié)所述的三維傳感器工作的時(shí)候，投射出一個(gè)激光平面，利用公式(5-23)計(jì)算可以得到該平面上的人體表面的坐標(biāo)點(diǎn)云。要得到整個(gè)人體的表面坐標(biāo)點(diǎn)云，該激光平面需要在垂直方向上掃描一遍整個(gè)人體。三維人體掃描儀的基本系統(tǒng)構(gòu)成如圖5-16所示。三維人體掃描儀系統(tǒng)中的三個(gè)主要子系統(tǒng)是：PC控制與處理系統(tǒng)、三維傳感器系統(tǒng)和運(yùn)動(dòng)控制系統(tǒng)。三個(gè)子系統(tǒng)通過PC機(jī)控制與處理系統(tǒng)有機(jī)地統(tǒng)合在一起，實(shí)現(xiàn)了三維人體掃描儀的全部功能，并且可以為后續(xù)諸如三維打印等技術(shù)提供直接可用的人體三維點(diǎn)云數(shù)據(jù)。c運(yùn)動(dòng)控制系統(tǒng)PC控制與處理系統(tǒng)4根掃描立柱三維傳感器滑軌5.4三維人體掃描5.4.3系統(tǒng)設(shè)計(jì)與搭建。轉(zhuǎn)臺(tái)旋轉(zhuǎn)90°主傳感器1雙目標(biāo)定轉(zhuǎn)臺(tái)軸線標(biāo)定主傳感器1線結(jié)構(gòu)光光平面標(biāo)定副傳感器4雙目標(biāo)定副傳感器4線結(jié)構(gòu)光光平面標(biāo)定副傳感器4雙目標(biāo)定副傳感器4線結(jié)構(gòu)光光平面標(biāo)定副傳感器4雙目標(biāo)定副傳感器4線結(jié)構(gòu)光光平面標(biāo)定轉(zhuǎn)臺(tái)旋轉(zhuǎn)90°轉(zhuǎn)臺(tái)旋轉(zhuǎn)90°主傳感器1采集線結(jié)構(gòu)光條紋圖像獲取條紋中心線坐標(biāo)利用光平面標(biāo)定結(jié)果獲取三維數(shù)據(jù)主傳感器2采集線結(jié)構(gòu)光條紋圖像獲取條紋中心線坐標(biāo)利用光平面標(biāo)定結(jié)果獲取三維數(shù)據(jù)主傳感器3采集線結(jié)構(gòu)光條紋圖像獲取條紋中心線坐標(biāo)利用光平面標(biāo)定結(jié)果獲取三維數(shù)據(jù)主傳感器4采集線結(jié)構(gòu)光條紋圖像獲取條紋中心線坐標(biāo)利用光平面標(biāo)定結(jié)果獲取三維數(shù)據(jù)開始多視角三維重建標(biāo)定多視角三維重建測量過程點(diǎn)云去噪利用軸線標(biāo)定結(jié)果進(jìn)行點(diǎn)云拼接結(jié)束圖5-17三維人體掃描儀工作框架圖5.4三維人體掃描5.4.3系統(tǒng)設(shè)計(jì)與搭建。圖5-17三維人體掃描儀工作框架圖(a)待掃描模特(b)掃描結(jié)果圖5-17對(duì)于三維人體掃描儀的工作流程進(jìn)行了詳細(xì)介紹，使用OpenCV開發(fā)光條中心線提取算法和系統(tǒng)的標(biāo)定算法，使用PCL開發(fā)點(diǎn)云去噪和處理部分，而在采集線結(jié)構(gòu)光條紋圖像時(shí)，僅需將相鄰線結(jié)構(gòu)光條紋圖像間的脈沖數(shù)作為觸發(fā)相機(jī)進(jìn)行條紋圖像采集的計(jì)數(shù)值，就可實(shí)現(xiàn)線結(jié)構(gòu)光條紋圖像的快速采集，使整個(gè)系統(tǒng)更加穩(wěn)定可靠。運(yùn)行結(jié)果如圖5-18所示。5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。本節(jié)將介紹結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)的硬件設(shè)備選型和軟件系統(tǒng)設(shè)計(jì)，同時(shí)介紹了系統(tǒng)的整體方案和工作流程。硬件系統(tǒng)分為結(jié)構(gòu)光視覺傳感系統(tǒng)、自動(dòng)焊接系統(tǒng)。結(jié)構(gòu)光視覺傳感系統(tǒng)由相機(jī)、激光器和保護(hù)系統(tǒng)組成，用于采集具有焊縫特征的圖像。自動(dòng)焊接系統(tǒng)由6軸機(jī)械臂、焊接系統(tǒng)(焊機(jī)、焊槍、送絲中繼)、滾輪架、地軌和激光位移傳感器組成，自動(dòng)焊接系統(tǒng)主要作為執(zhí)行機(jī)構(gòu)完成防浪板焊接作業(yè)。軟件系統(tǒng)包括光平面標(biāo)定模塊、手眼標(biāo)定模塊和焊接軟件模塊。光平面標(biāo)定模塊負(fù)責(zé)輸出光平面標(biāo)定結(jié)果和相機(jī)標(biāo)定結(jié)果；手眼標(biāo)定模塊負(fù)責(zé)輸出手眼標(biāo)定結(jié)果；焊接軟件模塊負(fù)責(zé)采集數(shù)據(jù)，規(guī)劃焊接路徑，調(diào)整焊接姿態(tài)，識(shí)別焊道并完成各個(gè)模塊之間的通訊與控制，是系統(tǒng)的控制模塊。5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。以鋁罐車的關(guān)鍵部件鋁合金罐體內(nèi)部的防浪板為研究對(duì)象，目的是通過MIG焊接將鋁合金罐體和6個(gè)防浪板進(jìn)行連接。由于防浪板的加工主要依靠手工加工，加工誤差較大，因此防浪板存在較大的形變量(一致性差)，主要表現(xiàn)為防浪板呈現(xiàn)不同形狀和不同的大?。煌瑫r(shí)防浪板相對(duì)罐體的擺放位置也存在誤差，因此示教編程的自動(dòng)焊接方法無法實(shí)現(xiàn)精準(zhǔn)的焊縫定位，為了應(yīng)對(duì)這種情況，設(shè)計(jì)了基于結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)，該系統(tǒng)的應(yīng)用要求有：(1)視覺系統(tǒng)抗干擾能力強(qiáng)，可以在復(fù)雜的生產(chǎn)環(huán)境下對(duì)預(yù)焊接的焊縫進(jìn)行高精度三維重建；(2)視覺能夠引導(dǎo)機(jī)器人對(duì)焊縫進(jìn)行精準(zhǔn)焊接，并保證高重復(fù)精度；(3)系統(tǒng)易于操作，滿足自動(dòng)化的生產(chǎn)需求；(4)防浪板正反面焊接都采用先掃描后焊接的方式。5.5.1系統(tǒng)總體方案5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。圖5-19為結(jié)構(gòu)光引導(dǎo)大型壓力容器內(nèi)部焊接系統(tǒng)仿真圖。內(nèi)部防浪板焊接需要機(jī)器人進(jìn)入罐體內(nèi)作業(yè)，將機(jī)器人固定于懸臂梁上，通過地軌帶動(dòng)懸臂梁進(jìn)入罐體內(nèi)部，A、B兩臺(tái)設(shè)備分別完成防浪板正反兩面的焊接，A設(shè)備焊接完防浪板正面后，B設(shè)備繼續(xù)焊接防浪板反面。本系統(tǒng)采用分段掃描分段焊接的方式，只需進(jìn)行初始掃描動(dòng)作的示教。單層防浪板焊接流程如圖5-20所示，實(shí)物化單層焊接流程如圖5-21所示，總體的焊接流程如圖5-22所示。5.5.1系統(tǒng)總體方案B設(shè)備A設(shè)備罐體防浪板

懸臂梁機(jī)器人機(jī)器人控制柜結(jié)構(gòu)光視覺傳感系統(tǒng)地軌焊機(jī)圖5-19結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)仿真圖5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.1系統(tǒng)總體方案否是滾輪架停止轉(zhuǎn)動(dòng)滾輪架停止轉(zhuǎn)動(dòng)開始設(shè)置結(jié)構(gòu)光視覺傳感器掃描200~300mm范圍計(jì)算焊接位姿規(guī)劃焊接路徑機(jī)器人焊接作業(yè)滾輪架轉(zhuǎn)動(dòng)是否到達(dá)焊接起始點(diǎn)位是

否結(jié)束是否檢測到焊道機(jī)器人回到home點(diǎn)圖5-20單層防浪板焊接流程圖

掃描焊縫并規(guī)劃焊接路徑

機(jī)器人焊接作業(yè)

焊接得到的焊道

機(jī)器人返回home點(diǎn)

機(jī)器人焊接作業(yè)

掃描焊縫并規(guī)劃焊接路徑

兩次焊接得到的焊道重復(fù)以上過程直到到達(dá)焊接起始點(diǎn)位

圖5-21焊接流程實(shí)物圖5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.1系統(tǒng)總體方案圖5-22總體焊接流程結(jié)束否單層防浪板焊接地軌運(yùn)動(dòng)開始地軌是否轉(zhuǎn)動(dòng)到達(dá)指定位置是

是否焊接完6層是

退出罐體否是

開始機(jī)器人是否進(jìn)入罐體調(diào)整機(jī)器人姿態(tài)到掃描姿態(tài)地軌運(yùn)動(dòng)地軌停止運(yùn)動(dòng)是否達(dá)到防浪板前200~300mm是

結(jié)束地軌運(yùn)動(dòng)否否地軌停止運(yùn)動(dòng)圖5-23設(shè)備進(jìn)入罐體內(nèi)部流程5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.2結(jié)構(gòu)光視覺傳感系統(tǒng)設(shè)計(jì)圖5-25結(jié)構(gòu)光視覺傳感器的基本原理結(jié)構(gòu)光視覺傳感系統(tǒng)由激光器、相機(jī)和保護(hù)系統(tǒng)組成，用于采集具有焊縫特征的圖像。根據(jù)結(jié)構(gòu)光測量原理設(shè)計(jì)結(jié)構(gòu)光視覺傳感器，原理圖如圖5-25所示，相機(jī)和激光器的位置相對(duì)固定，且存在一個(gè)固定的夾角，當(dāng)激光器發(fā)射的光條投射到待焊接焊縫時(shí)，會(huì)產(chǎn)生一道折線，投射到相機(jī)的感光平面上，轉(zhuǎn)化為電信號(hào)后，由相機(jī)采集到，如圖5-26所示。鏡頭透鏡相機(jī)感光平面

鏡頭相機(jī)

激光器待焊接工件結(jié)構(gòu)光平面焊縫激光器在待焊接工件上形成的激光線

光學(xué)平面成像平面待測平面OpP

Op

光學(xué)平面成像平面待測平面OpP

Op

圖5-26相機(jī)和激光器夾角對(duì)成像位置的影響5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.3系統(tǒng)軟件設(shè)計(jì)與搭建軟件系統(tǒng)包括光平面標(biāo)定模塊，手眼標(biāo)定模塊，焊接軟件模塊。光平面標(biāo)定模塊負(fù)責(zé)輸出光平面標(biāo)定結(jié)果和相機(jī)標(biāo)定結(jié)果，手眼標(biāo)定模塊負(fù)責(zé)輸出手眼標(biāo)定結(jié)果，焊接軟件模塊負(fù)責(zé)采集數(shù)據(jù)，規(guī)劃焊接路徑，調(diào)整焊接姿態(tài)，識(shí)別焊道并完成各個(gè)模塊之間的通訊和控制，是系統(tǒng)總體控制模塊。光平面標(biāo)定模塊界面如圖5-29所示。(a)標(biāo)定界面(b)標(biāo)定過程顯示圖5-29光平面標(biāo)定模塊5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.3系統(tǒng)軟件設(shè)計(jì)與搭建手眼標(biāo)定模塊界面如圖5-30所示。焊接軟件界面如圖5-31所示。圖5-30手眼標(biāo)定模塊圖5-31焊接軟件5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。5.5.4結(jié)果與分析圖5-35多段焊道連接實(shí)驗(yàn)圖5-36滿焊接效果背面正面【本章小結(jié)】。本章主要介紹了主動(dòng)三維測量方法中的線結(jié)構(gòu)光三維測量方法，包括線結(jié)構(gòu)光的特點(diǎn)、線結(jié)構(gòu)光中心線提取方法的研究、單目線結(jié)構(gòu)光測量原理、雙目線結(jié)構(gòu)光測量原理等。并且著重介紹了兩個(gè)案例，分別為應(yīng)用雙目線結(jié)構(gòu)光原理搭建的三維人體掃描系統(tǒng)以及將單目線結(jié)構(gòu)光與機(jī)器人相結(jié)合應(yīng)用到工程項(xiàng)目中的結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)。相較于雙目立體視覺測量法、激光測距法等三維測量方法，線結(jié)構(gòu)光三維測量技術(shù)以其更高的精度、較強(qiáng)的實(shí)時(shí)性和適用于工業(yè)環(huán)境等優(yōu)點(diǎn)，被廣泛應(yīng)用于工業(yè)領(lǐng)域，具有重要的工程應(yīng)用價(jià)值和良好的市場前景，其相關(guān)技術(shù)的研究對(duì)逆向工程及智能制造等行業(yè)的發(fā)展和意義重大。TheEnd機(jī)器視覺原理及應(yīng)用《機(jī)器視覺原理及應(yīng)用》第6章深度相機(jī)三維測量6.1飛行時(shí)間測量方法6.2散斑結(jié)構(gòu)光測量方法6.3激光雷達(dá)測量方法6.4視覺SLAM6.5案例-RGB-D視覺SLAM地圖重建6.6案例-大場景三維重建6.7案例-基于平面約束的三維重建飛行時(shí)間法（TimeofFlight，簡稱TOF）：通過探測光飛行時(shí)間來換算被拍攝景物的距離。飛行時(shí)間，指深度傳感器從射出光到接收物體反射回光的時(shí)間差或相位差。深度相機(jī)組成：由光源、光學(xué)部件、傳感器、控制電路以及處理電路等部分組成；（不需要左右像進(jìn)行立體匹配）飛行時(shí)間相機(jī)原理圖6.1飛行時(shí)間測量方法深度相機(jī)測量方式分類間接測量法——相關(guān)法飛行時(shí)間成像直接測量法——脈沖式時(shí)間飛行系統(tǒng)6.1飛行時(shí)間測量方法解調(diào)方法偽噪聲調(diào)制頻率調(diào)制脈沖調(diào)制法

相位解調(diào)就是光源發(fā)射器發(fā)射調(diào)制后的連續(xù)波信號(hào)往返被測物體，利用與調(diào)制光源信號(hào)相同的解調(diào)信號(hào)，完成解調(diào)進(jìn)而讀取光信號(hào)的相位變化連續(xù)波調(diào)制幅度調(diào)制脈沖和連續(xù)波共同作用相位解調(diào)相關(guān)函數(shù)法離散傅里葉變換法余弦波發(fā)射信號(hào)的連續(xù)波解調(diào)技術(shù)6.2散斑結(jié)構(gòu)光測量方法

散斑：又被稱作斑紋，激光照射在粗糙的反射表面時(shí)，或通過不均勻的介質(zhì)時(shí)均會(huì)出現(xiàn)散斑效應(yīng)，在成像平面上呈現(xiàn)斑點(diǎn)顆粒狀的結(jié)構(gòu)。光源投射散斑信息到物體表面，然后相機(jī)從物體表面散斑圖像恢復(fù)出深度信息。具有高度隨機(jī)性。a)狹縫線約束b）灰度約束空間編碼中的非正規(guī)碼圖案6.2散斑結(jié)構(gòu)光測量方法(1)雙目測量方法雙目結(jié)構(gòu)的散斑結(jié)構(gòu)光測量方法是在雙目立體視覺基礎(chǔ)上的改進(jìn)，在基于視差理論計(jì)算深度的基礎(chǔ)上增加主動(dòng)光源，提高了立體匹配的魯棒性和穩(wěn)定性?？梢酝瑫r(shí)拍攝物體獲取左右原始散斑圖，因此可以直接對(duì)兩張散斑圖像進(jìn)行逐像素點(diǎn)匹配來獲得它們之間的視差圖核心算法就是基于局部窗口的圖像相關(guān)技術(shù)。對(duì)于左相機(jī)獲取圖像的一個(gè)像素點(diǎn)在右相機(jī)圖中從左到右用一個(gè)同尺寸局部窗口內(nèi)的像素和它計(jì)算相似程度雙目散斑結(jié)構(gòu)光匹配6.2散斑結(jié)構(gòu)光測量方法(2)單目測量方法單目測量要比雙目測量復(fù)雜，主要通過單目對(duì)拍攝到的投影儀投射出的編碼結(jié)構(gòu)光的解碼得到深度圖。在一定的深度范圍內(nèi)，兩幅深度不同的散斑投影圖像可以通過相關(guān)性（自相關(guān)性強(qiáng)，互相關(guān)性弱）來判斷散斑對(duì)應(yīng)點(diǎn)。LightCoding方法：每隔一定距離，取一個(gè)參考平面并記錄下相應(yīng)的散斑圖，測量時(shí)拍攝一幅場景散斑圖并與一系列參考圖像進(jìn)行互相關(guān)處理，在空間中有被測物體的位置參考圖像對(duì)應(yīng)的相關(guān)值最大，通過這些相關(guān)值得到每個(gè)點(diǎn)的深度值。Lightcoding原理圖6.2散斑結(jié)構(gòu)光測量方法通過相關(guān)函數(shù)僅能計(jì)算出具有像素精度的視差值，在一定程度上限制了深度量化分辨率。局部窗口立體匹配：在基于局部圖像的匹配算法之后，通過匹配成本聚合可以降低異常點(diǎn)的影響，提高視差圖的信噪比進(jìn)而提高匹配精度。全局立體匹配：采用了全局的優(yōu)化理論方法估計(jì)視差建立一個(gè)全局能量函數(shù)，其包含一個(gè)數(shù)據(jù)項(xiàng)和平滑項(xiàng),通過最小化全局能量函數(shù)得到最優(yōu)的視差值。單目散斑三維重建原理6.3激光雷達(dá)測量方法

激光雷達(dá)LiDAR（LightDetectionandRanging）是激光探測及測距系統(tǒng)的統(tǒng)稱，是一種通過位置、距離、角度等測量數(shù)據(jù)直接獲取對(duì)象表面點(diǎn)三維坐標(biāo)的掃描類傳感器。激光雷達(dá)工作原理

其主要由發(fā)射、接收以及信息處理3部分組成，發(fā)射系統(tǒng)通過向各個(gè)方向發(fā)射激光束來探測目標(biāo)，接收系統(tǒng)最常見的是采用不同類型的光電探測器進(jìn)行探測和收集障礙物反射的回波信號(hào)。信息處理環(huán)節(jié)依據(jù)各探測原理，使用不同的方法計(jì)算被測障礙物的距離信息、方位信息、高度信息、速度信息、形狀等信息。6.3激光雷達(dá)測量方法(1)激光雷達(dá)測距原理按工作方式分類相位法—對(duì)激光強(qiáng)度進(jìn)行調(diào)制產(chǎn)生連續(xù)的調(diào)制激光，通過測量發(fā)射信號(hào)與經(jīng)目標(biāo)物反射的回波信號(hào)之間的相位差，進(jìn)而間接地得出被測距離。脈沖法—通過測定脈沖激光在被測目標(biāo)與激光測距系統(tǒng)往返的時(shí)間來測定被測

距離

脈沖激光測距法原理相位激光測距法原理6.3激光雷達(dá)測量方法(2)激光雷達(dá)三維形貌測量原理

空間點(diǎn)三坐標(biāo)(3)車載激光雷達(dá)

按傳感器掃描原理分類固態(tài)式機(jī)械式機(jī)械式激光雷達(dá)固態(tài)式激光雷達(dá)6.3激光雷達(dá)測量方法(4)激光雷達(dá)生成點(diǎn)云以HPS-3D640系列為例。它是一種基于TOF原理的高性能固態(tài)激光雷達(dá)傳感器，配合優(yōu)化設(shè)計(jì)的照明系統(tǒng)和低畸變紅外光學(xué)鏡頭，目標(biāo)為90%反射率白色物體時(shí)，測量距離可達(dá)到5m。三維點(diǎn)云圖顯示界面HPS-3D640傳感器三維點(diǎn)云數(shù)據(jù)6.4視覺SLAM典型的視覺SLAM原理SLAM（SimultaneousLocalizationandMapping）指移動(dòng)機(jī)器人在未知的環(huán)境下運(yùn)動(dòng)時(shí)，不僅需要確定自身在環(huán)境中的定位，同時(shí)還要進(jìn)行環(huán)境地圖創(chuàng)建。前端：主要進(jìn)行數(shù)據(jù)處理，將視覺傳感器采集到的彩色圖片數(shù)據(jù)和深度圖片數(shù)據(jù)通過特征點(diǎn)提取與匹配，估計(jì)相鄰兩幀數(shù)據(jù)之間的相對(duì)運(yùn)動(dòng)變換，再對(duì)該進(jìn)行運(yùn)動(dòng)變換的優(yōu)化，最后即可獲得優(yōu)化后的運(yùn)動(dòng)變換關(guān)系。后端：主要是進(jìn)行位姿優(yōu)化。優(yōu)化方法可以分為濾波器優(yōu)化和非線性優(yōu)化兩大類，根據(jù)前端的算法獲得的運(yùn)動(dòng)關(guān)系得到初始位姿圖，然后采用閉環(huán)檢測算法來有效的減少位姿圖中的誤差，再完成位姿圖的優(yōu)化，最終可獲得全局一致最優(yōu)的移動(dòng)機(jī)器人位姿圖、軌跡以及環(huán)境地圖。6.4視覺SLAM(1)基于特征點(diǎn)的視覺SLAMMonoSLAM是使用EKF的一種單目方法，在此基礎(chǔ)上又有UKF法解決線性不確定性，PF法構(gòu)建更精確的映射。ORB-SLAM是一種基于特征法的實(shí)時(shí)視覺單目SLAM，后來在基礎(chǔ)上加入深度相機(jī)和慣性里程計(jì)ORB-SLAM2和ORB-SLAM3。ORB-SLAM3框架(2)基于直接法的視覺SLAM

（1）前端算法

6.5案例-RGB-D視覺SLAM地圖重建該案例的RGB-D視覺SLAM算法主要是一種改進(jìn)ORB-SLAM2的半隨機(jī)閉環(huán)檢測的SLAM算法。特征點(diǎn)提取與匹配：選用ORB算法來進(jìn)行特征點(diǎn)的提取。運(yùn)動(dòng)變換估計(jì)和優(yōu)化：選用RANSAC算法（一種基于統(tǒng)計(jì)模型的用于剔除數(shù)據(jù)離群點(diǎn)的迭代算法）和ICP方法（一種獲得被測物體完整幾何信息的算法）。先利用RANSAC算法進(jìn)行運(yùn)動(dòng)變換估計(jì)，得到一個(gè)初始運(yùn)動(dòng)，再通過ICP算法對(duì)初始的運(yùn)動(dòng)變換實(shí)施優(yōu)化，獲得更準(zhǔn)確的運(yùn)動(dòng)變化結(jié)果分為數(shù)據(jù)采集、特征點(diǎn)提取與匹配、運(yùn)動(dòng)變換估計(jì)及優(yōu)化四大步驟（2）后端算法使用閉環(huán)檢測算法和圖優(yōu)化來解決噪聲問題閉環(huán)檢測：將新得到的一幀數(shù)據(jù)與在歷史幀中按照一定的間隔提取組成的關(guān)鍵幀序列中的關(guān)鍵幀進(jìn)行比較。圖優(yōu)化：使用圖模型對(duì)視覺SLAM中的優(yōu)化問題進(jìn)行建模。自定義頂點(diǎn)和邊，一個(gè)優(yōu)化問題就可以表達(dá)成圖，然后用G2O（圖