機(jī)器人視覺傳感技術(shù)及應(yīng)用

1、JIAXINGUNIVERSITY現(xiàn)代測試技術(shù)課程題目機(jī)器人視覺傳感器的應(yīng)用姓名班級測控122學(xué)號小組成員機(jī)器人視覺傳感器的應(yīng)用摘要機(jī)器人視覺技術(shù)是指機(jī)器人工作時通過視覺傳感器對環(huán)境物體獲取視覺信息，讓機(jī)器人識別物體來進(jìn)行各種工作。本文介紹了機(jī)器人技術(shù)中所常用的視覺傳感器的種類、結(jié)構(gòu)。原理和功能。介紹了弧焊機(jī)器人視覺傳感技術(shù)較為前沿的一些應(yīng)用和研究，包括焊縫跟蹤和獲取熔池信息。簡要說明了視覺技術(shù)在農(nóng)業(yè)采摘機(jī)器人方面的應(yīng)用。關(guān)鍵詞：機(jī)器人、視覺、弧焊、采摘機(jī)器人1 .緒論囹機(jī)器人視覺是使機(jī)器人具有視覺感知功能的系統(tǒng)。機(jī)器人視覺可以通過視覺傳感器獲取環(huán)境的一維、二維和三維圖像，并通過視覺處理器進(jìn)行

2、分析和解釋，進(jìn)而轉(zhuǎn)換為符號，讓機(jī)器人能夠辨識物體，并確定其位置及各種狀態(tài)。機(jī)器人視覺視覺側(cè)重于研究以應(yīng)用為背景的專用視覺系統(tǒng)，只提供對執(zhí)行某一特定任務(wù)相關(guān)的景物描述。機(jī)器人視覺硬件主要包括圖像獲取和視覺處理兩部分，而圖像獲取由照明系統(tǒng)、視覺傳感器、模擬-數(shù)字轉(zhuǎn)換器和幀存儲器等組成。根據(jù)功能不同，機(jī)器人視覺可分為視覺檢驗和視覺引導(dǎo)兩種，廣泛應(yīng)用于電子、汽車、機(jī)械等工業(yè)部門和醫(yī)學(xué)、軍事領(lǐng)域。2 .機(jī)器人常用的視覺傳感器2.1 光電二極管與光電轉(zhuǎn)換器件圖2.1是pn型光電二級管的結(jié)構(gòu)。如果讓光子射入半導(dǎo)體的pn結(jié)邊界耗盡層，就會激勵起新的空穴。利用電場將空穴和電子分離到兩側(cè)，就可以的到與光子量成比例

3、的反向電流。Pn型元件的優(yōu)點是暗電流小，所以被廣泛用于照度計和分廣度計等測量裝置中。圖2.1pn型光電二極管結(jié)構(gòu)在高響應(yīng)的發(fā)光二極管中pin結(jié)型與雪崩型。前者在pn結(jié)邊界插入一個本征半導(dǎo)體i層取代其耗盡層。給它施加反向偏壓，可以減少結(jié)電容，獲得高速響應(yīng)；而后者是在pn結(jié)上加100伏左右的反向偏置電壓產(chǎn)生強電場，激勵載流子加速，與原子碰撞產(chǎn)生電子雪崩現(xiàn)象。這些高速型二極管的響應(yīng)速度很快，能用于高速光通信等。2.2 PSDPSD（PositionSensitiveDetector;位置敏感探測器）是測定入射光位置的傳感器，由發(fā)光二級管、表面電阻膜、電極組成。入射光產(chǎn)生的光電流通過電阻膜到達(dá)元件兩端

4、的電極，流入各個電極的電流與電阻值存在對應(yīng)關(guān)系，而電阻值又與光的入射位置及到各個電極距離成比例，因此根據(jù)電流值就能檢測到光入射的位置。PSD元件中有一維和二維兩種，它們都具有高速性，但要注意入射到開口部分的散射光的影響。2.3 CCD圖像傳感器電荷耦合器件(CCD：ChargeCoupledDevice)圖像傳感器是由多個光電二極管傳送儲存電荷的裝置。它有多個MOS(MetalOxideSemiconductor結(jié)構(gòu)的電極，電荷傳送的方式是通過向其中一個電極上施加與眾不同的電壓，產(chǎn)生所謂的勢阱，并順序變更勢阱來實現(xiàn)的。根據(jù)傳送電荷需要的脈沖信號的個數(shù)，施加電壓的方法有兩相方式和三相方式。CCD

5、圖像傳感器有一維形式的，是將發(fā)光二極管和電荷傳送部分一維排列制成的。此外還有二維形式的，它可以代替?zhèn)鹘y(tǒng)的硒化鎘光導(dǎo)攝像管和氧化鉛光電攝像管二維傳感器。二維傳感器屬于水平和垂直傳送電荷傳感器，傳送方式有行間傳送、幀一行間傳送、幀傳送及全幀傳送四種方式。圖2.2所示為行間傳送方式，采取一維攝像區(qū)域(接收部分)與傳送區(qū)域平行布置結(jié)構(gòu)的方法。接收部分多使用二極管。每一幀曝光所儲蓄的電荷分別被垂直或水平的傳送，然后以圖像信號的形式被取出。在CCD內(nèi)部電荷傳送的效率非常高，因此其具有高的靈敏度。由于整個傳送區(qū)域是被遮光的，所以在傳送中不會曝光。圖2.2CCD攝像器件的結(jié)構(gòu)CCD圖像傳感器把垂直寄存器用作單

6、畫面圖像的緩存，所以可以將曝光時間和信號傳送時間分離開。也就是說，其具有所有像素能在同一時間曝光的特點2.4 CMOS圖像傳感器CMOS圖像傳感器是由接收部分（二極管）和放大部分組成的一個個單元，然后按照二維排列。由于放大器單元之間特性的分散性大，以至于其噪聲比較大。不過，近年來噪聲消除電路的性能已經(jīng)得到改善，故使COMS圖像傳感器得到迅速普及和應(yīng)用。CMOS傳感器的優(yōu)點是耗電低，并利用一般半導(dǎo)體制造技術(shù)就可以完成CMOS處理器的設(shè)計和加工，這都是有利于圖像處理電路和圖像傳感器的單片化和低成本化。3 .弧焊機(jī)器人視覺技術(shù)焊接作為一種機(jī)械加工的重要特殊工藝手段，在制造業(yè)中具有舉足輕重的地位，但是

7、，傳統(tǒng)的手工焊接力一法己經(jīng)不能滿足現(xiàn)代高新技術(shù)產(chǎn)品制造的要求。囚此，保證焊接產(chǎn)品質(zhì)量的穩(wěn)定性、提高生產(chǎn)效率、減輕工人的勞動強度和改善勞動環(huán)境己經(jīng)成為現(xiàn)代焊接技術(shù)極待解決的問題。隨著先進(jìn)制造技術(shù)的發(fā)展，實現(xiàn)焊接產(chǎn)品制造的自動化、柔性化與智能化己經(jīng)成為必然趨勢。焊接機(jī)器人具有通用性強、工作可靠的優(yōu)點，但是無法自主獲取工件定位信息、焊縫空間位置信息、焊縫熔透信官、，當(dāng)焊接對象改變時需要重新示教，造成工作效率低下，囚此智能化是焊接機(jī)器人的發(fā)展趨勢。焊接機(jī)器人智能化技術(shù)是指在焊接機(jī)器人上裝配各種傳感器，使焊接機(jī)器人對外界環(huán)境具有一定的感知能力，從而使焊接機(jī)器人可以自主地適應(yīng)環(huán)境，并根據(jù)環(huán)境的變化，對自身

8、下一步操作自主調(diào)整。使用焊接傳感器的日的是為了實現(xiàn)焊接過程的自動控制，進(jìn)而實現(xiàn)焊接的智能化。焊接傳感器根據(jù)原理可以分為聲學(xué)、力學(xué)、電弧和光學(xué)傳感器等。聲學(xué)傳感器主要用于GMAW過程熔滴過渡的檢測、等離子穿孔焊等。力學(xué)傳感器能夠反映熔池振蕩頻率同熔池體積之間的關(guān)系，但日前只能用于步進(jìn)焊接，無法實現(xiàn)連續(xù)行走。電弧傳感器由于直接檢測電弧自身的特性，不需要外加傳感器及附件，應(yīng)用簡單，主要用于焊縫跟蹤和熔敷控制。據(jù)統(tǒng)計，焊工進(jìn)行手弧焊操作時獲取的信息有80%來自視覺。熟練的焊接工人通過觀測熔池、工件的接頭、電弧的形狀和熔滴過渡形式等來預(yù)測背而的形狀和尺寸參數(shù)，通過調(diào)節(jié)焊接參數(shù)實現(xiàn)熔透的控制，保證焊接質(zhì)量

9、的穩(wěn)定。下文介紹了視覺傳感技術(shù)及其在機(jī)器人焊接中的作用。3.1 弧焊視覺傳感技術(shù)的優(yōu)點與傳統(tǒng)的傳感方法相比，光學(xué)傳感器具有不與焊接回路接觸、不與焊接工件接觸、信號的檢測操作不影響正常的焊接過程、傳感信息豐富、硬件設(shè)備簡單、易于維護(hù)的優(yōu)點。電子技術(shù)、光學(xué)技術(shù)、機(jī)器視覺和圖像處理技術(shù)為視覺傳感技術(shù)提供了軟硬件支持，如光學(xué)器件和攝像機(jī)成本下降、性能提高、可靠性改善，圖像處理硬件性能改善和種類的增多為視覺傳感器提供了硬件支持，機(jī)器視覺、圖像處理和軟件技術(shù)的發(fā)展為視覺傳感器提供了軟件保障，因此光學(xué)傳感器在焊接過程中具有非常廣泛的應(yīng)用前景。光學(xué)傳感器根據(jù)光學(xué)器件所工作的波段可以分為X射線傳感器、視覺傳感器

10、和紅外傳感器三種。3.2 焊接熔池視覺傳感熔池形狀和尺寸對于焊縫成形具有非常重要的作用，熔池形狀和尺寸的傳感是焊縫成形控制的基礎(chǔ)，焊接過程中的聲、光、電、磁、熱等信急可以用來傳感熔池的形狀信息。3.2.1 主動式一維視覺傳感技術(shù)對于連續(xù)電流GTAW,熔池連續(xù)處在強烈電弧光的籠罩下，采用常規(guī)的CCD攝像方法很難排除弧光干擾得到清晰的熔池原始圖像。有人提出了一種由高能量密度脈沖激光器和與激光脈沖同步的電子快門頻閃高速攝像機(jī)組成的“頻閃視覺”系統(tǒng)檢測高亮度區(qū)景物的方法。輔助光源采用高密度脈沖激光或者Xe燈閃爍光源在脈沖期間強度高于弧光強度，視覺傳感器采用頻閃高速CCD攝像機(jī)捕捉瞬時清晰的熔池圖像。頻

11、閃視覺方法在GMAW、GTAW、等離子弧焊（PAW）、電子束焊（EBW）、激光焊（LW）過程中均獲得了清晰度和對比度都較好的熔池圖像，如圖3,5所示圖3.5頻閃視覺熔池圖像傳感3.2.2 被動式二維視覺傳感技術(shù)圖3.6是GTAW同軸檢測方法的示意圖。有人開發(fā)了一套放置在焊炬內(nèi)部與電極同軸觀測焊接熔池的集成視覺傳感系統(tǒng)，在TIG焊熔池觀察和MIG焊焊縫跟蹤等方面進(jìn)行了初步的研究。針對低碳鋼TIG焊輻射源中各組分發(fā)光機(jī)理及規(guī)律進(jìn)行的研究，發(fā)展了一種在電弧焊條件下獲得焊接區(qū)圖像的光譜傳感方法，該方法能夠使電弧光譜中各組分的光強在可見光范圍內(nèi)得到調(diào)整和控制，從而使熔池圖像質(zhì)量明顯提高，如圖3,7所示。

12、在連續(xù)光譜選取取像窗口，利用熔池液態(tài)金屬表面對電弧光的鏡面反射及未熔化的和已凝固的工件表面對電弧光的漫反射獲取熔池圖像，提高熔池圖像的對比度。獲取熔池正面圖像時，開發(fā)了由窄帶濾光片和中性濾光片組成的復(fù)合濾光系統(tǒng)抑制并充分利用弧光。同時開發(fā)了一套熔池同時同幅圖像傳感系統(tǒng)，它通過兩條獨立的光路將同時刻的熔池正反面的圖像聚焦于攝像機(jī)的CCD靶面，如圖3,8所示。圖3.6GTAW同軸熔池檢測方法一一5圖3.7光譜傳感方法圖3.8熔池正反面圖像同時同幅傳感系統(tǒng)3.2.3 主動式三維視覺傳感技術(shù)相對于二維信息而言，焊接區(qū)的三維信息在表現(xiàn)焊接熔池形狀、焊縫成形方面更具有優(yōu)勢。為了獲取熔池表面的三維信息，有人

13、設(shè)計了一套由強脈沖激光柵格狀多結(jié)構(gòu)光條紋和高速電子快門攝像機(jī)組成的熔池視覺檢測系統(tǒng)，攝像機(jī)的電子快門與激光脈沖同步，檢測正面熔池的下塌量，如圖3.9所示。在攝像機(jī)成像光路系統(tǒng)中加了與激光波長相匹配的窄帶濾光片，有效地抑制了弧光的干擾，進(jìn)一步提高了圖像的信噪比，獲得了非常清晰的TIG焊熔池表面反射圖像。采用一定的圖像處理算法可以提取結(jié)構(gòu)光條紋的柵格框架和輪廓，進(jìn)而可以計算出熔池正面的高度，建立了正面焊縫平均下塌量與反面熔寬之間關(guān)系的數(shù)學(xué)模型圖3.9結(jié)構(gòu)光視覺傳感焊接智能化、機(jī)器人化是焊接技術(shù)必然的發(fā)展趨勢，但是焊接過程控制的關(guān)鍵是信息傳感。焊接過程傳感信息包括光學(xué)、聲學(xué)、力學(xué)、電磁學(xué)等，視覺傳感

14、技術(shù)以其特點成為將來最有發(fā)展前景的傳感技術(shù)之一。弧焊機(jī)器人中的視覺傳感技術(shù)，將隨著相關(guān)技術(shù)的發(fā)展，進(jìn)一步推動焊接智能化技術(shù)發(fā)展。4 .機(jī)器視覺在農(nóng)業(yè)機(jī)器人中的應(yīng)用根據(jù)機(jī)器人視覺技術(shù)的不同層次，其在農(nóng)業(yè)機(jī)器人中的應(yīng)用也有所不同。一維成像視覺技術(shù)只是通過視覺傳感器對作業(yè)對象的某一個特征值進(jìn)行檢測，如光的強度、作業(yè)對象的顏色等。一維成像的視覺技術(shù)由于簡單、易于實現(xiàn)，因而在剛開始時得到了較多的應(yīng)用。但是由于一維成像技術(shù)反饋回來的信息量少，不太全面,因此限制了它的應(yīng)用范圍。所以，應(yīng)用越來越多的是二維成像的視覺技術(shù)。二維成像視覺技術(shù)是由不同位置的兩臺或者一臺攝像機(jī)（CCD）經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，通

15、過計算空間點在兩幅圖像中的視差，獲得該點的三維坐標(biāo)值。在人類獲取信息的感觀中，視覺所得到的信息量是最大的。依靠兩只眼睛，我們可以感覺到景物的深度，而不是兩張圖片的簡單重疊。這樣的二目視覺技術(shù)如果能夠應(yīng)用到計算機(jī)視覺中，將給農(nóng)產(chǎn)品的采摘帶來非常大的便利。在果實采摘機(jī)器人中，通過二維成像的視覺技術(shù)就可以對看到的圖像進(jìn)行分析處理，由圖像輪廓的形狀判斷出果實所在的位置，同時對其成熟度（如顏色）進(jìn)行檢測，由此決定是否采摘以及如何對果實進(jìn)行采摘。Grass等人研究的機(jī)器人具有獨立的可伸縮性，安裝在一個公共平臺上，由液壓系統(tǒng)支持。每一個機(jī)械臂末端安裝了一個帶廣交鏡的小攝像機(jī)，由于從不同的視點進(jìn)行獲取圖像，因

16、此，用立體匹配算法計算水果的具體位置，將RGB圖像閥值化為二值圖像，經(jīng)過平滑處理和邊界檢測后，估算中心位置，結(jié)果表明有86%的檢出率和5%的誤識率。鄭小東等以番茄的形心為匹配基元進(jìn)行雙目視覺的研究，通過模板匹配實現(xiàn)番茄圖像輪廓信息的補全和修復(fù)，然后根據(jù)輪廓特征求的形心，當(dāng)兩個攝像機(jī)都能拍攝到完整輪廓時，可以確定番茄的空間位置。但該算法對圖像的噪聲很敏感，影響了精度。在對果樹修枝的機(jī)器人中，采用視覺傳感器對果樹的枝干進(jìn)行二維成像，通過圖像識別確認(rèn)果樹各個枝干的生長情況，將其在計算機(jī)中與果樹修枝的標(biāo)準(zhǔn)要求對比，由此來決定如何修整果樹，并通過視覺傳感器反饋機(jī)器人手臂的動作，從而引導(dǎo)機(jī)器人用手部的剪刀

17、將無用的枝條剪掉。隨著科技的發(fā)展，人們的要求也越來越高。為了更加全面地掌握作業(yè)對象的信息，三維成像的視覺技術(shù)也開始進(jìn)入了人類的研究范圍。三維成像視覺技術(shù)主要是以二維成像視覺技術(shù)為基礎(chǔ)，通過用不同角度的視覺傳感器對作業(yè)對象進(jìn)行二維成像，數(shù)據(jù)送入計算機(jī)后再進(jìn)行分析處理，最終合成作業(yè)對象在空間的三維圖像，其原理與我們?nèi)说难劬︻愃啤C(jī)器人根據(jù)此圖像即可決定對作業(yè)對象的不同操作。在將采摘、檢測、分級合為一體的農(nóng)業(yè)機(jī)器人中，通過三維成像的視覺技術(shù)，機(jī)器人首先就可以判斷并確定果實所在的位置、果實的空間形狀，并檢測出果實的大小、成熟度等，然后根據(jù)分級的標(biāo)準(zhǔn)將果實放入不同的箱內(nèi)。更加智能的三維成像視覺技術(shù)將自動引導(dǎo)機(jī)器人在果園內(nèi)行走，搜索、發(fā)現(xiàn)并識別目標(biāo)，然后對成熟的果實進(jìn)行采摘、自動分級，最后再進(jìn)行自動包裝。如果機(jī)器人的控制軟件開發(fā)得足夠豐富的話，則帶有三維成像視覺技術(shù)的機(jī)器人將是一個全能機(jī)器人,