機(jī)器人視覺傳感技術(shù)及應(yīng)用doc

1、機(jī)器人視覺傳感技術(shù)及應(yīng)用摘要：機(jī)器人視覺技術(shù)是指機(jī)器人工作時(shí)通過視覺傳感器對(duì)環(huán)境物體獲取視覺信息，讓機(jī)器人識(shí)別物體來進(jìn)行各種工作。本文介紹了機(jī)器人技術(shù)中所常用的視覺傳感器的種類、結(jié)構(gòu)。原理和功能。介紹了弧焊機(jī)器人視覺傳感技術(shù)較為前沿的一些應(yīng)用和研究，包括焊縫跟蹤和獲取熔池信息。簡(jiǎn)要說明了視覺技術(shù)在農(nóng)業(yè)采摘機(jī)器人方面的應(yīng)用。關(guān)鍵詞：機(jī)器人、視覺、弧焊、采摘機(jī)器人1緒論機(jī)器人視覺是使機(jī)器人具有視覺感知功能的系統(tǒng)。機(jī)器人視覺可以通過視覺傳感器獲取環(huán)境的一維、二維和三維圖像，并通過視覺處理器進(jìn)行分析和解釋，進(jìn)而轉(zhuǎn)換為符號(hào)，讓機(jī)器人能夠辨識(shí)物體，并確定其位置及各種狀態(tài)。機(jī)器人視覺視覺側(cè)重于研究以應(yīng)用為背

2、景的專用視覺系統(tǒng)，只提供對(duì)執(zhí)行某一特定任務(wù)相關(guān)的景物描述。機(jī)器人視覺硬件主要包括圖像獲取和視覺處理兩部分，而圖像獲取由照明系統(tǒng)、視覺傳感器、模擬數(shù)字轉(zhuǎn)換器和幀存儲(chǔ)器等組成。根據(jù)功能不同，機(jī)器人視覺可分為視覺檢驗(yàn)和視覺引導(dǎo)兩種，廣泛應(yīng)用于電子、汽車、機(jī)械等工業(yè)部門和醫(yī)學(xué)、軍事領(lǐng)域。 2. 機(jī)器人常用的視覺傳感器2.1光電二極管與光電轉(zhuǎn)換器件圖2.1是pn型光電二級(jí)管的結(jié)構(gòu)。如果讓光子射入半導(dǎo)體的pn結(jié)邊界耗盡層，就會(huì)激勵(lì)起新的空穴。利用電場(chǎng)將空穴和電子分離到兩側(cè)，就可以的到與光子量成比例的反向電流。Pn型元件的優(yōu)點(diǎn)是暗電流小，所以被廣泛用于照度計(jì)和分廣度計(jì)等測(cè)量裝置中。圖2.1 pn型光電二極管

3、結(jié)構(gòu)在高響應(yīng)的發(fā)光二極管中pin結(jié)型與雪崩型。前者在pn結(jié)邊界插入一個(gè)本征半導(dǎo)體i層取代其耗盡層。給它施加反向偏壓，可以減少結(jié)電容，獲得高速響應(yīng)；而后者是在pn結(jié)上加100伏左右的反向偏置電壓產(chǎn)生強(qiáng)電場(chǎng)，激勵(lì)載流子加速，與原子碰撞產(chǎn)生電子雪崩現(xiàn)象。這些高速型二極管的響應(yīng)速度很快，能用于高速光通信等。2.2 PSDPSD（Position Sensitive Detector，位置敏感探測(cè)器）是測(cè)定入射光位置的傳感器，由發(fā)光二級(jí)管、表面電阻膜、電極組成。入射光產(chǎn)生的光電流通過電阻膜到達(dá)元件兩端的電極，流入各個(gè)電極的電流與電阻值存在對(duì)應(yīng)關(guān)系，而電阻值又與光的入射位置及到各個(gè)電極距離成比例，因此根據(jù)

4、電流值就能檢測(cè)到光入射的位置。PSD元件中有一維和二維兩種，它們都具有高速性，但要注意入射到開口部分的散射光的影響。2.3CCD圖像傳感器 電荷耦合器件（CCD：Charge Coupled Device）圖像傳感器是由多個(gè)光電二極管傳送儲(chǔ)存電荷的裝置。它有多個(gè)MOS（Metal Oxide Semiconductor）結(jié)構(gòu)的電極，電荷傳送的方式是通過向其中一個(gè)電極上施加與眾不同的電壓，產(chǎn)生所謂的勢(shì)阱，并順序變更勢(shì)阱來實(shí)現(xiàn)的。根據(jù)傳送電荷需要的脈沖信號(hào)的個(gè)數(shù)，施加電壓的方法有兩相方式和三相方式。CCD圖像傳感器有一維形式的，是將發(fā)光二極管和電荷傳送部分一維排列制成的。此外還有二維形式的，它可以

5、代替?zhèn)鹘y(tǒng)的硒化鎘光導(dǎo)攝像管和氧化鉛光電攝像管二維傳感器。二維傳感器屬于水平和垂直傳送電荷傳感器，傳送方式有行間傳送、幀行間傳送、幀傳送及全幀傳送四種方式。圖2.2所示為行間傳送方式，采取一維攝像區(qū)域（接收部分）與傳送區(qū)域平行布置結(jié)構(gòu)的方法。接收部分多使用二極管。每一幀曝光所儲(chǔ)蓄的電荷分別被垂直或水平的傳送，然后以圖像信號(hào)的形式被取出。在CCD內(nèi)部電荷傳送的效率非常高，因此其具有高的靈敏度。由于整個(gè)傳送區(qū)域是被遮光的，所以在傳送中不會(huì)曝光。圖2.2 CCD攝像器件的結(jié)構(gòu)CCD圖像傳感器把垂直寄存器用作單畫面圖像的緩存，所以可以將曝光時(shí)間和信號(hào)傳送時(shí)間分離開。也就是說，其具有所有像素能在同一時(shí)間曝

6、光的特點(diǎn)。2.4 CMOS圖像傳感器CMOS圖像傳感器是由接收部分（二極管）和放大部分組成的一個(gè)個(gè)單元，然后按照二維排列。由于放大器單元之間特性的分散性大，以至于其噪聲比較大。不過，近年來噪聲消除電路的性能已經(jīng)得到改善，故使COMS圖像傳感器得到迅速普及和應(yīng)用。CMOS傳感器的優(yōu)點(diǎn)是耗電低，并利用一般半導(dǎo)體制造技術(shù)就可以完成CMOS處理器的設(shè)計(jì)和加工，這都是有利于圖像處理電路和圖像傳感器的單片化和低成本化。2.5其他的攝像元件光電子增倍管就是根據(jù)二次放電效應(yīng)增大入射光的元件，因此他可以用來檢測(cè)微弱光線，如用于夜視系統(tǒng)中等。在紅外線圖像方面有波長(zhǎng)為215m的中紅外和遠(yuǎn)紅外區(qū)域的傳感器，在紅外線檢

7、測(cè)器中得到較多使用的是HgCdTe和AlGaAs結(jié)晶的量子型傳感器。熱效應(yīng)型傳感器最近也被實(shí)用化了，談的原理是把裝置接收的入射紅外線變換為熱能，再利用溫度檢測(cè)器將溫度升高轉(zhuǎn)變?yōu)殡娦盘?hào)輸出。熱效應(yīng)型傳感器無須冷卻器，這是量子型圖像傳感器所不及的優(yōu)點(diǎn)。2.6三維視覺傳感器 三維視覺傳感器分為被動(dòng)傳感器（用攝像機(jī)等對(duì)目標(biāo)物體進(jìn)行攝影，獲得圖像信號(hào)）和主動(dòng)傳感器（借助于傳感器向目標(biāo)投射光圖像，再接收返回信號(hào)）兩大類，如圖2.3所示。三維視覺傳感器被動(dòng)傳感器主動(dòng)傳感器單眼攝像機(jī)從焦點(diǎn)獲得形狀從X射線獲得形狀移動(dòng)視覺多目攝像機(jī)雙眼視覺三眼視覺、多眼視覺多基線立體視覺基于核幾何的手法主動(dòng)主體光切斷法多點(diǎn)投光

8、結(jié)構(gòu)化圖像投光照度差立體莫爾條紋法飛行時(shí)間法相位檢測(cè)法光雷達(dá)法圖2.3 三維視覺傳感器種類3. 弧焊機(jī)器人視覺技術(shù)焊接作為一種機(jī)械加工的重要特殊工藝手段，在制造業(yè)中具有舉足輕重的地位，但是，傳統(tǒng)的手工焊接力一法己經(jīng)不能滿足現(xiàn)代高新技術(shù)產(chǎn)品制造的要求。囚此，保證焊接產(chǎn)品質(zhì)量的穩(wěn)定性、提高生產(chǎn)效率、減輕工人的勞動(dòng)強(qiáng)度和改善勞動(dòng)環(huán)境己經(jīng)成為現(xiàn)代焊接技術(shù)極待解決的問題。隨著先進(jìn)制造技術(shù)的發(fā)展，實(shí)現(xiàn)焊接產(chǎn)品制造的自動(dòng)化、柔性化與智能化己經(jīng)成為必然趨勢(shì)巨。焊接機(jī)器人具有通用性強(qiáng)、工作可靠的優(yōu)點(diǎn)，但是無法自主獲取工件定位信息、焊縫空間位置信息、焊縫熔透信官、，當(dāng)焊接對(duì)象改變時(shí)需要重新示教，造成工作效率低下，

9、囚此智能化是焊接機(jī)器人的發(fā)展趨勢(shì)。焊接機(jī)器人智能化技術(shù)是指在焊接機(jī)器人上裝配各種傳感器，使焊接機(jī)器人對(duì)外界環(huán)境具有一定的感知能力，從而使焊接機(jī)器人可以自主地適應(yīng)環(huán)境，并根據(jù)環(huán)境的變化，對(duì)自身下一步操作自主調(diào)整。使用焊接傳感器的日的是為了實(shí)現(xiàn)焊接過程的自動(dòng)控制，進(jìn)而實(shí)現(xiàn)焊接的智能化。焊接傳感器根據(jù)原理可以分為聲學(xué)、力學(xué)、電弧和光學(xué)傳感器等。聲學(xué)傳感器主要用于GMAW過程熔滴過渡的檢測(cè)、等離子穿孔焊等。力學(xué)傳感器能夠反映熔池振蕩頻率同熔池體積之間的關(guān)系，但日前只能用于步進(jìn)焊接，無法實(shí)現(xiàn)連續(xù)行走。電弧傳感器由于直接檢測(cè)電弧自身的特性，不需要外加傳感器及附件，應(yīng)用簡(jiǎn)單，主要用于焊縫跟蹤和熔敷控制。據(jù)統(tǒng)

10、計(jì)，焊工進(jìn)行手弧焊操作時(shí)獲取的信息有80%來自視覺。熟練的焊接工人通過觀測(cè)熔池、工件的接頭、電弧的形狀和熔滴過渡形式等來預(yù)測(cè)背而的形狀和尺寸參數(shù)，通過調(diào)節(jié)焊接參數(shù)實(shí)現(xiàn)熔透的控制，保證焊接質(zhì)量的穩(wěn)定。下文介紹了視覺傳感技術(shù)及其在機(jī)器人焊接中的作用。3.1 弧焊視覺傳感技術(shù)的優(yōu)點(diǎn)與傳統(tǒng)的傳感方法相比，光學(xué)傳感器具有不與焊接回路接觸、不與焊接工件接觸、信號(hào)的檢測(cè)操作不影響正常的焊接過程、傳感信息豐富、硬件設(shè)備簡(jiǎn)單、易于維護(hù)的優(yōu)點(diǎn)。電子技術(shù)、光學(xué)技術(shù)、機(jī)器視覺和圖像處理技術(shù)為視覺傳感技術(shù)提供了軟硬件支持，如光學(xué)器件和攝像機(jī)成本下降、性能提高、可靠性改善，圖像處理硬件性能改善和種類的增多為視覺傳感器提供

11、了硬件支持，機(jī)器視覺、圖像處理和軟件技術(shù)的發(fā)展為視覺傳感器提供了軟件保障，因此光學(xué)傳感器在焊接過程中具有非常廣泛的應(yīng)用前景。光學(xué)傳感器根據(jù)光學(xué)器件所工作的波段可以分為X射線傳感器、視覺傳感器和紅外傳感器三種。視覺傳感器是在光譜的可見光波段內(nèi)利用CCD器件對(duì)焊接區(qū)成像，圖像中的景物與焊接區(qū)各部分一一對(duì)應(yīng)，可以得到焊接過程動(dòng)態(tài)熔池的一維和二維信息、，檢測(cè)到的熔池信息直接反映了焊接過程熔化金屬的動(dòng)態(tài)行為，無需紅外成像那樣只有經(jīng)過溫度場(chǎng)的標(biāo)定以后才能確定焊接區(qū)各個(gè)部分，非常直觀。視覺傳感技術(shù)根據(jù)所獲得的信息可以分為一維視覺傳感和二維視覺傳感;根據(jù)是否需要輔助光源分為主動(dòng)式視覺傳感和被動(dòng)式視覺傳感。主動(dòng)

12、式視覺傳感方法采用激光等輔助光源對(duì)焊接區(qū)進(jìn)行照明以減少電弧光對(duì)圖像質(zhì)量的影響，提高熔池圖像的質(zhì)量。由于激光具有單波長(zhǎng)、方向性好、相干性好等特點(diǎn)，所以通常采用激光作為輔助光源。日前應(yīng)用較多的是通過一定方法產(chǎn)生一條、多條或者網(wǎng)格分布的結(jié)構(gòu)光投射到焊接工件上，根據(jù)結(jié)構(gòu)光條紋的變形獲取有關(guān)的幾何形狀信息。主動(dòng)式視覺傳感由于要采用高能量的脈沖光源和特殊電子快門的攝像機(jī)，所以設(shè)備較多、系統(tǒng)復(fù)雜、價(jià)格昂貴，從而限制了這種方法在實(shí)際中的應(yīng)用。被動(dòng)式視覺傳感方法是通過弧光或者自然光等照明獲取焊接區(qū)圖像信息的，被動(dòng)式視覺傳感方式不需要輔助光源只采用普通的CCD攝像系統(tǒng)傳感熔池圖像，結(jié)構(gòu)簡(jiǎn)單、價(jià)格便宜，更適合在焊接

13、生產(chǎn)實(shí)際中使用，因此越來越受到人們的重視。3.2 焊縫跟蹤日前，應(yīng)用于焊接機(jī)器人上的傳感方式多種多樣，其中視覺傳感己成為機(jī)器人焊接傳感的研究熱點(diǎn)。機(jī)器人焊接視覺傳感技術(shù)包括機(jī)器人初始焊位導(dǎo)引、焊縫跟蹤、工件接頭識(shí)別、熔池幾何形狀實(shí)時(shí)傳感、熔滴過渡形式檢測(cè)、焊接電弧行為檢測(cè)等。焊縫跟蹤在焊接領(lǐng)域研究比較多,但是由于焊接機(jī)器人需要精確控制焊槍與工件之間的相對(duì)軌跡位置關(guān)系、運(yùn)動(dòng)速度以及焊槍姿態(tài)等，因此焊縫跟蹤的研究在機(jī)器人焊接中更為重要。根據(jù)視覺系統(tǒng)的工作方式不同，焊接機(jī)器人焊縫跟蹤的視覺傳感器分為結(jié)構(gòu)光式、激光掃描式和直接拍攝電弧式。其中結(jié)構(gòu)光式和激光掃描式都是基于三角測(cè)量原理的主動(dòng)視覺方法，如圖

14、3.1、3.2所示分別采用CCD攝像機(jī)和激光組成主動(dòng)式視覺傳感器進(jìn)行焊縫跟蹤，有些文獻(xiàn)提出了直接拍攝熔池區(qū)圖像的被動(dòng)視覺傳感方法實(shí)現(xiàn)焊縫跟蹤，通過CCD攝像機(jī)采集焊縫熔池區(qū)域的圖像信息，然后根據(jù)特定的一系列圖像處理算法識(shí)別焊縫的中心位置，同時(shí)，該系統(tǒng)設(shè)計(jì)了參數(shù)自調(diào)整模糊控制器對(duì)焊縫的跟蹤偏差進(jìn)行調(diào)節(jié)，通過主控計(jì)算機(jī)控制焊槍在X、Y方向運(yùn)動(dòng)，從而實(shí)現(xiàn)了對(duì)焊縫跟蹤的精確控制。 圖3.1視覺傳感系統(tǒng)組成 圖3.2 視覺傳感器組成如圖3.3所示的事以機(jī)器人的GTAW焊接過程作為研究對(duì)象，設(shè)計(jì)的一套以CCD攝像機(jī)為傳感工具，電弧光和熔池金屬輻射或可見光作為光源可同時(shí)用于熔池檢測(cè)與控制和焊槍初始位置導(dǎo)引的

15、焊接機(jī)器人視覺傳感系統(tǒng)。機(jī)器人視覺傳感器固定在具有九自由度的弧焊機(jī)器人手臂末端處，與焊槍相固定,如果視覺傳感器固定在焊槍上，則可能由于攝像機(jī)的體積和重量影響焊槍的可達(dá)性與運(yùn)動(dòng)的靈活性，另外，當(dāng)焊槍處于某一姿態(tài)時(shí)，視覺傳感器可能檢測(cè)不到熔池部分的圖像。如果在機(jī)器人第六關(guān)節(jié)上增加了第七關(guān)節(jié)以控制攝像機(jī)繞焊槍轉(zhuǎn)動(dòng)，可以實(shí)現(xiàn)機(jī)器人初始焊位的導(dǎo)引、機(jī)器人焊縫跟蹤和熔透控制，如圖3.4所示。 圖3.3機(jī)器人視覺傳感系統(tǒng)及實(shí)物照片 圖3.4 雙目視覺傳感器3.3焊接熔池視覺傳感熔池形狀和尺寸對(duì)于焊縫成形具有非常重要的作用，熔池形狀和尺寸的傳感是焊縫成形控制的基礎(chǔ)，焊接過程中的聲、光、電、磁、熱等信急可以用來

16、傳感熔池的形狀信息。3.3.1主動(dòng)式一維視覺傳感技術(shù)對(duì)于連續(xù)電流GTAW，熔池連續(xù)處在強(qiáng)烈電弧光的籠罩下，采用常規(guī)的CCD攝像方法很難排除弧光干擾得到清晰的熔池原始圖像。有人提出了一種由高能量密度脈沖激光器和與激光脈沖同步的電子快門頻閃高速攝像機(jī)組成的“頻閃視覺”系統(tǒng)檢測(cè)高亮度區(qū)景物的方法。輔助光源采用高密度脈沖激光或者Xe燈閃爍光源在脈沖期間強(qiáng)度高于弧光強(qiáng)度，視覺傳感器采用頻閃高速CCD攝像機(jī)捕捉瞬時(shí)清晰的熔池圖像。頻閃視覺方法在GMAW、GTAW、等離子弧焊（PAW）、電子束焊（EBW）、激光焊（LW）過程中均獲得了清晰度和對(duì)比度都較好的熔池圖像，如圖3.5所示。圖3.5頻閃視覺熔池圖像傳

17、感3.3.2 被動(dòng)式二維視覺傳感技術(shù)圖3.6是GTAW同軸檢測(cè)方法的示意圖。有人開發(fā)了一套放置在焊炬內(nèi)部與電極同軸觀測(cè)焊接熔池的集成視覺傳感系統(tǒng)，在TIG焊熔池觀察和MIG焊焊縫跟蹤等方面進(jìn)行了初步的研究。針對(duì)低碳鋼TIG焊輻射源中各組分發(fā)光機(jī)理及規(guī)律進(jìn)行的研究,發(fā)展了一種在電弧焊條件下獲得焊接區(qū)圖像的光譜傳感方法，該方法能夠使電弧光譜中各組分的光強(qiáng)在可見光范圍內(nèi)得到調(diào)整和控制，從而使熔池圖像質(zhì)量明顯提高, 如圖3.7所示。在連續(xù)光譜選取取像窗口,利用熔池液態(tài)金屬表面對(duì)電弧光的鏡面反射及未熔化的和已凝固的工件表面對(duì)電弧光的漫反射獲取熔池圖像，提高熔池圖像的對(duì)比度。獲取熔池正面圖像時(shí)，開發(fā)了由窄

18、帶濾光片和中性濾光片組成的復(fù)合濾光系統(tǒng)抑制并充分利用弧光。同時(shí)開發(fā)了一套熔池同時(shí)同幅圖像傳感系統(tǒng)，它通過兩條獨(dú)立的光路將同時(shí)刻的熔池正反面的圖像聚焦于攝像機(jī)的CCD靶面，如圖3.8所示。圖3.6 GTAW同軸熔池檢測(cè)方法圖3.7光譜傳感方法圖3.8 熔池正反面圖像同時(shí)同幅傳感系統(tǒng)3.3.3主動(dòng)式三維視覺傳感技術(shù)相對(duì)于二維信息而言，焊接區(qū)的三維信息在表現(xiàn)焊接熔池形狀、焊縫成形方面更具有優(yōu)勢(shì)。為了獲取熔池表面的三維信息,有人設(shè)計(jì)了一套由強(qiáng)脈沖激光柵格狀多結(jié)構(gòu)光條紋和高速電子快門攝像機(jī)組成的熔池視覺檢測(cè)系統(tǒng)，攝像機(jī)的電子快門與激光脈沖同步，檢測(cè)正面熔池的下塌量,如圖3.9所示。在攝像機(jī)成像光路系統(tǒng)中

19、加了與激光波長(zhǎng)相匹配的窄帶濾光片，有效地抑制了弧光的干擾，進(jìn)一步提高了圖像的信噪比，獲得了非常清晰的TIG焊熔池表面反射圖像。采用一定的圖像處理算法可以提取結(jié)構(gòu)光條紋的柵格框架和輪廓，進(jìn)而可以計(jì)算出熔池正面的高度，建立了正面焊縫平均下塌量與反面熔寬之間關(guān)系的數(shù)學(xué)模型。圖3.9結(jié)構(gòu)光視覺傳感 焊接智能化、機(jī)器人化是焊接技術(shù)必然的發(fā)展趨勢(shì)，但是焊接過程控制的關(guān)鍵是信息傳感。焊接過程傳感信息包括光學(xué)、聲學(xué)、力學(xué)、電磁學(xué)等，視覺傳感技術(shù)以其特點(diǎn)成為將來最有發(fā)展前景的傳感技術(shù)之一?；『笝C(jī)器人中的視覺傳感技術(shù)，將隨著相關(guān)技術(shù)的發(fā)展，進(jìn)一步推動(dòng)焊接智能化技術(shù)發(fā)展。4.機(jī)器視覺在農(nóng)業(yè)機(jī)器人中的應(yīng)用 農(nóng)業(yè)機(jī)器人

20、是 21世紀(jì)研究進(jìn)展最快的機(jī)器人。我國作為農(nóng)業(yè)大國,水果和蔬菜在人類的生活中占有很重要的地位,種植面積和產(chǎn)量逐年提高。目前中國果樹總面積為 993.3萬hm2,占世界果樹總面積的 20.39%,居世界第一位。而農(nóng)產(chǎn)品的采摘是一項(xiàng)勞動(dòng)強(qiáng)度大、消耗時(shí)間長(zhǎng),具有一定危險(xiǎn)的作業(yè),所以,對(duì)農(nóng)業(yè)采摘機(jī)器人的研究就顯得非常迫切。由于農(nóng)業(yè)機(jī)器人作業(yè)對(duì)象是有機(jī)生物體,且不同地域有不同的自然氣候、 地形、 地貌以及不同的種植制度,所以其應(yīng)用的難度非常之大。尤其針對(duì)如此錯(cuò)綜復(fù)雜的外部環(huán)境和形狀各異的作業(yè)對(duì)象,即使是在同一種農(nóng)業(yè)作業(yè),其作業(yè)對(duì)象也是千差萬別,這樣一來,采用帶視覺技術(shù)的農(nóng)業(yè)采摘機(jī)器人將不失為一個(gè)非常理想

21、的選擇。根據(jù)機(jī)器人視覺技術(shù)的不同層次,其在農(nóng)業(yè)機(jī)器人中的應(yīng)用也有所不同。一維成像視覺技術(shù)只是通過視覺傳感器對(duì)作業(yè)對(duì)象的某一個(gè)特征值進(jìn)行檢測(cè),如光的強(qiáng)度、作業(yè)對(duì)象的顏色等。一維成像的視覺技術(shù)由于簡(jiǎn)單、易于實(shí)現(xiàn),因而在剛開始時(shí)得到了較多的應(yīng)用。但是由于一維成像技術(shù)反饋回來的信息量少,不太全面,因此限制了它的應(yīng)用范圍。所以,應(yīng)用越來越多的是二維成像的視覺技術(shù)。二維成像視覺技術(shù)是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī) (CCD)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景,通過計(jì)算空間點(diǎn)在兩幅圖像中的視差,獲得該點(diǎn)的三維坐標(biāo)值。在人類獲取信息的感觀中,視覺所得到的信息量是最大的。依靠?jī)芍谎劬?我們可以感覺到景物的深度,而不是

22、兩張圖片的簡(jiǎn)單重疊。這樣的二目視覺技術(shù)如果能夠應(yīng)用到計(jì)算機(jī)視覺中,將給農(nóng)產(chǎn)品的采摘帶來非常大的便利。20世紀(jì) 80年代,美國麻省理工學(xué)院人工智能實(shí)驗(yàn)室的 Marr提出了一種視覺計(jì)算理論并應(yīng)用在雙睛匹配上,使兩張有視差的平面圖產(chǎn)生在深度的立體圖形,奠定了雙目立體視覺發(fā)展理論基礎(chǔ)。相比其他類的體視方法,如透鏡板三維成像、 投影式三維顯示、 全息照相術(shù)等,雙目本視直接模擬人類雙眼處理景物的方式,可靠簡(jiǎn)便,在許多領(lǐng)域均極具應(yīng)用價(jià)值,這種技術(shù)已經(jīng)得到初步的應(yīng)用。在二維成像的視覺技術(shù)中,常用的視覺傳感器有光電二極管組、 光導(dǎo)攝像機(jī)和固體半導(dǎo)體攝像機(jī)。二維成像的視覺技術(shù)在農(nóng)業(yè)采摘機(jī)器人中主要用于對(duì)作業(yè)對(duì)象的

23、形狀、 位置等的識(shí)別。在果實(shí)采摘機(jī)器人中,通過二維成像的視覺技術(shù)就可以對(duì)看到的圖像進(jìn)行分析處理,由圖像輪廓的形狀判斷出果實(shí)所在的位置,同時(shí)對(duì)其成熟度 (如顏色)進(jìn)行檢測(cè),由此決定是否采摘以及如何對(duì)果實(shí)進(jìn)行采摘。Grass等人研究的機(jī)器人具有獨(dú)立的可伸縮性,安裝在一個(gè)公共平臺(tái)上,由液壓系統(tǒng)支持。每一個(gè)機(jī)械臂末端安裝了一個(gè)帶廣交鏡的小攝像機(jī),由于從不同的視點(diǎn)進(jìn)行獲取圖像,因此,用立體匹配算法計(jì)算水果的具體位置,將 RGB圖像閥值化為二值圖像,經(jīng)過平滑處理和邊界檢測(cè)后,估算中心位置,結(jié)果表明有 86%的檢出率和 5%的誤識(shí)率。鄭小東等以番茄的形心為匹配基元進(jìn)行雙目視覺的研究,通過模板匹配實(shí)現(xiàn)番茄圖像輪廓信息的補(bǔ)全和修復(fù),然后根據(jù)輪廓特征求的形心,當(dāng)兩個(gè)攝像機(jī)都能拍攝到完整輪廓時(shí),可以確定番茄的空間位置。但該算法對(duì)圖像的噪聲很敏感,影響了精度。在對(duì)果樹修枝的機(jī)器人中,采用視覺傳感器對(duì)果樹的枝干進(jìn)行