重點(diǎn)資料柑橘采摘機(jī)器人成熟果實(shí)定位及障礙物檢測研究

1、分類號 TP391.41 密級 公 開 UDC 519.688 編號 10299S0618014 學(xué) 位 論論 文柑橘采摘機(jī)器人人成熟果實(shí)定定位及障礙物檢測研研究Study oon Matture FFruit Locattion aand Obbstaclle Detecttion ffor Ciitrus Pickiing Roobots周小軍指導(dǎo)教師 蔡健榮 教授 院 系 江蘇大大學(xué)食品與生生物工程學(xué)院院 申請學(xué)位級別 碩士 專業(yè)名稱工程論文提交日期 2009年 4月 論文答辯日日期 20009年 6月 學(xué)位授予單位和和日期 江蘇大學(xué)學(xué) 20009年 6月 答辯委員會主席席 評閱人 _2

2、009年6月月學(xué)位論文版權(quán)使使用授權(quán)書本學(xué)位論文作者者完全了解學(xué)學(xué)校有關(guān)保留留、使用學(xué)位位論文的規(guī)定定，同意學(xué)校校保留并向國國家有關(guān)部門門或機(jī)構(gòu)送交交論文的復(fù)印印件和電子版版，允許論文文被查閱和借借閱。本人授授權(quán)江蘇大學(xué)學(xué)可以將本學(xué)學(xué)位論文的全全部內(nèi)容編入入有關(guān)數(shù)據(jù)庫庫進(jìn)行檢索，可可以采用影印印、縮印或掃掃描等復(fù)制手手段保存和匯匯編本學(xué)位論論文。保密 本學(xué)位論文屬于于 ，在 年我解密后后適用本授權(quán)權(quán)書。不保密 學(xué)位論文作者簽簽名： 指導(dǎo)教師師簽名： 2009年 月 日 22009年 月 日獨(dú)創(chuàng)性申明本人鄭重聲明：所呈交的學(xué)學(xué)位論文，是是本人在導(dǎo)師師的指導(dǎo)下，獨(dú)獨(dú)立進(jìn)行研究究工作所取得得的成果。

3、除除文中已經(jīng)注注明引用的內(nèi)內(nèi)容以外，本本論文不包含含任何其他個個人或集體已已經(jīng)發(fā)表或撰撰寫過的作品品成果。對本本文的研究做做出重要貢獻(xiàn)獻(xiàn)的個人和集集體，均已在在文中以明確確方式標(biāo)明。本本人完全意識識到本聲明的的法律結(jié)果由由本人承擔(dān)。學(xué)位論文作者簽簽名：2009年 月 日柑橘采摘機(jī)器人人成熟果實(shí)定位位及障礙物檢測研研究Study oon Matture FFruit Locattion aand Obbstaclle Detectiion foor Citrrus Piickingg Roboots 專 業(yè)業(yè)： 農(nóng)產(chǎn)品加工工及貯藏工程程 指導(dǎo)老師： 蔡健榮 教授 作者姓名： 周小軍 2009年6

4、月月摘 要隨著農(nóng)業(yè)生產(chǎn)的的飛速發(fā)展和和農(nóng)業(yè)勞動力力成本的迅速上上升，農(nóng)業(yè)勞動力的匱乏將成為為許多發(fā)達(dá)國國家和發(fā)展中中國家共同面面對的問題。目前機(jī)器人技術(shù)在農(nóng)業(yè)上應(yīng)用研究越來越成為熱門課題，與工業(yè)機(jī)器人特定的工作環(huán)境不同,農(nóng)業(yè)機(jī)器人主要在自然場景下工作,要面對更為復(fù)雜多變的情況,有更多的問題需要解決。 本研究究作為柑橘采采摘機(jī)器人研研究的一部分分，利用雙目目立體視覺技技術(shù)，研究自自然場景下的的成熟柑橘的的識別和定位位方法、障礙物(樹樹枝)的檢測測方法，為未來開發(fā)收獲獲機(jī)器人采摘摘柑橘進(jìn)行前前期視覺系統(tǒng)統(tǒng)方面的準(zhǔn)備備工作，這部部分相關(guān)的研研究也是水果果收獲機(jī)器人人實(shí)用化的關(guān)關(guān)鍵。本研究的主要內(nèi)內(nèi)容

5、和方法如如下：1. 成熟果實(shí)實(shí)定位果實(shí)定位主要通通過識別和匹匹配等步驟完完成。識別的的目的是把成成熟柑橘從背背景中識別出出來，為空間間定位做準(zhǔn)備。本研究究利用對RGB顏色系統(tǒng)中的的色差分量22R-G-BB值進(jìn)行迭代，自自動尋找閾值值的方法分割柑橘圖像；將區(qū)域域分割后的彩彩色圖像轉(zhuǎn)化化為二值圖像像；經(jīng)過形態(tài)態(tài)學(xué)運(yùn)算消除除噪聲；對圖圖像進(jìn)行區(qū)域域標(biāo)記，根據(jù)據(jù)區(qū)域面積和和區(qū)域最小外外接矩形長寬寬比設(shè)定閾值值，去除小塊塊及非類圓形形干擾區(qū)域；進(jìn)行區(qū)域填填充、輪廓提提取，并采用用優(yōu)化圓形HHough變變換擬合出成成熟果實(shí)圖像像中的圓心坐坐標(biāo)、半徑等等特征值；然然后以單個柑柑橘為匹配對對象，采用基基于特征

6、的立立體匹配方法法，加入柑橘橘的區(qū)域重心心、外接矩形形尺寸等特征征值作為匹配配約束來實(shí)現(xiàn)現(xiàn)左右兩幅圖圖像中對應(yīng)果果實(shí)的唯一匹匹配，研究結(jié)結(jié)果顯示正確確匹配率達(dá)880%以上。最后后在對攝像機(jī)內(nèi)內(nèi)外部參數(shù)進(jìn)進(jìn)行了標(biāo)定的的情況下，求求得柑橘的空空間三維坐標(biāo)標(biāo)，并利用激激光測距儀進(jìn)進(jìn)行了對比驗(yàn)驗(yàn)證，當(dāng)測量量距離小于等等于1.5m時，平均誤差不超過1%。2. 障礙物檢檢測為保持算法的可可執(zhí)行性，障障礙物檢測的的步驟和果實(shí)實(shí)定位基本相相同，采用對對圖像2R-G-B和2G-R-BB色差分量值值進(jìn)行迭代，并并結(jié)合圖像灰灰度閾值法能能快速有效的的分割出圖像像樹枝區(qū)域，通通過圖像二值值化、形態(tài)學(xué)學(xué)運(yùn)算、區(qū)域域標(biāo)記

7、、空洞洞填充提取出出圖像樹枝區(qū)區(qū)域；通過區(qū)區(qū)域細(xì)線化提提取樹枝骨架架，并進(jìn)行骨骨架修剪、恢恢復(fù)遮擋骨架架等處理；然然后找出骨架架中端點(diǎn)、分分支點(diǎn)等特征征點(diǎn)并記錄它它們的連接關(guān)關(guān)系；最后通通過對特征點(diǎn)點(diǎn)的立體匹配配恢復(fù)障礙物的的三維信息。試驗(yàn)表明障礙物的正確識別率為67.3%，當(dāng)障礙物實(shí)際距離大于1.5m時，識別誤差增大。通過研究，在成成熟水果識別別、匹配和定定位方面取得得了較大進(jìn)展展，提出了一一種果實(shí)收獲獲機(jī)器人的障障礙物檢測方方法。本文的研究究內(nèi)容對我國國開展農(nóng)業(yè)收收獲機(jī)器人視視覺識別技術(shù)術(shù)領(lǐng)域的研究究具有參考價價值，為進(jìn)一一步的研究打打下了基礎(chǔ)，對對提高我國農(nóng)農(nóng)業(yè)的國際競競爭力有重要要的經(jīng)

8、濟(jì)意義義。關(guān)鍵詞：識別，匹匹配，圓形HHough變變換，空間定定位，障礙物物ABSTRACCTWith thhe rappid deeveloppment of aggricullturall prodductioon, thhe cosst of agricculturre labbor foorce wwill bbecomee moree and more costlly. In reccent yyears, the aagricuulturaal appplicattion oof robbot teechniqque haave allreadyy becoome poopular

9、r issuue, beecausee of tthe shhortagge of the aagricuulture llabor forcee bothh in ddevelooped ccountrries aand deevelopping ccountrries. Diffeerent from indusstriall roboot, whhich wworks in paarticuular eenviroonmentt, thee agriicultuure roobot mmainlyy workks in the nnaturaal envvironmment, and t

10、the aggricullture robott has to faace moore coompliccated and uuncerttain ccircummstancce, thhus thhere aare moore prroblemms to be reesolveed.As a paart off reseearch on ciitrus pickiing roobots, thiss reseearch used binoccular stereeo vission tto ressearchhing oon reccognittion aand loocatioon mat

11、ture ccitruss, obsstaclee (braanchess) dettectioon undder naaturall enviironmeent. TThe maain coontentts andd methhods aare ass folllows:1. Matuure frruit llocatiionThe maiin steeps too compplete that are iimage recoggnitioon andd sterreo maatchinng. Thhe purrpose of immage rrecognnitionn is rrecogn

12、nizingg matuure ciitrus regioon froom imaage too makee prepparatiion foor loccationn. Thiis ressearchh usedd iterrate oon 2R-G-B cchromaatism compoonent in RGGB collor syystem to fiindingg threesholdd autoomaticcally to seegmentt origginal imagee. Theen thee segmmentedd imagges weere coonvertted too

13、 two-valuee imagges annd eliiminatted nooise by moorphollogicaal opeeratioon. Reegion labelling wwas doone annd eliiminatted reegion whichh was smalll or hhad grreat ddifferrencess fromm circcle byy defiining thresshold whichh baseed on area and llengthh to wwidth ratioo of tthe smmallesst cirrcumsc

14、cribedd recttanglees of each regioon. Thhen reegion filliing annd conntour extraactionn operrationn weree beenn donee and used improoved CCircullar Hoough TTransfformattion (CHT) to foound oout ciircle centrre andd radiius off eachh regiions approoachinng rouund. TThen uused ffeaturre-bassed maatch

15、aand addded eextra charaacteriisticss suchh as bbaryceenter of orrange regioon in the iimage, sizees of each regioons aapproaachingg rounnd to get ccorrecct mattch reesultss of eeach iimage pair. Expeerimenntal rresultts shoow thaat thee matcching accurracy ccan reeach oover 880%. FFinallly, affter

16、ccalibrrated the ccameraa inteerior and eexteriior paarametters, the 33-d sppace ccoordiinate of eaach orrange was bbeen oobtainned annd useed thee laseer rannge fiinder to veerificcationn and compaarisonn. Ressults show that the aaveragge errror raatio iis bellow 1% wheen thee meassuringg disttance

17、 is noo moree thann 1.5mm.2. Obsttacle detecctionTo ensuure exxecutaable oof alggorithhms, tthe stteps oof obsstaclee deteectionn are the ssame aas thaat of maturre fruuit loocatioon. Ussed itteratee on 22R-G-BB and 2G-R-BB chroomatissm commponennt, coombineed witth graay thrresholld metthod tto seg

18、gment imagee quicckly aand efffectiively. Got the bbranchh regiions by immage bbinaryyzatioon, moorphollogicaal proocessiing, rregionn labeeling and ffillinng. Extrractedd skelleton of obbstaclle by thinnning aand diid somme proocessees so as too prunning tthe skkeletoon andd recooverinng thee occll

19、uded skeleeton. Then obtaiined tthe feeaturee poinnts such as enndpoinnts and brancch poiints of thhe skeeletonn, reccordedd theiir connnectiing HYPERLINK /dict_result.aspx?searchword=%e5%85%b3%e7%b3%bb&tjType=sentence&style= reelatioonshipp. Finnally the 33D infformattion oof obsstaclee was restoor

20、ed bby stereoo matchiing onn featture ppointss. Expperimeental resullts shhow thhat thhe ideentifiicatioon acccuracyy of oobstaccle caan reaach 677.3%, the identtificaation errorr ratiio was inccreaseed wheen thee actuual diistancce of obstaacle iis morre thaan 1.55m.Throughh the reseaarch, some ach

21、ieevemennts haave beeen maade. SSuch aas matture ffruit recoggnitioon, maatch aand loocatioon. Thhis reesearcch alsso proovidess a meethod for ffruit harveest roobot tto dettect oobstaccle. TThe reesearcch ressults of thhis reesearcch havve refferencce vallue foor thee studdy on visuaal reccognittio

22、n iin thee fielld of harveest roobot iin ourr counntry. They also proviide a basiss for furthher sttudy aand haave immportaant ecconomiic siggnificcance to ennhancee inteernatiional compeetitivve powwer off our counttrys agricculturral. KEY WORRDS: recognnitionn, matchiing, circulaar hough transsfor

23、maation (CHT), spatiaal locatiion, oobstaccle目 錄TOC o 1-3 h z u HYPERLINK l _Toc227044741 第一章 緒 論 PAGEREF _Toc227044741 h 1 HYPERLINK l _Toc227044742 1.1 研究究目的和意義義 PAGEREF _Toc227044742 h 1 HYPERLINK l _Toc227044743 1.2 國外外研究現(xiàn)狀 PAGEREF _Toc227044743 h 3 HYPERLINK l _Toc227044744 1.3 國內(nèi)內(nèi)研究現(xiàn)狀 PAGEREF

24、_Toc227044744 h 5 HYPERLINK l _Toc227044745 1.4 研究究內(nèi)容和方法法 PAGEREF _Toc227044745 h 6 HYPERLINK l _Toc227044746 1.5 本章章小結(jié) PAGEREF _Toc227044746 h 7 HYPERLINK l _Toc22270447747 第二章 雙目立體體視覺系統(tǒng)簡簡介 PAGEREF _Toc227044747 h 8 HYPERLINK l _Toc227044748 2.1 硬件件組成 PAGEREF _Toc227044748 h 10 HYPERLINK l _Toc2270

25、44749 2.2 相關(guān)關(guān)圖像處理軟軟件 PAGEREF _Toc227044749 h 12 HYPERLINK l _Toc227044750 2.3 本章章小結(jié) PAGEREF _Toc227044750 h 12 HYPERLINK l _Toc227044751 第三章 成熟熟柑橘果實(shí)定定位 PAGEREF _Toc227044751 h 13 HYPERLINK l _Toc227044752 3.1 計算算機(jī)視覺中的的顏色表示 PAGEREF _Toc227044752 h 13 HYPERLINK l _Toc227044753 3.2 成熟熟柑橘區(qū)域提提取 PAGEREF _

26、Toc227044753 h 16 HYPERLINK l _Toc227044754 3.2.1 圖像分割原原理 PAGEREF _Toc227044754 h 16 HYPERLINK l _Toc227044755 3.2.2 閾值分割 PAGEREF _Toc227044755 h 17 HYPERLINK l _Toc227044756 3.2.3 二值化處理理 PAGEREF _Toc227044756 h 19 HYPERLINK l _Toc227044757 3.2.4 形態(tài)學(xué)運(yùn)算算 PAGEREF _Toc227044757 h 19 HYPERLINK l _Toc227

27、044758 3.2.5 區(qū)域標(biāo)記 PAGEREF _Toc227044758 h 20 HYPERLINK l _Toc227044759 3.2.6 區(qū)域填充 PAGEREF _Toc227044759 h 21 HYPERLINK l _Toc227044760 3.2.7 基于面積和和最小外接矩矩形的目標(biāo)區(qū)區(qū)域提取 PAGEREF _Toc227044760 h 22 HYPERLINK l _Toc227044761 3.3 果實(shí)實(shí)區(qū)域特征提提取 PAGEREF _Toc227044761 h 23 HYPERLINK l _Toc227044762 3.3.1 果實(shí)區(qū)域的的輪廓提取

28、 PAGEREF _Toc227044762 h 23 HYPERLINK l _Toc227044763 3.3.2 利用優(yōu)化圓圓形Houggh變換提取取果實(shí)特征 PAGEREF _Toc227044763 h 24 HYPERLINK l _Toc227044764 3.3.3 實(shí)驗(yàn)結(jié)果及及分析 PAGEREF _Toc227044764 h 28 HYPERLINK l _Toc227044765 3.4 成熟熟柑橘區(qū)域立立體匹配和空空間定位 PAGEREF _Toc227044765 h 30 HYPERLINK l _Toc227044766 3.4.1 雙目立體視視覺成像模型型 P

29、AGEREF _Toc227044766 h 30 HYPERLINK l _Toc227044767 3.4.2 雙目立體視視覺的深度計計算 PAGEREF _Toc227044767 h 31 HYPERLINK l _Toc227044768 3.4.3 空間定位的的實(shí)現(xiàn) PAGEREF _Toc227044768 h 32 HYPERLINK l _Toc227044769 3.4.4 立體匹配 PAGEREF _Toc227044769 h 33 HYPERLINK l _Toc227044770 3.4.5 成熟柑橘的的三維坐標(biāo)恢恢復(fù) PAGEREF _Toc227044770 h

30、 38 HYPERLINK l _Toc227044771 3.4.6 實(shí)驗(yàn)方案 PAGEREF _Toc227044771 h 39 HYPERLINK l _Toc227044772 3.4.7 實(shí)驗(yàn)所得數(shù)數(shù)據(jù) PAGEREF _Toc227044772 h 39 HYPERLINK l _Toc227044773 3.4.8 結(jié)論及分析析 PAGEREF _Toc227044773 h 41 HYPERLINK l _Toc227044774 3.5 本章章小結(jié) PAGEREF _Toc227044774 h 41 HYPERLINK l _Toc2270447775 第四章 障礙物檢檢

31、測 PAGEREF _Toc227044775 h 42 HYPERLINK l _Toc227044776 4.1 圖像像樹枝區(qū)域提提取 PAGEREF _Toc227044776 h 42 HYPERLINK l _Toc227044777 4.1.1 顏色分割 PAGEREF _Toc227044777 h 42 HYPERLINK l _Toc227044778 4.1.2 灰度閾值分分割 PAGEREF _Toc227044778 h 43 HYPERLINK l _Toc227044779 4.1.3 提取樹枝區(qū)區(qū)域 PAGEREF _Toc227044779 h 44 HYPER

32、LINK l _Toc227044780 4.2 樹枝枝特征提取 PAGEREF _Toc227044780 h 45 HYPERLINK l _Toc227044781 4.2.1 樹枝骨架提提取 PAGEREF _Toc227044781 h 45 HYPERLINK l _Toc227044782 4.2.2 骨架特征點(diǎn)點(diǎn)提取 PAGEREF _Toc227044782 h 51 HYPERLINK l _Toc227044783 4.2.3 骨架修剪 PAGEREF _Toc227044783 h 52 HYPERLINK l _Toc227044784 4.2.4 恢復(fù)遮擋樹樹枝 P

33、AGEREF _Toc227044784 h 54 HYPERLINK l _Toc227044785 4.2.5 樹枝半徑提提取 PAGEREF _Toc227044785 h 56 HYPERLINK l _Toc227044786 4.3 立體體匹配 PAGEREF _Toc227044786 h 57 HYPERLINK l _Toc227044787 4.4 障礙礙物三維信息息恢復(fù) PAGEREF _Toc227044787 h 57 HYPERLINK l _Toc227044788 4.5 算法法流程及結(jié)果果分析 PAGEREF _Toc227044788 h 58 HYPERL

34、INK l _Toc227044789 4.6 本章章小結(jié) PAGEREF _Toc227044789 h 60 HYPERLINK l _Toc227044790 第五章 結(jié)論論與展望 PAGEREF _Toc227044790 h 61 HYPERLINK l _Toc2270447911 參考文獻(xiàn) PAGEREF _Toc227044791 h 63 HYPERLINK l _Toc227044792 致 謝 PAGEREF _Toc227044792 h 666 HYPERLINK l _Toc227044793 碩士期間發(fā)表的的論文及參與與的課題 PAGEREF _Toc227044

35、793 h 67第一章 緒 論1.1 研究究目的和意義義進(jìn)入二十一世紀(jì)紀(jì)，我國的農(nóng)農(nóng)業(yè)和農(nóng)村經(jīng)經(jīng)濟(jì)發(fā)展正面面臨新的機(jī)遇遇和挑戰(zhàn)。一一方面，由于于加入WTOO，農(nóng)業(yè)和農(nóng)農(nóng)村經(jīng)濟(jì)發(fā)展展正面臨著世世界各地的沖沖擊和挑戰(zhàn)；另一方面也也給我國帶來來了一次加快快農(nóng)業(yè)和農(nóng)村村經(jīng)濟(jì)發(fā)展以以及對農(nóng)村經(jīng)經(jīng)濟(jì)結(jié)構(gòu)調(diào)整整的絕好的機(jī)機(jī)遇。隨著農(nóng)農(nóng)業(yè)生產(chǎn)正朝朝著規(guī)?；?、多多樣化、精確確化方向發(fā)展展，農(nóng)業(yè)勞動動力的成本必必然迅速上升升，勞動力不不足的現(xiàn)象也也會日趨明顯顯，因而作為為高科技的機(jī)機(jī)器人技術(shù)進(jìn)進(jìn)入農(nóng)業(yè)領(lǐng)域域變得越來越越現(xiàn)實(shí)。柑橘作為世界第第一大類水果，20002全世界年年貿(mào)易額達(dá)到到82億多美元元，是僅次于于小麥

36、和玉米米的第三大貿(mào)貿(mào)易農(nóng)產(chǎn)品。過過去30年，世界柑橘橘產(chǎn)量增長了一一倍，據(jù)聯(lián)合國糧農(nóng)農(nóng)組織預(yù)測，到2010年，全全球柑橘產(chǎn)量量將達(dá)66440萬噸，中國具有發(fā)發(fā)展柑橘產(chǎn)業(yè)業(yè)得天獨(dú)厚的的自然條件，適適宜栽培柑橘橘的地域廣闊闊，20077年栽培面積積達(dá)191萬公頃頃，產(chǎn)量達(dá)到到2059萬噸噸，中國柑橘橘種植面積和和產(chǎn)量均躍居居世界第一。目目前，中國人人均消費(fèi)柑橘橘鮮果10.5kg，比比1978年的的0.3kgg增加了35倍1。在柑橘的生產(chǎn)作業(yè)中中，收獲采摘摘約占整個作作業(yè)量的40050%，由由于采摘作業(yè)業(yè)的復(fù)雜性，采采摘自動化程程度很低。由于本本世紀(jì)我國農(nóng)農(nóng)業(yè)勞動力將將逐漸向社會會其它產(chǎn)業(yè)轉(zhuǎn)轉(zhuǎn)移，而

37、且我我國面臨著嚴(yán)重的的人口老齡化化問題，勞動動力資源不足足將逐漸變?yōu)闉楝F(xiàn)實(shí)，我國國柑橘產(chǎn)量大，季季節(jié)性強(qiáng)，大大量的成熟柑柑橘如不及時時收獲和保存存，由此造成成的腐爛和掉掉落將損失巨巨大，柑橘自動采摘摘機(jī)器人能夠夠降低人勞動動強(qiáng)度，提高高勞動生產(chǎn)率率和產(chǎn)品質(zhì)量量，保證果實(shí)實(shí)適時采收，因因此，研究開開發(fā)柑橘采摘機(jī)器器人，具有重重要的意義。機(jī)器人技術(shù)的研研究和發(fā)展分分幾個時代。第第一代機(jī)器人人很多是示教教再現(xiàn)型工業(yè)業(yè)用機(jī)器人，即即按預(yù)先規(guī)定定好的程序反反復(fù)動作，這這類機(jī)器人不不具備識別外外界狀況的功功能。近幾年年，利用各種種傳感器技術(shù)術(shù)檢測環(huán)境條條件并進(jìn)行工工作的智能型型第二代機(jī)器器人研究迅速速展開

38、，在環(huán)環(huán)境條件受到到嚴(yán)格控制的的作業(yè)現(xiàn)場實(shí)實(shí)現(xiàn)應(yīng)用。在在此基礎(chǔ)上，研研究人員進(jìn)一一步研究開發(fā)發(fā)具有計算機(jī)機(jī)人工智能和和推理功能的的第三代機(jī)器器人，并不斷斷走向成熟。由由于工作要求求不同、使用用行業(yè)不同，目目前機(jī)器人研研究領(lǐng)域形成成了幾代并存存、共同發(fā)展展的局面。即即使是這樣，將將現(xiàn)在的工業(yè)業(yè)機(jī)器人系統(tǒng)統(tǒng)直接應(yīng)用于于農(nóng)業(yè)，面對對田間作業(yè)現(xiàn)現(xiàn)場的不同環(huán)環(huán)境和多變條條件，還是無無法滿足應(yīng)用用要求。與工工業(yè)應(yīng)用的人人工控制環(huán)境境截然不同，農(nóng)農(nóng)業(yè)用機(jī)器人人主要在自然然環(huán)境下工作作，要識別的的作業(yè)對象形形狀、顏色等等特征會因生生長環(huán)境的不不同而變化。如如收獲水果時時，機(jī)器人需需要從枝葉、地地面、空間等等雜

39、亂背景中中分辨出水果果，并根據(jù)其其成熟度有選選擇地實(shí)施操操作，在不同同的光照條件件下，原本就就很復(fù)雜的問問題，又變得得更為復(fù)雜。因此，目前收獲機(jī)器人存在的問題主要有果實(shí)的識別率和采摘率不高、果實(shí)的平均采摘周期較長等，解決收獲機(jī)器人果實(shí)的識別和定位問題的關(guān)鍵是視覺功能的智能化。作為機(jī)器人的核心系統(tǒng)：即立體視覺系統(tǒng)的研究，成為機(jī)器人能否在農(nóng)業(yè)上成功應(yīng)用的關(guān)鍵，使機(jī)器人能像人一樣，準(zhǔn)確識別和定位目標(biāo)，對實(shí)現(xiàn)機(jī)器人的智能化以及機(jī)器人升級換代起決定性作用，因此這方面的研究成為焦點(diǎn)。收獲機(jī)器人主要要包括行走機(jī)機(jī)構(gòu)、控制系系統(tǒng)和機(jī)械手手等幾大部分分，其中機(jī)械械手是機(jī)器人人的主要執(zhí)行行部件，其構(gòu)構(gòu)造復(fù)雜，造造

40、價昂貴，是是機(jī)器人的最最重要組成部部分。在采摘摘蘋果、柑橘橘等高大果樹樹的果實(shí)時，機(jī)械手需要要較大的工作作空間2，但實(shí)際生生長的果樹形形態(tài)各異、參參差不齊、許許多果實(shí)生長長在樹枝后面面，或者在兩兩個樹枝之間間，而且這些些果樹的樹枝枝較粗大，若若機(jī)械手與這這些樹枝相碰碰撞將造成機(jī)機(jī)械手的損壞壞，要想使機(jī)機(jī)械手采摘到到這些果實(shí)，必必須避開樹枝枝，所以對于于開發(fā)柑橘、蘋蘋果等收獲機(jī)機(jī)器人，避障障研究是必要要的。要使機(jī)機(jī)械手自動避避障，必須先先使機(jī)器人準(zhǔn)準(zhǔn)確的識別障障礙物，得到到障礙物空間間三維信息，然后通過空間建模和機(jī)械手路徑規(guī)劃實(shí)現(xiàn)自動避障。目前在機(jī)器人導(dǎo)航以及汽車行業(yè)中，對機(jī)器人避障已進(jìn)行了較廣

41、泛的研究，但在收獲機(jī)器人方面，對機(jī)械手避障的研究較少，目前開發(fā)出的收獲機(jī)器人，如日本的茄子采摘機(jī)器人3,荷蘭的黃瓜采摘機(jī)器人4,美國的柑橘采摘機(jī)器人等都沒有機(jī)械手避障功能，所采摘的都是表層的無障礙的果實(shí)，因此目前果實(shí)收獲機(jī)器人的應(yīng)用范圍較窄，在有堅硬樹枝等障礙物存在的情況下，機(jī)械手的采摘較危險。為了增加收獲機(jī)器人的實(shí)用性，提高采摘的安全性，機(jī)械手必須能自動避障，而如何準(zhǔn)確的識別和恢復(fù)障礙物三維信息則是機(jī)器人避障必須首先解決的問題。綜上所述，本研研究的兩大主主要內(nèi)容：柑柑橘采摘機(jī)器器人果實(shí)定位位和障礙物檢檢測，是實(shí)現(xiàn)現(xiàn)柑橘采摘機(jī)機(jī)器人自動、快速、準(zhǔn)確確、安全采摘摘果實(shí)的關(guān)鍵鍵，是柑橘收收獲機(jī)器人

42、發(fā)發(fā)展必須首先先解決的問題題。1.2 國外外研究現(xiàn)狀 在果實(shí)實(shí)識別和定位位方面，國外外對計算機(jī)視視覺在農(nóng)產(chǎn)品品收獲中應(yīng)用用的研究起步步很早，尤其其是在樹上果果實(shí)的檢測方方面做了很多多工作，為我我們的研究提提供了許多寶寶貴的經(jīng)驗(yàn)。機(jī)器視覺技術(shù)在在果蔬收獲機(jī)機(jī)器人中的應(yīng)應(yīng)用開始于11968年，美美國學(xué)者Scchertzz 和Brownn最早提出果果實(shí)自動化采采摘的想法。利利用果實(shí)和葉葉子在電磁光光譜的可見光光和紅外區(qū)域域反射率的不不同來檢測水水果5,6，在他們的的文章中，建建議果實(shí)的位位置可以通過過光度信息測測定，尤其是是利用葉子和和果實(shí)對可見見光或者電磁磁光譜紅外部部分反光度的的差異。同時時文章

43、中也指指出了在果實(shí)實(shí)自動化檢測測中必須考慮慮的問題：(1)不均勻勻照明；(22)枝葉遮擋擋使得只有770%到100%的果果實(shí)可以看到到。受Scherttz和Brownn想法的啟發(fā)發(fā)，各種有關(guān)關(guān)果實(shí)自動化化采摘的研究究在世界各地地陸續(xù)開展起起來。Parrrish和和Gokseel在1977年據(jù)上述理理論，使用一一臺B/W照相機(jī)和一個個用于增強(qiáng)紅紅色蘋果和綠綠色葉子對比比度的紅色光光學(xué)濾波器，構(gòu)建了第一個較為實(shí)用的蘋果識別視覺系統(tǒng)7，這項研究拓寬了收獲機(jī)器人研究的思路。他們利用人造蘋果樹進(jìn)行了一些試驗(yàn)，但是沒有報道具體的檢測結(jié)果。DEsnonn等人報道了了用于蘋果檢檢測的第一套套彩色視覺系系統(tǒng)8。

44、通過對二二值圖像的處處理能找到各各水果的區(qū)域域的中心。但但是這種系統(tǒng)統(tǒng)誤識別率較較高，檢測時時為了避免視視覺系統(tǒng)看到到未被樹葉擋擋住的天空，要要求在果樹后后面實(shí)施遮擋擋，防止產(chǎn)生生大量虛假目目標(biāo)9。1987年，WWhittaaker10首先提出基基于形狀信息息檢測果實(shí)的的方法。他認(rèn)認(rèn)為基于局部部像素顏色值值的分析方法法不適用于建建立對顏色不不敏感的處理理系統(tǒng)，建議議基于形狀信信息同時考慮慮局部像素顏顏色值和整體體顏色值的內(nèi)內(nèi)在關(guān)系，在在處理的過程程中用到了優(yōu)優(yōu)化圓形Hoough變換換。該方法雖雖然僅限于理理論上的探討討，但是開辟辟了果實(shí)識別別的一個新的的途徑。Illingwworth等等人11

45、用一臺黑白白攝像機(jī)拍攝攝得到灰度為為256級的灰灰度圖像，經(jīng)經(jīng)過Sobel算子子處理得到每每幅圖像的梯梯度矢量圖，通通過閾值化得得到邊界圖像像和方向圖像像。方向圖像像包括每個邊邊界的矢量方方向和最大亮亮度變化方向向，運(yùn)用優(yōu)化化的圓形Hoough變換換（CHT）檢檢測圖像中符符合西紅柿輪輪廓的弧度。該該研究采用人人為給定閾值值的方法，不不能適用光線線變化。給定定閾值對結(jié)果果影響很大，最最好的檢測準(zhǔn)準(zhǔn)確率為688%。本文采采用的迭代算法能根根據(jù)采集圖像像的亮度變化化自動選擇分分割閾值，很很好的解決光光線變化問題題。Harrelll等人對柑橘類采采摘機(jī)器人（CPR）進(jìn)行了研究究1214。采用色調(diào)、飽

46、飽和度以及RRGB顏色信信息進(jìn)行分類類，利用經(jīng)典典的貝葉斯分分類器，這種種分類方法將將成熟的柑橘橘或其它水果果像素從背景中中分離比較有有效。但是需要人工照照明，并且當(dāng)當(dāng)背景顏色和和水果相似時時，如大片枯枯葉、地面等等雜物容易被被誤識別成目目標(biāo)，并且不不能檢測有遮遮擋的果實(shí)。1990年，匈匈牙利和美國國科研聯(lián)合基基金會15聯(lián)合研制開開發(fā)出蘋果收收獲機(jī)器人。該該機(jī)器人用立立體視覺系統(tǒng)統(tǒng)自動檢測蘋蘋果，給出檢檢測到的蘋果果的空間位置置。試驗(yàn)結(jié)果果表明：可以以找到41的可視果實(shí)實(shí)，同時出現(xiàn)現(xiàn)了一些誤識識別。他們認(rèn)認(rèn)為出現(xiàn)這樣樣的結(jié)果原因因有兩方面：一是圖像分分割時出現(xiàn)了了一些錯誤的的判斷，圖像像上有些

47、非蘋蘋果部分被判判定是蘋果；二是利用立立體視覺尋找找果實(shí)上同一一部分在兩幅幅圖像上的對對應(yīng)區(qū)域時，由由于遮擋、重重疊等緣故，當(dāng)當(dāng)果實(shí)在果樹樹深處時，沒沒有充分利用用匹配算法中中的約束條件件，如極線約約束、唯一性性約束、保序序性約束等，在在遍歷搜索過過程中導(dǎo)致多多重匹配，出出現(xiàn)虛假目標(biāo)標(biāo)，采用基于于區(qū)域的匹配配算法，在灰灰度分布相似似區(qū)域匹配不不佳是該算法法的缺陷。為為此，本文采采用基于特征征的立體匹配配算法，運(yùn)用用各種約束條條件，減少了了定位誤差和和虛假目標(biāo)的的出現(xiàn)。1995年，意意大利的Buuemi116開發(fā)了用于于溫室柑橘采采摘的自動化化系統(tǒng)。該視視覺系統(tǒng)使用用彩色相機(jī)獲獲取圖像，并并將顏

48、色轉(zhuǎn)換換到HIS顏色系系統(tǒng)下，利用用色調(diào)和飽和和度對圖像進(jìn)進(jìn)行分割，通通過對同一場場景兩幅不同同的圖像進(jìn)行行空間匹配獲獲得三維信息息，試驗(yàn)結(jié)果果認(rèn)為可以檢檢測到大約990的成熟熟柑橘，出現(xiàn)現(xiàn)的錯誤檢測測，基本上都都是由遮擋問問題造成的。西班牙的Cerres17等認(rèn)為使用用光學(xué)相機(jī)系系統(tǒng)，造成錯錯誤檢測的原原因是光照的的變化和場景景中同果實(shí)和和背景具有相相同顏色或形形狀屬性。11998年，他他們在西班牙牙AGRIBBOT工程中中提出使用激激光區(qū)域探測測傳感器獲得得圖像，利用用形狀識別果果實(shí)。他們把把檢測的目標(biāo)標(biāo)近似看作球球體，把輪廓廓線、凸度、凸凸面、反射率率四種不同的的點(diǎn)陣用于估估計球體的參參

49、數(shù)：空間位位置、半徑、反反射率。分別別利用人工樹樹和自然樹進(jìn)進(jìn)行了測試，研研究表明800的可視果果實(shí)被探測到到，沒有錯誤誤檢測。根據(jù)據(jù)他們的視覺覺識別系統(tǒng)，果果實(shí)的空間位位置可精確到到10mm。高橋照夫等人（2000）利用雙目立體視覺對果園的蘋果進(jìn)行定位研究。以紅富士蘋果為采摘對象進(jìn)行實(shí)驗(yàn)，結(jié)果表明，目標(biāo)距離為14m的有效范圍內(nèi)測量誤差較?。痪嚯x在1.23.5m時，誤差在-42%之間；大于3.5m時誤差在 -70%之間。系統(tǒng)要求的光線強(qiáng)度控制在190klx，果實(shí)的重疊度應(yīng)小于0.5。荷蘭農(nóng)業(yè)環(huán)境工工程研究所(IMAG B.V.) (20002)研究開發(fā)了了一種移動式式黃瓜收獲機(jī)機(jī)器人樣機(jī)18，

50、該研究在在荷蘭2hmm2的溫室里進(jìn)進(jìn)行。實(shí)驗(yàn)結(jié)結(jié)果表明，高高峰期需要44臺機(jī)器人。每每臺機(jī)器人每每日工作188h，作業(yè)速速度為10秒/根，相當(dāng)于于12個工人每每日6h的工作量量。蔬菜果實(shí)實(shí)收獲自動化化可以節(jié)約果果實(shí)收獲人工工費(fèi)用，但要要滿足商用產(chǎn)產(chǎn)品的各種要要求，還需對對樣機(jī)加以改改進(jìn)和完善。日本Shimaane大學(xué)（20000）構(gòu)建了了一種收獲機(jī)機(jī)器人視覺系系統(tǒng)19。Bulannon20（2002，日日本）根據(jù)顏顏色和灰度的的組合特征對對不同光照條條件下的Fuuji蘋果進(jìn)進(jìn)行識別，成成功率88，他們認(rèn)為影影響識別結(jié)果果的主要因素素是光照條件件。Limssiroraatana21等（20022

51、，日本）以以木瓜為對象象，利用橢圓圓傅立葉描繪繪子（Elllipticc Fourrier DDescriiptorss）根據(jù)形狀狀在圖像上識識別果實(shí)，為為了優(yōu)化識別別過程，采用用了快速傅立立葉變換（FFFT）和遺遺傳算法(GGA)，最后后結(jié)果認(rèn)為這這種方法是可可行的，但仍仍需進(jìn)一步深深入研究。目目前，日本、荷荷蘭、美國、以以色列等國都都開展了果蔬蔬收獲機(jī)器人人方面的研究究工作，但是是研究大都停停留在理論或或?qū)嶒?yàn)階段，還還沒真正實(shí)現(xiàn)現(xiàn)商業(yè)化22。在機(jī)器人障礙物物檢測方面，目目前在機(jī)器人人導(dǎo)航以及汽汽車行業(yè)中，對對機(jī)器人避障障已進(jìn)行了較較廣泛的研究究，但在收獲獲機(jī)器人方面面，對機(jī)械手手避障的研究

52、究較少，其原原因主要是農(nóng)農(nóng)業(yè)環(huán)境中由由于背景的復(fù)復(fù)雜性和光照照的不穩(wěn)定性性，障礙物的的檢測較復(fù)雜雜，因此這方面的的研究任重而而道遠(yuǎn)。本文文提出了一種種障礙物檢測測的方法，在在收獲機(jī)器人人障礙物檢測測方面做了一一些基礎(chǔ)性的的研究。1.3 國內(nèi)內(nèi)研究現(xiàn)狀國內(nèi)利用機(jī)器視視覺技術(shù)在農(nóng)農(nóng)業(yè)收獲機(jī)器器人方面的研研究起步較晚晚。1997年，吉吉林工業(yè)大學(xué)學(xué)的楊秀坤等等23提出利用計計算機(jī)視覺對對果實(shí)表面缺缺陷進(jìn)行檢測測的方法。該該方法首先對對果實(shí)圖像進(jìn)進(jìn)行濾波、增增強(qiáng)等預(yù)處理理，然后根據(jù)據(jù)像素顏色值值，利用自適適應(yīng)特征聚類類神經(jīng)網(wǎng)絡(luò)和和模糊加權(quán)決決策樹相結(jié)合合的方法對果果實(shí)表面缺陷陷進(jìn)行檢測。實(shí)實(shí)驗(yàn)結(jié)果認(rèn)為

53、為該方法優(yōu)于于傳統(tǒng)的檢測測方法。2001年，南南京農(nóng)業(yè)大學(xué)學(xué)的張瑞合等等24對自然環(huán)境境下番茄的識別與與定位進(jìn)行了了研究，他們們根據(jù)顏色特特征識別番茄茄，利用雙目目立體視覺從從兩幅二維圖圖像中恢復(fù)出出番茄的三維空空間坐標(biāo)，實(shí)實(shí)驗(yàn)結(jié)果認(rèn)為為當(dāng)目標(biāo)距離離為300400mmm時，深度誤誤差可以控制制在344。2002年，中中國農(nóng)業(yè)大學(xué)學(xué)的孫明等25提出利用計計算機(jī)視覺識識別蘿卜幼苗苗。該方法首首先突出圖像像中各像素的的綠色顏色分分量，然后結(jié)結(jié)合亮度信息息，采用最大大方差自動取取閾值等方法法識別目標(biāo)。2005年，江江蘇大學(xué)的蔡蔡健榮等26將RGB顏色空空間轉(zhuǎn)換到球球形HIS顏色系系統(tǒng)，并利用Otsuu

54、算法自動獲獲取分割閾值值，以成熟的的西紅柿為對對象，根據(jù)水水果的顏色信信息和形態(tài)信信息能夠識別別出成熟水果果，但對有遮遮擋或果實(shí)重重疊的情況研研究較少。綜上所述，國內(nèi)內(nèi)對機(jī)器視覺覺在農(nóng)產(chǎn)品收收獲和加工中中的應(yīng)用進(jìn)行行了大量的研研究，但和國國外仍存在一一定差距，特特別是在農(nóng)產(chǎn)產(chǎn)品收獲應(yīng)用用方面，國內(nèi)內(nèi)的研究很有有限。為了趕趕超國外先進(jìn)進(jìn)水平，早日日實(shí)現(xiàn)我國農(nóng)農(nóng)業(yè)生產(chǎn)自動動化，必須進(jìn)進(jìn)一步開展廣廣泛和深入的的研究。1.4 研究究內(nèi)容和方法法根據(jù)國內(nèi)外研究究狀況，基于于雙目立體視覺覺對自然環(huán)境境下植株上的的果實(shí)和障礙物進(jìn)行識識別并確定其其位置的構(gòu)想想是可行的，本本研究以柑橘橘為研究對象象，以兩個光軸

55、平行的同型號號CCD攝像頭頭構(gòu)成雙目立立體視覺系統(tǒng)統(tǒng)，對大棚和和田間生長的的成熟柑橘分分別在不同時時間、不同天氣下進(jìn)進(jìn)行圖像采集集，基于VC+6.0平臺臺自行開發(fā)了了處理程序進(jìn)進(jìn)行圖像處理理，運(yùn)用相關(guān)關(guān)的圖像處理理算法及空間間測距理論，對對處理結(jié)果進(jìn)進(jìn)行分析和計計算，從而達(dá)達(dá)到識別和定定位的目的。本研究的主要內(nèi)容如下：柑橘果實(shí)定位選擇合適的顏色色系統(tǒng)，對圖圖像中目標(biāo)和和背景進(jìn)行合合理分割，研研究受環(huán)境影響較較小的分割方方法；對分割割出的圖像目目標(biāo)區(qū)域，采采用有效的特特征識別方法法，力求準(zhǔn)確確快速提取目目標(biāo)區(qū)域特征征，為立體匹匹配和空間定定位做準(zhǔn)備；使用正確的的立體匹配方方法對左右圖圖像的果實(shí)區(qū)

56、區(qū)域進(jìn)行匹配配，根據(jù)匹配配的結(jié)果計算算果實(shí)的空間間位置，將計計算的結(jié)果同同實(shí)際位置相相比較，從而而調(diào)整相應(yīng)算算法，以達(dá)到到準(zhǔn)確定位。障礙物檢測主要步驟和果實(shí)實(shí)定位相同，根據(jù)柑橘收獲機(jī)器人機(jī)械手自動采摘過程中遇到的樹枝等主要障礙物的特點(diǎn)，研究對于障礙物的分割和提取方法，針對樹枝的多樣性的特點(diǎn)，研究有效的特征提取、立體匹配和三維重建方法恢復(fù)樹枝三維信息，本文提出了相應(yīng)的解決方案。1.5 本章章小結(jié)本章首先介紹了了研究的目的的和意義，然然后對國內(nèi)外外研究情況做做了介紹，最最后簡要的提出了本研究的主主要內(nèi)容。第二章 雙目目立體視覺系系統(tǒng)簡介眾所周知，人們們從外界環(huán)境境獲取的信息息中，80%來自于視覺覺

57、，其他來自自于觸覺、聽聽覺、嗅覺等等感覺器官。當(dāng)當(dāng)人的眼睛從從自己周圍的的環(huán)境獲取大大量信息，并并傳入大腦后后，由大腦根根據(jù)知識或經(jīng)經(jīng)驗(yàn)，對信息息進(jìn)行加工、推推理等處理工工作，最后識識別、理解周周圍環(huán)境，包包括環(huán)境內(nèi)的的對象物，如如物體間的相相對位置、形形狀、大小、顏顏色、紋理、運(yùn)動還是靜止等。計算機(jī)視覺就是用計算機(jī)模擬人眼的視覺功能，從圖像或圖像序列中提取信息，對客觀世界的三維景物和物體進(jìn)行形態(tài)和運(yùn)動識別。計算機(jī)視覺研究的目的之一就是要尋找人類視覺規(guī)律，從而開發(fā)出從圖像輸入到自然景物分析的圖像理解系統(tǒng)。目前許多計算機(jī)機(jī)視覺專家都都是在馬爾(Marr)創(chuàng)立的視覺覺計算理論框框架下探索。美國麻省

58、省理工學(xué)院人人工智能實(shí)驗(yàn)驗(yàn)室的馬爾教授認(rèn)為為，視覺可分分為三個階段段，第一階段段是早期視覺覺，其目的是是抽取觀察者者周圍景物表表面的物理特特性，如距離離、表面方向向、材料特性性(反射、顏色色、紋理)等，具體來來說包括邊緣緣檢測、雙目目立體匹配、由由陰影確定形形狀、由紋理理確定形狀、光光流計算等；第二階段是二二維半簡圖或或本征圖像，它它是在以觀察察者為中心的的坐標(biāo)系中描描述表面的各各種特性，根根據(jù)這些描述述可以重建物物體邊界、按按表面和體積積分割景物，但但在以觀察者者為中心的坐坐標(biāo)系中只能能得到可見表表面的描述，得得不到遮擋表表面的描述，故故稱二維半簡簡圖；第三階段是是二維模型，視覺信息處理的最

59、后一個層次，是用二維半簡圖中得到的表面信息建立適用于視覺識別的三維形狀描述，這個描述應(yīng)該與觀察者的視角無關(guān)，也就是在以物體為中心的坐標(biāo)系中，以各種符號關(guān)系和幾何結(jié)構(gòu)描述物體的三維結(jié)構(gòu)和空間關(guān)系。 盡管馬馬爾視覺計算算理論在解決決具體問題時時遇到了困難難，但可以說說，計算機(jī)視視覺有了長足足的發(fā)展，其其主流是沿著著馬爾所指出出的方向取得得的。根據(jù)以上的馬爾爾視覺理論，可可以將計算機(jī)機(jī)視覺分為二二維視覺和三三維也就是立立體視覺。二二維視覺是把把輸入圖像轉(zhuǎn)轉(zhuǎn)換成具有所所希望特性的的另一幅圖像像，例如濾波波、銳化、圖圖像相加等；或者提取圖圖像的某些特特征，例如邊邊緣提取、圖圖象分割等。立立體視覺研究究最

60、多的是馬馬爾提出的雙雙目立體視覺覺，由于立體體視覺很多處處理要以二維維視覺為基礎(chǔ)礎(chǔ)，如圖象分分割、特征提提取等。因此此，可以認(rèn)為為立體視覺的的研究包括了了對二維視覺覺信息的研究究，這里主要要介紹雙目立立體視覺。雙雙目立體視覺覺是計算機(jī)視視覺的一個重重要分支，它它由不同位置置的兩臺或者者一臺攝像機(jī)機(jī)經(jīng)過移動或或旋轉(zhuǎn)拍攝同同一幅場景，通過計算空空間點(diǎn)在兩幅幅圖像中視差差，獲得該點(diǎn)的的三維坐標(biāo)值值。馬爾提出了了一種視覺計計算理論并應(yīng)應(yīng)用在雙眼匹匹配上，使兩張有視視差的平面圖圖產(chǎn)生有深度度的立體圖形形，奠定了雙目目立體視覺發(fā)發(fā)展的理論基基礎(chǔ)。相比其他類類的體視方法法，如透鏡板板三維成像、投投影式三維顯