基于立體視覺的水果采摘機器人系統(tǒng)調(diào)研報告

1、基于立體視覺的水果采摘機器人系統(tǒng)調(diào)研報告摘要: 基于立體視覺建立了水果采摘機器人系統(tǒng)。在圖像空間利用Hough變換檢測出果實目標,并利用隨機采樣目標上均勻分布多個點的三維坐標信息重建果實球模型,進而獲得目標質(zhì)心的空間位置坐標；通過最小二乘法研究了采摘機器人手眼標定；分析了采摘機器人的軌跡規(guī)劃。實驗結(jié)果表明,設(shè)計的自動采摘系統(tǒng)可以有效地消除遮擋以及立體視覺匹配失效等因素的影響,目標定位誤差小于8mm,顯著地提高了抓取的精度和可靠性。關(guān)鍵詞: 采摘機器人立體視覺手眼標定識別Research Report of fruit picking robot system based on stereo v

2、isionAbstract： A fruit picking robot system based on stereo vision is established. In the image space by using Hough transform to detect target fruit, and the random sampling of multiple point reconstruction of 3D coordinate information fruit ball model are uniformly distributed target, and then obt

3、ain the spatial position coordinates of the target centroid; by the least squares method of picking robot hand eye calibration; analysis of the picking robot trajectory planning. The experimental results show that the design of the automatic picking system can effectively eliminate occlusion and the

4、 influence of the stereo vision matching failure and other factors, target location error is less than 8mm, significantly improve the accuracy and reliability of the crawl.Key words: picking robot；stereo vision；hand eye calibration；identification1 調(diào)研背景果蔬采摘作業(yè)一直是個亟待解決的問題1。德國、荷蘭和日本等發(fā)達國家研究開發(fā)了多種類型的果蔬自動采摘

5、機器人,如蘋果、黃瓜和櫻桃等自動收獲機器人24,但在果實識別率、采摘成功率等方面還存在尚待解決的問題。國內(nèi)果蔬采摘機器人的研究工作也較多5,但大多局限在采摘機器人的視覺系統(tǒng)、機械手和末端執(zhí)行器等單一的功能模塊,其中視覺系統(tǒng)的研究大多是在單果無遮擋的理想條件下進行的。本文基于立體視覺構(gòu)建一個水果采摘機器人系統(tǒng),即利用視覺傳感器獲取環(huán)境圖像,計算出果實目標相對于機器人坐標系的位置,然后驅(qū)動機器人到達目標位置并抓取。重點研究復雜環(huán)境下果實目標的可靠識別定位問題,并分析系統(tǒng)的手眼標定與軌跡規(guī)劃等。2 關(guān)鍵技術(shù)2.1 果實識別定位果實目標的辨識和定位是果實收獲機器人的首要任務,是影響果實抓取成功率的關(guān)鍵

6、因素。采摘過程中,機器人末端執(zhí)行器的工作位置不僅由果實目標位置決定,也受采摘方式的影響。目前常見的果蔬采摘方式有手指抓取采摘6、純氣吸采摘2和氣吸與手指相結(jié)合采摘4等。本文采用了先讓電動夾持器夾持住果實,再結(jié)合擰斷果柄的方式來實現(xiàn)采摘,這就要求末端執(zhí)行器的工作中心與果實質(zhì)心基本重合,因此,果實定位需要確定果實的質(zhì)心位置。在雙目立體視覺技術(shù)中,存在著多種因素影響果實定位的精度和可靠性。由于環(huán)境光照、果實形狀等不可控因素,使得立體視覺匹配過程中難免會出現(xiàn)部分隨機分布的無效匹配點,進而無法獲得深度信息而導致采摘失效。運用的立體視覺模塊將所有無法匹配的點的深度值均設(shè)為0.376 926。果實不可避免地

7、會存在被葉片等物體遮擋的情況,如果利用目標果實的形心來進行定位,那么該形心在圖像平面上就有可能落在遮擋物上。結(jié)果立體視覺匹配后得到的空間位置就是遮擋物的位置而不是真正的采摘目標的空間位置,從而造成抓取可能失敗。即使在無遮擋等相對理想條件下立體匹配過程不會出現(xiàn)前述情況,但由于圖像噪聲、圖像處理誤差以及標定誤差等原因,立體信息的精度也同樣難以保證,所以,如果單純依靠形心等少數(shù)點來決定果實空間位置則可能存在較大誤差。果實中球形類果實約占70%,為了克服上述立體視覺技術(shù)中存在的幾個問題,將利用目標上多個點的三維位置信息重建出果實球模型,然后基于最小二乘法計算果實質(zhì)心位置。果實球模型為(-)2+(-)2

8、+(-)2=2 (1)其中(,)為球心在相機坐標系中的坐標。式(1)也可以寫成2+2+2+2-(2+2+2)=2+2+2 (2)對于n個點,式(2)可用矩陣的形式表達,即 （3） 式(3)可以簡寫成 Am=B （4）利用最小二乘法,可以解得 （5） 從而獲得球心坐標。兼顧算法的精度和效率,利用了目標上8個點進行目標位置的求解。具體方法是:先以圓形來近似描述果實形狀,由Hough變換可以得到各個果實在圖像平面上的圓心坐標(,)和半徑,這種方法計算簡單,果實形心識別準確;然后可方便地得到該果實圓的外接矩形,該矩形左上點的坐標為(xmin,ymin),右下點的坐標為(xmax,ymax);最后將在此

9、矩形區(qū)域內(nèi)隨機找出一個點(,),坐標為 (6)其中,rand()是+標準函數(shù)庫提供一個生成均勻分布隨機數(shù)的函數(shù),返回032 767間均勻分布的偽隨機整數(shù)，%表示求余數(shù)。這樣可以避免這些點過于集中,以提高最小二乘法的精度。當然,這些點(,)還必須在果實目標上,而不是遮擋物上,同時這些點處的立體匹配應該符合有效性檢驗。這樣直到找到8個點為止,它們的三維坐標將用來擬合出一個球,進而求出目標的質(zhì)心位置。整個果實識別程序流程如圖1所示。圖1 果實識別定位流程圖在實驗室中,使用3個橙子模型進行實驗,如圖2所示。用RB對原圖進行處理后并二值化;然后對圖像進行結(jié)構(gòu)元素大小為33的腐蝕與膨脹,結(jié)果如圖2b所示；

10、對圖像基于Hough變換檢測圓,得到準確的果實形心,把檢測出的果實圓輪廓疊加到圖2b上后得到圖2c。同時,立體視覺模塊提供的視差圖如圖2d所示,若已知圖像上的點(i,j),可求出其在相機坐標系中對應的三維坐標(x,y,z)。由圖2c可以看出,左邊的果實被葉片遮擋,其在圖像平面上的形心位于葉子上,使用通常的基于形心特征等匹配方法將無法得到準確的果實空間位置。應用提出的方法識別出目標位置,通過機器人示教數(shù)據(jù),結(jié)合下面描述的坐標變換測量出深度信息，結(jié)果如表1所示?？梢?該方法能夠較為準確地獲得目標果實的質(zhì)心位置,有效地消除了遮擋以及匹配失效等對抓取成功率的影響,提高了抓取的精度和可靠性。圖2 果實識

11、別定位()右眼校正圖像()二值圖()Hough變換圖()深度圖表1 果實定位實驗結(jié)果2.2 手眼標定手眼標定就是找到相機坐標系與機器人坐標系之間的約束關(guān)系,以便實現(xiàn)果實目標在機器人坐標系中的定位。由于立體視覺模塊可以給出果實在相機坐標系下的三維坐標,則該系統(tǒng)標定簡化為求解相機坐標系與機器人基座坐標之間的映射矩陣。一般,坐標系A(chǔ)和B之間的映射矩陣為 （7）由式(7)又可以將機器人與相機坐標之間映射矩陣表示為 （8）系統(tǒng)標定中,通過將機器人示教到相機坐標系的原點處,記錄機器人末端運動距離可得到某一配置下的平移矩陣為對于旋轉(zhuǎn)矩陣，先在機器人的工作范圍內(nèi)隨機選取n個目標點，這些點在相機坐標系中的位置由

12、立體視覺模塊提供，在機器人坐標系中的坐標值可以測量獲得，具體方法與前面測量相機坐標系原點的方法類似。然后把這些點代入式(8)，于是可以得到一個由3n個方程構(gòu)成的方程組。實驗中,選取了10個標定點，利用最小二乘法計算出的相機坐標系相對于機器人的映射矩陣為應用上述標定方法,通過將機械手的末端示教到每個目標點的位置而獲得三維坐標的實測值,目標點在機器人坐標系中位置計算值與實測值之間的差值為標定誤差。由實驗結(jié)果可見,目標點在機器人坐標系中位置坐標的各個分量上最大標定誤差小于10mm。實際上,此誤差是一綜合誤差,它把立體視覺模塊自身等環(huán)節(jié)的測量誤差也包含其中。根據(jù)本文的采摘方案,該精度能夠滿足自動采摘任

13、務的需求。當然,在后續(xù)抓取研究中還將用眼在手上的視覺伺服控制技術(shù)進一步改善定位精度。總之,該標定算法操作簡單、無需昂貴的實驗設(shè)備,適合現(xiàn)場標定。2.3 采摘機器人的軌跡規(guī)劃軌跡規(guī)劃就是根據(jù)作業(yè)任務要求,確定軌跡參數(shù)并實時計算和生成運動軌跡,它是果實收獲機器人運動控制的依據(jù)。對于果蔬收獲機器人來說,一般只要求保證末端執(zhí)行器到達目標點時滿足規(guī)定的位姿要求,而如空間避障等問題可以結(jié)合果蔬的栽培模式調(diào)整,得到一定程度的簡化,如文獻2就提出通過修剪果樹枝條的辦法使得果實容易識別和采摘。針對設(shè)計的自動采摘機器人實驗系統(tǒng),考慮球形果實的采摘要求,這里給出了分段路徑規(guī)劃實現(xiàn)機器人的運動控制,如圖5所示。根據(jù)果

14、實生長的姿態(tài)調(diào)整機器人末端執(zhí)行器處于適當?shù)牟烧藨B(tài),實驗中暫時采用了水平姿態(tài)。利用計算出的果實目標在機器人坐標系xOy平面內(nèi)的投影點,控制機器人的S關(guān)節(jié)使得末端執(zhí)行器旋轉(zhuǎn)到與軸夾角為處 =arctan（Y/X） (9)圖5 采摘機器人軌跡規(guī)劃示意圖機器人將在直線OG與機器人z軸組成的平面內(nèi)運動,從點到點通過點到點的圓弧插補方式運動,運動過程中末端姿態(tài)保持不變。B點的坐標為 （10）由B點直線插補到果實G位置,以水平姿態(tài)抓住果實,通過旋轉(zhuǎn)末端執(zhí)行器使得果實與果梗分離,完成一次采摘任務。在整個軌跡規(guī)劃中,由于末端執(zhí)行器的姿態(tài)保持不變,只是在GOz平面內(nèi)作平移運動,簡化了機器人求運動學逆解的過程。同

15、時，相應的果實采摘區(qū)所需空間小，末端執(zhí)行器遇到障礙的可能性也會減小。2.4 系統(tǒng)構(gòu)建整個果實采摘機器人實驗平臺主要由機械手、視覺系統(tǒng)、末端執(zhí)行器和計算機組成,如圖6所示。為了減少構(gòu)建系統(tǒng)的時間,采用了日本安川6自由度通用工業(yè)機器人,在計算機的控制下,它既可執(zhí)行點到點的運動,也可按關(guān)節(jié)角進行運動。視覺系統(tǒng)采用多攝像機視覺控制技術(shù),應用了Bumbelee2立體視覺模塊,可以在較大范圍內(nèi)進行采摘目標的搜索與定位,該模塊也將用于后續(xù)移動式果蔬采摘機器人的視覺導航。同時,還添加了眼在手上(eye-in-hand)固定方式的單目攝像機,它跟隨著機械手一起運動,以實現(xiàn)小尺度精確伺服定位,進一步提高采摘成功率

16、和可靠性。末端執(zhí)行器采用了電動的二指夾持器,其抓取力與給定電流成比例,并可以保持夾持力恒定。圖6 采摘機器人系統(tǒng)組成3 調(diào)研總結(jié)（1）構(gòu)建了一個果實采摘機器人系統(tǒng),在實驗室條件下實現(xiàn)了球形果實的自主采摘。（2）運用果實球模型研究了多果有遮擋條件下的果實識別定位,有效地消除了遮擋以及匹配失效等因素的影響,提高了抓取的精度和可靠性。（3）使用了最小二乘法進行了采摘機器人手眼精確標定,各坐標分量的標定誤差都在10以內(nèi),能夠滿足果實抓取的需要。（4）采用分段路徑方法實現(xiàn)了采摘機器人的軌跡規(guī)劃,所需采摘空間較小,可以減小遇到枝葉等障礙的概率。（5）農(nóng)業(yè)機器人是21世紀研究進展最快的機器人。我國作為農(nóng)業(yè)大

17、國,水果和蔬菜在人類的生活中占有很重要的地位,種植面積和產(chǎn)量逐年提高。而農(nóng)產(chǎn)品的采摘是一項勞動強度大、消耗時間長,具有一定危險的作業(yè),所以,對農(nóng)業(yè)采摘機器人的研究就顯得非常迫切。由于農(nóng)業(yè)機器人作業(yè)對象是有機生物體,且不同地域有不同的自然氣候、地形、地貌以及不同的種植制度,所以其應用的難度非常之大。尤其針對如此錯綜復雜的外部環(huán)境和形狀各異的作業(yè)對象,即使是在同一種農(nóng)業(yè)作業(yè),其作業(yè)對象也是千差萬別,這樣一來,采用帶視覺技術(shù)的農(nóng)業(yè)采摘機器人將不失為一個非常理想的選擇。參考文獻1 宋健,張鐵中,徐麗明,等.果蔬采摘機器人研究進展與展望J.農(nóng)業(yè)機械學報,2006,37(5):158162.2JeanJH

18、,LaiJH,Designandimplementationofavisualservo systemforaerialsurveillanceapplicationsbasedonshapefeaturesA.IEEEInternationalConferenceonMechatronicsC.Taipei,2005.416-421. 3P.Castillo,A.Dzul,R.Lozano, Real-timestabilizationandtrack ingofafourrotorminirotorcraftJ.IEEETrans.ControlSyst.Technol.,2004,12(4):510-516.4 張鐵中,陳利兵,宋