基于計(jì)算機(jī)視覺(jué)的作物行自動(dòng)定位技術(shù)

1、基于計(jì)算機(jī)視覺(jué)的作物行自動(dòng)定位技術(shù)袁佐云1毛志懷1中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院,100083email:hehelex摘要: 本文針對(duì)多行農(nóng)作物圖像,提出了基于計(jì)算機(jī)視覺(jué)的作物行中心線定位方法。首先運(yùn)用過(guò)綠值分割作物和背景,然后將圖像劃分為若干水平圖像條,對(duì)圖像條列向指標(biāo)值進(jìn)行累加,在累加值曲線上求取顯著峰點(diǎn)的位置。最后,對(duì)位置點(diǎn)進(jìn)行線性回歸,得到作物的行中心線。實(shí)驗(yàn)結(jié)果表明了該方法的有效性。關(guān)鍵字曲線峰點(diǎn);作物行;中心線;過(guò)綠特征1.引言由于化學(xué)肥料、化學(xué)農(nóng)藥以及化學(xué)除草劑等在農(nóng)業(yè)生產(chǎn)中的大量使用,造成了諸如環(huán)境污染、生態(tài)惡化、農(nóng)藥殘留以及資源浪費(fèi)等大量影響人類(lèi)社會(huì)可持續(xù)發(fā)展的問(wèn)題。農(nóng)業(yè)工程、環(huán)境以及

2、生態(tài)等各方面的專(zhuān)家學(xué)者紛紛從不同的角度研究解決問(wèn)題的方法。在農(nóng)業(yè)工程領(lǐng)域,研制具有定時(shí)、定量和定位等作業(yè)能力的視覺(jué)導(dǎo)航的農(nóng)業(yè)機(jī)械受到國(guó)內(nèi)外的普遍關(guān)注1,2。在田間作業(yè)過(guò)程中,作業(yè)機(jī)械利用視覺(jué)導(dǎo)航系統(tǒng)識(shí)別出農(nóng)作物的行邊界作為行走路徑,根據(jù)作業(yè)機(jī)械與行走路徑的相對(duì)位置計(jì)算出控制量,通過(guò)轉(zhuǎn)向機(jī)構(gòu)調(diào)節(jié)其位置從而跟蹤期望路徑,完成作業(yè)過(guò)程。農(nóng)作物行中心線一般是指農(nóng)作物在播種或栽培過(guò)程中,其種子或幼苗的植入點(diǎn)所構(gòu)成的直線。農(nóng)業(yè)機(jī)械在作業(yè)過(guò)程中,要求視覺(jué)導(dǎo)航系統(tǒng)能夠在較短時(shí)間內(nèi)確定作物行的中心位置,以保證其準(zhǔn)確地對(duì)農(nóng)作物進(jìn)行作業(yè)操作。2.作物行中心線的定位研究現(xiàn)狀目前常用的行定位方法有:Hough變換法3,

3、4、透視法5等。Hough變換法通過(guò)將圖像空間的直線轉(zhuǎn)化為參數(shù)空間上的點(diǎn),對(duì)所有可能落在直線邊界上的點(diǎn)進(jìn)行累加統(tǒng)計(jì)完成檢測(cè)任務(wù)。由于這種方法利用圖像的全局特性,因此魯棒性很強(qiáng),受噪聲和直線間隔的影響小;同時(shí),Hough 變換運(yùn)用統(tǒng)計(jì)方法檢測(cè)參數(shù)空間,計(jì)算過(guò)程中數(shù)據(jù)處理量大,處理時(shí)間長(zhǎng)。透視法是利用作物行在圖像平面內(nèi)匯聚到一點(diǎn)的特性來(lái)獲取透視點(diǎn),通過(guò)透視點(diǎn)得到作物行中心線的分布。由于該方法利用了作物行的透視點(diǎn),所以對(duì)包含不完整作物行圖像也能夠精確定位;同時(shí),透視法在處理靠近田頭作物圖像時(shí),由于作物行的長(zhǎng)度不足以計(jì)算出透視點(diǎn)的位置,從而無(wú)法定位出行的位置信息6。本文采用峰點(diǎn)檢測(cè)法,處理步驟少,計(jì)算

4、量小,能夠快速有效地定位出作物行的位置。該方法通過(guò)計(jì)算圖像條列向累加值曲線峰點(diǎn),獲取作物行中心的位置,然后運(yùn)用最小二乘法對(duì)定位點(diǎn)進(jìn)行線性回歸,從而確定農(nóng)作物的行中心線。3.作物行中心線的定位處理過(guò)程在農(nóng)作物圖像處理過(guò)程中,為了得到良好的定位結(jié)果,一般需要對(duì)圖像進(jìn)行預(yù)處理,消除圖像上光照不均與陰影的影響,得到作物行與土壤背景的區(qū)分指標(biāo);然后將圖像劃分成若干圖像條,根據(jù)圖像條中的過(guò)綠特征值(Excess Green,運(yùn)用峰點(diǎn)檢測(cè)法自動(dòng)計(jì)算作物行的中心位置;最后,運(yùn)用最小二乘法對(duì)所有圖像條上的位置點(diǎn)進(jìn)行線性回歸,得到的回歸直線即為農(nóng)作物的行中心線。該方法的流程圖如圖1所示。 圖1 行中心線定位算法流

5、程圖Fig. 1 Flowchart of the algorithm of crop row centre lines localization3.1 圖像的預(yù)處理根據(jù)三基色學(xué)原理,視覺(jué)上能夠感受到的任何一種顏色可以由紅(R、綠(G、藍(lán)(B三種基本顏色按一定比例混合得到,因此,一幅彩色圖像可以分解為三幅由R、G、B分量各自組成的圖像。作物在不同的光照條件下,圖像上各個(gè)像素的R、G、B分量值也隨之發(fā)生變化。為了減少不同光照條件對(duì)圖像造成的影響,在圖像處理之前需要對(duì)圖像進(jìn)行預(yù)處理,消除光照條件對(duì)圖像產(chǎn)生的影響。呂朝輝等人6在分割秧苗圖像的研究過(guò)程中,發(fā)現(xiàn)運(yùn)用圖像中R 、G 、B 值歸一化后顏色分

6、量代替原有顏色分量,可以有效地克服光照變化和陰影的影響。 設(shè)r 、g 、b 分別為R 、G 、B 進(jìn)行歸一化后顏色分量,各個(gè)分量歸一化過(guò)程如下:B G R Rr +=B G R Gg +=(1B G R Bb +=通常情況下,作物圖像上的背景即土壤具有較高的r 值和b 值,而g 值總是小于作物的g 值。利用r-g 、g-b 、r/g 以及2g-r-b 等指標(biāo)來(lái)區(qū)分作物與背景是非常有效的。其中,最為有效的區(qū)分指標(biāo)是過(guò)綠特征值2g-r-b 7。因此,本文中運(yùn)用過(guò)綠特征值作為區(qū)分作物與土壤背景的指標(biāo),在后面的運(yùn)算中均以過(guò)綠特征值運(yùn)算操作。圖2為大豆的原圖像及過(guò)綠特征值構(gòu)成的圖像,原始圖像是在強(qiáng)光下拍

7、攝的,作物行間存在作物的陰影;經(jīng)過(guò)預(yù)處理以后,在過(guò)綠特征圖像上,陰影的影響已消除,從圖2b 中可以清晰地分辨出大豆與土壤。3.2 圖像分割與作物行中心線的定位采用條播方法播種的農(nóng)作物,作物行呈直線狀,行與行之間呈平行關(guān)系,作物行間距基本相等。在圖像采集過(guò)程中,由于受到拍攝角度與距離影響,圖像上農(nóng)作物的行間結(jié)構(gòu)上發(fā)生了變化,各行匯聚到圖像上部或圖像上部外的某一點(diǎn)。圖像處理過(guò)程中,將圖像水平劃分成若干等間距的圖像條,作物行與圖像條相交區(qū)域內(nèi)必然存在農(nóng)作物8。對(duì)圖像條進(jìn)行運(yùn)算處理后,得到作物行的中心點(diǎn)。所有圖像條處理完后,得到作物行的中心點(diǎn)的位置,然后運(yùn)用最小二乘法對(duì)每行作物中心點(diǎn)進(jìn)行線性回歸,可以

8、得到作物行的中心線方程。因此,本文中將圖像水平劃分成十個(gè)等間距的細(xì)長(zhǎng)圖像條。間距的大小取決于圖像的高度以及圖像條的個(gè)數(shù)。圖3為圖2b 分割后的圖像。 a .原始圖像b .過(guò)綠特征值形成的灰度圖像圖2. 大豆圖像 Fig 2 The images of soybean3.2.1 圖像條的劃分設(shè)原始圖像的尺寸為H W ×,單位為像素,分割后的圖像條的大小為h W ×,(j i p 為圖像條上(i,j 處指標(biāo)過(guò)綠特征值,(j sum 為圖像條上第j 列上所有像素點(diǎn)的指標(biāo)累加值,m 為圖像條上所有列向累加值的平均值。計(jì)算過(guò)程如下:=hi j i p j s 1,(, j=1,2,W

9、 (2=Wj j s W m 1(1 , j=1,2,W(3式中 行下標(biāo)i=1,2,h ,h 為圖像條的高度 列下標(biāo)j=1,2,W , W 為圖像條的寬度 圖3. 圖2.b 水平分割后的圖像條Fig.3 Greyscale image in Fig.2.b divided into horizontal strips3.2.2 圖像條上作物行的定位圖像條與作物行相交的區(qū)域中存在作物,該區(qū)域上的指標(biāo)值要比附近范圍高出許多,在(j sum 曲線圖(圖5表現(xiàn)為突出的波峰。因此,本文根據(jù)曲線上突出波峰的位置,確定作物行的邊界,然后求出邊界中點(diǎn),該點(diǎn)即為行中心點(diǎn),具體處理步驟如下:1 對(duì)圖像條逐列掃描,

10、求取每一列的指標(biāo)值總和(j s ,同時(shí)計(jì)算所有元素的平均值m 。 2 對(duì)(j s 逐個(gè)掃描,求取升降點(diǎn)個(gè)數(shù)并記錄其位置。判斷規(guī)則如下:如果1(1(+<<j s m j s ,則j 為上升點(diǎn);如果1(1(+>>j s m j s ,則j 為下降點(diǎn)。3 在初始點(diǎn)的基礎(chǔ)上,根據(jù)升降點(diǎn)之間的距離,確定作物行邊界定位點(diǎn),剔除非定位點(diǎn)。如果升降點(diǎn)之間距離小于平均距離,則認(rèn)為此對(duì)升降點(diǎn)為非定位點(diǎn)。反之,為邊界定位點(diǎn)。 4 確定行中心定位點(diǎn)。計(jì)算升降點(diǎn)之間的中點(diǎn),該中點(diǎn)即為行中心定位點(diǎn)。5 確定單行作物的位置點(diǎn)。重新對(duì)所有的定位點(diǎn)進(jìn)行組合,將屬于同一行作物的行中心定位點(diǎn)存儲(chǔ)到二維數(shù)組p

11、ositionij。6 確定作物行中心直線方程:利用最小二乘法對(duì)二維數(shù)組positionij中的位置點(diǎn)進(jìn)行擬合,得到作物行的中心直線方程。 a劃分后的圖像條(圖 3 中第 5 條圖像條 7 6 列向累加值 5 4 3 2 1 0 1 51 101 151 201 列下標(biāo) 251 301 b列向指標(biāo)累加值曲線 圖4. 圖像條及其對(duì)應(yīng)的列向指標(biāo)累加值曲線圖 Fig.4 The strip and its curve of column summation of excess green value 4 實(shí)驗(yàn)結(jié)果與分析 為了驗(yàn)證峰點(diǎn)檢測(cè)法的定位效果，研究過(guò)程中選用了30幅大豆圖像進(jìn)行處理。原始圖像為

12、 24bits真彩圖像，大小為320×240像素（圖5） ，分割后圖像條的大小為320×16像素。 從處理后的圖像(圖5中的圖像為原始大小的50%中可以看出，峰點(diǎn)檢測(cè)法檢測(cè)出定位點(diǎn)基 本上落在農(nóng)作物的中心上，對(duì)定位點(diǎn)進(jìn)行最小二乘法擬合后的直線與實(shí)際作物行的分布相符。 圖 5. 大豆圖像的定位結(jié)果 Fig.5 The result of soybean after localization 5 結(jié)論 本文通過(guò)對(duì)真彩色農(nóng)作物圖像預(yù)處理后，獲得圖像的過(guò)綠特征值。然后將過(guò)綠特征圖像水 平劃分成若干圖像條，對(duì)圖像條進(jìn)行列向累加求和，在該值的基礎(chǔ)上運(yùn)用峰點(diǎn)法檢測(cè)出作物行 的位置。從實(shí)驗(yàn)

13、結(jié)果看出，利用峰點(diǎn)檢測(cè)法能準(zhǔn)確地識(shí)別出作物行的中心直線，滿足視覺(jué)導(dǎo)航 作業(yè)的要求；由于本算法只涉及了求和運(yùn)算，數(shù)據(jù)處理速度快，能夠在較短的時(shí)間內(nèi)檢測(cè)出作 物行的中心位置，同時(shí)，由于圖像被水平劃分成等間距圖像條，與整幅圖像相比，數(shù)據(jù)處理量 大大減少。 參考文獻(xiàn) 1 楊為民，李天石，賈鴻社.農(nóng)業(yè)機(jī)械及其視覺(jué)導(dǎo)航研究J.農(nóng)業(yè)工程學(xué)報(bào)，2004，20(1:160165 2 毛文華, 王一鳴, 張小超. 實(shí)時(shí)識(shí)別行間雜草的機(jī)器視覺(jué)系統(tǒng)J.農(nóng)業(yè)工程學(xué)報(bào)，2003，19(5:114117 3 Billingsley,J.,M. Schoenfisch. Vision-Guidance of Agricult

14、ural VehiclesJ.Autonomous Robots, 1995,(2:6576. 4 Reid,J.F.,et at. Detecting crop rows using the Hough transform. Paper no.3042 ASAE summer meeting,College Station Texas,June,1986 5 John A.Marchant ,Renaud Brivot . Real-Time Tracking of Plant Rows Using a Hough TransformJ. Real Time Imaging,1995,1:3

15、63371 6 呂朝輝， 陳曉光, 吳文福等。 用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行秧苗圖像分割J。 農(nóng)業(yè)工程學(xué)報(bào)， 2001， 17(3： 146148 7 Woebbecke,D.M. et al.Color indices for weed identeification under various soil,residue,and lighting conditionsJ. Transactions of ASAE, 1995,38(1:259269 8 H.T. Sogaard,H.J.Olsen. Determination of crop rows by image analysis withou

16、t segmentationJ. Computers and electronics in agriculture,2003,38:141158 Automatically Locate Crop Rows Based on Computer Vision ZuoYun YUAN , ZhiHuai MAO College of Engineering, China Agriculture University, Beijing, China 100083 Abstract A method based on computer vision detection for locating crop rows centre lines, was described in this paper. Firstly, the row crop and background were divided by the excess green value. Secondly, the image strips were divided by crop image horizontally and the position was calculated by detecting the peak on the cu