水果品質(zhì)自動分級的機器視覺系統(tǒng)外文翻譯

1、水果品質(zhì)自動分級的機器視覺系統(tǒng)原文來源：j. blasco; n. aleixos; e. molt.machine vision system for automatic quality grading of fruit. biosystems engineering (2003) 85 (4), 415423；摘要水果和蔬菜，通常以批次的形式提供給消費者消費。而水果的均勻性和外觀對消費者的決策有著重大的影響。由于這個原因，農(nóng)農(nóng)產(chǎn)品的展現(xiàn)無論是在田地里還是在最后流向消費者的不同階段，都會被處理，而且通常是朝著同類產(chǎn)品的清洗和分類方面來進行的。該項目的esprit3，參考9230。集處理，檢查

2、和包裝水果和蔬菜于一體的綜合系統(tǒng)（英文簡寫shiva）形成了一種自動、無損檢測和處理的水果的機器人系統(tǒng)。本文的目的是報告在valenciano de investigaciones agrarias研究所研究的對桔子，桃子，蘋果品質(zhì)進行實時測評而發(fā)展起來的機器視覺技術(shù)，并評估該技術(shù)在下列質(zhì)量屬性：大小，顏色，莖的位置及外部瑕疵檢測中的效率。此種分解研究，在貝葉斯判別分析的基礎(chǔ)上，使用并且允許水果因背景不同而精確的進行區(qū)分。因此，尺寸的確定性恰當?shù)牡玫搅私鉀Q。水果由此系統(tǒng)測出的顏色，和目前被用作標準的色度指標值非常吻合。在莖塊的定位和瑕疵的檢測中也取得了良好的效果。該系統(tǒng)在用大批量蘋果進行在線測

3、試分級后也取得了很不錯的表現(xiàn)，并且并在缺陷檢測和規(guī)模估計中分別取得了86和93的重復一致性。此系統(tǒng)的準確性和可重復性和人工分級幾乎一樣。1.簡介機器視覺在水果和蔬菜檢驗中的應(yīng)用在最近幾年有所增加。如今，世界各地的一些制造商生產(chǎn)按水果大小，顏色和重量進行水果前期分級的分揀機。然而，市場不斷地要求更高質(zhì)量的產(chǎn)品，因此，其他功能已經(jīng)發(fā)展來提高機器視覺檢測系統(tǒng)（例如莖定位，確定主，副皮膚的顏色，檢測污點）。 大小，是第一個與質(zhì)量有關(guān)的參數(shù)，已經(jīng)通過使用機器視覺測量周長或直徑其中任一種得到了測量（陶等，1990;varghese等，1999），周長（薩卡沃爾夫，1985）或直徑（布羅迪等。，1994）。

4、顏色也是一個重要的品質(zhì)因素，已被廣泛研究（singh等人，1992年，1993年。哈恩，2002年;多布然斯基和rybczynski，2002）。有些水果有一種顏色均勻分布在皮膚表面，我們稱之為主色。該平均表面顏色對這些水果來說是一個很好的質(zhì)量指標。然而，一些其他水果（例如桃子，蘋果，西紅柿）有次要顏色可作為一種成熟的良好指標。在這種情況下，它是不可能完全只把全球面色彩作為質(zhì)量參數(shù)的。在桔子，桃子，蘋果這些水果中，有必要進行長莖檢測，以避免損害其他水果，或者是因為沒有他們可能意味著質(zhì)量損失。已經(jīng)有若干解決方案被提出了來確定莖的位置，如：使用結(jié)構(gòu)的照明檢測蘋果凹陷（楊，1993）;顏色分割技術(shù)來

5、區(qū)分柑橘類水果的花萼和莖塊（魯依斯等，1996）；或研究蘋果光的反射（彭曼，2002）。有時候，莖容易混淆成皮膚上的缺陷或瑕疵。損傷和擦傷檢測是質(zhì)量評價的一個關(guān)鍵因素。眾多蘋果擦傷檢測方法中有一種是基于對干擾過性濾器的使用（rehkugler斯魯普，1986年）。其他研究同時進行瑕疵處理和顏色評定這兩項。（米勒和delwiche，1989年;勒費弗爾等，1994;切魯托等，1996;萊曼斯等，1999，2002; blasco及蛻皮澳，2002年）。最近的技術(shù)結(jié)合紅外和可見的信息來檢測瑕疵（aleixos等，2002）或者使用高光譜成像（peirs等，2002）。這項工作的目的是報告在項目es

6、prit3（參考 9230的集處理，檢查和包裝水果和蔬菜于一體的綜合系統(tǒng)，英文簡寫shiva），該技術(shù)在其他地方被描述過（墨爾特等，1997，1998），和valeenciano agrarias（ivia）研究所在1998年三月進行的測試中取得的成果的基礎(chǔ)上發(fā)展而來的圖像分析技術(shù)。該視覺系統(tǒng)是為了在線測量與桔子，桃子，蘋果質(zhì)量有關(guān)的幾個參數(shù)，如大小，以及鑒定次要色點（桃和蘋果一些種類的水果需要），莖塊位置或斑點的存在。水果要在不1秒的時間里于四個不同角度被檢測。為了評估視覺系統(tǒng)的效率，自動檢驗的性能和重復性和專家們的人工檢測進行了比較。 2.材料與方法2.1.硬件 機器視覺系統(tǒng)是由一個三電荷

7、耦合器件（ccd）彩色攝像機（索尼xc003p）和一個圖像采集卡（流星的matrox）組成的，并被連接到了一臺可兼容的個人電腦奔騰200兆赫，48mb隨機存取存儲器（ram）。該系統(tǒng)提供了768每576像素的圖像，以 35mm每像素實現(xiàn)。圖像采集卡從相機擷取并解碼復合視頻信號為在紅，綠，藍色坐標（rgb）的三個用戶定義的緩沖區(qū)。照明系統(tǒng)是一個環(huán)形日光燈管組成的，里面內(nèi)室涂有白色亞光半球形熒光，并在頂部有一個洞來放置相機。由在于日光燈管和場景之間放置了用于保護的反射面，避免了直射向水果的光。視覺系統(tǒng)是用于自動檢測，處理和包裝的機器人系統(tǒng)中一部分。進入檢查室前的水果都被單個化處理了，然后傳遞給一系

8、列的移動真空杯，他們有旋轉(zhuǎn)和翻譯能力，能使水果在四個不同角度傳遞給相機，使其不位于重疊的位置，以盡量多的檢查水果的表面（圖1）。2.2.圖像分析 圖像分析是由ivia用編程語言c研發(fā)的一個特定的應(yīng)用軟件來來執(zhí)行的，在磁盤操作系統(tǒng)下運行（dos）。該軟件分為兩 模塊：一個為培訓系統(tǒng)的應(yīng)用;另一個為命令采集，處理圖像，并提供各水果質(zhì)量估計參數(shù)給機械控制系統(tǒng)。 系統(tǒng)需要離線預先訓練。利用錄制的水果圖像，專家選擇不同區(qū)域的圖像和分配所有每一個地區(qū)像素于其中一個預先確定的類別：背景，原色，次主色，一般傷害類型1，一般傷害類型 2，特定的功能，莖，花萼。由于分類采用這樣一種方式，所以他們對所有類型的水果都

9、適用。訓練系統(tǒng)分別單一顏色的水果，此主色類沒有使用。用兩個類顏色方法檢測一般的損害是合理的，因為每個種類的水果都有不同的顏色的缺陷 ，可以區(qū)分為明亮的與黑暗的。另一個預先定義的類被用于檢測水果的特定特點，如金冠蘋果的赤褐色度。 由于每個類代表性的區(qū)域已選定，貝葉斯判別模型被創(chuàng)建，它 利用像素的三個基本色：紅色，綠色和藍色作為獨立變量（rgb）。 貝葉斯判別分析包括對上述每個類別的rgb值組合的概率的計算。一個阿雷爾（1991）描述的算法被應(yīng)用，即采用不同的協(xié)方差矩陣為每個類，它的結(jié)果在二次判別模型。此過程可參考表來進行。該表，存儲在計算機內(nèi)存中并在網(wǎng)上操作時給予咨詢，允許每個像素的圖像分配到最

10、接近匹配的類.水果的顏色，作為水果成熟的狀態(tài)標志，即是是在同一種水果里，也可以因為許多因素而略有不同。由于此分割方法極大地依賴于每個水果的像素顏色，它是對這些變化非常敏感。出于這個原因，該系統(tǒng)需要進行測試，并且對每個測試期都要創(chuàng)建一個新的表格。圖1（a）第一圖像的采集（b）第二個圖像的采集-杯1旋轉(zhuǎn)水果120（c）第三個圖像的采集-杯1將水果再旋轉(zhuǎn)120（d）第四圖像的采集-杯2抓住水果并旋轉(zhuǎn)180在線操作最先要獲取第一幅圖像，并利用上面提到的表格將其按先前定義的類進行分類（圖.2（a）。圖2 (a) 照相機拍攝的原始圖像（b）分割圖像顯示完好皮膚，褐色化度，莖塊和損壞區(qū)域（c）除了莖和背景以

11、外的所有區(qū)域，用來計算的大小類別（d）展示了大小如何估計的圖像同一種類的八個相連的像素中的每一份被認為是相互獨立的區(qū)域。然后，為了加快輪廓提取的進程，基于模濾波器的緩和程序被應(yīng)用到了分段的圖像，以便平緩圖像之間的毗鄰地區(qū)及消除孤立的不良分類像素圖. 2（b）第二步由提取特性來將水果按大小進行分類構(gòu)成。單值圖像中的前景是水果的圖像，認為是各區(qū)域形成的，除了那些被視為背景或莖塊的區(qū)域。然而莖塊并不認為是水果的一部分，因為較長的莖塊可能導致錯誤的測量尺寸（圖. 2（c）。 然后，對水果區(qū)域邊界進行提取并編纂通過用鏈碼為基礎(chǔ)的算法 （弗里曼，1961年）來計算量做慣性主軸的長度面積和尺寸（圖. 2（d

12、）。 在第三步中，各地區(qū)不再視作為單果，每個獨立的區(qū)域面積卻要被測定(圖. 3（a）)。為了糾正分割過程中產(chǎn)生的錯誤，表面積少于一定的閾值的區(qū)域被認為是無效的分類像素。對于有效的地區(qū)，根據(jù)他們的像素所處類別不同，不同的參數(shù)被計算。例如，在有任何類各地區(qū)組成的損害像素區(qū)域中，長度和面積分別計算。在被劃為莖塊的區(qū)域的情況中，只有共同的坐標質(zhì)心進行了測定。在檢測到多莖塊的情況中，最長的區(qū)域被選定為真正的 莖塊，其他的認為是干擾（圖3（b）。在分配到基本和次等的顏色區(qū)域，質(zhì)心及顏色rgb均值要計算。該流程的整個過程如圖4所示。該水果四個角度被不斷重復。 當最后一個圖像被處理時,每個果實下列特征都要測量

13、： (1)主要損傷的長度定義為主要區(qū)域的長度，歸類為損傷，在上面四種視角中都有； (2)損傷面積等同于所有受傷區(qū)域的總和，在四個獨立的視角中; (3)莖和瑕疵需要考慮，如果在四種視角中的任一種中發(fā)現(xiàn);(4)基礎(chǔ)色計算作為基礎(chǔ)的顏色，在每個獨立的視角中統(tǒng)計 (5)次主色計算作為次要主色，在每個獨立的視角中統(tǒng)計(6)水果的尺寸根據(jù)現(xiàn)在的標準，尺寸是根據(jù)替代物的尺寸測來的。由于水果不具有方向性，水果都是由離莖最近的地方開始定位測量的。如果莖在少于兩張圖像中看到，該水果的尺寸就被當做其他四幅圖像的水果的平均尺寸。盡管一些用于顏色描述的立體模型，作為his或la * b *值，描述的顏色和我們的感覺很接

14、近，但rgb系統(tǒng)被用來描述是由于圖像采集卡直接提供本系統(tǒng)中的圖像的像素顏色，所以后面的進一步消耗的計算資源的轉(zhuǎn)換是不需要的。 圖3 （a）分割圖像顯示褐色度，莖和損壞的區(qū)域（b）圖像顯示周長，褐色度中心和莖區(qū)和最長損害區(qū)的長度2.3該系統(tǒng)的性能評價 2.3.1.分割程序 雖然分割方法的可靠性可由系統(tǒng)通過結(jié)果和可重復推導出來，為了在水果的圖像上分析分割程序通常要做個初步試驗。在這些測試中，代表團體桔子，桃子，蘋果的圖像的像素，對應(yīng)于其背景，皮膚完整度，損傷和莖稈（除了桃子），被人工選定生成基于貝葉斯非線性判別的判別分析函數(shù)。這些功能在一個獨立設(shè)置的像素上進行了測試，屬于不同圖像，也是人工選定。兩

15、個獨立設(shè)置的像素的使用保證了分類器的估計的性能是沒有偏見性的。2.3.2.色彩估計 為了評估利用開發(fā)的傳感器估計的演的精度，顏色測量取自22西紅柿幾個表面。這些部位從一個紅綠色顏色變動為紅色。機器視覺系統(tǒng)確定果實顏色的能力通過比較常用于不同的水果的幾種標準色指數(shù)得到了計算。這些指數(shù)從獵人實驗室獲得，和由三色度計圓形區(qū)域（8毫米直徑）在選定的每一個部門隨機提供的值一致。2.3.3.莖定位 為了評估該對莖的位置的算法的性能，每一個，100個桔子隨機的角度圖片和100蘋果的都被使用。在桃子的情況下， 76個水果中每個水果都隨機取向的取了兩個圖像，共提出了152圖像。該圖像分析算法得到了應(yīng)用同時莖的重

16、心也顯示在了電腦屏幕上。然后，操作者決定是否系統(tǒng)正確地在個圖像中檢測到莖。2.3.4.專家的重復性 在確定視覺系統(tǒng)在測量大小和檢測瑕疵的精度前，為了估計人工操作的精度和重復性要進行一個簡單的試驗，這是目前商業(yè)分級廠房的的參考。由于蘋果的形狀更加不規(guī)則所以被用于這些實驗。桃子和柑橘更加類似球形，因而更容易被視覺系統(tǒng)分辨大小。在第一個實驗中，40個周長63和86毫米之間的蘋果被隨機挑選。每個蘋果的大小被專家用卡鉗測量了兩次。兩個測量進行了比較并且通過平均誤差來計算精度。為了估計檢測瑕疵時人工操作的重復性，另一個檢測是：48個蘋果被機器分類后被選定，其中24個列為有缺陷的，其他24個為無缺陷。接著，

17、三位專家人工的將他們歸入同樣的兩類。15分鐘后，他們重新歸類該蘋果。兩次分類之間的相似性和異同被記錄。2.3.5視覺系統(tǒng)的在線重復性 在線測試，為了檢查機器在商業(yè)條件下工作的重復性，使用了1247個金冠蘋果，大小在64和92毫米之間。果實在西班牙標準為基礎(chǔ)上被分為三類，根據(jù)其尺寸和外部污點。測試包括水果通過傳遞機，盒裝水果，根據(jù)相應(yīng)的類別。各自的箱反復通過該系統(tǒng)，并且對在分類中產(chǎn)生的變化進行觀察并計數(shù)。（圖四.圖像分割流程） 圖 像 分 割 莖和花萼形心總共受損面積最長缺陷尺寸第二顏色形心次色平均數(shù)基本顏色平均數(shù)外 部 特 征水 果 形 心水 果 尺 寸形 態(tài) 特 征緩 沖像 素 分 割3.結(jié)

18、果與討論 3.1.評價分割程序表一給出了桔子，蘋果和桃子的圖像像素分割性能，指出一種和剩余其他種類分開的最佳分離背景（100），使更好的估計質(zhì)心和水果的大小。大多數(shù)像素分割程序中出現(xiàn)的錯誤是由于孤立的或小群的像素，這些主要位于相鄰區(qū)域的邊界。這些誤差可以檢測和糾正，如果每個分割區(qū)域的特征得到計算，因為這些群由于面積小常被分割為忽略不顧的區(qū)域。3.2干檢測 該系統(tǒng)檢測莖的性能被進行了測量，使用了93個橘子，95個蘋果和140個桃子的圖像，而大多數(shù)圖像都是在線獲取的。實驗表明，桔子的圖像中有五幅莖未檢測出來，而在另外兩幅中，瘀傷和莖的檢測發(fā)生了混淆。對于桃子， 73個圖像中有一幅莖沒有檢測出來，盡

19、管其中79圖像中有11幅沒有莖，所以有誤測。在蘋果中，87個圖像中有兩個莖沒有檢測出來，然而，卻被誤測為三分之十三。對于剩下的三個水果的圖像，莖被正確的檢測和定位（見表2）。莖的不同顏色或形狀和水果果型，能引起莖檢測的結(jié)果不同。不過，在莖和瘀傷之間有一點混淆，大多數(shù)的混淆錯誤是由于在沒有莖的水果中將瘀傷檢測為了莖。3.3.在線性能和可重復性 專家們在兩次獨立的實驗中測量同一個蘋果的尺寸的平均精度為0.6毫米，呈現(xiàn)了約0.8的相對誤差。但是，考慮到水果正確的大小作為六個測量的平均值（每個專家兩個有效測量），平均精度1.4毫米（1.9的相對誤差）。這些數(shù)字可能與視覺系統(tǒng)最大期望精度有關(guān)，該精度不會

20、超過專家的精度，只是測量的參考。因此，一個1mm的誤差課容許，當分析系統(tǒng)在線結(jié)果的重復性時。當專家按分類中所述的尺寸種類進行水果分類時，他們表現(xiàn)出平均94的可重復性。視覺系統(tǒng)的可重復性由最小尺寸水果的89變化到極端大的水果的100，平均為93（見表3）?？紤]到標準允許的10的誤判，其結(jié)果可以被視為良好。一個錯誤的來源是由于大多數(shù)蘋果為72-74和79-82毫米，而74毫米被選為大小之間的臨界尺寸。專家們估計果皮上的損害程度時的重復性介于85%和90，平均為88（見表4）。由于該系統(tǒng)被專家編程和培訓，從理論上說，它的性能受到了專家們的重復性的限制。因此，視覺系統(tǒng)重復性的最大期望值約88。表5顯示

21、，該系統(tǒng)在線進行外觀缺陷檢測時，有86重復性。這些錯誤是由于在預測質(zhì)量時三個因素被考慮了：最長的缺陷，受損面積和褐色化區(qū)。如果只有其中一個估計參數(shù)變化，品質(zhì)變化從一個傳遞到另外，果實將被歸類在不同的類別。這一事實特別影響了類型一，那里的重復性被認為是較低的，因為這個類別只包括損壞程度極低的水果，并有因顏色淺而被認為是果皮缺陷。指出這點很重要，即這種類型的實驗結(jié)果很大程度上依賴于果實大小分布及水果上污點的顏色和大小。至于該系統(tǒng)使用所述硬件配置檢查水果所用的時間，圖像采集和分析所需的時間小于300毫秒，比最初的要求1s的時間要低。如果采用更新更快的計算機，并且提高算法來讓圖像的獲取和處理重疊，這個

22、時間可減少至低于50毫秒。4.結(jié)論 分割方法對在線處理來說是快速和恰當?shù)?，但是卻極大地取決于被檢查對象的顏色。出于這個原因，系統(tǒng)需要經(jīng)常由專門操作人員調(diào)試。機器視覺系統(tǒng)表現(xiàn)出良好的結(jié)果在定位桔子，桃子，蘋果的莖干時和探測它們大多數(shù)時，很少和面部污點混淆。損壞的區(qū)域在蘋果中能正確地檢測到，但該算法在橙子和桃子應(yīng)用時需要更廣泛地進行測試。為了檢測沒有正確被區(qū)分出來的缺陷，還需要做進一步的工作，未能檢測出來的原因主要是因為它的顏色淺，類似于完整果皮顏色的檢驗。在線操作的尺寸重復性介于91和95，有一個93的平均值。該機器的重復性在在線檢測外部缺陷時約為86，主要受第一類中取得的的那些結(jié)果影響。將這些

23、結(jié)果和人類估測的大小和皮膚的損傷程度的平均重復性，分別為94和88，進行比較，并且考慮到?jīng)Q策算法也同樣被人工操作者訓練和測試，由此我們認為結(jié)果可以接受的。實驗結(jié)果表明將小缺陷或脫色區(qū)域認為是缺陷，取決于每位專家的主觀標準。出于這個原因，機器的性能是由每個盒子的整體內(nèi)容的估計測量，而不是單獨考察成果作為機分類結(jié)果，被所有的專家認為是正確的。5.致謝這項研究由esprit項目的9230（綜合處理系統(tǒng)，檢驗和包裝的水果和蔬菜）獲得了歐洲委員會一部分贊助資金。參考文獻待添加的隱藏文字內(nèi)容3aleixos n; blasco j; navarr!on f; molt!o e (2002). multis

24、pectralinspection of citrus in real-time using machine vision anddigital signal processors. computers and electronics in agriculture, 33(2), 121137blasco j; molt!o e (2002). identification of defects in citrus using multispectral imaging. international conference on agricultural engineering, ageng 0

25、2, budapest, hungary. eurageng paper no. 02-ae-031brodie j r; hansen a c; reid j f (1994). size assessment of stacked logs via the hough transform. transactions of the asae, 37(1), 303310cerruto e; failla s; schillaci g (1996). identification of blemishes on oranges. international conference on agri

26、cultural engineering, ageng 96, madrid, spain. eurageng paper no. 96-f-017dobrzanski b; rybczynski r (2002). colour change of apple as a result of storage, shelf-life,and bruising. international agrophysics, 16, 261268freeman h (1961). on the encoding of arbitrary geometric configurations. ire trans

27、actions of electronic computers. ec-10, pp 260268hahn f (2002). multispectral prediction of unripe tomatoes.biosystems engineering, 81(2), 147155, doi:10.1006/bioe.2001.0035harrel r c (1991). processing of colour images with bayesian discriminate analysis. international seminar on use of machine vis

28、ion systems for the agricultural and bio-industries, montpellier,france, pp 1120leemans v; magein h; destain m f (1999). defects segmentation on golden delicious apples using colour vision and bayesian method. computers and electronics in agriculture, 23, 4353leemans v; magein h; destain m f (2002).

29、 on-line fruit grading according to their external quality using machine vision. biosystems engineering 83(4), 397404 doi:10.1006/bioe.2002.0131lefebvre m; zimmerman t; baur c; gugerli p; pun t (1994).potato operation: automatic detection of potato diseases.proceedings of spie, 2345, 29mapa (1992).

30、normas de calidad para frutas y hortalizas.quality standards for fruits and vegetables. ministerio de agricultura, pesca y alimentaci!on. isbn: 84-7479-920-1miller b k; delwiche m j (1989). a color vision system for peach grading. transactions of the asae, 34(4), 14841490molt!o e; blasco j; steinmet

31、z v; bourelya; navarr!on f;perotto g (1997). shiva: a robotics solution for automatic handling, inspection and packing of fruit and vegetables.robotics and automated machinery for bio-productions,bio-robotics 97, gand!a, valencia, spain, pp 6570.isbn： isbn: 84-8498-659-4molt!o e; blasco j; steinmetz

32、 v; bourelya; navarr!on f;perotto g (1998). multi-sensor inspection and robotic packing of fruit. ageng 98. oslo, denmark. eurageng paper no. 98-f-030peirs, a; scheerlinck n; de baerdemaeker j; nicolai b m (2002). quality determination of apple fruits with a hyperspectral imaging system. ageng 02. budapest, hungary.eurageng paper no. 02-ph -028penman dw(2002). determination of stem and calyx location on apples using automatic visual inspection. computers and electronics in agriculture, 33(2002), 718rehkugler g e; throop j a (1986). apple sorting with machine