機(jī)器視覺(jué) - 數(shù)字農(nóng)業(yè)的驅(qū)動(dòng)力白皮書(shū) 2023 -VTec

MVTecSoftwareGmbH構(gòu)筑商業(yè)視界pavlobaliukh/pavlobaliukh/與大多數(shù)其他行業(yè)一樣，數(shù)字化正在逐漸滲入農(nóng)業(yè)增值流程。從工業(yè)規(guī)模的農(nóng)業(yè)企業(yè)到小型農(nóng)場(chǎng)，都越來(lái)越依賴(lài)與智能耕機(jī)器視覺(jué)是自動(dòng)化的重要組成部分。在本白皮書(shū)中，您會(huì)了解到這項(xiàng)技術(shù)的工作原理以及使用這項(xiàng)技術(shù)支持現(xiàn)代農(nóng)業(yè)流程 3 4 7 7 9 3areebarbar/areebarbar/農(nóng)業(yè)領(lǐng)域面臨的挑戰(zhàn)日益增長(zhǎng)。勞動(dòng)力短缺、法律標(biāo)準(zhǔn)和法規(guī)日益嚴(yán)格、成本上升、價(jià)格壓力升高加之農(nóng)田有限，迫使這一行業(yè)著手優(yōu)化流程。因此，越來(lái)越多的農(nóng)民依靠數(shù)字技術(shù)在未來(lái)保持活力，并使用基于智能耕作原則的現(xiàn)代信息和通信系統(tǒng)。這智能耕作在現(xiàn)代農(nóng)業(yè)中日益普及。機(jī)器視覺(jué)在這方面發(fā)揮著重要作用。它越來(lái)越有助于提高農(nóng)業(yè)特定流程的效率，并幫助這些流程在極大程度上實(shí)現(xiàn)自動(dòng)化。這機(jī)器視覺(jué)包括兩個(gè)主要組成部分：硬件和軟件。硬件是指圖像采集設(shè)備，例如相機(jī)、掃描儀和傳感器，它們從特定場(chǎng)景中記錄大量的數(shù)字圖像數(shù)據(jù)。然后，這些信息由機(jī)器視覺(jué)軟件行，也越來(lái)越多地在緊湊型嵌入式設(shè)備上運(yùn)行，甚至直接在圖像采集單元上運(yùn)行。然后，系統(tǒng)能夠僅根據(jù)視覺(jué)特征自動(dòng)識(shí)別特與其他識(shí)別方法相比，機(jī)器視覺(jué)具有許多關(guān)鍵優(yōu)勢(shì)：特別是高精確度和可靠的檢測(cè)率，讓其極具吸引力。它還非常靈活?？梢酝ㄟ^(guò)優(yōu)化圖像處理算法，在所有可能的場(chǎng)景檢測(cè)各種物體，甚至是從不同角度。此外，機(jī)器視覺(jué)運(yùn)行速度非?？欤潭處缀撩?機(jī)器視覺(jué)廣泛應(yīng)用于各種農(nóng)業(yè)領(lǐng)域。憑借如此多的優(yōu)勢(shì)，機(jī)器視覺(jué)必然在現(xiàn)代農(nóng)業(yè)中得到廣泛應(yīng)用。因此，這項(xiàng)技術(shù)與工業(yè)環(huán)境一樣，嵌入式系統(tǒng)也用于數(shù)字農(nóng)業(yè)生產(chǎn)場(chǎng)景。這些設(shè)備結(jié)構(gòu)緊湊，通常是移動(dòng)電子設(shè)備。由于環(huán)境條件惡劣，它們必須特別堅(jiān)固，能夠抵御外界影響。畢竟，這些系統(tǒng)經(jīng)常暴露在大量灰塵聚集、強(qiáng)烈振動(dòng)和高濕度環(huán)境中，甚至?xí)苯优c水接觸。例如，農(nóng)民使用手持設(shè)備、智能手機(jī)和平板電腦進(jìn)行移動(dòng)數(shù)據(jù)收集。特殊的圖像采集設(shè)備（例如智能相機(jī)和視覺(jué)傳感器）也可以安裝在拖拉機(jī)或其他農(nóng)業(yè)機(jī)械上。例如，它們可以記錄收獲流程或其他場(chǎng)景的數(shù)字圖像信息。嵌入式設(shè)備特別適合這種情況，因?yàn)榭臻g通常十分有限。它們體積小，結(jié)構(gòu)緊湊，效率高，產(chǎn)生的廢熱少。如果這些系統(tǒng)集成了機(jī)器視覺(jué)軟件，就可以5基于規(guī)則的機(jī)器視覺(jué)系統(tǒng)在農(nóng)業(yè)中的物體或缺陷檢測(cè)方面可以發(fā)揮關(guān)鍵作用。這項(xiàng)技術(shù)工業(yè)領(lǐng)域已應(yīng)用數(shù)十年，非常成熟可靠，因此在農(nóng)業(yè)領(lǐng)域也很有意義。與人工智能(AI)不同，機(jī)器視覺(jué)基于規(guī)則，需要征，從圖像數(shù)據(jù)中提取檢測(cè)流程所需的關(guān)鍵信息。與基于人工智能的方法相比，這項(xiàng)技術(shù)對(duì)系統(tǒng)要求沒(méi)有那么嚴(yán)格，這在農(nóng)業(yè)如上所述，盡管基于規(guī)則的系統(tǒng)憑借眾多優(yōu)勢(shì)而很有吸引力，但在某些情況下，人工智能技術(shù)可以在檢測(cè)精準(zhǔn)度方面提供更多的可能性。其中主要包括機(jī)器學(xué)習(xí)，尤其是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)的深度學(xué)習(xí)流程。這些方法的特別之處在于能在綜深度學(xué)習(xí)使用無(wú)缺陷和有缺陷物體的圖像進(jìn)行缺陷檢測(cè)。訓(xùn)練之前，要用數(shù)字標(biāo)簽標(biāo)記圖像，以將其分配給特定物體或錯(cuò)誤類(lèi)別。然而，這種標(biāo)記工作需要極其大量的人工操作，與此相關(guān)的海量圖像數(shù)據(jù)管理也是如此。因此，需要一個(gè)合適的標(biāo)簽工具來(lái)映射這些流程，由此對(duì)其進(jìn)行控制。訓(xùn)練過(guò)程中，深度學(xué)習(xí)算法會(huì)學(xué)習(xí)能夠幫助其將需要檢測(cè)的物體分配到某些類(lèi)別的典型特征，例如“蘋(píng)果”或“梨”的特征。深度學(xué)習(xí)也適用于精確識(shí)別和定位各種缺陷。此技術(shù)主要用于待檢測(cè)物體相似度極低，因此使用基于規(guī)則的方法無(wú)法執(zhí)行任務(wù)或執(zhí)行任務(wù)難度極基于規(guī)則的系統(tǒng)與人工智能系統(tǒng)（例如深度學(xué)習(xí)）可以合理結(jié)合到同一解決方案中，始終為特定應(yīng)用取得最佳結(jié)果。這樣可以同時(shí)顯現(xiàn)兩個(gè)技術(shù)領(lǐng)域的特殊優(yōu)勢(shì)。通過(guò)相互作用，可以實(shí)現(xiàn)比單獨(dú)使用單個(gè)技術(shù)更好的結(jié)果。如此一來(lái)，農(nóng)業(yè)用戶便可以享受穩(wěn)定一致的端到端解決方案、更高的檢測(cè)率以及更快的機(jī)器視覺(jué)流程。所有對(duì)于物體分類(lèi)至關(guān)重要的決策標(biāo)準(zhǔn)都可以清楚地63D3D視覺(jué)技術(shù)增強(qiáng)了機(jī)器人輔助收割流程。創(chuàng)新型農(nóng)業(yè)企業(yè)經(jīng)常依靠云來(lái)使用數(shù)字應(yīng)用?，F(xiàn)代機(jī)器視覺(jué)提供商現(xiàn)在也在云端提供某些服務(wù)。與本地解決方案相比，這些服務(wù)具有諸多優(yōu)勢(shì)?？梢造`活擴(kuò)展必需資源，還可以根據(jù)需要隨時(shí)添加額外能力。云采購(gòu)模式也極具成本效益，因?yàn)橹恍韪鶕?jù)合同模式，為實(shí)際使用的服務(wù)（例如服務(wù)器服務(wù)）付費(fèi)。農(nóng)民可以將系統(tǒng)托管外包給經(jīng)驗(yàn)豐富的云服務(wù)提供商，他們運(yùn)營(yíng)的基礎(chǔ)不僅要考慮可見(jiàn)光譜范圍，還要考慮人眼無(wú)法感知的其他顏色光譜，特別是對(duì)于作物。使用能夠檢測(cè)這些多光譜顏色通道類(lèi)型的特殊機(jī)器視覺(jué)方法，可以利用合適的硬件檢測(cè)這些光譜并對(duì)其進(jìn)行評(píng)估。例如，能夠在后果肉眼可察之前及早發(fā)現(xiàn)作物疾病基于3D的機(jī)器視覺(jué)技術(shù)（3D視覺(jué)）在高科技農(nóng)業(yè)中同樣極為重要。檢測(cè)、評(píng)估和處理傳感器支持的3D信息可以更好地控制機(jī)械系統(tǒng)或流程，從而實(shí)現(xiàn)超出2D方法能力的農(nóng)業(yè)應(yīng)用。例如，不僅可以精確定位靜止物體，還可以精確跟蹤和抓取三維空間中移動(dòng)的物體。為此，需要使用多個(gè)相機(jī)從不同角度記錄圖像信息。在特殊的農(nóng)業(yè)應(yīng)用場(chǎng)景中，可靠、精確、支持3D的機(jī)器視覺(jué)有利于對(duì)農(nóng)田進(jìn)行有針對(duì)性的監(jiān)測(cè)、施肥和灌溉，使土地耕作更有效率、更可持續(xù)。此外，還可以根據(jù)需要使用寶貴的資源，包括殺蟲(chóng)劑、水和化肥。這有助于農(nóng)民節(jié)省資金、減少工作量，同時(shí)也更容易滿足關(guān)于使裝有高分辨率相機(jī)的無(wú)人機(jī)飛過(guò)田野。集成的機(jī)器視覺(jué)軟件對(duì)記錄的圖像進(jìn)行評(píng)估，并在空中自動(dòng)檢測(cè)某些特征。例如，植物葉綠素含量異常表明存在壓力情況，例如真菌病害或蟲(chóng)害。根據(jù)這些發(fā)現(xiàn)，農(nóng)民可以采取針對(duì)性極強(qiáng)的措施。例如，他們可以只在受影響的區(qū)域精確噴灑殺蟲(chóng)劑或殺菌劑。將前文介紹的多光譜流程集成到機(jī)器視覺(jué)系統(tǒng)中，有助于確定植物的狀況。特殊的多光譜相機(jī)可用于檢測(cè)和處理肉眼不可見(jiàn)的其他顏色通道，從而在早期階集成機(jī)器視覺(jué)軟件的無(wú)人機(jī)可以檢測(cè)植物的各種特性。78Countrypixel/stockCountrypixel/機(jī)器視覺(jué)軟件有助于針對(duì)性地控制雜草。另一個(gè)應(yīng)用場(chǎng)景是針對(duì)性施肥。機(jī)器視覺(jué)軟件會(huì)根據(jù)數(shù)字圖像數(shù)據(jù)精確測(cè)量作物高度，這樣就可以根據(jù)需要只對(duì)作物長(zhǎng)勢(shì)不佳的區(qū)域進(jìn)行施肥。根據(jù)同樣的原則，也可以根據(jù)地點(diǎn)對(duì)農(nóng)田進(jìn)行灌溉。例如，在這種情況下，紅外相機(jī)會(huì)測(cè)量溫度，并繪制相關(guān)區(qū)域的熱圖。根據(jù)測(cè)得的蒸發(fā)冷卻，可以精確了解各個(gè)區(qū)域的實(shí)際濕度水平，從而有意識(shí)地根據(jù)需要調(diào)整灌溉。圖像數(shù)據(jù)不植物保護(hù)是現(xiàn)代農(nóng)業(yè)的重要課題。針對(duì)傳統(tǒng)保護(hù)方法的反對(duì)意見(jiàn)越來(lái)越多，法規(guī)也日趨嚴(yán)格，這些都是必須面對(duì)的挑戰(zhàn)。機(jī)器視覺(jué)可以實(shí)時(shí)區(qū)分作物和雜草，確保極為有效地施用除草劑。為了區(qū)分不同植物，將工業(yè)相機(jī)（多光譜圖像數(shù)據(jù)）安裝在噴霧器上，拍攝植物照片。相機(jī)會(huì)將數(shù)據(jù)發(fā)送到嵌入式設(shè)備，設(shè)備上運(yùn)行集成的機(jī)器視覺(jué)軟件，可對(duì)應(yīng)用進(jìn)行控制。軟件利用基于深度學(xué)習(xí)的物體檢測(cè)發(fā)現(xiàn)作物中的雜草，然后向系統(tǒng)發(fā)出信號(hào)，將除草劑精確噴灑到已識(shí)別的雜草上。針對(duì)性施用減少了環(huán)境歡迎觀看我們的農(nóng)業(yè)機(jī)械視頻9現(xiàn)代農(nóng)業(yè)機(jī)械也在越來(lái)越多地使用機(jī)器視覺(jué)方法。例如，拖拉機(jī)、聯(lián)合收割機(jī)和機(jī)器人收割機(jī)都配備了智能相機(jī)等嵌入式設(shè)備。這些設(shè)備會(huì)生成大量數(shù)字圖像數(shù)據(jù)，并通過(guò)集成的機(jī)器視覺(jué)軟件對(duì)這些數(shù)據(jù)進(jìn)行詳細(xì)評(píng)估。隨后，這些結(jié)果就可用于各種傳感器會(huì)感應(yīng)到每個(gè)區(qū)域的蘋(píng)果，這樣就可以使用抓取器逐個(gè)采摘。集成的機(jī)器視覺(jué)軟件可精確確定蘋(píng)果在圖像中的位置，并且只選擇大小足夠的成熟果實(shí)。在機(jī)械臂接近蘋(píng)果時(shí)，軟件會(huì)同時(shí)處理多個(gè)圖像，以確定與目標(biāo)物體的剩余距離。與此同時(shí)，會(huì)通過(guò)抓取器吹出空氣，以吹開(kāi)樹(shù)葉。然后，抓取器小心地靠近水果，將其包住并吸入。通過(guò)旋轉(zhuǎn)和傾斜動(dòng)作摘下蘋(píng)果，然后使用機(jī)器人可為農(nóng)民帶來(lái)明顯效益。它們可以自動(dòng)執(zhí)行德國(guó)伊爾梅瑙科技大學(xué)開(kāi)發(fā)了一套精確測(cè)定小麥質(zhì)量的系統(tǒng)。為了快速分析小麥樣品，首先將麥粒放入料斗中。麥粒會(huì)從料斗落到傳送帶上，再通過(guò)一個(gè)分離裝置，由裝置進(jìn)行分離，然后逐一移動(dòng)經(jīng)過(guò)相機(jī)接受掃描。機(jī)器視覺(jué)算法根據(jù)不同顏色、紋理和形狀標(biāo)準(zhǔn)分析記錄的圖像。使用特殊相機(jī)在明亮背景下對(duì)小麥成像，可以看到麥粒圖案大小、形狀和使用氣動(dòng)分揀裝置，將麥粒分為特定等級(jí)以便稱(chēng)重和儲(chǔ)存。這套分類(lèi)系統(tǒng)的吞吐率非常高。借助自動(dòng)分析，種植者在很短的時(shí)間內(nèi)就能收到有關(guān)谷物質(zhì)量的詳細(xì)信息。還可以通過(guò)圖形方米粒質(zhì)量檢測(cè)也能達(dá)到類(lèi)似的速度和性能。針對(duì)這一目的，日作開(kāi)發(fā)了一套自動(dòng)檢測(cè)系統(tǒng)。該系統(tǒng)中的機(jī)器視覺(jué)軟件必須執(zhí)行復(fù)雜的圖像處理任務(wù)并以極快速度進(jìn)行處理。軟件直接在功能強(qiáng)大的嵌入式平臺(tái)上運(yùn)行。通過(guò)眾多算子，優(yōu)化校準(zhǔn)相機(jī)、分割米粒、提取特征和測(cè)量尺寸以便進(jìn)行質(zhì)量分類(lèi)的流程。整套解決方案實(shí)現(xiàn)了整個(gè)檢測(cè)流程的自動(dòng)化和加速。改進(jìn)后的結(jié)在另一個(gè)應(yīng)用場(chǎng)景中，機(jī)器視覺(jué)系統(tǒng)可以自動(dòng)對(duì)番茄秧苗進(jìn)行分揀。農(nóng)產(chǎn)品種植者必須確保他們從供應(yīng)商那里收到的種子能米粒檢測(cè)可以完全實(shí)現(xiàn)自動(dòng)化。在這套系統(tǒng)中，秧苗自動(dòng)種植在生長(zhǎng)托盤(pán)中，經(jīng)過(guò)12天的發(fā)芽期后，通過(guò)傳送帶運(yùn)送到機(jī)器視覺(jué)系統(tǒng)。植物到達(dá)后，十臺(tái)相機(jī)同時(shí)記錄圖像，建立秧苗的三維模型。軟件可以在幾毫秒內(nèi)生成3D模型，然后計(jì)算植物的生物量。接下來(lái)，根據(jù)這些數(shù)據(jù)），質(zhì)量控制流程自動(dòng)化可以顯著提高農(nóng)業(yè)企業(yè)的生產(chǎn)力。檢測(cè)結(jié)果完全客觀、可再現(xiàn)，不受人為波動(dòng)和錯(cuò)誤的影響。還可以定義采摘機(jī)器人獨(dú)立檢測(cè)成熟甜椒。機(jī)器視覺(jué)技術(shù)同樣應(yīng)用于溫室栽培實(shí)踐。與野外一歡迎觀看我們的溫室自動(dòng)化視頻人”(CROPS)的一部分，使用荷蘭瓦赫寧根大學(xué)及研究中心開(kāi)發(fā)的SWEEPER機(jī)器人采摘機(jī)采摘成熟甜椒，就清晰展示了這一理念。采摘機(jī)通過(guò)電池供電平臺(tái)在溫室內(nèi)自主移動(dòng)。機(jī)器人集成的標(biāo)準(zhǔn)機(jī)器視覺(jué)軟件包含基于形狀和顏色的檢測(cè)算法，可檢測(cè)每個(gè)記錄圖像中符合目標(biāo)顏色閾值的區(qū)域。為了可靠檢測(cè)成熟甜椒，必須高度準(zhǔn)確地確定每個(gè)物品椒，機(jī)械臂就會(huì)將采摘工具定位到作物的莖桿上。然后，機(jī)械臂用振動(dòng)刀向下移動(dòng)幾厘米，在靠近植采摘流程自動(dòng)化可以更好地滿足質(zhì)量、衛(wèi)生、食品安全和產(chǎn)品可追溯性方面不斷提高的要求。自動(dòng)化還可以彌補(bǔ)缺乏合格工人的問(wèn)題，這些工人通常要在植物生長(zhǎng)所需的溫室環(huán)境中從事極其單調(diào)并且耗費(fèi)體力的任務(wù)。因此，機(jī)器人采摘機(jī)的使用可以促SGr/SGr/例如，機(jī)器視覺(jué)軟件可用于跟蹤奶牛等動(dòng)物的生長(zhǎng)情況。首先使用3D傳感器對(duì)牛進(jìn)行單獨(dú)掃描。在喂食期間，用飛行時(shí)間傳感器測(cè)量動(dòng)物背部，再結(jié)合3D圖像處理。通過(guò)這種方式，可以精準(zhǔn)確定典型體形特征。其中包括動(dòng)物的體長(zhǎng)和體寬，以及特殊身體部位的尺寸，包括腰部、臀部或肩膀。農(nóng)民可以從這些信息中得出有價(jià)值的結(jié)論，如牛的潛在產(chǎn)量。隨時(shí)間推移進(jìn)行多另一項(xiàng)應(yīng)用可支持自動(dòng)擠奶流程。在此同樣使用飛行時(shí)間傳感器來(lái)精確定位奶牛乳頭。根據(jù)3D坐標(biāo)，使用機(jī)器人有針對(duì)性地將擠奶機(jī)引導(dǎo)至乳房。由于乳頭非常敏感，必須盡可能精準(zhǔn)確定設(shè)備位置和方向。這樣，擠奶機(jī)可以輕松而輕柔地附著到乳?1996-2021MVTecSoftwareGmbH.?1996-2021MVTecSoftwareGmbH.保留所有權(quán)利。所有規(guī)格如有變更，恕不另行通知。HALCON是MVTecSoftwar為了持續(xù)推進(jìn)生產(chǎn)流程的數(shù)字化轉(zhuǎn)型，您需要行業(yè)內(nèi)的專(zhuān)家合作伙伴，他們將為您提供專(zhuān)業(yè)的支持。我們也很樂(lè)意根據(jù)您的特定要求推薦合適的合作伙伴。請(qǐng)聯(lián)系我們，讓