維視智造-人工智能行業(yè)：2022年AI工業(yè)視覺解決方案白皮書

2022AIINDUSTRIALVISIONSOLUTIONSCOPYRIGHT本白皮書出品方為維視智造科技股份有限公司，版權受法律保護。轉載、摘編CONTENTS3.1.1額外的硬件3.1.2發(fā)熱量和功耗3.1.3大量的訓練數(shù)據(jù)4.2.1數(shù)據(jù)收集274.2.2分類及數(shù)據(jù)標記4.2.3模型訓練4.2.4在線推理及優(yōu)化4.3.1缺陷檢測344.3.2圖像分類4.3.3字符識別4.3.4深度學習與傳統(tǒng)算法的融合5工業(yè)視覺技術概述工業(yè)視覺也稱機器視覺，是人工智能正在快速發(fā)展的一個分支，是在工業(yè)上為自動檢查、過程控制和機器人引導等應用提供基于圖像的自動檢查和分析的技術及方法。機送給專用的圖像處理系統(tǒng)，得到被攝目標的形態(tài)信息，根據(jù)像素分布和亮度、顏色等如果我們將1969年CCD芯片的產生作為機器視覺技術的起點，該項技術的發(fā)展已經有半個世紀的歷史，經過長時間的發(fā)展，機器視覺技術日益取得重大突破和廣泛應用，當前已經遍布工業(yè)生產的各個環(huán)節(jié)，在一些不適合于人工作業(yè)的危險工作環(huán)境或人工視覺難以滿足要求的場合，常用機器視覺來替代人工視覺；同時在大批量工業(yè)生產過程中，用人工視覺檢查產品質量效率低且精度不高，用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現(xiàn)自動化集成，軟件集成，是實現(xiàn)智能制造的基礎技術。根據(jù)不完全統(tǒng)計，目前廣泛應用工業(yè)視覺的工業(yè)生產行業(yè)6工業(yè)視覺典型應用場景機器視覺在工業(yè)領域應用廣泛，按功能和場景主要分為四大類：識別、定位、測量、識別包括有無、顏色和條碼/二維碼識別，主要通過甄別目標物體的物體特征來進行判定位功能是在識別出物體的基礎上，經過測量準確的給出目標物體的坐標位置，制造業(yè)自動生產裝配過程中，機器人需要知道來料的位置，才能完成后續(xù)的加工、裝配、測量泛指利用被測物體特征進行全局或局部尺寸數(shù)據(jù)獲取的應用，包括：長度、平行度、角度、圓弧長、圓直徑、半徑、點到線的距離、點點距離等等，尺寸測量既可以用于產品生產過程中的尺寸數(shù)據(jù)管控，也可以用于數(shù)據(jù)的獲取，在工業(yè)應用場景中占檢測指的是對目標物體表面的缺陷進行檢出。產品生產制造過程中產生的表面缺陷會影響其性能及客戶體驗，傳統(tǒng)人工檢測的方法需要耗費大量的人力，且無法滿足現(xiàn)代生產工藝和節(jié)奏的要求，利用機器視覺的方法進行智能化檢測可以有效的解決這一問題，同時節(jié)省成本、提高產能。因此，表面缺陷檢測是機器視覺最重要的應用方向之7難點：缺陷區(qū)域呈現(xiàn)隨機灰度等級的黑色或白色，難點：缺陷區(qū)域呈現(xiàn)隨機灰度等級的黑色或白色，難以提取全部缺陷區(qū)域好爛難點：不同類別的棗無任何歸一的特征規(guī)律，無法基于特征參數(shù)區(qū)分工業(yè)視覺面臨的挑戰(zhàn)及發(fā)展趨勢總體來說，工業(yè)視覺在定位、測量、識別、檢測等各來越高、速度越來越快、準確率要求越來越高的挑戰(zhàn)。這平的提高得到了有效的解決，比如采集硬件的分辨率、傳是也有一部分問題，需要長周期的實踐和迭代升級才有解表，就是復雜場景下的缺陷檢測。以下是幾類傳統(tǒng)算法難難點：缺陷特征被隨機的螺牙背景干擾，難以獨立分割出缺陷區(qū)域難點：待定位的特征呈現(xiàn)相對隨機的輪廓，無法以特定模板匹配8此類問題在工業(yè)現(xiàn)場是普遍存在且用戶需求迫切希望得到解決的，這為工業(yè)視覺的算法發(fā)展提出了新的挑戰(zhàn)。同時，如果這些問題得到解決，那么工業(yè)視覺的應用邊界，將會得到極大的拓展，由原來只能在產品標準化、一致性極高的場景，變成幾乎可以替代人眼進行任意場景下的視覺檢測應用，而且不止是工業(yè)生產方面，在農業(yè)、民用深度學習技術概述深度學習技術概述深度學習是機器學習中一種基于對數(shù)據(jù)進行表征學習的方法。在給予它一組輸入后，在規(guī)律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。深度學習在搜索技術，數(shù)據(jù)挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很(2)明確了特征學習的重要性。也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更容易。與人工規(guī)則構造特征的方法(3)通過設計建立適量的神經元計算節(jié)點和多層運算層次結構，選擇合適的輸入層和輸出層，通過網(wǎng)絡的學習和調優(yōu)，建立起從輸入到輸出的函數(shù)關系，雖然不能100%找到輸入與輸出的函數(shù)關系，但是可以盡可能的逼近現(xiàn)實的關聯(lián)關系。使用訓練成功的網(wǎng)工業(yè)視覺深度學習技術發(fā)展趨勢在工業(yè)視覺方面，深度學習的典型應用領域是異常檢測、圖像分類、缺陷檢測和物體深度學習和傳統(tǒng)機器視覺方法的差異主要在于，傳統(tǒng)機器學習的步驟是人工分析圖片的特征，通過圖像算法提取特征，然后通過特征的數(shù)值來區(qū)分物品。在分析的時候不需要大量的圖片，只需要幾種分類的典型圖片，和類別之間的臨界圖片。人工分析在整個過程當中起到了主導的作用。而深度學習的步驟是采集大量圖片，標注圖片，把圖片放進網(wǎng)絡訓練，查看訓練結果，調節(jié)參數(shù)和網(wǎng)絡結構，再次訓練，得到最好的結果。深度學習在標注和訓練的時候不需要專業(yè)，網(wǎng)絡會自動提取和篩選特征，規(guī)劃分割閾值。只是在調整參數(shù)和網(wǎng)絡結構時需要專業(yè)工程師，但是在一些項目中可以不用其次，當檢測不同的物體和特征時，深度學習方法的優(yōu)勢是能夠檢測以不同形式出現(xiàn)再次，經過適當訓練的神經網(wǎng)絡可以很好地識別出變量環(huán)境（如變化的背景、不同的分辨率或光源條件）中的物體，無需針對每個可能的特性進行專門訓練。但是需要大當然，深度學習工業(yè)視覺的實施也需要具備一定的條件和成本。在硬件配置方面，通常需要增加額外的GPU作為算力支撐，在實施方面，需要準備大量的訓練樣本數(shù)據(jù)，大量的人工標注工作量等，但是，考慮到期在識別能力上，算法的適應力上和特征提取和分類的流程上的優(yōu)勢，隨著市場需求、行業(yè)技術水平的發(fā)展，硬件性能提升，成與傳統(tǒng)方法相比，為了在應用中充分發(fā)揮純深度學習方法的優(yōu)勢，往往需要對使用的深度學習架構復雜精巧、功能強大，其突出特點在于它是由大量的神經網(wǎng)絡層構成。因此，運行深度學習的應用程序需要用到大量的內存和計算能力。通常只有將計算任務轉移到額外的處理器（如GPU顯卡）上同時執(zhí)行計算，才能在可接受的短時間內完成處理工作。在目前的市場條件下，增加GPU顯卡對于很多用戶來說是一項不小的成大型神經網(wǎng)絡對計算能力的要求較高，因此增加了應用的功耗，并相應地增加了發(fā)熱量。這尤其會對嵌入式系統(tǒng)造成問題，因為通常需要對嵌入式系統(tǒng)的低功耗和熱管理要想可靠地識別物體，首先需要大量的訓練圖像，這些圖像會描述和標記所有物體和屬性，以便讓系統(tǒng)能在盡可能多的不同變量和環(huán)境中完成識別。用于訓練的不同圖像數(shù)據(jù)量越多，深度學習網(wǎng)絡就越容易學會如何識別物體。在開發(fā)機器視覺應用時，要獲取成百上千幅所需的圖像往往是一項艱巨的任務。更多的時候，工廠可能根本就不獲取到的大量數(shù)據(jù)是不能立即使用的，需要人給這些數(shù)據(jù)進行標注，對于圖像分割，需要精準的標準圖像中要分割的區(qū)域，這樣才能在推理圖片的時候得到精準的區(qū)域。這些標注工作都只能是人工手動完成，所以在數(shù)據(jù)大的時候，還需要檢測是否有標注上述幾個應用的條件正是深度學習工業(yè)視覺項目落地的阻礙，也是用戶的痛點，相對·發(fā)熱量和功耗：思路之一能將深度學習與傳統(tǒng)算法進行深度融合，采用傳統(tǒng)算法解決·大量的訓練數(shù)據(jù)：行業(yè)內通用的解決方案是采用小樣本訓練，然后在推理過程中不斷技術解析對應3.1提出的用戶痛點問題及解決思路，結合實際落地的項目經驗，目前AI工業(yè)視覺深度學習算法對計算資源的需求是確定的，如何提高深度學習應用部署效率，降低運學習算法平臺努力的目標。由于工業(yè)領域深度學習應用的特殊分開實施，模型訓練完畢后的運行機往往裝在設備上交付給終端用戶，不再需要大規(guī)模的持續(xù)訓練和升級，這就使得深度學習在CPU上運行具備了基礎條件。由于大量的務指標。然而通過提升推理服務在CPU上的性能，可以幫助實現(xiàn)GPU遷移到CPU上的針對一些代表性的場景如特征明顯但存在異物干擾的情況，使用傳統(tǒng)算法唯一的問題是會造成一定程度的過殺，但是其實施效率高、消耗的算力和功耗少，是深度學習無法比擬的優(yōu)勢。在這種場景下，使用傳統(tǒng)算法進行過殺，然后對NG的圖片進行深度學習標注和訓練，將傳統(tǒng)算法與深度學習有機的結合在一起，可以實現(xiàn)事半功倍的效果稱之為缺陷檢測深度學習過濾技術。此外，傳統(tǒng)軟件和深度學習的結合還可以用于圖21案例：鍵盤表面缺陷，會有毛發(fā)、指紋、灰塵等異物干擾目前大部分的深度學習模型，都是監(jiān)督學習的方式進行的，需要海量的數(shù)據(jù)支持。而現(xiàn)實生產環(huán)境中，數(shù)據(jù)集通常較小，只有幾萬甚至幾百個樣本。此時，通常我們采用第一：利用預訓練模型進行遷移微調（?ne-tuning），預訓練模型通常在特征上擁有很好的語義表達。此時，只需將模型在小數(shù)據(jù)集上進行微調就能取得不錯的效果。這也是目前大部分小數(shù)據(jù)集常用的訓練方式。視覺領域內，通常會ImageNet上訓練完成本類別遠遠大于樣本數(shù)量的情況等極端數(shù)據(jù)集。例如有1000個類別，每個類別只提供常仍然在學習不同類別的語義，而少樣本學習通常需要學習樣本之間的距離度量。例有些常用的方式：數(shù)據(jù)集增強、正則或者半監(jiān)督學習等方式來解決小樣本數(shù)據(jù)集的訓此外，也有深度學習廠家研發(fā)了一些幫助用戶進行樣本圖片生成的工具，可以將收集AI工業(yè)視覺解決方案架構及組成1、圖像采集部分：通常由一套或者多套這樣的成像系統(tǒng)組成，包括工業(yè)相機、工業(yè)鏡2、照明光源：光源是影響機器視覺系統(tǒng)輸入的重要因素，它直接影響輸入數(shù)據(jù)的質量3、控制單元：控制單元一般包含光電傳感器、I/O、運動控制、電平轉化單元等，用4、圖像處理算力設備：工控機或GPU服務器，是視覺系統(tǒng)的核心算力，部署于靠近相機的端側，完成圖像數(shù)據(jù)的處理和絕大部分的控制邏輯，對于檢測識別類型或采用深度學習算法的應用，通常都需要高性能的CPU/GP機器視覺軟件用來完成輸入的圖像數(shù)據(jù)的處理，通過圖像識別得出結果，這個輸出的5、執(zhí)行機構：可能是機械臂、氣動裝置等，用于執(zhí)行運算結構后進行相應的剔除、抓邊緣學習將基于規(guī)則的高效機器視覺嵌入到一套預先訓練的深度學習算法中，以創(chuàng)建針對工廠自動化優(yōu)化過的一個集成工具集。該技術無需機器視覺和深度學習方面的專業(yè)知識。相反，生產線工程師可以基于其對所需解決任務的現(xiàn)有了解來訓練邊緣學習邊緣學習與現(xiàn)有深度學習框架的不同之處在于，其并非通用的解決方案，而是專門為工業(yè)自動化應用量身定制的。邊緣學習與其他深度學習產品的不同之處在于，其專注于確保在應用部署的所有階段都易于使用。舉例來說，邊緣學習僅需更少的圖像即可實施流程量的要求，然后在實際生產中去收集足夠的對應樣本數(shù)據(jù)。通常情況下，訓練用的數(shù)據(jù)集必須要有足夠的代表性，需要包含實際生產中各種可能的情況，而且對應各種情況的圖像數(shù)量分布要均勻。在數(shù)量方面，訓練用的數(shù)據(jù)集樣本一定要相對較多，根據(jù)模型的復雜程度，高質量的圖片數(shù)量，以及負樣本的數(shù)量必須足夠。樣本圖片的收集圖像數(shù)據(jù)的收集工作在某些場景下需要耗費大量的人力以及時間，且往往對深度學習項目最終能否成功實施、或最終的檢出率是否達標具有至關重要的意義。因此在評估深度學習項目時，要格外關注此部分工作的實現(xiàn)難度，對工作量做出客觀和準確的評估，并入系統(tǒng)成本考量維度。另外值得注意的是，負樣本的收集往往是瓶頸站點，因為工廠自動化生產過程中NG產品的比例是相對較低且無法人為制造的，但是檢出所有在獲取了足夠的圖像數(shù)據(jù)之后，依據(jù)圖像的屬性進行準確的分類，如果是缺陷檢測目的，通常只需要劃分為OK/NG兩類，如果是圖像分類，則需要根據(jù)特征劃分為對應的種是全圖標記（也稱全圖分類一種是像素分割。典型的全圖分類模式下標記主界面如圖所示，界面上可以顯示多幅圖像形成的圖像列表。這種標記方式的好處是效率較高，可以支持超大規(guī)模的圖像快速標記。他允許用戶對整幅圖片進行類別的標記，速的完成標記和訓練，取得準確的判定結果。同時，由于標記所需圖片可以從高分辨率圖像中裁切獲得，對樣本的數(shù)據(jù)量依賴問題得到了較好的解決，在樣本圖片的裁切當然，全圖標記的標注方法也有其局限性。當被測物的缺陷種類眾多、產品背景復雜、產品本身類型眾多、缺陷位置無法自動定位時，全圖標記在小分辨率訓練圖像自動相對于全圖分類的對整幅圖像進行標記，像素分割是在圖片中對缺陷區(qū)域進行標記，不明顯的裂紋第一、如上圖所示的不明顯裂紋，利用傳統(tǒng)算法很難分割出來，就算分割出來了，也會同時把其他的一些干擾因素分割出來，造成誤檢?；谏疃葘W習像素分割，可以不通過閾值等傳統(tǒng)方法分割，而是通過大量類似的數(shù)據(jù)訓練出類腦模型后，進行裂紋區(qū)基于像素分割模型的推理效果第二、當干擾因素和缺陷類似，或干擾因素的層次感比缺陷還高時，用傳統(tǒng)分割算法盡管右下角的臟污比中間的裂紋更明顯，但是依然只準確的檢測出裂紋隱約的裂紋缺陷也不會和其他非裂紋特征混淆量的圖像數(shù)據(jù)需要人工進行缺陷類型以及位置的準確標相較于傳統(tǒng)的民用級深度學習開發(fā)過程中“創(chuàng)建數(shù)據(jù)集-加載數(shù)據(jù)集-創(chuàng)建神經網(wǎng)絡模型-創(chuàng)建損失函數(shù)-設置優(yōu)化器-設置訓練網(wǎng)絡的超參數(shù)-開始訓練并記錄訓練結果-保存更簡便，對人員的開發(fā)能力要求大大降低。無論是全圖分類還是像素分割，標記工作完成之后，即可進行深度學習模型訓練的工作。深度學習軟件區(qū)別于傳統(tǒng)軟件最重要的特點之一，就是不需要具備圖像處理的基礎知識，不需要進行復雜的算子選擇和程序創(chuàng)建，模型的訓練完全是自動化進行的，操作極其簡單，只需要借助GPU強大的算在模型訓練的過程中，我們往往比較關注訓練時間、準確率/損失值等數(shù)據(jù)。訓練時間的長短主要取決于廠家算法性能、訓練用圖片分辨率、樣本數(shù)量、計算機提供的算力等。而準確率/損失值數(shù)據(jù)，跟圖片標注的準確率、樣本質量、算法性能、訓練輪數(shù)等有較大關系。對于支持小樣本訓練的算法軟件，通?？梢韵仁褂蒙倭繕颖具M行標注和訓練多輪次，將準確率提升至一定程度后進行試運行，過程中將檢測錯誤的圖片進行重新標注和訓練，以快速、高效的提升模型準確率。支持繼續(xù)訓練也是這一方法可以實施的必要條件。使用大量圖片進行驗證、校驗原有的標注數(shù)據(jù)準確性，也是模型訓完成訓練得到模型之后，深度學習項目即具備了上線運行的基本條件，此時需要專門的人員進行一定時長的跟機工作，在推理過程中，進行模型準確度的驗證，實時發(fā)現(xiàn)誤檢、漏檢的圖片案例并進行收集、再訓練，不斷完善模型的準確率，直至達到驗收要求。通常需要預設一定的時間或樣本的數(shù)量，來驗證項目是否達到了需求中的識別率、準確率等數(shù)據(jù)，因為只有在真實的在線生產過程中滿足了這些指標要求，深度學在工業(yè)生產中用戶經常面臨的痛苦之一，是由于產品的種類更換、設備本身磨損帶來的產品一致性問題，會有新的種類及不良類型不斷產生，相比傳統(tǒng)視覺，使用深度學習帶來的額外好處是，在這種情況下，只需要在原來模型的基礎上進行簡單的操作，AI工業(yè)視覺解決方案典型應用場景使命就是執(zhí)行檢查任務，例如檢測制造產品中的缺陷、污染物、功能缺陷等異常。相比人類視覺，機器視覺因其速度、準確性和可重復性而在結構化場景的定量測量中具有優(yōu)勢。利用適當?shù)南鄼C分辨率和光學件配置制造的機器視覺系統(tǒng)可以輕松檢測人眼難以看到的物體細節(jié)，并且檢測的可靠性較高，錯誤也較少。在生產線上，機器視覺系統(tǒng)可以可靠且重復地每分鐘檢查數(shù)百或數(shù)千個部件，遠遠超過人類的檢測能力。但是與傳統(tǒng)的機器視覺不同，人類擅長區(qū)分細微的表面和功能缺陷，以及區(qū)分可能影響感知質量的部分外觀變化。雖然人類處理信息的速度有限，但人類有特殊的概念化和概括的能力。人類擅長通過實例學習，并且在部件有小異常時，能夠區(qū)分真正重要的部分。在很多情況下，這使人類視覺成為定性解釋復雜、非結構化場景的理想選擇，項目背景：在螺紋的生產加工過程中，因為各種原因會產生一定比例的不合格品，如果不能夠將不合格品檢測出來，會對產品本身的強度造成嚴重影響，采用傳統(tǒng)的視覺檢測方法對螺紋進行檢測，因為螺紋本身的紋理干擾等因素，在檢測的過程中無法檢測或者誤判率非常高，采用的深度學習功能，將誤判率大大的降低，良品率能夠達到用深度學習缺陷過濾模塊截圖截圖保存路徑設置截取的圖像項目背景：在電腦鍵盤字符印刷的過程中，經常會產生各種印刷不良，采用傳統(tǒng)的視覺檢測方法進行檢測，粉塵、毛屑、指紋等如果殘留在鍵盤上，就會對視覺檢測造成干擾，在檢測過程中將其誤檢為字符的印刷不良，使合格品被誤檢為不合格品，從而影響產線的生產效率，針對以上存在的問題，使用深度學習功能對鍵盤進行檢測，使調用“模型分類”工具并加載訓練好的表情識別模型基于深度學習的表情識別歸一化基于深度學習的表情識別相對于工業(yè)場景的分類來說，實現(xiàn)難度是比較小的，因為表情差異的特征在圖片上的數(shù)據(jù)差異是非常大的。以1000萬像素的手機圖片來說，同一而真正的難點是工業(yè)領域的分類。以目前算法比較成熟的紅棗分類檢測舉例，以500萬像素的工業(yè)相機來說，不同類型紅棗之間的特征差異，可能只有幾百個像素，而且差首先我們要選取合適的標注方式，結合前文的介紹，紅棗的分類顯然更適合全圖分類2、使用截圖工具截取紅棗占據(jù)較大畫面比例的小分辨率圖像，得到全圖標注所需要的采用這種標注方式實現(xiàn)深度學習圖像分類的好處是顯而易見的，首先缺陷過濾模型相負樣本的差異性會大很多，訓練成熟網(wǎng)絡模型需要的圖像數(shù)量相對較少，模型復雜程度相對較低。其次數(shù)據(jù)標注相對容易，效率更高，因為數(shù)據(jù)標注時都是針對指定區(qū)域基于深度學習的字符識別可以比較有效的解決這一問題，字符識別也是深度學習技術典型的應用場景之一。在工業(yè)生產尤其是包裝生產線上，存在大量的包裝袋、包裝盒體上的生產日期、批號字符需要進行檢測，利用深度學習進行小樣本的訓練即可獲得缺陷顏色比背景“深”缺陷顏色比背景“淺”對于背景單一，真實缺陷和干擾因素比較明顯的缺陷，可以用傳統(tǒng)BLO