2024年工業(yè)視覺檢測算法方案白皮書-阿丘科技

工業(yè)視覺檢測算法方案CONTENTS目錄01工業(yè)視覺檢測項目的特點工業(yè)視覺檢測項目的特點 020201工業(yè)視覺檢測項目的特點工業(yè)視覺檢測項目的特點 0202工業(yè)視覺檢測算法方案的基礎概念算法工具的概念 03算法工具的能力邊界

04工業(yè)視覺檢測算法方案的概念

0503算法方案優(yōu)劣評價的標準算法方案優(yōu)劣評價的標準03算法方案優(yōu)劣評價的標準算法方案優(yōu)劣評價的標準 0604制定工業(yè)視覺檢測算法方案04制定工業(yè)視覺檢測算法方案明確需求

07單圖方案設計

07隨著工業(yè)4.0時代的到來，智能制造已成為全球制造業(yè)發(fā)展的新趨勢。在這一進程中，工業(yè)視覺檢測技術作為關鍵的技術支撐，它不僅可以顯著提高生產(chǎn)效率和產(chǎn)品質量，還能有效降低人工成本，減少人為錯誤，確保生產(chǎn)過程的安全性和可靠性。然而，工業(yè)視覺檢測技術在實際應用中面臨著諸多挑戰(zhàn)，如背景復雜、對比度低、缺陷種類多樣等問題，極大地限制了工業(yè)視覺檢測技術的廣泛應用。阿丘科技作為工業(yè)視覺檢測技術的先行者，基于多年的研究成果和技術積累，推出《工業(yè)視覺檢測算法方案》白皮書，全面介紹工業(yè)視覺檢測技術的現(xiàn)狀與趨勢，深入分析當前面臨的技術難題，并提出創(chuàng)新的算法解決方案。我們希望通過分享最新的研究成果和技術實踐，為行業(yè)內(nèi)外提供一個深入了解工業(yè)視覺檢測技術的機會，促進技術交流與合作，共同推動工業(yè)視覺檢測技術的進步與發(fā)展。一.工業(yè)視覺檢測項目的特點在現(xiàn)代工業(yè)生產(chǎn)中，視覺檢測技術的應用正變得越來越廣泛，它在提高產(chǎn)品質量、優(yōu)化生產(chǎn)流程方面發(fā)揮著至關重要的作用。然而，與人臉識別、交通監(jiān)控、安防監(jiān)控等應用場景相比，工業(yè)視覺檢測項目的場景更為特殊，它很難與當下主流的AI平臺工具配型，或者是通過單一算法模型進行訓練，通常情況下，工業(yè)視覺檢測項目面臨著一系列獨特的難點與挑戰(zhàn)。首先，算法實現(xiàn)難。工業(yè)環(huán)境中的背景往往非常復雜，且對比度較低，這使得缺陷檢測變得尤為困難。例如，在電子元件的檢測中，背景可能包括電路板、導線等多種材質，這些材質的顏色和紋理變化多樣，增加了缺陷檢測的難度。此外，工業(yè)產(chǎn)品中的缺陷種類繁多，簡單的項目就可能涉及10種以內(nèi)的缺陷類型，而復雜的項目則可能包含上百種不同的缺陷類型。這些缺陷不僅數(shù)量眾多，而且差異較小，給算法的設計和優(yōu)化帶來了極大的挑戰(zhàn)。更重要的是，這些缺陷往往分布在多個平面上，需要在不同工位上利用相機采集多張圖像來完成檢測任務，進一步增加了算法實現(xiàn)的復雜性。和魯棒性。須保證圖像處理的速度足夠快（通常要求在毫秒級別內(nèi)完成）之高，以確保生產(chǎn)線的高效運轉。最后，客戶非常關心部署與維護的成本。為了確保系統(tǒng)的穩(wěn)定運行，工業(yè)視覺檢測系統(tǒng)不僅需要具備高度的可靠性，還應易于維護，并能夠迅速復制到其他生產(chǎn)線上，這要求系統(tǒng)設計時充分考慮硬件和軟件的兼容性、可擴展性和易用性等。例如，一些高端的視覺檢測系統(tǒng)可能需要配備多臺高性能的GPU服務器，這不僅增加了初期投資成本，還帶來了較高的運維費用。所以，設計一套既高效又經(jīng)濟的解決方案顯得尤為重要。因此，工業(yè)視覺檢測由于其特有的復雜性和多樣性，往往無法靠單一模型解決問題，而是需要由多個算法連接組成一個完整的算法方案，才能實現(xiàn)需求功能并達到檢測要求。這些算法方案通常需要綜合運用多種技術工具，如定位、分割、檢測和OCR等模塊，通過合理的組合和優(yōu)化，以滿足工業(yè)檢測中的各種挑戰(zhàn)和需求。二、工業(yè)視覺檢測算法方案的基礎概念1.算法工具的概念在工業(yè)視覺檢測中，算法工具是指能夠獨立解決某一特定問題的技術模塊。這些工具通常具有特定的功能，可以單獨應用于某個具體的任務。例如，“定位”工具可以從輸入圖像中確定目標的位置和姿態(tài)；“分割”工具則可以針對輸入圖像生成多邊形分割區(qū)域。雖然每個算法工具都能單獨執(zhí)行特定的任務，但在工業(yè)視覺檢測中，這些需求通常涉及多個檢測項關于上述八大技術模塊的簡單介紹，可見下圖OKNG關于上述八大技術模塊的簡單介紹，可見下圖OKNG 分割 對圖像進行像素級檢測，精準識別缺陷的位置、尺寸和類別 非監(jiān)督分割 只需良品圖即可對所有已知和未知缺陷進行像素級檢測，快速上線驗證分割非監(jiān)督分割檢測定位異物磕邊 檢測 定位 異物磕邊對圖像進行區(qū)域級檢測，準確識別目標物或缺陷 檢測圖像中單個或多個目標的類別、位置、大小和方向NA660-24 字符識別 裝配檢查 對圖像中的字符進行高效識別 檢測固定區(qū)域內(nèi)目標的有無、數(shù)量是否符合要求NGNGOK溢膠 變形NGNGOK非監(jiān)督分類 分類 非監(jiān)督分類判斷整張圖像所屬類別 只需良品圖即可對所有已知和未知缺陷進行整圖分類，快速上線驗證制定算法方案之前，需要對AI和傳統(tǒng)算法、各AI模塊的能力邊界有清晰的認識，以便更好地發(fā)揮各自的優(yōu)勢，解決實際問題。首先，AI與傳統(tǒng)算法的能力邊界。盡管AI技術在近年來取得了顯著進展，但與傳統(tǒng)計算機視覺算法相比，兩者在應用場景和能力上各有側重。AI技術在處理低對比度和背景干擾較大的情況時表現(xiàn)出色，其最小檢測精度可以達到3x3像素。這使得AI在檢測例如電路板上的微小統(tǒng)算法能夠提供更高的測量精度和穩(wěn)定性，確保生產(chǎn)的高質量和高效率。其次，AI各工具的能力邊界。AI技術內(nèi)部的不同工具也具有各自的特點和適用場景。分割工具能夠提供像素級別的檢測結果，適用于需要精細劃分目標區(qū)域的任務，如電路板上的焊點檢測、醫(yī)療影像中的病灶分割等。相比之下，定位和檢測工具主要提供區(qū)域級別的信息，適用于需要快速識別目標位置和類別的任務，如汽車零部件的定位、食品包裝上的文字識別等。了解這些工具的具體能力和應用場景，有助于在實際項目中選擇最合適的工具組合，提高檢測的準確性和效率。夠檢測最小7x7像素的缺陷，這種能力在處理稀有缺陷樣本的場景中尤為有用。非監(jiān)督學習的情況下快速構建有效的檢測模型。OCR工具分割工具定位工具綜合判定工具算法方案是指將多個算法工具組合起來，以解決非單一問題的方法，在工業(yè)視覺檢測中，一個完整的算法方案通常需要綜合運用多種工具，以滿足復雜的檢測需求。例如，在一張圖像中既需要輸出多邊形分割區(qū)域，又需要識別并讀取其中的文字信息（OCR），并且在執(zhí)行分割操作之前還需確定目標的確切位置。在這種情況下，一個完整的算法方案將包括定位模塊、分割模塊和OCR模塊等多個部分，它們協(xié)同工作以達成最終的檢測目標。OCR工具分割工具定位工具綜合判定工具圖像輸入圖像輸入在實際的工業(yè)視覺檢測項目中，一款優(yōu)質的算法方案不僅能在技術上可行，且能在經(jīng)濟性和維護成本上滿足客戶的需求。以下是阿丘科技從三個主要維度，對算法方案優(yōu)劣評價的標準。求。此時，通常會選擇有代表性的難點項目進行輕量級的離線POC（ProofofConcept）更高的處理速度。（例如，使用高性能GPU可以顯著提高圖像處理速度，但也增加了初始投資成本）。而且，有些項目的算法開發(fā)周期過長，不僅會影響項目的按時交付，還會增加人力和資源的投入，且交付過程的復雜度也會增加項目的總體成本。因此，需要評估項目的開發(fā)周期和交付流程，確保項目能夠在預定的時間內(nèi)順利交付。同時，過程中還需要技術人員與業(yè)務部門密切合作，共同判斷項目的商業(yè)可行性。另外，AI技術在開發(fā)階段門檻低、投入少，是其相對比傳統(tǒng)算法的一大優(yōu)勢。許多客戶通過阿丘科技的工業(yè)AI視覺算法平臺軟件AIDI，使得原本需要調(diào)用幾十甚至上百個算子的傳統(tǒng)方法，變?yōu)橹恍枰粋€AI模塊就能實現(xiàn)缺陷檢測，而且初版模型的訓練、測試，不需要圖像算法基礎，也無需代碼基礎。檢測方案改為以AI為主或AI與傳統(tǒng)算法結合后，算法維護工作逐漸轉給售后團隊，甚至客戶產(chǎn)線上的一線員工也可以承擔起AI模型訓練的工作。南，可幫助工程師或項目管理者理解并制定可落地的工業(yè)視覺檢測算法方案。明確需求在開始設計算法方案之前，首要任務是進行詳盡的需求梳理。包括對需求項進行細致的拆解，以確認項目中涉及的多個工位、所需處理的圖像數(shù)量、檢測項的數(shù)量以及相應的標準。這一步驟至關重要，它為整個項目設定了基礎和方向。同時，檢測要求包括對過檢和漏檢指標的具體要求，以及CT（CycleTime，周期時間）的要求。過檢和漏檢指標是衡量檢測系統(tǒng)性能的關鍵參數(shù)，它們直接影響到產(chǎn)品質量和生產(chǎn)效率。CT時間要求則關系到檢測系統(tǒng)在生產(chǎn)線上的實時響應能力，對于保證生產(chǎn)流程的連續(xù)性和穩(wěn)定性至關重要。單圖方案設計（1）算法方案設計流程對于單張圖像的算法方案設計，設計算法方案步驟如下。第一步，完成單一檢測項的算法方案設計。這一步涉及到選擇合適的算法工具和參數(shù)，以實現(xiàn)對特定缺陷的檢測。第二步，在單一檢測項算法方案的基礎上，進行局部算法流程的合并。這一步的目的在于優(yōu)化算法流程，提高檢測效率，減少冗余步驟。（2）單圖算法整合在單圖算法整合階段，常見的做法是讓不同的檢測項共用一個ROI提取工具，如下圖所示。這種方法可以提高算法的效率，減少對計算資源的需求，同時保持檢測的準確性。（3）產(chǎn)品算法方案整合在完成了各個工位的單圖方案設計后，下一步是整合這些方案，形成產(chǎn)品的完整算法方案。這一過程需要結合視覺系統(tǒng)檢測流程，繪制出算法流程與時序圖，以評估當前方案是否能夠滿足速度要求，并對硬件配置（主要為顯卡）進行評估。在整合算法方案時，需要注意以下幾點：第一，設計整體算法流程時，如果對速度的要求較高，則應盡可能并行處理。例如，在下方展示的時序圖中，采集圖像、傳統(tǒng)前處理、AI保證檢測流程的節(jié)奏緊湊，滿足生產(chǎn)線的高速要求。產(chǎn)品1產(chǎn)品1產(chǎn)品2工位一工位二工位一工位二采集圖像傳統(tǒng)前處理260ms260ms260msAI檢測250ms250ms......結果匯總......250ms250ms250ms250ms260ms260ms260ms260ms260ms圖像 序號 檢測項 使用模塊 圖像大小 顯存(G) 時間第二，當多個AI并行處理，但由于顯卡運算機制的限制，并行處理帶來的效率提升有限。例如，統(tǒng)計AI圖像 序號 檢測項 使用模塊 圖像大小 顯存(G) 時間圖像11引線未裁(共用)分割1500W0.1(加載一次)102漏焊500W10圖像23焊盤小分割2500W0.1104變形檢測500W0.115匯總0.345結論:基于3060測算，顯存占用為0.5G（預留10%，則顯存最低要求0