工業(yè)產(chǎn)品表面缺陷檢測(cè)方法綜述

摘要：制造業(yè)的全面智能化發(fā)展對(duì)工業(yè)產(chǎn)品的質(zhì)量檢測(cè)提出了新的要求。本文總結(jié)了機(jī)器學(xué)習(xí)方法在表面缺陷檢測(cè)中的研究現(xiàn)狀，表面缺陷檢測(cè)是工業(yè)產(chǎn)品質(zhì)量檢測(cè)的關(guān)鍵部分。首先，根據(jù)表面特征的用途，從紋理特征、顏色特征、形狀特征三個(gè)方面總結(jié)了傳統(tǒng)機(jī)器視覺表面缺陷檢測(cè)方法在工業(yè)產(chǎn)品表面缺陷檢測(cè)中的應(yīng)用。其次，從監(jiān)督法、無(wú)監(jiān)督法、弱監(jiān)督法三個(gè)方面論述了近年來(lái)基于深度學(xué)習(xí)技術(shù)的工業(yè)產(chǎn)品表面缺陷檢測(cè)的研究現(xiàn)狀。然后，系統(tǒng)總結(jié)了工業(yè)表面缺陷檢測(cè)中常見的關(guān)鍵問(wèn)題及其解決方法；關(guān)鍵問(wèn)題包括實(shí)時(shí)問(wèn)題、小樣本問(wèn)題、小目標(biāo)問(wèn)題、不平衡樣本問(wèn)題。最后對(duì)近年來(lái)常用的工業(yè)表面缺陷數(shù)據(jù)集進(jìn)行比較全面的總結(jié)，并比較了MVTecAD數(shù)據(jù)集的最新研究方法，為工業(yè)表面缺陷檢測(cè)技術(shù)的進(jìn)一步研究和發(fā)展提供一定的參考。1.簡(jiǎn)介在工業(yè)生產(chǎn)過(guò)程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和局限性，極易影響制成品的質(zhì)量。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因此，為了保證合格率和可靠的質(zhì)量，必須進(jìn)行產(chǎn)品表面缺陷檢測(cè)?！叭毕荨币话憧梢岳斫鉃榕c正常樣品相比的缺失、缺陷或面積。工業(yè)產(chǎn)品正常樣品與缺陷樣品對(duì)比如圖1所示。表面缺陷檢測(cè)是指檢測(cè)樣品表面的劃痕、缺陷、異物遮擋、顏色污染、孔洞等缺陷，從而獲得被測(cè)樣品表面缺陷的類別、輪廓、位置、大小等一系列相關(guān)信息。人工缺陷檢測(cè)曾經(jīng)是主流方法，但這種方法效率低下；檢測(cè)結(jié)果容易受人為主觀因素的影響，不能滿足實(shí)時(shí)檢測(cè)的要求。它已逐漸被其他方法所取代。目前，已有學(xué)者開展了表面缺陷檢測(cè)的相關(guān)研究，涉及最新的方法、應(yīng)用、關(guān)鍵問(wèn)題等諸多方面，文獻(xiàn)[5]總結(jié)了磁粉探傷、滲透探傷、渦流檢測(cè)、超聲波檢測(cè)、機(jī)器視覺和深度學(xué)習(xí)[6,7]；比較分析上述方法的優(yōu)缺點(diǎn)；梳理了電子元器件、管道、焊接件、機(jī)械零件中的缺陷檢測(cè)技術(shù)，以及在質(zhì)量控制中的典型應(yīng)用。從監(jiān)督學(xué)習(xí)模型法、無(wú)監(jiān)督學(xué)習(xí)模型法[8]和其他方法[9]（半監(jiān)督學(xué)習(xí)模型法和弱監(jiān)督學(xué)習(xí)模型法），文獻(xiàn)[10]分析了基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法，以及然后，討論了表面缺陷檢測(cè)中實(shí)時(shí)性、小樣本以及與傳統(tǒng)的基于圖像處理的缺陷檢測(cè)方法的比較三個(gè)關(guān)鍵問(wèn)題。在回顧了自動(dòng)光學(xué)（視覺）檢測(cè)（AOI）技術(shù)后，文獻(xiàn)[11]系統(tǒng)地描述了該技術(shù)用于表面缺陷檢測(cè)的幾個(gè)步驟和相關(guān)方法。文獻(xiàn)[12]首先列舉了缺陷領(lǐng)域的不同對(duì)象；介紹和比較了用于缺陷檢測(cè)的主流技術(shù)和深度學(xué)習(xí)方法。然后分析了超聲波檢測(cè)和深度學(xué)習(xí)方法在缺陷檢測(cè)中的應(yīng)用。最后，對(duì)現(xiàn)有應(yīng)用進(jìn)行了調(diào)查，并基于缺陷檢測(cè)設(shè)備，提出了三維目標(biāo)檢測(cè)、高精度、高定位、快速檢測(cè)、小目標(biāo)等缺陷檢測(cè)面臨的幾個(gè)挑戰(zhàn)。通過(guò)調(diào)查可以發(fā)現(xiàn)：在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域，目前關(guān)于機(jī)器學(xué)習(xí)方法的文獻(xiàn)綜述很少，一些文獻(xiàn)雖然總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測(cè)中存在的問(wèn)題和挑戰(zhàn)，但其解決方案和方向還不夠系統(tǒng)。此外，在數(shù)據(jù)集方面，目前還沒有對(duì)工業(yè)產(chǎn)品表面缺陷檢測(cè)數(shù)據(jù)集進(jìn)行全面整理。因此，為了解決上述問(wèn)題，本文首先從傳統(tǒng)的機(jī)器視覺方法和深度學(xué)習(xí)方法總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測(cè)的研究現(xiàn)狀，然后，工業(yè)產(chǎn)品表面缺陷檢測(cè)過(guò)程中的關(guān)鍵問(wèn)題，真實(shí)討論了時(shí)間問(wèn)題、小樣本問(wèn)題、小目標(biāo)問(wèn)題、不平衡樣本問(wèn)題，并給出了每個(gè)問(wèn)題的一些解決方案。最后，總結(jié)了全面的工業(yè)表面缺陷檢測(cè)數(shù)據(jù)集，并比較了幾種使用MVTecAD數(shù)據(jù)集的新方法。本綜述參考文獻(xiàn)的發(fā)表時(shí)間主要集中在2016年以后，因?yàn)檫@些文獻(xiàn)可以代表最新技術(shù)的發(fā)展。通過(guò)參考相關(guān)評(píng)論，確定本文的組織順序?yàn)閭鹘y(tǒng)方法、最新方法、關(guān)鍵問(wèn)題和工具（數(shù)據(jù)集），這也是本文的研究范圍。本文的主要內(nèi)容如下：第二部分，基于傳統(tǒng)基于特征的機(jī)器視覺算法的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法總結(jié)；第三節(jié)，基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法總結(jié)；第四節(jié)，關(guān)鍵問(wèn)題及其解決方案分析討論；第五節(jié)，工業(yè)產(chǎn)品表面缺陷檢測(cè)數(shù)據(jù)集的整理和總結(jié)以及MVTecAD數(shù)據(jù)集最新方法的比較。2.用于表面缺陷檢測(cè)的傳統(tǒng)基于特征的機(jī)器視覺算法傳統(tǒng)的表面缺陷檢測(cè)方法在一段時(shí)間內(nèi)發(fā)揮了巨大的作用。本章從特征提取層面對(duì)傳統(tǒng)的基于機(jī)器視覺的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法進(jìn)行分類。根據(jù)特征的不同，主要分為三類：基于紋理特征的方法、基于顏色特征的方法、基于形狀特征的方法。具體的進(jìn)一步章節(jié)安排如圖2所示。

2.1.基于紋理特征的方法紋理特征反映了圖像中的同質(zhì)化現(xiàn)象，可以通過(guò)像素及其附近空間鄰域的灰度分布來(lái)反映圖像表面的組織結(jié)構(gòu)和排列特性?；诩y理特征的方法可以進(jìn)一步分為四類：統(tǒng)計(jì)方法、信號(hào)處理方法、結(jié)構(gòu)方法、模型方法[14,15]。對(duì)于統(tǒng)計(jì)方法，主要思想是將物體表面的灰度值分布視為隨機(jī)分布，從角度分析隨機(jī)變量的分布通過(guò)直方圖特征、灰度共生矩陣、局部二值模式、自相關(guān)函數(shù)、數(shù)學(xué)形態(tài)等特征描述灰度值的空間分布。對(duì)于信號(hào)處理方法，主要思想是將圖像作為二維信號(hào)處理，從信號(hào)濾波器設(shè)計(jì)的角度對(duì)圖像進(jìn)行分析，因此也稱為頻譜法；信號(hào)處理方法包括傅里葉變換法、Gabor濾波器法、小波變換法等具體方法。

對(duì)于結(jié)構(gòu)方法，其理論基礎(chǔ)是紋理原語(yǔ)理論。紋理原語(yǔ)理論指出，紋理是由一些按照一定規(guī)則在空間中重復(fù)出現(xiàn)的最小圖案（稱為紋理原語(yǔ)）組成的。

對(duì)于模型方法，工業(yè)產(chǎn)品表面缺陷檢測(cè)常用的模型有MRF模型和分形模型。

對(duì)于基于紋理特征的方法，本文總結(jié)了近期在工業(yè)產(chǎn)品表面缺陷檢測(cè)中的一些應(yīng)用實(shí)例，按圖2中的分類順序排列，具體如表1所示。

2.2.基于顏色特征的方法

顏色特征計(jì)算量小，對(duì)圖像本身的大小、方向、視角等因素的依賴性小，魯棒性高。它是圖像檢索中廣泛使用的視覺特征之一。2.2.1.顏色直方圖

顏色直方圖描述了整個(gè)圖像中不同顏色的比例，是全局統(tǒng)計(jì)的結(jié)果；它不注意空間位置顏色，不能描述圖像中的物體。特點(diǎn)：對(duì)物理變換（旋轉(zhuǎn)、縮放等）不敏感；如果圖像有多個(gè)區(qū)域，且前景和背景之間的顏色分布有明顯差異，則顏色直方圖會(huì)出現(xiàn)雙峰。

文獻(xiàn)[27]提出了一種基于顏色直方圖的相似度評(píng)價(jià)方法，用于電阻斷層掃描（ERT）圖像評(píng)價(jià)。對(duì)于木材表面的缺陷檢測(cè)，文獻(xiàn)[28]提出了一種基于圖像塊百分比顏色直方圖特征和特征向量紋理特征的分類方法；該方法已被實(shí)驗(yàn)證明是有效的，特別是對(duì)于結(jié)型缺陷。文獻(xiàn)[29]設(shè)計(jì)了刨花板缺陷檢測(cè)的2步工藝流程，利用SVM和顏色直方圖特征完成缺陷檢測(cè)，利用平滑和閾值技術(shù)完成缺陷定位。2.2.2.色彩時(shí)刻

顏色矩的主要思想是圖像中的任何顏色分布都可以用其每個(gè)階的矩來(lái)表示。由于顏色分布的信息主要集中在低階矩，通常只有顏色的一階矩（均值）、二階矩（方差）和三階矩（偏移）就足以表示圖像表面的顏色分布。

特點(diǎn)：不考慮像素空間位置；無(wú)需矢量化顏色特征；無(wú)需進(jìn)行顏色量化、平滑等后續(xù)處理。

文獻(xiàn)[30]提出了一種根據(jù)影響大小對(duì)色矩特征和FSIFT特征進(jìn)行加權(quán)融合的方法，解決了單個(gè)特征不能明顯表達(dá)瓷磚表面缺陷內(nèi)容的問(wèn)題。文獻(xiàn)[31]利用余弦相似度檢驗(yàn)磁光圖像的周期規(guī)律，證明了色矩特征概括規(guī)律的正確性，從而選擇合適的磁光圖像進(jìn)行焊接缺陷檢測(cè)和定位。2.2.3.顏色相干矢量

顏色相干向量是顏色直方圖的改進(jìn)算法；其主要思想是將直方圖中的每個(gè)顏色簇分為聚合和非聚合兩部分；在圖像相似度比較過(guò)程中，分別比較相似度，綜合權(quán)衡后得到相似值，從而得到結(jié)果。

文獻(xiàn)[32]將LBP特征與顏色聚合向量特征加權(quán)融合相結(jié)合，并結(jié)合基于RBF的SVM，提出了一種圖像分類方法可以提高分類精度和計(jì)算速度的方法。文獻(xiàn)[33]將提取的顏色聚合向量和紋理特征以特征的形式存儲(chǔ)用于后續(xù)網(wǎng)絡(luò)訓(xùn)練的向量。2.2.4.其他顏色特征

除了顏色直方圖、顏色矩和顏色聚合向量外，工業(yè)產(chǎn)品表面缺陷檢測(cè)常用的顏色特征包括顏色集和顏色相關(guān)圖。其中，顏色集也是一種全局顏色特征和匹配方法；它是顏色直方圖的近似，表示為二值特征向量；通過(guò)構(gòu)造二叉搜索樹，可以加快檢索速度。顏色相關(guān)圖描述了整個(gè)圖像中某種顏色的像素?cái)?shù)所占的比例（概率），可以反映不同顏色對(duì)之間的空間相關(guān)性；通常，它需要較高的硬件條件。

2.3.基于形狀特征的方法

基于形狀的方法有效地利用圖像中感興趣的目標(biāo)進(jìn)行檢索。其中，基于輪廓的方法是主要的方法類型。基于輪廓的方法通過(guò)描述對(duì)象的外邊界特征來(lái)獲得圖像的形狀參數(shù)；代表性的方法是霍夫變換和傅立葉形狀描述符。

霍夫變換利用圖像的全局特征連接邊緣像素形成區(qū)域的封閉邊界，其理論基礎(chǔ)是點(diǎn)對(duì)線的對(duì)偶性。文獻(xiàn)[34]提出了一種檢測(cè)瓶子表面缺陷的方法；在ROI提取階段，采用快速霍夫變換檢測(cè)光源的邊界線。文獻(xiàn)[35]利用Gabor濾波器和Hough變換實(shí)現(xiàn)了E-TPU中間表面線狀缺陷（如壓痕、凹凸）的檢測(cè)。文獻(xiàn)[36]基于圓霍夫變換、極坐標(biāo)變換、加權(quán)Sobel濾波器和SVM實(shí)現(xiàn)了小型相機(jī)鏡頭的表面缺陷檢測(cè)。

傅里葉形狀描述符使用物體邊界的傅里葉變換作為形狀描述，利用區(qū)域邊界的閉合性和周期性，將二維問(wèn)題轉(zhuǎn)化為一維問(wèn)題。文獻(xiàn)[37]提出了一種基于全局傅里葉圖像重建和模板匹配的非周期圖像小缺陷檢測(cè)和定位方法。文獻(xiàn)[38]提出了一種磁體表面切割缺陷的檢測(cè)方法；該方法采用傅里葉變換和霍夫變換對(duì)磁體表面圖像進(jìn)行重構(gòu)，通過(guò)比較重構(gòu)圖像與原始圖像的灰度差異，得到缺陷信息。

除上述三類特征外，其他一些特征，如空間關(guān)系特征，也可用于工業(yè)產(chǎn)品的表面缺陷檢測(cè)。由于工業(yè)產(chǎn)品的表面大多包含多種信息，通常僅使用單一特征或單一類別特征是不夠的。因此，在實(shí)際應(yīng)用中，往往會(huì)結(jié)合使用多個(gè)特征和多類特征。3.基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法

深度學(xué)習(xí)的快速發(fā)展使其在缺陷檢測(cè)領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。本章基于深度學(xué)習(xí)的常見分類：監(jiān)督方法、無(wú)監(jiān)督方法、弱監(jiān)督方法，簡(jiǎn)要介紹了工業(yè)產(chǎn)品表面缺陷檢測(cè)的研究現(xiàn)狀。具體的缺陷檢測(cè)方法如圖3所示。

3.1.監(jiān)督方法

監(jiān)督方法要求訓(xùn)練集和測(cè)試集缺一不可，訓(xùn)練集中的樣本必須被標(biāo)記[39]，其中訓(xùn)練集用于尋找樣本的內(nèi)在規(guī)律，然后將規(guī)律應(yīng)用到測(cè)試集。監(jiān)督方法可以分為基于度量學(xué)習(xí)的監(jiān)督方法和基于表示學(xué)習(xí)的監(jiān)督方法。在上述有監(jiān)督的表面缺陷檢測(cè)方法中，基于度量學(xué)習(xí)的常見模型包括SiameseNetwork；根據(jù)缺陷檢測(cè)的三個(gè)階段，基于表征學(xué)習(xí)的方法大致可以分為三類：分類網(wǎng)絡(luò)、檢測(cè)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。其中，常用的分類網(wǎng)絡(luò)是ShuffleNet；通常用作檢測(cè)網(wǎng)絡(luò)的是FasterRCNN；常用的分割網(wǎng)絡(luò)有：FCN、MaskRCNN等，本節(jié)以上述網(wǎng)絡(luò)模型為例，簡(jiǎn)要介紹其在表面缺陷檢測(cè)任務(wù)中的研究現(xiàn)狀。在缺陷檢測(cè)的任務(wù)中，分類網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷是什么”問(wèn)題，即確定圖像的類型（圖像是否包含缺陷，缺陷的類型是什么）；檢測(cè)網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷在哪里”的問(wèn)題，即獲取具體的位置信息和通過(guò)確定缺陷的位置來(lái)確定缺陷的類別信息；分割網(wǎng)絡(luò)的焦點(diǎn)是為了解決“有多少缺陷”的問(wèn)題，即分割從背景中修正缺陷區(qū)域，獲取位置、類別、屬性和缺陷的其他信息。3.1.1.SiameseNetwork

Siamese網(wǎng)絡(luò)可以用來(lái)判斷兩個(gè)樣本之間的相似度；其損失函數(shù)的核心思想是使相似類別的輸入距離盡可能小，不同類別的輸入距離盡可能大[40]。

文獻(xiàn)[41]提出了一種兩階段多尺度特征相似度測(cè)量模型。在使用Siamese網(wǎng)絡(luò)作為主干架構(gòu)完成成對(duì)圖像的特征提取后，將空間金字塔池化網(wǎng)絡(luò)納入每個(gè)卷積模塊的特征圖中以融合多尺度特征向量，然后進(jìn)行判別特征嵌入和通過(guò)在訓(xùn)練過(guò)程中使用對(duì)比損失獲得相似度度量。測(cè)試在PCB數(shù)據(jù)集上進(jìn)行了短路、開路、鼠咬、毛刺、漏電、覆銅6類缺陷，所有類型的ROC曲線下面積均在0.92以上。文獻(xiàn)[42]提出了一種用于跨類別缺陷檢測(cè)的兩層神經(jīng)網(wǎng)絡(luò)（SSIM層：生成模擬SSIM組件的功能；SNN層：由連接到SSIM層的連體網(wǎng)絡(luò)組成），無(wú)需重新訓(xùn)練。該方法從包含一些結(jié)構(gòu)相似性的圖像對(duì)中學(xué)習(xí)差異特征，并假設(shè)不同的分類對(duì)象可以共享由這些學(xué)習(xí)圖像對(duì)的差異引起的一些結(jié)構(gòu)相似性。在實(shí)際工廠數(shù)據(jù)集中的實(shí)驗(yàn)表明：該方法具有跨類缺陷檢測(cè)的能力。3.1.2.ShuffleNet

ShuffleNet是一種計(jì)算效率高的輕量級(jí)網(wǎng)絡(luò)，它采用了逐點(diǎn)組卷積和通道shuffle兩種新方法來(lái)保證計(jì)算精度并有效降低計(jì)算成本。

基于ShuffleNetV2框架，文獻(xiàn)[43]提出了一種新穎的塑料容器復(fù)雜背景代碼在線檢測(cè)解決方案，該算法還可以處理復(fù)雜背景下的圖像，并應(yīng)用于實(shí)際的工業(yè)檢測(cè)系統(tǒng)。文獻(xiàn)[44]提出了一種基于深度學(xué)習(xí)的ShuffleDefectNet缺陷檢測(cè)系統(tǒng)，在NEU數(shù)據(jù)集上達(dá)到了99.75%的平均準(zhǔn)確率3.1.3.FasterRCNN

FasterRCNN是在FastRCNN的基礎(chǔ)上引入了區(qū)域提議網(wǎng)絡(luò)（RPN），將生成區(qū)域推薦的步驟放入神經(jīng)網(wǎng)絡(luò)中，在端到端的學(xué)習(xí)模式下實(shí)現(xiàn)了幾乎無(wú)成本的區(qū)域推薦算法，極大地提高了提高了目標(biāo)檢測(cè)的速度，還提到了滑動(dòng)窗口方法。

文獻(xiàn)[45]提出了一種基于FasterR-CNN的級(jí)聯(lián)結(jié)構(gòu)，將電力線絕緣子的缺陷檢測(cè)問(wèn)題轉(zhuǎn)化為兩級(jí)目標(biāo)檢測(cè)問(wèn)題。其中，第一階段用于定位絕緣子區(qū)域；第二階段用于定位絕緣體區(qū)域?；贔asterR-CNN，文獻(xiàn)[46]提出了一種新的PCB表面缺陷檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用具有特征金字塔的ResNet50作為主干，同時(shí)使用GRAPN的殘差單元和ShuffleNetV2的殘差單元。

3.1.4.全卷積網(wǎng)絡(luò)在FCN中，一種端到端的圖像分割方法，網(wǎng)絡(luò)中的所有層都是卷積層；網(wǎng)絡(luò)主要使用三種技術(shù)：卷積、上采樣和跳過(guò)層；可以通過(guò)讓網(wǎng)絡(luò)做像素級(jí)預(yù)測(cè)直接得到標(biāo)簽圖。核心思想之一是反卷積層，增加了數(shù)據(jù)規(guī)模，從而可以輸出準(zhǔn)確的結(jié)果。

文獻(xiàn)[47]提出了一種利用深度神經(jīng)網(wǎng)絡(luò)結(jié)合Autoencoder和FCN來(lái)區(qū)分鍵盤漏光缺陷和灰塵的算法。在由1632張圖像組成的測(cè)試集中對(duì)所提出的方法進(jìn)行測(cè)試，漏光缺陷的誤報(bào)率從6.27%降低到2.37%。文獻(xiàn)[48]設(shè)計(jì)了一套完整的絕緣子串自動(dòng)識(shí)別和診斷系統(tǒng)，該系統(tǒng)結(jié)合了不同的基于深度學(xué)習(xí)的組件，分別包括一個(gè)絕緣子串分割組件和兩個(gè)絕緣子片缺失和損壞診斷組件。文獻(xiàn)[49]提出了一種太陽(yáng)能電池電致發(fā)光（EL）圖像的缺陷分割方法；該方法使用FCN和U-net的特定架構(gòu)，可以一步得到缺陷分割圖；與重復(fù)執(zhí)行CNN滑動(dòng)窗口的方法相比，該方法獲得了相似的結(jié)果。文獻(xiàn)[50]結(jié)合FCN和FasterRCNN，設(shè)計(jì)了基于FCN的隧道缺陷檢測(cè)深度學(xué)習(xí)模型；該模型可以準(zhǔn)確快速地檢測(cè)管道的污漬、泄漏和堵塞等缺陷。3.1.5.MaskRCNN

MaskRCNN是Faster-R-CNN的一種擴(kuò)展形式，它為兩階段框架網(wǎng)絡(luò)集成了目標(biāo)檢測(cè)和實(shí)例分割功能：第一階段掃描圖像并生成建議（建議可能包含目標(biāo)區(qū)域），第二階段分類建議并生成邊界框和掩碼。

文獻(xiàn)[51]提出了MaskRCNN的改進(jìn)模型——IPCNN。該模型首先使用深度殘差神經(jīng)網(wǎng)絡(luò)對(duì)來(lái)自圖像金字塔的圖像進(jìn)行處理以提取特征；提取的特征通過(guò)特征金字塔生成金字塔特征，然后由RPN處理生成缺陷邊界框并對(duì)其進(jìn)行分類，然后使用FCN在缺陷邊界框中生成缺陷掩碼。文獻(xiàn)[52]設(shè)計(jì)了一個(gè)端到端的系統(tǒng)，可以定位太陽(yáng)能電池板污染；該系統(tǒng)基于MaskFCNN（FullyConvolutionalMaskRCNN），它由一個(gè)分類網(wǎng)絡(luò)ImageNet和一個(gè)自底向上對(duì)特征圖像進(jìn)行上采樣的綜合網(wǎng)絡(luò)組成；通過(guò)上采樣消除了信息丟失的影響。

在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域，由于精度高、適應(yīng)性好，監(jiān)督法是目前深度學(xué)習(xí)方法中最主流的方法，其應(yīng)用范圍也越來(lái)越廣。但是，這種方法的缺點(diǎn)在實(shí)際應(yīng)用中逐漸凸顯，即數(shù)據(jù)集的提前標(biāo)注帶來(lái)的工作量巨大，尤其是在一些高精度場(chǎng)景下；同時(shí)，產(chǎn)業(yè)水平的不斷提升導(dǎo)致不良樣品不斷減少，這也對(duì)監(jiān)管方式產(chǎn)生了一定的影響。

3.2.無(wú)監(jiān)督方法

針對(duì)有監(jiān)督方法的缺點(diǎn)，一些研究人員開始研究無(wú)監(jiān)督方法。當(dāng)輸入的訓(xùn)練數(shù)據(jù)只有數(shù)據(jù)信息本身，沒有標(biāo)簽信息時(shí)，機(jī)器學(xué)習(xí)這些無(wú)標(biāo)簽數(shù)據(jù)的模式，得到數(shù)據(jù)的一些內(nèi)在特征和聯(lián)系并自動(dòng)對(duì)數(shù)據(jù)進(jìn)行分類[53]。然后，當(dāng)遇到新數(shù)據(jù)時(shí)，可以根據(jù)之前學(xué)習(xí)到的模型判斷新數(shù)據(jù)屬于哪個(gè)模型（這里的模型是指由原始數(shù)據(jù)組成的模型）。這個(gè)過(guò)程屬于無(wú)監(jiān)督學(xué)習(xí)。

在無(wú)監(jiān)督學(xué)習(xí)方法中，最常用的表面缺陷檢測(cè)方法主要包括基于重建的方法和基于嵌入相似性的方法。對(duì)于前者，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練僅用于正常訓(xùn)練圖像的重建，異常圖像由于不能很好地重建而容易被發(fā)現(xiàn)；異常分?jǐn)?shù)通常用重建誤差表示。最常見的基于重建的方法是自動(dòng)編碼器（AE）和生成對(duì)抗網(wǎng)絡(luò)（GAN）。對(duì)于后者，深度神經(jīng)網(wǎng)絡(luò)用于提取描述整幅圖像的有意義的向量，異常分?jǐn)?shù)通常由測(cè)試圖像的嵌入向量與訓(xùn)練數(shù)據(jù)集中表示正態(tài)性的參考向量之間的距離表示。典型的算法主要有SPADE[54]、PaDIM[55]、PatchCore[56]等。除了這兩種類型之外，DeepBeliefNetwork（DBN）和Self-OrganizingMap（SOM）也可以用于表面缺陷檢測(cè).

本節(jié)將首先以自編碼器（AE）、生成對(duì)抗網(wǎng)絡(luò)（GAN）、深度信念網(wǎng)絡(luò)（DBN）和自組織映射（SOM）四種網(wǎng)絡(luò)模型為例，簡(jiǎn)要介紹它們?cè)诒砻嫒毕輽z測(cè)任務(wù)中的研究現(xiàn)狀.第5節(jié)將介紹基于嵌入相似性方法的三種典型算法。3.2.1.Autoencoder

編碼器和解碼器是自編碼器的兩個(gè)核心部分。其中，encoder對(duì)應(yīng)網(wǎng)絡(luò)模型中的隱藏層，用于學(xué)習(xí)輸入信號(hào)的低維特征；解碼器對(duì)應(yīng)模型中的輸出層，用于盡可能地再現(xiàn)輸入信號(hào)。因此，使編碼器能夠?qū)W習(xí)輸入信號(hào)良好的低維特征并重構(gòu)輸入信號(hào)是自編碼器的最終目標(biāo)。

文獻(xiàn)[57]將傳統(tǒng)圖像處理中的SSIM指標(biāo)作為重建損失引入到基于AE的圖像重建中；對(duì)編織紋理數(shù)據(jù)集和納米纖維材料數(shù)據(jù)集進(jìn)行了測(cè)試，與L2損失相比，兩者都獲得了顯著差異。為了解決AE對(duì)異常樣本重構(gòu)能力強(qiáng)的缺點(diǎn)。文獻(xiàn)[58]將異常檢測(cè)轉(zhuǎn)化為補(bǔ)丁序列修復(fù)[59]問(wèn)題；同時(shí)，為了彌補(bǔ)該類方法難以覆蓋較大異常區(qū)域的缺點(diǎn)，提出transformernetwork僅重構(gòu)覆蓋的patch，并針對(duì)不同情況設(shè)計(jì)了局部和全局嵌入方法。文獻(xiàn)[60]設(shè)計(jì)了一種具有多尺度特征聚類的全卷積AE（MS-FCAE），使用多個(gè)不同尺度的FCAE子網(wǎng)絡(luò)重建紋理圖像背景，然后從輸入圖像中減去紋理背景以獲得殘差圖像，最后合并它們得到缺陷圖像，其中每個(gè)FCAE子網(wǎng)絡(luò)使用全卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中直接獲取原始特征圖像并進(jìn)行特征聚類。文獻(xiàn)[61]提出了一種多尺度卷積去噪自編碼器（MSCDAE），它使用多模態(tài)策略來(lái)綜合多個(gè)金字塔層次的結(jié)果，并在LCD面板、瓷磚和紡織品上進(jìn)行測(cè)試；實(shí)驗(yàn)證明該方法具有較高的準(zhǔn)確率和魯棒性。文獻(xiàn)[62]采用卷積自編碼器（CAE）檢測(cè)手機(jī)logo圖像，提取CAE生成的模板圖像與輸入圖像的差異，然后通過(guò)數(shù)學(xué)形態(tài)學(xué)處理，達(dá)到異常檢測(cè)的目的。文獻(xiàn)[63]提出了一種用于無(wú)監(jiān)督特征學(xué)習(xí)的卷積自動(dòng)編碼器（CAE）。每個(gè)CAE都使用傳統(tǒng)的在線梯度下降訓(xùn)練，沒有額外的正則化項(xiàng)。在MNIST和CIFAR10上獲得了良好的結(jié)果。3.2.2.生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)參與者組成：生成器和鑒別器。生成器用于獲取樣本數(shù)據(jù)的分布，鑒別器用于估計(jì)樣本訓(xùn)練數(shù)據(jù)的概率。該模型的最終目標(biāo)是學(xué)習(xí)真實(shí)數(shù)據(jù)的內(nèi)在規(guī)律，預(yù)測(cè)和估計(jì)真實(shí)數(shù)據(jù)的分布或密度，并根據(jù)學(xué)到的知識(shí)生成新的數(shù)據(jù)，即生成對(duì)抗網(wǎng)絡(luò)制造數(shù)據(jù)。

GAN判別器用于生成缺陷分布似然圖；然后，將編碼器引入標(biāo)準(zhǔn)DCGAN重構(gòu)檢測(cè)到的圖像，從原始圖像中減去，得到突出潛在缺陷區(qū)域的殘差圖像；之后結(jié)合殘差圖和缺陷分布似然圖得到增強(qiáng)融合圖，最終在融合圖上通過(guò)閾值分割得到缺陷的準(zhǔn)確位置。文獻(xiàn)[65]提出了一種基于GAN的帶鋼表面缺陷檢測(cè)的一類分類方法，其中生成器G采用編解碼器，輸入編碼得到的隱藏空間的特征（GAN生成器的倒數(shù)第二層輸出）引入支持向量機(jī)進(jìn)行缺陷分類，該模型在邯鋼提供的圖像上取得了良好的測(cè)試效果。文獻(xiàn)[66]提出了一種基于GAN的檢測(cè)方法。在第一階段，使用生成網(wǎng)絡(luò)和基于統(tǒng)計(jì)的表示學(xué)習(xí)機(jī)制檢測(cè)新區(qū)域。在第二階段，在潛在空間中直接使用Frechet距離來(lái)區(qū)分缺陷和正常樣本。該方法在太陽(yáng)能電池板數(shù)據(jù)集上達(dá)到了93.75%的準(zhǔn)確率。文獻(xiàn)[67]設(shè)計(jì)了一個(gè)基于GAN的表面視覺檢測(cè)框架，它使用多尺度融合策略融合GAN判別器三個(gè)卷積層的響應(yīng)，然后使用OTSU對(duì)融合特征響應(yīng)圖進(jìn)行分割以進(jìn)一步分割缺陷位置。在木材和道路裂縫數(shù)據(jù)集上的實(shí)驗(yàn)證明了該框架的有效性。為了檢測(cè)織物表面的各種缺陷，文獻(xiàn)[68]提出了一種基于GAN框架的模型。該模型首先使用多種紋理融合到特定位置，然后通過(guò)多級(jí)GAN不斷更新現(xiàn)有的織物缺陷數(shù)據(jù)集；因此，網(wǎng)絡(luò)模型不斷微調(diào)，以達(dá)到更好的檢測(cè)效果。3.2.3.深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)由多個(gè)RBM（受限玻爾茲曼機(jī)）組成，整個(gè)網(wǎng)絡(luò)的訓(xùn)練是通過(guò)逐層單獨(dú)訓(xùn)練RBM來(lái)完成的。

文獻(xiàn)[69]提出了一種基于DBN的太陽(yáng)能電池缺陷檢測(cè)算法。該算法以重建圖像和訓(xùn)練圖像作為監(jiān)督數(shù)據(jù)，通過(guò)BP算法的微調(diào)網(wǎng)絡(luò)建立訓(xùn)練樣本和非缺陷圖像之間良好的映射關(guān)系。文獻(xiàn)[70]提出了一種DS-DBN-SVM（差分搜索-深度信念網(wǎng)絡(luò)-支持向量機(jī)）模型來(lái)識(shí)別螺栓缺陷的類型。在該模型中，采用DS算法優(yōu)化DBN網(wǎng)絡(luò)的權(quán)值和閾值；DS-DBN模型用于提取螺栓數(shù)據(jù)的特征，提取的特征作為SVM的輸入來(lái)識(shí)別螺栓缺陷類型。3.2.4.Self‐OrganizingMap

自組織圖模擬人腦不同區(qū)域神經(jīng)網(wǎng)絡(luò)細(xì)胞的不同分工，通過(guò)搜索最優(yōu)參考向量集對(duì)輸入模式集進(jìn)行分類。

文獻(xiàn)[71]提出了一種使用SOM來(lái)區(qū)分正常木材和缺陷木材的檢測(cè)方法。第一階段檢測(cè)疑似缺陷區(qū)域，第二階段單獨(dú)檢查缺陷區(qū)域。在松木數(shù)據(jù)集上的測(cè)試得到了比較理想的結(jié)果。文獻(xiàn)[72]結(jié)合Otsu和SOM實(shí)現(xiàn)TSV缺陷的檢測(cè)和定位。

無(wú)監(jiān)督方法有效地彌補(bǔ)了監(jiān)督方法的不足，但由于其自身的特點(diǎn)仍然存在一些問(wèn)題。由于只訓(xùn)練了正例，無(wú)監(jiān)督方法無(wú)法確定什么是正確的輸出，因此不能保證對(duì)每種類型的缺陷樣本（在訓(xùn)練中沒有出現(xiàn)）都有良好的檢測(cè)效果。因此，無(wú)監(jiān)督方法的準(zhǔn)確率還有很大的提升空間，總的來(lái)說(shuō)，無(wú)監(jiān)督方法對(duì)紋理圖像有更好的檢測(cè)效果。3.3.弱監(jiān)督方法

有的學(xué)者結(jié)合了有監(jiān)督方法和無(wú)監(jiān)督方法的特點(diǎn)；因此，產(chǎn)生了弱監(jiān)督方法。與監(jiān)督和非監(jiān)督方法相比，弱監(jiān)督方法可以在避免更高的標(biāo)記成本的同時(shí)獲得更好的性能。目前，工業(yè)表面缺陷檢測(cè)中常用的弱監(jiān)督方法有不完全監(jiān)督法和不準(zhǔn)確監(jiān)督法。3.3.1.不完全監(jiān)督方式

不完全監(jiān)督意味著大部分訓(xùn)練樣本沒有標(biāo)記，只有少數(shù)樣本被標(biāo)記，這部分標(biāo)記樣本不足以訓(xùn)練一個(gè)好的模型。在不完全監(jiān)督方法中，半監(jiān)督方法常用于工業(yè)產(chǎn)品的表面缺陷檢測(cè)。

半監(jiān)督方法可以在沒有人工干預(yù)的情況下自動(dòng)開發(fā)未標(biāo)記的樣本數(shù)據(jù)，以提高學(xué)習(xí)效果。文獻(xiàn)[73]設(shè)計(jì)了一種基于殘差網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將兩層殘差構(gòu)建模塊堆疊在一起形成一個(gè)43層的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)為了達(dá)到網(wǎng)絡(luò)深度之間的平衡和網(wǎng)絡(luò)寬度，提高精度，適當(dāng)增加網(wǎng)絡(luò)寬度。該網(wǎng)絡(luò)結(jié)構(gòu)在DAGM、NEU鋼數(shù)據(jù)集和覆銅板數(shù)據(jù)集上表現(xiàn)出良好的性能。文獻(xiàn)[74]提出了一種基于卷積自動(dòng)編碼器（CAE）和生成對(duì)抗網(wǎng)絡(luò)（SGAN）的半監(jiān)督模型，堆疊的CAE用未標(biāo)記的數(shù)據(jù)訓(xùn)練，其編碼器網(wǎng)絡(luò)被保留并作為GAN鑒別器輸入到SoftMax層，使用GAN生成鋼鐵表面缺陷的假圖像來(lái)訓(xùn)練鑒別器。文獻(xiàn)[75]設(shè)計(jì)了一個(gè)由樣本生成和半監(jiān)督學(xué)習(xí)組成的鋼鐵表面缺陷檢測(cè)系統(tǒng)。在半監(jiān)督學(xué)習(xí)部分，使用了CDCGAN和ResNet18兩個(gè)分類器，并在NEU-CLS數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。其結(jié)果，證明該方法優(yōu)于監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)。文獻(xiàn)[76]提出了一種PCB焊點(diǎn)缺陷檢測(cè)框架。在該框架的分類任務(wù)中，采用了基于“樣本-查詢-建議”算法的主動(dòng)學(xué)習(xí)的概念和基于“自訓(xùn)練”的半監(jiān)督學(xué)習(xí)的概念，該框架已被證明可以改善分類性能，同時(shí)大大減少注釋的數(shù)量。3.3.2.InexactSupervisionMethod

不精確監(jiān)督側(cè)重于給出了監(jiān)控信息，但信息不精確，即只包含粗粒度標(biāo)簽的情況。對(duì)于更多包含像素級(jí)標(biāo)簽的任務(wù)，圖像級(jí)標(biāo)簽是粗粒度標(biāo)簽。

文獻(xiàn)[77]在原有ResNet-50網(wǎng)絡(luò)的基礎(chǔ)上，刪除原有的全連接層和池化層，在網(wǎng)絡(luò)末端增加兩個(gè)1×1的卷積，得到缺陷對(duì)應(yīng)的特征圖，實(shí)現(xiàn)了僅通過(guò)圖像標(biāo)簽完成對(duì)太陽(yáng)能電池板裂紋的初步檢測(cè)。文獻(xiàn)[78]開發(fā)了一個(gè)由定位網(wǎng)絡(luò)（LNet）和決策網(wǎng)絡(luò)（DNet）組成的WSL框架用于鋼鐵表面缺陷檢測(cè)，其中LNet使用圖像級(jí)標(biāo)簽訓(xùn)練并輸出潛在缺陷位置的熱圖作為DNet輸入，DNet使用RSAM對(duì)LNet識(shí)別的區(qū)域進(jìn)行加權(quán)，所提出框架的性能在實(shí)際工業(yè)數(shù)據(jù)集上得到了證明。

目前，弱監(jiān)督方法在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域還比較少見，但由于同時(shí)具有監(jiān)督學(xué)習(xí)方法和無(wú)監(jiān)督學(xué)習(xí)方法的優(yōu)點(diǎn)，這類方法的應(yīng)用前景也很廣闊.3.4總結(jié)

綜上所述，在深度學(xué)習(xí)的三種方法中，監(jiān)督方法的應(yīng)用最為廣泛，因?yàn)樗哂休^好的準(zhǔn)確性，但也存在明顯的缺點(diǎn)；無(wú)監(jiān)督方法符合產(chǎn)業(yè)發(fā)展的進(jìn)程，但有其自身的特點(diǎn)；弱監(jiān)督方法目前應(yīng)用并不廣泛，但具有廣闊的發(fā)展前景。4.關(guān)鍵問(wèn)題4.1.實(shí)時(shí)問(wèn)題

在實(shí)際工業(yè)場(chǎng)景中的表面缺陷檢測(cè)任務(wù)中，實(shí)時(shí)性問(wèn)題不容忽視。在一些特殊場(chǎng)景中，如在線分析、在線監(jiān)控等，實(shí)時(shí)性問(wèn)題處于極其重要的地位。處理實(shí)時(shí)性問(wèn)題的目標(biāo)是在準(zhǔn)確率大致相同的前提下，減少檢測(cè)時(shí)間，提高檢測(cè)效率。目前，已有學(xué)者對(duì)實(shí)時(shí)性問(wèn)題進(jìn)行了一定的研究。例如，文獻(xiàn)[79]設(shè)計(jì)了一種新型的11層CNN模型，用于機(jī)器人焊接制造中的焊接缺陷檢測(cè)。該方法為金屬增材制造（AM）的在線檢測(cè)提供了指導(dǎo)，即該方法可以滿足一定的實(shí)時(shí)性要求。文獻(xiàn)[80]提出了一種結(jié)合SSIM和MobileNet的兩階段算法來(lái)檢測(cè)印刷電路板上的表面缺陷，在保持高精度的同時(shí)，其速度至少比FasterRCNN快12倍。

目前，模型加速是解決實(shí)時(shí)性問(wèn)題的重要思路之一。模型加速主要可以從算法和硬件兩個(gè)方面進(jìn)行，具體如下：

(1)算法：對(duì)于網(wǎng)絡(luò)算法層面，可以采用輕量級(jí)網(wǎng)絡(luò)對(duì)模型進(jìn)行加速。常用的輕量級(jí)模型包括MobileNet、ShuffleNet、SqueezeNet和EfficientNet。此外，蒸餾和修剪也可以用于在算法級(jí)別加速網(wǎng)絡(luò)。在計(jì)算算法上，可以優(yōu)化卷積運(yùn)算，達(dá)到模型加速的目的。典型的算法包括FFT、Winograd等。

(2)硬件：使用GPU、FPGA、DSP等是目前通過(guò)硬件加速模型的主要方式。4.2.小樣本問(wèn)題

現(xiàn)實(shí)中，基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法往往不能直接用于工業(yè)產(chǎn)品的表面缺陷檢測(cè)任務(wù)。主要原因之一是現(xiàn)代工業(yè)流程的不斷優(yōu)化導(dǎo)致缺陷樣本越來(lái)越少，即缺陷圖像的數(shù)量非常有限。這種從少量樣本中學(xué)習(xí)的問(wèn)題通常稱為小樣本問(wèn)題[81]，在訓(xùn)練過(guò)程中很容易導(dǎo)致過(guò)擬合問(wèn)題。目前解決小樣本問(wèn)題的主流方案主要有以下四種：4.2.1.數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)的常用方法包括平移、旋轉(zhuǎn)、鏡像對(duì)比度調(diào)整和數(shù)據(jù)合成。通過(guò)數(shù)據(jù)放大，可以獲得大量的樣本圖像。

文獻(xiàn)[82]在無(wú)缺陷圖像的表面添加合成缺陷以完成裝飾塑料零件數(shù)據(jù)集的擴(kuò)展。文獻(xiàn)[83]以互補(bǔ)的方式將手工制作的特征與無(wú)監(jiān)督學(xué)習(xí)特征融合在一起，生成更具辨別力的缺陷表示。4.2.2.無(wú)監(jiān)督/半監(jiān)督模型

無(wú)監(jiān)督模型的優(yōu)點(diǎn)之一是它只需要用正樣本而不是負(fù)樣本進(jìn)行訓(xùn)練，這為解決小樣本問(wèn)題提供了方向。另外，只需要標(biāo)記少量樣本的半監(jiān)督模型也是解決小樣本問(wèn)題的替代模型之一。具體內(nèi)容參見3.2、3.3.1。4.2.3.遷移學(xué)習(xí)

通過(guò)遷移學(xué)習(xí)，已經(jīng)從一項(xiàng)任務(wù)中學(xué)到的知識(shí)可以應(yīng)用于其他不同但相關(guān)的任務(wù)，尤其是當(dāng)目標(biāo)任務(wù)的數(shù)據(jù)不足時(shí)。實(shí)際上，大多數(shù)數(shù)據(jù)或任務(wù)都是相關(guān)的。因此，遷移學(xué)習(xí)也是解決小樣本問(wèn)題的主要思路之一。文獻(xiàn)[84,85]結(jié)合遷移學(xué)習(xí)和AlexNet來(lái)檢測(cè)太陽(yáng)能電池板和織物的表面缺陷。文獻(xiàn)[86-90]將遷移學(xué)習(xí)與VGG網(wǎng)絡(luò)結(jié)合用于乳液泵體、印刷電路板、傳輸線組件、鋼板和木材的表面缺陷檢測(cè)。文獻(xiàn)[91]將遷移學(xué)習(xí)和DenseNet結(jié)合到織物表面缺陷檢測(cè)中。4.2.4.優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化也是解決小樣本問(wèn)題的一個(gè)方向。以GAN為例，AnoGAN模型在2017年的文獻(xiàn)[92]中被提出，首次將GAN用于圖像異常檢測(cè)。該模型不斷迭代優(yōu)化固定生成器G的參數(shù)，在潛在空間中尋找與測(cè)試圖像最接近的生成圖像，然后使用DCGAN進(jìn)行圖像異常檢測(cè)。2019年，文獻(xiàn)[93]對(duì)AnoGAN進(jìn)行了改進(jìn)，提出了f-AnoGAN模型。在該模型中，建議使用編碼器將圖像快速映射到潛在空間中的一個(gè)點(diǎn)，然后使用WGAN進(jìn)行異常檢測(cè)。Encoder的引入解決了AnoGAN迭代優(yōu)化需要大量時(shí)間的問(wèn)題。此外，GANomaly模型（整體結(jié)構(gòu)為encoder-decoder-encoder）在2018年的文獻(xiàn)[94]中提出；通過(guò)比較編碼得到的潛變量和重構(gòu)編碼得到的潛變量的差異，檢測(cè)異常樣本。值得注意的是，上述模型都不需要用負(fù)樣本進(jìn)行訓(xùn)練。4.3.小目標(biāo)檢測(cè)問(wèn)題

小目標(biāo)檢測(cè)問(wèn)題也是工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域的難點(diǎn)之一。小目標(biāo)是指圖像中尺寸較小的目標(biāo)?！靶　庇袃煞N定義。一種是絕對(duì)尺寸小，通常認(rèn)為是尺寸小于32*32像素的小目標(biāo)。另一種是相對(duì)尺寸小，即目標(biāo)尺寸小于原始圖像尺寸的一定比例，如0.1，即該目標(biāo)被認(rèn)為是小目標(biāo)。文獻(xiàn)[95]通過(guò)彩虹級(jí)聯(lián)（poolinganddeconvolution）整合不同層的特征，增加不同層的特征圖數(shù)量的同時(shí)增加不同層之間的特征圖關(guān)系，一定程度上解決了小目標(biāo)問(wèn)題。文獻(xiàn)[96]提出了一個(gè)由多個(gè)不同IOU閾值的檢測(cè)器組成的CascadeR-CNN多階段目標(biāo)檢測(cè)框架，在整個(gè)框架中，將前一階段調(diào)整后的proposal作為下一階段訓(xùn)練的輸入。該方法用于小目標(biāo)，通過(guò)該方法顯著提高了小目標(biāo)的檢測(cè)結(jié)果。目前有一些技巧可以解決小目標(biāo)檢測(cè)問(wèn)題，總結(jié)如下：

(1)特征融合：將深層語(yǔ)義信息融合為淺層特征圖，利用深層特征豐富語(yǔ)義信息，同時(shí)利用淺層特征適合檢測(cè)小目標(biāo)的特點(diǎn)；

(2)數(shù)據(jù)增強(qiáng)：增加訓(xùn)練集中小目標(biāo)的樣本類型和數(shù)量；

(3)ImagePyramid+Multi-scaleSlidingWindow：為圖像設(shè)置不同的輸入尺寸，訓(xùn)練時(shí)隨機(jī)選擇一個(gè)尺度，將輸入圖像縮放到這個(gè)尺度，發(fā)送到網(wǎng)絡(luò)；

(4)降低網(wǎng)絡(luò)下采樣率：通過(guò)降低下采樣率來(lái)減少特征圖上物體的損失，常用的方法是直接去掉池化層，同時(shí)使用空洞卷積；

(5)合理的anchor設(shè)計(jì)：主要方法包括：邊界聚類，即在訓(xùn)練集的標(biāo)簽上聚類一組合適的anchor；統(tǒng)計(jì)實(shí)驗(yàn)，即把a(bǔ)nchor和label的中心點(diǎn)放在一起，只利用寬高信息進(jìn)行匹配實(shí)驗(yàn)，找出一組寬高比分布最一致的anchor；設(shè)置更小更密集的anchor和匹配策略，比如不要為小物體設(shè)置太嚴(yán)格的IoU閾值；

(6)合適的訓(xùn)練方法：使用高分辨率圖像進(jìn)行預(yù)訓(xùn)練，同時(shí)放大輸入圖像，然后在小分辨率圖像上進(jìn)行微調(diào)；

(7)使用GAN將小物體放大然后檢測(cè)；

(8)使用Context信息：在目標(biāo)與其Context之間建立連接。4.4.數(shù)據(jù)不均衡樣本識(shí)別問(wèn)題

不平衡樣本的識(shí)別[97,98]是基于深度學(xué)習(xí)方法用于工業(yè)產(chǎn)品表面缺陷檢測(cè)的另一個(gè)難點(diǎn)。在深度學(xué)習(xí)中，在訓(xùn)練模型時(shí)，通常要求樣本集中各類別的樣本數(shù)量平衡。然而，這種理想情況在現(xiàn)實(shí)中很少發(fā)生。在更多情況下，數(shù)據(jù)集中“正常”樣本的數(shù)據(jù)量通常占多數(shù)，而“缺陷”或“異?！睒颖镜臄?shù)據(jù)量?jī)H占總樣本的一小部分。這種現(xiàn)象稱為“樣本不平衡”現(xiàn)象。樣本識(shí)別不平衡的問(wèn)題主要存在于監(jiān)督學(xué)習(xí)的任務(wù)中。這個(gè)問(wèn)題的出現(xiàn)會(huì)導(dǎo)致算法更加關(guān)注數(shù)據(jù)量較大的類別而低估數(shù)據(jù)量較小的類別，從而影響模型在測(cè)試數(shù)據(jù)中的泛化和預(yù)測(cè)能力。

目前，不平衡樣本的識(shí)別可以從數(shù)據(jù)層面、模型層面、特征層面、評(píng)價(jià)指標(biāo)層面四個(gè)方面來(lái)處理。4.4.1.數(shù)據(jù)層面

數(shù)據(jù)層面的處理方法思想是改變訓(xùn)練集的樣本分布，使訓(xùn)練集中的樣本分布趨于平衡，即各類樣本的數(shù)量趨于一致?？梢詮臄?shù)據(jù)源、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)重采樣[99,100]、類均衡采樣、合成樣本[101]五個(gè)方面進(jìn)行，如圖4所示。4.4.2.模型層面

(1)Cost-sensitive：cost-sensitive思想是在目標(biāo)函數(shù)中增加誤分類小類樣本的損失值，通過(guò)優(yōu)化目標(biāo)函數(shù)來(lái)調(diào)整模型對(duì)小類樣本的注意力。有兩種主要的成本敏感方法：重建