基于改進FCOS的鋼帶表面缺陷檢測

導(dǎo)讀相比two-stage方法，one-stage的目標(biāo)檢測算法在工業(yè)界更受追捧。one-stage的模型目前可以分為兩大類：anchor-based和anchor-free方法。FCOS屬于anchor-free，但是卻不是基于關(guān)鍵點檢測的方法，嚴格來看其更接近基于anchor-based的方法，但是不需要anchor并加上特殊的設(shè)計卻能夠?qū)崿F(xiàn)更好的效果。本文提出基于改進FCOS的表面缺陷檢測算法，提升鋼鐵表面的缺陷檢測效率。針對現(xiàn)有鋼帶表面缺陷檢測所存在的檢測效率低、適用范圍有限等缺陷，提出一種基于改進FCOS的鋼帶表面缺陷檢測算法。該算法使用含形變卷積的卷積神經(jīng)網(wǎng)絡(luò)提取缺陷特征，使用關(guān)鍵點特征融合增強檢測模型輸入，并使用中心采樣策略選取訓(xùn)練樣本優(yōu)化模型訓(xùn)練，最后使用東北大學(xué)鋼帶表面缺陷公共數(shù)據(jù)集進行訓(xùn)練和評估。本文算法在東北大學(xué)鋼帶表面缺陷公共數(shù)據(jù)集上平均檢測精度為74%，檢測速度為31.4FPS。01引言作為鋼鐵產(chǎn)業(yè)的重要產(chǎn)品，鋼帶被廣泛應(yīng)用于各個領(lǐng)域。但由于設(shè)備和工藝條件的限制，鋼帶在生產(chǎn)過程中常出現(xiàn)劃痕、裂縫等表面缺陷，不僅影響產(chǎn)品的外觀，而且會影響產(chǎn)品的性能。因此，在鋼帶生產(chǎn)制造中對其進行表面缺陷檢測具有重要意義。目前，常用的鋼帶表面缺陷檢測方法包括人工檢測、漏磁檢測和基于計算機視覺的檢測。人工檢測方法受檢驗人員主觀因素影響較大，實時性差，誤檢率高。漏磁檢測方法雖然成熟，但對不同缺陷的敏感度不同，漏檢率高，且由于使用條件的陷制，難以大規(guī)模推廣。隨著深度學(xué)習(xí)的飛速發(fā)展，基于計算機視覺的檢測技術(shù)以其智能化、實時性、高精度、可靠性等優(yōu)點為鋼帶表面缺陷檢測技術(shù)提供新的解決方案。王等人提出一種融合多級特征的FasterR-CNN算法，解決了鋼帶表面多樣化和隨機缺陷的檢測問題。戴等人設(shè)計了一種基于改進FasterR-CNN的缺陷檢測算法，以解決工件表面缺陷檢測的局限性和精度不高的問題，檢測效果相比傳統(tǒng)方法得到大幅提高。李等人提出一種改進YOLOv3算法，使用加權(quán)K-means聚類算法設(shè)計檢測框參數(shù)提高先驗框與特征圖層匹配度，并增加殘差單元和大尺度特征圖輸出，從而增強算法對缺陷檢測能力。劉等人提出一種改進YOLOv4算法，使用輕量級深層神經(jīng)網(wǎng)絡(luò)MobileNetV3作為特征提取網(wǎng)絡(luò)以提高模型檢測速度和特征提取能力，并設(shè)計多尺度損失函數(shù)解決因正負樣本不平衡而導(dǎo)致檢測效果差的問題，在保證檢測速度的基礎(chǔ)上有效提升了精度。然而，上述算法都是基于Anchor-based模型的實現(xiàn)，即需要基于先驗知識給檢測網(wǎng)絡(luò)預(yù)設(shè)一組檢測框，然后模型輸出檢測框微調(diào)參數(shù)，最終通過微調(diào)參數(shù)和檢測框預(yù)設(shè)參數(shù)計算出最終模型輸出的檢測框，因此預(yù)設(shè)檢測框的尺度和形狀直接影響模型訓(xùn)練效果。并且由于預(yù)設(shè)檢測框的尺度和形狀與輸入數(shù)據(jù)相關(guān)，所以Anchor-based模型設(shè)計依賴設(shè)計者對先驗知識的了解，泛化能力有限。針對以上問題，本文提出基于改進FCOS的鋼帶表面缺陷檢測算法，通過直接回歸檢測框參數(shù)而非對預(yù)設(shè)檢測框微調(diào)實現(xiàn)缺陷檢測，避免引入先驗知識導(dǎo)致模型泛化能力不夠問題。模型使用含形變卷積的卷積神經(jīng)網(wǎng)絡(luò)提取網(wǎng)絡(luò)特征，增強特征提取效果，使用關(guān)鍵點特征融合方式豐富檢測分支輸入，增強模型檢測效果，并使用中心采樣策略選取合適的訓(xùn)練樣本，優(yōu)化模型訓(xùn)練效果?；诟倪MFCOS的表面缺陷檢測算法在東北大學(xué)鋼帶表面公開數(shù)據(jù)集上平均檢測精度(meanAveragePrecision,mAP)為74.0%，檢測速度為31.4FPS，性能滿足當(dāng)前工業(yè)生產(chǎn)需求。02FCOS模型結(jié)構(gòu)FCOS模型結(jié)構(gòu)如圖1所示，首先使用深度卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像特征圖，然后使用分類網(wǎng)絡(luò)、回歸網(wǎng)絡(luò)、中心度網(wǎng)絡(luò)對特征圖上的所有特征點逐個進行檢測，分類網(wǎng)絡(luò)輸出原圖上以此特征點為中心的區(qū)域所含缺陷類別，回歸網(wǎng)絡(luò)輸出原圖上以此特征點為中心的缺陷區(qū)域，中心度網(wǎng)絡(luò)輸出特征點在原圖上對應(yīng)的點為中心點的概率，抑制偏心度較大的低質(zhì)量檢測框的輸出。令

Fi∈?H×W×C

是第i層的特征圖，s為該層總的下采樣倍率，輸入圖像中的真實檢測框定義為

{Bi}，其中此處：分別為真實檢測框的左上角點和右下角點的坐標(biāo)，c(i)為真實檢測框中缺陷的類別，C為缺陷類別個數(shù)。對于特征圖Fi上的每個位置(x,y)，其在輸入圖像上的映射位置約為

與Anchor-based通過回歸基于此處預(yù)設(shè)的檢測框的微調(diào)參數(shù)從而得到真實檢測框的方式不同，F(xiàn)COS直接回歸該位置的檢測框，即FCOS直接將位置視為訓(xùn)練樣本，而不是將生成的檢測框視為訓(xùn)練樣本。具體來說，如果坐標(biāo)為

(x,y)的這個特征點落在真實檢測框中心點一定區(qū)域內(nèi)且特征點的類別標(biāo)簽c*為真實檢測框的類別，則將此特征點為正樣本，否則將其視為背景類負樣本，即c*=0c*=0

。除此之外，檢測網(wǎng)絡(luò)還會輸出一個4維向量t*=(l*,t*,r*,b*)

作為特征點的回歸結(jié)果，此處l*,t*,r*,b*

為特征點到邊界框四個邊的距離?；谔卣鼽c的缺陷檢測可以視作對以特征點為幾何中心的矩形感受野區(qū)域的缺陷檢測，因此當(dāng)特征點遠離目標(biāo)中心時，存在特征點對應(yīng)的感受野無法完全覆蓋目標(biāo)的情況，基于這類特征點進行目標(biāo)檢測時則會生成很多低質(zhì)量的檢測框，因此引入中心度概念，通過中心度分支抑制此類檢測框。中心度描述了從特征點到特征點對應(yīng)目標(biāo)中心的歸一化距離，給定l*,t*,r*,b*

時，中心度監(jiān)督信號定義如下：（1）中心度數(shù)值范圍為0到1，訓(xùn)練時使用交叉熵作為損失函數(shù)進行訓(xùn)練，測試時，特征點對應(yīng)缺陷類別的最終分數(shù)由分類分數(shù)乘中心度獲得，因此，中心度可以降低遠離目標(biāo)中心的邊界框分數(shù)，使得這些低質(zhì)量邊界框在NMS后處理中被過濾掉，從而顯著提高檢測性能。03FCOS的改進3.1形變卷積CNN網(wǎng)絡(luò)由卷積層和池化層組成，由于卷積層和池化層都是對固定尺度的區(qū)域進行采樣，即在同一層的CNN模塊的每個激活單元擁有固定尺度和形狀的感受野，然而不同位置的物體的尺度和形狀都是不一樣的，對于尺度、形狀和感受野不匹配的物體，感受野固定的CNN無法充分提取物體的特征(如圖2所示)。因此，本文引入形變卷積(DeformableConvolutionNetwork,DCN)[8]模塊增強深度卷積網(wǎng)絡(luò)特征提取能力。圖2.

3×3卷積感受野(紅色為常規(guī)卷積感受野，黃色為形變卷積感受野)常規(guī)卷積由兩步組成：1)在輸入特征圖x上對矩形網(wǎng)格R區(qū)域進行采樣；2)對采樣值使用權(quán)重w進行加權(quán)求和。其中網(wǎng)格RR定義了感受野的大小和膨脹比例，如R={(?1,?1),(?1,0),?,(0,1),(1,1)}表示一個膨脹比例為1、大小為3×3的卷積核。對于輸出特征圖y上的每個特征點p0，都有（2）其中pn為RR上的每個點的坐標(biāo)。在形變卷積中，矩形網(wǎng)格RR使用偏移量

{Δpn|n?1,?,N}表示，其中N=|R|，則卷積計算變?yōu)椋?）此時采樣變?yōu)榉且?guī)則且基于偏移量pn+Δp0，且由于偏移量

Δp0通常都為小數(shù)，因此公式(3)中的x(p0+pn+Δpn)通過雙線性插值實現(xiàn)，公式如下：（4）其中q為特征圖x上的整數(shù)空間位置，G(?,?)為雙線性插值核函數(shù)，由于G(?,?)為2維計算，可以拆分成兩個單維核函數(shù)相乘：（5）如圖3所示，采樣點的偏移量通過在相同的輸入特征圖上使用旁路卷積獲得，旁路卷積核的尺度和膨脹比率與當(dāng)前卷積層相同，且輸出的偏移量向量空間分辨率與輸入特征圖相同，通道數(shù)為輸入特征圖的兩倍，與偏移量的兩個維度相對應(yīng)。在訓(xùn)練時，同時學(xué)習(xí)用于生成輸出特征的卷積核與偏移量，梯度通過公式(4)和公式(5)反向傳播。圖3.形變卷積網(wǎng)絡(luò)3.2關(guān)鍵點特征融合在FCOS中，檢測網(wǎng)絡(luò)是基于特征點進行檢測，也可看作基于以特征點為幾何中心的矩形感受野區(qū)域的檢測，然而由于缺陷尺度、形狀各異，特征點又是根據(jù)空間映射直接計算出來的，特征點感受野區(qū)域和缺陷區(qū)域可能存在一定程度的不匹配，使用此類特征點進行缺陷檢測則會影響模型的檢測性能。針對以上問題，本文提出基于關(guān)鍵點特征融合的方式進行檢測，即將原本基于單個特征點的檢測拓展為基于一組關(guān)鍵點進行檢測，使用一組關(guān)鍵點而不是單個特征點描述缺陷特征，豐富輸入網(wǎng)絡(luò)的信息，提升檢測網(wǎng)絡(luò)的表現(xiàn)。如圖4所示，左圖為使用單個特征點檢測，輸入檢測網(wǎng)絡(luò)的信息為此特征點對應(yīng)的感受野區(qū)域的信息，右圖為使用關(guān)鍵點集合檢測，輸入檢測網(wǎng)絡(luò)的信息為這組關(guān)鍵點對應(yīng)的感受野區(qū)域的綜合信息，相較于單個特征點，關(guān)鍵點集合能夠提供更豐富的缺陷信息，從而更易于后續(xù)的檢測。圖4.

單個特征點表征與關(guān)鍵點集合表征示意圖(紅色矩形為特征點，黃色矩形為特征點對應(yīng)的感受野)關(guān)鍵點集合的生成與融合使用DCN實現(xiàn)，如圖5所示，首先使用1×1卷積生成2k個需要融合的關(guān)鍵點坐標(biāo)，然后根據(jù)坐標(biāo)使用雙線性插值獲得關(guān)鍵點集合對應(yīng)的特征，然后使用1×1卷積對這些特征進行融合，并與原特征點特征合并，作為檢測網(wǎng)絡(luò)輸入。圖5.

關(guān)鍵點集合生成與融合3.3中心采樣策略在原始的FCOS實現(xiàn)中，只要特征點在原圖上的映射點處在標(biāo)注框內(nèi)部，此特征點會被視作正樣本。然而標(biāo)注框內(nèi)部靠近邊緣的部分往往仍然是背景部分，因此這部分正樣本實際對應(yīng)的點應(yīng)該屬于負樣本的背景部分，使用這些樣本進行訓(xùn)練會對模型的學(xué)習(xí)造成困擾。針對以上問題，本文使用中心采樣策略選取正樣本(如圖6所示)，即以標(biāo)注框中心點為圓心，取一個比標(biāo)注框更小的圓形區(qū)域，只有在原圖上的映射點處于此圓形區(qū)域的特征點才會被視作正樣本，這樣就將大多數(shù)處在標(biāo)注框內(nèi)邊緣、實際落在背景部分的特征點正確識別為負樣本，有利于模型的正確學(xué)習(xí)。在本文提出的改進FCOS模型中，使用標(biāo)注框短邊的0.75作為中心采樣區(qū)域的直徑。圖6.

中心采樣(落在綠色圓環(huán)內(nèi)的特征點被視作正樣本，反之為負樣本)04實驗結(jié)果與分析為了驗證本模型的可行性和優(yōu)勢，我們使用東北大學(xué)的NEU-DET數(shù)據(jù)集進行實驗。4.1

NEU-DET數(shù)據(jù)集NEU-DET數(shù)據(jù)集是東北大學(xué)宋克臣團隊[9]制作的鋼帶表面缺陷數(shù)據(jù)集，包含6種缺陷類別，分別為裂紋(Crazing)，夾雜(Inclusion)，斑塊(Patch)，點蝕表面(PittedSurface)，軋制氧化皮(Rolled-inScale)，劃痕(Scratch)，每種缺陷含有300張分辨率為200×200的灰度圖片，總樣本數(shù)為1800。數(shù)據(jù)集同時提供每張圖片所對應(yīng)的缺陷標(biāo)注信息的XML文件，標(biāo)注信息包括缺陷所屬類別與邊界框的信息(矩形框左上角和右下角的坐標(biāo)信息)，共計4189個邊界框。圖7為NEU-DET數(shù)據(jù)集中6種表面缺陷圖像的示例樣本。圖7.

NEU-DET數(shù)據(jù)集缺陷樣本示例4.2評價指標(biāo)本文采用的評價指標(biāo)為COCO數(shù)據(jù)集評價指標(biāo)，包括mAP、AP50、AP75、APS、APM、APL。COCO評價指標(biāo)根據(jù)模型輸出的目標(biāo)類別和模型輸出檢測框與實標(biāo)注框的交并比(IntersectionoverUnion,IoU)判斷是否正確檢測到目標(biāo)。其中AP50、AP75指的是IoU閾值分別為0.5和0.75時的檢測精度，IoU閾值越高意味著對檢測精度要求越高，mAP則是IoU閾值從0.5到0.95的平均精度。APS、APM、APL分別為對小目標(biāo)、中目標(biāo)、大目標(biāo)檢測精度，在COCO數(shù)據(jù)集中，面積小于322的為小目標(biāo)，面積大于322小于962為中目標(biāo)，面積大于962的為大目標(biāo)。4.3

實驗結(jié)果實驗采用的硬件配置為GTX1080Ti顯卡，軟件環(huán)境為CUDA10.1，Cudnn7.6.4。每個批次使用8張圖片進行訓(xùn)練，使用含動量的隨機梯度下降優(yōu)化參數(shù)，學(xué)習(xí)率為0.2，動量為0.9，權(quán)重衰減速率為0.0001，每個模型共訓(xùn)練36輪，實驗結(jié)果如圖8和表1和所示。圖8.

改進FCOS模型檢測結(jié)果(上圖為真實標(biāo)注框，下圖為改進FCOS輸出結(jié)果)本文在不同主流模型上進行實驗對比，實驗結(jié)果如表1所示。從表中可以看出改進FCOS模型在NEU-DET數(shù)據(jù)集上的各項表現(xiàn)均優(yōu)于其他主流模型，尤其在AP75指標(biāo)和APS指標(biāo)上，改進FCOS相較于主流模型提升巨大，相較于FasterR-CNN，AP75提升11.8%，APS提升16.1%，相較于YOLOv3，AP75提升22.1%，APS提升25.8%。改進FCOS在不使用基于先驗知識設(shè)計的預(yù)設(shè)檢測框的情況下下，不僅實現(xiàn)了高精度檢測，而且大幅提升了缺陷檢測算法對小尺度目標(biāo)的檢測精度，證明Anchor-free算法在缺陷檢測領(lǐng)域的應(yīng)用價值。表1.

各類缺陷檢測模型實驗結(jié)果對比05總結(jié)針對鋼帶表面缺陷檢測問題，本文提