基于改進級聯(lián)R-CNN的面料疵點檢測方法

摘要：由于布匹疵點種類分布不均，部分疵點具有極端的寬高比，而且小目標較多，導致檢測難度大，因此提出一種改進級聯(lián)R-CNN的布匹疵點檢測方法。針對小目標問題，在R-CNN部分采用在線難例挖掘，加強對小目標的訓練；針對布匹疵點極端的長寬比，在特征提取網(wǎng)絡中采用了可變形卷積v2來代替?zhèn)鹘y(tǒng)的正方形卷積，并結合布匹特征重新設計邊界框比例。最后采用完全交并比損失作為邊界框回歸損失，獲取更精確的目標邊界框。結果表明：對比改進前的模型，改進后的模型預測邊界框更加精確，對小目標的疵點檢測效果更好，在準確率上提升了3.57%，平均精確度均值提升了6.45%，可以更好地滿足面料疵點的檢測需求。關鍵詞：級聯(lián)R-CNN；面料疵點；檢測；可變形卷積v2；在線難例挖掘；完全交并比損失布匹缺陷檢測任務的難點可能有以下幾個方面：小目標問題，缺陷具有極端的寬高比，樣本不均衡。在MSCOCO數(shù)據(jù)集[1]中，面積小于32×32像素的物體被認為是小目標。小目標具有分辨率低，圖像模糊，攜帶的信息少的特點，導致其特征表達能力弱，也就是在提取特征過程中，能提取到的特征非常少，不利于其檢測；布匹疵點由于生產(chǎn)工藝的原因常常具有極端的寬高比，例如斷經(jīng)、斷緯等，給其邊界框的預測增添了難度；樣本不均衡是指部分疵點擁有大量的訓練樣本，而另一部分疵點則只有少數(shù)的樣本，讓分類器學習起來很困難。針對小目標問題，Hu等[2]認為小目標在ROI池化之后會破壞小尺度目標的結構，導致物體結構失真，于是提出了新的場景感知ROI池化層，維持場景信息和小目標的原始結構，可以在不增加額外時間復雜度的前提下提升檢測精度；Li等[3]提出了PerceptualGAN網(wǎng)絡來生成小目標的超分表達，PerceptualGAN利用大小目標的結構相關性來增強小目標的表達，使其與其對應大目標的表達相似，從而提升小目標檢測的精度。針對布匹缺陷極端的長寬比，陳康等[4]提出了通過增加錨定框的尺寸和比例來增加錨定框的數(shù)量，最終提升了對多尺度目標的檢測。孟志青等[5]提出基于快速搜索密度頂點的聚類算法的邊框生成器，結合真實框的分布特征分區(qū)間對聚類中心進行加權融合，使區(qū)域建議網(wǎng)絡生成的邊界框更符合布匹疵點特征。針對樣本不均衡，Chawla等[6]提出了人工少數(shù)類過采樣法，非簡單地對少數(shù)類別進行重采樣，而是通過設計算法來人工合成一些新的少數(shù)樣本，減少隨機過采樣引起的過度擬合問題,因為生成的是合成示例，而不是實例的復制，也不會丟失有用的信息；Yang等[7]通過半監(jiān)督和自監(jiān)督這兩個不同的視角去嘗試理解和利用不平衡的數(shù)據(jù)，并且驗證了這兩種框架均能提升類別不均衡的長尾學習問題。針對布匹疵點小目標多，極端長寬比的問題，本文提出一種改進的CascadeR-CNN[8]布匹疵點檢測方法，為適應布匹疵點的極端長寬比，在特征提取網(wǎng)絡的后三個階段采用了可變形卷積(DCN)v2[9]，在RCNN部分采用了在線難例挖掘(OHEM)[10]來提高小目標的檢測效果，并采用完全交并比損失函數(shù)(CIoULoss)[11]進一步提升目標邊界框的回歸精度。改進CascadeR-CNN的面料疵點檢測方法FasterR-CNN[12]的單一閾值訓練出的檢測器效果有限，本文采用了CascadeR-CNN網(wǎng)絡結構，如圖1所示。其在FasterR-CNN的基礎上通過級聯(lián)的方式逐階段提高IoU的閾值，從而使得前一階段重新采樣過的建議框能夠適應下一個有更高閾值的階段。工業(yè)場景下目標面積小，特征微弱，通過多級調(diào)整，可以使網(wǎng)絡集中于低占比的缺陷目標，最終獲得更為精確的檢測框。圖1CascadeR-CNN網(wǎng)絡結構考慮到實驗環(huán)境的顯存和算力，骨干網(wǎng)絡主要采用了ResNet50[13]作為特征提取網(wǎng)絡來進行對比實驗，并接入特征金字塔網(wǎng)絡[14]進行多尺度的特征融合，提升對小目標的檢測效果。1.1在線難例挖掘采樣在兩階段的目標檢測模型中，區(qū)域建議網(wǎng)絡會產(chǎn)生大量的建議框，但一張圖片的目標數(shù)量有限，絕大部分建議框是沒有目標的，為了減少計算量，避免網(wǎng)絡的預測值少數(shù)服從多數(shù)而向負樣本靠攏，需要調(diào)整正負樣本之間的比例。目前常規(guī)的解決方式是對兩種樣本進行隨機采樣，以使正負樣本的比例保持在1∶3，這一方式緩解了正負樣本之間的比例不均衡，也被大多數(shù)兩階段目標檢測方法所使用，但隨機選出來的建議框不一定是易出錯的框，這就導致對易學樣本產(chǎn)生過擬合。在線難例挖掘就是多找一些困難負樣本加入負樣本集進行訓練，如圖2所示，b部分是a部分的復制，a部分只用于尋找困難負例，b部分用來反向傳播，然后把更新的參數(shù)共享到a部分，a部分正常的前向傳播后，獲得每個建議框的損失值，在非極大值抑制后對剩下的建議框按損失值進行排序，然后選用損失較大的前一部分當作輸入再進入b部分進行訓練。圖2在線難例挖掘結構布匹疵點中的小目標疵點往往難以檢測，小目標常常被劃分為難例，在CascadeR-CNN的每個級聯(lián)層引入在線難例挖掘采樣之后，提高了整個網(wǎng)絡的短版，防止了網(wǎng)絡針對大量易學樣本過擬合，有利于提升面料疵點的檢測精度。訓練集越大越困難，在線難例挖掘在訓練中所選擇的難例就越多，訓練就更有針對性，效果就越好。而布匹疵點恰好小目標多，寬高比方差大，難例較多，更適合在線難例挖掘的應用，通過讓網(wǎng)絡花更多的精力學習難樣本，進一步提高了檢測的精度。1.2可變形卷積v2可變形卷積v2由可變形卷積[15]演變而來?？勺冃尉矸e顧名思義就是卷積的位置是可變形的，并非在傳統(tǒng)的N×N的網(wǎng)格上做卷積，傳統(tǒng)卷積僅僅只能提取到矩形框的特征，可變形卷積則能更準確地提取到復雜區(qū)域內(nèi)的特征。以N×N卷積為例，每個輸出y(p0)，都要從中心位置x(p0)上采樣9個位置，(-1,-1)代表x(p0)的左上角，(1,1)代表x(p0)的右下角。傳統(tǒng)的卷積輸出如式(2),R為規(guī)格網(wǎng)格，而可變形卷積如式(3)，在傳統(tǒng)卷積操作上加入了一個偏移量Δpn，使采樣點擴散成非網(wǎng)格的形狀。R={(-1,-1),(-1,0)...,(0,1),(1,1)}(1)(2)(3)而可變形卷積v2如式(4)，在可變形卷積的基礎上加上了每個采樣點的權重Δmn，這樣增加了更大的變形自由度，對于某些不想要的采樣點可以將權重設置為0，提高了網(wǎng)絡適應幾何變化的能力。(4)ResNet網(wǎng)絡共有5個階段，如圖3所示，第一階段為對圖像的預處理，結構較為簡單，后4個階段結構類似，包含不可串聯(lián)的ConvBlock和可串聯(lián)的IdentityBlock。本文在ResNet50骨干網(wǎng)絡的最后3個階段采用可變形卷積v2，能夠計算每個點的偏移和權重，從最合適的地方取特征進行卷積，以此來適應不同形狀的瑕疵，緩解了傳統(tǒng)卷積規(guī)格格點采樣無法適應目標的幾何形變問題，如圖4所示，改進后的骨干網(wǎng)絡更能適應布匹疵點的極端長寬比，有利于疵點的精確檢測。圖3Resnet骨干網(wǎng)絡結構圖4可變形卷積示意1.3完全交并比損失函數(shù)目標檢測中常用的邊界框回歸損失函數(shù)有L1Loss，L2Loss，SmoothL1Loss，上述3種損失在計算時，先獨立地求出邊界框4個頂點的損失，然后相加得到最終的邊界框回歸損失，這種計算方法的前提是假設4個點是相互獨立的，但實際它們是相關的。而評價邊界框的指標是IoU，如式(5)所示，即預測邊界框和真實邊界框的交并比。(5)但上述3種損失和IoU并不等價，多個邊界框可能損失大小相同，但IoU差異較大，因此就有了IoULoss[16]，如式(6)所示。IoULoss=-ln(IoU)(6)IoULoss直接把IoU作為損失函數(shù)，但它無法解決預測框和真實框不重合時IoU為0的問題，由此產(chǎn)生了GIoULoss[17]，GIoU如式(7),對于兩個邊界框A和B，要找到一個最小的封閉形狀C，讓C將A和B包圍在里面，然后計算C中沒有覆蓋A和B的面積占C總面積的比例，最后用A和B的IoU值減去這個比值。(7)但是當目標框完全包含預測框時，GIoU退化為IoU，IoU和GIoU的值相等，無法區(qū)分其相對位置關系，由此產(chǎn)生了DIoU和CIoU。DIoU將真實框與預測框之間的距離，重疊率以及尺度都考慮進去，如式(8)：(8)式中：b，b??分別代表預測框和真實框的中心點，ρ表示計算兩個中心點之間的歐式距離，c表示包含預測框和真實框的最小外界矩形的對角線長度。CIoU考慮到邊界框回歸中的長寬比還沒被考慮到計算中，在DIoU懲罰項的基礎上添加了影響因子αv，如式(9)：(9)式中：α是權重函數(shù),v表示長寬比的相似性，如式(10)：(10)式中：w、w??分別代表預測框和真實框的寬度，h、hgt分別代表預測框和真實框的高度。最終CIoU的損失定義如式(11)：(11)本文將原始模型中的邊界框回歸損失選為CIoULoss，CIoU能夠?qū)⒅丿B面積，中心點距離，長寬比這3個幾何因素都考慮進去，相比其他邊界框損失函數(shù)，其收斂的精度更高，從而可以提升布匹疵點檢測時的定位準確度。實驗結果與對比分析2.1實驗數(shù)據(jù)集本文使用天池布匹疵點數(shù)據(jù)集，包含約9600張大小為2446×1000的純色布匹圖像，其中正常圖片約3600張，瑕疵圖片約6000張，每張圖片包含一種或多種瑕疵的一個或幾個，共9523個疵點，包含了紡織業(yè)中常見的34類布匹瑕疵，將某些類別合并后，最終分為20個類別。各類疵點的分類及數(shù)量見表1，其中6百腳、9松經(jīng)、10斷經(jīng)、11吊經(jīng)、14漿斑等屬于寬高比比較極端的疵點，3三絲、4結頭、7毛粒、12粗緯、13緯縮等屬于小目標的疵點。表1布匹瑕疵的分類與數(shù)量圖5為數(shù)據(jù)集中不同類型疵點的目標數(shù)統(tǒng)計，不同疵點間數(shù)目差異巨大，種類分布嚴重不均，例如結頭近2000個樣本，而花板跳只有134個樣本，這容易產(chǎn)生過擬合，使訓練出的模型泛化能力較差；圖6展示了不同類型疵點的寬高比，從零點零幾到五十，疵點尺寸差異較大；圖7展示了典型的寬高比懸殊的疵點；圖8為不同面積目標的數(shù)量占比，其中小目標占比較高，約四分之一，這些都給布匹疵點的檢測帶來了困難。圖5不同類別目標數(shù)統(tǒng)計圖6目標寬高比統(tǒng)計圖7典型疵點圖8目標面積統(tǒng)計由于數(shù)據(jù)尺度固定，也不涉及自然場景，非常適合通過上下反轉(zhuǎn)等操作來進行數(shù)據(jù)增強。為減少過擬合，降低疵點種類分布不均的影響，本文對樣本數(shù)小于200的四類疵點進行了水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)的線下增強，對樣本數(shù)在200～300之間的三類疵點進行了水平翻轉(zhuǎn)的線下增強，最終將數(shù)據(jù)集擴充到約10000張瑕疵圖片。2.2實驗環(huán)境及配置實驗運行的環(huán)境為英特爾i910900X，GeForceRTX3080，32G內(nèi)存，Ubuntu18.04操作系統(tǒng)。為盡可能地利用實驗數(shù)據(jù)，訓練集中只使用瑕疵圖片，隨機選1000張正常圖片進行兩等分，分別放于驗證集和測試集，并向驗證集和測試集中加入瑕疵圖片，最終訓練集、驗證集和測試集比例約為60%、20%和20%。對于所提出的CascadeR-CNN卷積神經(jīng)網(wǎng)絡，選擇交叉熵作為分類損失函數(shù)。為了加快收斂速度，使用了COCO的預訓練權重，并設置了梯度裁剪來穩(wěn)定訓練過程，避免產(chǎn)生梯度爆炸或梯度消失?？紤]到樣本的寬高比差異較大，而CascadeR-CNN網(wǎng)絡原始的邊界框比例是根據(jù)COCO數(shù)據(jù)集設計的，原始的[0.5,1.0,2.0]的比例并不能滿足布匹疵點的需要，因此將邊界框比例設計為[0.02,0.05,0.1,0.5,1.0,2.0,10.0,20.0,50.0]來提高檢測精度。用Soft-NMS[18]代替了原模型中NMS[19]，Soft-NMS沒有將其重合度較高的邊界框直接刪除，而是通過重合度對邊界框的置信度進行衰減，最終得到的結果并非一定是全局最優(yōu)解，但比NMS更泛化，能有效避免面料疵點丟失，且不會增加算法的復雜度[20]。2.3實驗結果對比在進行數(shù)據(jù)擴增前，數(shù)量多的樣本能夠最先被識別出來，而且最終的平均精確度較高，而數(shù)量少的樣本，識別出來的較晚，且最終的平均精確度較低，模型明顯過擬合，偏向于數(shù)量較多的樣本，通過對類別少的數(shù)據(jù)進行數(shù)據(jù)擴增，有效的緩解了這一問題，且最終的檢測精度也有提升。模型改進前后的檢測效果對比如圖9所示，改進前后的效果按照上下分布，改進后的模型對目標的邊界識別更加精準，對小目標的檢出能力更強，疵點檢測效果更好。圖9模型改進前后的檢測效果對比為了對比模型的性能，本文以準確率ACC和平均精確度均值mAP[21]作為評價指標，ACC是有瑕疵或無瑕疵的二分類指標，評估瑕疵檢出能力。mAP是所有類別的平均精確度的均值，參照PASCALVOC的評估標準[22]進行計算。模型改進前后的評價參數(shù)如表2所示，在線難例挖掘采樣對2、7、13、15、17、18、20等類別的提升較大，這些類型本身的AP較低，可以歸為難例，證明了在線難例挖掘采樣的有效性。引入OHEM后，雖然模型準確率略微下降，但平均精確度均值還是有較為明顯的提升。綜合來看，改進后的模型在準確率和平均精確度均值上分別提升了3.57%和6.45%，證明了上述3種方法的有效性。表2模型改進前后的評價參數(shù)影響小目標檢測效果的因素有輸入圖像的尺度、小目標的數(shù)量、特征融合、邊界框的設計和光照強度等，為了獲得更好的檢測效果，在訓練出模型后，再在不同的光強下對測試集進行測試，本文使用了mmdetection框架的線上調(diào)整亮度的方式，將亮度劃分為0～10之間的小數(shù)范圍，對比實驗結果如表3所示，不同光強下的平均精確度均值差異較大，驗證了光強對布匹疵點的識別影響較大，但本文未能找到統(tǒng)一的最佳的光照強度，后通過比較數(shù)據(jù)集發(fā)現(xiàn)，本文數(shù)據(jù)源于實際工業(yè)場景，不同數(shù)據(jù)已有明顯不同的光強，且布匹顏色并不一致，不同顏色的布匹最合適的光強可能并不一致，因此本文的后續(xù)實驗不再調(diào)整統(tǒng)一的光照強度，采用原始數(shù)據(jù)集的亮度。表3不同光照強度下測試集的對比表4為引入在線難例挖掘采樣前后的模型性能對比，在引入在線難例挖掘之后，測試集上的性能明顯提升，而訓練集上的性能反而下降，證明了在線難例挖掘采樣能夠減輕模型的過擬合，同時對于模型的性能提升也是有效的。表4引