基于改進(jìn)refinede網(wǎng)絡(luò)結(jié)構(gòu)的多尺度特征融合目標(biāo)檢測方法

基于改進(jìn)refinede網(wǎng)絡(luò)結(jié)構(gòu)的多尺度特征融合目標(biāo)檢測方法

近年來，隨著人工智能技術(shù)的快速發(fā)展，已經(jīng)開發(fā)出了基于深度學(xué)習(xí)的目標(biāo)檢測算法，并在輔助駕駛、視頻監(jiān)控、工業(yè)檢測和機(jī)器人視覺服務(wù)等領(lǐng)域開展了目標(biāo)檢測任務(wù)。從設(shè)計(jì)原理來看，基于深度學(xué)習(xí)的目標(biāo)檢測可分為以R-CNN(Region-ConventionalNeuralNetwork)由于車輛駕駛場景下采集的圖像較為復(fù)雜，存在小目標(biāo)、遮擋目標(biāo)等情況，因此本文基于RefineDet網(wǎng)絡(luò)模型進(jìn)行了一系列改進(jìn)與優(yōu)化，構(gòu)建面向駕駛場景的多尺度特征融合的目標(biāo)檢測方法。1多尺度特征融合檢測方法1.1在refinedet網(wǎng)絡(luò)結(jié)構(gòu)中嵌入armRefineDet為了保留淺層卷積神經(jīng)網(wǎng)絡(luò)提取的小目標(biāo)特征信息，提升駕駛場景中不同尺寸目標(biāo)的檢測精度，在RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中的ARM模塊嵌入一個(gè)輕量級特征化的圖像金字塔LFIP為了進(jìn)一步增強(qiáng)RefineDet網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力，在RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中的ODM模塊之后嵌入多分支結(jié)構(gòu)RFB1.1.1refinedet模塊的多特征融合模型原LFIP網(wǎng)絡(luò)是基于SSD框架上設(shè)計(jì)記RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中第n層的特征圖為f在此基礎(chǔ)上，將檢測層Conv5＿3、Fc7和Conv6＿2的調(diào)制特征圖與前一層的調(diào)制特征圖融合，可以有效地在較淺層特征中融合多個(gè)不同尺度的語義信息，提升對不同尺度目標(biāo)檢測的能力。記第n層的調(diào)制特征m由上述的分析可知，RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中的ARM模塊用于移除不包含目標(biāo)的負(fù)錨點(diǎn)框，并初步調(diào)整錨點(diǎn)框的位置和大小。ARM輸出主特征與LFIP網(wǎng)絡(luò)生成的多尺度特征融合之后，使得提取的特征信息不僅具有豐富的空間細(xì)節(jié)信息，而且融合了不同尺度的語義信息，可提升特征層中錨點(diǎn)框初步分類和回歸的輸出效果，為ODM模塊提供修正的錨點(diǎn)框以便于進(jìn)一步回歸和多類別預(yù)測。在檢測速度方面，由于圖像金字塔網(wǎng)絡(luò)中的卷積層相對較淺，且采用最大下采樣的尺度比原圖縮小了8倍，故而對檢測速度影響不大。在RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中的ODM模塊每個(gè)參與最后預(yù)測的P3、P4、P5與P6特征層后接一個(gè)感受野模塊RFB為了減少參數(shù)量與計(jì)算量，采用兩個(gè)級聯(lián)的3×3卷積層替換單個(gè)的5×5卷積層。其中，第一層是3×3的卷積層，第二層是一個(gè)作用在第一層3×3輸出表格上的全連接層設(shè)輸入特征圖尺寸為n×n×c由上面的分析可知，將網(wǎng)絡(luò)中的5×5卷積替換成兩個(gè)級聯(lián)的3×3卷積，得到輸出特征圖的尺寸一致，且在當(dāng)n>10時(shí)，兩個(gè)級聯(lián)的3×3卷積的參數(shù)量和計(jì)算量均少于單個(gè)5×5卷積。簡而言之，該操作在保持感受野范圍的前提下，可以有效減少參數(shù)量和計(jì)算量為了減少RFB模塊的參數(shù)量和計(jì)算量，將模塊中的5×5卷積替換成兩個(gè)級聯(lián)的3×3卷積，優(yōu)化的RFB模塊如圖3所示。從RefineDet-RFB的應(yīng)用效果來看，使用RFB可融合不同特征，提升RefineDet網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力，可以在兼顧檢測速度的同時(shí)達(dá)到較好的效果。1.2收斂性轉(zhuǎn)移函數(shù)ReLU激活函數(shù)雖然解決了飽和非線性激活函數(shù)梯度消失的問題，但存在均值偏移和神經(jīng)元死亡等的問題，影響網(wǎng)絡(luò)模型的收斂性PReLU函數(shù)在負(fù)半軸的斜率a式中，ε為損失函數(shù)，μ為動量，ε為學(xué)習(xí)率。1.3綠色實(shí)線的干擾RefineDet的損失函數(shù)L由ARM模塊的二分類損失LRepulsionLoss損失函數(shù)的作用是使預(yù)測框（紅色虛線）不受其他的目標(biāo)框（綠色實(shí)線）的干擾，盡可能地向?qū)?yīng)的目標(biāo)框（紅色實(shí)線）靠攏。如圖5所示。RepulsionLoss損失函數(shù)由一個(gè)吸引項(xiàng)LL有所不同的是，原ODM模塊的回歸損失并沒有設(shè)計(jì)排斥項(xiàng)，因此預(yù)測框容易受到附近其他的目標(biāo)框或預(yù)測框的干擾。在排斥項(xiàng)中，LIoG(B為了減少預(yù)測框與附近目標(biāo)框之間的交集，L其中，σ∈[0,1]，不同σ取值下Smooth由圖可見，水平坐標(biāo)x表示預(yù)測框B在此基礎(chǔ)上，構(gòu)建排斥項(xiàng)L由式可知，LL其中，將正樣本P2原圖像數(shù)據(jù)集因真實(shí)場景與公開的數(shù)據(jù)集在場景、圖像質(zhì)量和拍攝角度上存在較大差異，為了更好地模擬車輛駕駛視覺，本文方法的實(shí)驗(yàn)數(shù)據(jù)通過車載攝像機(jī)采集得到駕駛視角下不同場景的視頻，車載采集攝像機(jī)如圖7所示。車載攝像機(jī)從廣東不同城市采集，包含廣州、佛山、東莞等城市，涵蓋了從上午10:00至下午17:00不同的時(shí)間段，采集到的200段視頻分辨率為1920×1080pixel（像素點(diǎn)），幀率為每秒25幀，通過每秒抽取一幀的方式形成圖像數(shù)據(jù)集，共48260張圖片。從中隨機(jī)選取9652張圖片作為測試數(shù)據(jù)集，用于對網(wǎng)絡(luò)模型的性能評價(jià)，其余38608張圖片作為原始訓(xùn)練數(shù)據(jù)集。進(jìn)一步，對原圖像數(shù)據(jù)集的目標(biāo)圖像隨機(jī)進(jìn)行反轉(zhuǎn)、縮放、亮度變化、對比度變化和飽和度變化等數(shù)據(jù)擴(kuò)充，處理后形成訓(xùn)練數(shù)據(jù)集，共115824張圖片，自建數(shù)據(jù)集樣本如圖8所示。實(shí)驗(yàn)主要對圖片中的car（汽車）、bike（自行車、摩托車等）與pedestrian（行人）等交通參與者進(jìn)行檢測。3nd指標(biāo)的計(jì)算本文方法采用AP(AveragePrecision，平均精度）、mAP(meanAveragePrecision）和FPS(FramesPerSecond）作為評價(jià)指標(biāo)，具體計(jì)算和說明為：(1)AP為某個(gè)類別的平均精確度，對于第i個(gè)類別，選取不同的IoU閥值，平均精確度的計(jì)算公式為：其中，p表示精確度，r表示召回率，其幾何意義是精確度和召回率所形成的曲線與水平軸圍成的面積。(2)mAP為數(shù)據(jù)集中所有類別的平均精度的均值，類別數(shù)為m的均值平均精度的計(jì)算公式為：(3)FPS為每秒檢測圖像幀數(shù)，該指標(biāo)不僅僅與算法模型的計(jì)算量相關(guān)，還與實(shí)驗(yàn)過程中的硬件性能相關(guān)。一般地，如檢測速度不小于25frame/s，可認(rèn)為該算法模型滿足實(shí)時(shí)性要求。4實(shí)驗(yàn)與分析4.1系統(tǒng)平臺測試本文實(shí)驗(yàn)在32GB內(nèi)存、GeForceGTX1080型號GPU、IntelI7-7700型號CPU的硬件平臺和Ubuntu16.04操作系統(tǒng)訓(xùn)練、測試，本文方法基于Caffe深度學(xué)習(xí)框架。4.2motionum和kras設(shè)置本文對網(wǎng)絡(luò)模型采用端對端的方式進(jìn)行訓(xùn)練。訓(xùn)練的圖像大小為320×320，設(shè)置mini-batch大小為32，最大迭代次數(shù)為20萬次，初始學(xué)習(xí)率base＿Lr設(shè)為0.01，分別經(jīng)過50000、100000和150000次迭代之后，學(xué)習(xí)率減少為原來的1/10，動量Momentum設(shè)置為0.9，權(quán)值衰減Weight＿decay設(shè)置為0.0005。為了驗(yàn)證采用PReLU激活函數(shù)的網(wǎng)絡(luò)模型收斂速度提高，本文在算法訓(xùn)練過程中分別采用ReLU和PReLU兩種激活函數(shù)進(jìn)行訓(xùn)練，如圖9所示。隨著迭代次數(shù)和訓(xùn)練時(shí)間的增加，兩種方法的損失值逐步降低，整體趨勢較為平穩(wěn)。相對而言，在自建樣本集訓(xùn)練過程中，采用PReLU激活函數(shù)的網(wǎng)絡(luò)模型的收斂速度得到加快。4.3檢測速度分析本文對RefineDet、RefineDet-LFIP、RefineDet-RFB、RefineDet-LFIP-RFB與本文算法在自建數(shù)據(jù)集測試子集上進(jìn)行檢測性能比較。其中，評價(jià)指標(biāo)均考慮當(dāng)IOU(IntersectionOverUnion，交并比）閾值為0.5的mAP，而檢測速度不含圖像讀取和縮放圖像的時(shí)間，僅為網(wǎng)絡(luò)模型前向傳播和輸出檢測結(jié)果的時(shí)間。如表2所示。由表可見，本文方法在自建測試集中的mAP為85.59%，均優(yōu)于其他算法；本文方法的FPS為41.7frame/s，略低于其他算法，這是由于對網(wǎng)絡(luò)模型進(jìn)行了一系列改進(jìn)與優(yōu)化所致。本文方法檢測速度大于25frame/s，說明可滿足駕駛場景目標(biāo)檢測的應(yīng)用要求。本文方法與RefineDet算法模型在測試集上對car（汽車）、bike（自行車、摩托車等）與pedestrian（行人）的目標(biāo)檢測結(jié)果如圖10所示。其中圖10(a）為原RefineDet算法模型的檢測結(jié)果，圖10(b）為本文方法的檢測結(jié)果。從圖10可知，在目標(biāo)遮擋的情況下，本文方法仍然能夠有效檢測到大部分遮擋目標(biāo)，并能夠檢測出交通道路較遠(yuǎn)處的小目標(biāo)。從檢測效果來看，本文方法較好地解決駕駛視覺下的遮擋目標(biāo)檢測和小目標(biāo)檢測的問題。5使用refinedet網(wǎng)絡(luò)模型針對駕駛視覺下目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)模型檢測精度較低的問題，提出一種基于改進(jìn)RefineDet的輕量級目標(biāo)檢測方法。包括：(1）首先在RefineDet中嵌入LFIP子網(wǎng)絡(luò)，RefineDet網(wǎng)絡(luò)結(jié)構(gòu)中ARM的主特征圖與LFIP網(wǎng)絡(luò)的多尺度特征圖融合之后，提升了特征層中錨點(diǎn)框初步分類和回歸的輸出效果，為ODM模塊提供修正的錨點(diǎn)框以便于進(jìn)一步回歸和多類別預(yù)測。此外，該方法加強(qiáng)了RefineDet網(wǎng)絡(luò)結(jié)構(gòu)預(yù)判特征的辨別力，增強(qiáng)網(wǎng)絡(luò)特征的提取能力。(2）使用RFB可融合不同特征，提升RefineDet網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力，可以在兼顧檢測速度的同時(shí)達(dá)到較好的效果。(3）將網(wǎng)絡(luò)結(jié)構(gòu)中多層神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)替換為帶有可學(xué)習(xí)參數(shù)的非線性激活函數(shù)PReLU，可以使得模型更好地收斂，在增加極少量參數(shù)的前提下提高準(zhǔn)確率。(4）使用RepulsionLoss函數(shù)作為ODM模塊的回歸損失函數(shù)，可以更好地解決駕駛視覺下的遮擋目標(biāo)的檢測問題，使目標(biāo)檢測中的某預(yù)測框更靠近其對應(yīng)的目標(biāo)框，并使該預(yù)測框遠(yuǎn)離附近目標(biāo)框及預(yù)測框。本文研究可為駕