基于改進(jìn)SSD的鐵路障礙物檢測(cè)研究

基于改進(jìn)SSD的鐵路障礙物檢測(cè)研究

焦雙健，劉東，王超（中國(guó)海洋大學(xué)工程學(xué)院，山東青島266100）0引言鐵路列車(chē)在運(yùn)行過(guò)程中容易遇到周?chē)系K物入侵鐵軌的風(fēng)險(xiǎn)，極易發(fā)生安全事故，而且事故具有突發(fā)性，造成的后果十分嚴(yán)重。傳統(tǒng)的人工巡檢排查效率低[1]。目前主流的方法是將深度學(xué)習(xí)引入障礙物檢測(cè)中，從而有效提高檢測(cè)效率，降低運(yùn)維成本，提高行駛安全系數(shù)。Oh等基于視覺(jué)識(shí)別，利用圖像處理技術(shù)設(shè)計(jì)了車(chē)站安全平臺(tái)系統(tǒng)，對(duì)乘客在站臺(tái)的安全進(jìn)行實(shí)時(shí)分析和預(yù)警[2]；Silar等基于光流估計(jì)和K-means聚類(lèi)算法將流向量分類(lèi)，以確定障礙物的位置[3]；史紅梅等將機(jī)器視覺(jué)與嵌入式技術(shù)結(jié)合，提出一種障礙物自動(dòng)識(shí)別方法[4]；同磊等基于機(jī)器視覺(jué)對(duì)鐵軌位置進(jìn)行識(shí)別定位，檢測(cè)列車(chē)前方的障礙物[5]；郭保青等基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，使用AlexNet和HOG特征結(jié)合的方式提高了算法在鐵路場(chǎng)景下的檢測(cè)精度和速度[6]；徐巖等基于FasterR-CNN檢測(cè)算法完成了高鐵異物侵限檢測(cè)研究，在一定程度的基礎(chǔ)上提高了檢測(cè)速度[7]。雖然目前國(guó)內(nèi)外在此方面的研究都取得了一定的進(jìn)展，但是對(duì)于不同目標(biāo)檢測(cè)算法在鐵路場(chǎng)景下的適用性還有所欠缺。鑒于鐵路障礙物數(shù)據(jù)集較少，上述研究在檢測(cè)精度和速度方面均有提升的空間，故此類(lèi)研究仍有開(kāi)展價(jià)值。1FasterR-CNN與SSD目標(biāo)檢測(cè)算法1.1FasterR-CNN目標(biāo)檢測(cè)算法FasterR-CNN作為基于區(qū)域候選網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型，主要分為4個(gè)部分：1）特征提取卷積。卷積層將提取的特征圖輸入到區(qū)域建議網(wǎng)絡(luò)和全連接層。2）候選區(qū)域生成。此部分由區(qū)域建議網(wǎng)絡(luò)（Region-ProposalNetwork，RPN[8]）模塊完成，其主要作用是生成區(qū)域建議框，將步驟1）的特征圖通過(guò)歸一化指數(shù)函數(shù)Softmax分成背景分類(lèi)與預(yù)測(cè)框兩部分。3）感興趣區(qū)域池化（RegionofInterest，ROI）。對(duì)特征圖和候選區(qū)域進(jìn)行信息整合，實(shí)現(xiàn)從原圖區(qū)域映射到卷積層區(qū)域，得到目標(biāo)區(qū)域特征。4）分類(lèi)與回歸。利用Softmax損失和SmoothL1損失對(duì)分類(lèi)概率和邊界框回歸訓(xùn)練，降低檢測(cè)框和真實(shí)物體框的最小偏差。Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)文獻(xiàn)[8]。1.2SSD目標(biāo)檢測(cè)算法SSD是一種one-stage（一階段）目標(biāo)檢測(cè)算法，相比FasterR-CNN具有明顯的速度優(yōu)勢(shì)，相比部分YOLO[9]算法又有一定的精度優(yōu)勢(shì)。SSD目標(biāo)檢測(cè)算法中卷積層特征尺寸隨著網(wǎng)絡(luò)層的加深而減小，大尺寸特征圖用來(lái)檢測(cè)小目標(biāo)，小尺度特征圖用來(lái)檢測(cè)大目標(biāo)，能夠保證大小目標(biāo)都能被檢測(cè)到；最后將所有預(yù)測(cè)框?qū)Ρ龋褂梅菢O大值抑制法去掉重疊框，將得分最高的位置框作為最終結(jié)果，以提高檢測(cè)效率。SSD網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)文獻(xiàn)[10-11]。2鐵路障礙物數(shù)據(jù)集的建立由于鐵路障礙物數(shù)據(jù)集獲取難度較大，故本文選擇開(kāi)源數(shù)據(jù)集與實(shí)拍數(shù)據(jù)集結(jié)合的方式建立數(shù)據(jù)集。2.1障礙物數(shù)據(jù)集分類(lèi)根據(jù)近幾年全國(guó)鐵路交通事故統(tǒng)計(jì)，結(jié)合日常常見(jiàn)障礙物種類(lèi)，將本文障礙物分為垃圾類(lèi)（garbage）、動(dòng)物類(lèi)（animal）、車(chē)輛類(lèi)（car）3類(lèi)，如表1所示。其中垃圾類(lèi)包含紙箱和瓶子，動(dòng)物類(lèi)包含牛羊和行人，車(chē)輛類(lèi)只有汽車(chē)。數(shù)據(jù)集包含圖像文件、session模式以及.mat格式的標(biāo)注文件。表1數(shù)據(jù)集分類(lèi)2.2數(shù)據(jù)集采集2.2.1開(kāi)源數(shù)據(jù)集由于開(kāi)源數(shù)據(jù)集各類(lèi)場(chǎng)景豐富，可以對(duì)特定場(chǎng)景圖像信息進(jìn)行補(bǔ)充，因此通過(guò)對(duì)網(wǎng)絡(luò)開(kāi)源數(shù)據(jù)集進(jìn)行對(duì)比并結(jié)合本研究場(chǎng)景的復(fù)雜性，選擇并篩選部分MSCOCO2017、VOC2007、COCO開(kāi)源數(shù)據(jù)集作為本文數(shù)據(jù)集。篩選原則為：在滿足要求的前提下，選擇不同背景、不同尺度的目標(biāo)圖像，以保證模型訓(xùn)練的魯棒性。2.2.2實(shí)拍數(shù)據(jù)集為提高數(shù)據(jù)集場(chǎng)景多樣性，在鐵路叉道口處采集部分?jǐn)?shù)據(jù)。拍攝天氣包含晴天、陰天、雪霧天，采集時(shí)段覆蓋早晨和傍晚。由于單張圖像采集效率較低，故采取視頻數(shù)據(jù)的形式，再用視頻處理軟件進(jìn)行抽幀處理，設(shè)置幀數(shù)間隔為每1s提取一幀，截取完成后對(duì)圖像進(jìn)行篩選，刪除相似度較大的圖像，共提取到有效圖像360張。3鐵路障礙物檢測(cè)模型的建立3.1實(shí)驗(yàn)環(huán)境配置本文實(shí)驗(yàn)環(huán)境配置如表2所示。表2實(shí)驗(yàn)環(huán)境配置3.2Faster-RCNN檢測(cè)模型的建立本節(jié)在Faster-RCNN目標(biāo)檢測(cè)框架基礎(chǔ)上，選擇兩種特征提取網(wǎng)絡(luò)，VGG-16（VisualGeometryGroup）[12]和MobileNet-v2[13]，完成兩個(gè)檢測(cè)模型的訓(xùn)練和驗(yàn)證。3.2.1Faster-RCNN_VGG-16檢測(cè)模型基于MatlabR2020b框架，完成對(duì)Faster-RCNN_VGG-16模型的搭建，命名為FR-1網(wǎng)絡(luò)，對(duì)原始網(wǎng)絡(luò)模型的參數(shù)進(jìn)行參數(shù)分析及修正工作。模型原始參數(shù)如表3、表4所示。修正后的FR-1模型參數(shù)如表5所示。表3Faster-RCNN模型原始參數(shù)表4VGG-16特征提取網(wǎng)絡(luò)原始參數(shù)表5FR-1檢測(cè)模型修正參數(shù)對(duì)模型進(jìn)行訓(xùn)練，將得到的數(shù)據(jù)進(jìn)行整理，訓(xùn)練準(zhǔn)確率曲線和損失函數(shù)曲線如圖1所示。圖1FR-1檢測(cè)模型訓(xùn)練結(jié)果由圖1可知，模型訓(xùn)練結(jié)果準(zhǔn)確率接近91%。FR-1檢測(cè)模型驗(yàn)證集驗(yàn)證結(jié)果如圖2所示。圖2FR-1檢測(cè)模型驗(yàn)證結(jié)果3.2.2Faster-RCNN_MobileNet-v2檢測(cè)模型基于MatlabR2020b框架，完成對(duì)Faster-RCNN_MobileNet-v2模型的搭建，命名為FR-2網(wǎng)絡(luò)，對(duì)原始網(wǎng)絡(luò)模型的參數(shù)進(jìn)行參數(shù)分析及修正工作。特征提取網(wǎng)絡(luò)原始參數(shù)如表6所示，F(xiàn)R-2模型的參數(shù)修正參考3.2.1節(jié)。表6MobileNet-v2特征提取網(wǎng)絡(luò)原始參數(shù)對(duì)模型進(jìn)行訓(xùn)練，將得到的數(shù)據(jù)進(jìn)行整理，訓(xùn)練準(zhǔn)確率曲線和損失函數(shù)曲線如圖3所示。圖3FR-2檢測(cè)模型訓(xùn)練結(jié)果由圖3可知，模型訓(xùn)練結(jié)果準(zhǔn)確率接近90%。FR-2檢測(cè)模型驗(yàn)證集驗(yàn)證結(jié)果如圖4所示。圖4FR-2檢測(cè)模型驗(yàn)證結(jié)果3.2.3Faster-RCNN檢測(cè)模型結(jié)果分析由于特征提取網(wǎng)絡(luò)的差異，兩個(gè)模型訓(xùn)練過(guò)程的準(zhǔn)確率曲線和損失函數(shù)曲線不相同。通過(guò)整理，將各曲線放在同一坐標(biāo)軸內(nèi)討論，對(duì)比結(jié)果如圖5所示。圖5不同模型中準(zhǔn)確率與損失函數(shù)的對(duì)比從圖5a）可以看出：在訓(xùn)練中FR-1曲線的震蕩較大，迭代次數(shù)達(dá)到25次左右時(shí)，曲線趨于收斂，準(zhǔn)確率達(dá)到92%左右；FR-2曲線在初期上升較為平緩，當(dāng)?shù)螖?shù)達(dá)到10次左右，曲線震蕩較大，之后趨于收斂，準(zhǔn)確率達(dá)到90%左右。從圖5b）可以看出，訓(xùn)練初期梯度下降，在第一輪訓(xùn)練結(jié)束處發(fā)生震蕩，體現(xiàn)出學(xué)習(xí)率的下降，當(dāng)?shù)螖?shù)達(dá)到20次左右時(shí)，曲線趨于收斂，之后的函數(shù)值在0～0.5之間輕微波動(dòng)，且FR-1曲線損失值小于FR-2曲線損失值。兩個(gè)檢測(cè)模型在相應(yīng)的迭代次數(shù)內(nèi)均實(shí)現(xiàn)了訓(xùn)練準(zhǔn)確率和損失函數(shù)的收斂，訓(xùn)練結(jié)果對(duì)比如表7所示。表7Faster-RCNN檢測(cè)模型訓(xùn)練結(jié)果對(duì)比3.3SSD檢測(cè)模型的建立在SSD目標(biāo)檢測(cè)模型框架下，選取3.2節(jié)中的兩種特征提取網(wǎng)絡(luò)，在網(wǎng)絡(luò)結(jié)構(gòu)不變的基礎(chǔ)上，完成兩種模型的訓(xùn)練及驗(yàn)證工作。3.3.1SSD_VGG-16檢測(cè)模型基于MatlabR2020b框架，完成對(duì)SSD_VGG-16模型的搭建，命名為SSD-1網(wǎng)絡(luò)。對(duì)原始網(wǎng)絡(luò)模型的參數(shù)進(jìn)行分析及修正工作，參數(shù)修正參考3.1節(jié)。對(duì)模型進(jìn)行訓(xùn)練，將得到的數(shù)據(jù)進(jìn)行整理，訓(xùn)練準(zhǔn)確率曲線和損失函數(shù)曲線如圖6所示。圖6SSD-1檢測(cè)模型訓(xùn)練結(jié)果由圖6可知，模型訓(xùn)練結(jié)果準(zhǔn)確率接近92%。SSD-1檢測(cè)模型驗(yàn)證集驗(yàn)證結(jié)果如圖7所示。圖7SSD-1檢測(cè)模型驗(yàn)證結(jié)果3.3.2SSD_MobileNet-v2檢測(cè)模型基于MatlabR2020b框架，完成對(duì)SSD_MobileNetv2模型的搭建，命名為SSD-2網(wǎng)絡(luò)，對(duì)原始網(wǎng)絡(luò)模型的參數(shù)進(jìn)行分析及修正工作。對(duì)模型進(jìn)行訓(xùn)練，將得到的數(shù)據(jù)進(jìn)行整理，訓(xùn)練準(zhǔn)確率曲線和損失函數(shù)曲線如圖8所示。由圖8可知，模型訓(xùn)練結(jié)果準(zhǔn)確率接近91%。SSD-2檢測(cè)模型驗(yàn)證集驗(yàn)證結(jié)果如圖9所示。圖8SSD-2檢測(cè)模型訓(xùn)練結(jié)果圖9SSD-2檢測(cè)模型驗(yàn)證結(jié)果3.3.3SSD檢測(cè)模型結(jié)果分析由于特征提取網(wǎng)絡(luò)的差異，兩個(gè)模型訓(xùn)練過(guò)程的準(zhǔn)確率曲線和損失函數(shù)曲線不相同。通過(guò)整理，將各曲線放在同一坐標(biāo)軸內(nèi)討論，對(duì)比結(jié)果如圖10所示。從圖10a）可以看出：SSD-1曲線在前期震蕩較大，迭代次數(shù)達(dá)到15次左右時(shí)，曲線趨于收斂，準(zhǔn)確率達(dá)到92%左右；SSD-2曲線較為平緩，但準(zhǔn)確率略低于前者，達(dá)到91%左右。從圖10b）可以看出，曲線在開(kāi)始訓(xùn)練階段就出現(xiàn)了震蕩，當(dāng)?shù)螖?shù)達(dá)到20次左右時(shí)，曲線趨于收斂，且SSD-1曲線損失值小于SSD-2曲線。圖10不同模型中準(zhǔn)確率與損失函數(shù)的對(duì)比兩個(gè)檢測(cè)模型在相應(yīng)的迭代次數(shù)內(nèi)均實(shí)現(xiàn)了訓(xùn)練準(zhǔn)確率和損失函數(shù)的收斂，訓(xùn)練結(jié)果如表8所示。表8SSD檢測(cè)模型訓(xùn)練結(jié)果對(duì)比3.4檢測(cè)模型對(duì)比將同一種測(cè)試集放在4種網(wǎng)絡(luò)模型上完成測(cè)試，對(duì)試驗(yàn)數(shù)據(jù)分析整理，得到4種模型對(duì)應(yīng)的檢測(cè)標(biāo)簽識(shí)別率和檢測(cè)時(shí)間，結(jié)果如表9所示。表9四種模型測(cè)試比選結(jié)果由表9可知：FR-1檢測(cè)模型的檢測(cè)準(zhǔn)確率最高，平均精度mAP為79.2%；SSD-1檢測(cè)模型檢測(cè)準(zhǔn)確率稍低于前者，平均精度mAP為78.1%，但單張圖像的檢測(cè)時(shí)間較短。綜合比較，本研究選擇SSD-1檢測(cè)模型為改進(jìn)對(duì)象。4SSD-1檢測(cè)模型的改進(jìn)通過(guò)對(duì)4種檢測(cè)模型的準(zhǔn)確率和檢測(cè)速度進(jìn)行對(duì)比，最終選出最佳檢測(cè)模型為SSD-1。對(duì)此模型進(jìn)行改進(jìn)，改進(jìn)后的模型命名為New_SSD-1。4.1基于反卷積特征融合的模型改進(jìn)原始模型的特征提取網(wǎng)絡(luò)只進(jìn)行多尺度特征的提取工作，未將不同層級(jí)間的信息連接起來(lái)，導(dǎo)致特征融合性差，存在局限性，特征圖間的語(yǔ)義信息不充分。本文通過(guò)增加不同的特征提取層，并利用多尺度特征的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)目標(biāo)的多尺度特征融合，從而提高檢測(cè)準(zhǔn)確率。特征圖的維度與目標(biāo)特征語(yǔ)義信息呈反比，為加強(qiáng)網(wǎng)絡(luò)的特征表達(dá)和語(yǔ)義信息，特征圖通過(guò)反卷積運(yùn)算將高維中的低層特征反映到低維的高層特征里。反卷積運(yùn)算公式為：式中：s表示步長(zhǎng)；x是特征圖的像素；k是反卷積中卷積核的大小；p是padding的值?；谠寄Ｐ?，本文對(duì)5個(gè)尺度大小相同的特征提取層增加反卷積模塊，便于融合不同特征圖之間的特征。以一個(gè)特征提取層為例，其中s=1，i=3，k=3，p=0，輸出Fde=5×5的特征圖。融合反卷積過(guò)程如圖11所示。圖11融合反卷積過(guò)程改進(jìn)后的SSD算法是將反卷積運(yùn)算添加到頂層低維特征圖做上采樣，將低維特征圖與高維特征圖信息融合，使輸出的尺寸和通道數(shù)與上層特征圖一致，便于網(wǎng)絡(luò)提取目標(biāo)的特征，增強(qiáng)網(wǎng)絡(luò)融合特征的能力，結(jié)構(gòu)圖如圖12所示。圖12改進(jìn)后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖4.2New_SSD_VGG-16模型的訓(xùn)練與測(cè)試基于MatlabR2020b框架，完成對(duì)New_SSD_VGG-16模型的搭建，命名為New_SSD-1網(wǎng)絡(luò)。將原始模型與改進(jìn)后的New_SSD-1模型進(jìn)行對(duì)比，將二者的訓(xùn)練準(zhǔn)確率曲線和損失函數(shù)曲線放在同一坐標(biāo)軸內(nèi)分析討論，對(duì)比結(jié)果如圖13所示。圖13不同模型中準(zhǔn)確率與損失函數(shù)的對(duì)比從圖13a）可以看出，改進(jìn)后的模型初始準(zhǔn)確率較低而后波動(dòng)上升，當(dāng)?shù)螖?shù)達(dá)到30次左右時(shí)曲線趨于收斂，最終準(zhǔn)確率接近95%；從圖13b）可以看出，改進(jìn)后的模型損失曲線總體呈現(xiàn)下降趨勢(shì)，訓(xùn)練初期曲線下降速度快，而后趨于收斂，當(dāng)?shù)螖?shù)達(dá)到40次左右時(shí)，損失值收斂于0.1左右。將驗(yàn)證集在New_SSD-1模型上驗(yàn)證，驗(yàn)證結(jié)果如圖14所示。圖14New_SSD-1檢測(cè)模型驗(yàn)證結(jié)果兩種模型訓(xùn)練結(jié)果對(duì)比如表10所示。表10SSD-1模型改進(jìn)前后訓(xùn)練結(jié)果對(duì)比將同一種測(cè)試集放在兩種模型上進(jìn)行測(cè)試，對(duì)試驗(yàn)數(shù)據(jù)分析整理，得到兩種模型對(duì)應(yīng)的檢測(cè)標(biāo)簽識(shí)別率和檢測(cè)時(shí)間，結(jié)果如表11所示。由表11可知：改進(jìn)后的模型在不同的障礙物目標(biāo)上的檢測(cè)準(zhǔn)確率均有提升，mAP達(dá)到82.4%，較未改進(jìn)之前提升了4.3%，較FR-1模型提升了3.2%；對(duì)于小目標(biāo)物體垃圾一類(lèi)，AP為81.7%，較未改進(jìn)之前提升了4.4%，較FR-1模型提升了3.3%；單張圖片的平均檢測(cè)時(shí)間為0.071s，較未改進(jìn)前提升了14.5%，較FR-1模型提