基于MobileNetV2-SSD的燒結(jié)臺(tái)車車輪檢測(cè)

01研究背景燒結(jié)臺(tái)車是燒結(jié)機(jī)主要運(yùn)行部件，通常由在軌道上首尾相接的燒結(jié)小車組成，每臺(tái)燒結(jié)小車包括數(shù)十至上百套臺(tái)車車廂和車輪系統(tǒng)，通過(guò)這些車輪系統(tǒng)在軌道上順利運(yùn)行，進(jìn)而確保整個(gè)燒結(jié)臺(tái)車的運(yùn)行。在生產(chǎn)中，燒結(jié)臺(tái)車由于載重較大，并且需要長(zhǎng)時(shí)間運(yùn)行，車輪系統(tǒng)很容易出現(xiàn)故障，為保證安全生產(chǎn)，經(jīng)常需要對(duì)燒結(jié)臺(tái)車車輪加注潤(rùn)滑脂進(jìn)行潤(rùn)滑，國(guó)內(nèi)多年來(lái)針對(duì)燒結(jié)臺(tái)車車輪的加油潤(rùn)滑方法一直是采用燒結(jié)機(jī)停機(jī)狀態(tài)下通過(guò)人工進(jìn)行加油潤(rùn)脂，這種方法由于停機(jī)時(shí)間有限，車輪無(wú)法得到有效潤(rùn)滑，同時(shí)停機(jī)狀態(tài)會(huì)影響到燒結(jié)機(jī)的作業(yè)率，并且人工操作存在一定的安全問(wèn)題。通過(guò)機(jī)器視覺(jué)實(shí)時(shí)檢測(cè)出燒結(jié)臺(tái)車車輪的位置，輔助加油槍出槍，完成自動(dòng)加油，無(wú)需停機(jī)，成本較低，并且大大提高了燒結(jié)機(jī)的作業(yè)效率。目標(biāo)檢測(cè)是進(jìn)行場(chǎng)景內(nèi)容理解等高級(jí)視覺(jué)任務(wù)的前提，目前已應(yīng)用于智能視頻監(jiān)控、基于內(nèi)容的圖像檢索、機(jī)器人導(dǎo)航和增強(qiáng)實(shí)現(xiàn)等任務(wù)中。傳統(tǒng)的目標(biāo)檢測(cè)方法主要使用方向梯度直方圖、尺度不變特征變換等圖像特征對(duì)滑動(dòng)窗口進(jìn)行判別，由于滑動(dòng)窗口需要大量的計(jì)算開(kāi)銷，從而無(wú)法滿足應(yīng)用場(chǎng)景的實(shí)時(shí)檢測(cè)需求，因此，基于候選框的目標(biāo)檢測(cè)算法開(kāi)始得到廣泛應(yīng)用，同時(shí)隨著深度卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的突破性發(fā)展，其主要通過(guò)權(quán)值共享策略將網(wǎng)絡(luò)的層次不斷加深，從而使網(wǎng)絡(luò)具有更強(qiáng)的解析能力，同時(shí)由于智能硬件的算力不斷提高，對(duì)于復(fù)雜網(wǎng)絡(luò)的計(jì)算速率越來(lái)越快，目前的主流檢測(cè)網(wǎng)絡(luò)在足夠算力的硬件條件下完全能達(dá)到工業(yè)檢測(cè)的實(shí)時(shí)標(biāo)準(zhǔn)。02研究方法研究對(duì)象為燒結(jié)臺(tái)車車輪，試驗(yàn)數(shù)據(jù)為燒結(jié)現(xiàn)場(chǎng)采集的燒結(jié)臺(tái)車圖像數(shù)據(jù)?？紤]到燒結(jié)廠房24h不間斷工作，白天夜晚光照強(qiáng)度不一致，且現(xiàn)場(chǎng)環(huán)境比較惡劣，熱氣、沙塵都會(huì)對(duì)燒結(jié)臺(tái)車的成像產(chǎn)生影響，因此，在不同光照強(qiáng)度下以不同的角度對(duì)燒結(jié)臺(tái)車車輪進(jìn)行圖像采集，得到了不同尺寸的車輪圖像，同時(shí)通過(guò)圖像增強(qiáng)對(duì)數(shù)據(jù)集進(jìn)行進(jìn)一步擴(kuò)充，生成不同噪聲的燒結(jié)臺(tái)車車輪圖像，并以擴(kuò)充后的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，增強(qiáng)模型的泛化性能，處理后的數(shù)據(jù)如圖1所示。圖1不同光照強(qiáng)度不同環(huán)境下不同尺寸的燒結(jié)臺(tái)車車輪針對(duì)燒結(jié)臺(tái)車車輪的檢測(cè)方案主要以SSD網(wǎng)絡(luò)為檢測(cè)框架主體，其中backbone部分用輕量化的網(wǎng)絡(luò)MobileNetV2替代傳統(tǒng)的VGG或ResNet網(wǎng)絡(luò)，該檢測(cè)網(wǎng)絡(luò)的整體結(jié)構(gòu)圖如圖2所示。圖2

MobileNetV2-SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖該檢測(cè)網(wǎng)絡(luò)的特征提取部分采用MobileNetV2的主體架構(gòu)，去除了最后的平均池化層和卷積層，并用第五個(gè)Bottleneck和平均池化層前的卷積層生成兩個(gè)FeatureMap，大小為14x14x96、10x10x1280，額外的特征提取層分為四個(gè)模塊，每個(gè)模塊的結(jié)構(gòu)與MobileNetV2的Bottleneck結(jié)構(gòu)類似，同樣采用了倒殘差結(jié)構(gòu)，這四個(gè)塊每個(gè)都生成一個(gè)FeatureMap，大小分別為5x5x512，5x5x256，3x3x256，1x1x256，加上主干網(wǎng)絡(luò)，該檢測(cè)網(wǎng)絡(luò)共生成6個(gè)尺寸不同的FeatureMap，形成多尺度特征圖，并在特征圖的每個(gè)位置上生成了不同尺度和長(zhǎng)寬比的Priorbox（先驗(yàn)框）并直接進(jìn)行檢測(cè)，最后通過(guò)非極大抑制篩選出最精確的檢測(cè)框。采用的檢測(cè)網(wǎng)絡(luò)整體架構(gòu)為SSD，該網(wǎng)絡(luò)不需要額外生成候選框區(qū)域，直接由卷積層生成特征圖進(jìn)行檢測(cè)，因此檢測(cè)速度遠(yuǎn)遠(yuǎn)快于Faster-RCNN等檢測(cè)網(wǎng)絡(luò)，同時(shí)該網(wǎng)絡(luò)可生成多尺度特征圖以及設(shè)定不同長(zhǎng)寬比的先驗(yàn)框，使得該網(wǎng)絡(luò)針對(duì)不同尺寸的目標(biāo)都有很好的檢測(cè)效果；另外該網(wǎng)絡(luò)的主干部分為輕量級(jí)網(wǎng)絡(luò)MobileNetV2，因此相比較其他的SSD檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的檢測(cè)速度有了進(jìn)一步的提高，更適合在移動(dòng)端或嵌入式設(shè)備上使用。03研究結(jié)果提出的輕量型目標(biāo)檢測(cè)網(wǎng)絡(luò)MobileNetV2-SSD應(yīng)用到工業(yè)現(xiàn)場(chǎng)，得到不同光照條件、不同工作環(huán)境下的燒結(jié)臺(tái)車車輪檢測(cè)效果圖如圖3所示。圖3

不同生產(chǎn)環(huán)境下不同尺寸的燒結(jié)臺(tái)車車輪檢測(cè)效果為了檢驗(yàn)?zāi)Ｐ驮诓煌布碌臋z測(cè)能力，分別在不同算力的GPU、CPU以及一些移動(dòng)端、嵌入式設(shè)備上對(duì)模型的檢測(cè)速率進(jìn)行了測(cè)試，測(cè)試結(jié)果見(jiàn)表1。表1

MobileNetV2-SSD檢測(cè)模型在不同硬件下的檢測(cè)效果為了驗(yàn)證燒結(jié)臺(tái)車車輪檢測(cè)模型MobileNetV2-SSD的優(yōu)越性，將數(shù)據(jù)集放在不同的目標(biāo)檢測(cè)網(wǎng)絡(luò)上進(jìn)行測(cè)試，其中包括Faster-RCNN、VGG16-SSD、MobileNetV2-Yolov3以及Tiny-YOLOV4等，測(cè)試結(jié)果如圖4所示。（a）準(zhǔn)確率

（b）召回率（c）平均類別準(zhǔn)確率

（d）檢測(cè)速率圖4不同檢測(cè)模型的檢測(cè)效果對(duì)比04研究結(jié)論提出的目標(biāo)檢測(cè)模型MobileNetV2-SSD，主干網(wǎng)絡(luò)采用了輕量型的MobileNetV2，大大減少了網(wǎng)絡(luò)參數(shù)，使其可以搭載在移動(dòng)端或嵌入式設(shè)備上運(yùn)行，以應(yīng)對(duì)燒結(jié)現(xiàn)場(chǎng)復(fù)雜的工作環(huán)境；整體檢測(cè)架構(gòu)采用了基于多尺度特征圖的SSD檢測(cè)，針對(duì)不同尺寸大小的目標(biāo)均有非常好的檢測(cè)效果。同時(shí)模型在數(shù)據(jù)集上的準(zhǔn)確率、召回率以及mAP上都達(dá)到了90%以上，具有非常高的檢測(cè)精度。在檢測(cè)速率方面，GPU上整體表現(xiàn)為40fps以上，CPU上的檢測(cè)速度在30~40fps之間，在移動(dòng)端和嵌入式設(shè)備上也可以做到3~6次/s以上的檢測(cè)，基本滿足了工業(yè)實(shí)時(shí)檢測(cè)的標(biāo)