無(wú)人機(jī)巡檢圖像電力小部件識(shí)別技術(shù)研究

1、無(wú)人機(jī)巡檢圖像電力小部件識(shí)別技術(shù)研究摘  要：隨著無(wú)人機(jī)UAV在電巡線作業(yè)中的應(yīng)用推廣，對(duì)無(wú)人機(jī)巡檢圖像的目標(biāo)識(shí)別需求也越來(lái)越強(qiáng)烈。傳統(tǒng)的電力部件識(shí)別流程常使用經(jīng)典的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)SVM、隨機(jī)森林或adaboost，結(jié)合梯度、顏色或紋理等淺層特征來(lái)對(duì)電力部件進(jìn)行識(shí)別，難以到達(dá)較高的準(zhǔn)確率。隨著卷積神經(jīng)網(wǎng)絡(luò)CNN在目標(biāo)識(shí)別中的興起，基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)RCNN通過(guò)使用CNN從圖像中提取可能含有目標(biāo)的區(qū)域來(lái)檢測(cè)并識(shí)別目標(biāo)。FastR-CNN和FasterR-CNN利用CNN網(wǎng)絡(luò)提取圖像特征，后接一個(gè)區(qū)域提議層，優(yōu)化了提取可能含有目標(biāo)區(qū)域的方式并改進(jìn)識(shí)別目標(biāo)的分類器

2、，使得目標(biāo)的檢測(cè)和識(shí)別幾乎實(shí)時(shí)。本文詳細(xì)描述了FasterR-CNN算法流程，并分析了幾個(gè)關(guān)鍵參數(shù)，如dropout比例、nms、批處理尺寸對(duì)識(shí)別結(jié)果的影響，給出了一些針對(duì)FasterR-CNN算法的建設(shè)性調(diào)優(yōu)建議。最后利用實(shí)際采集的電力小部件巡檢數(shù)據(jù)構(gòu)建的數(shù)據(jù)集對(duì)FasterR-CNN算法進(jìn)行測(cè)試驗(yàn)證。實(shí)驗(yàn)結(jié)果說(shuō)明，基于深度學(xué)習(xí)的識(shí)別方法實(shí)現(xiàn)電力小部件的識(shí)別是可行的，而且利用FasterR-CNN進(jìn)行多種類別的電力小部件識(shí)別定位可以到達(dá)每張近80ms的識(shí)別速度和92.7%的準(zhǔn)確率。這些結(jié)果也說(shuō)明FasterR-CNN算法的優(yōu)勢(shì)。關(guān)鍵詞：無(wú)人機(jī)巡檢圖像 電力部件識(shí)別中圖分類號(hào)：TM7

3、55                文獻(xiàn)標(biāo)識(shí)碼：A            文章編號(hào)：1674-098X202105b-0110-04近幾年隨著無(wú)人機(jī)UnmannedAerialVehicle，UAV在各行業(yè)應(yīng)用的逐漸普及，電力巡線無(wú)人機(jī)受到各大電網(wǎng)公司的廣泛關(guān)注。一方面，無(wú)人機(jī)巡線具有野外作業(yè)風(fēng)險(xiǎn)低、本錢低以及作業(yè)靈活

4、的特點(diǎn);另一方面，產(chǎn)生的海量數(shù)據(jù)需要經(jīng)過(guò)人工判讀才能得到最終的巡檢報(bào)告，因此采用圖像識(shí)別的方法對(duì)這些數(shù)據(jù)進(jìn)行部件檢測(cè)識(shí)別具有十分重要的意義。無(wú)人機(jī)巡檢得到的圖像背景復(fù)雜、小部件與背景比照度低、不同地區(qū)不同季節(jié)背景差異較大、存在大量干擾。傳統(tǒng)的電力部件識(shí)別算法主要采用SIFTScale-invariantfeaturetransform、邊緣檢測(cè)符、HOGHistogramofOrientedGridients等，并不很好的適用于電力部件，采用的分割算法主要基于部件外圍輪廓骨架、自適應(yīng)閾值等進(jìn)行圖像分割。這些方法缺少對(duì)低層特征進(jìn)行綜合利用進(jìn)而到達(dá)全局最優(yōu)識(shí)別的目的。Malik團(tuán)隊(duì)的輪廓檢測(cè)及層次

5、圖像分割方法和多尺度組合聚合MultiscaleCombinatorialGrouping，MCG方法以及J.Uijlings和KvandeSande等人提出的基于選擇性搜索SelectiveSearch的目標(biāo)識(shí)別方法給出了將多種低層次特征進(jìn)行全局優(yōu)化并構(gòu)建層次結(jié)構(gòu)模型的范式，提高了準(zhǔn)確率。本文研究了深度學(xué)習(xí)在電力部件識(shí)別中的應(yīng)用，以及采用優(yōu)化算法對(duì)參數(shù)進(jìn)行調(diào)優(yōu)，針對(duì)電力小部件識(shí)別問(wèn)題分析了FasterR-CNN算法的效果和性能。1 基于區(qū)域提議的卷積神經(jīng)網(wǎng)絡(luò)RCNN電力部件識(shí)別主要有目標(biāo)位置確實(shí)定與目標(biāo)類別的判定。對(duì)于目標(biāo)位置確實(shí)定，主要有滑動(dòng)窗和區(qū)域提議的方式。其中區(qū)域提議方式識(shí)

6、別的典型算法是基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)RCNN。Ross等在2021年提出的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)方法RCNN，成為基于區(qū)域提議方式進(jìn)行識(shí)別的典型方案。在檢測(cè)階段域。RCNN分為以下4個(gè)步驟：1使用視覺(jué)方法如SelectiveSearch生成大量候選區(qū)。2對(duì)每個(gè)候選區(qū)域用CNN進(jìn)行特征提取，形成高維特征向量。3將這些特征量送入一個(gè)線性分類器計(jì)算屬于某個(gè)類別的概率，用于判斷所包含對(duì)象。4對(duì)目標(biāo)外圍框的位置和大小進(jìn)行一個(gè)精細(xì)的回歸。RCNN第一步的區(qū)域提議是選擇性搜索，使用得分最高的前2000個(gè)區(qū)域可以有效減少后面特征提取的計(jì)算量，能很好地應(yīng)對(duì)尺度問(wèn)題;CNN在實(shí)現(xiàn)上采用GPU進(jìn)行并行計(jì)算，外圍框回

7、歸使得對(duì)目標(biāo)定位的精確性進(jìn)一步提升。在訓(xùn)練階段，RCNN也有以下4個(gè)步驟：1首先，使用選擇性搜索集中生成每張圖片的候選區(qū)域，并對(duì)每個(gè)候選區(qū)域用CNN提取特征，這里CNN采用的是訓(xùn)練好的ImageNet網(wǎng)絡(luò)。2其次，利用候選區(qū)域和提取出的特征對(duì)ImageNet網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，調(diào)優(yōu)依據(jù)標(biāo)準(zhǔn)的反向傳播算法進(jìn)行，從特征層開始向后調(diào)整各層權(quán)重。3然后，以特征層輸出的高維特征向量和目標(biāo)類別標(biāo)簽為輸入，訓(xùn)練支持向量機(jī)。4最后，訓(xùn)練對(duì)目標(biāo)外圍框位置和大小進(jìn)行精細(xì)回歸的回歸器。2021年和2021年，Ross和微軟亞洲研究院的研究者陸續(xù)提出了改進(jìn)的RCNN方法，包括首次引入空間金字塔池化層從而放寬了對(duì)輸入圖片尺寸

8、限制并提高準(zhǔn)確率的SPPnet;采用自適應(yīng)尺度池化能夠?qū)φ麄€(gè)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)從而提高深層網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率的FastR-CNN;最后是FasterR-CNN，通過(guò)構(gòu)建精巧的區(qū)域提議網(wǎng)絡(luò)來(lái)代替時(shí)間開銷大的選擇性搜索方法，從而打破計(jì)算區(qū)域提議時(shí)間開銷大的瓶頸問(wèn)題，使實(shí)時(shí)識(shí)別成為可能。本文主要研究了利用FasterR-CNN方法對(duì)電力部件進(jìn)行識(shí)別。2 基于FasterR-CNN方法的電力部件識(shí)別定位2.1電力部件識(shí)別的網(wǎng)絡(luò)訓(xùn)練Faster-RCNN方法包含兩個(gè)CNN網(wǎng)絡(luò)：區(qū)域提議網(wǎng)絡(luò)RPNRegionalProposalNetwork和FastR-CNN檢測(cè)網(wǎng)絡(luò)。訓(xùn)練階段的主要步驟如圖1所示。1

9、預(yù)訓(xùn)練CNN模型。RPN網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)都需要預(yù)訓(xùn)練的ImageNet網(wǎng)絡(luò)進(jìn)行初始化，通常采用的網(wǎng)絡(luò)主要有ZFnet網(wǎng)絡(luò)和VGG16網(wǎng)絡(luò)。因本文數(shù)據(jù)集規(guī)模較小，應(yīng)選用ZFnet網(wǎng)絡(luò)。利用ILSVRC2021圖像分類任務(wù)中的訓(xùn)練數(shù)據(jù)120萬(wàn)張圖像，1000類對(duì)ZFnet模型進(jìn)行預(yù)訓(xùn)練。區(qū)域提議網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)都是在ZFnet輸出后添加特定的層得到的。這些特定層可以對(duì)輸入圖片提取出可能含有目標(biāo)的區(qū)域，并計(jì)算出該區(qū)域?yàn)槟繕?biāo)的概率。2RPN網(wǎng)絡(luò)訓(xùn)練。用電力部件圖像構(gòu)建圖像訓(xùn)練集，但電力部件圖像集與預(yù)訓(xùn)練圖像集無(wú)論是類別數(shù)量還是圖像樣式都存在很大的差異。在用電力部件圖像集訓(xùn)練RPN網(wǎng)絡(luò)時(shí)，直接用上一步預(yù)訓(xùn)練

10、的ZFnet模型初始化RPN，使用反向傳播算法對(duì)區(qū)域提議網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)。RPN網(wǎng)絡(luò)輸入為任意大小圖像，輸出為可能包含目標(biāo)的區(qū)域框。如圖3所示，在ZFnet的CONV5后面添加一個(gè)小的卷積層，對(duì)于特征圖上的每一個(gè)位置對(duì)應(yīng)原始圖像上一個(gè)位置，由小卷積層進(jìn)行卷積運(yùn)算，即在此位置開一個(gè)小窗口進(jìn)行卷積運(yùn)算，得到同一個(gè)位置對(duì)應(yīng)的256維向量由于有256個(gè)通道，該向量反映了該位置小窗口對(duì)應(yīng)原始圖像上某一窗口內(nèi)的深層特征。由這個(gè)256維的特征向量可以預(yù)測(cè)：1該位置小窗口屬于目標(biāo)/背景的概率值，即得分;2該位置附近包含目標(biāo)的窗口相對(duì)于該位置小窗口的偏差，用4個(gè)參數(shù)表示，2個(gè)平移，2個(gè)放縮。采用3種不同尺寸和3種不

11、同比例1：1，1：2，2：1組合成的9種基準(zhǔn)小窗口對(duì)包含目標(biāo)的窗口的位置進(jìn)行預(yù)測(cè)，可以使區(qū)域提議更加準(zhǔn)確。3FastR-CNN檢測(cè)網(wǎng)絡(luò)訓(xùn)練。根據(jù)上一步生成的區(qū)域提議結(jié)果是基于Fast-RCNN方法訓(xùn)練獨(dú)立的檢測(cè)網(wǎng)絡(luò)，檢測(cè)網(wǎng)絡(luò)也利用ZFnet預(yù)訓(xùn)練模型初始化。對(duì)輸入圖像進(jìn)行5層卷積網(wǎng)絡(luò)的特征提取，第5層特征圖CONV5是一個(gè)256×256的特征圖，取出CONV5上對(duì)應(yīng)的深度特征，將256個(gè)通道內(nèi)的全部特征串聯(lián)成一個(gè)高維4096維特征向量，稱為FC6特征層，后面添加另一個(gè)4096維的特征層，形成FC7，F(xiàn)C6和FC7之間采用完全連接。由FC7特征層可預(yù)測(cè)：候選區(qū)域框?qū)儆诿總€(gè)類別的概率，即

12、得分;目標(biāo)對(duì)象外圍框的更適宜的位置，用它相對(duì)于候選區(qū)域框的2個(gè)平移和2個(gè)放縮共4個(gè)參數(shù)表示。通過(guò)預(yù)先標(biāo)記的信息利用反向傳播算法對(duì)該檢測(cè)網(wǎng)絡(luò)進(jìn)行微調(diào)。4兩個(gè)網(wǎng)絡(luò)的CNN共享和聯(lián)合調(diào)優(yōu)。將兩個(gè)網(wǎng)絡(luò)單獨(dú)訓(xùn)練并未實(shí)現(xiàn)卷積網(wǎng)絡(luò)的參數(shù)進(jìn)行共享。利用第三步訓(xùn)練的檢測(cè)網(wǎng)絡(luò)來(lái)初始化RPN網(wǎng)絡(luò)，并固定共享的深度卷積層如圖2，對(duì)RPN網(wǎng)絡(luò)的特殊局部進(jìn)行調(diào)優(yōu)，為了與檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)，稱此局部為RPN網(wǎng)絡(luò)的FC層，這樣兩個(gè)網(wǎng)絡(luò)就共享了深度卷積層。最后，固定共享的卷積層，對(duì)FastR-CNN的FC層進(jìn)行調(diào)優(yōu)。這樣兩個(gè)網(wǎng)絡(luò)就共享了卷積層并形成了一個(gè)聯(lián)合的網(wǎng)絡(luò)。2.2檢測(cè)識(shí)別過(guò)程由上可知，RPN網(wǎng)絡(luò)和FastR-CNN網(wǎng)絡(luò)最終共

13、用同一個(gè)5層的卷積神經(jīng)網(wǎng)絡(luò)，使得整個(gè)檢測(cè)過(guò)程只需完成一系列卷積運(yùn)算即可完成檢測(cè)識(shí)別過(guò)程，徹底解決了原來(lái)區(qū)域提議步驟時(shí)間開銷大的瓶頸問(wèn)題。檢測(cè)識(shí)別的過(guò)程如圖2所示，其實(shí)現(xiàn)步驟為：1對(duì)整個(gè)圖像進(jìn)行系列卷積運(yùn)算，得到特征圖CONV5;2由區(qū)域提議網(wǎng)絡(luò)在特征圖上生成大量候選區(qū)域框;3對(duì)候選區(qū)域框按照得分排序后，進(jìn)行非最大值抑制，保存得分較高的前300個(gè)框;4取出特征圖上候選區(qū)域框內(nèi)的特征形成高維特征向量，由檢測(cè)網(wǎng)絡(luò)計(jì)算類別得分，并預(yù)測(cè)更適宜的目標(biāo)外圍框位置。3 實(shí)驗(yàn)結(jié)果比照無(wú)人機(jī)拍攝影像具有分辨率較高、目標(biāo)較小的特點(diǎn)，拍攝影像的角度具有多樣性和隨機(jī)性。本文識(shí)別3類小型電力部件間隔棒、防震錘和

14、均壓環(huán)。3.1訓(xùn)練樣本處理本文構(gòu)建的數(shù)據(jù)集為多旋翼無(wú)人機(jī)和直升機(jī)巡檢圖像從時(shí)間上覆蓋了春、夏、秋、冬四個(gè)季節(jié)。原始影像像素大小為5184×3456如圖3a，截取以目標(biāo)為主體的正方形小塊圖像，統(tǒng)一放縮至500×500如圖3b，作為訓(xùn)練樣本。3.2訓(xùn)練集和測(cè)試集構(gòu)建本次試驗(yàn)，對(duì)于間隔棒、均壓環(huán)和防震錘的每一類部件，訓(xùn)練樣本分別為1500張，三類目標(biāo)共4500張，測(cè)試樣本分別為500張，三類目標(biāo)共1500張。對(duì)訓(xùn)練集中每張圖片里完整出現(xiàn)的沒(méi)有被遮擋的小型電力部件標(biāo)記其外圍框訓(xùn)練集圖片中不完整或被遮擋的電力部件不標(biāo)記;而對(duì)測(cè)試集，要標(biāo)出每張圖片里出現(xiàn)的所有電力部件，包括不完整的和被

15、遮擋的。測(cè)試時(shí)，識(shí)別出的外圍框與標(biāo)記的外圍框重疊面積到達(dá)標(biāo)記外圍框的90%以上時(shí)就視為一次成功識(shí)別。本次試驗(yàn)中，評(píng)價(jià)指標(biāo)為正確率和召回率，其中正確率為目標(biāo)類別標(biāo)記正確的外圍框個(gè)數(shù)與所有標(biāo)記出的外圍框個(gè)數(shù)的比值;召回率為目標(biāo)類別標(biāo)記正確的外圍框個(gè)數(shù)與所有標(biāo)準(zhǔn)的外圍框個(gè)數(shù)的比值。由于本次試驗(yàn)識(shí)別的類別僅有三種類型，因此分別對(duì)每一類電力部件識(shí)別的正確率和召回率做統(tǒng)計(jì)。3.3實(shí)驗(yàn)結(jié)果本文使用Caffe框架實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型。根據(jù)mAP最大時(shí)對(duì)應(yīng)的參數(shù)，對(duì)測(cè)試集使用Faster-RCNN進(jìn)行部件識(shí)別，F(xiàn)asterR-CNN方法識(shí)別的準(zhǔn)確率較高。這主要是由于區(qū)域提議網(wǎng)絡(luò)可以產(chǎn)生更精準(zhǔn)的候選框，并且Fas

16、terR-CNN在網(wǎng)絡(luò)訓(xùn)練的第2步對(duì)全部特征層和卷積層的權(quán)重進(jìn)行了調(diào)優(yōu)。并且FasterR-CNN采用的區(qū)域提議網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)具有很好的泛化能力，對(duì)各種不同方向的部件都可正確識(shí)別。圖4是利用FasterRCNN方法對(duì)同一張圖片進(jìn)行間隔棒識(shí)別的結(jié)果，并按照順時(shí)針?lè)较驗(yàn)閳D中3個(gè)間隔棒標(biāo)號(hào)，表1表示FasterRCNN方法將間隔棒識(shí)別為間隔棒的概率。本文所有試驗(yàn)均基于同一臺(tái)效勞器而進(jìn)行測(cè)試，測(cè)試集圖片大小為5184×3456，F(xiàn)asterR-CNN方法使用NivdiaTitanBlackGPU6G顯存進(jìn)行卷積計(jì)算，識(shí)別過(guò)程耗用3G顯存，非最大值抑制采用GPU實(shí)現(xiàn)。從表2可以看出，F(xiàn)asterR-CNN中，由于卷積特征的共用區(qū)域提議網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)的特殊層都添加在共用的特征圖CONV5的后面，使得區(qū)域提議時(shí)間幾乎可以忽略不計(jì)，檢測(cè)時(shí)間可以在近80ms內(nèi)即可完成。4 結(jié)語(yǔ)本文驗(yàn)證了利用FasterR-CNN算法對(duì)電力小部件識(shí)別的準(zhǔn)確性和效率，并分析了不同參數(shù)對(duì)檢測(cè)結(jié)果的影響。實(shí)驗(yàn)說(shuō)明利用經(jīng)過(guò)GPU加速可以近實(shí)時(shí)目標(biāo)檢測(cè)和識(shí)別，可為后期無(wú)人機(jī)巡檢圖像的智能化處理及巡檢無(wú)人機(jī)的精確拍攝奠定良好的根底。此外，根據(jù)深度學(xué)習(xí)的特點(diǎn)，構(gòu)建更大的樣本庫(kù)可能進(jìn)一步提高準(zhǔn)確率。下一步的工