基于無(wú)人機(jī)智能視覺(jué)的大型特種設(shè)備表面缺陷檢測(cè)

目前大型特種設(shè)備的表面缺陷檢測(cè)主要依靠傳統(tǒng)人工檢測(cè)方式，該方式需要進(jìn)行攀登作業(yè)并通過(guò)檢測(cè)儀器或目視檢查有無(wú)明顯缺陷，若存在顏色對(duì)比不突出的小裂紋或缺陷，容易出現(xiàn)漏檢，檢測(cè)時(shí)間過(guò)長(zhǎng)也會(huì)導(dǎo)致檢測(cè)人員勞累等問(wèn)題，故一方面檢測(cè)準(zhǔn)確率較低，另一方面人工檢測(cè)效率不高。加上現(xiàn)場(chǎng)高空、高溫、粉塵、大風(fēng)等惡劣環(huán)境影響，傳統(tǒng)檢測(cè)方式不僅勞動(dòng)強(qiáng)度高，安全風(fēng)險(xiǎn)大，而且檢測(cè)人員往往無(wú)法到達(dá)一些重要部位（如門(mén)式起重機(jī)主梁下部、象鼻梁和人字架頂部等），難以開(kāi)展細(xì)致檢查，容易出現(xiàn)漏檢或誤檢。近年來(lái)，由于無(wú)人機(jī)巡檢具有高效、靈活和低成本的特點(diǎn)，己被廣泛應(yīng)用于電力設(shè)施與高壓輸電線(xiàn)巡檢、風(fēng)力發(fā)電機(jī)葉片表面檢測(cè)、建筑物墻面檢測(cè)和植保檢測(cè)等領(lǐng)域，并且取得了一些效果，逐漸成為一種不可替代的檢測(cè)手段。然而特種設(shè)備的無(wú)人機(jī)巡檢尚處于起步階段，尤其對(duì)于大型機(jī)電類(lèi)特種設(shè)備（起重機(jī)、大型游樂(lè)設(shè)施）的檢測(cè)應(yīng)用更是鮮見(jiàn)報(bào)道。因此，攻克大型特種設(shè)備缺乏表面缺陷高效檢測(cè)和量化識(shí)別的難題，具有較大的意義和價(jià)值。部分大型特種設(shè)備的結(jié)構(gòu)十分復(fù)雜，如起重機(jī)和大型游樂(lè)設(shè)施等，其涉及到多種維度的檢測(cè)。因?yàn)楸粰z物大多是立體的且不同表面的光照情況不同，裂紋的形態(tài)差異很大；另外大型特種設(shè)備的種類(lèi)很多，所以裂紋的背景也不同。除此之外，銹斑、水漬以及物體間本身的縫隙等偽裂紋缺陷也會(huì)擾亂檢測(cè)結(jié)果。為解決門(mén)式起重機(jī)的下蓋板和塔式起重機(jī)的臂架端部及塔帽頂端等空間位置受限部位的拍攝視角問(wèn)題，中國(guó)礦業(yè)大學(xué)的研究人員研制了一種搭載雙云臺(tái)的無(wú)人機(jī)智能視覺(jué)檢測(cè)系統(tǒng)，該系統(tǒng)可以快速、全面、高質(zhì)量地采集被檢測(cè)部位的圖像。在此基礎(chǔ)上，提出了一種適應(yīng)罐區(qū)圍堰墻面以及高空建筑物墻面等具有簡(jiǎn)單表面特征的墻面缺陷檢測(cè)和識(shí)別算法，以對(duì)簡(jiǎn)單背景下的表面裂紋缺陷進(jìn)行檢測(cè)與評(píng)價(jià)，為具有復(fù)雜結(jié)構(gòu)和表面特征的大型特種設(shè)備表面缺陷檢測(cè)奠定基礎(chǔ)。1檢測(cè)原理01搭載雙云臺(tái)無(wú)人機(jī)的設(shè)計(jì)圖1無(wú)人機(jī)雙云臺(tái)檢測(cè)系統(tǒng)結(jié)構(gòu)示意為了更加方便地拍攝大型工業(yè)設(shè)備、大型游樂(lè)設(shè)施及高危險(xiǎn)級(jí)別建筑上人員不易到達(dá)的關(guān)鍵受力部位，在無(wú)人機(jī)上方增加了一個(gè)額外的云臺(tái)構(gòu)成雙云臺(tái)系統(tǒng)，不僅能使云臺(tái)在水平方向的檢測(cè)范圍達(dá)到±155°，更能在豎直方向上接近無(wú)死角檢測(cè)。首先通過(guò)圖1所示的檢測(cè)裝置拍攝被測(cè)物體表面的圖像，然后利用FasterR-CNN神經(jīng)網(wǎng)絡(luò)對(duì)拍攝的圖像進(jìn)行缺陷的定性檢測(cè)，然后對(duì)缺陷區(qū)域進(jìn)行形態(tài)學(xué)檢測(cè)，進(jìn)一步去除偽裂紋。系統(tǒng)搭載的相機(jī)分辨率為4800萬(wàn)像素，鏡頭焦距為25mm，畸變率小于2%，只要無(wú)人機(jī)距離檢測(cè)目標(biāo)5m內(nèi)就可以得到清晰的缺陷圖像，可以滿(mǎn)足無(wú)人機(jī)在安全距離外檢測(cè)結(jié)構(gòu)表面裂紋的要求。02FasterR-CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)裂紋檢測(cè)算法FasterR-CNN神經(jīng)網(wǎng)絡(luò)是由卷積神經(jīng)網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)、池化層、最終分類(lèi)器4部分組成的，區(qū)域生成網(wǎng)絡(luò)和FasterR-CNN對(duì)象檢測(cè)網(wǎng)絡(luò)組合生成共享整個(gè)圖像的卷積特征和檢測(cè)網(wǎng)絡(luò)，F(xiàn)asterR-CNN網(wǎng)絡(luò)用于檢測(cè)圖像，因?yàn)閰^(qū)域生成網(wǎng)絡(luò)的大部分檢測(cè)是在GPU（圖形處理器）中完成的，所以檢測(cè)速度大大提高。使用FasterR-CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)裂紋等缺陷進(jìn)行檢測(cè)的流程為：首先通過(guò)分類(lèi)層和回歸層實(shí)現(xiàn)缺陷的分類(lèi)和檢測(cè)，并于區(qū)域生成網(wǎng)絡(luò)中對(duì)第一組分類(lèi)和回歸進(jìn)行分類(lèi)，以檢測(cè)區(qū)域生成網(wǎng)絡(luò)是否存在裂紋；然后在池化層的預(yù)測(cè)網(wǎng)絡(luò)中對(duì)第二組進(jìn)行分類(lèi)和回歸，其中回歸確定了圖像中候選區(qū)域的精確位置。圖2基于FasterR-CNN神經(jīng)網(wǎng)絡(luò)的裂紋缺陷檢測(cè)算法步驟03裂紋參數(shù)識(shí)別算法檢測(cè)出缺陷后，還要測(cè)量出裂紋的面積、長(zhǎng)度，得到裂紋的寬度以及長(zhǎng)寬比，利用這些參數(shù)進(jìn)行偽裂紋的剔除，以提供準(zhǔn)確有效的數(shù)據(jù)庫(kù)，評(píng)估設(shè)備結(jié)構(gòu)的安全性。裂紋參數(shù)識(shí)別與評(píng)價(jià)算法流程圖如圖3所示，首先需進(jìn)行圖像預(yù)處理（即圖像的灰度化處理、利用濾波消除噪點(diǎn)、增加圖像的對(duì)比度以及圖像的二值化處理等步驟）進(jìn)行裂紋邊緣檢測(cè)（Canny算子、Sobel算子等）、裂紋參數(shù)的計(jì)算，最后進(jìn)行偽裂紋的去除。圖3裂紋參數(shù)識(shí)別與評(píng)價(jià)算法流程圖檢測(cè)具體流程如下：①首先利用FasterR-CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)被檢測(cè)圖像進(jìn)行裂紋的定性檢測(cè)，然后將檢測(cè)出有裂紋的部分提取出來(lái)，并對(duì)該區(qū)域進(jìn)行灰度化處理；②利用中值濾波進(jìn)行降噪處理，然后利用線(xiàn)性灰度拉升對(duì)灰度圖像進(jìn)行對(duì)比度增強(qiáng)處理更好；③在二值化分割過(guò)程中采用最大熵閾值法確定圖像分割閾值，增加裂紋和背景的差異程度；④使用Canny算子提取裂縫邊緣，然后將裂紋圖像進(jìn)行填充處理并統(tǒng)計(jì)填充的像素?cái)?shù)目Npixels1。因?yàn)榱鸭y的方向各異，所以為了計(jì)算裂紋的最大和最小寬度，需要將裂紋在行方向和列方向進(jìn)行投影；⑤利用腐蝕、膨脹等基本操作對(duì)圖像進(jìn)行細(xì)化，并去除圖像中的短支噪聲，統(tǒng)計(jì)骨架化的裂紋像素?cái)?shù)Npixels2；⑥根據(jù)無(wú)人機(jī)拍攝時(shí)距物體的實(shí)際距離，然后根據(jù)相關(guān)公式計(jì)算單個(gè)像元的實(shí)際大小，最后計(jì)算裂紋的面積、長(zhǎng)度、寬度等參數(shù)。單個(gè)像元實(shí)際大小的計(jì)算原理如圖4所示。圖4中s為單個(gè)像元的大小，f為相機(jī)焦距，H近似為無(wú)人機(jī)距拍攝物體的實(shí)際距離，則d為單個(gè)像元對(duì)應(yīng)的實(shí)際大小，計(jì)算公式：d=(s×H)/f。圖4單個(gè)像元實(shí)際大小的計(jì)算原理示意將單個(gè)像元形狀視為正方形，即可根據(jù)公式L=d×Npixels2得到裂紋的實(shí)際長(zhǎng)度L，根據(jù)公式S=d×d×Npixels1得到裂紋真實(shí)面積S，最后根據(jù)公式式D=S/L計(jì)算裂紋平均寬度D。由于大型特種設(shè)備種類(lèi)多且雜，且具有復(fù)雜的表面背景以及其他干擾因素，F(xiàn)asterR-CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)檢測(cè)出的缺陷很有可能包括銹斑、水漬以及物體間隙等偽裂紋缺陷，所以需要對(duì)檢測(cè)出裂紋的區(qū)域做進(jìn)一步確認(rèn)?？紤]到真實(shí)裂紋大多數(shù)情況下具有較大的長(zhǎng)寬比，而偽裂紋則相反，通常是一些小圓點(diǎn)或小塊。因此，當(dāng)檢測(cè)出的裂紋具有大的長(zhǎng)寬比以及面積較小時(shí)，就可以認(rèn)為其是真裂紋，反之則為偽裂紋。04基于無(wú)人機(jī)視覺(jué)的結(jié)構(gòu)表面裂紋檢測(cè)流程編寫(xiě)MATLAB程序，調(diào)用裂紋缺陷檢測(cè)與識(shí)別算法，批量完成缺陷的自動(dòng)檢測(cè)。首先利用無(wú)人機(jī)去集圖像，然后利用FasterR-CNN網(wǎng)絡(luò)對(duì)采集到的圖像進(jìn)行檢測(cè)，檢測(cè)到有裂紋則用裂紋的最小外接矩形框圈出，再將圈出的區(qū)域提取出來(lái)；最后，調(diào)用上述算法去除偽裂紋，其檢測(cè)流程如圖5所示。圖5基于無(wú)人機(jī)視覺(jué)的大型特種設(shè)備表面裂紋缺陷檢測(cè)流程圖2裂紋的定性檢測(cè)試驗(yàn)試驗(yàn)中采用的深度學(xué)習(xí)框架為T(mén)ensorFlow，同時(shí)為了加快訓(xùn)練的進(jìn)度還可以使用GPU對(duì)其進(jìn)行訓(xùn)練。最終的檢測(cè)效果由檢測(cè)的準(zhǔn)確率和速度所決定。訓(xùn)練樣本為200張地面裂紋圖片、60張墻壁裂紋圖片以及40張建筑物表面裂紋圖片。部分裂紋缺陷訓(xùn)練數(shù)據(jù)集圖像如圖6所示。圖6部分裂紋缺陷訓(xùn)練數(shù)據(jù)集圖像部分測(cè)試圖像的裂紋檢測(cè)效果如圖7所示，紅色框的左上角里面的數(shù)字表示該區(qū)域?yàn)榱鸭y的概率。圖7部分測(cè)試圖像的裂紋檢測(cè)效果從圖7中不難看出，該神經(jīng)網(wǎng)絡(luò)對(duì)圖像中裂紋的檢測(cè)有較高的準(zhǔn)確率，并且對(duì)裂紋的定位也較準(zhǔn)確。經(jīng)過(guò)對(duì)測(cè)試結(jié)果的統(tǒng)計(jì)，該系統(tǒng)裂紋檢測(cè)的準(zhǔn)確率高達(dá)95.74％。接下來(lái)，通過(guò)進(jìn)一步的計(jì)算實(shí)現(xiàn)對(duì)裂紋幾何尺寸的測(cè)算。3裂紋的量化識(shí)別試驗(yàn)首先通過(guò)無(wú)人機(jī)的拍攝系統(tǒng)獲取裂紋的原始圖像，之后使用最小矩形框選的方法把圖像中的裂紋框選出來(lái)，最后測(cè)量出無(wú)人機(jī)與裂紋的距離。不同裂紋的真實(shí)幾何尺寸如表1所示。表1不同裂紋的真實(shí)幾何尺寸首先裂紋的位置由經(jīng)過(guò)大量訓(xùn)練的FasterR-CNN深度神經(jīng)網(wǎng)絡(luò)算法找出，為了減小計(jì)算量，直接對(duì)檢測(cè)出來(lái)的目標(biāo)區(qū)域進(jìn)行處理。然后調(diào)用上述的裂紋參數(shù)識(shí)別算法，定量測(cè)出裂紋的長(zhǎng)度和寬度，并與裂紋的真實(shí)尺寸進(jìn)行比較，驗(yàn)證算法的精確性。以樣本庫(kù)中驗(yàn)證集中已知裂紋實(shí)際尺寸的裂紋圖像為例，利用形態(tài)學(xué)處理裂紋圖像，各識(shí)別步驟對(duì)裂紋的處理結(jié)果如圖8所示。圖8各識(shí)別步驟對(duì)裂紋的處理結(jié)果然后對(duì)裂紋進(jìn)行行（水平）投影和列（垂直）投影，得到的裂紋投影曲線(xiàn)如圖9所示，其中橫坐標(biāo)表示圖像的不同位置，縱坐標(biāo)表示對(duì)應(yīng)位置的像素?cái)?shù)目。圖9裂紋區(qū)域水平、垂直方向投影曲線(xiàn)從圖9中可以看出，裂紋最大寬度為9像素。提取裂紋寬度為1個(gè)像素的骨架，得到裂紋在長(zhǎng)度方向有661個(gè)像素，最后計(jì)算得到裂紋的平均寬度為5.32像素，長(zhǎng)寬比為124.2。每個(gè)像素實(shí)際距離為0.101mm，計(jì)算出裂紋的實(shí)際尺寸并和表1的數(shù)據(jù)做對(duì)比，橫向裂紋A的檢測(cè)寬度為0.54mm，檢測(cè)長(zhǎng)度為66.76mm；而實(shí)際寬度為0.57mm，實(shí)際長(zhǎng)度為69.51mm；寬度測(cè)量誤差為3.9%，長(zhǎng)度測(cè)量誤差為5.3%。從實(shí)際結(jié)果來(lái)看，裂紋的測(cè)量長(zhǎng)度和寬度的誤差值在允許范圍之內(nèi)，所以根據(jù)此算法識(shí)別出的裂紋的幾何數(shù)據(jù)可以滿(mǎn)足實(shí)際應(yīng)用。在試驗(yàn)過(guò)程中研究人員也注意到了一些引起誤差的因素，如無(wú)人機(jī)拍攝圖像的質(zhì)量會(huì)受風(fēng)速、拍攝角度、振動(dòng)、成像設(shè)備的噪聲以及光線(xiàn)的影響。在采集圖像的過(guò)程中要盡量選擇風(fēng)速小的天氣，選擇抗風(fēng)等級(jí)高的無(wú)人機(jī)，也可以加強(qiáng)攝像裝置的光學(xué)防抖能力，或者增加無(wú)人機(jī)防抖的結(jié)構(gòu)，盡量在正對(duì)裂紋的方向上進(jìn)行拍攝，否則會(huì)使測(cè)量距離與實(shí)際距離之間的誤差變大。在此基礎(chǔ)上采用正確且合適的圖像預(yù)處理技術(shù)也可以大幅提高圖像質(zhì)量；同時(shí)，在保證安全的情況下應(yīng)盡可能讓無(wú)人機(jī)靠近要采集的表面結(jié)構(gòu)，以獲取更小的像素當(dāng)量，提高圖像的質(zhì)