大容量高熱管道漏磁檢測數(shù)據(jù)壓縮算法

大容量高熱管道漏磁檢測數(shù)據(jù)壓縮算法

20世紀60年代至70年代，中國的輸油管道大多安裝在60年代至70年代。管道損壞、泄漏并對國家造成嚴重的人身傷害和經(jīng)濟損失需要定期檢測。陸管道的檢測和研究始于20世紀90年代，研究長短距離輸送管道的誤檢測技術開始了。漏磁法是目前國家“863”高科技項目“海底管道爬行器及其檢測技術”中采用的主要技術,但是管道漏磁檢測的數(shù)據(jù)量非常龐大,以目前管道漏磁采用的112路傳感器為例,以2byte/點存儲數(shù)據(jù),檢測裝置的行進速度為140mm/s,一次檢測距離最小為20km,則檢測數(shù)據(jù)量將達上百G,而管道內(nèi)空間是有限的,不可能無限制的采用多個存儲裝置,必須對管道漏磁檢測數(shù)據(jù)進行數(shù)據(jù)壓縮.該問題的解決一是必須滿足微處理器系統(tǒng)支持實時性的問題,二是要有較高的壓縮比,三是必須有足夠的保真度,不影響管道缺陷數(shù)據(jù)分析的結果.國外已經(jīng)對該問題研究了很長時間,提出了一些自己的解決方法.但是國外的漏磁檢測裝置和國內(nèi)的檢測裝置及檢測環(huán)境有著重大區(qū)別:國外的管道管徑通常比國內(nèi)的大許多,有利于檢測裝置的設計;國外設計的海底管道檢測裝置是有纜的,數(shù)據(jù)壓縮及處理在管外進行,而國內(nèi)的海底輸油管道內(nèi)徑大多在195—297之間,研制的在線檢測裝置是無纜的,檢測裝置的大小及CPU的速率和能耗都受限制.據(jù)此,“863”專家組提出了研制適合本國情況的“大容量高保真管道漏磁數(shù)據(jù)壓縮”,以減少漏磁檢測裝置數(shù)據(jù)存儲空間、數(shù)據(jù)通訊及處理時間,滿足實時檢測需要,而檢測數(shù)據(jù)的壓縮率和保真率是一對矛盾關系,本文將在對漏磁檢測的原理和檢測數(shù)據(jù)的特征進行分析的基礎上,通過數(shù)據(jù)的差分和動態(tài)范圍閾值判斷數(shù)據(jù)塊的檢測重要性,結合已有的數(shù)據(jù)壓縮算法對管道漏磁檢測中大容量高保真數(shù)據(jù)壓縮進行研究.1漏磁的檢測元件漏磁法檢測是基于鐵磁材料磁性變化的一種無損檢測技術.以爬行機器人或者油壓差驅(qū)動管道檢測裝置,當檢測器在管內(nèi)行走時,如果管壁沒有缺陷,則磁力線閉合于管壁之內(nèi);如果管道有缺陷,則磁力線將穿出管壁而產(chǎn)生漏磁,漏磁場被傳感器檢測到后經(jīng)濾波、放大處理被記錄到檢測裝置的存儲器中,再經(jīng)對數(shù)據(jù)的分析和處理,從而識別缺陷并對管道的狀況進行判別.在整個管道檢測系統(tǒng)回路中,檢測系統(tǒng)的漏磁信號大小取決于有缺陷處對應的空氣處的漏磁通Φc,而信噪比取決于Φc與無缺陷處對應的空氣處的漏磁通Φa的比率Φc/Φa.選用什么樣的元器件精確測試漏磁通非常關鍵,目前常用的器件有霍爾元件、磁敏管、磁敏電阻和檢測線圈等.表1為幾種磁敏器件的性能對比.從表中對照看,雖然磁敏管的靈敏度很高,但線性度太差,磁敏電阻溫度特性很差且有局部非線性,檢測線圈的靈敏度、溫度特性和線性度都可以,但線圈只能測量快速變化的磁場,當磁場變化緩慢時,線圈很難測到,而且線圈和磁場之間運動的相對速度變化也會影響測量值的大小.因此綜合各方面參數(shù),漏磁的測定通常使用霍爾元件,當施加恒定電流且霍爾元件已確定時,磁感應強度B和霍爾電動勢Vh成線性關系,從而滿足管道檢測的需要.2管道磁體壓縮法2.1漏磁信號的特征管道漏磁檢測的數(shù)據(jù)信號主要健康數(shù)據(jù)、缺陷數(shù)據(jù)和非缺陷數(shù)據(jù).在管道完好的區(qū)域,漏磁信號的幅值很小,檢測曲線平坦.而在有缺陷的地方,檢測信號將發(fā)生突變,并且信號也受缺陷的長度、深度、內(nèi)外缺陷等因素的影響.Hall傳感器測得的信號只是一組電壓信號,要正確了解信號表示的意義,使漏磁缺陷數(shù)據(jù)壓縮在取得高的壓縮比時不影響漏磁檢測的效果,有必要對漏磁信號的特征進行分析,根據(jù)特征采取不同的壓縮方法,以便于不發(fā)生“漏檢”和“錯檢”現(xiàn)象.漏磁信號的波形特征量一般歸類為如下幾種:信號波形的峰峰值pp,通常它用來衡量缺陷深度;信號波形的峰峰間距p-p,反映缺陷的寬度;波形下面積S=Ν∑n(x(t)-min[x(t)])波形下面積S=∑nN(x(t)?min[x(t)]),它由漏磁信號的峰和谷組成一個波動,反映信號的短時一階中心距;信號波形能量E=Ν∑n(x(t)-min[x(t)])2,反映了在一定空間內(nèi)漏磁信號的離散程度,相當于信號的短時二階中心矩;另外一些則是根據(jù)前面的特征量衍生出來的特征量,如pp/p-p、S/pp和S/p-p等.2.2管道漏磁的超聲壓縮算法描述如圖2所示,管道漏磁數(shù)據(jù)壓縮過程主要包括映射變換、量化和編碼,壓縮后的數(shù)據(jù)存儲在管道檢測裝置里.上位機進行缺陷離線分析時,把壓縮數(shù)據(jù)導入上位機,進行解碼、反量化、反映射變換過程后還原為原始檢測數(shù)據(jù)進行分析.漏磁數(shù)據(jù)的壓縮需要硬件的支持,而數(shù)據(jù)的解壓縮是數(shù)據(jù)壓縮的逆過程,可以完全依賴解壓縮軟件實現(xiàn).管道漏磁數(shù)據(jù)壓縮的關鍵是對缺陷數(shù)據(jù)進行無損壓縮,對和缺陷無關的數(shù)據(jù)如健康數(shù)據(jù)進行有損壓縮,同時也要考慮在線數(shù)據(jù)處理的速度和硬件實現(xiàn)的難易度.根據(jù)漏磁檢測數(shù)據(jù)的特征分析,有缺陷的地方信號變化幅度大,沒缺陷的地方排除噪聲影響后信號變化非常平緩,我們可以劃分出檢測數(shù)據(jù)的重要數(shù)據(jù)塊.在這里使用的是信號差分法和動態(tài)范圍閾值法.漏磁探頭檢測的相鄰數(shù)據(jù)具有相關性,利用一階差分對其進行無損預處理,計算一階差分值得到信號的變化率;動態(tài)范圍閾值法是根據(jù)以往的經(jīng)驗事先設定一個閾值α,低于閾值α的信號全部賦值0,高于閾值α的信號保留,通過訓練自適應的調(diào)整閾值α,從而達到保留絕大部分缺陷數(shù)據(jù)并提高數(shù)據(jù)壓縮比的目的.圖3是漏磁數(shù)據(jù)重要塊劃分示意圖.根據(jù)信息論理論,對于管道漏磁檢測信源A∶{ai,i=1,2,…N}中符號ai,其信息量為I(ai)=-logp(ai),則信源的信息墑為Η(ai)=Ν∑i=1p(ai)Ι(ai)=-Ν∑i=1Ρ(ai)logp(ai)由信息墑的定義可知,只要信源中的字符不是等概率分布,就存在壓縮的可能.為了高保真的壓縮漏磁檢測重要數(shù)據(jù)快數(shù)據(jù),在對管道漏磁數(shù)據(jù)壓縮的無損編碼中采用了Huffman編碼.在Huffman算法中,設有一棵2叉樹有n片樹葉分別帶權W1,W2,…,Wn,對于帶權為Wi的樹葉其路徑長度為Li,則2叉樹的帶權路徑長度為WΡL=n∑i=1WiLi?WΡL最小的2叉樹稱為Huffman樹.Huffman編碼利用Huffman樹對使用頻率高的字符用較短的二進制表示,對使用頻率低的字符用較長的二進制表示,圖4是Huffman編碼的算法流程圖,它是一種立即碼,能夠?qū)崿F(xiàn)完全無損壓縮,并且輸入不需要緩沖,編碼延時小,易于硬件實現(xiàn).缺點是壓縮率低,一般壓縮率在3:1左右,不能滿足漏磁檢測數(shù)據(jù)高壓縮率的要求,所以要取得高的壓縮比必須結合有損壓縮小波壓縮方法來進行.由于管道漏磁信號在空間上是強相關信號,反映到頻域上是在某些特定的區(qū)域中將能量集中,或者是系數(shù)矩陣的分布具有某些規(guī)律,利用這些規(guī)律分配頻域上的量化比特數(shù),從而達到壓縮的目的.為了提高壓縮比,在漏磁管道樣機中采用小波對管道漏磁數(shù)據(jù)進行有損壓縮,作為對Huffman算法有損壓縮的補充.圖5為基于小波變換的數(shù)據(jù)壓縮示意圖.小波變換分別利用2個高通濾波器和2個低通濾波器對信號進行分解與重構,提供了不同尺度下的信號信息,對高頻系數(shù)進行閾值量化處理,能達到較高的壓縮比.漏磁缺陷信號的小波分解與重構,屬于一維的情形,對于管道漏磁信號離散小波變換WΤf(aj0,kτ0)=+∞∫-∞f(t)ψ*aj0,k,τ0(t)dt,根據(jù)小波多分辨率分析和離散小波變換性質(zhì),在給定的正交基ψm,n(x)=2m/2ψ(2mx-n)和分辨率2M下,任意的非線性函數(shù)f(x)∈L2R,可由如下公式進行分解與重構:f(x)≈fΜ(x)=L∑n=0c0,nφ0,n(x)+Μ-1∑m=02m-1L∑n=0∧cm,nψm,n(x)在小波數(shù)據(jù)壓縮時,對小波基的選取主要考慮其正交性、支撐集、對稱性、正則性、消失矩階數(shù)等.基于上述幾種因素并考慮到實現(xiàn)的實時性,實驗選用了Daubechies家族db4小波,它是雙正交的,緊支集的,近似對稱的,具有線性相位,光滑性較好,而且計算簡單.在分解與重構的過程中,由于存在抽取與插值,從而有信號頻率混疊的可能性,所以必須選擇合適的分解與重構高通和低通濾波器.為達到特定的分析和設計標準,必須選取合適的各小波子波的域值.圖6為漏磁信號的db4小波分解,s為源信號,d1,d2,d3,d4和a4分別為小波分析的高頻分解和低頻分解信號.從中可以看出信號的高頻成分經(jīng)閾值處理后基本為0,而信號的有用成分基本集中在低頻部分.小波分解的另一好處是可以利用信號與噪聲在時域和頻域內(nèi)的差別,分離開測試信號和噪聲信號,這在作者的另外一篇文章中有詳細敘述.由于管道漏磁檢測信號是一維信號,在壓縮過程中,應把數(shù)據(jù)塊每8位進行一次分割,當8位全是“0”時,就把所設置的壓縮標志的相應位置“0”后,跳過此8位數(shù),即不把此8位數(shù)字傳送給結果數(shù)據(jù)區(qū),而僅保留一壓縮標志;當8位數(shù)字不全為“0”時,把壓縮標志的相應位置“1”后,把此8位數(shù)字直接傳送給結果數(shù)據(jù)區(qū).這樣,一個字節(jié)的壓縮標志可以代表8個字節(jié)的數(shù)據(jù).在一個字節(jié)的壓縮標志的各位都按同樣的方式設置完后,再把一個字節(jié)的壓縮標志傳送到結果數(shù)據(jù)區(qū)中它所代表的壓縮數(shù)據(jù)的前面,對漏磁檢測信號小波分解的數(shù)據(jù)塊數(shù)據(jù)都按同樣的方式進行,這樣得到的壓縮結果稱為一級壓縮結果.在一級壓縮的基礎上,可以利用同樣的壓縮技術進行二級和三級壓縮.這樣可以達到很高的壓縮比.3壓縮存儲及去噪處理實驗目前在工業(yè)應用上主要采用DSP、ASIC、FPGA等器件來實現(xiàn)實時在線數(shù)據(jù)壓縮,綜合考慮漏磁在線檢測信號采集系統(tǒng)數(shù)據(jù)壓縮及邏輯控制部分的需要,采用現(xiàn)場可編程門陣列FPGA器件來設計數(shù)據(jù)壓縮電路.FPGA具有較好的性能,體積功耗小,是可以進行軟硬件協(xié)同工作的片上系統(tǒng),能實現(xiàn)大規(guī)模的并行運算,易于實現(xiàn)管道漏磁在線數(shù)據(jù)壓縮.如圖7所示,在實際的管道漏磁數(shù)據(jù)采集模塊中,把經(jīng)過信號調(diào)理的傳感器信號進行AD轉(zhuǎn)換,然后在DSP中對信號進行自適應濾波,并在FPGA中實現(xiàn)信號的在線數(shù)據(jù)壓縮,其中FPGA選擇一片美國ALTERA公司的APEX20K系列EPF20K300EQC240-1,它有300,000的門陣列資源,240個管腳,152個I/O口,輸入輸出電壓可以兼容5V、3.3V、2.5V.在實驗中,采用5組管道漏磁檢測數(shù)據(jù)應用VHDL和C語言進行壓縮編程,采樣頻率為1.25MHz,分辨率為12位,采樣長度為1000m.在數(shù)據(jù)壓縮之前,必須對管道漏磁信號進行去噪處理.對于無縫鋼管材料本身產(chǎn)生的噪聲信號,其信號的形狀與幅值與缺陷信號相似,在系統(tǒng)分析中,認為它們彼此相關,很有可能掩蓋了缺陷信號,應予以去除,采用歸一化最小均方(NLMS)自適應濾波去除噪聲.在數(shù)據(jù)壓縮中,常用壓縮比CR=ΟFsizeCFsize(ΟFsize表示原文件大小,CFsize表示壓縮后文件大小)和均方根誤差RMSERΜSE=√((y1-?y1)2+(y2-?y2)2+?+(y-?yn)2/n表示壓縮后的精度標準和壓縮的效果,本文采用的方法中,5組漏磁檢測數(shù)據(jù)的平均壓縮比為22.3,均方根誤差小于0.01.圖8為漏磁檢測原信號及經(jīng)過本文提出的方法壓縮處理后信號對照圖,上圖為管道檢測原始信號,包括3個長寬2mm,深分別為4mm、6mm、2mm方形缺陷,下圖為經(jīng)過壓縮并解壓縮后的數(shù)據(jù),壓縮比為21,均方根誤差為0.008.從圖11可見,其較好的反映了原始檢測數(shù)據(jù)中的缺陷部分,并舍棄了大部分噪聲數(shù)據(jù)和無關數(shù)據(jù).本文同時采用了改進的Huffman算法和小波壓縮算法對5組漏磁檢測數(shù)據(jù)進行壓縮,壓縮的結果表明,應用連續(xù)零值壓縮存儲、結合Huffman和小波壓縮的算法具有很高的壓縮比,達到了大容量漏磁檢測數(shù)據(jù)壓縮的要求,并且由于重要區(qū)域的劃分,使舍棄的數(shù)據(jù)通常都是健康數(shù)據(jù)