基于第二代小波的序列圖像超分辨率復(fù)原算法研究概要

1、第31卷第2期2010年2月宇航學(xué)報(bào)Jour nal of Astr on auticsV ol.31FebruaryN o.22010基于第二代小波的序列圖像超分辨率復(fù)原算法研究焦斌亮，宋俊玲（燕山大學(xué)信息科學(xué)與工程學(xué)院，秦皇島066004摘要:介紹了第二代小波（SG Ws的基本原理和特點(diǎn)，在此基礎(chǔ)上提出了低 分辨率采樣圖像高分辨率（HR重建算法。它不但具有結(jié)構(gòu)簡單，逆變換容易，可擴(kuò)展 性好的優(yōu)點(diǎn)，并且克服了第一代小波（FG Ws的不均勻采樣和定義在有限區(qū)間上的難 題，指出了小波變換時(shí)數(shù)據(jù)不規(guī)則性的處理方法，并利用硬/軟閾值對小波系數(shù)降噪， 使得重構(gòu)后的圖像具有最佳的 PS NR和最低的重構(gòu)

2、誤差。實(shí)驗(yàn)和仿真結(jié)果表明，與 傳統(tǒng)方法相比，該算法在提高了圖像的分辨率同時(shí)PS NR最多能提高3dB左右。關(guān)鍵詞：圖像超分辨率；第二代小波；插值細(xì)分；高分辨率重建中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):100021328（2010022*DOI :10.3873 n j.iss n.100021328.2010.02.034收稿日期:2009205208;修回日期:2009208222基金項(xiàng)目:河北省教育廳基金資助項(xiàng)目（20071430引言圖像的超分辨率復(fù)原技術(shù)就是在不改變圖像觀測系統(tǒng)的前提下，利用已有的低分辨率（LR圖像采用某種方法獲得較高分辨率（HR的圖像。對于衛(wèi)星遙感等特殊應(yīng) 用的

3、成像系統(tǒng)，單純從硬件方面提高成像分辨率將帶來巨大的成本和技術(shù)壓力，因此,研究高效的圖像復(fù)原算法，從軟件方面1-2來提高圖像的分辨率有著極大的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。早期的單幀圖像復(fù)原是一個(gè)圖 像退化病態(tài)求逆的過程，圖像復(fù)原和增強(qiáng)效果受到很大限制。多幀序列圖像的超分 辨率重建技術(shù)利用時(shí)間帶寬換取空間分辨率，使得重建圖像的質(zhì)量比單幀圖像有了 較大提高，但這種圖像的運(yùn)動(dòng)或者不規(guī)則形變特征往往是非常復(fù)雜的，可能存在同一 因素多次或者多個(gè)不同因素影響相鄰幀圖像間的亞像素位移。小波理論及其算法避 開低分辨率（LR圖像序列的形變和幀間的復(fù)雜平移等關(guān)聯(lián)特征，只從粗細(xì)不同尺度 上考慮每幀圖像自身具有的空間特征，具有

4、可控性好,收斂迅速，適應(yīng)性強(qiáng)等特點(diǎn)，是序 列圖像超分辨率重建的較為理想的方法之一。近幾年中，第一代小波（FG Ws已經(jīng)被應(yīng)用到序列圖像超分辨率復(fù)原中3。這類小波有許多優(yōu)點(diǎn)，但也存在若干局限性，它定義在雙無限區(qū)間上，只能處理均勻采樣點(diǎn)，在圖像HR重建過程中是不利的。1994年,貝爾實(shí)驗(yàn)室的S welde ns提出了一種不依賴于傅里葉變換的新的小波構(gòu)造方法提升算法（Lifti ngScheme 4，這種小波被稱為SG Ws。小波變換的提升算法與傳統(tǒng)的 Mallat構(gòu)造方法相比, 是完全基于空間域的構(gòu)造方法，變換速度更快。本文提出的基于 SG Ws變換的高分 辨率圖像重構(gòu)方法，不但克服了 FG Ws

5、由平移伸縮不變性所帶來的局限性，而且能夠 處理不規(guī)則采樣點(diǎn)，在進(jìn)行小波變換時(shí)小波系數(shù)應(yīng)用硬/軟閾值降噪，使獲得的圖像高 頻信息豐富并具有較高的峰值信噪比(PS NR。1基于SG Ws的圖像復(fù)原算法1.1 SG Ws的基本原理假設(shè)有一個(gè)信號(hào)序列s n 對其進(jìn)行第二代小波變換分以下三個(gè)步驟進(jìn)行：(1 分裂(S plit將信號(hào)序列按奇樣本s o n 、偶樣本s e n分成兩個(gè)等長的序列s n =s o n +s e n s e n =s 2n s o n =s 2n +1(1(2 預(yù)測(Predict保持偶樣本不變，由偶樣本估計(jì)奇樣本s on=P(s en (2 其中 son為奇樣本的估計(jì)值,P為預(yù)

6、測算子。如果信號(hào)具有局部相關(guān)的結(jié)構(gòu)，偶樣本集 合和奇樣本集合一定是高度相關(guān)的，應(yīng)該可以以一定的精度，用一個(gè)子集估計(jì)另一個(gè) 子集。原值與預(yù)測值之差作為小波(或細(xì)節(jié)系數(shù)，表示為dn=s on-P(s en(3(3 更新(Update為了保持存在于原信號(hào)中的某些尺度特性，引入更新算子U,以得到下一尺度上 的尺度系數(shù)cn=s en+U(dn(4上面這三步構(gòu)成一個(gè)提升過程，對輸出cn重復(fù)以上提升過程，可構(gòu)成一個(gè)完整的離散小波變換，得到的尺度系數(shù)和小波系數(shù)分別為c jn和d jn。從頻域角度看，小波系數(shù)d表示原始數(shù)據(jù)的高頻成分，逼近系數(shù)c表示原始數(shù) 據(jù)的低頻成分。基于提升模式的小波變換很容易求逆，將正變換

7、過程倒過來執(zhí)行，立刻可以得到相應(yīng)的逆變換。1.2基本算法FG Ws變換通常在函數(shù)空間構(gòu)造一個(gè) Riesz基，基于提升算法的SG Ws通過在 時(shí)域構(gòu)造預(yù)測函數(shù)獲得期望特性的小波函數(shù)。預(yù)測函數(shù)可以通過插值細(xì)分5或平均插值細(xì)分的方法構(gòu)造。本文采用插值細(xì)分的方法，其基本思想是在分解和重構(gòu)過 程中采用奇數(shù)樣本相鄰的 M(M=2DD為正整數(shù)個(gè)偶數(shù)樣本se (n -D+1,se(n,se(n+D插值估計(jì)n時(shí)刻的奇樣本s o(n。在變換過程中所有的插值估計(jì)運(yùn)算服從一個(gè)唯一的 M-1 階多項(xiàng)式，多項(xiàng)式的系數(shù)即為預(yù)測算子的系數(shù)。通過選取 M-1階多項(xiàng)式來確定M階 插值細(xì)分，插值細(xì)分的整數(shù)M等于對偶小波函數(shù) W(x

8、消失矩的數(shù)目，原小波函數(shù)W(x 消失矩的數(shù)目M在修正過程中被確定。在實(shí)驗(yàn)中 M=M=4。下面分兩部分介紹算法(1(a從一系列含噪LR幀中獲得f(x1,x2,其中x1,x2在半規(guī)則格網(wǎng)上是離散值(x1,x2 RXRo假設(shè),參考的LR幀的每個(gè)矩陣或者 已知,或者通過攝影機(jī)的投影模型得到。(b掌握數(shù)據(jù)的不規(guī)則性，應(yīng)用提升算法進(jìn)行二維SG Ws變換,計(jì)算結(jié)果可以寫成 一維提升算法的張量積。(c在上一步中獲得的小波系數(shù) d jn通過硬/軟閾值進(jìn)行降噪7-8。互有亞像素位移的一系列LR幀HR重建的實(shí)質(zhì)就是在一非規(guī)則采樣數(shù)據(jù)形成 的高分辨率格網(wǎng)上利用低分辨率圖像進(jìn)行小波變換，重建出分辨率更高的規(guī)則采樣 圖像

9、的過程。在SG Ws變換過程中，由于亞像素位移允許HR規(guī)則格網(wǎng)點(diǎn)的像素值 逼近半規(guī)則格網(wǎng)上的計(jì)算值，所以為了重建出HR圖像,在小波反變換過程中柵格的 不規(guī)則性可以被忽略。SG Ws變換的小波系數(shù)通過硬/軟閾值降噪，而基于插值方法 的HR重建需要單獨(dú)對圖像降噪，因此,SG Ws具有計(jì)算簡單，效率高的優(yōu)點(diǎn)，在沒有 噪聲過濾(閾值仿真和比較高的S NR的情況下,第二代小波變換實(shí)現(xiàn)超分辨率復(fù)原 與基于插值方法的復(fù)原效果是可比的。然而，在S NR較低的情況下,SG Ws超分辨 率復(fù)原方法明顯好于傳統(tǒng)方法。(2(a假設(shè)在(1中計(jì)算的小波系數(shù)d jn和尺度系數(shù)c jn存在于HR規(guī)則格網(wǎng)點(diǎn) 上o(b利用提升方

10、法實(shí)現(xiàn)小波逆變換(小波變換順序顛倒，從而重構(gòu)出高分辨率圖 像。在HR重構(gòu)過程中，人們經(jīng)常應(yīng)用第二代小波的一維變換處理不規(guī)則采樣數(shù)據(jù)，而帶有降噪的二維小波變換的 HR重建常常受限于半規(guī)則柵格，但衛(wèi)星遙感或航空 遙感屬于遠(yuǎn)景成像，對這樣獲得的低分辨率圖像進(jìn)行處理可以避免這一難題。2實(shí)驗(yàn)和仿真首先選取40X40像素(產(chǎn)生于80X30像素的原始圖像的LR幀進(jìn)行實(shí)驗(yàn),結(jié)果如 圖1所示圖1(a為被加進(jìn)高斯白噪聲(AWG N的LR采樣圖像，與原圖像相比具有較低的 分辨率，我們知道導(dǎo)致圖像分辨率低的直接原因是具有較低的峰值信噪比(PS NR。由于人們的視覺系統(tǒng)對邊緣附近對稱的量化誤差較非對稱誤差更不敏感，圖1

11、只是M =M=4的SG Ws處理后得到的圖像 所以不能誤認(rèn)為LR幀具有較低的PS NR就 是加性噪聲的原因。這樣選取濾波器較為平坦，圖像恢復(fù)效果好，重構(gòu)圖像能更好的 保存原圖像信息，選取不同的M和M重構(gòu)圖像邊緣部分失真較大不利于獲得高質(zhì)量 的重構(gòu)圖像。應(yīng)用本文的方法不僅可以實(shí)現(xiàn) LR幀的HR重建并且提高了圖像的PS NR,基于第二代小波硬/225宇航學(xué)報(bào)第31卷軟閾值降噪并小波重構(gòu)圖像(圖1(e (f的分辨率和PS NR明顯高于Delaunay角剖分后進(jìn)行雙線性插值和雙三次插值的圖像(圖1(b (c(d) Drifiinal image佃)嵯鋼値削煤() HR hard ihrMholdiog

12、軟閾價(jià)HR陽傑(I) EIR image, icR lhrholdin圖1(a40MO像素被加進(jìn)高斯白噪聲，PS NR -6d B ;(b (c DT之后的插值結(jié)果;(d原圖;(e (f基于SG W的HR重建圖像Fig.1(a 4040pixels corrupted by AWG N ,PS NR -6dB ;(b (c results using sur face in terpolatio n after DT;(d orig inal image ;(e (f HR recon structio n using SG W為了進(jìn)一步驗(yàn)證本文算法的優(yōu)越性，我們對加性噪聲干擾較少的同幅 LR

13、幀（LR幀的PS NR -12dB ;圖2和其它的LR圖像（圖3分別進(jìn)行實(shí)驗(yàn),結(jié)果表明，利用本文方法重構(gòu)后的圖像分辨率明顯提高，不但主觀上具有很好的視 覺效果，而且客觀上具有較高的PS NR圖2 基于SG Ws和DT的HR重建圖像Fig.2 Origi nal image ,SG W 2based and DT 2based HR recon structio ns表1所列文中算法和傳統(tǒng)算法 PS NS的比較，從表中可以看出，該算法的PSNR比雙線性插值算法、雙三次插值算法最多能提高3dB左右。表2所列第二代小波與第一代小波圖像復(fù)原時(shí)間的比較，從表中可以看出， 第二代小波處理圖像復(fù)原的速度比傳

14、統(tǒng)算法約提高60%左右。3結(jié)論理論分析和實(shí)驗(yàn)結(jié)果表明，文中提出的基于SG Ws的HR重建方法是可行和有 效的。此方法不僅能保持FG Ws的許多優(yōu)勢，而且能夠處理不規(guī)則采樣數(shù)據(jù)，處理速度明顯加快 小波重構(gòu)后的圖像具325第2期焦斌亮等：基于第二代小波的序列圖像超分辨率復(fù)原算法研究有較高的PS NR，更加逼近原始的HR圖像(d) IO換厠位HKHR image, tkud ihretholdnig(f)軟 HR liftHK images will Lhrc?iholdingOriginal itriage圖3(a 40X0像素被AWG N干擾,PS NR -5dB ;(b (c DT之后的插值結(jié)

15、果；(d 原圖;(e (f基于SG W的HR重建圖像Fig.3 (a 4040pixels corrupted by AWG N ,PS NR 25dB ;(b (c results us ing sur face interpolation after DT;(d orig inal image ;(e (f HR SG W 2based rec on structi ons表1幾種復(fù)原方法的PS NR比較T able 1 C om paris on of PS NR gained by recon structio n alg orithms算法名稱LR圖像雙線性插值雙三次插值硬閾值軟閾值

16、LR圖像1PS NR/dB 620.709320.214322.508722.55361226.040825.547528.116028.2578LR 圖像 2PS NR/dB526.499625.681028.546228.7243表2幾種復(fù)原方法的時(shí)間比較T able 2 C om paris on of time gained by reconstruction alg orithms復(fù)原算法雙三次插值/ms雙線性插值/ms硬閾值/ms軟閾值/ms平均提高速度/%LR 圖像 1161198582017131060LR圖像 22522161362參考文獻(xiàn)：1 焦斌亮，閆旭輝基于T DI -

17、CCD成像像移分析及圖像復(fù)原J .宇航學(xué)報(bào),2008,29(2:675-678.J IAO Bin 2liang ,Y AN Xu 2hui.Image 2m oti on an alysis and image restorati on based on T DI -CCD Imag2ingJ .Journal of Astronautics ,2008,29(2:675-678(in Chi 2nese .2 Ranchin Thierry ,W ald Lucie n.F usi on of high spatial and spectral res 2oluti on images :

18、The ARSIS con cept and its im pleme ntatio nJ .Photo 2grammetricEngin eeri ng and Rem ote Se nsing (S0099-1112,2000,66(1:49-61.3 Ido Ouzieli ,David M en dlovic.T w o 2dime nsional wavelet process orJ .Applied Optics ,1996,35(29:5839-5846.4 Daubechies I ,S welde ns W.Factori ng wavelet trans forms in

19、to lifti ngstepsJ .F ourier An al.Appl ,1998,4(3:247-269.5楊博雄.CCD細(xì)分技術(shù)及其應(yīng)用研究D .北京:中國地震局地球物理研究所，2005.丫 ANGBo 2xiong.CCD subdivision technol 2425宇航學(xué)報(bào)第31卷ogy and its application researchD.Beijing:Institute of G eophysics, ChinaEarthquake Adm ini strati on ,2005(i n Chin ese.6 SWE LDE NS W.The lifti ng s

20、cheme:a con struction of sec ond gen era2 tion waweletsJ.SIAM Journal of M athematical A nalysis,1997,29 (2:511-546.7 焦斌亮，胡永剛,趙文蕾.基于多結(jié)構(gòu)元素的遙感圖像去噪及邊緣檢測方法J.宇航學(xué)報(bào)，2006,27(4:676-679.J IAO Bin2liang,HU 丫on g2ga ng,ZHAO W en 2lei.N oise elim in atio n and edge detecti on method based on multi2eleme nt for r

21、em ote sensing image J.Jour nal of Astr on autics,2006,27(4:676- 679(in Chi2 nese.8龔昌來.基于線性混合小波基的圖像去噪J.光電工程，2008,35(10:70-75.G ONG Chang2lai.Image denoising method based on linearcombi ned wavelet baseJ.Opto2E lectro nic En gi neer2 in g,2008,35(10:70-75(in Chi nese.作者簡介:焦斌亮(1964-,男，教授,博士,光學(xué)工程專業(yè)，研究方

22、向?yàn)槌上窦夹g(shù)與信息處理。通信地址:河北省秦皇島市燕山大學(xué)信息工程學(xué)院光電子系(066004電話:138*E2mail:.c nThe R esearch for the Super2resolution R estoration B ased onthe Image Seque nee with Second G en erati on W aveletsJ I AO Bin 2lia ng,S ONGJu n2li ng(The C ollege of In formation Science and Engineering,Y anshanUn iversity,Qi nhua ngdao066004,Chi naAbstract: On the basis of theories and characteristics of the sec ond gen erati on wavelet(SG Ws,high2res oluti on( HRrec on2 structio n alg orithm which is from a captured sequence of low2res olusion frames is proposed.11 not only has a sim ple structure,a e