基于提升技術的三維小波視頻時域濾波方案設計

1、基于提升技術的三維小波視頻時域濾波方案設計姜婷安徽經(jīng)濟管理學院 安徽 合肥 230059摘要:提出了一種新的三維小波視頻時域濾波方案。通過小波提升技術實現(xiàn)運動補償時域濾波,編碼效率因為自適應濾波方式和子象素運動補償?shù)氖褂枚蟠筇岣?。實驗結果證明,該方案能較為有效地提高時域濾波后零系數(shù)的個數(shù)，為后面的熵編碼中實現(xiàn)較高的壓縮率提供了可能。關鍵詞:視頻編碼；運動補償；提升小波；時域濾波中圖分類號: TN 919.81文獻標識碼: BDesign of 3-D Wavelet Video temporal filter Based On lifting filter implementation Ji

2、ang TingAnhui Economic Management College, Hefei 230059Abstract: A new temporal filter of 3-D wavelet video is described. The motion compensated temporal filtering process is achieved in terms of the concept of lifting filters. The coding efficiency is improved due to the use of adaptive filtering a

3、nd accurate subpixel motion compensation. The experimented results show that the proposed system can effectively improve the number of zero coefficients after temporal filtering. So it is impossible to achieve a better compress ratio in the entropy codec. Keywords: video coding; motion compensation;

4、 lifting wavelets; temporal filtering1 引言隨著網(wǎng)絡與通信技術的飛速發(fā)展，新的多媒體通信業(yè)務不斷出現(xiàn)。作為多媒體重要組成部分的視頻，其有效通信與存儲有著非常重要的意義。在視頻業(yè)務的開發(fā)過程中,視頻信息的數(shù)據(jù)量非常龐大。這樣大的數(shù)據(jù)量，無疑給存儲器的存儲容量、通信干線的信道傳輸速度和計算機的速度都增加了極大的壓力，所以高效的編碼技術已成為視頻技術得以進一步發(fā)展的關鍵所在。三維小波視頻編碼技術12是實現(xiàn)視頻有效壓縮和編碼的重要方法之一，其中，含運動補償?shù)娜S小波視頻編碼是二維空間小波圖像壓縮向三維視頻空間的推廣。這種方案一般由幀間的時域濾波、幀內(nèi)的空域濾波和熵

5、編碼組成。本文基于這種結構，在時域濾波方面提出了改進方案。該方案使用羅琳提出的MCLIFT34幀結構，在對序列幀進行幀間時域變換時,不是對各幀中同一坐標的象素進行,而是對各幀中由運動矢量聯(lián)系起來的象素進行。時域濾波采用小波提升技術進行,高頻幀由提升技術中的預測步驟(prediction step) 來生成,根據(jù)運動估計的情況,可以自適應地采用雙向濾波、前向濾波或后向濾波。同時,運動估計精度可以達到任意的子象素精度,它保證了時域濾波的有效性,進而提高了整個系統(tǒng)的編碼效率。 2 基于提升技術的三維小波視頻時域濾波方案2.1 含運動補償技術的三維小波視頻編碼方案含運動補償技術的三維小波視頻編碼方案的

6、系統(tǒng)框圖如圖1 5所示。視頻序列首先根據(jù)運動估計得到運動矢量,根據(jù)運動矢量進行運動補償時域提升濾波,然后對經(jīng)過濾波后的每一幀數(shù)據(jù)進行空域變換，最后對小波系數(shù)熵編碼,并與運動矢量信息一起封包輸出。本文將對該編碼方案的時域濾波部分進行探討和改進。視頻源基于運動補償和提升的幀間(時域)濾波幀內(nèi)空域變換熵編碼碼流圖1 基于運動補償?shù)娜S提升小波視頻編碼總體框圖2.2 小波提升算法傳統(tǒng)的基于卷積的小波變換的缺點是計算量大，計算復雜程度高，對于存儲空間的要求高，不利于硬件實現(xiàn)。提升算法是一種更為快速有效的小波變換實現(xiàn)方法，它不依賴于傅立葉變換，被譽為第二代小波變換67。簡單說來，提升方案把小波變換過程分為

7、三個階段：分解（Split）、預測(Predict)、更新(Update)。任何離散小波變換都可以被分解成一系列簡單的提升步驟，通過預測和更新兩個提升環(huán)節(jié)實現(xiàn)信號高低頻的分離，由于信號局部相關性，某一點的信號值可以根據(jù)相鄰信號的值由適當?shù)念A測算子預測出來，而這種預測所產(chǎn)生的誤差就是高頻信息，這個過程稱為預測環(huán)節(jié)；預測環(huán)節(jié)得到的高頻信息又通過更新算子來調(diào)整信號的下抽樣來得到低頻信息，這個過程稱為更新環(huán)節(jié)。本文的運動補償時域濾波就是以提升小波技術為基礎，提升公式為： (1)當a=-1/2, b = 1/4時，此變換即為W5/3提升小波變換。2.3 本文采用的幀結構本文的方案使用了羅琳在MCLIFT

8、方案提出的幀結構。幀結構如圖2所示，其中F0-F7為一個GOP的8個幀，F(xiàn)8為下一個GOP的第一幀。F0, F1,，F(xiàn)8是原始視頻序列中的9幀。F0和F8是未經(jīng)提升的，把它們標記為A幀。F4是以F0和F8為參考幀(兩個A幀)提升得來，稱之為B幀。同樣的，F(xiàn)2和F6以相鄰的兩個A和B幀為參考幀提升得來，稱為C幀。而F1,F3、F5和F7各自以相鄰的A, B, C幀做為參考幀提升而來，稱為D幀。在三維小波提升變換中，D, C, B幀分別對應了第一、第二和第三級提升小波變換。圖2 本方案使用的MCLIFT幀結構2.2本文采用的時域濾波方案本文方案中在研究了MPEG方案的I幀、B幀及P幀的特點的基礎上

9、參考8提出了新的預測方法，公式如下： (2)通過計算函數(shù)中三式中最小值確定是使用雙向、前向還是后向預測。本文在選擇運動補償提升算法時，為了減少運動向量的數(shù)目，在時間軸分析中使用了“截短的5-3小波濾波器(truncated 5-3 filter)”。截短的小波中濾波器只有提升參數(shù)a=-1/2的高通濾波，而省略了小波提升過程的第二步(低通濾波)。這樣，本文的幀間濾波方案總結如下：運動補償時域提升濾波以W5/3小波的提升方案為基礎。高頻幀根據(jù)運動估計得到的運動向量由提升方案生成，低頻幀則為對應的原始視頻幀。圖3為高頻幀的生成方式，其中當前幀(B)經(jīng)濾波后將成為高頻幀，首先對當前幀進行運動估計，并根

10、據(jù)運動估計的匹配情況（如式1所示）來決定采用雙向濾波、前向濾波和后向濾波中的哪一種濾波方式。圖3 高頻幀生成方式3 實驗結果及分析3.1 實驗過程 (1）將視頻序列劃分為一系列的圖像組(Group of Picture，簡稱GOP)，每個圖像組由8幀組成，幀結構采用了羅琳在MCLIFT方案中提出的結構，如圖2所示。分組后以GOP為編碼單元進行獨立的變換。時域濾波沿時間軸進行3級提升小波分解（使用W5/3為小波基）。(2)運動估計(Motion Estimate)將圖像分為16*16（也可以取其它值） 的宏塊，以宏塊為單位在參考幀中找出待編碼幀的匹配塊。在此部分采用較先進的菱形搜索法(DS),該

11、方法目前已應用于MPEG4的運動估計中。(3)運動補償(Motion Compensation)經(jīng)運動估計后求得運動向量(motion vector)，將該運動向量加上原圖像得到運動補償圖像(Motion Compensated Image)(4)求差值該步驟是提升小波的預測步驟。將原圖像與運動補償圖像求差值，按前向、后向以及雙向的差值最小決定濾波方向。同時為了重構時能夠較好地復原原值，需要將濾波方向的情況（本文定義為方向因子）放到一個數(shù)組中，數(shù)組為兩維數(shù)據(jù)，行列為圖像宏塊的塊號，即濾波方向的選擇以宏塊為單位。在求差值部分使用了小波提升技術，小波基為雙正交5/3小波。(5)輸出經(jīng)時域濾波輸出的

12、是運動向量、差值和方向因子以及參考幀（即每個GOP的第一幀）。重構輸出的量，將其與原始視頻進行比較。3.2 實驗結果(1)使用本文方案及McLift對Caltrain的第5、22幀進行變換再重構的幀與原幀圖像比較如圖4和圖5: 圖4 第5幀比較圖 圖5 第22幀比較圖(2)取Caltrain視頻序列的7幀進行兩種方法的比較，結果如表1，其中Num指經(jīng)時濾（幀間）濾波后輸出的原圖像與運動補償圖像的差值矩陣中系數(shù)為零的數(shù)量，PSNR為重構圖像與原幀圖像的比較結果：表5-1 Caltrain視頻序列實驗結果第5幀（B幀）第10幀(D幀)第13幀(B幀)第16幀（D幀）第19幀(C幀)第22幀（D幀）

13、第27幀（C幀）NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案1407731.811509437.911407532.371316738.491216235.291269638.661294133.96McLift9528159.6213532159.629259159.6212151159.6210006159.6211945159.6210449159.62（3）使用本文方案及McLift對Alex的第3、28幀進行變換再重構的幀與原幀圖像比較圖如圖6和圖7：圖6 Alex第3幀對比圖圖7 Alex第28幀對比圖(4) 取Alex

14、視頻序列的7幀進行兩種方法的比較，結果如表5-2：表5-2 Alex視頻序列實驗結果第3幀(C幀)第13幀(B幀)第15幀(C幀)第18幀(D幀)第21幀(B幀)第24幀(D幀)第28幀(D幀)NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案4324046.634051548.274197449.173889261.614237549.233887958.663980452.99McLift38857157.3237813157.3238917157.3237876157.3238741157.3237602157.3237143157

15、.323.3 實驗結果分析從以上實驗結果可以看出：（1）本方案比McLIift方案在時域濾波部分生成的原圖像與運動補償圖像的差值矩陣可以得到更多的零系數(shù)。而差值矩陣的零系數(shù)作為時域（幀間）濾波經(jīng)過之后的幀內(nèi)分解之后可以在最后的熵編碼中進行消除，從而保證了比McLift更高的壓縮率。(2)在本方案的 B、C、D三類幀中，重構的D幀PSNR值最高，其次是C幀，最低的是B幀。D、C、B分別對應時域濾波的一級、二級、三級提升，通過觀察數(shù)據(jù)可以看出，本方案是隨著提升級別PSNR降低，同時0系數(shù)增多。說明本方案在失真度提高的同時，壓縮率也被提高了。事實上，逼真度和壓縮率一直是視頻編碼器需要兼顧又相互矛盾的

16、兩方面。（3）由于Mclift方案使用雙向濾波所以可以充分考慮小波的平滑性，PSNR比本方案高很多，而且每一級的PSNR都是一樣的，這說明雙正交5/3小波用于雙向預測的時域濾波時能夠比較好地降低失真度。4 小結本章介紹了一種新的三維小波視頻編碼器的構架并實現(xiàn)了該方案的改進部分：時域（幀間）濾波。研究表明，該編碼器在能夠較為有效地提高輸入視頻經(jīng)時域濾波后零系數(shù)的個數(shù)，為后面的熵編碼中實現(xiàn)較高的壓縮率提供了可能。參考文獻1 Tseng Y H , Shih H K, Hsu P H. Hyperspectral image compression using three dimensional w

17、avelet transformation A . The 21st Asian Conference on Remote SensingC, 2000:809-814.2 楊春玲,余英林.基于三維小波變換嵌入式視頻壓縮算法的研究J .電子學報, 2001,29 (10):1381-1375.3 Luo Lin, Li Jin, Li Shipeng, Zhuang Zhenquan, and Zhang Ya-Qin . Motion compensated lifting wavelet and its application in video codingC/, IEEE Int. Co

18、nf on Multimedia and Expo (ICME 2001), Tokyo, Japan,2001: 481-484.4 Luo Lin, Li Jin, Li Shipeng,and Zhuang Zhenquan. A motion compensated lifting wavelet codec for 3D video coding. J. Comput Sci & Technol. Mar. 2003,18(2): 214-222.5 區(qū)騁.基于運動補償技術和三維小波變換的視頻編碼器研究D.廣西大學計算機系,2004.6 SWELDENS W. The lifting scheme: A construction of second generation wavele