分布式視頻編碼虛擬依賴信道模型研究

1、計(jì)算機(jī)學(xué)報(bào)2009年7期分布式視頻編碼虛擬依賴信道模型研究房勝1,2 李哲1梁永全1 鐘玉琢21(山東科技大學(xué)信息科學(xué)與工程學(xué)院，青島 266510)2(清華大學(xué)深圳研究生院，深圳 518055)摘 要:視頻信息固有的非平穩(wěn)特性,如沖突區(qū)域等,使時(shí)域預(yù)測技術(shù)變得非常復(fù)雜.在分布式視頻編碼(DVC)中,由于解碼端不能獲取當(dāng)前編碼幀的信息,精確地對時(shí)域相關(guān)噪聲進(jìn)行建模變得更為困難. 本文以虛擬依賴信道模型為切入點(diǎn)對如何降低時(shí)域相關(guān)噪聲進(jìn)行了研究。首先對DVC虛擬依賴信道進(jìn)行了建模,并對影響邊信息的主要因素進(jìn)行了分析，分析結(jié)果表明在變換域中不同的頻率子帶對時(shí)域相關(guān)噪聲的敏感度不同.在此基礎(chǔ)上提出了一

2、種新的基于小波變換域的虛擬依賴信道模型VCMDWT，基于分類編碼的思想對較為平穩(wěn)的LL子帶進(jìn)行Wyner-Ziv編碼，對非平穩(wěn)的高頻子帶進(jìn)行SPIHT幀內(nèi)編碼。實(shí)驗(yàn)結(jié)果表明，與基于像素域的方法相比，所提出的VCMDWT模型能夠得到更穩(wěn)定的虛擬信道，提高DVC系統(tǒng)的率失真性能達(dá)到2.6dBs以上.關(guān)鍵詞:分布式視頻編碼; 虛擬依賴信道; 時(shí)域相關(guān)噪聲;信道模型;小波變換分類號: TP391文獻(xiàn)標(biāo)識碼：本文部分工作由國家自然科學(xué)基金重大研究計(jì)劃“多方計(jì)算的安全保障機(jī)制和可信性檢測與評價(jià)的關(guān)鍵技術(shù)研究”(90718011)資助。聯(lián)系人: 房勝Email：fangsheng, fang.sheng,

3、fangsheng電話 053286057875地址: 青島經(jīng)濟(jì)技術(shù)開發(fā)區(qū)前灣港路579號山東科技大學(xué)信息科學(xué)與工程學(xué)院, 郵編:266510分布式視頻編碼虛擬依賴信道模型研究房勝1,2 李哲1 梁永全1 鐘玉琢21(山東科技大學(xué)信息科學(xué)與工程學(xué)院，青島 266510)2(清華大學(xué)深圳研究生院，深圳 518055)摘 要: 視頻信息固有的非平穩(wěn)特性,如沖突區(qū)域等,使時(shí)域預(yù)測技術(shù)變得非常復(fù)雜.在分布式視頻編碼(DVC)中,由于解碼端不能獲取當(dāng)前編碼幀的信息,精確地對時(shí)域相關(guān)噪聲進(jìn)行建模變得更為困難. 本文以虛擬依賴信道模型為切入點(diǎn)對如何降低時(shí)域相關(guān)噪聲進(jìn)行了研究。首先對

4、DVC虛擬依賴信道進(jìn)行了建模,并對影響邊信息的主要因素進(jìn)行了分析，分析結(jié)果表明在變換域中不同的頻率子帶對時(shí)域相關(guān)噪聲的敏感度不同.在此基礎(chǔ)上提出了一種新的基于小波變換域的虛擬依賴信道模型VCMDWT，基于分類編碼的思想對較為平穩(wěn)的LL子帶進(jìn)行Wyner-Ziv編碼，對非平穩(wěn)的高頻子帶進(jìn)行SPIHT幀內(nèi)編碼。實(shí)驗(yàn)結(jié)果表明與基于像素域的方法相比，所提出的VCMDWT模型能夠得到更穩(wěn)定的虛擬信道，提高DVC系統(tǒng)的率失真性能達(dá)到2.6dBs以上.關(guān)鍵詞:分布式視頻編碼; 虛擬依賴信道; 時(shí)域相關(guān)噪聲; 信道模型; 小波變換中圖法分類號:TP391文獻(xiàn)標(biāo)識碼: A1. 引言隨著無線網(wǎng)絡(luò)和移動視頻設(shè)備的迅

5、速發(fā)展, 一種新型的“上行(Up-Link)”視頻應(yīng)用需求正在出現(xiàn),與傳統(tǒng)的面向“下行(Down-Link)”應(yīng)用的視頻編碼標(biāo)準(zhǔn)MPEG-X和H.26x等不同,它要求編碼器簡單,但允許解碼器具有高復(fù)雜度8.目前分布式視頻編碼DVC(Distributed Video Coding)技術(shù)被認(rèn)為是“上行”視頻應(yīng)用各種解決方案中最有前景的。 DVC主要從Slepian、Wolf建立的分布式無損編碼理論1和Wyner、Ziv建立的分布式有損編碼理論2發(fā)展而來. 圖1: Slepian-Wolf無損分布式編碼示意圖.分布式信源編碼DSC(Distributed Source Coding)是指對兩個(gè)或者

6、多個(gè)相關(guān)的隨機(jī)過程進(jìn)行編碼,每一個(gè)過程使用一個(gè)單獨(dú)的編碼器,如圖1所示. Slepian-Wolf定理表明這種編碼場景存在如下關(guān)系1: （1）公式(1)令人驚異的表明了雖然X和Y是分別編碼的,但是總碼率RX+RY可以與聯(lián)合信息熵H(X,Y)相等,這與對X、Y進(jìn)行聯(lián)合編碼的情況是相同的.Wyner-Ziv編碼器可以看作是由一個(gè)量化器后緊跟一個(gè)Slepian-Wolf編碼器組成的,如圖2所示.Wyner和Ziv證明了, ，其中表示在編碼端不能獲得邊信息（Side Information）Y情況下的Wyner-Ziv率失真函數(shù)，表示編碼端、解碼端都可以獲取邊信息Y情況下的率失真函數(shù)2。.該公式的成立

7、為DVC技術(shù)奠定了理論基礎(chǔ), 它表明了一個(gè)不同于傳統(tǒng)視頻編碼技術(shù)的編碼模式,即編碼時(shí)各幀獨(dú)立編碼,而解碼時(shí)利用邊信息進(jìn)行聯(lián)合解碼.該技術(shù)對于移動視頻應(yīng)用來說具有巨大的吸引力,因?yàn)榫幋a時(shí)只采用幀內(nèi)編碼方式, ME/MC等高計(jì)算復(fù)雜度的模塊則被轉(zhuǎn)移到解碼端進(jìn)行,復(fù)雜度大為降低,而在理論上又能獲得與傳統(tǒng)編碼技術(shù)相同的編碼效率.圖2: 分布式視頻編碼結(jié)構(gòu)在圖2所示的分布式視頻編碼模型中,邊信息Y與當(dāng)前編碼信息X之間的依賴關(guān)系可以視作是一個(gè)虛擬依賴信道, Y則被看作是X經(jīng)由信道發(fā)送而產(chǎn)生錯(cuò)誤的噪聲污染版本. 解碼過程就是利用信道編碼的校驗(yàn)信息和噪聲污染版本Y恢復(fù)出原始信號X.由于視頻信息固有的非平穩(wěn)特性

8、和解碼端不能獲取當(dāng)前幀信息等原因,構(gòu)造的邊信息Y的質(zhì)量是動態(tài)變化的,導(dǎo)致X與Y之間的虛擬依賴信道呈現(xiàn)非平穩(wěn)特性,隨編碼視頻內(nèi)容的變化而變化. DVC系統(tǒng)的性能與信道編碼的效率緊密相關(guān),而無論采用哪種信道編碼技術(shù),其編碼性能都依賴于虛擬依賴信道模型的準(zhǔn)確度. 如果采用的虛擬依賴信道模型不能正確反應(yīng)X、Y之間的統(tǒng)計(jì)相關(guān)性,那么編碼的效率就會大幅下降. 目前國內(nèi)外的研究文獻(xiàn)中對DVC虛擬依賴信道的相關(guān)研究基本上是在像素域進(jìn)行的,主要是研究如何通過MEMC生成更為精確的邊信息36,動態(tài)調(diào)整虛擬依賴信道的模型參數(shù)7,或者通過建立不同區(qū)域的虛擬依賴信道模型提高編碼效率8,9.本文對DVC中的虛擬依賴信道模

9、型進(jìn)行了研究,目標(biāo)是盡量降低虛擬依賴信道非平穩(wěn)特性引起的DVC編碼質(zhì)量的下降. 根據(jù)建立的虛擬依賴信道模型,對邊信息的構(gòu)造方式、邊信息的預(yù)測域等問題進(jìn)行了理論分析,并提出了一種新的基于小波變換域的虛擬依賴信道模型VCMDWT. 本文第二節(jié)對虛擬依賴信道進(jìn)行了分析,并建立一個(gè)統(tǒng)一的模型;第三節(jié)對該模型進(jìn)行了研究分析;第四節(jié)是實(shí)驗(yàn)結(jié)果;第五介紹了相關(guān)工作,最后是本文的結(jié)束語.2. DVC系統(tǒng)中的虛擬依賴信道圖3:分布式視頻編碼結(jié)構(gòu)及其虛擬依賴信道圖3中描繪的是目前DVC研究中比較通用的一種框架結(jié)構(gòu)312,其中解碼端生成的邊信息Y和編碼端的編碼信息X構(gòu)成了一個(gè)虛擬依賴信道.根據(jù)公式(1),即Slep

10、ian-Wolf定理,DVC系統(tǒng)編碼的最低碼率由H(U|Y)唯一決定1. 理論上能夠無差錯(cuò)重構(gòu)原始信號的最低碼率R為 (2)其中P(u|y)可以由P(x|y)計(jì)算得到. (2)式表明了虛擬依賴信道模型對于DVC碼率的決定性影響.視頻信息可以看作是一個(gè)3D隨機(jī)場的實(shí)現(xiàn)過程,它隨著時(shí)間的變化而變化. 解碼端在不知道當(dāng)前幀X的情況下,重構(gòu)出的邊信息Y是否滿足編碼端假設(shè)的信道概率模型是不確定的.在編碼器不能獲得確切的邊信息Y的情況下,它只能假設(shè)概率模型已知,并按著已知的概率模型工作. 當(dāng)生成的Y與X的相關(guān)性較差時(shí),Y與X之間的誤碼率可能會超過信道編碼的校驗(yàn)?zāi)芰?此時(shí)DVC編碼的效率就會急劇下降.邊信息

11、Y通過對已經(jīng)解碼的視頻幀進(jìn)行估計(jì)而生成.一個(gè)通用的虛擬依賴信道模型如下式所示, (3)其中i,j表示系數(shù)空間坐標(biāo),t表示時(shí)域坐標(biāo),f表示使用前N個(gè)已經(jīng)解碼的視頻幀和下一時(shí)刻解碼的視頻幀生成邊信息的函數(shù)*在DVC解碼中,經(jīng)常使用在時(shí)域上前后相鄰的兩個(gè)關(guān)鍵幀生成邊信息. 如果要對虛擬依賴信道進(jìn)行準(zhǔn)確的描述,就必須能夠準(zhǔn)確的描述N(i,j,t).在實(shí)際的通信信道中,真實(shí)物理信道的模型一般是已知的.在DVC中,由于原始信號X和邊信息Y的非平穩(wěn)特性,由N(i,j,t)決定的虛擬依賴信道難以找到對其進(jìn)行準(zhǔn)確描述的分析模型.3. 虛擬依賴信道模型分析根據(jù)公式(3)可知,由于時(shí)域相關(guān)噪聲N(i,j,t)的存在

12、,對DVC虛擬依賴信道在時(shí)域進(jìn)行建模非常困難.從圖3可以看出,影響虛擬依賴信道模型的主要因素有原始信息X和邊信息Y.作為輸入的原始信號X不能被改變ª編碼端的量化器會影響p(u|y)的分布.由于本文主要研究虛擬信道的非平穩(wěn)問題,此處暫未考慮量化器的影響.,而Y在解碼端動態(tài)生成,是我們研究的重點(diǎn). 根據(jù)公式(2),要想使編碼效率盡量高,則(3)中的時(shí)域相關(guān)噪聲N(i,j,t)則盡量要小, 也即Y與X要盡量相關(guān). 圖3顯示影響Y的主要因素有兩個(gè):一個(gè)是DVC中編碼系數(shù)所在的域,是像素域還是變換域;另一個(gè)是Y的生成方式. 3.1 變換域虛擬依賴信道模型在變換域中,視頻信號X(i,j,t)經(jīng)過

13、變換R表示為S(i,j,t),(4)在變換域生成的邊信息為(5)根據(jù)(4)(5)兩式,我們可以把變換域的時(shí)域相關(guān)噪聲表示為:(6)(6)式表明如果能夠通過變換R抑制空域中時(shí)域相關(guān)噪聲的影響,那么在變換域就能夠?qū)μ摂M依賴信道更好的建模. 進(jìn)一步根據(jù)Girod的工作13,預(yù)測誤差的功率譜密度與運(yùn)動估計(jì)的準(zhǔn)確度之間具有如下關(guān)系:(7)其中和分別表示水平和垂直方向頻率,表示輸入視頻信號的空域功率譜, 是閉環(huán)濾波的沖擊響應(yīng), 是運(yùn)動估計(jì)誤差概率密度函數(shù)的2D傅立葉變換,是運(yùn)動補(bǔ)償不能預(yù)測的殘差信號的功率譜,表示取復(fù)數(shù)的實(shí)部. 公式(7)表明對變化緩慢的低頻信號來說,即使不太準(zhǔn)確的運(yùn)動估計(jì)也可以降低較多的

14、預(yù)測誤差;而對高頻信號來說,運(yùn)動估計(jì)必須精確,否則由于相位的反轉(zhuǎn)有可能造成信號預(yù)測誤差的增加. 公式(7)從另外一個(gè)角度說明了在空域中通過復(fù)雜運(yùn)動估計(jì)提高虛擬信道相關(guān)度存在的困難: 原始視頻信號中包含的高頻分量要求非常精確的運(yùn)動估計(jì),而在不能獲取當(dāng)前幀的情況下這是不可能的. 但同時(shí)該公式也指明了另外一個(gè)思路,結(jié)合公式(6),我們得出這樣的結(jié)論,如果把視頻信號分解為高頻信號和低頻信號, 只對低頻分量采用Wyner-Ziv編碼,那么需要的精確預(yù)測的高頻信號被剔除,低頻信號之間形成的虛擬依賴信道模型的可靠性將得到提升,不太精確的運(yùn)動估計(jì)也可以產(chǎn)生較好的邊信息.3.2 小波域虛擬依賴信道模型(VCMD

15、WT)現(xiàn)在關(guān)鍵問題轉(zhuǎn)變?yōu)槿绾伟逊瞧椒€(wěn)的視頻信號轉(zhuǎn)變?yōu)橄鄬ζ椒€(wěn)的信號.與DCT變換相比,小波變換具有天然的多分辨率特點(diǎn),可以把非平穩(wěn)的信號分解為一系列多尺度子帶的集合,每個(gè)子帶的元素變得相對穩(wěn)定14,尤其是低頻子帶. 基于此,本文提出了一種基于小波變換域的虛擬依賴信道模型(VCMDWT: Virtual dependent Channel Model based on DWT ),只對小波變換的LL低頻子帶(the coarsest subband)采用Wyner-Ziv編碼,而對高頻系數(shù)采用SPIHT 15方法編碼.這樣DVC中虛擬依賴信道不再是由非平穩(wěn)的空域視頻信號組成,而是由相對平穩(wěn)的LL

16、低頻子帶構(gòu)成. 基于小波域的相關(guān)信道模型如圖4所示. 圖4: 基于小波域的分布式視頻編碼結(jié)構(gòu)及其虛擬依賴信道為了驗(yàn)證所提出的基于小波域的虛擬依賴信道的有效性,我們對空域和小波域視頻信號進(jìn)行了時(shí)域相關(guān)度的測試,對視頻原始信息和邊信息間的相關(guān)系數(shù)進(jìn)行計(jì)算,公式如下:(8)其中f(i,j,t)和s(i,j,t)分別表示t時(shí)刻當(dāng)前WZ幀和對應(yīng)邊信息的系數(shù),和分別表示它們所有系數(shù)的平均值.測試序列為Carphone和Foreman前160個(gè)WZ幀.邊信息采用兩種方式生成:一種是ME/MC,一種是對前后兩幀的值進(jìn)行平均(average)的方法. 測試結(jié)果如圖5所示. 兩種序列在前80個(gè)WZ幀中運(yùn)動比較平緩

17、,像素域和小波域兩種邊信息生成方式下的相關(guān)系數(shù)相差不大.圖5中列出了運(yùn)動比較劇烈的81160 WZ幀的相關(guān)系數(shù).在Carphone序列中, LL子帶的相關(guān)系數(shù)數(shù)值明顯高于像素域相關(guān)系數(shù). 在小波域中兩種方式生成的邊信息對于相關(guān)系數(shù)值影響不大.既使不使用ME/MC LL子帶相關(guān)系數(shù)也要比使用ME/MC情況下的像素域相關(guān)系數(shù)的數(shù)值高,尤其是包含比較劇烈運(yùn)動的視頻幀中,如90100和140160 WZ幀兩個(gè)區(qū)間.在Foreman序列中, LL子帶的相關(guān)系數(shù)同樣高于像素域相關(guān)系數(shù)的數(shù)值.但是在140160 WZ幀間,ME/MC生成的邊信息比平均方法生成的邊信息具有更好的效果.這是由于該區(qū)間發(fā)生了一個(gè)快

18、速的相機(jī)平移(Camera Pan),也就是說在幀邊界上發(fā)生了強(qiáng)烈運(yùn)動.既使如此,在該區(qū)間內(nèi)使用平均方法生成邊信息得到的LL子帶相關(guān)系數(shù)也與像素域使用MEMC情況下得到的相關(guān)系數(shù)數(shù)值相差不大.圖5. Carphone和Foreman序列,在像素域和小波域,采用平均和MEMC兩種方式生成的邊信息與原始信息間的相關(guān)系數(shù).上述測試表明了小波域低頻子帶間具有更高的相關(guān)性,基于低頻子帶構(gòu)建的虛擬依賴信道具有更高的平穩(wěn)度.主要由高頻信號形成的相關(guān)噪聲被分離出去. 結(jié)合前面的理論分析,我們可以得出結(jié)論,如果一個(gè)變換能夠把非平穩(wěn)的視頻信號轉(zhuǎn)變或分解為較平穩(wěn)的信號集,那么在該變換域建立的虛擬依賴信道相關(guān)噪聲較低

19、;邊信息的生成方式對信道模型有影響,但在各域中影響程度不同.4 實(shí)驗(yàn)結(jié)果對本文提出的基于小波域的虛擬依賴信道模型的有效性在圖4所示的DVC框架下進(jìn)行了測試.首先與基于像素域的方法3,4進(jìn)行了對比.測試序列為QCIF格式的Carphone和Foreman中沖突區(qū)域較多的80160 WZ幀, 原始圖像序列中的偶數(shù)幀作為WZ幀(W),奇數(shù)幀作為key幀(I),系統(tǒng)編碼的GOP結(jié)構(gòu)為:I-W-I-W.小波域的時(shí)域相關(guān)噪聲也采用Laplacian模型建模, Carphone和Foreman的Laplacian參數(shù)分別設(shè)為0.17和0.20. 在像素域DVC中Laplcian參數(shù)采用幀級動態(tài)計(jì)算的方法8提

20、高解碼質(zhì)量.DWT變換采用CDF97小波,分解級數(shù)為3. LL子帶采用Wyner-Ziv編碼,其他子帶采用SPIHT編碼. 在像素域和小波域兩種編碼器中量化階級均為16階,使用的turbo碼編碼器相同,均為兩個(gè)并行級聯(lián)、碼率為4/5的卷積碼組成 3,8.由于turbo碼編碼器的限制,碼率最高為2bpp,在像素域中turbo碼的碼率為742.5kbps(因?yàn)闆]有使用3中的RCPT功能,所以碼率較高),在小波域中turbo碼的碼率為11.60kbps,為了更好的對比編碼效果,SPIHT編碼碼率設(shè)為1.0bpp(編碼時(shí)需要扣除turbo碼所占碼率),在經(jīng)過熵編碼后碼率為352.3kbpsCarpho

21、ne和364.5kbpsForeman,約為像素域碼率的一半.小波域和像素域兩種編碼情況下的key幀均采用H.264 intra模式編解碼,解碼后的key幀平均PSNR為37.2dB左右.實(shí)驗(yàn)結(jié)果如圖6所示.在Carphone和Foreman序列中,所提方法的編碼質(zhì)量比基于像素域的方法,在Carphone中平均提高4.5dB,在Foreman中平均提高2.6dB.在Carphone序列中,平均和MEMC兩種方法生成的邊信息對所提方法的解碼質(zhì)量影響不大.在Foreman序列中, 在140160的相機(jī)pan運(yùn)動中,MEMC生成的邊信息對于提高解碼質(zhì)量有較大的幫助.圖6顯示的解碼質(zhì)量與圖5中相關(guān)系數(shù)

22、的趨勢一致,當(dāng)某種方法的相關(guān)系數(shù)較高時(shí)該方法在解碼時(shí)也能獲得更好的解碼效果.根據(jù)實(shí)驗(yàn)在像素域中使用平均方法生成邊信息得到的解碼質(zhì)量較MEMC方法相差較大,本文沒有列出,具體數(shù)據(jù)可參考文獻(xiàn)3.圖6的實(shí)驗(yàn)結(jié)果表明了第三節(jié)理論分析的有效性.圖6 小波域與像素域虛擬依賴信道模型的編碼性能對比(a) (b) (c)(d) (e)(f) (g)(h)(i) (j)圖7 自左至右、自上至下依次為Carphone 第98 (a)、99 (b) key幀原始圖像, 基于98和99 key幀使用MEMC技術(shù)生成的第99 WZ幀的邊信息(c), 第99 WZ幀原始圖像(d), 像素域解碼重構(gòu)的99 WZ幀(e),

23、所提方法解碼重構(gòu)的99 WZ幀(f), 由(c)的LL子帶生成的低頻分量為主的圖像(g), 由(d)的LL子帶生成的低頻分量為主的圖像(h), 由(d)的高頻子帶系數(shù)生成的圖像(i), 以及(i)所代表的高頻系數(shù)被SPIHT編碼后在解碼端重構(gòu)的圖像(j). 圖6還證明了所提出的方法在運(yùn)動劇烈的幀中尤其適用.在像素域中由于圖像沖突區(qū)域較多,導(dǎo)致虛擬依賴信道模型不可靠而不能正確解碼的幀,在基于小波域的方法中基本都可以正確解碼.例如Carphone中90100 WZ幀.圖7給出了相應(yīng)的實(shí)例圖. 為了更方便的對比,我們沒有直接顯示LL子帶形成的圖像(因?yàn)槌叽缣?,而是把LL子帶以其重構(gòu)圖像的方式顯示

24、出來,如(g)(h)所示.在基于98和99 key幀MEMC技術(shù)生成的第99 WZ幀的邊信息圖上(c),使用白色方框標(biāo)示出了與原始WZ幀主要的不匹配區(qū)域,這些區(qū)域基本上是由于沖突區(qū)域的存在導(dǎo)致預(yù)測產(chǎn)生誤差而生成的.由于邊信息與原始幀間的誤碼率較高,像素域中的虛擬依賴信道呈現(xiàn)強(qiáng)烈的非平穩(wěn)特性.由于此時(shí)信道模型與使用的信道編碼的校驗(yàn)?zāi)芰Σ黄ヅ?導(dǎo)致Wyner-Ziv解碼失敗(e). 與之對照的是在所提方法中,高頻信號和低頻信號分離,對照(g)和(h)可以看出低頻信號間的變化比較緩慢,因而形成的虛擬依賴信道也呈現(xiàn)較好的平穩(wěn)特性,這就保障了Wyner-Ziv解碼的成功(f). 低頻子帶在整個(gè)圖像中所占

25、能量的比例非常高,根據(jù)我們的統(tǒng)計(jì)CDF97小波3級分解后LL子帶在所有子帶中所占能量比例大于98.5% (h). 因此在給定的編碼碼率中扣除LL子帶Wyner-Ziv編碼所需的碼率后,剩余的碼率進(jìn)行SPIHT編碼,對占據(jù)能量比例極少的少量高頻系數(shù)仍然非常有效,基本上重要的邊緣均可以保留下來,如圖(i)和(j)所示.因此通過把圖像分解為高頻信號和相對平穩(wěn)的低頻信號,分別采用SPIHT編碼和Wyner-Ziv編碼,可以有效的應(yīng)對沖突區(qū)域造成的視頻信號的非平穩(wěn)特性,同時(shí)還保障了較好的編碼效率.其次對提出的基于小波域虛擬依賴信道模型的DVC編碼方法與其他編碼方法在不同的碼率上進(jìn)行了對比,實(shí)驗(yàn)結(jié)果如圖8

26、所示.其中DISCOVER DVC編碼系統(tǒng)工作在DCT域16;SPIHT方法采用逐幀幀內(nèi)編碼方式; H.264采用幀內(nèi)編碼模式.三種DVC結(jié)構(gòu)編碼時(shí)均采用I-W-I-W的GOP結(jié)構(gòu),幀率為30幀/秒. 從圖8可以看出基于像素域的DVC編碼方法比基于DCT域的DISCOVER和本文提出的基于小波域的VCMDWT DVC編碼方法整體性能要低很多,這與第二節(jié)的分析結(jié)果是一致的. 在圖8中, 所提出的VCMDWT DVC編碼方法比DISCOVER方法在Carphone和Foreman序列中分別高約0.6dBs和0.2dBs,并且在Carphone序列中當(dāng)碼率大于352k后, VCMDWT DVC方法比

27、DISCOVER方法PSNR增加更多.根據(jù)分析,這主要是由于在低碼率時(shí),DVC編碼涉及到的主要是低頻系數(shù)的高比特位,此時(shí)兩種模型均能較好的發(fā)揮功能, 而在高碼率時(shí)由于更多低頻系數(shù)的低比特位以及高頻系數(shù)需要編碼,此時(shí)單純使用虛擬依賴信道模型的相關(guān)性結(jié)構(gòu)進(jìn)行Wyner-Ziv編碼顯然效果要差,而所提出的VCMDWT DVC編碼方法對高頻系數(shù)采用SPIHT編碼,一定程度上對這一缺陷進(jìn)行了彌補(bǔ).在兩個(gè)測試序列中,在碼率低于約200k時(shí)VCMDWT和DISCOVER DVC的編碼性能均比H.264 intra要好, 在碼率低于約300k時(shí)均比SPIHT方法要好;大于以上碼率時(shí)則比H.264 intra和

28、SPIHT方法編碼性能差,并且這種趨勢隨碼率的增加而增大. 這主要是由于隨著碼率的增大,所有系數(shù)的低比特位和高頻系數(shù)對解碼質(zhì)量的影響增大,而虛擬依賴信道模型的相關(guān)性結(jié)構(gòu)對低比特位和高頻系數(shù)的失效逐漸增多.通過以上實(shí)驗(yàn)結(jié)果可以得出結(jié)論:1)所提出的低頻系數(shù)基于VCMDWT進(jìn)行編碼、高頻系數(shù)采用SPIHT編碼的混合DVC方案比基于DCT域的DISCOVER和像素域的DVC編碼方法能夠獲得更好的編碼性能.2)DVC編碼技術(shù)在低碼率下能夠獲得比基于DCT和小波技術(shù)的傳統(tǒng)視頻幀內(nèi)編碼方案(H.264 intra和SPIHT)更好的編碼性能,但是在高碼率下性能要差.3)在高碼率下, 低頻系數(shù)基于VCMDW

29、T進(jìn)行編碼、高頻系數(shù)采用SPIHT編碼的DVC方案有助于提高編碼效率.圖8小波域虛擬依賴信道模型與其他編碼方法的編碼性能對比5 相關(guān)工作從上個(gè)世紀(jì)90年代后期,一些實(shí)用的分布式編碼算法才開始出現(xiàn). 文獻(xiàn)17最早發(fā)起了該項(xiàng)工作的研究, 對統(tǒng)計(jì)相關(guān)的二值高斯信源使用標(biāo)量和trellis集構(gòu)造伴隨式形式的信道編碼,基于解碼端邊信息實(shí)現(xiàn)DSC解碼. 文獻(xiàn)3提出了一種基于像素域的幀內(nèi)編碼幀間解碼系統(tǒng)結(jié)構(gòu),解碼端時(shí)利用邊信息輔助解碼,由已經(jīng)解碼的前后兩幀的平均值或者運(yùn)動估計(jì)生成對當(dāng)前WZ幀的一個(gè)預(yù)測,即邊信息.隨后虛擬依賴信道在DVC系統(tǒng)中的地位逐漸受到重視18,8,9.目前對于降低像素域內(nèi)虛擬依賴信道模

30、型中時(shí)域噪聲的影響主要有三種思路.第一種方法是采用更為復(fù)雜的ME/MC技術(shù)進(jìn)行邊信息的構(gòu)造3-6. 雖然文獻(xiàn)12中聲明如果對運(yùn)動情況估計(jì)的非常完美,殘差幀N(i,j,t)將呈現(xiàn)為真正的白噪聲,但是即使使用非常復(fù)雜的ME技術(shù),由于沖突區(qū)域(Occlusion areas)等情況的存在,這個(gè)目標(biāo)仍然很難達(dá)到,而在DVC中由于解碼端不能獲取當(dāng)前編碼的信息,情況更為惡化. 第二種思路則是采用統(tǒng)一的虛擬依賴信道模型,典型的如Laplacian模型,但是在解碼時(shí)則動態(tài)的調(diào)整模型的參數(shù).例如文獻(xiàn)7對像素域虛擬依賴信道模型中的Laplacian參數(shù)的估計(jì)方式進(jìn)行了幀級、塊級和像素級的研究.第三種思路與第二種正

31、好相反,針對沖突區(qū)域的特性, 在建模時(shí)不再采用一個(gè)統(tǒng)一的模型,而是采用混合模型,對具有不同時(shí)域相關(guān)噪聲的區(qū)域采用不同的參數(shù)建模.典型的如把區(qū)域劃分為沖突區(qū)域和非沖突區(qū)域8,9. 然而這種方法仍然存在較大的困難,主要在于沖突區(qū)域如何實(shí)現(xiàn)自動劃分.在不能獲取當(dāng)前幀信息的情況下,這是一個(gè)非常艱巨的任務(wù).在對DVC DCT變換域的研究中,文獻(xiàn)19提出了一種基于DCT域的DVC結(jié)構(gòu),使用伴隨碼進(jìn)行解碼,只有DCT變換的低頻系數(shù)采用Wyner-Ziv編碼機(jī)制, 對于高頻系數(shù)要么直接丟棄,在解碼端利用邊信息的高頻系數(shù)代替,要么直接采用幀內(nèi)編碼的方式; 文獻(xiàn)20提出了基于turbo碼對4x4變換的DCT系數(shù)進(jìn)

32、行編碼的DVC結(jié)構(gòu),把所有的DCT系數(shù)分成不同的子帶分別進(jìn)行Wyner-Ziv編碼,虛擬依賴信道模型參數(shù)采用預(yù)先估計(jì)的數(shù)值,這對于低頻子帶是有利的,但是高頻子帶間形成的虛擬依賴信道仍然可靠性較低.文獻(xiàn)10在文獻(xiàn)19的基礎(chǔ)上提出使用基于“小波塊”的DVC編碼結(jié)構(gòu),文獻(xiàn)11提出了一種基于SPIHT編碼技術(shù)的DVC編碼結(jié)構(gòu), 但兩種方法仍然是把高頻信息和低頻信息統(tǒng)一放在一個(gè)虛擬依賴信道中處理.6 結(jié)論當(dāng)前分布式視頻編碼與傳統(tǒng)的基于MCP的編碼技術(shù)在性能上的差距,表明了僅僅依靠turbo碼等信道編碼的糾錯(cuò)能力并不能完全克服DVC編碼中時(shí)域相關(guān)噪聲的影響,這主要是由于在DVC中解碼端不能獲取當(dāng)前幀足夠的

33、信息以及視頻固有的非平穩(wěn)特性造成的.本文對原始信息和解碼端邊信息組成的虛擬依賴信道進(jìn)行了研究,針對像素域中虛擬依賴信道建模的困難,在變換域?qū)μ摂M依賴信道的時(shí)域相關(guān)噪聲進(jìn)行了分析.理論分析表明如果采用的變換能夠較好的抑制空域中的時(shí)域相關(guān)噪聲,那么在相應(yīng)的變換域中就能夠構(gòu)建具有較好的平穩(wěn)特性的虛擬依賴信道. 根據(jù)分析結(jié)果,結(jié)合小波技術(shù)的特點(diǎn),基于分離視頻信號中低頻和高頻能量的方法,提出了一種新的基于小波變換的虛擬依賴信道模型. 實(shí)驗(yàn)證明對于具有較多沖突區(qū)域的圖像,效果尤其明顯. 今后將對基于小波變換域虛擬依賴信道模型的DVC編碼機(jī)制進(jìn)行更深入的研究,主要包括信道編碼器和SPIHT編碼器之間的碼率分

34、配問題,小波低頻子帶的量化問題和率失真問題,以及對噪聲進(jìn)行更為詳細(xì)的分類分析和處理.References:1 Slepian J, Wolf J. Noiseless coding of correlated information sources. IEEE Transactions on Information Theory, 1973, vol. IT-19: 471480.2 Wyner A, Ziv J. The rate-distortion function for source coding with side information at the decoder. IEEE

35、Transactions on Information Theory, 1976, vol. IT-22 (1): 110.3 Aaron A, Zhang R, Girod B. Wyner-Ziv coding of motion video. Proc. Asilomar Conference on Signals and Systems, Pacific Grove, CA, 2002: 240- 244.4 Ascenso J, Brites C, Pereira F. Improving frame interpolation with spatial motion smoothi

36、ng for pixel domain distributed video coding. 5th EURASIP Conference on Speech and Image Processing, Multimedia Communications and Services, Smolenice, Slovak Republic, 2005.5 Klomp S, Vatis Y, Ostermann J. Side Information Interpolation with Sub-pel Motion Compensation for Wyner-Ziv Decoder. Intern

37、ational Conference on Signal Processing and Multimedia Applications (SIGMAP2006), Setúbal, Portugal, 2006.6 Kubasov D, Guillemot C. Mesh-based motion-compensated interpolation for side information extraction in distributed video coding. International Conference on Image Processing (ICIP2006), A

38、tlanta, USA, 2006: 261-264.7 Brites C. Advances on distributed video coding D. Lisbon: Instituto Superior Tecnico, Universidade Tecnica DE Lisbon, 2005.8 Meyer A, Westerlaken P, Gunnewiek K, Lagendijk R. Distributed source coding of video with non-stationary side-information. Visual Communications a

39、nd Image Processing (VCIP2005), Beijing, 2005: 12-15.9 Westerlaken P, Gunnewiek K, Lagendijk R. The role of the virtual channel in distributed source coding of video. International Conference on Image Processing (ICIP2005), Genova, Italy, 2005: 581- 584.10 Fowler J, Tagliasacchi M, Pesquet-Popescu B

40、. Wavelet-based distributed source coding of video. In Proceedings of the European Signal Processing Conference, Antalya, Turkey, 2005.11 Guo X, Lu Y, Wu F, Gao W, Li S. Wyner-Ziv video coding based on set partitioning in hierarchical tree. IEEE International Conference on Image Processing (ICIP 200

41、6), Atlanta, GA, USA, 2006: 601-604.12 Ishwar P, Prabhakaran V, Ramchandran K. Towards a theory for video coding using distributed compression principles. In 2003 International Conference on Image Processing (ICIP2003), 2003: vol. 3, 687-690.13 Girod, B. The efficiency of motion-compensating predict

42、ion for hybrid coding of video sequences. IEEE Journal of Selected Areas in Communications, 1987, vol.5 (7): 1140-1154.14 Wang Y, Ostermann J, Zhang Y. Video Processing and Communications. Beijing: Prentice Hall and Tsinghua University Press, 2005.15 Said A, Pearlman W. A new, fast and efficient ima

43、ge codec based on set partitioning in hierarchical trees. IEEE Transactions on Circuits and Systems for Video Technology, 1996, vol. 6 (3): 243-250.16 THE DISCOVER CODEC, the IST FET programme of the European Union within the FP6/2002/IST/C Call,/cont_Codec.html, download Oc

44、t.01, 2008.17 Pradhan S, Ramchandran K. Distributed source coding using syndromes (DISCUS): Design and construction. Proc. IEEE Data Compression Conference, Snowbird, UT, 1999: 158167.18 Pradhan S, Chou J, Ramchandran K. Duality between source coding and channel coding and its extension to the side

45、information case. IEEE Transactions on Information Theory, 2003, vol. 49: 11811203.19 Puri R, Ramchandran K. PRISM: a new robust video coding architecture based on distributed compression principles. Proc. of 40th Allerton Conference on Communication, Control, and Computing, Allerton, Illinois, 2002

46、.20 Aaron A, Rane S, Setton E, Girod B. Transform-domain Wyner-Ziv codec for video. In Proc. SPIE Visual Communications and Image Processing, San Jose, CA, Jan. 2004: 520-528.Research of the Virtual Dependency Channel in Distributed Video CodingFANG Sheng1,2 LI Zhe1 Liang Yong-Quan1 ZHONG Yu-Zhuo21(

47、College of Information Science and Engineering, Shandong University of Science and Technology, Qingdao 266510, China)2(Graduate School of Shenzhen, Tsinghua University, Shenzhen 518055, China)Abstract:The inherent non-stationary characteristic of video signal, such as occlusion phenomena, leads to a

48、 complicated motion-compensated prediction technology. In distributed video coding (DVC) because the decoder cannot have access to the current frame, modeling the temporal correlation noise becomes a difficult task. In order to reduce the performance degradation owing to the non-stationary character

49、istic of video signal, this paper focuses on the research of virtual dependency channel model. Based on a common DVC codec, this paper presents a generalized model of the virtual dependency channel, analysis of which shows that in transformation domain the different subbands have various degree of s

50、ensitivity to the temporal correlation noise. According to the analysis this paper proposes a novel VCMDWT model, in which the virtual dependency channel is modeled at the LL subband with property of being more stationary, at the same time the non-stationary high frequency subbans are encoded by SPI

51、HT with intra mode. The simulation results show that the proposed model is especially adaptable to the frames with many occlusion areas, which would be unfit for the pixel domain DVC, and finally improves the rate distortion performance with a gain up to 2.6dBs. Key words: distributed video coding;

52、virtual dependency channel; channel model; temporal correlation noise; wavelet transformWorking BackgroundThe work of this paper is supported by National Natural Science Foundation of China (NSFC) Key Program under contract No. 90718011.As more and more mobile devices join in the networks, especiall

53、y wireless networks, encoding video anywhere anytime has become a trend. An emerging approach to the low complexity video encoding is distributed video coding (DVC, also called Wyner-Ziv video coding) with side information (SI). DVC suffers from a performance gap with respect to classical motion-com

54、pensated predictive coding solutions partly on count of the difficulty in modeling the temporal correlation noise without access to current frame. In another word, DVC decoding efficiency heavily depends on the capacity to model the temporal correlation noise between the source data and the SI, whic

55、h can be regarded as the input and output of a virtual dependency channel. Although many methods have been proposed to model the virtual channel well, such as building different models corresponding to the segmentation of the video areas, make the model adaptive in frame, block or pixel level, it st

56、ill remains a hard challenge and does need of further research in both theory and operation.During the last years we have been carrying out research on improving the side information quality, the design of quantizer and the practical DVC system, and integrating the Wyner-Ziv techniques with traditio

57、nal video coding system. How to generate side information with better quality is our research focus.This paper stemmed from the idea of classification-based video coding principle, which had been widely used in traditional video codec. However it is still in need of further research in DVC. It is well known the high frequency subbands is especially sensitive to inaccurate motion search, which is inevitable in DVC. The proposed VC