一種基于分層率失真優(yōu)化的容錯(cuò)性視頻轉(zhuǎn)碼算法

1、一種基于分層率失真優(yōu)化的容錯(cuò)性視頻轉(zhuǎn)碼算法韓鎮(zhèn) 1,胡瑞敏 1, 2, 陳皓 2, 李明 21(武漢大學(xué)計(jì)算機(jī)學(xué)院,武漢 4300722(武漢大學(xué)國(guó)家多媒體軟件工程技術(shù)研究中心,武漢 430072摘要 :容錯(cuò)性視頻轉(zhuǎn)碼能夠在已壓縮視頻流中嵌入容錯(cuò)性工具,以增強(qiáng)視頻流面向無(wú)線信道的抗誤 碼能力。但是容錯(cuò)性工具的嵌入在降低失真的同時(shí)也會(huì)增加碼率,因此需要進(jìn)行率失真優(yōu)化。針對(duì)這一問(wèn) 題,本文提出了一種基于分層率失真優(yōu)化的容錯(cuò)性轉(zhuǎn)碼算法。該算法通過(guò)在幀層和宏塊層分別對(duì)重同步標(biāo) 記的插入和幀內(nèi)宏塊的刷新進(jìn)行不同粒度的優(yōu)化來(lái)提高算法的靈活性,通過(guò)在幀層考慮幀內(nèi)宏塊刷新、幀 內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè)的影響來(lái)提高

2、算法的精確性,通過(guò)在宏塊層減少候選模式的數(shù)量來(lái)降低算法的復(fù)雜 度。 實(shí)驗(yàn)表明本算法與基于單層率失真優(yōu)化的算法相比, 信噪比可獲得 0.6-1.1dB 的增益, 復(fù)雜度最多可降 低 25%。關(guān)鍵字 :視頻轉(zhuǎn)碼;容錯(cuò)性;率失真優(yōu)化;重同步標(biāo)記插入;幀內(nèi)宏塊刷新Error Resilient Video Transcoding Based on Layered Rate Distortion OptimizationHAN Zhen*1, HU Rui-Min 1, 2, CHEN Hao 2, LI Ming 21(Computer School, Wuhan University, Wuhan,

3、 430072, China2(National Multimedia Software Engineering Research Center, Wuhan University, Wuhan, 430072, ChinaAbstract :Error resilient video transcoding can insert error resilient tools in the compressed video to enhance error resilience of the video over wireless channels. However the error resi

4、lience insertion increases bit rate while reducing distortion. So the rate distortion optimization is required. In order to solve this problem, this paper proposes an error resilient video transcoding algorithm based on layered rate distortion optimization. This algorithm improves the flexibility by

5、 performing rate distortion optimization with different granularity for synchronization marker insertion and intra macroblock refresh on the frame layer and macroblock layer respectively. Moreover this algorithm improves the accuracy by accounting for the intra refresh, intra prediction, motion vect

6、or prediction on the frame layer and reduces the complexity by reducing the candidate macroblock modes on the macroblock layer. The simulation results show that the proposed algorithm improves PSNR by 0.6-1.1dB and reduces the complexity by about 25% compared with the algorithms based on single laye

7、r rate distortion optimization.Key words:video transcoding; Error resilient; rate distortion optimization; synchronization marker insertion; intra macroblock refresh*基金項(xiàng)目:國(guó)家自然科學(xué)基金(No.60472040 ;公安部應(yīng)用創(chuàng)新計(jì)劃(No. 2005YYCXHBST114 。韓鎮(zhèn), 男, 1980年生,博士研究生,主要研究領(lǐng)域:視頻編碼和轉(zhuǎn)碼, E-mail :hanzhen_2003;胡 瑞敏,男, 1964年生,博士,教

8、授,博士生導(dǎo)師,主要研究領(lǐng)域:多媒體通信,數(shù)字信號(hào)處理等;陳皓, 男, 1982年生,博士研究生,主要研究領(lǐng)域:無(wú)線視頻編碼;李明,男, 1975年生,博士,副教授,主要 研究領(lǐng)域:無(wú)線視頻通信和編碼。1 引言由于網(wǎng)絡(luò)環(huán)境的異構(gòu)性(如信源的異構(gòu)性、信道的異構(gòu)性、終端的異構(gòu)性等 ,通用多 媒體存取成為一個(gè)亟待解決的問(wèn)題。視頻轉(zhuǎn)碼正是解決這一問(wèn)題的有效技術(shù) 1-3。狹義的視 頻轉(zhuǎn)碼是指將已壓縮的視頻流從一種格式 (如空間分辨率、幀率、 碼率等轉(zhuǎn)換為另一種格 式的操作。 廣義的視頻轉(zhuǎn)碼則包括在已壓縮視頻流中嵌入信息 (如數(shù)字水印、 容錯(cuò)性工具等 的操作。容錯(cuò)性視頻轉(zhuǎn)碼就是指在已壓縮視頻流中嵌入容錯(cuò)性

9、工具的轉(zhuǎn)碼 1-3。容錯(cuò)性視頻 轉(zhuǎn)碼能夠有效增強(qiáng)視頻流面向無(wú)線信道的抗誤碼能力, 因此對(duì)于無(wú)線異構(gòu)網(wǎng)絡(luò)環(huán)境下的通用 多媒體存取具有重要意義,在移動(dòng)娛樂(lè)、移動(dòng)監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價(jià)值?；镜娜蒎e(cuò)性視頻轉(zhuǎn)碼分為時(shí)域容錯(cuò)和空域容錯(cuò)兩種 4-7。前者主要是對(duì)輸入視頻流進(jìn) 行幀內(nèi)宏塊刷新, 后者主要是對(duì)輸入視頻流插入重同步標(biāo)記。 雖然容錯(cuò)性轉(zhuǎn)碼可以有效地增 強(qiáng)視頻流的抗誤碼能力,降低無(wú)線環(huán)境下解碼端的視頻重建失真,但是同時(shí)也會(huì)增加碼率:幀內(nèi)宏塊的刷新則會(huì)由于減少當(dāng)前幀與參考幀之間的預(yù)測(cè)而增加時(shí)域上的冗余; 重同步標(biāo)記 的插入會(huì)增加額外的頭信息,同時(shí)也會(huì)由于禁止重同步單元之間的預(yù)測(cè)而增加空域上的冗 余

10、。 因此利用率失真優(yōu)化在失真與碼率之間取得平衡是容錯(cuò)性轉(zhuǎn)碼的關(guān)鍵問(wèn)題。 近年來(lái)已有 研究人員對(duì)率失真優(yōu)化與容錯(cuò)性轉(zhuǎn)碼的結(jié)合進(jìn)行了有益嘗試。文獻(xiàn) 8針對(duì)已有算法的不足 提出了一種基于幀層率失真優(yōu)化的容錯(cuò)性轉(zhuǎn)碼算法, 將幀內(nèi)宏塊刷新率和重同步標(biāo)記插入率 同時(shí)作為優(yōu)化變量。文獻(xiàn) 9則提出了一種基于宏塊層率失真優(yōu)化的容錯(cuò)性轉(zhuǎn)碼算法,但只 對(duì)幀內(nèi)宏塊的刷新進(jìn)行優(yōu)化, 對(duì)重同步標(biāo)記的插入則通過(guò)設(shè)定閾值來(lái)選擇。 上述算法使得容 錯(cuò)性轉(zhuǎn)碼的效率有所提高,但仍然在以下方面存在著問(wèn)題:(1靈活性:文獻(xiàn) 8和 9提出 的幀層和宏塊層算法均是針對(duì)單一層次的, 因此重同步標(biāo)記的插入和幀內(nèi)宏塊的刷新難以在 不同層次進(jìn)行不

11、同粒度的優(yōu)化。這使得算法的靈活性降低。 (2精確性:在文獻(xiàn) 8提出的 幀層算法中:對(duì)于失真模型,沒(méi)有考慮幀內(nèi)宏塊刷新對(duì)信源失真的影響;對(duì)于率模型, 沒(méi)有 考慮幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè)對(duì)比特?cái)?shù)的影響; 對(duì)于拉格朗日乘子, 沒(méi)有給出具體的計(jì)算公 式。這使得幀層算法的精確性降低。 (3復(fù)雜度:在文獻(xiàn) 9提出的宏塊層算法中,沒(méi)有利 用轉(zhuǎn)碼輸入視頻的信息減少率失真優(yōu)化候選模式的數(shù)量。這使得宏塊層算法的復(fù)雜度增高。針對(duì)上述不足, 本文提出了一種基于分層率失真優(yōu)化的 H.264容錯(cuò)性轉(zhuǎn)碼算法, 首先在 幀層對(duì)重同步標(biāo)記的插入, 即片的長(zhǎng)度進(jìn)行粗粒度的率失真優(yōu)化, 然后在宏塊層對(duì)幀內(nèi)宏塊 的刷新, 即宏塊的編碼

12、模式進(jìn)行細(xì)粒度的率失真優(yōu)化, 從而提高算法的靈活性。 在進(jìn)行幀層 率失真優(yōu)化時(shí), 充分考慮幀內(nèi)宏塊刷新、 幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè)的影響, 并推導(dǎo)出具體的 拉格朗日乘子公式, 從而提高幀層算法的精確性。 在進(jìn)行宏塊層率失真優(yōu)化時(shí), 充分利用轉(zhuǎn) 碼輸入視頻流的當(dāng)前幀信息和轉(zhuǎn)碼輸出視頻流的前一幀信息, 減少率失真優(yōu)化候選模式的數(shù) 量,從而降低宏塊層算法的復(fù)雜度。2 幀層率失真優(yōu)化本文借鑒文獻(xiàn) 10中的宏塊層信源信道聯(lián)合率失真模型,建立如下式所示的幀層信源信 道聯(lián)合率失真模型:( (minarg *s R s D s FR FR FR +=( ( (minarg 0s R s R s D FR FR

13、FR FR += (1 其中 s , s 0分別為當(dāng)前幀的片長(zhǎng)度和幀長(zhǎng)度, D FR (s 為當(dāng)前幀片長(zhǎng)度為 s 時(shí)的信源信道聯(lián)合 總失真, R FR (s , R FR (s 0 和 R FR (s 分別為當(dāng)前幀片長(zhǎng)度為 s , s 0時(shí)的比特?cái)?shù)以及前者相 對(duì)于后者的比特增益, FR 為當(dāng)前幀的拉格朗日乘子。其中當(dāng)前幀未出現(xiàn)誤碼丟包時(shí),解碼 端不進(jìn)行錯(cuò)誤掩蓋,信源信道聯(lián)合總失真 D FR (s 由信源失真和擴(kuò)散失真組成;當(dāng)前幀出現(xiàn)誤碼丟包時(shí),解碼端進(jìn)行錯(cuò)誤掩蓋,信源信道聯(lián)合總失真 D FR (s 則由掩蓋失真組成。因此 式(1所示的幀層信源信道聯(lián)合率失真模型可以進(jìn)一步表示如下:( ( ( (

14、1min(arg 0, , , *s R s R D s p D D s p s FR FR FR c FR p FR s FR +-=(2其中 p (s 為當(dāng)前幀片長(zhǎng)度為 s 時(shí)的丟包率, D FR, s , D FR, p 和 D FR, c 分別為當(dāng)前幀的信源失 真、擴(kuò)散失真和掩蓋失真。需要指出的是, 基于幀層和基于宏塊層的率失真優(yōu)化是兩個(gè)相互影響的過(guò)程:對(duì)片的長(zhǎng) 度進(jìn)行幀層優(yōu)化時(shí),需要先確定宏塊的編碼模式;而對(duì)宏塊的編碼模式進(jìn)行宏塊層優(yōu)化時(shí), 又需要先確定片的長(zhǎng)度。為了解決這一悖論,本文采取了宏塊預(yù)刷新策略,其基本思想是:在對(duì)片長(zhǎng)度進(jìn)行幀層優(yōu)化之前, 根據(jù)宏塊的刷新前率失真函數(shù)值進(jìn)行預(yù)

15、刷新, 刷新前率失真 函數(shù)值越大, 則預(yù)刷新的可能性就越大。 由于宏塊刷新前后變化的主要是擴(kuò)散失真和比特?cái)?shù), 因此刷新前率失真函數(shù)的定義如下:MB MB p MB MB R D J +=, (3其中, D MB, p, R MB 和 MB 分別為宏塊的刷新前擴(kuò)散失真、比特?cái)?shù)和拉格朗日乘子。 D MB, p根據(jù)文獻(xiàn) 10中的擴(kuò)散失真公式由轉(zhuǎn)碼輸入流中的運(yùn)動(dòng)矢量計(jì)算得到, R MB 由轉(zhuǎn)碼輸入流解 碼得到, MB 則由轉(zhuǎn)碼輸入流中的量化步長(zhǎng)計(jì)算得到。預(yù)刷新的步驟如下:首先根據(jù)式 (3 計(jì)算前一幀實(shí)際刷新宏塊的刷新前率失真函數(shù)值, 求得其平均值 MBJ ;然后根據(jù)式(3計(jì)算當(dāng)前幀幀間宏塊的刷新前率失

16、真函數(shù)值 MB J ; 如果 MB J 大于 MBJ ,則此幀間宏塊被預(yù)刷新為幀內(nèi)宏塊。需要指出的是,預(yù)刷新策略只是 對(duì)編碼模式的預(yù)估計(jì),并不是對(duì)宏塊進(jìn)行實(shí)際編碼。2.1 失真模型由式(2可知失真模型由 D FR, s, D FR, p, D FR, c和 p (s 構(gòu)成,其中掩蓋失真 D FR, c可 以基于轉(zhuǎn)碼輸入流中的運(yùn)動(dòng)矢量根據(jù)文獻(xiàn) 10中的掩蓋失真公式計(jì)算得到; 丟包率 p (s 可以 根據(jù)文獻(xiàn) 11中的誤碼率 /丟包率轉(zhuǎn)換公式和文獻(xiàn) 12中的片長(zhǎng)度 /丟包率曲線計(jì)算得到; 對(duì)于 幀間宏塊,擴(kuò)散失真 D FR, p可以基于轉(zhuǎn)碼輸入流中的運(yùn)動(dòng)矢量根據(jù)文獻(xiàn) 10中的擴(kuò)散失真公 式計(jì)算得到

17、; 對(duì)于幀內(nèi)宏塊, 擴(kuò)散失真 D FR, p則可以通過(guò)采用受限幀內(nèi)預(yù)測(cè)來(lái)消除。 因此下 面主要討論信源失真 D FR, s。由于預(yù)刷新并不進(jìn)行實(shí)際編碼,當(dāng)前幀信源失真 D FR ,s需要通過(guò)文獻(xiàn) 13中的信源率失 真模型求得。當(dāng)前幀轉(zhuǎn)碼前后的信源率失真模型分別如下所示: =1, , 1, 21, log s FR FR FR FR D b a R (4 =2, , 2, 22, log s FR FR FR FR D b a R (5 其中 R FR, 1和 R FR, 2分別為當(dāng)前幀轉(zhuǎn)碼前后的比特?cái)?shù), b FR, 1和 b FR, 2分別為當(dāng)前幀轉(zhuǎn)碼前后 的方差, D FR,s, 1和 D

18、FR,s, 2分別為當(dāng)前幀轉(zhuǎn)碼前后的信源失真, a FR 為當(dāng)前幀信源率失真模型 參數(shù)。由式(4 (5可得: -=2, , 2, 1, , 1, 22, 1, log s FR FR s FR FR FR FR D b D b R R (6 由式(6進(jìn)一步推導(dǎo)可得:2, 1, 21, , 1, 2, 2, , F R F R R R s FR FR FR s FR D b b D -= (7 其中 R FR, 1/R FR, 2由轉(zhuǎn)碼前后的碼率之比得到, D FR,s, 1由如下所示的信源失真模型 13求得:= =n MB MB s FR Q D 021, 1, , 12 (8 其中 Q MB

19、, 1為轉(zhuǎn)碼前當(dāng)前幀宏塊的量化步長(zhǎng), 由轉(zhuǎn)碼輸入流解碼得到, n 為當(dāng)前幀宏塊數(shù)目。當(dāng)前幀轉(zhuǎn)碼前的方差 b FR, 1由當(dāng)前幀未刷新宏塊的方差和預(yù)刷新宏塊的刷新前方差構(gòu) 成,兩者均可以由轉(zhuǎn)碼輸入流解碼得到。當(dāng)前幀轉(zhuǎn)碼后的方差 b FR, 2則由當(dāng)前幀未刷新宏塊 的方差和預(yù)刷新宏塊的刷新后方差構(gòu)成, 其中后者由于預(yù)刷新并不進(jìn)行實(shí)際編碼需要根據(jù)前 一幀刷新宏塊刷新前后的方差估計(jì)得到。 基于上述分析, b FR, 1和 b FR, 2的計(jì)算公式如下所示:+=A MB r nt MB A MB MB FR b b b e i , 1, (9 +=A MB ntraMB A MB MB FR b b b

20、 i , 2, inter , intra , i , MB MB A MB nter MB A MB MB b b b b += (10其中 A 表示預(yù)刷新宏塊的集合, b MB 為當(dāng)前幀未刷新宏塊的方差, b MB, inter 和 b MB, intra 分別為當(dāng)前幀預(yù)刷新宏塊刷新前后的方差, inter , MBb 和 intra , MB b 分別為前一幀刷新宏塊刷新前后 方差的平均值。 b MB , b MB, inter 和 inter , MBb 由轉(zhuǎn)碼輸入流解碼計(jì)算得到, intra , MB b 由前一幀實(shí) 際編碼計(jì)算得到。將式(8 (9 (10代入式(7就可以求得 D F

21、R,s, 2,也就是式(2中的 D FR, s。2.2 率模型由式(2可知率模型由 R FR (s 0 和 R FR (s 構(gòu)成。其中當(dāng)前幀片長(zhǎng)度為 s 0時(shí)的比特?cái)?shù) R FR (s 0 由轉(zhuǎn)碼后的目標(biāo)碼率得到。下面主要討論片長(zhǎng)度為 s 時(shí)相對(duì)片長(zhǎng)度為 s 0時(shí)的比特增 益 R FR (s 。正如文獻(xiàn) 12所分析的,片的長(zhǎng)度越小,片的數(shù)量就越多,而片結(jié)構(gòu)會(huì)增加額外的片頭 信息, 同時(shí)也會(huì)禁止片之間進(jìn)行預(yù)測(cè), 因此由片數(shù)增加而導(dǎo)致的比特增益主要由兩部分構(gòu)成:片頭增加的比特?cái)?shù)和片間預(yù)測(cè) (包括幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè) 被禁止而增加的比特?cái)?shù)。 R FR (s 的計(jì)算公式如下所示:MB 0 (R n R

22、 ss s R head FR += (11 其中 R head 為視頻編碼標(biāo)準(zhǔn)中片頭的比特?cái)?shù), s 0 /s 為當(dāng)片長(zhǎng)度為 s 時(shí)一幀所包括的片的數(shù)目,MB R '為前一幀中宏塊由于片間預(yù)測(cè)被禁止而增加的比特?cái)?shù)的平均值, n 為當(dāng)前幀片間預(yù)測(cè)被禁止的宏塊的數(shù)目, 也就是與參考宏塊處于不同片的宏塊的數(shù)目。 n 的計(jì)算公式如下所示:=MB n n (12如果當(dāng)前宏塊與參考宏塊之間所有宏塊的比特?cái)?shù)之和大于片長(zhǎng)度, 那么此宏塊與參考宏塊處 于不同片內(nèi)。因此 n MB 的取值如下:>=-=-=sR R r s R R r n FR FR MB L MB i i FR FR MB L MB

23、 i i MB 1, 2, 1, 2, , 1, 0 (13 其中 r i 為宏塊 i 轉(zhuǎn)碼前的比特?cái)?shù), 由轉(zhuǎn)碼輸入流解碼得到; L 為視頻一行所包括的宏塊數(shù)目, 由空間分辨率參數(shù)決定。2.3 拉格朗日乘子文獻(xiàn) 10已經(jīng)證明了在信道丟包的情況下,拉格朗日乘子 FR 滿足下列關(guān)系:0, (1(FR FR s p -= (14其中 0, FR 為沒(méi)有信道丟包時(shí)當(dāng)前幀的拉格朗日乘子。由文獻(xiàn) 13中的證明可知:2, 2, , 0, d dD FR s FR FR R -= (15將式(5代入式(15可進(jìn)一步推導(dǎo)得到:FRs FR FR a 2ln D 2, , 0, = (16 其中 a FR 可由式

24、(4進(jìn)一步推導(dǎo)得到: =1, , 1, 21, log s FR FR FR FR D b R a (17其中 R FR, 1由轉(zhuǎn)碼輸入流解碼得到, D FR,s, 1和 b FR, 1 由式(8 (9計(jì)算得到。2.4 片長(zhǎng)度的選擇由于片長(zhǎng)度是靈活變化的, 并不像編碼模式一樣有具體的候選集。 針對(duì)這一問(wèn)題, 本文 采取了片長(zhǎng)度預(yù)選擇策略, 其基本思想是首先求得幀層率失真函數(shù)取極小值時(shí)的片長(zhǎng)度, 即 預(yù)選擇的最優(yōu)片長(zhǎng)度, 然后以此片長(zhǎng)度為中心確定一個(gè)有限的候選集, 最后基于此候選集進(jìn) 行最終的片長(zhǎng)度優(yōu)化選擇。根據(jù)上述分析,首先根據(jù)下式求式(2中幀層率失真函數(shù)取極小值時(shí)的片長(zhǎng)度,其中 與片長(zhǎng)度 s

25、 相關(guān)的變量為丟包率 p (s 和比特增益 R FR (s :0 ( ( ( (1(0, , , =+-ds s R s R D s p D D s p d FR FR FR c FR p FR s FR (18對(duì)于丟包率 p (s , 由于與片長(zhǎng)度 s 具有近似線性關(guān)系 12,因此可以根據(jù)下式近似計(jì)算:21 (k s k s p + (19其中 k 1和 k 2是丟包率模型參數(shù),可以根據(jù)文獻(xiàn) 11中的誤碼率 /丟包率轉(zhuǎn)換公式和文獻(xiàn)12中的片長(zhǎng)度 /丟包率曲線計(jì)算得到。對(duì)于比特增益 R FR (s , 由于片數(shù)目 s 0 /s 越大,與參考宏塊處于不同片的宏塊數(shù)目 n 就越大, 因此可以將 n

26、 與 s 0 /s 近似為正比關(guān)系。 所以 R FR (s 可以根據(jù)下式進(jìn)行近似計(jì)算:MB 030 (R ss k R s s s R head FR + (20 其中 k 3是 n 與 s 0 /s 之間正比關(guān)系的參數(shù), 可以根據(jù)前一幀或前若干幀的數(shù)據(jù)統(tǒng)計(jì)得到。 將式(19 (20以及(14代入(18進(jìn)行求導(dǎo)可得到預(yù)選擇的最優(yōu)片長(zhǎng)度 s :(012030, 200, , , , 1=+-ss R k R k s R D D D k MB head FR FR FR p FR s FR c FR 00, , , , 1030, 21s R D D D k s R k R k s FR FR p

27、 FR s FR c FR MB head FR -+-= (21 最后以 s 為中心, 將 s 、 s+10、 s+20、 s -10、 s -20作為候選集進(jìn)行率失真函數(shù)計(jì)算, 選取最小函數(shù)值的片長(zhǎng)度為最終的最優(yōu)片長(zhǎng)度。3 宏塊層率失真優(yōu)化與幀層信源信道聯(lián)合率失真模型類似,宏塊層信源信道聯(lián)合率失真模型如下所示 10: ( (minarg *m R m D m MB MB MB +=( ( ( (1min(arg , , , m R D s p m D m D s p MB MB c MB p MB s MB +-= (22其中 m 為當(dāng)前宏塊的編碼模式, D MB (m , D MB, s

28、 (m , D MB, p (m 和 D MB, c (m 分別為當(dāng)前 宏塊的總失真、 信源失真、 擴(kuò)散失真和掩蓋失真, R MB (m 為當(dāng)前宏塊的編碼模式為 m 時(shí)的 比特?cái)?shù), MB 為當(dāng)前宏塊的拉格朗日乘子。由文獻(xiàn) 10可知,在信道丟包的情況下拉格朗日 乘子 MB 滿足下列關(guān)系:0, (1(MB MB s p -= (23其中 MB, 0為沒(méi)有信道丟包時(shí)當(dāng)前宏塊的拉格朗日乘子,可以根據(jù) H.264參考模型中的定義 由量化步長(zhǎng)計(jì)算得到。由于丟包率 p (s 和掩蓋失真 D MB, c 與宏塊編碼模式無(wú)關(guān),因此將式(23代入式(22后可以簡(jiǎn)化為:( (1( ( (1min(arg 0, ,

29、, m R s p m D m D s p m MB MB p MB s MB -+-= ( ( (minarg 0, , , m R m D m D MB MB p MB s MB += (24 為了降低宏塊層算法的復(fù)雜度, 需要在對(duì)宏塊進(jìn)行轉(zhuǎn)碼之前減少率失真優(yōu)化候選模式的 數(shù)量。對(duì)于轉(zhuǎn)碼前的幀內(nèi)宏塊,不需要考慮刷新,因此候選模式可以仍然限制為幀內(nèi)模式; 對(duì)于轉(zhuǎn)碼前的幀間宏塊, 需要考慮刷新, 因此候選模式的限制需要比較轉(zhuǎn)碼后幀內(nèi)和幀間模 式的率失真函數(shù)值來(lái)確定。 而宏塊在轉(zhuǎn)碼前可利用的信息主要來(lái)自兩方面:轉(zhuǎn)碼輸入流中當(dāng) 前宏塊轉(zhuǎn)碼前的率失真信息和轉(zhuǎn)碼輸出流中前一幀對(duì)應(yīng)宏塊轉(zhuǎn)碼后的率失真信息

30、。 對(duì)于轉(zhuǎn)碼 前的幀間宏塊而言, 前者蘊(yùn)涵了轉(zhuǎn)碼后幀間模式的率失真信息, 而后者蘊(yùn)涵了轉(zhuǎn)碼后幀內(nèi)模 式的率失真信息。 因此綜合利用這兩方面的信息, 減少候選模式的數(shù)量是降低宏塊層算法復(fù)雜度的有效方法。下面分別對(duì)轉(zhuǎn)碼后幀內(nèi)和幀間模式的率失真函數(shù)進(jìn)行分析。3.1 幀間模式率失真函數(shù)對(duì)于轉(zhuǎn)碼前的幀間宏塊,轉(zhuǎn)碼后幀間模式的率失真函數(shù)如下所示:( ( (inter 2, 0, inter 2, , inter 2, , inter m R m D m D J MB MB p MB s MB += (25其中 m inter 為當(dāng)前宏塊轉(zhuǎn)碼后的幀間模式, D MB,s, 2(m inter 、 D MB,

31、p, 2(m inter 和 R MB, 2(m inter 分 別為當(dāng)前宏塊轉(zhuǎn)碼后模式為 m inter 時(shí)的信源失真、擴(kuò)散失真和比特?cái)?shù)。由于幀間模式的運(yùn)動(dòng) 矢量可以從轉(zhuǎn)碼輸入流中解碼得到, 因此 D MB,p, 2(m inter 可以直接根據(jù)文獻(xiàn) 10中的擴(kuò)散失真 公式計(jì)算得到。下面主要討論 D MB,s, 2(m inter 和 R MB, 2(m inter 。根據(jù)文獻(xiàn) 13中的宏塊信源失真模型可知:21, 22, inter 1, , inter 2, , ( (MB MB s MB s MB Q Q m D m D = (26其中 D MB,s, 1(m inter 為當(dāng)前宏塊轉(zhuǎn)

32、碼前模式為 m inter 時(shí)的信源失真, Q MB, 1和 Q MB, 2分別為轉(zhuǎn) 碼前后當(dāng)前幀宏塊的量化步長(zhǎng)。 D MB,s, 1(m inter 滿足如下所示的信源率失真模型: =inter 1, , inter , 2inter 1, log (m D b a m R s MB MB MB MB (27 其中 R MB, 1(m inter 為當(dāng)前宏塊轉(zhuǎn)碼前的比特?cái)?shù), a MB 為當(dāng)前宏塊信源率失真模型參數(shù), b MB, inter 為當(dāng)前宏塊模式為 m inter 時(shí)的方差。由式(27可得:M B M B a m R MB s MB b m D inter1, 2 (inter ,

33、inter 1, , =(28其中 R MB, 1(m inter 和 b MB, inter 可以從轉(zhuǎn)碼輸入流中解碼計(jì)算得到, a MB 則基于已實(shí)際編碼宏 塊的數(shù)據(jù)根據(jù) H.264參考模型中的線性衰退模型預(yù)測(cè)得到。將式(28代入(26可求得 D MB,s, 2(m inter ,而 R MB, 2(m inter 的計(jì)算公式如下: =inter 2, , inter , 2inter 2, log (m D b a m R s MB MB MB MB (29 將式(26 (29代入式(25即可求得 J inter 。3.2 幀內(nèi)模式率失真函數(shù)對(duì)于轉(zhuǎn)碼前的幀間宏塊,轉(zhuǎn)碼后幀內(nèi)模式的率失真函數(shù)

34、如下所示:( ( (intra 2, 0, intra 2, , intra 2, , intra m R m D m D J MB MB p MB s MB += (30其中 m intra 為當(dāng)前宏塊轉(zhuǎn)碼后的幀內(nèi)模式, D MB,s, 2(m intra 、 D MB,p, 2(m intra 和 R MB, 2(m intra 分 別為當(dāng)前宏塊轉(zhuǎn)碼后模式為 m intra 時(shí)的信源失真、擴(kuò)散失真和比特?cái)?shù)。由于幀間宏塊的運(yùn)動(dòng) 矢量可以從轉(zhuǎn)碼輸入流中解碼得到, 因此可以確定當(dāng)前宏塊在前一幀的對(duì)應(yīng)宏塊, 從而獲得 其提供的幀內(nèi)模式率失真信息。 D MB,p, 2(m intra 可以通過(guò)采用受

35、限幀內(nèi)預(yù)測(cè)來(lái)消除, 因此下面 主要討論 D MB,s, 2(m intra 和 R MB, 2(m intra 。由于當(dāng)前宏塊的運(yùn)動(dòng)搜索以 4×4塊為最小單位,所以獲取對(duì)應(yīng)宏塊的率失真信息也以 4×4塊為單位。如果對(duì)應(yīng) 4×4塊進(jìn)行了幀內(nèi)編碼,則將其在最優(yōu)幀內(nèi)模式時(shí)的信源失真、 方差作為幀內(nèi)模式率失真信息; 如果對(duì)應(yīng) 4×4塊沒(méi)有進(jìn)行幀內(nèi)編碼, 則將其對(duì)應(yīng) 4×4塊在 幀內(nèi)模式時(shí)的信源失真、方差作為幀內(nèi)模式率失真信息。將上述獲取的對(duì)應(yīng) 4×4塊在幀內(nèi)模式時(shí)的信源失真、 方差記為 (intra 2, , m D s B'、 in

36、tra , B b ',則 D MB,s, 2(m intra 和 R MB, 2(m intra 分別通過(guò)下式計(jì)算得到:(= ''=16022, 22, intra 2, , intra 2, , (B B B s B s MB Q Q m D m D (31 '=intra 2, , 160intra , 2intra 2, log (m D b a m R s MB B B MB MB (32 其中 2, B Q 和 2, BQ '分別為當(dāng)前 4×4塊和前一幀對(duì)應(yīng) 4×4塊的量化步長(zhǎng)。 將式(31 (32代入式(30就可以求得

37、J intra 。3.3 候選模式的選擇根據(jù)式 (25 (30 分別求得的轉(zhuǎn)碼后幀間模式和幀內(nèi)模式的率失真函數(shù)值 J inter 和 J intra , 可以對(duì)候選模式進(jìn)行選擇。由于 J intra 是基于前一幀對(duì)應(yīng)宏塊的信息得到的,因此當(dāng)前宏塊 與對(duì)應(yīng)宏塊的時(shí)域相關(guān)性越強(qiáng), J intra 的誤差就越小;反之,誤差則越大?；谏鲜龇治? 實(shí)際的幀內(nèi)模式率失真函數(shù)值應(yīng)當(dāng)落在一個(gè)以 J intra 為中心、以誤差為半徑的區(qū)間內(nèi)。所以 候選模式的選擇可以基于以下思路進(jìn)行:如果 J inter 大于 J intra 區(qū)間的最大值,則進(jìn)行刷新, 候選模式限制為幀內(nèi)模式;如果 J inter 小于 J

38、intra 區(qū)間的最小值,則不進(jìn)行刷新,候選模式限 制為幀間模式;如果 J inter 落在 J intra 區(qū)間內(nèi),則無(wú)法判斷是否進(jìn)行刷新,候選模式為所有模 式。 對(duì)于當(dāng)前宏塊而言, 轉(zhuǎn)碼前幀間模式的差分系數(shù)表征了當(dāng)前宏塊與對(duì)應(yīng)宏塊的時(shí)域相關(guān) 性:系數(shù)越小,相關(guān)性越強(qiáng), J intra 區(qū)間半徑也就越小;反之,相關(guān)性越弱, J intra 區(qū)間半徑 也越大。 因此可以以 4×4塊中的非零系數(shù)比 B 表征此時(shí)域相關(guān)性和區(qū)間半徑。 候選模式選 擇的具體步驟如下所示:(1根據(jù)下式分別計(jì)算最大值 (intra 2, , m D s MB 、 (intra 2, m R MB :(= +&#

39、39;'=16022, 22, intra 2, , intra 2, , 1( (B B B B s B s MB Q Q m D m D (33 +'=intra 2, , 160intra , 2intra 2, 1(log (m D b a m R s MB B B B MB MB (34 (2根據(jù)下式分別計(jì)算最小值 (intra 2, , m s MB 、 (intra 2, m MB : (= -''=16022, 22, intra 2, , intra 2, , 1( (B B B B s B s MB Q Q m D m (35 -'=

40、intra 2, , 160intra , 2intra 2, 1(log (m b a m s MB B B B MB MB (36(3根據(jù)下式分別計(jì)算 intra J 的最大值 intra J 和最小值 intra J :( (intra 2, 0, intra 2, , intra m R m D J MB MB s MB += (37( (intra 2, 0, intra 2, , intra m R m D J MB MB s MB += (38(4如果 intra inter J J >,則候選模式限制為幀內(nèi)模式;否則,如果 intra inter J J <,則 候

41、選模式限制為幀間模式;否則,則候選模式為所有模式。4 實(shí)驗(yàn)結(jié)果及討論我們基于 H.264 JM12.2參考模型和空域轉(zhuǎn)碼結(jié)構(gòu) 2,對(duì)本文提出的容錯(cuò)性轉(zhuǎn)碼算法、文 獻(xiàn) 89中的容錯(cuò)性轉(zhuǎn)碼算法以及 JM12.2參考模型中的非容錯(cuò)性算法進(jìn)行了測(cè)試。實(shí)驗(yàn)采用 ITU 推薦的 3G 無(wú)線視頻通用仿真測(cè)試環(huán)境 14,無(wú)線信道誤碼使用六種錯(cuò)誤模板來(lái)模擬實(shí)現(xiàn), 誤碼率分別為 9.3e-3、 2.9e-3、 5.1e-4、 1.7e-4、 5.0e-4、 2.0e-4, 測(cè)試序列使用 Hall Monitor、 Coastguard 、 Foreman 、 Glasgow 、 Paris 等五個(gè)測(cè)試序列,序列與

42、模板的對(duì)應(yīng)關(guān)系根據(jù)文 獻(xiàn) 14中表 4設(shè)置,其中模板 1和 2針對(duì)的是流媒體型業(yè)務(wù),分別進(jìn)行了 3次和 2次重傳,模板 3-6針對(duì)的是會(huì)話型業(yè)務(wù),不進(jìn)行重傳。轉(zhuǎn)碼輸出序列的分辨率、幀率、碼率根據(jù)文獻(xiàn) 14中表 1設(shè)置,轉(zhuǎn)碼輸入序列的分辨率、幀率與輸出序列相同,碼率則為輸出序列的兩倍。測(cè) 試序列的編碼幀數(shù)均為 100幀,不使用多參考幀運(yùn)動(dòng)預(yù)測(cè),均采用 IPPP. 的編碼結(jié)構(gòu)和一片 一包的打包策略,解碼端啟用誤碼掩蓋策略。每組實(shí)驗(yàn)均采用文獻(xiàn) 14中表 3給出的 10個(gè)錯(cuò) 誤起始位置進(jìn)行 10次測(cè)試。實(shí)驗(yàn)所用的機(jī)器配置為 Pentium 4 3.0GHz CPU、 1.00GB 內(nèi)存。表 1給出了每

43、個(gè)測(cè)試序列無(wú)誤碼條件下的原始信噪比、 10次誤碼測(cè)試的平均信噪比和每 個(gè)測(cè)試序列的轉(zhuǎn)碼時(shí)間。其中算法 1、 2、 3、 4分別表示本算法、幀層算法 8、宏塊層算法 9 和 JM12.2參考模型算法。由表 1可以看出,與 JM12.2參考模型算法相比,本算法、幀層算法 和宏塊層算法無(wú)誤碼條件下的原始信噪比分別有約 0.56dB 、 0.62dB 和 0.45dB 的降低,而 10次 誤碼測(cè)試的平均信噪比則分別有約 3.71dB 、 2.75dB 和 3.19dB 的增益。這主要是因?yàn)楸舅惴ā?幀層算法和宏塊層算法在視頻流中嵌入了額外的容錯(cuò)性工具, 從而導(dǎo)致在無(wú)誤碼條件下信噪 比降低,而在誤碼條件

44、下信噪比增高。由表 1還可以看出,除了 Glasgow 序列,本算法 10次 誤碼測(cè)試的平均信噪比始終保持最優(yōu),與幀層算法和宏塊層算法相比分別有約 1.11dB 和 0.62dB 的增益。 本算法相對(duì)于幀層算法的增益主要來(lái)源于在幀層率失真模型中考慮幀內(nèi)宏塊 刷新、幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè)的影響和以宏塊層的模式優(yōu)化選擇代替幀層的模式優(yōu)化選 擇, 相對(duì)于宏塊層算法的增益則主要來(lái)源于以基于率失真優(yōu)化的片長(zhǎng)度選擇代替基于固定閾 值的片長(zhǎng)度選擇。 通過(guò)進(jìn)一步分析, 我們可以發(fā)現(xiàn):與幀層算法相比, 本算法對(duì) Hall Monitor序列(會(huì)話型的提升最大,有約 2.85dB 。這是因?yàn)閷?duì)于 Hall Mon

45、itor 這種大部分內(nèi)容為靜 止背景, 小部分內(nèi)容為運(yùn)動(dòng)物體的序列, 僅在幀層進(jìn)行模式選擇難以精確地對(duì)小部分運(yùn)動(dòng)物 體進(jìn)行幀內(nèi)模式刷新, 因而當(dāng)運(yùn)動(dòng)物體出現(xiàn)誤碼時(shí)會(huì)導(dǎo)致信噪比的顯著下降。 與宏塊層算 法相比,本算法對(duì) Foreman 序列(流媒體型的提升最大,有 1.05dB ,但是對(duì)于 Foreman 序列 (會(huì)話型的提升則相對(duì)低一些,只有 0.45dB 。這是因?yàn)樵诜抡鎸?shí)驗(yàn)中,宏塊層算法所取的 片長(zhǎng)度選擇閾值,是文獻(xiàn) 12中基于 Foreman 序列(會(huì)話型給出的推薦值,因此宏塊層算 法的性能對(duì)于 Foreman 序列(會(huì)話型較好,對(duì)于 Foreman 序列(流媒體型則較差。這正 說(shuō)明宏塊

46、層算法的適應(yīng)性較差, 而本算法則能在不同的測(cè)試條件下均保持較好的性能。 與 幀層算法和宏塊層算法 相比,本算法對(duì) Glasgow 序列均只有略微的提升。這是因?yàn)?Glasgow 序列存在頻繁的場(chǎng)景切換 (由 30f/s轉(zhuǎn)為 7.5f/s后 100幀中包括 13幀場(chǎng)景切換幀 ,本身已具有較強(qiáng)的容錯(cuò)性,進(jìn)一步提升的空間較小。除了信噪比,由表 1還可以看出,本算法的轉(zhuǎn)碼時(shí)間 與宏塊層算法相比減少了約 25%, 與幀層算法基本相當(dāng)。 這是因?yàn)楹陦K層的率失真優(yōu)化需要 進(jìn)行實(shí)際編碼, 而幀層的率失真優(yōu)化并不需要, 所以復(fù)雜度主要集中在宏塊層, 而本算法通 過(guò)重用信息減少了宏塊層率失真優(yōu)化中候選模式的數(shù)量,

47、 降低了宏塊層算法的復(fù)雜度, 因此 本算法的轉(zhuǎn)碼時(shí)間與宏塊層算法相比能有較明顯的減少,與幀層算法相比則基本相當(dāng)。 圖 1給出了 Hall Monitor序列(會(huì)話型和 Foreman 序列(流媒體型的單幀信噪比,兩 者分別是在錯(cuò)誤模板 4和 1下進(jìn)行 10次測(cè)試得到的平均值。由圖 1我們可以發(fā)現(xiàn),在誤碼條件 下本算法的單幀信噪比也基本上保持最優(yōu)。圖 2和圖 3比較了 Hall Monitor序列(會(huì)話型和 Foreman 序列(流媒體型解碼重構(gòu)圖像的主觀質(zhì)量。由圖 2和圖 3我們可以看出,本算法的 解碼重構(gòu)圖像具有較好的主觀質(zhì)量, 既通過(guò)精確的幀內(nèi)模式刷新避免了誤差擴(kuò)散導(dǎo)致的黑斑 和陰影,又通

48、過(guò)適當(dāng)?shù)钠L(zhǎng)度選擇避免了丟包導(dǎo)致的掩蓋失真。5 結(jié)論針對(duì)現(xiàn)有基于單層率失真優(yōu)化的容錯(cuò)性視頻轉(zhuǎn)碼算法在靈活性、精確性、復(fù)雜度方面 的不足, 本文提出了一種基于分層率失真優(yōu)化的容錯(cuò)性視頻轉(zhuǎn)碼算法。 該算法通過(guò)在幀層和 宏塊層分別對(duì)重同步標(biāo)記的插入和幀內(nèi)宏塊的刷新進(jìn)行不同粒度的優(yōu)化來(lái)提高算法的靈活 性,通過(guò)在幀層考慮幀內(nèi)宏塊刷新、幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)矢量預(yù)測(cè)的影響來(lái)提高算法的精確性, 通過(guò)在宏塊層減少候選模式的數(shù)量來(lái)降低算法的復(fù)雜度。 仿真實(shí)驗(yàn)結(jié)果表明, 本算法的平均 信噪比與基于幀層率失真優(yōu)化的算法 8和基于宏塊層率失真優(yōu)化的算法 9相比有較為顯著 的提高, 并且對(duì)于不同特征的序列始終保持最優(yōu), 同時(shí)本

49、算法的復(fù)雜度與宏塊層算法相比降 低了約 25%,與幀層算法基本相當(dāng)。作為最新一代視頻編碼標(biāo)準(zhǔn), H.264提供了一些新的容 錯(cuò)工具,如靈活的宏塊排序 FMO 等,因此在下一步的工作中我們將嘗試在基于率失真優(yōu)化 的容錯(cuò)性轉(zhuǎn)碼框架中引入這些新的工具。表 1. 信噪比和轉(zhuǎn)碼時(shí)間的比較圖像序列 算法模板 1/3/5 模板 2/4/6運(yùn)行時(shí)間 (s 原始信噪比(dB平均信噪比(dB原始信噪比(dB平均信噪比(dBHall Monitor 會(huì)話型 1 41.16 37.323 41.07 38.251 8.0852 41.29 34.604 41.27 35.219 7.9883 40.99 36.775

50、 40.98 37.560 11.7654 41.43 31.866 41.43 34.715 11.813Coastguard 流媒體型 1 33.70 29.989 33.51 29.037 11.7973 33.75 29.691 33.59 28.623 15.6254 34.10 26.113 34.10 23.794 15.820Foreman 會(huì)話型 1 34.45 30.551 34.50 31.092 12.6112 33.92 29.664 33.93 30.270 12.4663 34.68 30.264 34.69 30.602 16.6374 35.31 26.465

51、 35.31 26.546 16.912Foreman 流媒體型 1 34.42 30.557 34.23 29.340 11.7902 34.37 29.925 34.28 28.946 11.4113 34.84 29.277 34.58 28.591 16.2994 35.31 25.229 35.31 22.596 16.329Glasgow 流媒體型 1 28.77 27.201 28.41 26.443 11.3612 28.76 27.162 28.34 26.351 10.8503 28.86 27.177 28.47 26.380 16.1024 29.15 25.694 2

52、9.15 24.840 16.252Paris 會(huì)話型 1 31.81 28.269 31.82 28.560 39.1092 31.89 27.829 31.85 27.912 38.3003 31.88 27.603 31.92 27.790 52.6374 32.00 26.788 32.00 27.377 54.826 (a Hall Monitor序列(會(huì)話型 (b Foreman序列(流媒體型 圖 1. 單幀信噪比的比較 (a 原始圖像 (b 幀層算法 (c 宏塊層算法 (d 本算法 (e JM12.2算法圖 2. Hall Monitor序列主觀質(zhì)量的比較 (a 原始圖像 (b

53、幀層算法 (c 宏塊層算法 (d 本算法 (e JM12.2算法圖 3. Foreman序列主觀質(zhì)量的比較參考文獻(xiàn) :1Vetro. A, Christopoulos. C, and H.F. Sun. Video transcoding architectures and techniques: an overview. IEEE Signal Processing Magazine, 2003, 20 (2: 18-292I. Ahmad, XH. Wei, Y. Sun et al. Video transcoding: an overview of various techniques

54、 and research issues, IEEE Transactions on Multimedia, 2005, 7 (5: 791-043余圣發(fā) , 陳曾平 , 莊釗文 . 針對(duì)網(wǎng)絡(luò)視頻應(yīng)用的視頻轉(zhuǎn)碼技術(shù)綜述 . 通信學(xué)報(bào) , 2007, 28 (1: 111-1184De los Reyes, G, Reibman, A.R, Chuang, J.C, et al. Video transcoding for resilience in wireless channels. In: Proceedings of International Conference on Image P

55、rocessing (ICIP 98, Chicago, USA, 1998: 338-3425S. Dogan, A. Cellatoglu, M. Uyguroglu, et al. Error-resilient video transcoding for robust internetwork communications using GPRS. IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(6: 453-4646H.-J. Chiou, Y.-R. Lee, and C.-W. Lin

56、. Content-aware error-resilient transcoding using prioritized intra-refresh for video streaming. Journal of Visual Communication and Image Representation, 2005, 16(4: 563-5887Sertac Eminsoy, Safak Dogan, and Ahmet M. Kondoz. Transcoding-based error-resilient video adaptation for 3G wireless networks

57、. EURASIP Journal on Advances in Signal Processing, 2007, 2007(2: 29-398Vetro, A, Xin, J, et al. Error resilient video transcoding for wireless communications. IEEE Wireless Communications, 2005, 12 (4: 14-219Seong Hwan, Jang Jayant, N. An efficient error resilient technique for applications of one-way video using transcoding and analysis by synthesis. In: Proceedings of IEEE Global Telecommunications Conference Workshops, Texas, USA, 2004:428- 43210Zhang Y, Gao W, Lu Y, et al. Joint source-channel rate-distortion optimization for H.26