H264中基于圖像差值的編碼模式快速選擇

1、梁德堅(jiān)1，劉玉瓊1，謝翠蘭2摘要：分析了現(xiàn)有的基于率失真優(yōu)化的圖像幀編碼模式選擇方法，指出了該算法運(yùn)算復(fù)雜度高的原因。提出了一種基于圖像差值的快速編碼算法，詳細(xì)介紹了該算法的提出思想和可行性分析。給出了基于該算法編碼模式的具體選擇方法，以及其參考幀的選取依據(jù)。給出了算法流程，最后從編碼速度、比特率等角度測(cè)試了算法的性能。關(guān)鍵詞：編碼模式；H.264；率失真優(yōu)化；快速算法；差值0 引言在大多數(shù)的自然視頻序列中都存在較大面積的時(shí)域靜止區(qū)域或顏色一致的運(yùn)動(dòng)區(qū)域，這些區(qū)域中的宏塊不存在表觀運(yùn)動(dòng)，通常稱為靜止宏塊。靜止宏塊采用較大塊尺寸的運(yùn)動(dòng)補(bǔ)償即可獲得準(zhǔn)確的預(yù)測(cè)，省略對(duì)較小塊尺寸編碼模式的測(cè)試并不影響

2、編碼性能。此外，若宏塊處于運(yùn)動(dòng)一致性強(qiáng)的物體內(nèi)部區(qū)域，采用一個(gè)運(yùn)動(dòng)矢量可以精確地描述其運(yùn)動(dòng)，變換系數(shù)經(jīng)量化后可能全部為零，此類(lèi)宏塊稱為DCT系數(shù)為零塊。DCT系數(shù)為零塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)較精確，預(yù)測(cè)殘差能量較小，采用更小塊尺寸的編碼模式、嘗試更多的參考幀并不會(huì)進(jìn)一步提高編碼性能。運(yùn)動(dòng)物體邊緣通常引起遮擋和背景顯露，對(duì)于包含此類(lèi)像素的宏塊，采用較多參考幀可能獲得更好的預(yù)測(cè)效果。因此，本文針對(duì)圖像序列中這兩個(gè)特征，提出了在保證靜止宏塊的有效檢測(cè)的前提下，如何根據(jù)視頻序列的統(tǒng)計(jì)特征，設(shè)計(jì)快速的編碼模式選擇算法，以提高編碼的速率。1 基于圖像差值的編碼算法原理圖像序列中靜止塊的尋找原則是利用相鄰幀間的差值

3、絕對(duì)值來(lái)判別。比如，在運(yùn)動(dòng)物體邊緣或紋理復(fù)雜的運(yùn)動(dòng)物體內(nèi)部區(qū)域，差值較大。在靜止區(qū)域或顏色一致性強(qiáng)的運(yùn)動(dòng)區(qū)域，差值較小。目前，比較常見(jiàn)的方法有計(jì)算宏塊內(nèi)絕對(duì)差值和，然后與預(yù)設(shè)的閾值相比較以檢測(cè)此類(lèi)宏塊，但是該閾值往往是基于統(tǒng)計(jì)規(guī)律的，難以準(zhǔn)確地確定，判別的可靠性不夠高。還有通過(guò)比較宏塊的平均絕對(duì)差值與整幀的平均絕對(duì)差值檢測(cè)靜止宏塊，避免了閾值選擇問(wèn)題。顯然，當(dāng)宏塊跨越運(yùn)動(dòng)物體與靜止背景的邊界時(shí)，僅有小部分像素如4*4小塊處差值較大，上述方法采用整個(gè)宏塊內(nèi)絕對(duì)差值的累加和很容易誤檢測(cè)為靜止的。為了解決上述問(wèn)題，本文根據(jù)宏塊內(nèi)差值較大的像素的數(shù)目檢測(cè)此類(lèi)宏塊。假設(shè)當(dāng)前幀與前一幀（原始圖像而不是重建

4、圖像）在像素點(diǎn)(x，y)處的灰度值分別為C(x，y)和P(x，y)，則絕對(duì)差值閾值化后所得二值圖為：其中，T_p為閾值，M(x，y)為1表示此像素屬于運(yùn)動(dòng)區(qū)域。閾值的選擇需要在編碼效率與算法的運(yùn)算速度之間做適當(dāng)?shù)恼壑裕ㄟ^(guò)實(shí)驗(yàn)確定閾值為11。在二值圖內(nèi)，統(tǒng)計(jì)宏塊內(nèi)活動(dòng)像素點(diǎn)的總數(shù)，若總數(shù)不大于閾值T_SB，則判斷為靜止宏塊。在避免噪聲影響的同時(shí)，能檢測(cè)出運(yùn)動(dòng)物體邊緣引起的小面積像素塊，閾值T_SB選取為8（最小塊4×4的一半）比較合理。圖1-2全模式下的編碼圖1-1靜止宏塊檢測(cè)結(jié)果以Foreman視頻序列中的圖像幀為例，采用上述方法檢測(cè)的靜止宏塊（圖中全黑色的宏塊）如圖1-1所示，圖

5、1-2為基于率失真優(yōu)化的全模式選擇算法所得的結(jié)果，疊加在圖像上的線框代表了選擇的編碼模式對(duì)應(yīng)的塊分裂方式。可見(jiàn)，盡管由于攝像機(jī)晃動(dòng)引起背景區(qū)域的輕微運(yùn)動(dòng)，仍然有大量的靜止宏塊。此外，在運(yùn)動(dòng)明顯但顏色一致的帽子內(nèi)部區(qū)域，宏塊為靜止的。對(duì)于靜止宏塊，大多采用了大塊尺寸的編碼模式。圖2-1給出了Foreman序列中一幀的位移差值圖像，采用了16×16塊運(yùn)動(dòng)補(bǔ)償，灰度中值代表零值，亮灰色表示正值，深灰色表示負(fù)值。在運(yùn)動(dòng)物體頭部、眼睛及左肩的邊緣，位移差值較大而靜止宏塊或運(yùn)動(dòng)一致性好的區(qū)域，位移差值較小。當(dāng)宏塊殘差經(jīng)變換量化后所得系數(shù)全為零時(shí)，不能進(jìn)一步降低編碼所需的比特?cái)?shù)，采用更小塊尺寸的編

6、碼模式或搜索更多的參考幀僅能稍微地增強(qiáng)圖像質(zhì)量。圖2-3全模式編碼方式圖2-2系數(shù)全零塊圖2-1位移差值圖像在圖2-2中疊加的“×”標(biāo)記了DCT系數(shù)為零塊，其余宏塊內(nèi)對(duì)殘差的絕對(duì)值大于的像素用白色標(biāo)記，大致反映了運(yùn)動(dòng)復(fù)雜的邊緣。圖2-3為基于率失真優(yōu)化的全模式選擇算法所得的結(jié)果，疊加在位移差值圖像上的線框代表了選擇的編碼模式對(duì)應(yīng)的塊分裂方式。可見(jiàn)，16×16塊運(yùn)動(dòng)補(bǔ)償后的DCT系數(shù)為零塊極少采用子宏塊級(jí)編碼模式，對(duì)于具有復(fù)雜紋理和運(yùn)動(dòng)細(xì)節(jié)的區(qū)域，測(cè)試較小塊尺寸的編碼模式有益于提高編碼效率。2 編碼模式的快速選擇算法由上述研究與分析可知，充分利用靜止宏塊與DCT系數(shù)為零塊在編

7、碼模式及參考幀選擇方面的統(tǒng)計(jì)特征，可以有效地降低編碼過(guò)程的計(jì)算量。本文在設(shè)計(jì)該算法之前，先選取一些典型的視頻測(cè)試序列進(jìn)行分析，驗(yàn)證該方法的可行性。表1中給出了典型的視頻序列的統(tǒng)計(jì)分析結(jié)果，其中QP=30，這些視頻序列覆蓋了大部分的紋理和運(yùn)動(dòng)復(fù)雜度變化范圍，能較好地反映自然視頻序列的特點(diǎn)。主要統(tǒng)計(jì)以下幾個(gè)特征值的概率：靜止宏塊所占比例P1=Prob(SB)，靜止宏塊編碼時(shí)能夠采用大塊尺寸模式的概率，P2=Prob(Big_Size_Mode|SB)，尺寸可選為16*16，16*8，8*163種之一。靜止宏塊采用16*16的塊運(yùn)動(dòng)補(bǔ)償后為DCT系數(shù)全零，且參考幀也為零的概率為P3=Prob(P16

8、*16|SB，DCT=O，Ref=0)。靜止宏塊的最佳參考幀Ref=0的概率P4=Prob(Ref=O|SB)。表1 典型視頻測(cè)試序列主要特征值統(tǒng)計(jì)概率視頻測(cè)試序列特征值統(tǒng)計(jì)概率PlP2P3P4News85.2%96.1%96.2%94.7%Foreman33.4%94.9%95.1%72.8%Tempete24.8%93.7%91.1%59.4%Tennis42.8%90.7%91.5%82.4%Silent73.7%96.4%94.0%92.6%Stefan23.8%94.9%82.2%58.3%Average47.3%94.5%91.7%76.7%統(tǒng)計(jì)結(jié)果表明：第一，平均有47.3%的宏

9、塊為非活動(dòng)的，對(duì)于運(yùn)動(dòng)程度較小的圖像序列(News和Silent)則高達(dá)80%左右，對(duì)于運(yùn)動(dòng)劇烈，圖像非常復(fù)雜的視頻序列(Stefan和Tempete)與也將近25%。因此，充分利用靜止宏塊的特點(diǎn)可以有效地降低計(jì)算量。第二，無(wú)論序列的內(nèi)容特征如何，靜止宏塊中選擇大塊尺寸模式為最佳編碼模式的概率很高，不低于90%，因此可以省略對(duì)其他小塊尺寸模式的測(cè)試。第三，采用大塊尺寸16*16運(yùn)動(dòng)補(bǔ)償后為DCT系數(shù)全零塊，且最佳參考幀號(hào)Ref=0的靜止宏塊中，平均有91.7%的視頻編碼時(shí)不需要測(cè)試其他模式。第四，對(duì)于運(yùn)動(dòng)比較復(fù)雜或者紋理細(xì)節(jié)較多的視頻序列，僅有75%左右的靜止宏塊選擇前一幀為最佳參考幀，因此僅

10、搜索前一幀將不能獲得滿意的率失真性能。因此，利用上述編碼模式選擇的統(tǒng)計(jì)特性，可以在對(duì)編碼性能影響較小的前提下，減少需要測(cè)試的候選模式數(shù)目。但是如果要省略對(duì)提高率失真性能影響很小的參考幀的搜索，則需要進(jìn)一步利用其他信息。對(duì)靜止宏塊，盡管僅搜索前一幀并不充分，利用對(duì)不同塊尺寸運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)有益的參考幀范圍的統(tǒng)計(jì)結(jié)果，也可以減少參考幀的搜索數(shù)目。表二給出了對(duì)于靜止宏塊或DCT值為零的塊，最佳編碼模式為P16*8或P8*16時(shí)，最佳參考幀號(hào)不大于16*16模式的最佳參考幀號(hào)的概率記為Pl=Prob(Ref_16*16>=maxRef_16*8，Ref_8*16)，從表中可得，該值平均可達(dá)88%。另

11、外，實(shí)驗(yàn)中也測(cè)試了8*4、4*8和4*4塊尺寸類(lèi)型的最佳參考幀號(hào)不大于8*8塊尺寸類(lèi)型的最佳參考幀號(hào)的概率P2=Prob(Ref_8*8=maxRef_8*4,Ref_4*8,Ref_4*4)，該值平均值為84%。因此，根據(jù)此分析結(jié)果，可以限制運(yùn)動(dòng)估計(jì)過(guò)程中需要搜索的參考幀的范圍。表2最佳參考幀選擇大于小尺寸的概率統(tǒng)計(jì)視頻測(cè)試序列概率統(tǒng)計(jì)PlP2News91.7%92.4%Foreman86.1%81.6%Tempete83.5%79.7%Tennis87.4%84.4%Silent90.2%90.4%Stefan92.7%76.5%Average88.6%84.1%此外，對(duì)幀內(nèi)編碼模式的統(tǒng)計(jì)

12、數(shù)據(jù)表明P幀宏塊中采用幀內(nèi)編碼模式的比例最大約為4%，平均只有1.5%，如果最佳幀間模式下的編碼系數(shù)全為零，最終選取幀內(nèi)模式的概率不到0.5%，因此可以忽略幀內(nèi)預(yù)測(cè)及模式選擇過(guò)程。3算法流程及性能分析根據(jù)本文對(duì)視頻測(cè)試序列的分析結(jié)果，本文提出了一種編碼模式快速算法，算法的主要步驟如下：1)使用靜止宏塊檢測(cè)算法對(duì)當(dāng)前編碼幀內(nèi)的宏塊分類(lèi)。2)在所有可選的參考幀內(nèi)進(jìn)行塊尺寸的運(yùn)動(dòng)估計(jì)。如果當(dāng)前宏塊為靜止的，跳轉(zhuǎn)第三步，否則跳轉(zhuǎn)至第五步。3)如果16*16的塊運(yùn)動(dòng)補(bǔ)償后為DCT系數(shù)全零塊，且當(dāng)前最佳參考幀Ref也為零，計(jì)算SKIP與16*16模式的率失真復(fù)雜度，選擇SKIP與16*16模式中率失真復(fù)雜

13、度最小的為最佳編碼模式，然后轉(zhuǎn)第二步對(duì)下一個(gè)宏塊編碼。否則，轉(zhuǎn)第四步。4)在參考幀號(hào)Ref不大于Ref_16*16的參考幀內(nèi)，進(jìn)行16*8與8*16塊尺寸的基于率失真優(yōu)化的運(yùn)動(dòng)估計(jì)。計(jì)算SKIP、16*16、16*8、8*16模式下的率失真復(fù)雜度，選取率失真復(fù)雜度最小的模式為最佳編碼模式，然后轉(zhuǎn)第二步對(duì)下一個(gè)宏塊編碼。5)進(jìn)行16*8與8*16塊尺寸的基于率失真優(yōu)化的運(yùn)動(dòng)估計(jì)：若塊運(yùn)動(dòng)補(bǔ)償后為DCT系數(shù)全零的塊，僅選擇參考幀號(hào)Ref不大干Ref_16*16的參考幀。否則，選擇所有可用的參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。6)在所有可用參考幀內(nèi)進(jìn)行8*8塊尺寸的運(yùn)動(dòng)估計(jì)。進(jìn)行8*4、4*8與4*4塊尺寸的基于率

14、失真優(yōu)化的運(yùn)動(dòng)估計(jì)，僅選擇Ref<=Ref_8*8的參考幀。對(duì)所有幀間編碼模式，計(jì)算率失真復(fù)雜度，并選擇最佳幀間編碼模式。若最佳幀間模式下系數(shù)全為零，跳過(guò)幀內(nèi)預(yù)測(cè)及幀內(nèi)模式選擇過(guò)程否則，進(jìn)行幀內(nèi)預(yù)測(cè)與幀內(nèi)模式選擇。選取使得率失真復(fù)雜度最小的模式為最佳編碼模式，轉(zhuǎn)第二步編碼下一個(gè)宏塊。為測(cè)試所提算法的性能，本文實(shí)現(xiàn)了編碼模式及參考幀快速選擇算法并進(jìn)行測(cè)試。實(shí)驗(yàn)環(huán)境如下：采用率失真優(yōu)化、快速運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)估計(jì)搜索范圍為16像素，1/4像素精度，參考幀數(shù)為5，首幀為I幀（幀內(nèi)編碼），其余各幀都為P幀。在量化參數(shù)為28、32、36以及40時(shí)，對(duì)典型的視頻序列進(jìn)行編碼測(cè)試，以測(cè)試不同量化參數(shù)下所提

15、算法對(duì)編碼效率的影響。選擇的測(cè)試序列具有不同程度的紋理和運(yùn)動(dòng)復(fù)雜度，幀率為30幀秒，各100幀，充分測(cè)試算法的性能。以PSNR代表新算法引起的重建亮度信號(hào)的峰值信噪比的提高，主要用于衡量重建的圖像質(zhì)量，bit_rate代表采用新算法后所引起的比特率的增加，主要反映壓縮效率的差異。Coding_speed代表采用新算法后運(yùn)算速度的差異。表3是對(duì)不同測(cè)試序列下的測(cè)試結(jié)果。表3不同測(cè)試序列下改進(jìn)后的算法與全模式算法性能對(duì)比測(cè)試視頻序列QP28323640NewsPSNR(DB)bit_rate0:84Coding_speedForemanPSNR(DB)bit_rateO180,69Coding_s

16、peedTempetePSNR(DB)bit_rateCoding_speed1,69TennisPSNR(DB)0,03bit_rate0,45Coding_speedSilentPSNR(DB)bit_rateO28-0,53Coding_speedStefanPSNR(DB)bit_rateCoding_speed從測(cè)試中可知，改進(jìn)后的算法信噪比上變化不大，說(shuō)明采用新算法構(gòu)建的圖像質(zhì)量并未有太大的下降，同時(shí)在比特率上同樣也是保持了較高的比率，但是在編碼速度上，平均提高了一倍以上，對(duì)于中低復(fù)雜度的視頻序列甚至編碼速度提高了2倍以上。4 總結(jié)本文提出基于圖像差值的編碼模式快速選擇算法，相對(duì)與全模式的編碼算法，能夠較大地提高編碼速度，同時(shí)在編碼質(zhì)量和壓縮率上保持與全模式相當(dāng)?shù)男阅?。但是算法的性能受視頻序列內(nèi)容的影響較大，對(duì)紋理和運(yùn)動(dòng)復(fù)雜度較高的序列編碼復(fù)雜度仍然較高，對(duì)編碼速度的提高不夠明顯，因此這也是本文所提算法的不足之處。參考文獻(xiàn)：1周韜,劉少華，熊志輝，張茂軍H264中基于全零塊的編碼模式快速選擇J.計(jì)算機(jī)工程與設(shè)計(jì)，2007，28(14).2王正寧，彭強(qiáng)，諸昌鈐，基于頻域特征的H264/AVC幀內(nèi)編碼模式快速預(yù)測(cè)J西南交通大學(xué)學(xué)報(bào)，2007，42(3)3于宗良，齊麗娜，朱秀昌H264中基于先驗(yàn)預(yù)測(cè)的幀間編碼模式選擇算法研究J電子與信息學(xué)報(bào)，2006，28(1