最新視頻編碼標(biāo)準(zhǔn)

1、視頻編碼簡(jiǎn)史1984年CCITT第15研究組發(fā)布了數(shù)字基群電視會(huì)議編碼標(biāo)準(zhǔn)H.120建議。1988年CCITT通過(guò)了“p64Kbps（p1,2,3,4,5,30）”視像編碼標(biāo)準(zhǔn)H.261建議，被稱為視頻壓縮編碼的一個(gè)里程碑。從此，ITUT、ISO等公布的基于波形的一系列視頻編碼標(biāo)準(zhǔn)的編碼方法都是基于H.261中的混合編碼方法。1986年，ISO和CCITT成立了聯(lián)合圖像專家組（JPEG，Joint Photographic Experts Group），研究連續(xù)色調(diào)靜止圖像壓縮算法國(guó)際標(biāo)準(zhǔn)，1992年7月通過(guò)了JPEG標(biāo)準(zhǔn)。1988年ISO/IEC信息技術(shù)聯(lián)合委員會(huì)成立了活動(dòng)圖像專家組（MPE

2、G，Moving Picture Expert Group）。 1991年公布了MPEG-1視頻編碼標(biāo)準(zhǔn)，碼率為1.5Mbps，主要應(yīng)用于家用VCD的視頻壓縮；1994年11月，公布了MPEG-2標(biāo)準(zhǔn)，用于數(shù)字視頻廣播（DVB）、家用DVD的視頻壓縮及高清晰度電視（HDTV）。碼率從4Mbps、15Mbps直至100 Mbps分別用于不同檔次和不同級(jí)別的視頻壓縮中。1995年，ITU-T推出H.263標(biāo)準(zhǔn)，用于低于64 Kbps的低碼率視頻傳輸，如PSTN信道中可視會(huì)議、多媒體通信等。1984年和2000年又分別公布了H.263+、H.263+等標(biāo)準(zhǔn)。1999年12月份，ISO/IEC通過(guò)了“

3、視聽(tīng)對(duì)象的編碼標(biāo)準(zhǔn)”MPEG4，它除了定義視頻壓縮編碼標(biāo)準(zhǔn)外，還強(qiáng)調(diào)了多媒體通信的交互性和靈活性。2003年3月，ITU-T和ISO/IEC正式公布了H.264視頻壓縮標(biāo)準(zhǔn)，不僅顯著提高了壓縮比，而且具有良好的網(wǎng)絡(luò)親和性，加強(qiáng)了對(duì)IP網(wǎng)、移動(dòng)網(wǎng)的誤碼和丟包的處理。有人將H.264稱為新一代的視頻編碼標(biāo)準(zhǔn)。本書(shū)也將重點(diǎn)介紹該標(biāo)準(zhǔn)。 H.261標(biāo)準(zhǔn)由于會(huì)議電視和可視電話的需要，CCITT發(fā)布了碼率為p64Kbps（p1,2,3,4,5,30）的H.261建議，這個(gè)視頻編碼方案對(duì)以后各種視頻編碼標(biāo)準(zhǔn)產(chǎn)生了深遠(yuǎn)影響，直至今天。 圖像格式H.261用于視頻通信，會(huì)產(chǎn)生多個(gè)國(guó)家的互通困難的問(wèn)題，不同國(guó)家采

4、用不同的彩電制式，不可能直接互通。H.261采用一種公共中間格式（CIF，Common Intermediate Format），不論何種彩色格式，發(fā)送方先把自己國(guó)家的彩電制式轉(zhuǎn)換成CIF格式，經(jīng)H.261編碼后再由CIF格式轉(zhuǎn)換到接收方彩電制式，如表4.1所示表4.1 CIF圖像格式采用的標(biāo)準(zhǔn)ISO/MPEG-1CCITT/H.261CCIR601參數(shù)SIFCIFQCIFPALNTSC每秒幀數(shù)253029.9725每幀有效行數(shù)Y288240288144576480Cr14412014472288240Cb14412014472288240每行有效像素Y360352352176720Cr180

5b18017617688360為了比較，表4.1列了CCIR601規(guī)定的兩種常用PAL和NTSC彩電制式的圖像格式，它并不屬于CIF格式。表1中SIF（Source Input Format）格式用于MPEG-1。采用CIF及QCIF格式時(shí)，視頻信號(hào)的結(jié)構(gòu)采用圖4.1所示的圖像、塊組（GOB，group of block）、宏塊（MB，macroblock）、塊（B，block）四級(jí)結(jié)構(gòu)。每幀CIF圖像由2個(gè)GOB組成，每個(gè)GOB由33個(gè)MB組成，每個(gè)MB由4個(gè)亮度塊和1個(gè)Cr塊及1個(gè)Cb塊組成，每個(gè)塊（B）又由88像素構(gòu)成。一幀QCIF圖像由3個(gè)GOB組成。圖4.1

6、CIF及QCIF結(jié)構(gòu)不論CIF還是QCIF格式幀都為29.97幀/秒30幀/秒，如果每像素的量化取8比特，彩色格式取4:2:0，碼率分別為：CIF：3522888301.536.5 MbpsQCIF：1761448301.59.1 Mbps顯然，這樣高的碼率不經(jīng)過(guò)視頻壓縮編碼要通過(guò)ISDN的64Kbps2.048Mbps信道是不可能的。 H.261視頻編解碼器 H.261編解碼器系統(tǒng)H.261視頻編解碼器結(jié)構(gòu)如圖4.2所示，視頻信源編碼器用于視頻信號(hào)的碼率壓縮，主要采用混合編碼方法；視頻復(fù)合編碼器將每幀圖像數(shù)據(jù)編排成四層結(jié)構(gòu)，并通過(guò)熵編碼對(duì)視頻數(shù)據(jù)進(jìn)一步壓縮輸出。傳輸緩沖器和碼率控制器用于保證

7、輸出碼流盡可能穩(wěn)定。傳輸編碼器則用于視頻數(shù)據(jù)的誤碼檢測(cè)和糾正。解碼器各部分功能與編碼器相反。圖4.2 H.261視頻編碼器框圖 視頻信源編碼器視頻信源編碼器結(jié)構(gòu)框圖見(jiàn)圖4.3所示，輸入以MB為單位。圖4.3 H.261信源編解碼器 (1) 幀間編碼和幀內(nèi)編碼自動(dòng)判決準(zhǔn)則一般可根據(jù)幀間相關(guān)性判定。相關(guān)性大則采用幀間編碼，否則用幀內(nèi)編碼。幀間相關(guān)性可用當(dāng)前幀與過(guò)去幀的對(duì)應(yīng)像素差的均方值表示： （4.1）VAR越小相關(guān)性越大。當(dāng)VAR64時(shí)，采用幀間模式；VAR64時(shí)，一般可采用幀內(nèi)模式。但如果幀內(nèi)運(yùn)動(dòng)小，而過(guò)去幀方差大（部分像素值變化大），也會(huì)導(dǎo)致殘差較大時(shí)，可以采用幀間編碼處理，即 當(dāng)VAR64

8、，但t-12VAR時(shí)采用幀間編碼。其中，（4.2）在H.261中對(duì)此并未作出規(guī)定。（2）幀間編碼與運(yùn)動(dòng)估計(jì)如按上述判決規(guī)則采用幀間編碼，以宏塊為基礎(chǔ)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼則被引入。當(dāng)過(guò)去幀與當(dāng)前幀的宏塊匹配時(shí)，求出該亮度宏塊的運(yùn)動(dòng)矢量Vx和Vy，分別表示過(guò)去幀的最佳匹配宏塊比當(dāng)前幀的宏塊右移Vx個(gè)像素及下移Vy個(gè)像素，構(gòu)成當(dāng)前幀的亮度預(yù)測(cè)幀；色度塊則作Vx/2和Vy/2位移，組成當(dāng)前色度預(yù)測(cè)幀。接著將相應(yīng)的當(dāng)前幀塊和預(yù)測(cè)幀塊相減，的幀誤差信號(hào)（殘差信號(hào)），再對(duì)此幀誤差信號(hào)進(jìn)行DCT變換、量化后傳送到復(fù)合編碼器。量化后信號(hào)經(jīng)過(guò)反量化的殘差圖像，如不計(jì)量化失真，與預(yù)測(cè)圖像相加得到恢復(fù)得原始圖像，存入幀

9、存儲(chǔ)器。每個(gè)宏塊的原始圖像都存入幀存儲(chǔ)器，直到一幀中所有宏塊殘差都發(fā)完。于是當(dāng)前幀存滿ft(x,y)，并作為下一幀ft+1(x,y)的參考圖像。（3）幀內(nèi)編碼如上述判決準(zhǔn)則，采用幀內(nèi)編碼，幀內(nèi)/幀間開(kāi)關(guān)向上。ft(x,y)直接經(jīng)DCT變換，變換系數(shù)經(jīng)過(guò)量化送入視頻復(fù)合編碼器。(4) 環(huán)路濾波器由于利用運(yùn)動(dòng)補(bǔ)償方法得出預(yù)測(cè)圖像，宏塊匹配可能不準(zhǔn)確，導(dǎo)致宏塊的運(yùn)動(dòng)矢量不準(zhǔn)確及方塊效應(yīng)出現(xiàn)，最終產(chǎn)生偽輪廓等高頻成分，大大影響了圖像質(zhì)量。為此需設(shè)置環(huán)路濾波器保證圖像質(zhì)量。環(huán)路濾波器實(shí)質(zhì)上是一個(gè)FIR低通濾波器，把一些不必要的高頻慮去。 視頻復(fù)合編碼器針對(duì)圖4.1中四層的視頻數(shù)據(jù)結(jié)構(gòu)，視頻復(fù)合編碼器對(duì)量

10、化后的視頻數(shù)據(jù)進(jìn)行變長(zhǎng)編碼（直流系數(shù)用定長(zhǎng)編碼），并插入一些輔助數(shù)據(jù)（如幀首、塊組首、宏塊首等），得到復(fù)合編碼圖像數(shù)據(jù)結(jié)構(gòu)，如圖4.4所示。圖4.4 圖像復(fù)合編碼數(shù)據(jù)結(jié)構(gòu)各層數(shù)據(jù)簡(jiǎn)要說(shuō)明如下：（1）幀層，幀首包括幀起始碼（PSC）、幀計(jì)數(shù)碼（TR）、幀類型信息碼（PTYPE）及備用插入信息碼等；（2）塊組層，塊組首包括塊組起始碼（GBSC）、塊組編號(hào)碼（GN）、塊組量化步長(zhǎng)（GQOANT）、備用插入信息等；（3）宏塊層，由6個(gè)塊組成，包括4個(gè)亮度塊和兩個(gè)色度塊。宏塊首包括宏塊地址碼（MBA）、宏塊類型碼（MTYPE）、宏塊量化步長(zhǎng)碼（MQUANT）、運(yùn)動(dòng)矢量數(shù)據(jù)（MVD）、編碼模式（CBP）等

11、，CBP說(shuō)明各塊中數(shù)據(jù)數(shù)；（4）塊層，各塊（88）的DCT系數(shù)按圖4.5所示的Zig-Zag（之字形）掃描，將像素排成一維序列并進(jìn)行熵編碼（變長(zhǎng)編碼），每塊結(jié)束時(shí)用EoB結(jié)束符作為塊結(jié)束。圖4.5 之字形掃描傳輸緩沖器為使輸出碼率基本恒定，可采用緩沖器控制并調(diào)整幀亞速率、改變量化步長(zhǎng)等等。在H.261中，建議緩存器容量B應(yīng)滿足下式： B4R/fF+256（ Kb） (4.3)其中R為信道速率，fF為幀頻。例：在會(huì)議電視中，如R2.048Mbps，fF30幀/秒，則B（42048/30+256）Kb529Kb66.1KB，實(shí)際取96KB為緩存容量。傳輸編碼器H.261中規(guī)定使用BCH碼糾正信道中

12、的誤碼，其碼長(zhǎng)n511位，其中信息碼493位，即采用BCH（511，493）糾錯(cuò)碼。由于： n=2m1，nkmt （4.4）將n511，R493代入，得m9，t2，即可以糾正2位誤碼。最后，圖4.6給出糾錯(cuò)數(shù)據(jù)幀結(jié)構(gòu)，每個(gè)數(shù)據(jù)幀由R483位信息碼，再加1位同步碼構(gòu)成。一個(gè)數(shù)據(jù)幀共有512位。8個(gè)數(shù)據(jù)幀構(gòu)成一個(gè)幀群，幀首中同步碼為1位，規(guī)定S1S2S3.S8=00011011。圖4.6 糾錯(cuò)數(shù)據(jù)幀結(jié)構(gòu)解碼器結(jié)構(gòu)如圖4.7所示，其原理與編碼器相反，這里不再重述。圖4.7 解碼器框圖H.263標(biāo)準(zhǔn)H.263標(biāo)準(zhǔn)圖像格式如表4.2所示，H.263共有五種圖像格式。表4.2 H.263標(biāo)準(zhǔn)圖像格式圖像格

13、式亮度信號(hào)分量（Y）色度信號(hào)分量（Cb或Cr）每行像素?cái)?shù)每幀行數(shù)每行像素?cái)?shù)每幀行數(shù)Sub-QCIF128966448QCIF1761448872CIF3522881761444CIF70457635228816CIF14081152704576彩色格式取4:2:0，亮度、色度取樣位置如圖4.8所示。 圖4.8亮度、色度取樣位置 圖4.9 QCIF圖像GOB編號(hào)對(duì)于Sub-QCIF、QCIF、CIF格式，每個(gè)塊組（GOB）均為16行。4CIF每一塊組32行，16 CIF每一塊組64行。Sub-QCIF、QCIF、CIF、4CIF、16 CIF含有得塊組數(shù)分別為6、9、18、18、18。QCIF圖

14、像得GOB如圖4.9所示。每個(gè)宏塊由4個(gè)88亮度塊和2個(gè)88色度塊組成。對(duì)于Sub-QCIF、QCIF、CIF格式，每個(gè)GOB垂直方向有一個(gè)宏塊行，水平方向分別有8、11、22個(gè)宏塊；對(duì)于4CIF和16 CIF垂直方向分別有2個(gè)及4個(gè)宏塊行，水平方向分別有44個(gè)和88個(gè)宏塊。H.263視頻信源編碼算法H.263的視頻信源編碼框圖與H.261相同，信源編碼方法也類似，不同的是H.263輸入有多種格式，輸出為H.263碼流。傳輸碼率最初定為低于64Kbps，但實(shí)際上其應(yīng)用范圍已遠(yuǎn)遠(yuǎn)超出低碼率圖像編碼范圍，如16QCIF已是高清晰度電視水平。可以說(shuō)，H.263也適于高速率圖像編碼。為了適應(yīng)低碼率傳輸

15、要求，并進(jìn)一步提高圖像質(zhì)量，H.263+、H.263+做了不少改進(jìn)，增加了若干選項(xiàng)，現(xiàn)選擇主要技術(shù)介紹如下：（1）運(yùn)動(dòng)矢量，H.263中1個(gè)MB可以使用1個(gè)運(yùn)動(dòng)矢量表示，也可以4個(gè)88塊各使用1個(gè)運(yùn)動(dòng)矢量表示，提高運(yùn)動(dòng)估計(jì)精確性和壓縮比。（H.261規(guī)定每個(gè)MB使用1個(gè)運(yùn)動(dòng)矢量。）（2）半像素預(yù)測(cè)，H.263為進(jìn)一步提高壓縮比，采用半像素預(yù)測(cè)，而H.261采用整像素預(yù)測(cè)，預(yù)測(cè)精度明顯低于H.263。（3）二維預(yù)測(cè)，H.263采用二維預(yù)測(cè)，H.261采用一維預(yù)測(cè)。（4）非限制的運(yùn)動(dòng)矢量模式（選項(xiàng)），H.263的運(yùn)動(dòng)矢量范圍允許指向圖像幀之外。（5）基于句法的算術(shù)編碼（選項(xiàng)），顯著降低碼率，但復(fù)雜

16、度比哈夫曼編碼高。（6）高級(jí)預(yù)測(cè)模式（選項(xiàng)），H.263除可以采用每個(gè)88塊1個(gè)運(yùn)動(dòng)矢量，每個(gè)1616宏塊4個(gè)運(yùn)動(dòng)矢量外，還采用OBMC運(yùn)動(dòng)補(bǔ)償方式，以減少方塊效應(yīng)。（7）PB幀模式（選項(xiàng)），PB幀由1個(gè)P幀和1個(gè)B幀組成。P幀由前一幀預(yù)測(cè)而得。B幀由雙向（前向和后向）預(yù)測(cè)而得，分別用前向MV、后向MV、前后向MV平均進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)?個(gè)預(yù)測(cè)誤差，取其最小者作為B幀的預(yù)測(cè)誤差進(jìn)行編碼。 MPEG-1標(biāo)準(zhǔn) 功能（1） 視頻壓縮編碼，壓縮后碼率在1.5Mbps，可用于視頻傳輸和視頻存儲(chǔ)；編碼前必須將視頻圖像轉(zhuǎn)換成逐行掃描圖像。（2）錄像機(jī)的正放、圖像凍結(jié)快進(jìn)、快退和慢放功能以及隨機(jī)存儲(chǔ)功能。 圖像類

17、型和編碼結(jié)構(gòu) MPEG-1的圖像類型MPEG-1定義了三種圖像類型：I、P、B圖像。I圖像即幀內(nèi)（Intra）圖像，采用幀內(nèi)編碼，不參考其它圖像，但可作為其它類型圖像的參考幀。P圖像即預(yù)測(cè)（Predicted）圖像，采用幀間編碼，參考前一幅I或P圖像，用作運(yùn)動(dòng)補(bǔ)償。B圖像即雙向預(yù)測(cè)（Bi- predicted）圖像，參考前后兩個(gè)方向圖像。I、P、B圖像之間的顯示順序見(jiàn)圖4.10。圖4.10 I、P、B圖像顯示順序雙向預(yù)測(cè)編碼可解決“暴露”問(wèn)題，即某物體在前一幀未顯示出來(lái)，但在后一幀卻“暴露”出來(lái)，雙向預(yù)測(cè)能更準(zhǔn)確地找出運(yùn)動(dòng)矢量，并只有在視頻存儲(chǔ)、VOD等非實(shí)時(shí)通信及數(shù)字廣播電視中應(yīng)用。會(huì)議電視

18、、可視電話等實(shí)時(shí)通信中不宜應(yīng)用B圖像，因?yàn)閷?shí)時(shí)通信后一幀處在當(dāng)前幀之后，當(dāng)前幀編碼時(shí)它尚未出現(xiàn)。 MPEG-1編碼結(jié)構(gòu)MPEG-1編碼結(jié)構(gòu)類似H.261，也采用分層結(jié)構(gòu)，但有所不同，如圖4.11所示?？梢?jiàn)MPEG-1多出片層（切片或slice層），用于防止誤碼在一幀內(nèi)地?cái)U(kuò)散。圖4.11 MPEG-1編碼層次結(jié)構(gòu)圖4.12 MPEG-2編碼復(fù)用系統(tǒng)ES：由視頻壓縮編碼后的視頻基本碼流（Video ES）和音頻壓縮編碼后的音頻基本碼流（Audio ES）組成。PES：把視音頻ES分別打包，長(zhǎng)度可變，最長(zhǎng)為216字節(jié)。TS、PS：若干個(gè)節(jié)目的PES復(fù)用后輸出為傳輸流TS和節(jié)目流PS，分別用于傳輸和存

19、儲(chǔ)。 檔次和級(jí)別MPEG-2按不同的壓縮比分成五個(gè)檔次，按視頻清晰度分為四個(gè)級(jí)別，如表4.3所示。共有20種組合，最常用的為其中的11種組合，分別用于標(biāo)準(zhǔn)數(shù)字電視、高清晰度電視，碼率從4Mbps到100Mbps。表4.3 MPEG-2檔次和級(jí)別檔次（profile）級(jí)別（level）簡(jiǎn)單（simple）SP主要（main）MPSNR可分級(jí)（scalable）SNP空間可分級(jí)（spatial scalable）SSP高級(jí)（high）HP高級(jí)（high）HL1920108030或1920115225MPHL80MbpsHPHL100Mbps+較低層高-1440（high-1440）1440108030或1440115225MPH144060MbpsSSP H144060Mbps+較低層HP H144080Mbps+較低層主級(jí)（main）ML72048030或72057625SPML15MbpsMPML15MbpsSNPML15Mbps+較低層HPML20Mbps+較低層低級(jí)（low）LL35228829.97MPLL4MbpsSNPLL4Mbps MPEG-2視頻編碼器1 框圖MPEG-2編解碼器結(jié)構(gòu)與H.261區(qū)別不大，如圖4.13和圖4.14所示。圖4.13 MPEG-2編碼器圖4.14 MPEG-2解碼器2 ES碼