第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)

1、共七十六頁6.1 靜止圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼(bin m)的標(biāo)準(zhǔn)化進(jìn)展6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁掌握J(rèn)PEG基本系統(tǒng)的編解碼原理。了解JPEG2000漸進(jìn)編碼與傳輸?shù)母拍钆c思想。理解MPEG-2視頻編碼中的“類”和“級(jí)”的含義。理解I幀、P幀、B幀圖像的編碼特點(diǎn)，熟悉MPEG-2視頻碼流的分層結(jié)構(gòu)(jigu)。掌握MPEG-4標(biāo)準(zhǔn)中基于內(nèi)容編碼的工作原理。理解視頻對(duì)象（VO）和視頻對(duì)象平面（VO

2、P）的概念。了解H.263視頻編碼的關(guān)鍵技術(shù)。熟悉H.264視頻編碼標(biāo)準(zhǔn)的主要特點(diǎn)及性能。了解我國(guó)具備自主知識(shí)產(chǎn)權(quán)的AVS視頻編碼技術(shù)的性能及應(yīng)用。 本章學(xué)習(xí)(xux)目標(biāo)共七十六頁靜止圖像包括兩類：黑白（二值）靜止圖像和連續(xù)色調(diào)（彩色或灰度）靜止圖像。對(duì)于靜止圖像壓縮編碼(bin m)，已有多個(gè)國(guó)際標(biāo)準(zhǔn)，如國(guó)際標(biāo)準(zhǔn)化組織（ISO）制訂的JBIG標(biāo)準(zhǔn)（ISO 11544）、JPEG標(biāo)準(zhǔn)（ISO 10918）、JPEG2000標(biāo)準(zhǔn)（編號(hào)為ISO 15444，等同的ITU-T編號(hào)為T.800）等。本節(jié)將主要介紹JPEG和JPEG2000標(biāo)準(zhǔn)。6.1 靜止圖像編碼標(biāo)準(zhǔn)共七十六頁6.1.1 JPEG

3、標(biāo)準(zhǔn)(biozhn)概述JPEG是Joint Photographic Experts Group（聯(lián)合圖片專家組）的縮寫。由ISO和IEC兩個(gè)(lin )組織機(jī)構(gòu)聯(lián)合組成的專家組，負(fù)責(zé)制定靜態(tài)的數(shù)字圖像數(shù)據(jù)壓縮編碼標(biāo)準(zhǔn)JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)號(hào)：ISO/IEC 10918或ITU-T T.81標(biāo)準(zhǔn)名：Information technology Digital compression and coding of continuous-tone still images (信息技術(shù) 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮和編碼)JPEG 標(biāo)準(zhǔn)適用范圍 灰度圖像，彩色圖像 靜止圖像的壓縮，視頻序列幀內(nèi)圖像壓縮JPE

4、G可以大范圍地調(diào)節(jié)圖像碼率和質(zhì)量共七十六頁JPEG算法與顏色空間無關(guān)RGB和YUV顏色空間之間的轉(zhuǎn)換(zhunhun)不包含在JPEG算法中?？蓧嚎s來自不同顏色空間的數(shù)據(jù)，如RGB, YCbCr, CMYK。JPEG算法對(duì)每個(gè)彩色分量進(jìn)行單獨(dú)編碼，對(duì)不同的分量可以采用不同的量化參數(shù)和熵編碼表。共七十六頁基于 DCT 的順序編碼算法利用視覺系統(tǒng)特性，使用(shyng)正交變換、量化和熵編碼相結(jié)合的方法，以去掉或減少視覺的冗余和數(shù)據(jù)本身的冗余JPEG基本編碼系統(tǒng)的算法大致分成三個(gè)步驟：正交變換：使用正向離散余弦變換(FDCT)把空間域上的圖像數(shù)據(jù)變換成頻率域上的變換系數(shù)量化：使用加權(quán)函數(shù)對(duì)DCT系

5、數(shù)進(jìn)行量化，加權(quán)函數(shù)對(duì)人的視覺系統(tǒng)是最佳的熵編碼：使用霍夫曼編碼器對(duì)量化系數(shù)進(jìn)行編碼6.1.2 JPEG 基本編碼(bin m)系統(tǒng)共七十六頁基于DCT的順序(shnx)編碼算法基本步驟 將原圖像用亮度、色差表示（分量圖像采樣4：1：1）分成88數(shù)據(jù)塊, 數(shù)據(jù)0255轉(zhuǎn)換為-128127進(jìn)行正向離散余弦變換(FDCT) 量化(quantization) Z字形(zig-zag)掃描 使用DPCM對(duì)直流系數(shù)(xsh)(DC)進(jìn)行編碼 使用行程編碼對(duì)交流系數(shù)(AC)進(jìn)行編碼 熵編碼(entropy coding)：哈夫曼或算術(shù)編碼共七十六頁JPEG 壓縮(y su)效果原始圖像(5125128)（

6、256KB）壓縮 21:1 （12KB）壓縮 51:1 （5KB）共七十六頁6.1.3 基于DCT的漸進(jìn)(jinjn)編碼基本思想此模式與順序模式編碼步驟基本一致，不同之處在于漸進(jìn)編碼模式每個(gè)圖像分量的編碼要經(jīng)過多次掃描才完成。第一次掃描只進(jìn)行一次粗糙的壓縮，然后根據(jù)此數(shù)據(jù)先重建一幅(y f)質(zhì)量低的圖像，以后的掃描再作較細(xì)的掃描，使重建圖像質(zhì)量不斷提高，直到滿意為止共七十六頁基本步驟（1）降低原始圖像的空間分辨率。 （2）對(duì)已經(jīng)降低分辨率的圖像按照順序編碼模式(msh)進(jìn)行 壓縮并存儲(chǔ)或傳輸。 （3）對(duì)低分辨率圖像進(jìn)行解碼，然后用插值法提高圖 像的分辨率。 （4）將分辨率已經(jīng)升高的圖像作為原

7、圖像的預(yù)測(cè)值， 并把它與原圖像的差值進(jìn)行基于DCT的編碼。 （5）重復(fù)步驟3、4直到圖像達(dá)到完整的分辨率。6.1.3 基于DCT的漸進(jìn)(jinjn)編碼共七十六頁分級(jí)編碼的操作模式是把一幅原始圖像的空間分辨率分成多個(gè)低分辨圖像進(jìn)行“錐形”編碼的方法。例如，水平方向和垂直方向分辨率均以 2n的倍數(shù)(bish)改變，如圖所示。6.1.4 基于(jy)DCT的分級(jí)編碼共七十六頁ITU-T SG8和ISO/IEC JTC1 SC29 WG1聯(lián)合開發(fā)的靜態(tài)圖像壓縮編碼標(biāo)準(zhǔn)(ISO/IEC 15444)，標(biāo)準(zhǔn)名為“JPEG 2000: Image Coding System” 。開發(fā)工作始于1996年1月

8、，其目標(biāo)是增強(qiáng)對(duì)連續(xù)色調(diào)圖像的壓縮(y su)效率、管理和傳輸，而又不使圖像質(zhì)量有明顯的損失。使用小波變換技術(shù)提高壓縮比，用戶可控制圖像的分辨率，用在網(wǎng)絡(luò)上傳輸時(shí)可按照用戶要求下載各種分辨率的圖像。可提供無損壓縮的圖像，在文檔中可提供更多的顏色信息。6.1.5 JPEG2000 標(biāo)準(zhǔn)(biozhn)概述共七十六頁JPEG 2000標(biāo)準(zhǔn)的主要內(nèi)容 （1）JPEG 2000最小編、解碼系統(tǒng)，是JPEG 2000核心系統(tǒng)；（2）擴(kuò)展系統(tǒng)，在核心系統(tǒng)的基礎(chǔ)上添加了一些功能；（3）運(yùn)動(dòng)JPEG 2000，針對(duì)運(yùn)動(dòng)圖像(t xin)提出的解決方案；（4）兼容性；（5）參考軟件；（6）復(fù)合圖像文件格式，主要

9、針對(duì)印刷和傳真應(yīng)用；（7）技術(shù)報(bào)告，介紹實(shí)現(xiàn)一部分所需的最少支持環(huán)境（已被廢棄）；（8）JPSEC，針對(duì)安全應(yīng)用（加密、水印技術(shù)）；（9）JPIP，針對(duì)交互應(yīng)用協(xié)議；（10）JP3D，針對(duì)3D圖像；（11）JPWL，針對(duì)無線應(yīng)用；（12）基本媒體文件格式。共七十六頁JPEG 2000的編、解碼原理(yunl)框圖共七十六頁JPEG2000 壓縮(y su)效果共七十六頁JPEG2000 壓縮(y su)效果共七十六頁支持可分級(jí)(fn j)（scalable）編碼分辨率可分級(jí)質(zhì)量（信噪比）可分級(jí)提供靈活的解碼支持感興趣區(qū)(region of interest, ROI)的編碼可指定感興趣的圖像區(qū)

10、域，在壓縮時(shí)對(duì)這些圖像區(qū)指定特定的壓縮質(zhì)量，這給用戶帶來了極大的方便。例如，在有些情況下圖像中只有一小塊區(qū)域?qū)τ脩羰怯杏玫模瑢?duì)這些區(qū)域采用低壓縮比，而其他區(qū)域采用高壓縮比，在保證不丟失重要信息的同時(shí)能有效地壓縮數(shù)據(jù)量6.1.7 JPEG2000 的主要(zhyo)特點(diǎn)共七十六頁6.1 靜止圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進(jìn)展(jnzhn)6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁6.2 數(shù)字視頻編碼(bin m)

11、的標(biāo)準(zhǔn)化進(jìn)展國(guó)際上數(shù)字視頻編碼標(biāo)準(zhǔn)主要有兩大系列。一個(gè)系列由國(guó)際標(biāo)準(zhǔn)化組織（ISO）和國(guó)際電工委員會(huì)（IEC）制定，另一個(gè)系列由國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)部（ITU-T）制定。 ISO/IEC: JPEG,JPEG2000,MPEG-1/2/4/7 ITU-T: H.261/2/3/4制定這些標(biāo)準(zhǔn)的背景有所不同，面向的主要應(yīng)用也有所區(qū)別，它們采用的技術(shù)有很多共同點(diǎn)，應(yīng)用領(lǐng)域有所重疊。兩者合作(hzu)制定標(biāo)準(zhǔn)（例如，MPEG-2/H.262 和 MPEG-4 AVC/H.264）共七十六頁H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263H.263+H.263+ITU-

12、T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standards19841986198819901992199419961998200020022004MPEG-1MPEG-4視頻(shpn)編碼標(biāo)準(zhǔn)：歷史JPEGJPEG2000共七十六頁6.1 靜止圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進(jìn)展(jnzhn)6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁6.3 MPEG-

13、1/MPEG-2視頻(shpn)編碼標(biāo)準(zhǔn)6.3.1 I幀、P幀和B幀6.3.2 視頻(shpn)碼流的分層結(jié)構(gòu)6.3.3 MPEG-1/-2視頻編解碼原理6.3.4 MPEG-2的功能擴(kuò)展共七十六頁6.3.1 I幀、P幀和B幀 MPEG標(biāo)準(zhǔn)所規(guī)定的視頻編碼算法在實(shí)現(xiàn)高壓縮比的同時(shí)，又能獲得較高的重建圖像質(zhì)量，并且還要滿足能夠隨機(jī)存取的要求。所以，MPEG標(biāo)準(zhǔn)將編碼圖像分為(fn wi)三種類型：I（Intra）幀P（Predicated）幀B（ Bidirectionally-predictive）幀共七十六頁1I幀I幀，又稱幀內(nèi)編碼幀，是作為預(yù)測(cè)基準(zhǔn)的獨(dú)立幀。該幀采用類似(li s)JPEG

14、算法的幀內(nèi)DCT編碼，壓縮比相對(duì)較低。設(shè)置I幀的主要理由（1）當(dāng)某幀找不到匹配的參考幀時(shí)，就只好進(jìn)行幀內(nèi)編碼，場(chǎng)景切換或圖像中的“遮擋”和“暴露”部分就是這種情況的例子；（2）解碼I幀不需要參考幀，因而可以在I幀進(jìn)行碼流的切換和編輯等操作，提供隨機(jī)存取的插入點(diǎn)；（3）長(zhǎng)時(shí)間連續(xù)地進(jìn)行預(yù)測(cè)編碼，預(yù)測(cè)誤差會(huì)不斷累積，使壓縮效率逐漸降低，圖像質(zhì)量不斷下降。為防止解碼圖像損傷的逐漸加劇，需定時(shí)進(jìn)行幀刷新，即周期性地插入I幀，以便重新開始一個(gè)新的預(yù)測(cè)編碼過程。 共七十六頁2P幀P幀，又稱前向預(yù)測(cè)編碼幀。它用前面最近的I幀或P幀作為參考進(jìn)行前向預(yù)測(cè)，采用帶運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼方式。由于同時(shí)利用(lyng

15、)了空間和時(shí)間上的相關(guān)性，所以P幀比I幀的壓縮效率高。P幀也可作為參考幀。 共七十六頁P(yáng)幀的壓縮編碼算法 算法原理P幀的編碼以宏塊(MB)為基本單元，一個(gè)宏塊定義為1616像素的像塊P幀使用兩種類型(lixng)的參數(shù)表示當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值宏塊的運(yùn)動(dòng)矢量(motion vector, MV)共七十六頁3B幀B幀，又稱雙向預(yù)測(cè)編碼幀。它既用源視頻序列中位于前面且已編碼的I幀或P幀作為參考幀，進(jìn)行前向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，又用位于后面且已編碼的I幀或P幀作為參考幀，進(jìn)行后向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。即B幀可采用(ciyng)幀內(nèi)編碼、前向預(yù)測(cè)編碼、后向預(yù)測(cè)編碼、或雙向預(yù)測(cè)編碼4種技術(shù)，其壓

16、縮比最高。但B幀不能用作對(duì)其他幀進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考幀。共七十六頁 視頻數(shù)據(jù)經(jīng)過壓縮編碼后形成視頻基本碼流（ES）。MPEG為了更好地表示(biosh)編碼比特流，用句法規(guī)定了一個(gè)分層結(jié)構(gòu)，共分6層，從高到低依次是：(1) 視頻序列 (sequence)層(2) 圖像組 (group of pictures，GOP)層(3) 圖像 (picture)層(4) 宏塊條(slice)層(5) 宏塊 (macroblock，MB)層(6) 像塊(block)層 6.3.2 視頻(shpn)碼流的分層結(jié)構(gòu)共七十六頁 MPEG-2與MPEG-1的視頻編碼原理方框圖基本相同，如圖6-11所示，采用運(yùn)動(dòng)補(bǔ)

17、償幀間預(yù)測(cè)編碼、DCT編碼以及熵編碼相結(jié)合的方案。利用運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼消除電視圖像信號(hào)(xnho)的時(shí)間冗余；利用DCT消除信號(hào)的空間冗余；對(duì)運(yùn)動(dòng)矢量和量化后的DCT系數(shù)進(jìn)行熵編碼，消除符號(hào)統(tǒng)計(jì)冗余，以達(dá)到進(jìn)一步壓縮數(shù)碼率的目的。6.3.3 MPEG-1/-2視頻(shpn)編解碼原理共七十六頁圖6-11 MPEG-2 視頻編碼原理(yunl)框圖共七十六頁圖6-12 MPEG-2解碼器的結(jié)構(gòu)(jigu)框圖共七十六頁1MPEG-2定義了“檔次(dn c)”與“級(jí)”的概念2MPEG-2有“按幀編碼”和“按場(chǎng)編碼”兩種模式 3MPEG-2增加了可分級(jí)性6.3.4 MPEG-2的功能(gngn

18、ng)擴(kuò)展 共七十六頁 MPEG-2標(biāo)準(zhǔn)適用范圍廣，為了解決通用性和特殊性的矛盾，支持(zhch)靈活的性能價(jià)格比，MPEG-2在單一語法的基礎(chǔ)上，針對(duì)不同的應(yīng)用，規(guī)定了不同的壓縮處理方法，即不同的語法子集，這樣的語法子集稱為“檔次”（Profile）。 然而，在同一語法子集中（即同一“檔次”中）需要處理的輸入圖像格式（如分辨率）可能有很大的差別，于是MPEG-2又提出了“級(jí)”（Level）的概念。1. “檔次(dn c)”與“級(jí)”的概念共七十六頁可分級(jí)編碼使原本(yunbn)一體的碼流呈現(xiàn)一種分層結(jié)構(gòu)，使其中的部分碼流可單獨(dú)解碼，從而可得到不同的分辨率和所需的數(shù)碼率?；緦泳幋a(base-l

19、ayer coding) ：編碼、傳輸和解碼可單獨(dú)進(jìn)行增強(qiáng)層編碼(enhancement-layer coding)：編碼、傳輸和解碼要依賴基本層或先前的增強(qiáng)層才能完成可分級(jí)編解碼的意義在于其碼流的獨(dú)立分層及可分層疊加，從而使該碼流適應(yīng)不同環(huán)境的傳輸信道和不同用戶需求的能力大大增加。2. MPEG-2的可分級(jí)(fn j)編碼共七十六頁共七十六頁可分級(jí)(fn j)編碼模式（1）信噪比可分級(jí)(fn j)（Signal-to-Noise Scalability）（2）空域可分級(jí)（Spatial Scalability）（3）時(shí)域可分級(jí)（Temporal Scalability）共七十六頁6.1 靜止

20、圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進(jìn)展(jnzhn)6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁 6.4.1 MPEG-4視頻編碼(bin m)的主要特點(diǎn) 6.4.2 MPEG-4視頻編碼方法6.4 MPEG-4視頻(shpn)編碼標(biāo)準(zhǔn)共七十六頁6.4.1 MPEG-4視頻(shpn)編碼的主要特點(diǎn)為了實(shí)現(xiàn)基于內(nèi)容(nirng)的交互功能，MPEG-4引入了視頻對(duì)象（VO）和視頻對(duì)象平面（VOP）的概念。MPEG-4

21、中的視頻對(duì)象可以是視頻場(chǎng)景中的人物或具體的景物，例如，新聞節(jié)目中的主持人的頭肩像（沒有背景圖像），即自然視頻對(duì)象；也可以是計(jì)算機(jī)產(chǎn)生的二維、三維圖形，即合成視頻對(duì)象。 MPEG-4視頻編碼處理的數(shù)據(jù)類型主要有： 視頻對(duì)象（任意形狀區(qū)域的動(dòng)態(tài)視頻） 二維和三維的網(wǎng)格對(duì)象（可變形的對(duì)象） 人臉和身體的動(dòng)畫 靜態(tài)紋理（靜止圖像）共七十六頁支持從低數(shù)碼率（5kbps-64kbps)到高數(shù)碼率（100Mbps）的各種應(yīng)用，為保證標(biāo)準(zhǔn)的靈活性，它提供一系列的編碼算法和工具，以供應(yīng)用開發(fā)者選用。 標(biāo)準(zhǔn)中使用除包括壓縮本身一些技術(shù)外，還包括圖像分析與合成、計(jì)算機(jī)視覺(shju)、計(jì)算機(jī)圖形、虛擬現(xiàn)實(shí)和語音合成

22、等多種多媒體技術(shù)。MPEG-4標(biāo)準(zhǔn)提供(tgng)的工具和算法MPEG-4 目標(biāo)共七十六頁（1）基于對(duì)象的編碼，便于操作和控制對(duì)象；可以實(shí)現(xiàn)基于內(nèi)容的交互性功能，主要用于基于內(nèi)容的多媒體數(shù)據(jù)存取、游戲或多媒體家庭編輯、網(wǎng)上購(gòu)物和電子商店、遠(yuǎn)程監(jiān)控、醫(yī)療和教學(xué)等。（2）MPEG-4 在擴(kuò)展性上具有很好的靈活性，可進(jìn)行時(shí)域和空域的擴(kuò)展（兼容MPEG-2 擴(kuò)展功能）；主要用于互聯(lián)網(wǎng)和無線網(wǎng)等窄帶的視頻通訊、多質(zhì)量視頻服務(wù)和多媒體數(shù)據(jù)庫預(yù)覽等服務(wù)。（3）MPEG-4的編碼具有魯棒性和糾錯(cuò)功能。主要用于在移動(dòng)通信的易錯(cuò)通訊環(huán)境下實(shí)現(xiàn)安全的低碼率編碼和傳輸，采用再同步、數(shù)據(jù)恢復(fù)、錯(cuò)誤(cuw)隱藏等三種策

23、略。MPEG-4 主要(zhyo)特點(diǎn)共七十六頁（1） MPEG-4中的數(shù)據(jù)結(jié)構(gòu)類（2）MPEG-4中形狀編碼（3）MPEG-4中運(yùn)動(dòng)估計(jì)(gj)（4）MPEG-4中紋理編碼6.4.2 MPEG-4視頻(shpn)編碼方法共七十六頁（1）MPEG-4中的數(shù)據(jù)結(jié)構(gòu)(sh j ji u)類可以認(rèn)為有四個(gè)層次的數(shù)據(jù)結(jié)構(gòu)，它們都以類的形式定義。 VS（Video Session）：是包含其它三個(gè)類的一個(gè)類，一個(gè)完整的視頻序列可以由幾個(gè)VS組成。 VO（Video Object）：場(chǎng)景中的某個(gè)物體(wt)，它是有生命期的，由時(shí)間上連續(xù)的許多幀構(gòu)成。VOL（Video Object Layer）：VO的三

24、種屬性信息編碼于這個(gè)類中，這個(gè)類的引入主要用來擴(kuò)展VO的時(shí)域或空域分辨率。VOP（Video Object Plane）：可以看作是VO在某一時(shí)刻的表象，即某一幀VO。 以上四個(gè)類的關(guān)系可以用下圖表示：共七十六頁 VM中的數(shù)據(jù)結(jié)構(gòu)(sh j ji u)類分級(jí)圖共七十六頁解碼器流程編碼器流程共七十六頁MPEG-4中基于(jy)VOP的視頻編碼框圖方式(fngsh)1預(yù)測(cè)是指標(biāo)準(zhǔn)88 或 1616 塊的運(yùn)動(dòng)估計(jì);方式2預(yù)測(cè)是指使用仿射變換的全局運(yùn)動(dòng)補(bǔ)償;方式3預(yù)測(cè)是指基于動(dòng)態(tài)sprites的全局運(yùn)動(dòng)補(bǔ)償。共七十六頁（2）MPEG-4中形狀(xngzhun)編碼共七十六頁 （3）MPEG-4中運(yùn)動(dòng)(

25、yndng)估計(jì)MPEG-4的運(yùn)動(dòng)估計(jì)與補(bǔ)償采用了“半像素(xin s)搜索”（half pixel searching）技術(shù)和“重疊運(yùn)動(dòng)補(bǔ)償”（overlapped motion compensation）技術(shù)。為了能適用于任意形狀的VOP區(qū)域，引入了所謂“重復(fù)填充”（repetitive padding）和“修改的塊（多邊形）匹配”（modified block(polygon) matching）技術(shù)。共七十六頁VM中任意(rny)形狀VOP的運(yùn)動(dòng)估計(jì)(1) 對(duì)于完全在VOP外、但在邊框內(nèi)的宏塊，不作運(yùn)動(dòng)估計(jì)；(2) 對(duì)完全在VOP內(nèi)的宏塊作與H.263類似的運(yùn)動(dòng)估計(jì)；(3) 對(duì)部分在V

26、OP內(nèi)、部分在外的宏塊，用“修改的塊（多邊形）匹配” 技術(shù)進(jìn)行運(yùn)動(dòng)估計(jì)，匹配誤差由塊中屬于VOP內(nèi)部的像素(xin s)與參考?jí)K中相應(yīng)位置像素(xin s)的差的絕對(duì)值的和（SAD）來度量。共七十六頁（4） MPEG-4中紋理(wnl)編碼DCT變換基于88，仍有三種情況：(1) VOP外、邊框內(nèi)的塊：不編碼；(2) VOP內(nèi)的塊：傳統(tǒng)DCT方法編碼；(3) 部分(b fen)在VOP內(nèi)、部分在VOP外的塊：現(xiàn)用“重復(fù)填充”方法將改塊在VOP外的部分進(jìn)行填充，再用DCT編碼。共七十六頁6.1 靜止圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進(jìn)展(jnzhn)6.3 MPEG-1/MPEG-2視頻編

27、碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁ITU-T H.2611988年制定，奠定了現(xiàn)代視頻編碼的基礎(chǔ)：編碼結(jié)構(gòu)為：運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(yc)+DCT 編碼+熵編碼關(guān)鍵技術(shù)包括 1616宏塊運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、88 DCT、量化、環(huán)路濾波和變字長(zhǎng)編碼（VLC）等。這些關(guān)鍵技術(shù)后來被其它標(biāo)準(zhǔn)采用。H.261v2 (1993年早期) 增加了后向兼容的高清晰度圖片模式(例如遠(yuǎn)程教學(xué)中的白板）圖像格式：CIF or QCIF，幀率 29.97fps數(shù)碼率為 n64kbit/s

28、(641920 kbit/s)，典型為 384kbit/s特性：低復(fù)雜、低時(shí)延后向兼容的一個(gè)標(biāo)準(zhǔn)被 H.263 和 H.264 超越共七十六頁H.261 圖像格式ITU-R BT.601CIFQCIF720576352288176144共七十六頁基于(jy) MC+DCT 混合視頻編碼器反量化IDCTMC預(yù)測(cè)器DCT量化運(yùn)動(dòng)(yndng)估計(jì)ME幀緩存器運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)MC輸入信號(hào)編碼碼流(送信道)輸入幀的近似 (送顯示)運(yùn)動(dòng)矢量和塊模式數(shù)據(jù) (送信道)先前編碼的近似幀(虛框表示解碼器)熵編碼共七十六頁H.263 ：低碼率視頻(shpn)編碼標(biāo)準(zhǔn)ITU-T H.263 (V1: 1995): 取代

29、 H.261，成為視頻會(huì)議、可視電話和 Internet 視頻流的壓縮標(biāo)準(zhǔn)。H.263 + （1997/1998年） & H.263 + + （2000年）圖像格式通常為 CIF、QCIF or Sub-QCIF（12896）, 也支持16CIF、4CIF幀率：一般低于 10fps數(shù)碼率：任意，典型 20kbps （對(duì)于 PSTN）在所有的數(shù)碼率上對(duì)優(yōu)于 H.261，在一半數(shù)碼率上與 H.261 具有相同(xin tn)的質(zhì)量是 MPEG4 標(biāo)準(zhǔn)的壓縮 Core共七十六頁H.263的編碼(bin m)原理框圖共七十六頁6.1 靜止圖像編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼(bin m)的標(biāo)準(zhǔn)化進(jìn)展6.3

30、 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn) 6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.5 H.263視頻編碼標(biāo)準(zhǔn)6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)6.7 AVS視頻編碼標(biāo)準(zhǔn)第6章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)共七十六頁6.6.1 H.264/AVC歷史6.6.2 H.264/AVC的范圍和內(nèi)容6.6.3 H.264/AVC的檔次（Profiles）與級(jí)（Levels）6.6.4 H.264/AVC新技術(shù)多模式、多參考幀運(yùn)動(dòng)補(bǔ)償(bchng)1/4pixel 運(yùn)動(dòng)矢量精度多模式幀內(nèi)預(yù)測(cè)（I 幀空域預(yù)測(cè)）44 整數(shù)變換熵編碼 CAVLC & CABAC其它6.6.5 H.264/AVC的性能6.6 H.

31、264/AVC視頻(shpn)編碼標(biāo)準(zhǔn)共七十六頁6.6.1 H.264/AVC歷史(lsh)H.264/AVC 標(biāo)準(zhǔn)：名詞眾多：H.26L、JVT CODEC、JM2.x、JM3.x、JM4.x、Beyond H.26L、AVC（Advanced Video CODE）、H.2642001.12 ITU/ISO 成立 Joint Video Team (JVT) 2002.12 技術(shù)(jsh)截止2003.05 ITU Rec H.2642003.07 ISO/IEC Final Draft IS (FDIS)2003.10 ISO/IEC IS (14496-10) AVC2003.12 夏

32、威夷 (Hawaii) 最后會(huì)議MPEG-4 Part 10 (Official MPEG Term)：ISO/IEC 14496-10 AVCH.264 (Official ITU Term)共七十六頁H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263H.263+H.263+ITU-T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standards19841986198819901992199419961998200020022004MPEG-1MPEG-4視頻(shpn)編碼標(biāo)準(zhǔn)：歷史JPEGJPEG2000

33、共七十六頁6.6.2 H.264/AVC的范圍(fnwi)和內(nèi)容為各種業(yè)務(wù)提供高質(zhì)量壓縮:IP 流媒體 (501500 kbps)SDTV 和 HDTV 廣播和視頻點(diǎn)播 (18+ Mbps)DVD可視業(yè)務(wù) (1 Mbps 低時(shí)延)標(biāo)準(zhǔn)定義：解碼器功能 (但沒有編碼器)文件和流結(jié)構(gòu)最后結(jié)果：和 MPEG-4 相比，壓縮效率提高(t go) 2 倍，計(jì)算復(fù)雜度增加 24 倍。Baseline 在一定數(shù)量下沒有特許權(quán)使用費(fèi)共七十六頁H.264編碼(bin m)系統(tǒng)結(jié)構(gòu)VCL實(shí)現(xiàn)視頻數(shù)據(jù)的編解碼；NAL定義數(shù)據(jù)封裝格式，為VCL提供與網(wǎng)絡(luò)(wnglu)無關(guān)的統(tǒng)一接口共七十六頁H.264 可進(jìn)行不同的性

34、能配置，基于 “profiles” & “l(fā)evels”：檔次（profile）：編碼算法或工具的集合。級(jí)（level）：對(duì)某些關(guān)鍵參數(shù)的限制（例如分辨率、碼率等）H.264 分為 4個(gè)檔次：Baseline、Main、Extended 和 High基本（Baseline）：最小實(shí)現(xiàn)，逐行掃描、I-frame、P-frame 和CAVLC，但沒有 CABAC、B-frame 和 SP-Slices，從視頻(shpn)會(huì)議、無線視頻(shpn)通信到數(shù)字影院，大多數(shù)應(yīng)用都是良好的。主（Main）：增加了隔行掃描、B-Slices 和 CABAC等，廣播應(yīng)用擴(kuò)展（Extended）：SP/SI幀，

35、幀數(shù)據(jù)分割，流媒體應(yīng)用高（High）：8*8 DCT 變換H.264/AVC 有 15 級(jí)：分辨率、容量、比特率、緩存器、參考幀數(shù)、解碼處理速度等圖像尺寸：QCIF 數(shù)字影院 D-Cinema匹配國(guó)際上通行的設(shè)備和發(fā)送格式。6.6.3 H.264/AVC的檔次(dn c)與級(jí)共七十六頁H.264 Baseline Profile (L2)I 和 P slice （沒有B slice）熵編碼 CAVLC（Context-based Adaptive VLC，基于上下文的自適應(yīng)變字長(zhǎng)(z chn)碼）去塊效應(yīng)環(huán)路濾波器逐行掃描 像素運(yùn)動(dòng)估計(jì)和補(bǔ)償增強(qiáng)誤碼適應(yīng)性支持 ASO （Arbitrary s

36、lice ordering，ASO）支持 FMO（Flexible macroblock ordering ，F(xiàn)MO）支持冗余片（Redundant slices）應(yīng)用：IP 視頻、視頻會(huì)議等共七十六頁支持所有的 Baseline Profile 算法，除了不支持 Baseline Profile 中增強(qiáng)的誤碼適應(yīng)性不包括 Arbitrary slice order (ASO)不支持 Flexible macroblock ordering (FMO) 不支持冗余片 Redundant slicesI、P 、B slice typesCABAC 和 CAVLC 熵編碼隔行掃描 和逐行掃描MB

37、級(jí)幀/場(chǎng)切換B 和 P 幀加權(quán)預(yù)測(cè)(yc)1/4 像素運(yùn)動(dòng)估計(jì)和補(bǔ)償應(yīng)用: 電視廣播H.264 Main Profile 共七十六頁Extended Profile 所有的 Baseline profile 算法或工具B slice加權(quán)預(yù)測(cè)(yc)SP/SI 切換幀更多的誤碼可靠: 數(shù)據(jù)分割（Data partitioning）H.264 Extended Profile 共七十六頁仍然采用先前標(biāo)準(zhǔn)中的 MCDCT 混合編碼算法，相同的部分包括：1616 宏塊傳統(tǒng)的亮度和色度采樣格式 4:2:0 塊運(yùn)動(dòng)位移或矢量運(yùn)動(dòng)矢量越過圖像邊界的算法塊大小可變的運(yùn)動(dòng)補(bǔ)償塊變換（沒有采用小波或分形 wave

38、lets or fractals)標(biāo)量量化I、P 和 B 幀圖像類型(lixng)變字長(zhǎng)編碼 Variable-length codingH.264 與其它標(biāo)準(zhǔn)相同(xin tn)的技術(shù)共七十六頁5.6.4 H.264/AVC新技術(shù)(jsh)多模式、多參考幀運(yùn)動(dòng)補(bǔ)償 1/4pixel 運(yùn)動(dòng)矢量精度多模式幀內(nèi)預(yù)測(cè)(yc)（I 幀空域預(yù)測(cè)）去方塊效應(yīng)環(huán)路濾波器44 整數(shù)變換熵編碼采用CAVLC 或 CABACSP-slices網(wǎng)絡(luò)適應(yīng)層 NAL (Network Abstraction Layer)共七十六頁H.264/AVC 小結(jié)(xioji)視頻編碼基于混合視頻編碼方案，原理上與其它標(biāo)準(zhǔn)類似，但有重要差別。新的關(guān)鍵技術(shù)特征：增強(qiáng)的運(yùn)動(dòng)補(bǔ)償小尺寸的整數(shù)變換增強(qiáng)的熵編碼 CAVLC 和 CABAC其它：增強(qiáng)的去塊效應(yīng)濾波器等和其它標(biāo)準(zhǔn)相比，在相同質(zhì)