ch10_MPEG視像

1、多媒體技術(shù)基礎(chǔ)多媒體技術(shù)基礎(chǔ)( (第第3 3版版) )第第10章章 MPEG視像視像 第10章 MPEG視像2/46第第10章章 MPEG視像目錄視像目錄 10.1 視像數(shù)據(jù)的冗余視像數(shù)據(jù)的冗余10.2 視像數(shù)據(jù)的速率視像數(shù)據(jù)的速率10.2.1 BT.601視像數(shù)據(jù)速率10.2.2 VCD視像的壓縮比10.2.3 DVD視像的壓縮比10.3 MPEG-1視像視像10.3.1 視像數(shù)據(jù)的壓縮算法10.3.2 幀內(nèi)圖像I的壓縮編碼算法10.3.3 預(yù)測(cè)圖像P的壓縮編碼算法10.3.4 雙向預(yù)測(cè)圖像B的壓縮編碼算法10.3.5 幀圖像的編排順序10.3.6 視像數(shù)據(jù)流的結(jié)構(gòu)10.4 MPEG-2視像

2、視像10.4.1 視像編碼器和解碼器10.4.2 視像數(shù)據(jù)位流的結(jié)構(gòu)10.4.3 視像質(zhì)量可變編碼10.5 MPEG-4 Visual視像視像10.5.1 MPEG-4 Visual簡(jiǎn)介10.5.2 視像對(duì)象的編碼與解碼概要10.5.3 可視對(duì)象的層次結(jié)構(gòu)第10章 MPEG視像3/46第第12章章 MPEG視像視像 MPEG視像視像MPEG視像是指使用MPEG視像標(biāo)準(zhǔn)壓縮和解壓縮的電視圖像現(xiàn)有的MPEG視像標(biāo)準(zhǔn)包括MPEG-1 Video，MPEG-2 Video，MPEG-4 Visual和MPEG-4 AVC / H.264。這些視像標(biāo)準(zhǔn)有許多共同之處，基本概念類似，數(shù)據(jù)壓縮和編碼方法基本

3、相同，它們的核心技術(shù)都是采用以圖像塊作為基本單元的變換、量化、移動(dòng)補(bǔ)償、熵編碼等技術(shù)，在保證圖像質(zhì)量的前提下獲得盡可能高的壓縮比本章將介紹MPEG視像標(biāo)準(zhǔn)1壓縮視像數(shù)據(jù)的基本原理和方法，對(duì)最近幾年開發(fā)的MPEG-4 AVC / H.264標(biāo)準(zhǔn)將在第13章中作較詳細(xì)的介紹 第10章 MPEG視像4/4610.1 視像數(shù)據(jù)的冗余視像數(shù)據(jù)的冗余n視像數(shù)據(jù)存在的冗余視像數(shù)據(jù)存在的冗余時(shí)間冗余(temporal redundancy) n與時(shí)間相關(guān)的冗余：在某個(gè)時(shí)間間隔上出現(xiàn)場(chǎng)景相同或基本相同的連續(xù)幀時(shí)，幀與幀之間存在大量的冗余數(shù)據(jù)空間冗余(spatial redundancy)n與空間位置有關(guān)的冗余：

4、在單幀圖像中，相鄰像素的值常有相同或變化不大的情況，可用較少數(shù)據(jù)表達(dá)結(jié)構(gòu)冗余(structural redundancy) n圖像自身構(gòu)造的冗余：若從宏觀上來看一幀圖像，有些圖像存在相同或類似的結(jié)構(gòu)，如用地板圖案構(gòu)成的圖像視覺冗余(vision redundancy)n與視覺系統(tǒng)有關(guān)的冗余：對(duì)圖像的亮度變化敏感而對(duì)顏色變化不敏感，對(duì)劇烈變化區(qū)域敏感而對(duì)緩慢變化區(qū)域不敏感，對(duì)圖像的亮度和顏色的分辨率都存在極限第10章 MPEG視像5/4610.1 視像數(shù)據(jù)的冗余視像數(shù)據(jù)的冗余(續(xù)續(xù))知識(shí)冗余(knowledge redundancy)n與知識(shí)有關(guān)的冗余：在單幀圖像中含有為人熟知的知識(shí)，稱為先驗(yàn)知

5、識(shí)。例如，正面人頭像有相對(duì)固定的結(jié)構(gòu)，眼睛下方是鼻子，鼻子下方是嘴，嘴和鼻子均位于臉的中線上。這類規(guī)律性的結(jié)構(gòu)往往不會(huì)改變或變化不大，而用傳統(tǒng)方式錄制的視像數(shù)據(jù)中存在許多重復(fù)的數(shù)據(jù)n知識(shí)是某個(gè)感興趣領(lǐng)域中的實(shí)事、概念和關(guān)系(6) 數(shù)據(jù)冗余(data redundancy)n數(shù)據(jù)本身的冗余：視像數(shù)據(jù)本身存的冗余第10章 MPEG視像6/4610.2 視像數(shù)據(jù)的速率視像數(shù)據(jù)的速率n10.2.1 BT.601視像數(shù)據(jù)速率視像數(shù)據(jù)速率使用4:2:2采樣格式，亮度信號(hào)Y的采樣頻率為13.5 MHz，色差信號(hào)Cr和Cb的采樣頻率為6.75 MHz，每個(gè)樣本的精度為10位，視像數(shù)據(jù)速率為(1) 亮度(Y)8

6、58樣本/行525行/幀30幀/秒10位/樣本135兆位/秒(NTSC)864樣本/行625行/幀25幀/秒10位/樣本135兆位/秒(PAL)(2) Cr (R-Y)429樣本/行525行/幀30幀/秒10位/樣本68兆位/秒(NTSC)432樣本/行625行/幀25幀/秒10位/樣本68兆位/秒(PAL)(3) Cb (B-Y)429樣本/行525行/幀30幀/秒10位/樣本68兆位/秒(NTSC)432樣本/行625行/幀25幀/秒10位/樣本68兆位/秒(PAL)總計(jì)：27兆樣本兆樣本/秒秒10位位/樣本樣本 = 270兆位兆位/秒秒第10章 MPEG視像7/4610.2 視像數(shù)據(jù)的速

7、率視像數(shù)據(jù)的速率(續(xù)續(xù)1)實(shí)際上，在熒光屏上實(shí)際顯示的有效圖像的數(shù)據(jù)傳輸率并沒有那么高，其中，(1) 亮度(Y)720樣本/行480行/幀30幀/秒10位/樣本 104兆位/秒(NTSC)720樣本/行576行/幀25幀/秒10位/樣本 104兆位/秒(PAL)(2) 色差(Cr，Cb)2360樣本/行480行/幀30幀/秒10位/樣本 104兆位/秒(NTSC)2360樣本/行576行/幀25幀/秒10位/樣本 104兆位/秒(PAL)總計(jì)： 207兆位兆位/秒秒(Mb/s)如果每個(gè)樣本的采樣精度由10位降為8位，彩色數(shù)字電視信號(hào)的數(shù)據(jù)傳輸率就降為166 Mb/s 第10章 MPEG視像8/

8、4610.2 視像數(shù)據(jù)的速率視像數(shù)據(jù)的速率(續(xù)續(xù)2)n10.2.2 VCD視像的壓縮比視像的壓縮比壓縮比的概念n壓縮比是數(shù)據(jù)壓縮程度的一種度量方法，其值等于壓縮前的數(shù)據(jù)大小與壓縮后的數(shù)據(jù)大小之比。例如，把一幅原來為1 MB的圖像壓縮成128 KB，其壓縮比就是10241024/1281024 = 8 1。VCD盤要求的壓縮比n使用Video-CD存儲(chǔ)器早期的數(shù)據(jù)傳輸率為1.4112 Mb/s，分配給電視信號(hào)的數(shù)據(jù)傳輸率為1.15 Mb/s，這就意味著MPEG視像編碼器輸出的數(shù)據(jù)速率要達(dá)到1.15 Mb/sn如果存儲(chǔ)166 Mb/s的數(shù)字電視信號(hào)就需要對(duì)它進(jìn)行高度壓縮，壓縮比高達(dá)166/1.15

9、 144:1。第10章 MPEG視像9/4610.2 視像數(shù)據(jù)的速率視像數(shù)據(jù)的速率(續(xù)續(xù)3)NTSC和PAL的數(shù)據(jù)傳輸率nMPEG-1視像壓縮技術(shù)不能達(dá)到這樣高的壓縮比。為此首先把NTSC和PAL數(shù)字電視轉(zhuǎn)換成公用中分辨率格式(CIF)的數(shù)字電視，子采樣使用4:2:0或4:1:1時(shí)，這種格式就相當(dāng)于家用錄像系統(tǒng)(VHS)的質(zhì)量，于是彩色數(shù)字電視的數(shù)據(jù)傳輸率就要減小到，u3522403081.5 30 Mb/s (NTSC)u3522882581.5 30 Mb/s (PAL)VCD視像的壓縮比n把這種彩色數(shù)字電視信號(hào)存儲(chǔ)到CD盤上所需要的壓縮比為30/1.15 26:1。這是MPEG-1技術(shù)能

10、夠獲得的壓縮比 第10章 MPEG視像10/4610.2 視像數(shù)據(jù)的速率視像數(shù)據(jù)的速率(續(xù)續(xù)4)n10.2.3 DVD視像的壓縮比視像的壓縮比DVD盤要求的壓縮比nDVD-Video存儲(chǔ)器的數(shù)據(jù)傳輸率可達(dá)到10.08 Mb/s以上，一張4.7 GB的單面單層DVD盤要存放133分鐘的電視節(jié)目，按照視像數(shù)據(jù)的平均數(shù)據(jù)傳輸率為4.1 Mb/s來計(jì)算，壓縮壓縮比就要求達(dá)到比就要求達(dá)到166/4.10 40:1NTSC和PAL的數(shù)據(jù)傳輸率n如果視像的子采樣使用4:2:0格式，每個(gè)樣本的精度為8位，視像數(shù)據(jù)傳輸率就減小到124 Mb/s，即u7204803081.5 124 Mb/s (NTSC)u72

11、05762581.5 124 Mb/s (PAL)DVD視像的壓縮比n使用DVD-Video來存儲(chǔ)72048030或72057625的數(shù)字視像所需要的壓縮比為壓縮比為124/4.1 30:1 第10章 MPEG視像11/4610.3 MPEG-1視像視像n10.3.1 視像數(shù)據(jù)的壓縮算法視像數(shù)據(jù)的壓縮算法MPEG-1視像(MPEG-1 Video)456壓縮視像數(shù)據(jù)的基本方法可以歸納成兩個(gè)要點(diǎn)n在空間方向上，采用與JPEG類似的算法來去掉空間冗余數(shù)據(jù)n在時(shí)間方向上，采用移動(dòng)補(bǔ)償(motion compensation)算法來去掉時(shí)間冗余數(shù)據(jù)MPEG專家組為此開發(fā)了兩項(xiàng)重要技術(shù)n定義了視像數(shù)據(jù)的

12、結(jié)構(gòu)n定義了三種類型的圖像第10章 MPEG視像12/4610.3 MPEG-1視像視像(續(xù)續(xù)1)視像數(shù)據(jù)結(jié)構(gòu)視像數(shù)據(jù)結(jié)構(gòu)n把視像片段看成由一系列靜態(tài)圖像(picture)組成的視像序列(sequence)n把視像序列分成許多像組(group of picture，GOP)n把像組中的每一幀圖像分成許多像片(slice)，每個(gè)像片由16行組成n把像片分成16行16像素/行的宏塊(macroblock，MB)n把宏塊分成若干個(gè)8行8像素/行的圖塊(block)，見圖12-1(a)n使用子采樣格式為4:2:0時(shí)，一個(gè)宏塊由 4個(gè)亮度(Y)圖塊和兩個(gè)色度圖塊(Cb和Cr)組成，見圖12-1(b) 第

13、10章 MPEG視像13/4610.3 MPEG-1視像視像(續(xù)續(xù)2)161616161616(彩色宏塊)012345YCbCr8888(a) 視像數(shù)據(jù)的組織(方框中的數(shù)字為圖塊編號(hào))(b) 宏塊的結(jié)構(gòu)(4:2:0)圖12-1 視像數(shù)據(jù)結(jié)構(gòu)第10章 MPEG視像14/4610.3 MPEG-1視像視像(續(xù)續(xù)3)三種類型的圖像三種類型的圖像(見圖12-2) MPEG專家組定義了三種類型的圖像，然后采用三種不同的算法分別對(duì)它們進(jìn)行壓縮n幀內(nèi)圖像幀內(nèi)圖像I (intra- picture)，簡(jiǎn)稱為I圖像或I幀(I-picture / I-frame)u包含內(nèi)容完整的圖像，用于為其他幀圖像的編碼和解碼

14、作參考，因此也稱為關(guān)鍵幀 n預(yù)測(cè)圖像預(yù)測(cè)圖像P (predicted picture)，簡(jiǎn)稱為P圖像或P幀(P-picture / P-frame)u指以在它之前出現(xiàn)的幀內(nèi)圖像I作參考圖像的圖像，對(duì)預(yù)測(cè)圖像P進(jìn)行編碼就是對(duì)它們之間的差值進(jìn)行編碼 第10章 MPEG視像15/4610.3 MPEG-1視像視像(續(xù)續(xù)4)n雙向預(yù)測(cè)圖像雙向預(yù)測(cè)圖像B (bidirectionally-predictive picture )，也稱雙向插值圖像B(bidirectionally-interpolated picture)，簡(jiǎn)稱為B圖像或B幀(B-picture/B-frame) u以在它之前和之后的幀

15、圖像(I和P)作參考的圖像，對(duì)B進(jìn)行編碼就是對(duì)幀內(nèi)圖像I和預(yù)測(cè)圖像P的差值分別進(jìn)行編碼 圖12-2 MPEG專家組定義的三種圖像第10章 MPEG視像16/4610.3 MPEG-1視像視像(續(xù)續(xù)5)n10.3.2 幀內(nèi)圖像幀內(nèi)圖像I的壓縮編碼算法的壓縮編碼算法不參照過去的幀和將來的幀，采用與JPEG類似的壓縮算法以減少空間的冗余數(shù)據(jù)，見圖12-3n如果視像是用RGB空間表示的視像，則首先把它轉(zhuǎn)換成YCrCb空間表示的視像n每個(gè)圖像平面分成88像素的圖塊，對(duì)每個(gè)圖塊進(jìn)行離散余弦變換(DCT)，變換后產(chǎn)生的交流分量系數(shù)經(jīng)過量化之后按照Zig-zag的形狀排序。DCT得到的直流分量系數(shù)經(jīng)過量化之后

16、用差分脈沖編碼(DPCM)，交流分量系數(shù)用行程長(zhǎng)度編碼RLE，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼 第10章 MPEG視像17/4610.3 MPEG-1視像視像(續(xù)續(xù)6)圖12-3 幀內(nèi)圖像I的壓縮編碼算法框圖3第10章 MPEG視像18/4610.3 MPEG-1視像視像(續(xù)續(xù)7)n10.3.3 預(yù)測(cè)圖像預(yù)測(cè)圖像P的壓縮編碼算法的壓縮編碼算法 (1) 算法原理算法原理n預(yù)測(cè)圖像P的編碼以宏塊(MB)為基本編碼單元，一個(gè)宏塊定義為像素的圖塊，一般取1616n預(yù)測(cè)圖像P使用兩種類型的參數(shù)表示u當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值u宏塊的移動(dòng)矢量(motion vecto

17、r, MV)，見圖12-4圖12-4 移動(dòng)矢量的概念第10章 MPEG視像19/4610.3 MPEG-1視像視像(續(xù)續(xù)8)(2)求解差值的方法求解差值的方法(見圖12-5)n假設(shè)編碼宏塊MPI是參考宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)的像素值之差n對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，然后使用4:1:1或4:2:0格式采樣。對(duì)采樣得到的Y，Cr和Cb分量值，仿照J(rèn)PEG壓縮算法對(duì)差值進(jìn)行編碼n對(duì)計(jì)算出的移動(dòng)矢量進(jìn)行DCT變換和霍夫曼編碼(3)求解移動(dòng)矢量的方法求解移動(dòng)矢量的方法n在求兩個(gè)宏塊差值之前，需要找出預(yù)測(cè)編碼圖像中的編碼宏塊相對(duì)于參考圖像中的參考宏塊所移動(dòng)的距離和方向，即

18、移動(dòng)矢量n求解移動(dòng)矢量的方法見圖12-6第10章 MPEG視像20/4610.3 MPEG-1視像視像(續(xù)續(xù)9)DCT+量化+RLE，最佳匹配移動(dòng)矢量求差值編碼圖像參考圖像6448RJMPIM霍夫曼編碼0100110YCrCb(,)xyd dd圖12-5 預(yù)測(cè)圖像P的壓縮編碼算法框圖3第10章 MPEG視像21/4610.3 MPEG-1視像視像(續(xù)續(xù)10)圖12-6 移動(dòng)矢量的算法框圖第10章 MPEG視像22/4610.3 MPEG-1視像視像(續(xù)續(xù)11)n最佳匹配：編碼宏塊MPI(如f(x, y)是參考宏塊MRJ(如g(x, y)的最佳匹配是指這兩個(gè)宏塊之間的差值最小u以絕對(duì)值(abso

19、lute difference，AE)最小作為匹配判據(jù)151500( , )(,) (16)xyijAEf i jg idjdij ，JI2221I J ( , )(,) (16)xyijMSEf i jg idjdij ，u有些學(xué)者提出了以均方誤差(mean-square error，MSE)最小作為匹配判據(jù)u也有些學(xué)者提出以平均絕對(duì)幀差(mean of the absolute frame difference，MAD)最小作為匹配判據(jù)JI221I J( , )(,) (16)xyijMADf i jg idjdij ，其中，dx和dy分別是參考宏塊MRJ的移動(dòng)矢量d(dx, dy) 在x

20、和y方向上的移動(dòng)矢量第10章 MPEG視像23/4610.3 MPEG-1視像視像(續(xù)續(xù)12) (4)搜索算法搜索算法n為減少搜索次數(shù)，現(xiàn)在已開發(fā)出許多簡(jiǎn)化算法用來尋找最佳宏塊，下面介紹其中三種n 二維對(duì)數(shù)搜索法(2D-logarithmic search) u匹配判據(jù)：MSE為最小u搜索策略：沿著最小失真方向搜索u搜索方法：見圖12-7 u在搜索時(shí)，每移動(dòng)一次就檢查5個(gè)搜索點(diǎn)n如果最小失真在中央或在邊界，就減少搜索點(diǎn)之間的距離u在這個(gè)例子中，步驟1，2，5得到的近似移動(dòng)矢量d為(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移動(dòng)矢量為d(

21、i+2，j-6) 第10章 MPEG視像24/4610.3 MPEG-1視像視像(續(xù)續(xù)13)圖12-7 二維對(duì)數(shù)搜索法第10章 MPEG視像25/4610.3 MPEG-1視像視像(續(xù)續(xù)14)n三步搜索法(three-step search)u這種搜索法與二維對(duì)數(shù)搜索法很接近u在開始搜索時(shí)，搜索點(diǎn)離中心點(diǎn)(i，j)很遠(yuǎn)u第一步，測(cè)試8個(gè)搜索點(diǎn)，見圖12-8。在這個(gè)例子中，點(diǎn)(i+3，j-3)作為第一個(gè)近似的移動(dòng)矢量d1u第二步，搜索點(diǎn)偏離(i+3，j-3)較近，找到的點(diǎn)假定為(i+3，j-5)u第三步給出了最后的移動(dòng)矢量為d(i+2，j-6)注：注：本例采用MAD作為匹配判據(jù) 第10章 MPE

22、G視像26/4610.3 MPEG-1視像視像(續(xù)續(xù)15)圖12-8 三步搜索法第10章 MPEG視像27/4610.3 MPEG-1視像視像(續(xù)續(xù)16)n對(duì)偶搜索法(conjugate search)u使用MAD作為匹配判據(jù)，搜索方法見圖12-9u在第一次搜索時(shí)，通過計(jì)算點(diǎn)(i-1，j)、(i，j)和(i+1，j)處的MAD值來決定i方向上的最小失真u如果計(jì)算結(jié)果表明點(diǎn)(i+1，j)處的MAD為最小，就計(jì)算點(diǎn)(i+2，j)處的MAD，并從(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值u按這種方法一直進(jìn)行下去，直到在i方向上找到最小MAD值及其對(duì)應(yīng)的點(diǎn)n在整個(gè)MPEG圖像壓縮過

23、程中，尋找最佳匹配宏塊要占據(jù)相當(dāng)多的計(jì)算時(shí)間，匹配得越好，重構(gòu)的圖像質(zhì)量越高 第10章 MPEG視像28/4610.3 MPEG-1視像視像(續(xù)續(xù)17)圖12-9 對(duì)偶搜索法第10章 MPEG視像29/4610.3 MPEG-1視像視像(續(xù)續(xù)18)n10.3.4 雙向預(yù)測(cè)圖像雙向預(yù)測(cè)圖像B的壓縮編碼算法的壓縮編碼算法對(duì)在它前后幀的像素值之差進(jìn)行編碼，見圖12-10。具體計(jì)算方法與預(yù)測(cè)圖像P的算法類似雙向預(yù)測(cè)圖像B不傳播編碼誤差n三種圖像壓縮性能比較三種圖像壓縮性能比較幀內(nèi)圖像I、預(yù)測(cè)圖像P和雙向預(yù)測(cè)圖像B經(jīng)過壓縮后的大小見表12-2從表中可以看到，幀內(nèi)圖像I的數(shù)據(jù)量最大，而雙向預(yù)測(cè)幀圖像B的數(shù)

24、據(jù)量最小 第10章 MPEG視像30/4610.3 MPEG-1視像視像(續(xù)續(xù)19)圖12-10 雙向預(yù)測(cè)圖像B的壓縮編碼算法框圖3第10章 MPEG視像31/4610.3 MPEG-1視像視像(續(xù)續(xù)20)n10.3.5 幀圖像的編排順序幀圖像的編排順序MPEG-1編碼器允許選擇n幀內(nèi)圖像I出現(xiàn)的頻率和位置。通常的頻率為2 Hzn在兩幀圖像I之間或在圖像I和P之間選擇圖像B的數(shù)目n圖像I、P和B的數(shù)目主要是根據(jù)節(jié)目的內(nèi)容來確定。例如u對(duì)于快速運(yùn)動(dòng)的圖像，幀內(nèi)圖像I的頻率可以選擇高一些，雙向預(yù)測(cè)圖像B的數(shù)目可以選擇少一些u對(duì)于慢速運(yùn)動(dòng)的圖像，幀內(nèi)圖像I的頻率可以低一些，而雙向預(yù)測(cè)圖像B的數(shù)目可以

25、選擇多一些，這樣可保證視像的質(zhì)量。一個(gè)I、P和B的典型編排順序見圖12-11n編碼參數(shù)：I的距離N=15，P的距離M=3n在視像解碼時(shí)，因B需I和P做參考，故在解碼之前需重新組織幀圖像數(shù)據(jù)流的輸入順序，其方案見圖12-12 第10章 MPEG視像32/4610.3 MPEG-1視像視像(續(xù)續(xù)21)圖12-11 MPEG幀圖像的編排示例圖12-12 MPEG幀圖像和視像流的順序第10章 MPEG視像33/4610.3 MPEG-1視像視像(續(xù)續(xù)22)n10.3.6 視像數(shù)據(jù)流的結(jié)構(gòu)視像數(shù)據(jù)流的結(jié)構(gòu)數(shù)據(jù)位流的組織關(guān)系到如何設(shè)計(jì)解碼器，如無統(tǒng)一規(guī)范，設(shè)計(jì)的解碼器就不能通用按層次結(jié)構(gòu)組織，一個(gè)視像序列

26、(video sequence)分成6層，見圖12-13(1) 序列層(sequence)(2) 像組層(group of pictures，GOP)(3) 圖像層(picture)(4) 像片層(slice)(5) 宏塊層(macroblock，MB)(6) 圖塊(block)層 第10章 MPEG視像34/4610.3 MPEG-1視像視像(續(xù)續(xù)23)圖12-13 MPEG-1視像序列的結(jié)構(gòu)第10章 MPEG視像35/4610.4 MPEG-2視像視像nMPEG-2視像視像MPEG-2視像標(biāo)準(zhǔn)7是MPEG-1視像標(biāo)準(zhǔn)的擴(kuò)展版本，在全面繼承MPEG-1視像數(shù)據(jù)壓縮算法基礎(chǔ)上，增添了許多新的語

27、法結(jié)構(gòu)和算法，用于支持n順序掃描和隔行掃描nNTSC、PAL、SECAM和HDTV格式的視像n視像的實(shí)時(shí)傳輸為適應(yīng)各種不同的應(yīng)用，MPEG-2視像標(biāo)準(zhǔn)定義了多種視像質(zhì)量可變的編碼方式 第10章 MPEG視像36/4610.4 MPEG-2視像視像(續(xù)續(xù)1)n10.4.1 視像編碼器和解碼器視像編碼器和解碼器MPEG-2視像編碼器和解碼器的結(jié)構(gòu)框圖見圖12-14，原理上與MPEG-1的編碼和解碼結(jié)構(gòu)基本相同編碼系統(tǒng)見圖12-14(a)n “ME(移動(dòng)估算器)”用于計(jì)算移動(dòng)矢量，找出最佳匹配宏塊n “內(nèi)置解碼器”用于產(chǎn)生預(yù)測(cè)圖像，它的輸入包括移動(dòng)矢量、量化DCT系數(shù)和用于控制數(shù)據(jù)速率的量化參數(shù)控制

28、信號(hào)n輸入視像和預(yù)測(cè)圖像通過“(加法器)”產(chǎn)生預(yù)測(cè)誤差，經(jīng)過“DCT(余弦變換)”和“Q(量化)”之后送給“VLE(可變長(zhǎng)度編碼器)”，移動(dòng)矢量也送到“VLE”，它們?cè)凇癡LE”經(jīng)過編碼和復(fù)合之后送到傳輸媒體或存儲(chǔ)媒體n“量化參數(shù)控制”信號(hào)可改變視像質(zhì)量和數(shù)據(jù)速率編碼系統(tǒng)見圖12-14(b) 第10章 MPEG視像37/4610.4 MPEG-2視像視像(續(xù)續(xù)2)圖12-14 MPEG-2編碼器與解碼器的結(jié)構(gòu)框圖8第10章 MPEG視像38/4610.4 MPEG-2視像視像(續(xù)續(xù)3)圖12-14 MPEG-2編碼器與解碼器的結(jié)構(gòu)框圖8第10章 MPEG視像39/4610.4 MPEG-2視像

29、視像(續(xù)續(xù)4)n10.4.2 視像數(shù)據(jù)位流的結(jié)構(gòu)視像數(shù)據(jù)位流的結(jié)構(gòu)結(jié)構(gòu)與MPEG-1視像數(shù)據(jù)位流的結(jié)構(gòu)類似以子采樣4:2:0為例的結(jié)構(gòu)見圖12-15n一個(gè)視像序列分成G個(gè)視像組(GOP)n每個(gè)組包含P幀圖像(picture)n每幀圖像分成S條像片(slice)n每條像片分成M個(gè)宏塊(macroblock)n每個(gè)宏塊包括4個(gè)88的亮度(Y)圖塊和2個(gè)88的色度(Cb, Cr)圖塊 第10章 MPEG視像40/4610.4 MPEG-2視像視像(續(xù)續(xù)5)開始代碼序列參數(shù)量化加權(quán)矩陣(任選)視像類型和等級(jí)圖像0 圖像1 圖像 1p 開始代碼圖像標(biāo)志像片0像片1像片1s 開始代碼像片地址量化數(shù)值宏塊0

30、宏塊1宏塊1m 宏塊地址方式量化數(shù)值(任選)移動(dòng)矢量碼塊模式88的量化DCT系數(shù)(VLC)序列層 (1)GOP層 (2)圖像層 (3)像片層 (4)宏塊層 (5)圖塊層 (6)Cr0 Y3Y2 Y1 YCb視像序列序列頭GOP0GOP2GOP1序列尾GOP1g 圖12-15 MPEG-2視像數(shù)據(jù)位流結(jié)構(gòu)(子采樣為4:2:0)第10章 MPEG視像41/4610.4 MPEG-2視像視像(續(xù)續(xù)6)n10.4.3 視像質(zhì)量可變編碼視像質(zhì)量可變編碼優(yōu)點(diǎn)：可提供不同等級(jí)的視像服務(wù)質(zhì)量，以適應(yīng)不同應(yīng)用缺點(diǎn)：增加了編碼和解碼的復(fù)雜性，降低了壓縮效率視像可變編碼采用分層編碼技術(shù)(layered coding

31、)，通常分成n基層編碼基層編碼(base-layer coding)或稱低層編碼(lower-level coding)：編碼、傳輸和解碼可單獨(dú)進(jìn)行n增強(qiáng)層編碼增強(qiáng)層編碼(enhancement-layer coding)或稱高層編碼(upper-level coding)：編碼、傳輸和解碼要依賴基層或先前的增強(qiáng)層才能完成MPEG-2視像標(biāo)準(zhǔn)支持的可變編碼方式，主要包括n信噪比可變信噪比可變(SNR Scalability)編碼：針對(duì)需要多種視像質(zhì)量的應(yīng)用，使用增強(qiáng)層編碼提供比較高的信噪比n空間分辨率可變空間分辨率可變(Spatial Scalability)編碼：針對(duì)需要同時(shí)廣播多種空間分辨

32、率視像的應(yīng)用，用增強(qiáng)層編碼提供比較高的空間分辨率n時(shí)間分辨率可變時(shí)間分辨率可變(Temporal Scalability)編碼：針對(duì)從遠(yuǎn)程通信到HDTV以及需要有立體感視像的應(yīng)用n數(shù)據(jù)分割數(shù)據(jù)分割(Data Partitioning)編碼：針對(duì)有兩個(gè)信道傳輸視像數(shù)據(jù)位流的應(yīng)用，它將量化的DCT系數(shù)進(jìn)行分割，編碼后分別送到不同的信道n混合可變混合可變(Hybrid Scalability)編碼：組合以上三種增強(qiáng)層編碼中的任何兩種編碼，可獲得不同性能的視像 第10章 MPEG視像42/4610.5 MPEG-4 Visual視像視像nMPEG-4 Visual是什么是什么視像壓縮編碼技術(shù)，試圖提供

33、的數(shù)據(jù)率為n小于64 kbps、64384 kbps和0.3844 Mbps標(biāo)準(zhǔn)號(hào)：ISO/IEC 14496-2 Part 2n1999年發(fā)布的可視對(duì)象編碼標(biāo)準(zhǔn)；n2004年發(fā)布了第3版應(yīng)用目標(biāo)n自然對(duì)象編碼：自然對(duì)象編碼包括形狀編碼(shape coding)、紋理編碼(texture coding)、移動(dòng)編碼(motion coding)和精靈編碼(sprite coding)n合成對(duì)象編碼：合成對(duì)象編碼包括圖形編碼、人的面部活動(dòng)和身體動(dòng)作等的編碼 n合成-自然對(duì)象混合編碼(SNHC)第10章 MPEG視像43/4610.5 MPEG-4 Visual視像視像(續(xù)續(xù))涉及自然視像的類型n

34、Simple Profile (主要用于移動(dòng)通信和因特網(wǎng)的簡(jiǎn)單型)nAdvanced Simple Profile (主要用于發(fā)行影視的高級(jí)簡(jiǎn)化型)nMain Profile (主要用于影視廣播的主流型)nCore Profile (主要用于需要互動(dòng)服務(wù)的核心型)注：其中的高級(jí)簡(jiǎn)化型(ASP)是前幾年用得較多的視像類型編碼原理和方法n在文獻(xiàn)10中做了詳細(xì)介紹n執(zhí)行該標(biāo)準(zhǔn)并不太難，更困難的是MPEG-4 Visual標(biāo)準(zhǔn)之外的技術(shù)，如如何從場(chǎng)景中抽出各種對(duì)象AVC/H.264標(biāo)準(zhǔn)受重視n它的某些性能優(yōu)于MPEG-4 Visual的自然視像編碼，因此最近幾年開發(fā)MPEG-4 Visual編碼器的興

35、趣已經(jīng)下降，但還沒有跡象表明MPEG-4 Visual要終止第10章 MPEG視像44/46第第12章章 MPEG視像參考文獻(xiàn)和站點(diǎn)視像參考文獻(xiàn)和站點(diǎn)1.The MPEG Home Page, /mpeg/，2.MPEG Industry Forum, /tutorials.php3.A Beginners Guide for MPEG-2 Standard, http:/www.fh-friedberg.de/fachbereiche/e2/telekom-labor/zinke/mk/mpeg2beg/

36、beginnzi.htm4.ISO/IEC. CD 11172-2，Coding of Moving Pictures and Associated Audio For Digital Storage Media at up to about 1.5 Mb/s，12/6/19915.Didier Le Gall. MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM，Vol.34，No.4，Apr.19916.CCITT Recommendation. H.261，Video Codec for Audiovisual Service at p64 Kb/s, Aug.19907.ISO/IEC 13818-2, Information Technology - Generic Coding of Moving Pictures and Associated Audio Information: Video, Recommendation ITU-T H.262 (1995 E)8.P.N. Tu