多媒體技術(shù)基礎(chǔ)第3版MPEG視像ppt課件

.,1,多媒體技術(shù)基礎(chǔ)(第3版)第12章MPEG視像,張奇復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院qz2011年5月,2020/5/12,.12章MPEG視像,2,第12章MPEG視像目錄,12.1視像數(shù)據(jù)的冗余12.2視像數(shù)據(jù)的速率12.2.1BT.601視像數(shù)據(jù)速率12.2.2VCD視像的壓縮比12.2.3DVD視像的壓縮比12.3MPEG-1視像12.3.1視像數(shù)據(jù)的壓縮算法12.3.2幀內(nèi)圖像I的壓縮編碼算法12.3.3預(yù)測(cè)圖像P的壓縮編碼算法12.3.4雙向預(yù)測(cè)圖像B的壓縮編碼算法12.3.5幀圖像的編排順序12.3.6視像數(shù)據(jù)流的結(jié)構(gòu),12.4MPEG-2視像12.4.1視像編碼器和解碼器12.4.2視像數(shù)據(jù)位流的結(jié)構(gòu)12.4.3視像質(zhì)量可變編碼12.5MPEG-4Visual視像12.5.1MPEG-4Visual簡(jiǎn)介12.5.2視像對(duì)象的編碼與解碼概要12.5.3可視對(duì)象的層次結(jié)構(gòu),2020/5/12,.12章MPEG視像,3,第12章MPEG視像,MPEG視像MPEG視像是指使用MPEG視像標(biāo)準(zhǔn)壓縮和解壓縮的電視圖像現(xiàn)有的MPEG視像標(biāo)準(zhǔn)包括MPEG-1Video，MPEG-2Video，MPEG-4Visual和MPEG-4AVC/H.264。這些視像標(biāo)準(zhǔn)有許多共同之處，基本概念類似，數(shù)據(jù)壓縮和編碼方法基本相同，它們的核心技術(shù)都是采用以圖像塊作為基本單元的變換、量化、移動(dòng)補(bǔ)償、熵編碼等技術(shù)，在保證圖像質(zhì)量的前提下獲得盡可能高的壓縮比本章將介紹MPEG視像標(biāo)準(zhǔn)1壓縮視像數(shù)據(jù)的基本原理和方法，對(duì)最近幾年開發(fā)的MPEG-4AVC/H.264標(biāo)準(zhǔn)將在第13章中作較詳細(xì)的介紹,2020/5/12,.12章MPEG視像,4,12.1視像數(shù)據(jù)的冗余,視像數(shù)據(jù)存在的冗余時(shí)間冗余(temporalredundancy)與時(shí)間相關(guān)的冗余：在某個(gè)時(shí)間間隔上出現(xiàn)場(chǎng)景相同或基本相同的連續(xù)幀時(shí)，幀與幀之間存在大量的冗余數(shù)據(jù)空間冗余(spatialredundancy)與空間位置有關(guān)的冗余：在單幀圖像中，相鄰像素的值常有相同或變化不大的情況，可用較少數(shù)據(jù)表達(dá)結(jié)構(gòu)冗余(structuralredundancy)圖像自身構(gòu)造的冗余：若從宏觀上來(lái)看一幀圖像，有些圖像存在相同或類似的結(jié)構(gòu)，如用地板圖案構(gòu)成的圖像視覺(jué)冗余(visionredundancy)與視覺(jué)系統(tǒng)有關(guān)的冗余：對(duì)圖像的亮度變化敏感而對(duì)顏色變化不敏感，對(duì)劇烈變化區(qū)域敏感而對(duì)緩慢變化區(qū)域不敏感，對(duì)圖像的亮度和顏色的分辨率都存在極限,2020/5/12,.12章MPEG視像,5,12.1視像數(shù)據(jù)的冗余(續(xù)),知識(shí)冗余(knowledgeredundancy)與知識(shí)有關(guān)的冗余：在單幀圖像中含有為人熟知的知識(shí)，稱為先驗(yàn)知識(shí)。例如，正面人頭像有相對(duì)固定的結(jié)構(gòu)，眼睛下方是鼻子，鼻子下方是嘴，嘴和鼻子均位于臉的中線上。這類規(guī)律性的結(jié)構(gòu)往往不會(huì)改變或變化不大，而用傳統(tǒng)方式錄制的視像數(shù)據(jù)中存在許多重復(fù)的數(shù)據(jù)知識(shí)是某個(gè)感興趣領(lǐng)域中的實(shí)事、概念和關(guān)系(6)數(shù)據(jù)冗余(dataredundancy)數(shù)據(jù)本身的冗余：視像數(shù)據(jù)本身存的冗余,2020/5/12,.12章MPEG視像,6,12.2視像數(shù)據(jù)的速率,12.2.1BT.601視像數(shù)據(jù)速率使用4:2:2采樣格式，亮度信號(hào)Y的采樣頻率為13.5MHz，色差信號(hào)Cr和Cb的采樣頻率為6.75MHz，每個(gè)樣本的精度為10位，視像數(shù)據(jù)速率為(1)亮度(Y)858樣本/行525行/幀30幀/秒10位/樣本135兆位/秒(NTSC)864樣本/行625行/幀25幀/秒10位/樣本135兆位/秒(PAL)(2)Cr(R-Y)429樣本/行525行/幀30幀/秒10位/樣本68兆位/秒(NTSC)432樣本/行625行/幀25幀/秒10位/樣本68兆位/秒(PAL)(3)Cb(B-Y)429樣本/行525行/幀30幀/秒10位/樣本68兆位/秒(NTSC)432樣本/行625行/幀25幀/秒10位/樣本68兆位/秒(PAL)總計(jì)：27兆樣本/秒10位/樣本=270兆位/秒,2020/5/12,.12章MPEG視像,7,12.2視像數(shù)據(jù)的速率(續(xù)1),實(shí)際上，在熒光屏上實(shí)際顯示的有效圖像的數(shù)據(jù)傳輸率并沒(méi)有那么高，其中，(1)亮度(Y)720樣本/行480行/幀30幀/秒10位/樣本104兆位/秒(NTSC)720樣本/行576行/幀25幀/秒10位/樣本104兆位/秒(PAL)(2)色差(Cr，Cb)2360樣本/行480行/幀30幀/秒10位/樣本104兆位/秒(NTSC)2360樣本/行576行/幀25幀/秒10位/樣本104兆位/秒(PAL)總計(jì)：207兆位/秒(Mb/s)如果每個(gè)樣本的采樣精度由10位降為8位，彩色數(shù)字電視信號(hào)的數(shù)據(jù)傳輸率就降為166Mb/s,2020/5/12,.12章MPEG視像,8,12.2視像數(shù)據(jù)的速率(續(xù)2),12.2.2VCD視像的壓縮比壓縮比的概念壓縮比是數(shù)據(jù)壓縮程度的一種度量方法，其值等于壓縮前的數(shù)據(jù)大小與壓縮后的數(shù)據(jù)大小之比。例如，把一幅原來(lái)為1MB的圖像壓縮成128KB，其壓縮比就是10241024/1281024=81。VCD盤要求的壓縮比使用Video-CD存儲(chǔ)器早期的數(shù)據(jù)傳輸率為1.4112Mb/s，分配給電視信號(hào)的數(shù)據(jù)傳輸率為1.15Mb/s，這就意味著MPEG視像編碼器輸出的數(shù)據(jù)速率要達(dá)到1.15Mb/s如果存儲(chǔ)166Mb/s的數(shù)字電視信號(hào)就需要對(duì)它進(jìn)行高度壓縮，壓縮比高達(dá)166/1.15144:1。,2020/5/12,.12章MPEG視像,9,12.2視像數(shù)據(jù)的速率(續(xù)3),NTSC和PAL的數(shù)據(jù)傳輸率MPEG-1視像壓縮技術(shù)不能達(dá)到這樣高的壓縮比。為此首先把NTSC和PAL數(shù)字電視轉(zhuǎn)換成公用中分辨率格式(CIF)的數(shù)字電視，子采樣使用4:2:0或4:1:1時(shí)，這種格式就相當(dāng)于家用錄像系統(tǒng)(VHS)的質(zhì)量，于是彩色數(shù)字電視的數(shù)據(jù)傳輸率就要減小到，3522403081.530Mb/s(NTSC)3522882581.530Mb/s(PAL)VCD視像的壓縮比把這種彩色數(shù)字電視信號(hào)存儲(chǔ)到CD盤上所需要的壓縮比為30/1.1526:1。這是MPEG-1技術(shù)能夠獲得的壓縮比,2020/5/12,.12章MPEG視像,10,12.2視像數(shù)據(jù)的速率(續(xù)4),12.2.3DVD視像的壓縮比DVD盤要求的壓縮比DVD-Video存儲(chǔ)器的數(shù)據(jù)傳輸率可達(dá)到10.08Mb/s以上，一張4.7GB的單面單層DVD盤要存放133分鐘的電視節(jié)目，按照視像數(shù)據(jù)的平均數(shù)據(jù)傳輸率為4.1Mb/s來(lái)計(jì)算，壓縮比就要求達(dá)到166/4.1040:1NTSC和PAL的數(shù)據(jù)傳輸率如果視像的子采樣使用4:2:0格式，每個(gè)樣本的精度為8位，視像數(shù)據(jù)傳輸率就減小到124Mb/s，即7204803081.5124Mb/s(NTSC)7205762581.5124Mb/s(PAL)DVD視像的壓縮比使用DVD-Video來(lái)存儲(chǔ)72048030或72057625的數(shù)字視像所需要的壓縮比為124/4.130:1,2020/5/12,.12章MPEG視像,11,12.3MPEG-1視像,12.3.1視像數(shù)據(jù)的壓縮算法MPEG-1視像(MPEG-1Video)456壓縮視像數(shù)據(jù)的基本方法可以歸納成兩個(gè)要點(diǎn)在空間方向上，采用與JPEG類似的算法來(lái)去掉空間冗余數(shù)據(jù)在時(shí)間方向上，采用移動(dòng)補(bǔ)償(motioncompensation)算法來(lái)去掉時(shí)間冗余數(shù)據(jù)MPEG專家組為此開發(fā)了兩項(xiàng)重要技術(shù)定義了視像數(shù)據(jù)的結(jié)構(gòu)定義了三種類型的圖像,2020/5/12,.12章MPEG視像,12,12.3MPEG-1視像(續(xù)1),視像數(shù)據(jù)結(jié)構(gòu)把視像片段看成由一系列靜態(tài)圖像(picture)組成的視像序列(sequence)把視像序列分成許多像組(groupofpicture，GOP)把像組中的每一幀圖像分成許多像片(slice)，每個(gè)像片由16行組成把像片分成16行16像素/行的宏塊(macroblock，MB)把宏塊分成若干個(gè)8行8像素/行的圖塊(block)，見圖12-1(a)使用子采樣格式為4:2:0時(shí)，一個(gè)宏塊由4個(gè)亮度(Y)圖塊和兩個(gè)色度圖塊(Cb和Cr)組成，見圖12-1(b),2020/5/12,.12章MPEG視像,13,12.3MPEG-1視像(續(xù)2),(a)視像數(shù)據(jù)的組織,(方框中的數(shù)字為圖塊編號(hào))(b)宏塊的結(jié)構(gòu)(4:2:0),圖12-1視像數(shù)據(jù)結(jié)構(gòu),2020/5/12,.12章MPEG視像,14,12.3MPEG-1視像(續(xù)3),三種類型的圖像(見圖12-2)MPEG專家組定義了三種類型的圖像，然后采用三種不同的算法分別對(duì)它們進(jìn)行壓縮幀內(nèi)圖像I(intra-picture)，簡(jiǎn)稱為I圖像或I幀(I-picture/I-frame)包含內(nèi)容完整的圖像，用于為其他幀圖像的編碼和解碼作參考，因此也稱為關(guān)鍵幀預(yù)測(cè)圖像P(predictedpicture)，簡(jiǎn)稱為P圖像或P幀(P-picture/P-frame)指以在它之前出現(xiàn)的幀內(nèi)圖像I作參考圖像的圖像，對(duì)預(yù)測(cè)圖像P進(jìn)行編碼就是對(duì)它們之間的差值進(jìn)行編碼,2020/5/12,.12章MPEG視像,15,12.3MPEG-1視像(續(xù)4),雙向預(yù)測(cè)圖像B(bidirectionally-predictivepicture)，也稱雙向插值圖像B(bidirectionally-interpolatedpicture)，簡(jiǎn)稱為B圖像或B幀(B-picture/B-frame)以在它之前和之后的幀圖像(I和P)作參考的圖像，對(duì)B進(jìn)行編碼就是對(duì)幀內(nèi)圖像I和預(yù)測(cè)圖像P的差值分別進(jìn)行編碼,圖12-2MPEG專家組定義的三種圖像,2020/5/12,.12章MPEG視像,16,12.3MPEG-1視像(續(xù)5),12.3.2幀內(nèi)圖像I的壓縮編碼算法不參照過(guò)去的幀和將來(lái)的幀，采用與JPEG類似的壓縮算法以減少空間的冗余數(shù)據(jù)，見圖12-3如果視像是用RGB空間表示的視像，則首先把它轉(zhuǎn)換成YCrCb空間表示的視像每個(gè)圖像平面分成88像素的圖塊，對(duì)每個(gè)圖塊進(jìn)行離散余弦變換(DCT)，變換后產(chǎn)生的交流分量系數(shù)經(jīng)過(guò)量化之后按照Z(yǔ)ig-zag的形狀排序。DCT得到的直流分量系數(shù)經(jīng)過(guò)量化之后用差分脈沖編碼(DPCM)，交流分量系數(shù)用行程長(zhǎng)度編碼RLE，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼,2020/5/12,.12章MPEG視像,17,12.3MPEG-1視像(續(xù)6),圖12-3幀內(nèi)圖像I的壓縮編碼算法框圖3,2020/5/12,.12章MPEG視像,18,12.3MPEG-1視像(續(xù)7),12.3.3預(yù)測(cè)圖像P的壓縮編碼算法(1)算法原理預(yù)測(cè)圖像P的編碼以宏塊(MB)為基本編碼單元，一個(gè)宏塊定義為像素的圖塊，一般取1616預(yù)測(cè)圖像P使用兩種類型的參數(shù)表示當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值宏塊的移動(dòng)矢量(motionvector,MV)，見圖12-4,圖12-4移動(dòng)矢量的概念,2020/5/12,.12章MPEG視像,19,12.3MPEG-1視像(續(xù)8),(2)求解差值的方法(見圖12-5)假設(shè)編碼宏塊MPI是參考宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)的像素值之差對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，然后使用4:1:1或4:2:0格式采樣。對(duì)采樣得到的Y，Cr和Cb分量值，仿照J(rèn)PEG壓縮算法對(duì)差值進(jìn)行編碼對(duì)計(jì)算出的移動(dòng)矢量進(jìn)行DCT變換和霍夫曼編碼(3)求解移動(dòng)矢量的方法在求兩個(gè)宏塊差值之前，需要找出預(yù)測(cè)編碼圖像中的編碼宏塊相對(duì)于參考圖像中的參考宏塊所移動(dòng)的距離和方向，即移動(dòng)矢量求解移動(dòng)矢量的方法見圖12-6,2020/5/12,.12章MPEG視像,20,12.3MPEG-1視像(續(xù)9),圖12-5預(yù)測(cè)圖像P的壓縮編碼算法框圖3,2020/5/12,.12章MPEG視像,21,12.3MPEG-1視像(續(xù)10),圖12-6移動(dòng)矢量的算法框圖,2020/5/12,.12章MPEG視像,22,12.3MPEG-1視像(續(xù)11),最佳匹配：編碼宏塊MPI(如f(x,y)是參考宏塊MRJ(如g(x,y)的最佳匹配是指這兩個(gè)宏塊之間的差值最小以絕對(duì)值(absolutedifference，AE)最小作為匹配判據(jù),有些學(xué)者提出了以均方誤差(mean-squareerror，MSE)最小作為匹配判據(jù),也有些學(xué)者提出以平均絕對(duì)幀差(meanoftheabsoluteframedifference，MAD)最小作為匹配判據(jù),其中，dx和dy分別是參考宏塊MRJ的移動(dòng)矢量d(dx,dy)在x和y方向上的移動(dòng)矢量,2020/5/12,.12章MPEG視像,23,12.3MPEG-1視像(續(xù)12),(4)搜索算法為減少搜索次數(shù)，現(xiàn)在已開發(fā)出許多簡(jiǎn)化算法用來(lái)尋找最佳宏塊，下面介紹其中三種二維對(duì)數(shù)搜索法(2D-logarithmicsearch)匹配判據(jù)：MSE為最小搜索策略：沿著最小失真方向搜索搜索方法：見圖12-7在搜索時(shí)，每移動(dòng)一次就檢查5個(gè)搜索點(diǎn)如果最小失真在中央或在邊界，就減少搜索點(diǎn)之間的距離在這個(gè)例子中，步驟1，2，5得到的近似移動(dòng)矢量d為(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移動(dòng)矢量為d(i+2，j-6),2020/5/12,.12章MPEG視像,24,12.3MPEG-1視像(續(xù)13),圖12-7二維對(duì)數(shù)搜索法,2020/5/12,.12章MPEG視像,25,12.3MPEG-1視像(續(xù)14),三步搜索法(three-stepsearch)這種搜索法與二維對(duì)數(shù)搜索法很接近在開始搜索時(shí)，搜索點(diǎn)離中心點(diǎn)(i，j)很遠(yuǎn)第一步，測(cè)試8個(gè)搜索點(diǎn)，見圖12-8。在這個(gè)例子中，點(diǎn)(i+3，j-3)作為第一個(gè)近似的移動(dòng)矢量d1第二步，搜索點(diǎn)偏離(i+3，j-3)較近，找到的點(diǎn)假定為(i+3，j-5)第三步給出了最后的移動(dòng)矢量為d(i+2，j-6)注：本例采用MAD作為匹配判據(jù),2020/5/12,.12章MPEG視像,26,12.3MPEG-1視像(續(xù)15),圖12-8三步搜索法,2020/5/12,.12章MPEG視像,27,12.3MPEG-1視像(續(xù)16),對(duì)偶搜索法(conjugatesearch)使用MAD作為匹配判據(jù)，搜索方法見圖12-9在第一次搜索時(shí)，通過(guò)計(jì)算點(diǎn)(i-1，j)、(i，j)和(i+1，j)處的MAD值來(lái)決定i方向上的最小失真如果計(jì)算結(jié)果表明點(diǎn)(i+1，j)處的MAD為最小，就計(jì)算點(diǎn)(i+2，j)處的MAD，并從(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值按這種方法一直進(jìn)行下去，直到在i方向上找到最小MAD值及其對(duì)應(yīng)的點(diǎn)在整個(gè)MPEG圖像壓縮過(guò)程中，尋找最佳匹配宏塊要占據(jù)相當(dāng)多的計(jì)算時(shí)間，匹配得越好，重構(gòu)的圖像質(zhì)量越高,2020/5/12,.12章MPEG視像,28,12.3MPEG-1視像(續(xù)17),圖12-9對(duì)偶搜索法,2020/5/12,.12章MPEG視像,29,12.3MPEG-1視像(續(xù)18),12.3.4雙向預(yù)測(cè)圖像B的壓縮編碼算法對(duì)在它前后幀的像素值之差進(jìn)行編碼，見圖12-10。具體計(jì)算方法與預(yù)測(cè)圖像P的算法類似雙向預(yù)測(cè)圖像B不傳播編碼誤差三種圖像壓縮性能比較幀內(nèi)圖像I、預(yù)測(cè)圖像P和雙向預(yù)測(cè)圖像B經(jīng)過(guò)壓縮后的大小見表12-2從表中可以看到，幀內(nèi)圖像I的數(shù)據(jù)量最大，而雙向預(yù)測(cè)幀圖像B的數(shù)據(jù)量最小,2020/5/12,.12章MPEG視像,30,12.3MPEG-1視像(續(xù)19),圖12-10雙向預(yù)測(cè)圖像B的壓縮編碼算法框圖3,2020/5/12,.12章MPEG視像,31,12.3MPEG-1視像(續(xù)20),12.3.5幀圖像的編排順序MPEG-1編碼器允許選擇幀內(nèi)圖像I出現(xiàn)的頻率和位置。通常的頻率為2Hz在兩幀圖像I之間或在圖像I和P之間選擇圖像B的數(shù)目圖像I、P和B的數(shù)目主要是根據(jù)節(jié)目的內(nèi)容來(lái)確定。例如對(duì)于快速運(yùn)動(dòng)的圖像，幀內(nèi)圖像I的頻率可以選擇高一些，雙向預(yù)測(cè)圖像B的數(shù)目可以選擇少一些對(duì)于慢速運(yùn)動(dòng)的圖像，幀內(nèi)圖像I的頻率可以低一些，而雙向預(yù)測(cè)圖像B的數(shù)目可以選擇多一些，這樣可保證視像的質(zhì)量。一個(gè)I、P和B的典型編排順序見圖12-11編碼參數(shù)：I的距離N=15，P的距離M=3在視像解碼時(shí)，因B需I和P做參考，故在解碼之前需重新組織幀圖像數(shù)據(jù)流的輸入順序，其方案見圖12-12,2020/5/12,.12章MPEG視像,32,12.3MPEG-1視像(續(xù)21),圖12-11MPEG幀圖像的編排示例,圖12-12MPEG幀圖像和視像流的順序,2020/5/12,.12章MPEG視像,33,12.3MPEG-1視像(續(xù)22),12.3.6視像數(shù)據(jù)流的結(jié)構(gòu)數(shù)據(jù)位流的組織關(guān)系到如何設(shè)計(jì)解碼器，如無(wú)統(tǒng)一規(guī)范，設(shè)計(jì)的解碼器就不能通用按層次結(jié)構(gòu)組織，一個(gè)視像序列(videosequence)分成6層，見圖12-13(1)序列層(sequence)(2)像組層(groupofpictures，GOP)(3)圖像層(picture)(4)像片層(slice)(5)宏塊層(macroblock，MB)(6)圖塊(block)層,2020/5/12,.12章MPEG視像,34,12.3MPEG-1視像(續(xù)23),圖12-13MPEG-1視像序列的結(jié)構(gòu),2020/5/12,.12章MPEG視像,35,12.4MPEG-2視像,MPEG-2視像MPEG-2視像標(biāo)準(zhǔn)7是MPEG-1視像標(biāo)準(zhǔn)的擴(kuò)展版本，在全面繼承MPEG-1視像數(shù)據(jù)壓縮算法基礎(chǔ)上，增添了許多新的語(yǔ)法結(jié)構(gòu)和算法，用于支持順序掃描和隔行掃描NTSC、PAL、SECAM和HDTV格式的視像視像的實(shí)時(shí)傳輸為適應(yīng)各種不同的應(yīng)用，MPEG-2視像標(biāo)準(zhǔn)定義了多種視像質(zhì)量可變的編碼方式,2020/5/12,.12章MPEG視像,36,12.4MPEG-2視像(續(xù)1),12.4.1視像編碼器和解碼器MPEG-2視像編碼器和解碼器的結(jié)構(gòu)框圖見圖12-14，原理上與MPEG-1的編碼和解碼結(jié)構(gòu)基本相同編碼系統(tǒng)見圖12-14(a)“ME(移動(dòng)估算器)”用于計(jì)算移動(dòng)矢量，找出最佳匹配宏塊“內(nèi)置解碼器”用于產(chǎn)生預(yù)測(cè)圖像，它的輸入包括移動(dòng)矢量、量化DCT系數(shù)和用于控制數(shù)據(jù)速率的量化參數(shù)控制信號(hào)輸入視像和預(yù)測(cè)圖像通過(guò)“(加法器)”產(chǎn)生預(yù)測(cè)誤差，經(jīng)過(guò)“DCT(余弦變換)”和“Q(量化)”之后送給“VLE(可變長(zhǎng)度編碼器)”，移動(dòng)矢量也送到“VLE”，它們?cè)凇癡LE”經(jīng)過(guò)編碼和復(fù)合之后送到傳輸媒體或存儲(chǔ)媒體“量化參數(shù)控制”信號(hào)可改變視像質(zhì)量和數(shù)據(jù)速率編碼系統(tǒng)見圖12-14(b),2020/5/12,.12章MPEG視像,37,12.4MPEG-2視像(續(xù)2),圖12-14MPEG-2編碼器與解碼器的結(jié)構(gòu)框圖8,2020/5/12,.12章MPEG視像,38,12.4MPEG-2視像(續(xù)3),圖12-14MPEG-2編碼器與解碼器的結(jié)構(gòu)框圖8,2020/5/12,.12章MPEG視像,39,12.4MPEG-2視像(續(xù)4),12.4.2視像數(shù)據(jù)位流的結(jié)構(gòu)結(jié)構(gòu)與MPEG-1視像數(shù)據(jù)位流的結(jié)構(gòu)類似以子采樣4:2:0為例的結(jié)構(gòu)見圖12-15一個(gè)視像序列分成G個(gè)視像組(GOP)每個(gè)組包含P幀圖像(picture)每幀圖像分成S條像片(slice)每條像片分成M個(gè)宏塊(macroblock)每個(gè)宏塊包括4個(gè)88的亮度(Y)圖塊和2個(gè)88的色度(Cb,Cr)圖塊,2020/5/12,.12章MPEG視像,40,12.4MPEG-2視像(續(xù)5),圖12-15MPEG-2視像數(shù)據(jù)位流結(jié)構(gòu)(子采樣為4:2:0),2020/5/12,.12章MPEG視像,41,12.4MPEG-2視像(續(xù)6),12.4.3視像質(zhì)量可變編碼優(yōu)點(diǎn)：可提供不同等級(jí)的視像服務(wù)質(zhì)量，以適應(yīng)不同應(yīng)用缺點(diǎn)：增加了編碼和解碼的復(fù)雜性，降低了壓縮效率視像可變編碼采用分層編碼技術(shù)(layeredcoding)，通常分成基層編碼(base-layercoding)或稱低層編碼(lower-levelcoding)：編碼、傳輸和解碼可單獨(dú)進(jìn)行增強(qiáng)層編碼(enhancement-layercoding)或稱高層編碼(upper-levelcoding)：編碼、傳輸和解碼要依賴基層或先前的增強(qiáng)層才能完成MPEG-2視像標(biāo)準(zhǔn)支持的可變編碼方式，主要包括信噪比可變(SNRScalability)編碼：針對(duì)需要多種視像質(zhì)量的應(yīng)用，使用增強(qiáng)層編碼提供比較高的信噪比空間分辨率可變(SpatialScalability)編碼：針對(duì)需要同時(shí)廣播多種空間分辨率視像的應(yīng)用，用增強(qiáng)層編碼提供比較高的空間分辨率時(shí)間分辨率可變(TemporalScalability)編碼：針對(duì)從遠(yuǎn)程通信到HDTV以及需要有立體感視像的應(yīng)用數(shù)據(jù)分割(DataPartitioning)編碼：針對(duì)有兩個(gè)信道傳輸視像數(shù)據(jù)位流的應(yīng)用，它將量化的DCT系數(shù)進(jìn)行分割，編碼后分別送到不同的信道混合可變(HybridScalability)編碼：組合以上三種增強(qiáng)層編碼中的任何兩種編碼，可獲得不同性能的視像,2020/5/12,.12章MPEG視像,42,12.5MPEG-4Visual視像,MPEG-4Visual是什么視像壓縮編碼技術(shù)，試圖提供的數(shù)據(jù)率為小于64kbps、64384kbps和0.3844Mbps標(biāo)準(zhǔn)號(hào)：ISO/IEC14496-2Part21999年發(fā)布的可視對(duì)象編碼標(biāo)準(zhǔn)；2004年發(fā)布了第3版應(yīng)用目標(biāo)自然對(duì)象編碼：自然對(duì)象編碼包括形狀編碼(shapecoding)、紋理編碼(texturecoding)、移動(dòng)編碼(motioncoding)和精靈編碼(spritecoding)合成對(duì)象編碼：合成對(duì)象編碼包括圖形編碼、人的面部活動(dòng)和身體動(dòng)作等的編碼合成-自然對(duì)象混合編碼(SNHC),2020/5/12,.12章MPEG視像,43,12.5MPEG-4Visual視像(續(xù)),涉及自然視像的類型SimpleProfile(主要用于移動(dòng)通信和因特網(wǎng)的簡(jiǎn)單型)AdvancedSimpleProfile(主要用于發(fā)行影視的高級(jí)簡(jiǎn)化型)MainProfile(主要用于影視廣播的主流型)CoreProfile(主要用于需要互動(dòng)服務(wù)的核心型)注：其中的高級(jí)簡(jiǎn)化型(ASP)是前幾年用得較多的視像類型編碼原理和方法在文獻(xiàn)10中做了詳細(xì)介紹執(zhí)行該標(biāo)準(zhǔn)并不太難，更困難的是MPEG-4Visual標(biāo)準(zhǔn)之外的技術(shù)，如如何從場(chǎng)景中抽出各種對(duì)象AVC/H.264標(biāo)準(zhǔn)受重視它的某些性能優(yōu)于MPEG-4Visual的自然視像編碼，因此最近幾年開發(fā)MPEG-4Visual編碼器的興趣已經(jīng)下降，但還沒(méi)有跡象表明MPEG-4Visual要終止,2020/5/12,.12章MPEG視像,44,第12章MPEG視像參考文獻(xiàn)和站點(diǎn),TheMPEGHomePage,/mpeg/，MPEGIndustryForum,/tutorials.phpABeginnersGuideforMPEG-2Standard,http:/www.fh-friedberg.de/fachbereiche/e2/telekom-labor/zinke/mk/mpeg2beg/beginnzi.htmISO/IEC.CD11172-2，CodingofMovingPicturesandAssociatedAudioForDigitalStorageMediaatuptoabout1.5Mb/s，12/6/1991DidierLeGall.MPEG:AVideoCompressionStandardforMultimediaApplications,CommunicationsoftheACM，Vol.34，No.4，Apr.1991CCITTRecommendation.H.261，VideoCodecforAudiovisualServiceatp64Kb/s,Aug.1990ISO/IEC13818-2,InformationTechnology-GenericCodingofMovingPicturesandAssociatedAudioInformation:Vide