MPEG-4標(biāo)準(zhǔn)詳解可做課堂授課用內(nèi)有詳細(xì)備注

1、數(shù)據(jù)壓縮數(shù)據(jù)壓縮MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)一一.MPEG介紹介紹1.1.MPEG是什么MPEG是Moving Picture Experts Group（動態(tài)圖像專家組）的簡稱。1.2.MPEG標(biāo)準(zhǔn)包括： MPEG-1：數(shù)字電視標(biāo)準(zhǔn)，1992年正式發(fā)布。 MPEG-2：數(shù)字電視標(biāo)準(zhǔn)。 MPEG-3：已于1992年7月合并到高清晰度電視(High-Definition TV，HDTV)工作組。 MPEG-4：多媒體應(yīng)用標(biāo)準(zhǔn)(1999年發(fā)布)。 MPEG-5：直至1998年9月還沒有見到定義。 MPEG-6：直至1998年9月還沒有見到定義。 MPEG-7：多媒體內(nèi)容描述接口標(biāo)準(zhǔn) MPEG-21：多媒體

2、集成框架二二.MPEG-4編碼技術(shù)編碼技術(shù)1.MPEG-4的基本結(jié)構(gòu) 標(biāo)準(zhǔn)號 說明 ISO/IEC 14496 - 1 MPEG-4的系統(tǒng)模塊 ISO/IEC 14496 - 2 MPEG-4的視頻模塊 ISO/IEC 14496 - 3 MPEG-4的音頻模塊音頻模塊 ISO/IEC 14496 - 4 MPEG-4的一致性模塊，定義了比特流和設(shè)備。ISO/IEC 14496 - 5 MPEG-4的參考軟件模塊ISO/IEC 14496 - 6 MPEG-4的多媒體傳輸集成框架模塊 2.MPEG-4的核心思想 MPEG-4代表了基于模型模型/對象對象的第二代視頻編碼技術(shù)，充分利用人眼的視頻特

3、性，抓住了圖像信息的本質(zhì)，從形狀，紋理，運(yùn)形狀，紋理，運(yùn)動動出發(fā)，支持基于視頻內(nèi)容的交互功能交互功能?；趯ο蟮亩ㄎ换趦?nèi)容的交互 2.1.深入理解基于對象的定位 2.1.1什么是VOVO1(文本)VO2(天線)VO3(手機(jī))VO4(背景)這些對象被標(biāo)記為視頻對象（VO,Video Object）一個MPEG-4視頻序列(VS)可能由一個或者幾個VO組成。 2.1.2.什么是VOP 某一特定時間點的視頻對象就是視頻對象平面（VOP,Video Object Plane）。采用的基于內(nèi)容的方法實現(xiàn)了對場景中時間對象的靈活解碼，表示和操作 每個VOP是一個單獨的視頻幀，而一系列的視頻幀就構(gòu)成了一個

4、VO。矩形VOP與VO任意形狀VOP與VO 2.2深入理解基于內(nèi)容的交互 MPEG-4標(biāo)準(zhǔn)中提供了一種“對象層”碼流來支持對原始場景進(jìn)行控制的功能。這個碼流被稱作視頻對象層（VOL,Video Object Layer）。 視覺對象序列（VS,Visual Object）：完整的MPEG-4場景，包含2D或3D的自然對象和計算生產(chǎn)的對象。即視頻片段。 VS(Visual Object),VO(Video Object),VOL,(Video Object Layer)，VOP(Video Object Plane)的關(guān)系。MPEG-4視頻對象描述場景分層視頻對象描述場景分層VS1VSn視頻序列

5、VO1VOnVOL1VOLnGOV1GOVnVOP1VOPnVOP2VOPn視頻對象視頻對象層視頻對象平面層組視頻對象平面 一個完整的視頻序列通常由幾個視頻段（Video Session,VS）構(gòu)成，每個VS由一個或多個VO組成，每個VO又由一個或多個視頻對象層（Video Object Layer, VOL）構(gòu)成，每個VOL代表一個層次，即基本層或增強(qiáng)層，每個層表示某一種分辨率某一種分辨率。在每個層中，都有時間上連續(xù)的一系列VOP。原始解碼視頻場景根據(jù)用戶偏好解碼的視頻場景3.MPEG-4的主要特點(1).對不同的對象可采用不同的編碼算法,從而可能進(jìn)一步提高壓縮效率。(2).各個對象相對獨立

6、，提高了多媒體數(shù)據(jù)的可重用性。(3).允許用戶對單個的對象進(jìn)行操作，提供了前所未有的交互性。(4).允許在不同的對象之間靈活分配碼率.(5).可以很方便地集成自然的與合成的視頻音頻對象. 4.MPEG-4終端體系結(jié)構(gòu)模型終端體系結(jié)構(gòu)模型壓縮層同步層傳輸層基本流接口ESIDMIF接口DAIISO/IEC 1449 -61SystemISO/IEC 1449-62ISO/IEC 1449-63Visual&AudioISO/IEC 1449-66 DMIF產(chǎn)生基本碼流(ES)并劃分訪問單元AU。封裝媒體數(shù)據(jù)，控制數(shù)據(jù)的ES流定義傳輸接口，信道建立和斷開信號壓縮層產(chǎn)生基本碼流ES同步層SL打

7、包流被分組打包 5.MPEG-4關(guān)鍵技術(shù)關(guān)鍵技術(shù) 5.1.視頻對象提取技術(shù) 5.2.VOP視頻編碼技術(shù)視頻編碼技術(shù) 5.3.視頻編碼可分級技術(shù) 5.4.Sprite視頻編碼技術(shù) 5.1視頻對象提取技術(shù) 三種VOP分割形式 a).基于紋理的分割：主要是應(yīng)用模式識別的技術(shù)來聚類 b).基于運(yùn)動的分割: 將具有同一運(yùn)動參數(shù)模型的區(qū)域聚類 c).紋理和運(yùn)動結(jié)合的分割:在運(yùn)行一致性表現(xiàn)得非常明顯的區(qū)域用運(yùn)動分割，在一些細(xì)節(jié)或運(yùn)動復(fù)雜區(qū)域仍采用紋理分割。分水嶺算法分水嶺算法VOP分割 5.2.VOP視頻編碼技術(shù)(1).MPEG-4以VO的概念來實現(xiàn)基于內(nèi)容的表示。(2).MPEG-4的編碼和解碼都是針對V

8、OP進(jìn)行的。(3).每個VO由三類信息來描述：運(yùn)動信息，形狀信息，紋理信息運(yùn)動信息，形狀信息，紋理信息。紋理歸根結(jié)底是色彩(4).視頻編碼器包括形狀編碼（對于任意形狀）、運(yùn)動信息編碼和紋理編碼。DCTQ紋理編碼視頻復(fù)合器位流輸出IQIDCTFB預(yù)測2預(yù)測3預(yù)測開關(guān)運(yùn)動估計形狀編碼預(yù)測1VOP輸入+-方式1預(yù)測是指標(biāo)準(zhǔn)8x8 或 16x16 塊的運(yùn)動估計方式2預(yù)測是指全局運(yùn)動補(bǔ)償;方式3預(yù)測是指基于動態(tài)sprites的全局運(yùn)動補(bǔ)償。傳送的順序依次為形狀信息、運(yùn)動信息和紋理信息傳送的順序依次為形狀信息、運(yùn)動信息和紋理信息MPEG-4中VOP簡化編碼框圖 5.2.2.VOP編碼運(yùn)動編碼 (1).運(yùn)動

9、估計的方法前向和后向的運(yùn)動估計二維對數(shù)搜索法三步搜索法 運(yùn)動矢量空間預(yù)測方式塊尺寸相同的當(dāng)前塊和鄰近塊塊尺寸不同的當(dāng)前塊和鄰近塊 運(yùn)動矢量在時間域的預(yù)測方式 （a）前幀對應(yīng)塊運(yùn)動矢量預(yù)測什么是時域相關(guān)性？ （b）時間域的鄰近參考幀運(yùn)動矢量預(yù)測(2).MPEG-4采用運(yùn)動預(yù)測和運(yùn)動補(bǔ)償技術(shù)來去除圖像信息中的時間冗余成分。(3).VOP的編碼有3種模式，即幀內(nèi)編碼模式（I-VOP）、幀間預(yù) 測編碼模式（P-VOP）、幀間雙向預(yù)測編碼模式（B-VOP）。 I幀是預(yù)測基準(zhǔn)的獨立幀，與其他VOP分開編碼P幀可以基于前一個解碼后的I幀進(jìn)行預(yù)測（利用運(yùn)動補(bǔ)償）B幀可以用過去和未來的VOP進(jìn)行預(yù)測，B-VOP

10、只能基于I-VOP,P-VOP進(jìn)行插值只有對只有對P-VOP和和B-VOP編碼時才需要運(yùn)動估計編碼時才需要運(yùn)動估計 (4).VOP序列的運(yùn)動和紋理編碼都是基于塊進(jìn)行的。(5).典型的塊定義是一個8x8像素的矩形陣列。(6).6個8x8像素塊（4Y2C）組成一個宏塊（MB，Macro Block）。(7).宏塊作為一個獨立的編碼單元。 (5).運(yùn)動預(yù)測編碼總結(jié) a）時間冗余度的壓縮&差分編碼 b）運(yùn)動預(yù)測編碼 時間冗余度表現(xiàn)在視頻畫面中相繼各幀對應(yīng)像素點的值往往相近或相同，具有時間相關(guān)性。在知道了一個像素點的值后，利用此像素點的值以及其與后一像素點的差值就可求出后一像素點的值 對于當(dāng)前幀

11、中的一塊圖像，在一個參考幀中搜索與本塊圖像數(shù)據(jù)最接近的塊，計算出兩個塊位置差值，即運(yùn)動矢量運(yùn)動矢量，然后將這兩個塊的像素數(shù)據(jù)差值像素數(shù)據(jù)差值與運(yùn)動矢量運(yùn)動矢量傳送給接收端。接收端根據(jù)運(yùn)動矢量及差值恢復(fù)出原圖像。 5.2.3.VOP編碼紋理編碼 (1).紋理信息有兩種：內(nèi)部編碼的I-VOP的像素值； 幀間編碼的P-VOP、B-VOP的運(yùn)動估計殘差值。 (2).仍然采用基于分塊的紋理編碼。VOP邊框仍被分成16X16的宏塊。 (3).紋理編碼的三種情況： a),VOP外、邊框內(nèi)的塊，不編碼； b),VOP內(nèi)的塊，采用經(jīng)典的DCT方法； c),部分在VOP內(nèi)，部分在VOP外的塊采用圖像填充技術(shù)來獲取

12、VOP外的像素值，之后進(jìn)行DCT編碼。塊的判定 DCT量化系數(shù)掃描系數(shù)預(yù)測VLCVOP紋理編碼過程對當(dāng)前幀的DC系數(shù)進(jìn)行預(yù)測和編碼時，以前一幀的DC值為參考把圖像由像素域轉(zhuǎn)換到頻率域Zig-Zag方式掃描 5.2.4.VOP編碼形狀編碼(1).對VOP編碼就是針對某一時刻該幀畫面VO的形狀、運(yùn)動、紋理等信息進(jìn)行編碼。(2).VOP形狀編碼有兩類：二值形狀信息灰度形狀信息 二值形狀編碼 1).二進(jìn)制alpha平面用于定義在給定時刻哪些像素屬于VO，VOP的形狀信息通常與一個與VOP相同尺寸的矩陣來表示。 2).在編碼之前，二進(jìn)制alpha平面被分割成若干個16x16像素大小的二進(jìn)制alpha塊（

13、BAB）。基于上下文的算術(shù)編碼1）.二值化。2）.選擇上下文模型3）.算術(shù)編碼 灰度級形狀編碼 灰度級形狀編碼中與每個像素對應(yīng)的數(shù)值，可以是0到255之間的任意整數(shù)，分別代表不同的透明度（0表示完全透明，而255表示完全不透明）。灰度級信息的編碼由兩部分組成，對具體的數(shù)值采用和紋理信息相似的編碼過程，同時結(jié)合二值形狀編碼表示VO的形狀。 5.3視頻編碼可分級技術(shù) (1).可分級性： 指編碼器的輸出數(shù)據(jù)流中包含一個基本層以及一個或多個增強(qiáng)層，可同時滿足各種不同的應(yīng)用要求?；緦樱禾峁┮曨l序列的基本信息，提供最低的圖像質(zhì)量。增強(qiáng)層：提供了視頻序列更高的分辨率和細(xì)節(jié)。 (2).分級技術(shù)：時域分級；空

14、域分級每一種分級編碼都至少有兩層VOL，低層稱為基本層，高層稱為增強(qiáng)層?；緦涌梢詥为殏鬏敽徒獯a，增強(qiáng)層必須與基本層一起傳輸和解碼?？臻g時間分辨率金字塔結(jié)構(gòu)單一增強(qiáng)層的空間可擴(kuò)展編碼器基本層VOL同時采用幀內(nèi)和幀間編碼，增強(qiáng)層只采用預(yù)測編碼 5.4.Sprite視頻編碼技術(shù)介紹 (1). 一個sprite是由一個視頻序列中屬于同一個視頻對象的所有像素所有像素構(gòu)成的，是由各部分經(jīng)拼接而成的一幅圖像，它是MPEG-4提出的重要的概念之一.一個Sprite實例 (2).實現(xiàn)Sprite編碼必須的前提條件 a).前景對象和背景對象要很好的分割開； b).能夠無痕跡的從一段視頻或圖像中拼接出Sprite圖像。三三.MPEG-4解碼技術(shù)解碼技術(shù) (1).MPEG-4壓縮視頻的碼流結(jié)構(gòu)碼流頭按幀組織的數(shù)據(jù)流幀頭按宏塊組織的幀數(shù)據(jù)宏塊頭按塊形式組織的幀數(shù)據(jù) 碼流頭是一個在碼流中其它地方不會出現(xiàn)的一個比較長的特殊序列，又叫起始碼字 (2).MPEG-4解碼基本流程定義解碼器的各種數(shù)據(jù)結(jié)構(gòu)，設(shè)置相應(yīng)的各種默認(rèn)參數(shù)。如何讀出編碼類型？ (3).MPEG-4碼流格式簡單分析 F5 09 00 00 01 20 08 86 84 00 3F 18 58 21 20 A3 1F 00 00 01 B2 58 76 69 44 30 30 36 32 00 00 01 B000 00 01 B600 00 0