運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)MPEG課件

1、多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1 從MPEG1到MPEG7：MPEG標(biāo)準(zhǔn)簡(jiǎn)述10.2 MPEG的編碼與實(shí)現(xiàn)過(guò)程10.3 基于對(duì)象編碼技術(shù)的MPEG-410.4 基于內(nèi)容的信息存取與MPEG-710.5 H.261與H.263多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1.1 視頻壓縮技術(shù)歷史概述 視頻能夠壓縮的根本原因在于視頻數(shù)據(jù)具有較高的冗余度。壓縮就是指冗余的消除，主要基于兩種技術(shù)：統(tǒng)計(jì)學(xué)和心理 視覺。消除統(tǒng)計(jì)冗余的基本依據(jù)是視頻數(shù)字化過(guò)程在時(shí)間和 空間上采用了規(guī)則的采樣過(guò)程。視頻畫面數(shù)字化為規(guī)則的像 素陣列，其密集程度適于表征每點(diǎn)最高的空間頻率，而絕大 多數(shù)畫面幀包含非常少甚至不含這種最高頻率的細(xì)節(jié)。 多媒體

2、技術(shù)基礎(chǔ)與應(yīng)用10.1.2 MPEG-1 MPEG-1標(biāo)準(zhǔn) 1992年公布，其任務(wù)是在一種可接受的質(zhì)量下，把視頻和伴音信號(hào)壓縮到速率大約為1.5Mb/s或更高的單一的MPEG數(shù)據(jù)流。它可對(duì)SIF（標(biāo)準(zhǔn)交換格式）分辨率(NTSC制式為352240；PAL制式為352288)的圖像進(jìn)行壓縮，每秒播放30幀，具有CD音質(zhì)，圖像質(zhì)量基本與VHS家用錄像機(jī)相當(dāng)。 10.1.3 MPEG-2 它是一個(gè)直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。MPEG2所能提供的傳輸率在310Mbit/s之間，在NTSC制式下的分辨率可達(dá)720486，可提供廣播級(jí)的圖像質(zhì)量和CD級(jí)的音質(zhì)。MPEG-2主要針對(duì)高清晰

3、度電視(HDTV)所需要的視頻及伴音信號(hào)，與MPEG-1兼容。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1.4 MPEG-4 MPEG-4旨在為視音頻數(shù)據(jù)的通信、存取與管理提供一個(gè)靈活的框架與一套開放的編碼工具。這些工具將支持大量的應(yīng)用功能(新的和傳統(tǒng)的)。 10.1.5 MPEG-7 MPEG-7既不同于基于波形壓縮的表示方式如MPEG-1和MPEG-2,又不同于基于對(duì)象的表示方式如MPEG-4，而是將對(duì)各種不同類型的多媒體信息進(jìn)行標(biāo)準(zhǔn)化描述，并將該描述與所描述的內(nèi)容相聯(lián)系，以實(shí)現(xiàn)快速有效的搜索。MPEG-7的功能與其他MPEG標(biāo)準(zhǔn)互為補(bǔ)充。多媒體技術(shù)基礎(chǔ)與應(yīng)用 MPEG的數(shù)據(jù)分為MPEG視頻、MPEG音

4、頻和同步信號(hào)三個(gè)部分，視頻流包含畫面信息，音頻流包含伴音信息，所有播放MPEG圖像和伴音數(shù)據(jù)所需的時(shí)鐘信息都包含在同步信號(hào)流中。 圖10-1 MPEG的組成 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.1 MPEG編碼的基本思想 MPEG數(shù)字視頻編碼技術(shù)實(shí)質(zhì)上是一種統(tǒng)計(jì)方法。在時(shí)間和空間方向上，視頻序列通常包含統(tǒng)計(jì)冗余度。MPEG壓縮技術(shù)所依賴的基本統(tǒng)計(jì)特性為幀內(nèi)與幀間的相關(guān)性，這里包含這樣 一個(gè)設(shè)想：即在各連續(xù)幀之間存在簡(jiǎn)單的相關(guān)性平移運(yùn)動(dòng)。 圖10-2 連續(xù)視頻畫面之間通常存在著較大的相關(guān)性 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.2 MPEG的流結(jié)構(gòu) MPEG為更好地表示編碼數(shù)據(jù)，規(guī)定了一個(gè)分層的結(jié)構(gòu)，自上到下

5、分別是 ： MPEG流（MPEG stream） 圖像組（GOP，Group of Pictures） 圖像（Image） 宏塊（Macro block） 塊（Block）多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-3 MPEG流的分層結(jié)構(gòu) 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MPEG流（MPEG stream）包含音頻流和視頻流。視頻流是由圖像組（GOP）構(gòu)成的圖像序列，有表示開始的圖像序列頭和表示結(jié)束的圖像終止碼。 圖像組（GOP）是為方便隨機(jī)存取而加的，其結(jié)構(gòu)和長(zhǎng)度均可變。圖像組是隨機(jī)存取視頻單位。一個(gè)GOP由一串IBP幀組成，起始為I幀。GOP的長(zhǎng)度是一個(gè)I幀到下一個(gè)I 幀的間隔。 圖像(Image)是獨(dú)立的顯示單

6、位，也是基本編碼單位。 宏塊（Macro block）是進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)幕締挝?。由一個(gè)1616像素的亮度信息和兩個(gè)88像素的色度信息組成的塊稱為宏塊。 塊（Block）是由88像素組成的基本單位，是進(jìn)行DCT運(yùn)算的單位，塊可分為亮度塊或色度塊(圖10-4)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-4 塊可分為亮度塊或色度塊 圖10-5 宏塊是進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)幕締挝?多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.3 信號(hào)的采樣 在進(jìn)行視頻編碼前， R、G、B信號(hào)需變換為亮度信號(hào)Y和色差信號(hào)Cb、Cr的形式（圖10-6）。色差定義了顏色的兩個(gè)方面色調(diào)與飽和度，分別用Cr和Cb來(lái)表示。 圖10-6 在編碼前，RGB信號(hào)分解成

7、Y，Cr和Cb信號(hào)分量 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.4 MPEG圖像的類型 MPEG由三種類型的圖像組成（如下圖）： I圖（幀內(nèi)圖Intra Picture）是對(duì)整幅圖像采用JPEG編碼的圖像，它是一個(gè)獨(dú)立的幀，其信息由自身畫面決定，不需要參照其他畫面而產(chǎn)生，它是P圖和B圖的參考圖。 P圖（前向預(yù)測(cè)幀Predicted Picture）,它參照前一幅I或P圖像做運(yùn)動(dòng)補(bǔ)償編碼。 B圖像(雙向預(yù)測(cè) Bidirectional Prediction)，它參照前一幅和后一幅I或P圖像做雙向運(yùn)動(dòng)補(bǔ)償編碼。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.5 MPEG的幀序列 一個(gè)典型的MPEG幀序列 圖10-8 一個(gè)典型

8、的MPEG幀序列 多媒體技術(shù)基礎(chǔ)與應(yīng)用 一個(gè)MPEG在解碼播放時(shí)的實(shí)際幀序列 圖10-9 MPEG在解碼播放時(shí)的實(shí)際幀序列多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.6 運(yùn)動(dòng)預(yù)測(cè)與補(bǔ)償 運(yùn)動(dòng)補(bǔ)償算法是當(dāng)前視頻圖像壓縮技術(shù)中使用最普遍的方法之一。運(yùn)動(dòng)補(bǔ)償工作于宏塊一級(jí)，主要是消除預(yù)測(cè)圖與插補(bǔ)圖在時(shí)間上的冗余，以提高壓縮比。運(yùn)動(dòng)補(bǔ)償是一種預(yù)測(cè)，它不是對(duì)每個(gè)像素預(yù)測(cè)，而是以1616的圖像宏塊為單位的預(yù)測(cè)。 圖10-10 運(yùn)動(dòng)補(bǔ)償?shù)睦?多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.7 運(yùn)動(dòng)補(bǔ)償編碼器的結(jié)構(gòu) 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼器的結(jié)構(gòu)如下圖所示。圖中應(yīng)用了延遲時(shí)間可變的預(yù)測(cè)存儲(chǔ)器。該存儲(chǔ)器有一個(gè)幀的容量，一幀前的圖像被存儲(chǔ)起來(lái)?？梢?/p>

9、通過(guò)以宏塊為單位，檢測(cè)出畫面中的運(yùn)動(dòng)部分。 圖10-11 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼器的結(jié)構(gòu)示例多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.1 傳統(tǒng)MPEG編碼技術(shù)的局限 在傳統(tǒng)的視頻壓縮中，以一連串的影像(image)為壓縮對(duì)象，也就是對(duì)于一整張畫面(幀frame)做數(shù)據(jù)壓縮。如此會(huì)將整張畫面不重要的部分（如單調(diào)的背景）也一起壓縮進(jìn)去而占有一定程度的數(shù)據(jù)量。另外，將圖像固定地分成相同大小的塊，在高壓縮比的情況下會(huì)出現(xiàn)嚴(yán)重的塊效應(yīng)，即馬賽克效應(yīng)。 未能考慮信息獲取者的主觀意義與人類視覺系統(tǒng)（HVS，Human Visual System）主觀特性，未能考慮事件本身的特性如具體含義、重要性以及后果等等，不能對(duì)圖像內(nèi)容進(jìn)

10、行訪問(wèn)、編輯和回放等工作； 缺乏一套有系統(tǒng)與有效率的標(biāo)準(zhǔn)。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.2 何謂對(duì)象編碼 基于對(duì)象編碼，是指依賴于對(duì)視頻場(chǎng)景中任意形狀對(duì)象檢測(cè)的編碼機(jī)制。MPEG-4是目前基于對(duì)象編碼機(jī)制，是對(duì)運(yùn)動(dòng)圖像和伴音編碼的算法。 圖10-12 基于對(duì)象編碼技術(shù)的場(chǎng)景示例 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.3 MPEG-4核心編碼技術(shù)-AV對(duì)象 AV對(duì)象是MPEG-4為支持基于內(nèi)容編碼而提出的重要概念。對(duì)象是指在一個(gè)場(chǎng)景中能夠訪問(wèn)和操縱的實(shí)體，對(duì)象的劃分可根據(jù)其獨(dú)特的紋理、運(yùn)動(dòng)、形狀、模型和高層語(yǔ)義為依據(jù)。 MPEG-4對(duì)AV對(duì)象的操作主要有： 1采用AV對(duì)象來(lái)表示聽覺、視覺或者視聽組合內(nèi)容

11、。 2允許組合已有的AV對(duì)象來(lái)生成復(fù)合的AV對(duì)象，并由此生成AV場(chǎng)景。 3允許對(duì)AV對(duì)象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來(lái)傳輸這些AV對(duì)象數(shù)據(jù)。 4允許接收端的用戶在AV場(chǎng)景中對(duì)AV對(duì)象進(jìn)行交互操作。 5MPEG-4支持AV對(duì)象知識(shí)產(chǎn)權(quán)與保護(hù)。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.4 基于場(chǎng)景的對(duì)象分割與編碼技術(shù) MPEG-4實(shí)現(xiàn)基于內(nèi)容交互的首要任務(wù)就是把視頻/圖像分割成不同對(duì)象或者把運(yùn)動(dòng)對(duì)象從背景中分離出來(lái)，然后針對(duì)不同對(duì)象采用相應(yīng)編碼方法，以實(shí)現(xiàn)高效壓縮。 MPEG-4的編碼理念是：在編碼時(shí)將一幅景物分成若干在時(shí)間和空間上相互聯(lián)系的視頻音頻對(duì)象，分別編碼后，再經(jīng)過(guò)復(fù)用傳輸?shù)浇邮斩耍?/p>

12、然后再對(duì)不同的對(duì)象分別解碼，從而組合成所需要的視頻和音頻,其過(guò)程如圖所示。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.5視頻對(duì)象平面-VOP 我們根據(jù)人眼感興趣的一些特性如形 狀、運(yùn)動(dòng)、紋理等，將圖像序列中每一幀中的場(chǎng)景，看成是由不同視頻對(duì)象平面VOP (Video Object Plane)所組成，而同一對(duì)象連續(xù)的VOP稱為視頻對(duì)象VO。 VOP是視頻場(chǎng)景的語(yǔ)法對(duì)象，除輪廓信息外，主要由亮度和,色度分量（Y,U,V）組成。VOP可以是任意形狀，可由半自動(dòng)分割來(lái)檢測(cè)。圖10-14 為實(shí)現(xiàn)基于內(nèi)容交互，人物由簡(jiǎn)單到復(fù)雜的輪廓物征提取 多媒體技術(shù)基礎(chǔ)與應(yīng)用 視頻對(duì)象平面（VOP，Video Object Pl

13、ane）是視頻對(duì)象（VO）在某一時(shí)刻的采樣，VOP是MPEG-4視頻編碼的核心概念。 圖10-15 VOP視頻編碼技術(shù) 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.6 運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償技術(shù) MPEG-4采用運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償技術(shù)來(lái)去除圖像信息中的時(shí)間冗余成分，而這些運(yùn)動(dòng)信息的編碼技術(shù)可視為現(xiàn)有標(biāo)準(zhǔn)向任意形狀的VOP的延伸。VOP的編碼有3種模式，即幀內(nèi)(Intra-frame) 編碼模式(I-VOP)，幀間(Inter-frame)預(yù)測(cè)編碼模式(P-VOP)，幀間雙向 (Bidirectionally)預(yù)測(cè)編碼模式(B-VOP) 。 圖10-16 MPEG-4的運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償技術(shù)多媒體技術(shù)基礎(chǔ)與應(yīng)用1

14、0.4.1 MPEG-7概述 MPEG-7 的產(chǎn)生是為了解決上述問(wèn)題，其重點(diǎn)在于影音內(nèi)容的描述和定義，以有彈性、具延伸性、多層次及明確的數(shù)據(jù)結(jié)構(gòu)和語(yǔ)法來(lái)定義影音數(shù)據(jù)的內(nèi)容，經(jīng)由 MPEG-7 的定義格式，使用者可以有效率地搜尋、過(guò)濾和定義想要的影音數(shù)據(jù)。10.4.2 MPEG-7:基于信息內(nèi)容的搜索引擎 MPEG-7是屬于信息方面的檢索和搜尋，而所謂信息，則可以是影像或音樂(lè)；換句話說(shuō)，MPEG-7在本質(zhì)上來(lái)說(shuō)就是我們常常在網(wǎng)上使用的搜索引擎，只不過(guò)它提供的是多媒體的信息查詢服務(wù)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.4.3 MPEG-7中的主要概念 數(shù)據(jù)(Data) 是用MPEG-7描述的視聽資料，不考

15、慮它們的存儲(chǔ)、編碼、顯示、傳輸、媒介或技術(shù)。 特征(Feature) 指數(shù)據(jù)的特性。特征本身不能比較，而要用有意義的特征表示(描述子)和它的實(shí)例(描述值)。 描述子(Descriptor，D) 是特征的表示。它定義特征表示的句法和語(yǔ)義，可以賦予描述值。 描述值(Descriptor Value) 是描述子的實(shí)例。 描述模式(Description Scheme，DS) 說(shuō)明其成員之間的關(guān)系結(jié)構(gòu)和語(yǔ)義。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 描述(Description) 一個(gè)描述由一個(gè)描述模式(結(jié)構(gòu))和一組描述值組成。 編碼的描述(Coded Description) 是對(duì)已完成編碼的描述，滿足諸如壓縮效率、

16、差錯(cuò)恢復(fù)和隨機(jī)存取的相關(guān)要求。 描述定義語(yǔ)言(Description Definition Language，DDL) 是一種允許產(chǎn)生新的描述模式和描述子的語(yǔ)言，允許擴(kuò)展和修改現(xiàn)有的描述機(jī)制。 多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-18 MPEG-7應(yīng)用的表示 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.4.4 MPEG-7的范圍 MPEG-7是針對(duì)存儲(chǔ)形式(在線、脫機(jī))或流形式(如 Internet上的廣播、推拉模型)的應(yīng)用而制定的，并且可以在實(shí)時(shí)和非實(shí)時(shí)環(huán)境中操作。一個(gè)實(shí)時(shí)環(huán)境意味著當(dāng)采集資料時(shí)，信息是與內(nèi)容相關(guān)的。 下 圖是MPEG-7處理過(guò)程的一種高度抽象示意圖，用于解釋MPEG-7的范圍。它包括特征抽取(分析)、描述本身和搜索引擎(應(yīng)用)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 H.261視頻編碼標(biāo)準(zhǔn)