動態(tài)圖像壓縮標(biāo)準(zhǔn)

1、動態(tài)圖像壓縮標(biāo)準(zhǔn)1.2MPEG概述MPEG(Moving/Motion Picture Expert Group)是活動圖像專家組，負(fù)責(zé)開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標(biāo)準(zhǔn)。已經(jīng)開發(fā)和正在開發(fā)的MPEG標(biāo)準(zhǔn)有： MPEG-1：數(shù)字電視標(biāo)準(zhǔn)，1992年正式發(fā)布。MPEG-2：數(shù)字電視標(biāo)準(zhǔn)。MPEG-3：已于1992年7月合并到HDTV工作組。MPEG-4：多媒體應(yīng)用標(biāo)準(zhǔn)(1999年發(fā)布)。MPEG-5：尚未見到定義。MPEG-6：尚未見到定義。 MPEG-7：多媒體內(nèi)容描述接口標(biāo)準(zhǔn)(正在研究)。.3MPEG標(biāo)準(zhǔn)內(nèi)容 MPEG-1MPEG-1是針對當(dāng)時具有這種數(shù)據(jù)傳輸率的CD-

2、ROM和網(wǎng)絡(luò)而開發(fā)的，用于在CD-ROM上存儲數(shù)字影視和在網(wǎng)絡(luò)上傳輸數(shù)字影視。MPEG-1全稱為“信息技術(shù)用于數(shù)據(jù)速率高達(dá)大約1.5 Mbit/s的數(shù)字存儲媒體的電視圖像和伴音編碼”，由五個部分組成：.4MPEG標(biāo)準(zhǔn)內(nèi)容 MPEG-1 Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步 MPEG-1 Video, 規(guī)定電視數(shù)據(jù)的編碼和解碼，MPEG-1 Audio, 規(guī)定聲音數(shù)據(jù)的編碼和解碼， MPEG-1 Conformance testing，說明如何測試比特數(shù)據(jù)流和解碼器是否滿足MPEG-1前3個部分(Part1，2和3)中所規(guī)定的要求。MPEG-1 Software sim

3、ulation，給出了用軟件執(zhí)行MPEG-1標(biāo)準(zhǔn)前3個部分的結(jié)果。.5MPEG-2MPEG-2MPEG-2標(biāo)準(zhǔn)是一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。標(biāo)準(zhǔn)名稱為“信息技術(shù)電視圖像和伴音信息的通用編碼。MPEG-2包含9個部分： MPEG-2 Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步 MPEG-2 Video，規(guī)定電視數(shù)據(jù)的編碼和解碼 MPEG-2 Audio，規(guī)定聲音數(shù)據(jù)的編碼和解碼.6MPEG-2MPEG-2 Conformance testingMPEG-2 Software simulationMPEG-2 Extensions for DSM-CC

4、，數(shù)字存儲媒體命令和控制擴展協(xié)議MPEG-2 AAC，是多聲道聲音編碼算法標(biāo)準(zhǔn)MPEG-2 Extension for real time interface for systems decoders，系統(tǒng)解碼器實時接口擴展標(biāo)準(zhǔn) MPEG-2 DSM-CC，一致性擴展測試.7MPEG-4 MPEG-4MPEG-4是為視聽(audio-visual)數(shù)據(jù)的編碼和交互播放開發(fā)算法和工具，是一個數(shù)據(jù)速率很低的多媒體通信標(biāo)準(zhǔn)。MPEG-4的目標(biāo)是要在異構(gòu)網(wǎng)絡(luò)環(huán)境下能夠高度可靠地工作，并且具有很強的交互功能。MPEG-4將應(yīng)用在移動通信和公用電話交換網(wǎng)PSTN上，并支持可視電話、電視郵件、電子報紙和其他

5、低數(shù)據(jù)傳輸速率場合下的應(yīng)用。.8MPEG-4MPEG-4文件有6個部分，它們是： MPEG-4 Systems 系統(tǒng)標(biāo)準(zhǔn) MPEG-4 Video 電視圖像標(biāo)準(zhǔn) MPEG-4 Audio 聲音標(biāo)準(zhǔn) MPEG-4 Conformance Testing 一致性測試標(biāo)準(zhǔn) MPEG-4 Reference software 參考軟件 MPEG-4 Delivery Multimedia Integration Framework (DMIF) 傳輸多媒體集成框架.9MPEG-7MPEG-7MPEG-7的工作于1996年啟動，叫做多媒體內(nèi)容描述接口(Multimedia Content Descrip

6、tion Interface)，MPEG-7的目的是制定一套描述符標(biāo)準(zhǔn)，用來描述各種類型的多媒體信息及它們之間的關(guān)系，以便更快更有效地檢索信息。MPEG-7涉及的媒體材料可包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關(guān)系。.10MPEG-7 MPEG-7的應(yīng)用領(lǐng)域包括：n 數(shù)字圖書館(Digital library)，例如圖像目錄、音樂詞典等；n 多媒體目錄服務(wù)(multimedia directory services)，例如黃頁(yellow pages)；n 廣播媒體的選擇，例如無線電頻道，TV頻道等；n 多媒體編輯，例如個人電子新聞服務(wù)，多媒體創(chuàng)作等等

7、n 潛在應(yīng)用的應(yīng)用領(lǐng)域包括：教育、娛樂、新聞、旅游、醫(yī)療、購物等等。.11MPEG數(shù)據(jù)流的分層結(jié)構(gòu)(1)運動圖像序列：包含一個表頭(定義了圖像寬、高、像素長寬比、幀速率、位速率、緩沖區(qū)尺寸等重要參數(shù))，一組或多組圖像和序列結(jié)束標(biāo)志；(2)圖片組：由一系列圖像組成，可以從運動序列中隨機存取；(3)圖像：由一個亮度信號和兩個色度信號組成；(4)塊：由一個8X8的亮度信息或色度信息組成；(5)宏塊：由一個16X16的亮度信息和兩個8X8的色度信息構(gòu)成；(6)圖像切片：由一個或多個連續(xù)的宏塊構(gòu)成。.12MPEG數(shù)據(jù)流的分層結(jié)構(gòu).13MPEG視頻壓縮算法的基本思路冗余及解決方法(1)時間冗余：各幀圖像在

8、時間方向上的相關(guān)性；(2)空間冗余：像素間的相關(guān)性解決方法：n 用幀間預(yù)測和運動補償解決時間冗余n 用變換編碼和預(yù)測編碼解決空間冗余MPEG算法面臨的問題：n 在保證畫面質(zhì)量前提下每幀單獨編碼，不能保證高壓縮比；n 為了滿足隨機訪問有最好方法是每幀單獨編碼；.14MPEG視頻壓縮算法的基本思路 解決辦法：n 使用3種畫面：內(nèi)幀I、預(yù)測幀P和內(nèi)插幀Bn 內(nèi)幀單獨編碼，經(jīng)過中度壓縮，可以作為隨機訪問點；n 預(yù)測幀以參考幀(I或P)為基礎(chǔ)編碼，又作為后面預(yù)測幀的參考幀；n 內(nèi)插幀以前后兩個參考幀為基礎(chǔ)編碼，本身不能作為參考幀。內(nèi)插幀的壓縮率最高。.15MPEG視頻壓縮算法的基本思路.16三種幀的壓縮

9、算法1、內(nèi)幀圖像 I 的壓縮算法幀內(nèi)圖像I不參照任何過去的或者將來的其他圖像幀，壓縮編碼采用類似JPEG壓縮算法；如果電視圖像是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖像。2、預(yù)測幀圖像 P 的壓縮算法編碼單位： 16X16的圖像宏塊3、內(nèi)插幀B的壓縮算法采用雙向預(yù)測，方法和P圖像類似 ，.17電視圖像的結(jié)構(gòu)MPEG編碼器算法允許選擇I圖像、P圖像和B圖像數(shù)目。例如，對于快速運動的圖像，I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點；對于慢速運動的圖像，幀內(nèi)圖像I的頻率可以低一些，而B圖像的數(shù)目可以選擇多一點。在實際應(yīng)用中還要考慮媒體的速率。 MPEG三種圖像的壓縮后

10、的典型值(比特) ，可以看到，I幀圖像的數(shù)據(jù)量最大，而B幀圖像的數(shù)據(jù)量最小。.18電視圖像的結(jié)構(gòu).19H.261和H.263標(biāo)準(zhǔn)H.261n 由 CCITT于1990年制定，是國際上第一個視頻壓縮標(biāo)準(zhǔn)，應(yīng)用領(lǐng)域為：電視電話和會議電視n H.261的全稱：視聽業(yè)務(wù)速率為Px64Kb/s的視頻編譯碼n P=1，2時僅支持四分之一通用交換格式(QCIF)的視頻格式(176x144)，用于幀速低的可視電話；n P=6時可支持通用交換格式CIF的視頻格式(352x288)的會議電視。n 壓縮算法的核心：運動估值預(yù)測和DCT編碼n 貢獻(xiàn)：除自身的應(yīng)用領(lǐng)域外，視頻數(shù)據(jù)格式、運動估算與補償、DCT變換、量化和

11、熵編碼等技術(shù)被后來的MPEG-1和MPEG-2所借鑒和采用。.20H.261和H.263標(biāo)準(zhǔn)H.263n 1995年制定，適用于PSTN(Public Switch Telephone Network，公共交換電話網(wǎng))n 目的：能在現(xiàn)有的電話網(wǎng)上傳輸活動圖像，能夠基于電話線路(PSTN)實現(xiàn)可視電話和視頻會議系統(tǒng)，已成為一般的低比特率視頻編碼標(biāo)準(zhǔn)n 基本算法：幀間預(yù)測和DCT混合編碼n 4種可協(xié)商選擇的編碼方法：無限制范圍的運動矢量、基于語法的算法編碼方法、高級預(yù)測和PB幀n 兩種編碼模式：幀內(nèi)編碼和幀間編碼n 進(jìn)一步發(fā)展：H.263+(H.263版本2)，增加了12種新的協(xié)商模式和附加特性，

12、以擴大協(xié)議的應(yīng)用范圍，提高重建圖像的主觀質(zhì)量以及加強對編碼比特率的控制。.H.264中運動估計算法的研究21.22主要內(nèi)容：背景H.264層次搜索算法自適應(yīng)搜索算法.23背景介紹誰是繼承者？MPEG2老了誰是繼承者？.24背景介紹H.26L橫空出世.25背景介紹來龍去脈H.26LITU-T Q.6/SG16 (VCEG - Video Coding Experts Group)的新寵，H.264的前身2001 11：VCEG和 MPEG聯(lián)合組建Joint Video Team (JVT)，共同制定H.26L標(biāo)準(zhǔn) 2002 10：完成標(biāo)準(zhǔn)草案預(yù)計2003 標(biāo)準(zhǔn)最終在兩個組織獲得通過H.264是該

13、標(biāo)準(zhǔn)ITU-T的官方名稱，MPEG方面稱它為MPEG4-Part 10.26H.264基于塊的混合編碼方式.27運動估計的原理.28H.264中運動估計更為精細(xì)的塊尺寸4x4，4x8，8x4，8x88x16，16x8，16x16像素精度的運動矢量6階FIR濾波器插值1/2像素點雙線性插值1/4像素點線性插值1/8色度像素點多參考幀周期運動鏡頭、場景的來回切換.29多種多樣的塊尺寸.30多種多樣的塊尺寸.31像素精度的運動矢量亮度像素點的插值1/8色度像素點的插值亮度像素點的插值.32多參考幀.33H.264的性能27282930313233343536373839050100150200250

14、Bit-rate kbit/sForeman QCIF 10HzQualityY-PSNR dBMPEG-2H.263MPEG-4JVT/H.264/AVC.34H.264 Codec設(shè)計復(fù)雜度相對MPEG-2 ，解碼復(fù)雜度增加 2-3倍，編碼復(fù)雜度增加 3-4倍問題:宏塊分得更細(xì)（更多的搜索）預(yù)測模式更多（更多的搜索）多參考幀的運動估計（更多的內(nèi)存，更多的計算）更長的濾波器.35編碼器的硬件實現(xiàn)方案ASICLucent Technologies Proprietary and ConfidentialEmbedded CPUEntropy CodingTransformQInverse TI

15、QAddressGeneratorMemory ControllerPixel InterfacePixel DataHost APIOutputInterfaceIntra Pred.MEMCDe-blockingFilterPLL27MHzBit Stream.36編碼器的硬件實現(xiàn)方案DSPLucent Technologies Proprietary and ConfidentialMEIntra Pred.MemoryControlInternalMemoryDDR SDRAMMemoryXilinx FPGATMS320DM642PixelIntf.MCReconstTransfor

16、mQInverse TIQEntropyCodingControllerDe-blkFilterInternalMemoryPixel DataBUFBit Stream.37編碼器的硬件實現(xiàn)方案FPGAPixelIntf.MEIntra Pred.MCReconst.MemoryCtrl.DDR SDRAMControllerInternalMemoryPixel DataFIFOsSRAMsTransformQInverseTransformIQDe-blockingFilterEntropyCodingOutputCtrl.InternalMemoryBUFBit Stream.38我們

17、的問題性能，成本和計算復(fù)雜度選擇DSP方案運動估計計算量無法承受需要一種快速高效的搜索算法.39層次搜索算法思想通過下采樣，將圖像分辨率降低，先在低分辨的圖像上作窮盡搜索，得到最優(yōu)點X。然后，回到原圖像，在X的鄰域內(nèi)作進(jìn)一步的搜索，可以得到局部最優(yōu)XL。.40層次搜索算法舉例以下采樣2倍為例，設(shè)搜索范圍是正負(fù)48，當(dāng)前編碼塊的大小是16x16，則原來要搜索9409個點，每個點的計算量是256次減法，255次加法，1次比較，2倍下采樣之后，搜索點數(shù)下降1/4，為2401，每個點的計算量是64次減法，63次加法，1次比較，總的計算量只有原來的1/16。白點為下采樣后剩下的像素，灰色點是被忽略的點。

18、在得到最優(yōu)點X之后，對鄰近的8個點（黑點）作進(jìn)一步的比較，取其最小者作為匹配位置。 .41層次搜索算法實現(xiàn)由（spiral_search_xk，spiral_search_yk）構(gòu)成了一個可由k索引的點，隨著k的增加，這個點沿著原點作類似于螺旋狀的運動。0，1，2數(shù)字即為k，數(shù)字所在的位置即為點的位置。有了這樣一個數(shù)組之后，下采樣意味著調(diào)整步長，下采樣2倍，只要加倍步長就可以了。鄰域搜索也就輕而易舉了。 .42層次搜索算法性能1以dec作為輸入視頻文件計算平均值層次搜索算法有5%左右比特率的增加但是編碼時間卻有50%60%的減少 .43層次搜索算法性能2以dec作為輸入視頻文件SNR相差不超過0.1dB窮盡搜索算法有5%左右比特率優(yōu)勢但是編碼時間卻是以級數(shù)增長 .44層次搜索算法性能3以sign_irene作為輸入視頻文件觀察每一幀性能變化。性能差異不是十分明顯。 .45層次搜索算法結(jié)論適宜