第4章視頻數(shù)據(jù)的壓縮編碼

第4章視頻數(shù)據(jù)的壓縮編碼第4章視頻數(shù)據(jù)的壓縮編碼

掌握典型的視頻編碼器和解碼器理解視頻序列編碼和視頻播放中的隨機(jī)接入

掌握壓縮編碼算法的性能評(píng)價(jià)

了解圖像和視頻壓縮編碼的國際標(biāo)準(zhǔn)學(xué)習(xí)目標(biāo)第4章視頻數(shù)據(jù)的壓縮編碼4.1基于幀的視頻編碼4.1.1典型的編碼器與解碼器4.1.2視頻序列的編碼4.1.7碼流結(jié)構(gòu)4.5壓縮編碼算法的性能評(píng)價(jià)4.6圖像和視頻編碼的國際標(biāo)準(zhǔn)4.1基于幀的視頻編碼4.1.1典型的編碼器與解碼器一、視頻圖像的條（片）與宏塊劃分對(duì)視頻圖像的壓縮編碼，是分塊進(jìn)行的，一幀圖像首先分成若干條（片），每條又分成許多宏塊；宏塊（MB）：是基本的處理單元，包含一個(gè)亮度塊和兩個(gè)色度塊。二、編碼器的工作原理1、圖像信號(hào)的預(yù)處理二、編碼器的工作原理

2、運(yùn)動(dòng)估值/補(bǔ)償視頻信號(hào)并不是逐幀單獨(dú)壓縮傳送，只有其中一部分幀是這樣傳送，對(duì)于大多數(shù)幀，只發(fā)送實(shí)際圖像和預(yù)測(cè)圖像的差值（DFD）運(yùn)動(dòng)估值：預(yù)測(cè)精度取決于對(duì)相鄰幀間運(yùn)動(dòng)的估值運(yùn)動(dòng)補(bǔ)償：由于估值并不精確，需要發(fā)送額外的信息來指明運(yùn)動(dòng)部分的預(yù)測(cè)位置與實(shí)際位置的差別2、運(yùn)動(dòng)估值/補(bǔ)償

說明：DFD：幀間差運(yùn)動(dòng)矢量的獲?。寒?dāng)前幀在參考幀中，塊匹配得到最佳匹配塊，估計(jì)得到位移矢量D；參考幀的獲?。河芍貥?gòu)的DFD加上當(dāng)前塊預(yù)測(cè)值bk-1得來，包含兩者信息；預(yù)測(cè)幀的獲?。簠⒖紟ㄟ^運(yùn)動(dòng)補(bǔ)償，得到當(dāng)前幀的預(yù)測(cè)值；幀間編碼塊幀內(nèi)編碼塊帶有運(yùn)動(dòng)估值與補(bǔ)償?shù)膸g預(yù)測(cè)編碼原理3、DCT變換圖像經(jīng)DCT變換后，DCT系數(shù)之間相關(guān)性已經(jīng)很小，而且大部分能量集中在少數(shù)的系數(shù)上?？梢詫?duì)整幅圖像進(jìn)行DCT變換，但由于圖像各部位的細(xì)節(jié)不同，常采用分塊DCT的辦法，即將宏塊再分為8X8個(gè)子塊，對(duì)每個(gè)子塊進(jìn)行DCT變換，不同細(xì)節(jié)的子塊，DCT保留的系數(shù)可不同，從而降低運(yùn)算量和存儲(chǔ)空間。4、量化量化會(huì)帶來誤差(信息損失)。通過量化(Q)，可以保留重要的DCT系數(shù)，并將不重要的DCT系數(shù)量化到零，這是數(shù)據(jù)壓縮的重要的一步。5.從二維矩陣到一維序列的轉(zhuǎn)換（游程編碼）DCT系數(shù)矩陣經(jīng)量化后，已經(jīng)變得很稀疏，相當(dāng)多的系數(shù)已經(jīng)量化到零，只剩下低頻系數(shù)和少量高頻系數(shù)。為了進(jìn)行后面的熵編碼，需要將二維矩陣系數(shù)轉(zhuǎn)換為一維序列，這種轉(zhuǎn)換叫：游程編碼。游程編碼的方法：（1）對(duì)稀疏的DCT系數(shù)矩陣，進(jìn)行“之”字形掃描，得到一個(gè)系數(shù)序列：5.從二維矩陣到一維序列的轉(zhuǎn)換（游程編碼）（2）當(dāng)掃描到高頻區(qū)域，遇到若干個(gè)零之后才有一個(gè)非零值時(shí)，為了記錄該非零值的位置，該值前面的零的個(gè)數(shù)用游程編碼來表示。（3）當(dāng)剩下的系數(shù)均為零時(shí)，用符號(hào)EOB（EndofBlock）來代表序列的截止。格式為：(run,level)run：表示這個(gè)非零系數(shù)前面的零的數(shù)目Level：表示這個(gè)非零系數(shù)的數(shù)值游程編碼的方法：6、熵編碼格式：(last,run,level)說明：last：表示是否為游程編碼非零序列的最后符號(hào)，last=1：代表“是”；run：表示這個(gè)非零系數(shù)前面的零的數(shù)目；level：表示這個(gè)非零系數(shù)的絕對(duì)值；碼字后的s：0為正值，1為負(fù)值。游程編碼之后，還需要使用熵編碼來進(jìn)一步消除冗余，壓縮數(shù)據(jù)。實(shí)際設(shè)計(jì)中，是將游程編碼后的組合（run，level）看成一個(gè)符號(hào)，并給予一個(gè)碼字，這樣的碼表稱為二維霍夫曼表。7、速率控制由于編碼的原因，例如，熵編碼產(chǎn)生的是變長碼、幀內(nèi)編碼與幀間編碼產(chǎn)生的數(shù)據(jù)量不同、視頻信號(hào)的統(tǒng)計(jì)特性不平穩(wěn)，復(fù)雜度高的圖像經(jīng)壓縮后產(chǎn)生的數(shù)據(jù)量大，等等，因此，編碼輸出的比特流速率是變化的。為了能在恒定比特率的信道上傳送，需要在進(jìn)入信道之前加一個(gè)緩沖器，用以對(duì)輸出的比特流速率進(jìn)行平滑和控制；4.1.2視頻序列的編碼幀內(nèi)編碼：采用類似于靜止的圖像壓縮（JPEG算法)進(jìn)行編碼,通常第一幀(I幀)采用幀內(nèi)編碼,后繼幀采用幀間預(yù)測(cè)編碼。幀間編碼：即幀間預(yù)測(cè)壓縮編碼?！駢嚎s編碼的幀，一般有獨(dú)立編碼的幀（幀內(nèi)編碼），和預(yù)測(cè)編碼的幀（幀間編碼）兩大類型?！耠S機(jī)接入：接收機(jī)在剛開機(jī)、改換頻道、進(jìn)行快進(jìn)快退等操作時(shí)，需要從碼流的某個(gè)中間點(diǎn)處開始解碼，這稱為隨機(jī)接入。4.1.2視頻序列的編碼I幀：即實(shí)行幀內(nèi)編碼的幀。B幀：雙向預(yù)測(cè)的幀間編碼幀。P幀：前向預(yù)測(cè)的幀間編碼幀。GOP：兩個(gè)I幀之間的圖像所構(gòu)成的一個(gè)圖像組，其中的P幀和B幀數(shù)目可以根據(jù)實(shí)際需要選擇?！?.1.7碼流結(jié)構(gòu)

視頻序列是以幀為單位進(jìn)行編碼，每一幀又被劃分為條、宏塊和塊分別進(jìn)行具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)和DCT編碼，然后轉(zhuǎn)換成一維的符號(hào)序列，經(jīng)熵編碼形成一串由0、1組成的碼流。

要使解碼器能夠從碼流恢復(fù)出原來的視頻序列，必須給出碼流的各段與幀、條、宏塊與塊之間的對(duì)應(yīng)關(guān)系，通常是將碼流按層次結(jié)構(gòu)來組織，并在每個(gè)層次插入相應(yīng)的頭信息來完成。●4.1.7碼流結(jié)構(gòu)

碼流共分為六個(gè)層次:圖像序列是由數(shù)據(jù)頭和若干圖像組構(gòu)成的。數(shù)據(jù)頭中包含圖像的大小，量化矩陣等信息。圖像組：一個(gè)圖像組是由數(shù)據(jù)頭和若干圖像構(gòu)成。數(shù)據(jù)頭中包含時(shí)間代碼等信息。圖像組中每一幅圖像既可以是I幀，也可以是P幀或B幀。但需說明的是GOP中的第一幅圖像必須是I幀，這樣可以便于提供圖像接入點(diǎn)。圖像：一幅圖像是由數(shù)據(jù)頭和若干片構(gòu)成的。其中數(shù)據(jù)頭包含該圖像的編碼類型及碼表選擇信息等。它是最基本的顯示單元。通常我們也稱其為幀。●4.1.7碼流結(jié)構(gòu)

碼流共分為六個(gè)層次:圖像條：一個(gè)圖像條是由附加數(shù)據(jù)與若干個(gè)宏塊組成。附加數(shù)據(jù)包括該圖像條在整個(gè)圖像中的位置、默認(rèn)的全局量化參數(shù)等。圖像條是進(jìn)行圖像同步的基本單元。應(yīng)該說明的是在一幀圖像中，圖像條越多，其編碼效率越低，但處理誤碼的操作更容易，只需跳過出現(xiàn)誤碼的圖像條即可。宏塊：一個(gè)宏塊是由附加數(shù)據(jù)與4個(gè)8×8亮度塊和2個(gè)8×8色差塊組成。其中附加數(shù)據(jù)包含宏塊的編碼類型、量化參數(shù)、運(yùn)動(dòng)矢量等。宏塊是進(jìn)行運(yùn)動(dòng)補(bǔ)償運(yùn)算的基本單元。塊：一個(gè)塊是由8×8像素構(gòu)成的。亮度信號(hào)、色差信號(hào)都采用這種結(jié)構(gòu)。它是DCT變換的最基本單元。4.5壓縮編碼算法性能的評(píng)價(jià)衡量數(shù)據(jù)壓縮技術(shù)的性能主要有壓縮比、重建圖像質(zhì)量、算法復(fù)雜性、時(shí)延等。此外，一個(gè)好的算法還要考慮多媒體技術(shù)的軟硬件適應(yīng)能力、應(yīng)用標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)等?！駭?shù)據(jù)壓縮的倍數(shù)（壓縮比）數(shù)據(jù)壓縮倍數(shù)為壓縮前后的數(shù)據(jù)量之比

衡量另一種壓縮倍數(shù)是用平均像素所使用的比特?cái)?shù)表示數(shù)據(jù)量大小。●重建圖像質(zhì)量的客觀評(píng)價(jià)通常用重建圖像與原圖像之間像素值的均方誤差（MSE）來衡量，將均方誤差作為由數(shù)據(jù)壓縮而產(chǎn)生的噪聲能量，定義峰值信噪比為：4.5壓縮編碼算法性能的評(píng)價(jià)●視頻壓縮的率失真性能率-失真（RD）性能：綜合考慮壓縮后的碼率和重建圖像的信噪比。●重建圖像的主觀評(píng)價(jià)主觀評(píng)價(jià)是指觀察者根據(jù)自己的感覺對(duì)圖像質(zhì)量進(jìn)行的評(píng)價(jià)，為此，國際電聯(lián)無線電組在BT500-11對(duì)圖像主觀評(píng)價(jià)做出規(guī)定：主觀評(píng)價(jià)的觀察者主觀評(píng)價(jià)的方法、條件和尺度（進(jìn)行5星評(píng)定）計(jì)算平均評(píng)價(jià)分?jǐn)?shù)：●4.6圖像和視頻壓縮編碼的國際標(biāo)準(zhǔn)1、JPEG是英文JointPhotographicExpertsGroup的縮寫，即聯(lián)合圖像專家組。該標(biāo)準(zhǔn)是一種適用于靜止圖像壓縮算法的國際標(biāo)準(zhǔn)。包含四種運(yùn)行模式，其要點(diǎn)如下:4.6.1靜止圖像壓縮標(biāo)準(zhǔn)JPEG順序編碼模式：根據(jù)DCT變換原理，從上到下，從左到右順序地對(duì)圖像數(shù)據(jù)進(jìn)行壓縮編碼。在此過程中存在信息丟失，因此這是一種有損圖像壓縮編碼。漸進(jìn)編碼模式：以DCT變換為基礎(chǔ)，不同的是先傳送部分DCT系數(shù)信息，使接收端獲得一個(gè)“粗略”圖像，再將剩余頻帶系數(shù)漸次傳送，最終形成清晰圖像。無損編碼模式：采用幀內(nèi)預(yù)測(cè)（DPCM）和熵編碼以保證重建圖像與原圖像完全相同。分層編碼模式：以圖像分辨率為基準(zhǔn)進(jìn)行圖像編碼，首先將輸入圖像的分辨率逐層降低，先對(duì)低分辨率的底層圖像進(jìn)行編碼，逐步提高分辨率，直到與源圖像分辨率相同為止。2.新一代靜止圖像壓縮標(biāo)準(zhǔn)JPEG2000JPEG2000與傳統(tǒng)JPEG最大的不同，是放棄了以DCT變換為主的區(qū)塊編碼方式，而采用以小波變換為主的多解析編碼方式。其主要特征如下：高效的編碼方法。壓縮比提高10%—30%。；支持ROI編碼。支持對(duì)ROI進(jìn)行比對(duì)背景質(zhì)量更高的編碼；可伸縮編碼。支持類似于分層方式的空間分辨率可伸縮性和信噪比可伸縮性編碼；

H.261是ITU-T制定的視頻壓縮編碼標(biāo)準(zhǔn)，也是世界上第一個(gè)得到廣泛承認(rèn)的、針對(duì)動(dòng)態(tài)圖像的視頻壓縮標(biāo)準(zhǔn)，而且其后出現(xiàn)的MPEG系列標(biāo)準(zhǔn)、H.262以及H.263等數(shù)字視頻壓縮標(biāo)準(zhǔn)的核心都是H.261。

規(guī)定采用CIF（通用中間格式）和QCIF格式（1/4CIF）作為視頻輸入格式。

4.6.2視聽會(huì)議壓縮編碼標(biāo)準(zhǔn)H.2611、H.261簡(jiǎn)介2、H.261壓縮編碼原理第一幀圖像采用幀內(nèi)預(yù)測(cè)編碼。對(duì)于圖像序列的第一幅圖像或景物變換后的第一幅圖像，采用幀內(nèi)變換編碼。采用具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)。塊DCT變換和霍夫曼編碼。

4.6.3數(shù)字聲像壓縮編碼標(biāo)準(zhǔn)MPEG-1

MPEG-1是1993年8月正式通過的技術(shù)標(biāo)準(zhǔn)，其全稱為“適用于約1.5Mbit/s以下數(shù)字存儲(chǔ)媒體的運(yùn)動(dòng)圖像及伴音的編碼”。

MPEG-1標(biāo)準(zhǔn)由三個(gè)部分組成：聲像同步與復(fù)用（系統(tǒng)）部分。描述了幾種伴音和圖像壓縮數(shù)據(jù)的復(fù)用以及加入同步信號(hào)后的整個(gè)系統(tǒng)（編號(hào)為11172-1）。視頻編碼部分。規(guī)定了圖像壓縮編碼方法（編號(hào)為11172-2）音頻編碼部分。規(guī)定了數(shù)字伴音壓縮編碼（11172-3）

MPEG-1可處理的圖像格式為SIF（SourceInputFormat）格式。處理隔行掃描的視頻信號(hào)能力。專門設(shè)置“按場(chǎng)掃描模式”顯著提高了壓縮編碼效率。更高的色度信號(hào)取樣模式。

規(guī)定了3種色差取樣模式：4:2:0；4:2:2；4:4:4可伸縮的視頻編碼方式。

對(duì)碼流的一部分進(jìn)行解碼，可以獲得完整的重建圖像。MPEG-2視頻編碼即分“范疇”又分“層次”。5種范疇包括：無B幀的簡(jiǎn)單型、允許B幀的主型、信噪比可伸縮型、空間可伸縮性和高型。（詳見表4-4）層次規(guī)定了最高分辨率（詳見表4-5）4.6.4通用視頻及伴音壓縮編碼標(biāo)準(zhǔn)MPEG-2（H.262）1994年出臺(tái)的MPEG-2（ISO/IEC13818）標(biāo)準(zhǔn)所追求的是針對(duì)廣播電視質(zhì)量的視頻信號(hào)及其伴音的壓縮編碼標(biāo)準(zhǔn)。它是在MPEG-1的基礎(chǔ)上進(jìn)行了重大的改進(jìn)和擴(kuò)充，主要體現(xiàn)在以下幾方面：H.263能夠支持更多的圖像模式。高效的編碼模式。半像素精度的運(yùn)動(dòng)補(bǔ)償8*8的幀間預(yù)測(cè)DCT系數(shù)的空間預(yù)測(cè)基于句法的算術(shù)編碼不受限的運(yùn)動(dòng)矢量算法PB幀模式抗誤碼措施

4.6.5低比特率視聽會(huì)議壓縮編碼標(biāo)準(zhǔn)H.263H.263是一種低比特率的視頻壓縮標(biāo)準(zhǔn)，主要適用于可視電話和視頻會(huì)議。它是以H.261為基礎(chǔ)的，其編碼原理和數(shù)據(jù)結(jié)構(gòu)都與H.261相似。4.6.6通用音視頻對(duì)象壓縮編碼標(biāo)準(zhǔn)MPEG-4

MPEG-4是一種第二代視音頻編碼技術(shù)。它是一種適用于各種多媒體應(yīng)用的“視音頻對(duì)象編碼”標(biāo)準(zhǔn)。在可視對(duì)象編碼方面，MPEG-4具有以下特點(diǎn)：MPEG-4采用：場(chǎng)景二進(jìn)格式BIFS來描述多媒體場(chǎng)景，即用BIF定義構(gòu)成場(chǎng)景的對(duì)象之間的空間和時(shí)間關(guān)系，這些關(guān)系通常以樹的結(jié)構(gòu)表示。（如圖4-32）對(duì)象描述符OD描述某個(gè)對(duì)象信息，通過OD可以找到對(duì)應(yīng)于該對(duì)象的媒體流，媒體流中包含對(duì)象的運(yùn)動(dòng)、紋理和形狀信息。

場(chǎng)景描述符流（BIF流）、對(duì)象描述符流（OD流）和媒體流復(fù)接成一個(gè)流輸出，接收端首先通過一個(gè)初始OD找到BIFS流和OD流，然后通過這兩個(gè)流找到構(gòu)成場(chǎng)景的各個(gè)媒體流。基于對(duì)象的編碼和場(chǎng)景的組合4.6.6通用音視頻對(duì)象壓縮編碼標(biāo)準(zhǔn)MPEG-4

低碼率的核心編碼以H.263為基礎(chǔ)，借鑒并改進(jìn)了其中高效編碼工具，同時(shí)采取多種方法提高已編碼流在噪聲信道上傳輸?shù)聂敯粜?。高效率和?qiáng)魯棒性的編碼

將背景作為整體，進(jìn)行編碼和傳輸。靜止背景編碼

支持空間可伸縮性、時(shí)間可伸縮性、信噪比可伸縮性編碼，其中支持細(xì)粒度可伸縮性FGS技術(shù)?？缮炜s性編碼

允許使用小波變換進(jìn)行圖像的編碼。小波紋理編碼

對(duì)二維、三維的合成圖像進(jìn)行編碼。動(dòng)畫對(duì)象編碼由ISOMPEG和ITU-T的視頻專家組VCGE組成的聯(lián)合視頻組JVT于2003年制定的一個(gè)視頻壓縮編碼標(biāo)準(zhǔn)。H.264不僅具有高壓縮比，而且在惡劣的網(wǎng)絡(luò)傳輸條件下，具有較高的抗誤碼性能。4.6.7視頻壓縮編碼標(biāo)準(zhǔn)H.264改進(jìn)情況如下：幀內(nèi)預(yù)測(cè)編碼。大量細(xì)節(jié)