《電視原理》課件第7章

7.1數(shù)字電視的視頻編碼

7.2視頻圖像的DCT變換編碼7.3視頻圖像的熵編碼

7.4圖像的差值與矢量預(yù)測

7.5圖像的運動估計與補償

7.6音頻信號的壓縮編碼技術(shù)

復(fù)習(xí)題

7.1.1數(shù)字電視的視頻編碼概述

視頻編碼作為多媒體數(shù)據(jù)壓縮的重點與核心，其壓縮本質(zhì)就是在保證一定重構(gòu)質(zhì)量(圖像不失真或少失真)的前提下，以盡量少的比特數(shù)來表征視頻圖像信息，從而實現(xiàn)最大限度地降低圖像數(shù)據(jù)傳輸率、減小信道寬度、減少數(shù)據(jù)存儲空間。7.1數(shù)字電視的視頻編碼1.視頻壓縮編碼可行性分析

1)利用空間冗余度進行壓縮編碼

2)利用時間冗余度進行壓縮編碼

3)利用視覺冗余度進行壓縮編碼

2．視頻圖像的編碼技術(shù)

1)視頻圖像預(yù)測編碼技術(shù)

2)視頻圖像變換編碼技術(shù)

3)圖像熵編碼

4)霍夫曼編碼

5)具有運動補償?shù)膸g預(yù)測編碼技術(shù)7.1.2數(shù)字電視視頻編碼的流程

視頻編碼作為多媒體數(shù)據(jù)壓縮的重點與核心，其壓縮本質(zhì)就是在保證一定重構(gòu)質(zhì)量(圖像不失真或少失真)的前提下，以盡量少的比特數(shù)來表征視頻圖像信息，從而實現(xiàn)最大限度地降低圖像數(shù)據(jù)傳輸率、減小信道寬度、減少數(shù)據(jù)存儲空間。

實現(xiàn)數(shù)字電視視頻信號壓縮編碼的硬件或軟件稱為視頻編碼器，其簡化的功能框圖如圖7.1所示。圖7.1視頻編碼器功能框圖變換編碼是大多數(shù)視頻編解碼系統(tǒng)和標準的核心?？臻g圖像數(shù)據(jù)(圖像采樣點或者運動補償殘余采樣點)被變換成不同的表示，即變換域，這樣對圖像數(shù)據(jù)進行處理是有好處的。

圖7.2顯示了DCT的這兩種變換形式。7.2視頻圖像的DCT變換編碼圖7.21-D和2-D離散余弦變換圖7.3說明了DCT能量壓縮屬性。變換后圖像的能量集中在陣列的左上角，形成了一個山峰對應(yīng)著低頻能量；而陣列右邊的系數(shù)則迅速地減少到零(圖像的高頻分量)。DCT系數(shù)的去相關(guān)表面大多數(shù)價值不大的系數(shù)可以被丟掉而對圖像的質(zhì)量影響不大。相對于那些跟圖像像素相關(guān)性很強的系數(shù)矩陣，這些緊湊的去相關(guān)的系數(shù)矩陣能夠更有效地壓縮。圖7.3DCT能量壓縮屬性

DCT變換將圖像采樣點的每個塊表示為2-D余弦函數(shù)(基本函數(shù))的一個加權(quán)和。圖7.4給出的是將函數(shù)繪制成表面圖的結(jié)果，圖7.5則表示為8×8像素的基礎(chǔ)圖案。最左上角的圖案是最低頻的部分并且只是一個相同的塊。越往右，那些圖案沿水平方向有了越來越多的黑白交替，這表示水平方向空間頻率的增加。越往下，圖案包含垂直方向空間頻率的增加。往右下角，圖案包含水平以及垂直的頻率。這樣采樣點就能以這個64個樣點為模板，每樣點通過乘以一個權(quán)值(對應(yīng)于DCT系數(shù)Fx，y)得到重建。圖7.4DCT基函數(shù)(平面圖形式)圖7.58×8像素的基礎(chǔ)圖案圖7.6(b)顯示的是取自圖像7.6(a)的一幅8×8的群采樣點圖像。這個塊通過2-DDCT變換產(chǎn)生如圖7.6(c)所示的系數(shù)。6個最重要的系數(shù)是(0，0)、(1，0)、(1，1)、(2，0)、(3，0)、(4，0)，即表格中高光顯示的那些系數(shù)(表7.1)。圖7.6DCT變換示例圖表7.1DCT變換系數(shù)最后的結(jié)果(在圖7.7的最下面的右圖上顯示并且只由64個系數(shù)中的6個系數(shù)產(chǎn)生)是原圖像的一個很好的近似值。這個例子說明DCT的兩個關(guān)鍵性質(zhì)：重要的系數(shù)緊緊圍著DC系數(shù)(密度)；塊能用較少系數(shù)重建(去相關(guān))。圖7.7IDCT重建示意圖一個視頻編碼器主要有兩個功能：源模型編碼和熵編碼。

在一個典型的基于傳輸?shù)囊曨l編解碼器中，使用熵編碼器編碼的數(shù)據(jù)有三類：變換系數(shù)(如量化過的DCT系數(shù))、運動矢量和輔助信息(如頭標記、同步標記等)。7.3視頻圖像的熵編碼7.3.1游程編碼

在基于DCT的視頻編碼器中，量化器的輸出是一量化的變換系數(shù)矩陣。

圖7.8給出了從MPEG-4“幀內(nèi)”塊中量化系數(shù)的典型塊。量化塊的結(jié)構(gòu)基本具有這個特性：量化后比較少的非零系數(shù)被保持，且大部分聚集在DCT系數(shù)(0，0)點周圍。

(0，0)點是“DC”系數(shù)，對于重建圖像是最重要的系數(shù)。圖7.8MPEG-4“幀內(nèi)”塊中量化系數(shù)重排量化數(shù)據(jù)的最佳方法依賴于非零系數(shù)的分布。如果原圖像(或運動補償殘差值)數(shù)據(jù)均勻分布在水平或垂直方向(例如，在兩個方向上都沒有更強圖像特征優(yōu)勢)，則重要系數(shù)將趨向于平均分布在矩陣的左上方(圖7.9(a))。在這種情況下，像圖7.9(c)那樣的ZigZag字重排序模式會把非零系數(shù)更有效地排列。圖7.9幀編碼及ZigZag字重排序模式7.3.2哈夫曼編碼

哈夫曼熵編碼將每個輸入符號映射到可變長的碼字，這種類型的編碼器在1952年首先被提出。變長碼字的局限是：它必須包含整數(shù)位，并必須唯一地被解碼。

例：用MPEG-4(短頭信息模式)編碼“Carphone”視頻序列，表7.2列出了在編碼序列中最常出現(xiàn)的運動矢量概率及其內(nèi)容的信息量lb(1/P)。為了達到最佳的壓縮，每個運動矢量值必須用精確的lb(1/P)位來表示。圖7.10以圖形方式說明矢量概率的分布(實線)。表7.2“Carphone”運動矢量的出現(xiàn)概率圖7.10運動矢量概率分布的圖形表示

1.產(chǎn)生哈夫曼編碼樹

對于一個數(shù)據(jù)集合，為產(chǎn)生哈夫曼編碼表，迭代執(zhí)行下面的步驟(忽略在表7.2中沒有出現(xiàn)的任何矢量值)：

(1)以概率增加方式排序數(shù)據(jù)。

(2)把概率最低的兩個數(shù)據(jù)項合并成一個節(jié)點，把數(shù)據(jù)項的聯(lián)合概率分配給此節(jié)點。

(3)重復(fù)步驟(2)，以概率遞增方式重排剩下的數(shù)據(jù)項和節(jié)點。

反復(fù)執(zhí)行這個過程，直到一個單獨的根節(jié)點出現(xiàn)，這個根節(jié)點包括了其他所有的節(jié)點和列在其下的數(shù)據(jù)項，圖7.11說明了這個過程。圖7.11“Carphone”運動矢量的霍夫曼編碼樹

2.編碼

二叉樹的每個葉子被映射為一個VLC，為了找到這個節(jié)點，從根節(jié)點(這里是F)一直到子節(jié)點(數(shù)據(jù)項)遍歷二叉樹，對于每一個分支，設(shè)置0或1。0是上分支，1是下分支(如圖7.11所示最終二叉樹)。這樣就得到如表7.3所示的編碼集。表7.3“Carphone”運動矢量的霍夫曼編碼

3.解碼

為了對數(shù)據(jù)解碼，解碼器必須對哈夫曼樹(或查找表)進行本地備份。為實現(xiàn)這個功能，要傳輸查找表本身，或者發(fā)生數(shù)據(jù)列表及其概率，其次才發(fā)送已編碼的數(shù)據(jù)，這樣才能保證每個可被唯一解碼的碼值可以被閱讀及轉(zhuǎn)化回原數(shù)據(jù)。視頻信號由一系列單獨的幀組成。每一幀可以單獨地被前面描述的圖像編解碼器壓縮，這稱為幀內(nèi)編碼(Intra-frameCoding)，每一幀在“內(nèi)部”進行編碼而沒有參考其他的幀。而消除視頻序列中的冗余信息(連續(xù)視頻幀中的相似性)，可以達到更好的壓縮效果，這可通過給圖像編解碼器增加一個“前后幀”來實現(xiàn)，如圖7.12所示。7.4圖像的差值與矢量預(yù)測圖7.12視頻預(yù)測編碼7.4.1圖像的差值

最簡單的預(yù)測器就是采用前一個傳輸?shù)膸鲄⒖?。圖7.13顯示了在一個視頻序列中用當前幀減去前一幀得到的殘差幀。在殘差幀中，中等灰度區(qū)域的數(shù)據(jù)都是零，淺色和黑色區(qū)域分別表示正的和負的殘差數(shù)據(jù)。圖7.13原幀圖像、當前幀圖像以及殘差幀圖像7.4.2圖像的矢量預(yù)測

下面舉例說明解碼器處理幀間預(yù)測可能存在的問題。表7.4表示了采用幀間殘差編碼和解碼序列視頻幀所需要的一系列操作。表7.4預(yù)測漂移這個問題的解決方法是編碼器采用解碼的幀來形成預(yù)測。因而上面例子中的編碼器解碼(或重建)幀1來形成對幀2的預(yù)測。編碼器和解碼器采用相同的預(yù)測，漂移就可以減少或消除。圖7.14顯示了一個完整的編碼器，為了重建它的預(yù)測參考幀，它包含了一個解碼的“環(huán)”。圖7.14具有解碼環(huán)的編碼圖7.15顯示了一個采用運動補償預(yù)測的視頻編解碼器。

在編碼器中必須增加兩個新的步驟：

(1)運動估計。

(2)運動補償。7.5圖像的運動估計與補償圖7.16顯示了一個殘差幀，它是通過將當前幀(圖7.13)減去前一幀的運動補償來得到的。這個殘差幀比圖7.13中的殘差幀明顯包含更少的數(shù)據(jù)。壓縮率的提高并不是沒有代價的：運動估計可能需要很大的計算量。運動估計算法的設(shè)計對視頻編解碼器的壓縮效果和計算復(fù)雜度具有很重要的影響。圖7.15視頻編解碼器的運動估計和補償圖7.16殘差幀運動估計是根據(jù)先前編碼的一幀或者多幀(參考幀)數(shù)據(jù)產(chǎn)生了當前幀的一個模型。在圖7.17中，運動估計模塊通過修改一個或者多個參考幀建立一個當前幀的模型，通過對當前幀進行運動補償，以達到盡可能逼近匹配當前幀(依據(jù)一個匹配原則)。同時，編碼后的殘差數(shù)據(jù)被解碼并加到這個模型上，從而產(chǎn)生當前幀的一個解碼版本(它不一定與原始幀完全相同，因為存在編碼損失)。這個重建幀在編碼端被存儲起來以用于將來作預(yù)測用的參考幀。圖7.17運動估計和補償?shù)目驁D殘差幀(或者稱移位幀差值，DFD)被編碼和傳輸，一起編碼和傳輸?shù)倪€有其他的額外信息(例如運動矢量)，解碼器重建模型時需要這些信息。當編碼的DFD的大小和編碼的輔助信息尺寸最小時，就達到了最好的壓縮性能。運動補償之后的DFD大小與DFD中的殘余能量有關(guān)。圖7.18顯示了一個原幀、一個當前幀和一個沒有經(jīng)過運動補償?shù)臍埐顜?DFD)圖像。圖7.18原幀、當前幀及沒有經(jīng)過運動補償?shù)臍埐顜瑘D像圖7.19解釋了塊匹配的過程。當前塊(圖中是3×3個像素)如左邊所示，這個塊與參考幀中相同位置的塊(如中心的黑線所示)和緊接著的臨近位置(每個方向正負一個像素)作比較。

表7.5中列出了每個搜索位置的MSE值，而圖7.20則以圖像的形式表示了這些差值。在9個候選位置中，(-1，-1)的MSE最小，因此這個位置是最好的匹配。在這個例子中，當前塊的最好模型(就是最好預(yù)測)是以位置(-1，-1)為中心的3×3區(qū)域。圖7.19當前3×3塊以及5×5參考區(qū)域表7.5塊匹配例子的MSE計算數(shù)值圖7.20塊匹配例子MSE的圖形例子圖7.21顯示了對圖7.18中圖像幀的每個16×16塊(宏塊)進行運動估計之后產(chǎn)生的運動矢量。多少矢量對應(yīng)于運動，女孩和自行車向左移，所以運動矢量指向右(也就是物體移來的區(qū)域)。在中心有一個反常的矢量(它大于其他的矢量，沿對角線指向上)。這個矢量不對應(yīng)真實的運動，它只表示在這個位置上有最佳的匹配。圖7.21

16×16塊的運動矢量

1．比較原則

2．參考幀的選擇

3．前向預(yù)測

4．后向預(yù)測

5．雙向預(yù)測

6．多個參考幀

圖7.22揭示了上面講到的各種預(yù)測方法，包括應(yīng)用過去幀和將來幀進行前向預(yù)測和后向預(yù)測。圖7.22