第二章多媒體數(shù)據(jù)壓縮編碼技術(shù)

第2章多媒體數(shù)據(jù)壓縮編碼技術(shù)多媒體數(shù)據(jù)壓縮編碼的重要性和分類壓縮編碼基礎(chǔ)靜態(tài)圖像壓縮標(biāo)準(zhǔn)JPEG運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)MPEG2.1多媒體數(shù)據(jù)

數(shù)據(jù)壓縮是通過減少計(jì)算機(jī)中所存儲(chǔ)數(shù)據(jù)或者通信傳播中數(shù)據(jù)的冗余度，達(dá)到增大數(shù)據(jù)密度，最終使數(shù)據(jù)的存儲(chǔ)空間減少的技術(shù)。壓縮編碼的重要性和分類2.1.1數(shù)據(jù)壓縮編碼的必要性

多媒體數(shù)據(jù)，其驚人的數(shù)據(jù)量為媒體的存儲(chǔ)、傳輸及處理帶來了巨大的壓力。為解決這一問題，單純用擴(kuò)大存儲(chǔ)容量、增加傳輸線路帶寬的辦法是不現(xiàn)實(shí)的。因此，在多媒體的應(yīng)用系統(tǒng)中，一定要對聲音、圖像等多媒體信號(hào)進(jìn)行壓縮。2.1.2數(shù)據(jù)壓縮的可能性

多媒體數(shù)據(jù)表示中存在著大量的冗余,以圖像數(shù)據(jù)壓縮為例，圖像信息冗余通常有以下幾種情況：

（1）空間冗余。在很多圖像數(shù)據(jù)中，像素間在行、列方向上都有很大的相關(guān)性，相鄰像素的值比較接近，或者完全相同，這種數(shù)據(jù)冗余叫做空間冗余。（2）時(shí)間冗余。在視頻圖像序列中，相鄰兩幀圖像數(shù)據(jù)有許多共同的地方，這種共同性稱為時(shí)間冗余，可采用運(yùn)動(dòng)補(bǔ)償算法來去掉冗余信息.2.1.2數(shù)據(jù)壓縮的可能性

（3）視覺冗余。視覺冗余度是相對于人眼的視覺特性而言的，人類視覺系統(tǒng)對圖像的敏感性是非均勻和非線性的，并不是圖像中的所有變化人眼都能觀察到。（4）信息熵冗余。信息熵是指一組數(shù)據(jù)所攜帶的信息量，信息熵冗余指數(shù)據(jù)所攜帶的信息量少于數(shù)據(jù)本身而反映出來的數(shù)據(jù)冗余。（5）結(jié)構(gòu)冗余。在有些圖像的紋理區(qū)，圖像的像素值存在著明顯的分布模式。（6）知識(shí)冗余。有許多圖像的理解與某些先驗(yàn)知識(shí)有相當(dāng)大的相關(guān)性。這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到，稱此類冗余為知識(shí)冗余。2.1.3數(shù)據(jù)壓縮方法的分類圖2-1常用壓縮編碼方法的分類2.2多媒體數(shù)據(jù)壓縮編碼基礎(chǔ)

數(shù)據(jù)壓縮是通過消除輸入數(shù)據(jù)序列（原始數(shù)據(jù)序列）中的冗余性，將它變換成較短的輸出數(shù)據(jù)序列（壓縮數(shù)據(jù)序列）的技術(shù)。如果將壓縮數(shù)據(jù)序列與原始數(shù)據(jù)序列長度之比定義為壓縮比，盡量減小數(shù)據(jù)壓縮的壓縮比則是進(jìn)行數(shù)據(jù)壓縮的根本目的。2.2.1

量化

量化操作實(shí)質(zhì)上是將連續(xù)的模擬信號(hào)采樣得到的瞬時(shí)幅度值映射成離散的數(shù)字信號(hào)，即用一組規(guī)定的電平，把瞬時(shí)抽樣值用最接近的電平值來表示。2.2.1

量化1.量化位數(shù)

量化位數(shù)是每個(gè)采樣點(diǎn)能夠表示的數(shù)據(jù)范圍，常用的有8位、12位和16位。量化過程是，先將整個(gè)幅值劃分為有限個(gè)小幅度（量化階距）的集合，把落入某個(gè)階距內(nèi)的樣值歸為一類，并賦予相同的量化值，如圖2-2所示，其中虛線箭頭表示采樣值量化后的電平值。2.2.1量化圖2-2模擬信號(hào)的采樣和量化2.2.1

量化2.均勻量化

采用相等的量化間隔對采樣得到的信號(hào)做量化就是均勻量化,也稱為線性量化。量化后的樣本值Y和實(shí)際值X的差E=Y-X稱為量化誤差或量化噪聲。2.2.1

量化3.非均勻量化

非均勻量化的基本思想是，對輸入信號(hào)進(jìn)行量化時(shí)，大的輸入信號(hào)采用大的量化間隔，小的輸入信號(hào)采用小的量化間隔，這樣就可以在滿足精度要求的情況下用較少的位數(shù)來表示。聲音數(shù)據(jù)還原時(shí)，采用相同的規(guī)則。

2.2.2莫爾斯碼

莫爾斯碼即電報(bào)碼，它采用“·”和“-”來表示26個(gè)英文字母。采用常出現(xiàn)的字母用短碼表示（如E用“·”表示，T用“-”表示），不常出現(xiàn)的字母用長碼表示（如Q用“--·-”表示，X用“-··-”表示）的變長編碼方式以減少碼率。

2.2.3哈夫曼編碼

該算法基于一種稱為編碼樹的技術(shù)，其步驟如下：（1）將待編碼的N個(gè)信源符號(hào)按照出現(xiàn)的概率由大到小排列，給排在最后的兩個(gè)符號(hào)各分配一位二進(jìn)制碼元，對其中概率大的符號(hào)分配0，概率小的符號(hào)分配1（反之亦可）。（2）把概率最小的兩個(gè)符號(hào)概率相加，求出的和作為一個(gè)新符號(hào)的概率，將新的概率值與剩下的N-2個(gè)概率值一起重新進(jìn)行排序，再重復(fù)步驟（1）的編碼過程。（3）重復(fù)步驟（2）直到只剩一個(gè)概率值為止，其值為1。（4）分配碼字，對于各種信源符號(hào)，基于步驟（1）分配的數(shù)字，從編碼樹的根部開始回溯讀出，并將它作為該符號(hào)對應(yīng)分配的碼字。2.2.3哈夫曼編碼

例設(shè)有離散無記憶信源，符號(hào)a1、a2、a3、a4、a5、a6的出現(xiàn)概率分別為0.12、0.08、0.4、0.1、0.25、0.05，其哈夫曼編碼過程如下：

2.2.3哈夫曼編碼平均碼長為：

信源熵為：

編碼效率為：2.2.3哈夫曼編碼采用哈夫曼編碼時(shí)有兩個(gè)問題值得注意：（1）哈夫曼編碼沒有錯(cuò)誤保護(hù)功能。在譯碼時(shí)，如果某些位出現(xiàn)錯(cuò)誤，會(huì)引起一連串的錯(cuò)誤，造成錯(cuò)誤傳播（ErrorPropagation）。計(jì)算機(jī)對這種錯(cuò)誤也無能為力，說不出錯(cuò)在哪里，更談不上去糾正它。（2）哈夫曼編碼是可變長度碼，因此很難隨意查找或調(diào)用壓縮文件中的內(nèi)容，然后再譯碼，這就需要在存儲(chǔ)代碼之前加以考慮。盡管如此，哈夫曼編碼還是得到了廣泛的應(yīng)用。2.2.4行程長度編碼

行程長度編碼（Run-LengthEncoding，RLE）也稱游程編碼，是一種非常簡單的數(shù)據(jù)壓縮編碼形式。它基于簡單的編碼數(shù)據(jù)原則，即重復(fù)的數(shù)據(jù)值序列（或稱為流）用一個(gè)重復(fù)次數(shù)和單個(gè)數(shù)據(jù)值來代替。這里，重復(fù)的次數(shù)稱為“游程”?？刂品貜?fù)次數(shù)被重復(fù)字符圖2-33字節(jié)碼字格式2.2.5預(yù)測編碼1.差值脈沖編碼調(diào)制（DPCM）

設(shè)二維圖像上空間坐標(biāo)為（i，j）的像素的實(shí)際樣本值為f（i，j），f’（i，j）是根據(jù)已傳輸?shù)南噜徬袼氐臉颖局祵υ撓袼毓浪愕玫降念A(yù)測值。實(shí)際值和預(yù)測值之間的差值即預(yù)測誤差，用下式來表示：e（i，j）=f（i，j）-f’（i，j）由于圖像像素之間有極強(qiáng)的相關(guān)性，所以這個(gè)預(yù)測誤差是很小的。編碼時(shí)，是對預(yù)測誤差e（i，j）進(jìn)行量化、編碼、發(fā)送，由此而得名為差值脈沖編碼調(diào)制法（DPCM）。2.2.5預(yù)測編碼圖2-4DPCM編、解碼原理圖2.2.5預(yù)測編碼2.自適應(yīng)差值脈沖編碼調(diào)制（ADPCM）

其基本思想是：利用自適應(yīng)的思想改變量化階的大小，即使用小的量化階(step-size)去編碼小的差值，使用大的量化階去編碼大的差值；使用過去的樣本值估算下一個(gè)輸入樣本的預(yù)測值，使實(shí)際樣本值和預(yù)測值之間的差值總是最小。其簡化的編碼框圖如圖2-5所示。2.2.5預(yù)測編碼圖2-5ADPCM簡化的編碼框圖2.2.5預(yù)測編碼3.幀間預(yù)測編碼

采用預(yù)測編碼方法消除序列圖像在時(shí)間上的相關(guān)性，傳送前后兩幀的對應(yīng)像素之間的差值，這稱為幀間預(yù)測。

圖2-6具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測2.2.6矢量量化

在矢量量化編碼中，是把輸入數(shù)據(jù)幾個(gè)一組地分成許多組，成組地量化編碼，即將這些數(shù)看成一個(gè)k維矢量，然后以矢量為單位逐個(gè)矢量進(jìn)行量化。矢量量化一般是限失真編碼。輸入矢量X是一個(gè)待編碼的k維矢量，該矢量原則上既可以是原始圖像，也可以是圖像的預(yù)測誤差或變換矩陣系數(shù)的分塊（或稱分組）。碼本C是一個(gè)具有N個(gè)k維矢量的集合，C={Yi}，i=1，2，…N，2.2.6矢量量化

矢量編碼的過程就是在碼本C中搜索一個(gè)與輸入矢量最接近的碼字Yi的過程。在碼本中尋找到與輸入矢量完全一致的碼字的概率很小，但只要二者之間誤差最小時(shí)，便可用該碼字Yi代表輸入矢量。傳輸時(shí)并不傳送碼字Yi本身，只傳送其下標(biāo)“i”。當(dāng)碼本長度為N，，為傳送下標(biāo)所需要的比特?cái)?shù)為log2N。傳送一個(gè)像素所需要的平均比特?cái)?shù)為log2N。2.2.6矢量量化圖2-7矢量量化編碼解碼框圖2.2.7變換編碼

變換編碼也是去除冗余的一種最基本的編碼方法。不同的是變換編碼首先要把壓縮的數(shù)據(jù)變換到某個(gè)變換域中（如頻域），然后再進(jìn)行編碼。變化域中表現(xiàn)為能量集中在某個(gè)區(qū)域，可以利用這一特點(diǎn)在不同區(qū)域間有效地分配量化比特?cái)?shù)，或者去掉那些能量很小的區(qū)域，從而達(dá)到數(shù)據(jù)壓縮的目的。例如聲音信號(hào)，從時(shí)域變換到頻域以后，可以清楚的看到能量集中在哪些頻率范圍內(nèi)，從而根據(jù)頻率范圍分布有效地分配不同的量化位數(shù)。2.3靜態(tài)圖像壓縮標(biāo)準(zhǔn)JPEG

JPEG（JointPhotographicExpertsGroup）是聯(lián)合圖像專家小組的英文縮寫，這個(gè)專家組是由國際電報(bào)電話咨詢委員會(huì)（CCITI）和國際標(biāo)準(zhǔn)化協(xié)會(huì)（ISO）于1986年聯(lián)合組成負(fù)責(zé)制定靜態(tài)的數(shù)字圖像數(shù)據(jù)壓縮編碼方法，這個(gè)專家組開發(fā)的算法稱為JPEG算法，并于1991年正式成為國際標(biāo)準(zhǔn)，編號(hào)為ISO/IEC10918，現(xiàn)常稱為JPEG標(biāo)準(zhǔn)。JPEG是一個(gè)使用范圍很廣的靜態(tài)圖像數(shù)據(jù)壓縮標(biāo)準(zhǔn)，既可用于灰度圖像又可用于彩色圖像。2.3.1JPEG壓縮算法簡介JPEG的目的是為了給出一個(gè)連續(xù)色調(diào)圖像的壓縮方法使之滿足以下要求：(1)壓縮比可控:能覆蓋一個(gè)較寬的圖像質(zhì)量等級(jí)范圍，能達(dá)到“很好”到“極好”的評(píng)估，與原始圖像相比，人的視覺難以區(qū)分。(2)不受限制:適用于所有的連續(xù)色調(diào)圖像，不應(yīng)對圖像的尺寸、彩色空間和像素縱橫比等特性進(jìn)行限制，也不應(yīng)對圖像的場景內(nèi)容(如復(fù)雜性、彩色范圍或統(tǒng)計(jì)特性)有任何限制。(3)適中的計(jì)算復(fù)雜性:壓縮算法既可用軟件實(shí)現(xiàn)，也可用硬件實(shí)現(xiàn)，并具有較好的性能。(4)具有順序編碼、累進(jìn)編碼、無失真編碼和層次編碼4種操作模式。2.3.2JPEG壓縮基本處理算法1.分塊采樣

JPEG壓縮首先要對連續(xù)彩色圖像的每一幀中的亮度信號(hào)（Y）和色差（CR、CB）信號(hào)進(jìn)行單獨(dú)采樣。采樣時(shí)，首先將圖像分割成許多16×16個(gè)采樣點(diǎn)構(gòu)成的宏區(qū)塊，將宏區(qū)塊再分成4部分，每一部分為8×8個(gè)采樣點(diǎn)組成的像塊，像塊是基于DCT壓縮編碼處理的最小單位，DCT變換就是以像塊為單位的。2.3.2JPEG壓縮基本處理算法2.3.2JPEG壓縮基本處理算法2.DCT變換

DCT是英文DiscreteCosineTransform的縮寫，意思是離散余弦變換。它是一種傅立葉變換，任何連續(xù)的實(shí)對稱函數(shù)采用傅立葉變換后，只含余弦項(xiàng)。在空間域中的樣值矩陣，經(jīng)DCT變換后，成了頻率域中8×8DCT系數(shù)矩陣。頻域中的右下角對應(yīng)高頻部分，而在左上角對應(yīng)低頻部分，其中左上角（0，0）位置的系數(shù)反映圖像子塊的平均樣本值，對應(yīng)直流分量，稱為DC系數(shù)。其他63個(gè)對應(yīng)交流分量的系數(shù)，稱為AC系數(shù)。2.3.2JPEG壓縮基本處理算法DCT變換公式為：正變換：逆變換：其中：DC系數(shù)：2.3.2JPEG壓縮基本處理算法3.DCT系數(shù)量化

經(jīng)過DCT變換后，DCT系數(shù)間的相關(guān)性已經(jīng)顯現(xiàn)出來，即左上角的系數(shù)值大，而右下角的系數(shù)值小，為數(shù)據(jù)壓縮創(chuàng)造了必要條件。但這種相關(guān)性還不是十分明顯，要最終實(shí)現(xiàn)數(shù)據(jù)壓縮，還需要進(jìn)一步降低非零系數(shù)的幅值，增加零值系數(shù)的數(shù)量，從而進(jìn)一步提高F矩陣的相關(guān)性。為此還要對變換后的DCT系數(shù)進(jìn)行量化，來減少表示每個(gè)DCT系數(shù)所使用的位數(shù)，另外可以增加零值系數(shù)，提高壓縮比。2.3.2JPEG壓縮基本處理算法表2-1亮度量化表表2-2色度量化表2.3.2JPEG壓縮基本處理算法

對DCT系數(shù)的量化是基于限失真編碼理論進(jìn)行的，量化是造成圖像質(zhì)量下降的最主要的原因。其作用是在一定的主觀保真度圖像質(zhì)量的前提下，丟掉那些對視覺效果影響不大的信息，失真度在人的視覺所能接受的容限之內(nèi)。2.3.2JPEG壓縮基本處理算法4.DC系數(shù)差值編碼和AC系數(shù)的行程編碼

量化后的64個(gè)DCT系數(shù)仍然是二維系數(shù)矩陣，坐標(biāo)（0，0）處的系數(shù)是直流分量，相鄰兩個(gè)8×8像塊之間的DC系數(shù)有強(qiáng)相關(guān)性，JPEG中對DC系數(shù)采用DPCM編碼，即對相鄰塊之間的DC系數(shù)差值DIFF=DCi-DCi-1進(jìn)行編碼。其余63個(gè)交流系數(shù)采用行程編碼，使用Z字形掃描方式可以增加連續(xù)零系數(shù)的個(gè)數(shù)，也就是增加零值的游程長度。圖2-9為Z字形掃描軌跡圖。從左上方AC01開始，沿對角線方向，直到AC77掃描結(jié)束。63個(gè)AC系數(shù)行程編碼的碼字，可用2個(gè)字節(jié)來表示，如圖2-10所示。2.3.2JPEG壓縮基本處理算法圖2-9Z字形掃描2.3.2JPEG壓縮基本處理算法圖2-10AC系數(shù)行程編碼的碼字2.3.2JPEG壓縮基本處理算法5.熵編碼

為了進(jìn)一步壓縮數(shù)據(jù)，對DPCM編碼后的直流系數(shù)DC和RLE編碼后的交流系數(shù)AC采用熵編碼。在JPEG有損壓縮算法中，使用哈夫曼編碼器的理由是可以使用很簡單的查表方法進(jìn)行編碼。壓縮數(shù)據(jù)符號(hào)時(shí)，哈夫曼編碼器對出現(xiàn)頻率比較高的符號(hào)分配比較短的代碼，而對出現(xiàn)頻率低的符號(hào)分配比較長的代碼。這種可變長度的哈夫曼編碼表可以事先進(jìn)行定義。為了實(shí)現(xiàn)正確解碼，發(fā)送端和接收端必須采用相同的哈夫曼編碼表。2.4運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)MPEG

MPEG（MovingPictureExpertGroup，活動(dòng)圖像專家組）是在1988年由ISO（InternationalOrganizationforStandardization，國際標(biāo)準(zhǔn)化組織）和IEC（InternationalElectrotechnicalCommission，國際電工委員會(huì)）聯(lián)合成立的專家組，其任務(wù)是負(fù)責(zé)制訂適用于數(shù)字存儲(chǔ)媒介、電視廣播和通信等應(yīng)用場合的視頻和音頻數(shù)據(jù)的壓縮編碼標(biāo)準(zhǔn)。這個(gè)專家組開發(fā)的標(biāo)準(zhǔn)稱為MPEG標(biāo)準(zhǔn)。

2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法

MPEG運(yùn)動(dòng)圖像壓縮編碼算法基于運(yùn)動(dòng)補(bǔ)償和DCT算法。其基本思想和方法可以歸納為兩點(diǎn)：①在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG壓縮算法來去掉冗余信息。②在時(shí)間方向上，圖像數(shù)據(jù)壓縮采用運(yùn)動(dòng)補(bǔ)償算法來去掉冗余信息。2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法

為了保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，在MPEG中將圖像分為3種類型：幀內(nèi)圖像I（IntraPicture）、預(yù)測圖像P（PredictedPicture）和雙向預(yù)測圖像B（BidirectionalPicture）。2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法

幀內(nèi)圖像I不參考任何過去的或者是將來的其他圖像幀，壓縮編碼采用類似JPEG壓縮算法。I幀圖像的壓縮比相對較低。I幀圖像提供了隨機(jī)存取的插入點(diǎn)，另外I幀圖像可作為B幀和P幀圖像的預(yù)測參考幀。I幀圖像是周期性出現(xiàn)在視頻序列中的，出現(xiàn)頻率可由編碼器選擇。2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法

預(yù)測圖像P利用相鄰幀的一般統(tǒng)計(jì)信息進(jìn)行預(yù)測。也就是說,它考慮運(yùn)動(dòng)特性,提供幀間編碼。P幀預(yù)測當(dāng)前幀與前面最近的I幀或P幀的差別，在預(yù)測中使用了運(yùn)動(dòng)補(bǔ)償算法，所以P幀圖像的壓縮比相對較高。2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法

圖像B是雙向預(yù)測內(nèi)插幀，它既用已傳輸?shù)脑谝曨l序列中處于該幀前的I幀或P幀作預(yù)測參考幀，進(jìn)行前向運(yùn)動(dòng)補(bǔ)償預(yù)測；又用后面的P幀作預(yù)測參考幀，進(jìn)行后向運(yùn)動(dòng)補(bǔ)償預(yù)測。但B幀不能用來作為對其他幀進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測的參考幀。2.4.1運(yùn)動(dòng)圖圖像壓縮編碼的基本方法一個(gè)典型的MPEG圖像排列如圖2-11所示。圖2-11典型的MPEG圖像幀排列2.4.2MPEG系列標(biāo)準(zhǔn)1.MPEG-1標(biāo)準(zhǔn)MPEG-1的標(biāo)準(zhǔn)名稱為“信息技術(shù)——用于數(shù)據(jù)速率高達(dá)大約1.5

Mbit/s的數(shù)字存儲(chǔ)媒體的電視圖像和伴音編碼”，由如下五個(gè)部分組成：（1）MPEG-1系統(tǒng)（2）MPEG-1視頻

（3）MPEG-1聲音

（4）MPEG-1一致性測試（5）MPEG-1軟件模擬2.4.2MPEG系列標(biāo)準(zhǔn)2.MPEG-2數(shù)字電視標(biāo)準(zhǔn)

MPEG-2標(biāo)準(zhǔn)是針對標(biāo)準(zhǔn)數(shù)字電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細(xì)規(guī)定，標(biāo)準(zhǔn)的正