多媒體數(shù)據(jù)壓縮的基本技術(shù)

1、多媒體數(shù)據(jù)壓縮的基本技術(shù)第1頁，共72頁，2022年，5月20日，13點54分，星期二壓縮的必要性類型帶寬KHZ采樣率KHZ比特/樣點比特率kb/s電話語音0.23.481296寬帶語音0.0571614224調(diào)頻廣播0.02 153216512CD光盤0.01 2044.116705.6DAB/DAT0.01 204816768AUDIO第2頁，共72頁，2022年，5月20日，13點54分，星期二類型格式分辨率幀頻HZ比特/像素比特率Mb/s電視電話QCIF17614429.97129.1會議電視CIF35228829.971236.4常規(guī)電視ITU-R6017205762516165.9

2、HDTVITU-R709192011522516884.7VIDEO第3頁，共72頁，2022年，5月20日，13點54分，星期二數(shù)據(jù)壓縮可分為兩類：無損壓縮有損壓縮無損壓縮是指壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)（還原，解壓縮），重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同。有損壓縮是指壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達(dá)信息的理解。第4頁，共72頁，2022年，5月20日，13點54分，星期二多媒體數(shù)據(jù)壓縮的理論依據(jù)信息論 現(xiàn)在科學(xué)領(lǐng)域中的一個重要分支 Shannon所創(chuàng)立的信息論對數(shù)據(jù)壓縮有極為重要的指導(dǎo)意義 給出了數(shù)據(jù)壓縮的理論極限 指明了數(shù)據(jù)壓縮的技術(shù)途徑 為通信技術(shù)的

3、發(fā)展奠定了理論基礎(chǔ)第5頁，共72頁，2022年，5月20日，13點54分，星期二兩個基本概念：熵和信源熵 Entropy(熵)的概念 ：(1) 熵是信息量的度量方法，它表示某一事件出現(xiàn)的消息越多，事件發(fā)生的可能性就越小，數(shù)學(xué)上就是概率越小。(2) 某個事件的信息量用 Ii = -log2Pi 表示 ， 其中Pi為第 i 個事件的概率 第6頁，共72頁，2022年，5月20日，13點54分，星期二信源熵的定義 其中 P i 是符號 S i 在 S 中出現(xiàn)的概率，表示包含在 Si 的信息量，也就是編碼 Si 所需要的位數(shù) 例如，一幅用256級灰度表示的圖像，如果每一個象素點灰度的概率均為 Pi =

4、 1/256 ，編碼每一個象素點就需要8位。 第7頁，共72頁，2022年，5月20日，13點54分，星期二無損編碼定理離散信源X無損編碼所能達(dá)到的最小速率不能低于該信源的信源熵，即：第8頁，共72頁，2022年，5月20日，13點54分，星期二信源編碼定理（有損編碼定理）對于給定的信源，在允許一定的失真D情況下，存在一率失真函數(shù)R(D)，當(dāng)編碼速率R不低于R(D)時，編碼失真能夠不大于D。 R(D)一般不容易計算 該定理沒有給出編碼方法 第9頁，共72頁，2022年，5月20日，13點54分，星期二熵編碼（保熵編碼 、無損壓縮 ）定長編碼香農(nóng)-范諾(Shannon- Fano)編碼霍夫曼編碼

5、 算術(shù)編碼Ziv-Lempel編碼（70年代末J.Ziv和A.Lempel） 行程編碼（Run Length Encoding，RLE）第10頁，共72頁，2022年，5月20日，13點54分，星期二舉例說明：有一幅40個象素組成的灰度圖像，灰度共有5級，分別用符號A、B、C、D和E表示，40個象素中出現(xiàn)灰度A的象素數(shù)有15個，出現(xiàn)灰度B的象素數(shù)有7個，出現(xiàn)灰度C的象素數(shù)有7個等等，如右邊所示。如果用3個位表示5個等級的灰度值（定長編碼），也就是每個象素用3位表示，編碼這幅圖像總共需要120位。 符號出現(xiàn)的次數(shù)ABCDE157765第11頁，共72頁，2022年，5月20日，13點54分，星期

6、二就是說每個符號用2.196位表示，40個象素需用87.84位 按照信息論理論，這幅圖像的熵為:第12頁，共72頁，2022年，5月20日，13點54分，星期二香農(nóng)-范諾(Shannon- Fano) 編碼按照符號出現(xiàn)的頻度或概率排序，然后使用遞歸方法分成兩個部分，每一部分具有近似相同的次數(shù)。 Shannon(1948年)和Fano(1949年)最早闡述和實現(xiàn)這種編碼，因此被稱為香農(nóng)-范諾(Shannon- Fano)算法。這種方法采用從上到下的方法進(jìn)行編碼。第13頁，共72頁，2022年，5月20日，13點54分，星期二香農(nóng)-范諾編碼舉例第14頁，共72頁，2022年，5月20日，13點54

7、分，星期二符號出現(xiàn)次數(shù)（pi）log2(1/pi)分配的代碼需要的位數(shù)A15（0.375）1.41500030B7（0.175）2.51450114C7（0.175）2.51451014D6（0.150）2.736911018E5（0.125）3.000011115上例按照香農(nóng)范諾算法的編碼結(jié)果編碼后的位數(shù) 30 14 14 18 15 91 （位）第15頁，共72頁，2022年，5月20日，13點54分，星期二霍夫曼編碼 霍夫曼(Huffman)在1952年提出了一種編碼方法，是從下到上的編碼方法。 基本思想是：對于出現(xiàn)概率較大的符號取較短的碼長，而對概率較小的符號取較長的碼長。 是一種變長

8、碼 ，霍夫曼碼通常被稱為最優(yōu)碼 第16頁，共72頁，2022年，5月20日，13點54分，星期二仍以上一個例子說明它的編碼步驟：1.初始化，根據(jù)符號概率的大小按由大到小順序?qū)Ψ栠M(jìn)行排序2. 把概率最小的兩個符號組成一個節(jié)點，D和E組成節(jié)點P1 3.重復(fù)步驟2，得到節(jié)點P2、P3和P4，形成一棵“樹”，其中的P4稱為根節(jié)點 4.從根節(jié)點P4開始到相應(yīng)于每個符號的“樹葉”，從上到下標(biāo)上“0”(上枝)或者“1”(下枝)，至于哪個為“1”哪個為“0”則無關(guān)緊要，最后的結(jié)果僅僅是分配的代碼不同，而代碼的平均長度是相同的。 5.從根節(jié)點P4開始順著樹枝到每個葉子分別寫出每個符號的代碼第17頁，共72頁，

9、2022年，5月20日，13點54分，星期二B（0.175）C（0.175）A（0.375）D（0.150）E（0.125）11110000P1P2P3P4第18頁，共72頁，2022年，5月20日，13點54分，星期二上例按照霍夫曼編碼的結(jié)果（總共90位 ）符號出現(xiàn)次數(shù)（pi）log2(1/pi)分配的代碼需要的位數(shù)A15（0.375）1.4150015B7（0.175）2.514510021C7（0.175）2.514510121D6（0.150）2.736911018E5（0.125）3.000011115第19頁，共72頁，2022年，5月20日，13點54分，星期二霍夫曼碼的碼長雖然

10、是可變的，但卻不需要另外附加同步代碼。例如，碼串中的第1位為0，那末肯定是符號A，因為表示其他符號的代碼沒有一個是以0開始的，因此下一位就表示下一個符號代碼的第1位。同樣，如果出現(xiàn)“110”，那么它就代表符號D。如果事先編寫出一本解釋各種代碼意義的“詞典”，即碼簿，那么就可以根據(jù)碼簿一個碼一個碼地依次進(jìn)行譯碼。 第20頁，共72頁，2022年，5月20日，13點54分，星期二采用霍夫曼編碼時需要注意的問題：霍夫曼碼沒有錯誤保護功能，在譯碼時，如果碼串中沒有錯誤，那么就能一個接一個地正確譯出代碼。但如果碼串中有錯誤，哪怕是1位出現(xiàn)錯誤，不但這個碼本身譯錯，更糟糕的是一錯一大串，全亂了套，這種現(xiàn)象

11、稱為錯誤傳播(error propagation)。計算機對這種錯誤是無能為力的，說不出錯在哪里，更談不上去糾正它。 霍夫曼碼是可變長度碼，因此很難隨意查找或調(diào)用壓縮文件中間的內(nèi)容，然后再譯碼，這就需要在存儲代碼之前加以考慮 。第21頁，共72頁，2022年，5月20日，13點54分，星期二量化量化是將具有連續(xù)幅度值的輸入信號轉(zhuǎn)換到只有有限個幅度值的輸出信號的過程。 標(biāo)量量化均勻量化非均勻量化對數(shù)量化自適應(yīng)量化矢量量化第22頁，共72頁，2022年，5月20日，13點54分，星期二標(biāo)量量化 標(biāo)量量化對信號的每個樣點分別量化 連續(xù)信號的量化過程是將給定的連續(xù)信號幅度值x變成 有限個離散幅度值集合

12、中的一個值y的過程數(shù)學(xué)描述： 對取值連續(xù)的無限集合x，通過變換Q映射到一個只有L個離散值集合yk,k=1,2,L上第23頁，共72頁，2022年，5月20日，13點54分，星期二量化器 Q 輸入 x 落入:時, 量化器輸出為 yk , 即:其中 xk 稱作分層電平或判決電平，yk 稱作量化電平或重建電平。共有L1個分層電平和L個量化電平，要用 R 比特表示。 其中：第24頁，共72頁，2022年，5月20日，13點54分，星期二輸入輸出特性曲線（量化器量化特性） 第25頁，共72頁，2022年，5月20日，13點54分，星期二量化誤差（量化噪聲） 對于確定信號x，q也是確定信號；對于語音、圖象

13、等隨機信號，q也是隨機信號。設(shè)x的概率分布密度函數(shù)是px(x)，q的概率分布密度為pq(x)，則q的均方值為：量化誤差的方差同 px(x) 、xk、yk及L都有關(guān)。那么問題就轉(zhuǎn)化成為在給定px(x)和L的前提下，如何確定xk、yk，使量化誤差功率（方差）最?。康?6頁，共72頁，2022年，5月20日，13點54分，星期二1均勻量化各量化區(qū)間相等 設(shè)量化器量化范圍是-V到+V，則 量化電平取各量化區(qū)間中點 在這里我們只討論輸入信號幅度受限情況： 量化誤差:第27頁，共72頁，2022年，5月20日，13點54分，星期二當(dāng)L足夠大,即足夠小，近似有為均勻分布，類似白噪聲，也稱顆粒噪聲只同L，V有

14、關(guān)，同信號幅度概率分布及輸入功率都無關(guān), 定義：用分貝表示：第28頁，共72頁，2022年，5月20日，13點54分，星期二 量化器每增加一個比特，SNR提高約6db SNR與2x有關(guān)，即與信號大小和幅度概率分布有關(guān) 臨界過載時SNR達(dá)最大值均勻分布信號：正弦信號：臨界過載時 語音為非平穩(wěn)隨機信號，電話語音電平變化超過40db。對小信號電平輸入，SNR應(yīng)保證約2030db，即最大SNR需6070db，均勻量化器要1113比特。第29頁，共72頁，2022年，5月20日，13點54分，星期二2非均勻量化 均勻量化簡單、易實現(xiàn)，但量化器特性曲線同輸入信號幅度概率密度函數(shù)不匹配，采用非均勻量化可解決

15、此問題，使量化效果更好。 給定信號幅度概率分布密度，求解最佳分層電平和最佳量化電平。 兩種求解方法：迭代求解，大R值近似求解。第30頁，共72頁，2022年，5月20日，13點54分，星期二（1）最佳非均勻量化器的迭代求解方法Lloyd 和Max提出，通常稱勞依得-麥克思(Lloyd-Max)量化器，適用于L為任意值 由為使上式達(dá)最小，分別對各分層電平和量化電平求偏導(dǎo)，并令其為零： 第31頁，共72頁，2022年，5月20日，13點54分，星期二將量化噪聲公式代入上兩式可以得到有：以及：因此有：第32頁，共72頁，2022年，5月20日，13點54分，星期二 最佳分層電平應(yīng)取兩個相鄰重建電平中

16、點 最佳重建電平處于量化間隔概率質(zhì)心上 一般情況下(L3)，求解需要使用迭代方法，其步驟如下所述：A 選初始值y1，由式（2）求出x2；B 根據(jù)y1，x2由式（1）求出y2；C 根據(jù)y2,x2，由式（2）求出x3。重復(fù)以上步驟，求出x2,x3,xL和y1,y2,yL。然后將xL及xL+1= 代入（2）式右端求出值，看此值是否很接近已求出的yL。若不接近，則根據(jù)偏差調(diào)整y1的初值，重復(fù)以上過程，直到偏差滿足給定的容差。第33頁，共72頁，2022年，5月20日，13點54分，星期二（2）大R值非均勻量化器近似求解 對于大R值，L足夠大，可認(rèn)為在每個量化間隔中，輸入信號幅度概率密度近似為固定值在該

17、區(qū)間內(nèi)，信號出現(xiàn)的概率為：并有當(dāng)L值足夠大，可以選V值較大，使 的概率很小，過載噪聲功率可以忽略不計。 這時量化噪聲方差為：第34頁，共72頁，2022年，5月20日，13點54分，星期二最佳量化電平應(yīng)滿足：將（4）式代入上式，得： 最佳量化電平處于相鄰兩個分層電平中心，這是假定每一分層間隔內(nèi)px(x)為均勻分布的必然結(jié)果。將上式代入（4）式可得： 總量化噪聲是各量化間隔產(chǎn)生的量化噪聲概率加權(quán)之和 2q 與分層電平有關(guān)，需進(jìn)行優(yōu)化。 將式（3）代入上式，得：其中:第35頁，共72頁，2022年，5月20日，13點54分，星期二由于:因此：式中 K 為常數(shù)。以上式為約束條件，利用拉格朗日乘子法，

18、有： 求出 代入式（5），解出可得到： 第36頁，共72頁，2022年，5月20日，13點54分，星期二 上式說明各量化間隔內(nèi)產(chǎn)生的量化噪聲功率相等時，總量化噪聲功率最小。 信號概率密度大的區(qū)間，量化間隔應(yīng)該小些；反之，信號概率密度小的區(qū)間，量化間隔應(yīng)該大些。 可通過上式迭代求出各量化間隔，進(jìn)而求出各分層電平。通過引入壓縮特性曲線 可以導(dǎo)出更方便的求解公式。 第37頁，共72頁，2022年，5月20日，13點54分，星期二采用非線性壓縮擴張的非均勻量器非線性壓縮示意圖 第38頁，共72頁，2022年，5月20日，13點54分，星期二將輸入非均勻分層映射成均勻分層，并滿足： 當(dāng)L很大時：有：利用

19、式（3），得：第39頁，共72頁，2022年，5月20日，13點54分，星期二3對數(shù)量化 對數(shù)量化最大信噪比雖然沒有最佳量化器的高，但動態(tài)范圍大，可直接用于語音信號的量化。理想對數(shù)量化壓縮特性為：第40頁，共72頁，2022年，5月20日，13點54分，星期二與輸入信號概率分布無關(guān)。量化噪聲方差為：與輸入信號方差成正比，這時與輸入信號的方差無關(guān)。 第41頁，共72頁，2022年，5月20日，13點54分，星期二 理想對數(shù)壓縮無法實現(xiàn)，x0時c(x)-，將對數(shù)量化特性在x0的小信號區(qū)域進(jìn)行修正。 G.711采用A律和律兩種壓縮特性: 式中A取87.56，取255。實際實現(xiàn)時壓縮曲線分別用13段折

20、線和15段折線近似。第42頁，共72頁，2022年，5月20日，13點54分，星期二4自適應(yīng)量化自適應(yīng)量化根據(jù)輸入信號短時方差，對量階大小進(jìn)行調(diào)整，使量化器與輸入信號電平匹配，進(jìn)一步改善量化效果。 根據(jù)對短時方差估值方法來分，自適應(yīng)量化可分為前向自適應(yīng)量化（AQF）和后向自適應(yīng)量化（AQB）。 AQF估值不受量化噪聲影響，延時大，要傳邊信息。 AQB估值受量化噪聲影響，延時小，不要傳邊信息。 采用自適應(yīng)量化明顯提高分段信噪比。第43頁，共72頁，2022年，5月20日，13點54分，星期二第44頁，共72頁，2022年，5月20日，13點54分，星期二矢量量化矢量量化是先將 K個（K2）個采樣

21、值形成 K維空間 RK 中的一個矢量，然后將這個矢量一次進(jìn)行量化。它可以大大降低數(shù)碼率。 矢量量化總是優(yōu)于標(biāo)量量化的。這是因為矢量量化有效地應(yīng)用了矢量中各分量間的四種相互關(guān)聯(lián)的性質(zhì)：線性依賴性，非線性依賴性，概率函數(shù)的型狀以及矢量數(shù)。 第45頁，共72頁，2022年，5月20日，13點54分，星期二 將NK個信號采樣組成的信源序列 xj中每 K個為一組分為 N個隨機矢量，構(gòu)成信源空間 XX1,X2,XN(X在K維歐氏空間RK中),其中第 J個矢量可記為：再把RK無遺漏地劃分成 L = 2M個互不相交的子空間R1，R2，。，RL，即滿足: 第46頁，共72頁，2022年，5月20日，13點54分

22、，星期二 在每個子空間Ri中找一個代表矢量Yi，令恢復(fù)矢量集 Y 也叫輸出空間、碼本或碼書(Code Book)，Yi 稱為碼矢(Code Vector)或碼字(Code Word)，Y內(nèi)矢量的數(shù)目L，則叫做碼本長度或碼本尺寸。當(dāng)矢量量化器輸入任意矢量它首先判斷Xj屬于那個子空間，然后輸出該子空間Ri的代表矢量矢量量化過程就是用Yi代表Xj , 即式中Q為量化函數(shù)。第47頁，共72頁，2022年，5月20日，13點54分，星期二 VQ編譯碼的全過程完成一個從 K 維歐氏空間RK到RK空間中有限子集的映射： 發(fā)端完成映射收端完成映射矢量量化Q則是C和D的結(jié)合編碼: 解碼: 第48頁，共72頁，2

23、022年，5月20日，13點54分，星期二矢量量化示意圖 第49頁，共72頁，2022年，5月20日，13點54分，星期二 矢量量化的比特率： log2L:每個矢量所需要的編碼比特數(shù) K:每個矢量所包含的信號樣點數(shù)K=1時, VQ退化成標(biāo)量量化（SQ）第50頁，共72頁，2022年，5月20日，13點54分，星期二矢量量化的特點： 壓縮能力強 一定產(chǎn)生失真, 但失真易控制：X的分類越細(xì)，失真越小 可以實現(xiàn)每一維非整數(shù)比特量化 計算量大：每輸入一個Xj，都要和L 個Yi逐一比較，搜索出畸變最小的。Xj和Yi都是K維矢量，故矢量搜索工作的計算量大。 VQ是定長碼第51頁，共72頁，2022年，5月

24、20日，13點54分，星期二預(yù)測編碼預(yù)測編碼基本思想：去處相鄰樣本之間的冗余度。這里說的“相鄰”，包括“空間上的相鄰”和“時間上的相鄰”。例如，空間上的相鄰指的是同一幀圖像內(nèi)上、下、左、右的像素之間；時間上的相鄰指的是前幀、后幀圖像中對應(yīng)于同一空間位置上的像素。 內(nèi)容：差分脈沖編碼調(diào)制 （DPCM）自適應(yīng)脈沖編碼調(diào)制 （APCM）自適應(yīng)差分脈碼調(diào)制 （ADPCM）第52頁，共72頁，2022年，5月20日，13點54分，星期二差分脈沖編碼調(diào)制（DPCM）差分脈沖編碼調(diào)制DPCM(differential pulse code modulation)是利用樣本與樣本之間存在的信息冗余度來進(jìn)行編碼

25、的一種數(shù)據(jù)壓縮技術(shù)。差分脈沖編碼調(diào)制的思想是，根據(jù)過去的樣本去估算(estimate)下一個樣本信號的幅度大小，這個值稱為預(yù)測值，然后對實際信號值與預(yù)測值之差進(jìn)行量化編碼，從而就減少了表示每個樣本信號的位數(shù)。DPCM是對實際信號值與預(yù)測值之差進(jìn)行量化編碼，存儲或者傳送的是差值而不是幅度絕對值，這就降低了傳送或存儲的數(shù)據(jù)量。它能適應(yīng)大范圍變化的輸入信號。第53頁，共72頁，2022年，5月20日，13點54分，星期二采用全極點預(yù)測器的DPCM原理如圖所示第54頁，共72頁，2022年，5月20日，13點54分，星期二差值信號(余量信號、殘差信號、預(yù)測誤差信號)為：量化后:重建信號:重建信號中的誤

26、差信號就是差值信號量化產(chǎn)生的量化誤差信號第55頁，共72頁，2022年，5月20日，13點54分，星期二設(shè) 的方差分別為 那么DPCM的信噪比為： 式中 為預(yù)測增益， 是差值信號量化信噪比。 同PCM相比，DPCM通過預(yù)測使量化信噪比增加了10lgGp 第56頁，共72頁，2022年，5月20日，13點54分，星期二（1）全極點預(yù)測器Sp(n)由n時刻以前的N個重建語音樣點線性組合得，式中i ，(i=1,N)稱為線性預(yù)測系數(shù)。重建信號可寫成:第57頁，共72頁，2022年，5月20日，13點54分，星期二兩邊取Z變換，有:式中:稱做重建濾波器，是一個全極點濾波器，其系數(shù) i可用語音信號的長時相

27、關(guān)系數(shù)求出。定義系數(shù)矢量:相關(guān)系數(shù)矢量第58頁，共72頁，2022年，5月20日，13點54分，星期二語音相關(guān)系數(shù)矩陣:由線性預(yù)測理論，最佳線性預(yù)測系數(shù)矢量為：可得最小預(yù)測誤差為:第59頁，共72頁，2022年，5月20日，13點54分，星期二以上表明預(yù)測誤差的平均功率比原始信號的功率要小在相同的均方量化誤差下，要求較小的量化級數(shù)，傳輸上的數(shù)據(jù)率要低。 可證明，當(dāng)預(yù)測器階數(shù) N時，極限最小預(yù)測誤差為： 式中 是輸入信號的功率譜密度。 可得極限最大預(yù)測增益為：第60頁，共72頁，2022年，5月20日，13點54分，星期二其中 定義為輸入信號的譜平坦度，反映了信號可預(yù)測程度?？梢钥闯觯?DPCM

28、系統(tǒng)在極限情況下，產(chǎn)生的最小量化噪聲為：所能達(dá)到的極限最大信噪比為：第61頁，共72頁，2022年，5月20日，13點54分，星期二（2）其它類型預(yù)測器 DPCM系統(tǒng)也可以用全零點預(yù)測器或零極點混合器。第62頁，共72頁，2022年，5月20日，13點54分，星期二第63頁，共72頁，2022年，5月20日，13點54分，星期二 全零點預(yù)測器：預(yù)測信號由 n 時刻以前的M個量化后的差值信號樣點線性組合得到，即 ：重建信號為：兩邊取Z變換，有:重建濾波器是一個全零點濾波器。第64頁，共72頁，2022年，5月20日，13點54分，星期二 對于零極點混合預(yù)測器DPCM，有：以及：其z變換表達(dá)式為：第65頁，共72頁，2022年，5月20日，13點54分，星期二重建濾波器為：是一個零點極點混合濾波器。第66頁，共72頁，2022年，5月20日，13點54分，星期二自適應(yīng)脈沖編碼調(diào)制(APCM)自適應(yīng)脈沖編碼調(diào)制(a