第8章圖像壓縮編碼技術

1、2022-4-221本章重點：圖像編碼與壓縮的基本概念、理論及其編碼分類。常用的無損壓縮方法。常用的有損壓縮方法。第8章 圖像編碼與壓縮2022-4-222第第8章章 圖像編碼與壓縮圖像編碼與壓縮l 圖像壓縮所解決的問題是盡量減少表示圖像時需要的數(shù)據(jù)量。l 減少數(shù)據(jù)量的基本原理是除去其中多余的數(shù)據(jù)。l 從數(shù)學的觀點來看，這個過程就是將二維陣列變換為一個在統(tǒng)計上無關聯(lián)的數(shù)據(jù)集合。l 這種變換在圖像存儲或傳輸之前進行。l 在以后的某個時候，再對壓縮圖像進行解壓縮來重構原圖像或原圖像的近似圖像。2022-4-2238.1 圖像編碼的必要性與可能性 8.2 圖像編碼分類 8.3 圖像編碼評價準則 8.

2、4 圖像編碼模型 8.5 無損壓縮 8.6 有損壓縮 8.7 JPEG圖像編碼壓縮標準 8.8 MPEG視頻編碼壓縮標準 8.9 小結第第8章章 圖像編碼與壓縮圖像編碼與壓縮2022-4-224基礎l術語”數(shù)據(jù)壓縮”指減少表示給定信息量所需的數(shù)據(jù)量.l數(shù)據(jù)是信息傳送的手段.l對相同數(shù)量的信息可以用不同數(shù)量的數(shù)據(jù)表示.l如,同樣一個故事,有人用簡明扼要的語言講清楚,有人啰里啰嗦才說清楚.l故事是信息,詞語是數(shù)據(jù).l與故事無關的詞語就是冗余.稱”數(shù)據(jù)冗余”2022-4-2258.1 圖像編碼的必要性與可能性8.1.1圖像編碼的必要性 數(shù)字圖像的龐大數(shù)據(jù)對計算機的處理速度、存儲容量都提出過高的要求。

3、因此必須把數(shù)據(jù)量壓縮。 從傳送圖像的角度來看，則更要求數(shù)據(jù)量壓縮。在信道帶寬、通信鏈路容量一定的前提下，采用編碼壓縮技術，減少傳輸數(shù)據(jù)量，是提高通信速度的重要手段 。2022-4-2268.1.2圖像編碼的可能性 組成圖像的各像素之間，無論是在圖像的行方向還是在列方向，都存在著一定的相關性。 常見的靜態(tài)圖像數(shù)據(jù)冗余包括： 空間冗余 結構冗余 知識冗余 視覺冗余 圖像區(qū)域的相同性冗余 紋理的統(tǒng)計冗余等。2022-4-227數(shù)據(jù)冗余l(xiāng) 旅行中收到的一則電報： - 你的妻子，Helen, 將于明天晚上6點零5分 在波士頓的Logan機場接你。 - 你的妻子將于明晚上6點零5分在Logan機場 接你。

4、 - Helen將于明晚6點在Logan接你。 -2022-4-228圖像的數(shù)據(jù)量l 數(shù)據(jù)量:H=S*B*N (8-1)l S是每幀的像素數(shù);l B是每個像素的比特數(shù);l N是每秒的幀數(shù),靜止圖像N=1.l 如:一幅512*512,256灰度的圖像,l S=512*512,B=8,N=1,H=2Mbit.l 一幅同樣大小的RGB(256級)圖像,l S=512*512,B=8*3,N=1,H=6Mbit.l 運動圖像,設N=30,S=512*512, B=8,灰度時:l H=60Mbit/s,彩色時:B=8*3,H=180Mbit/s2022-4-229數(shù)據(jù)壓縮l 數(shù)據(jù)壓縮之目的 - 節(jié)省存儲

5、空間 - 節(jié)省通信信道l 數(shù)據(jù)壓縮 - 利用數(shù)據(jù)固有的冗余性和不相干性，將一個 大的數(shù)據(jù)文件轉(zhuǎn)換成較小的文件。 - 壓縮的文件在需要時，以近似的方式將其恢復(解壓縮)。2022-4-2210圖像壓縮l 圖像壓縮是通過刪除圖像數(shù)據(jù)中冗余的或者不必要的部分來減小圖像數(shù)據(jù)量的技術 。l 圖像數(shù)據(jù)文件中常包含著數(shù)量可觀的冗余信息以及大量不相干的信息。l 數(shù)字圖像傳輸 - 可以多次中繼而不會引起噪聲的嚴重累積 - 和壓縮編碼技術結合，可以獲得比模擬制更 高的通信質(zhì)量 - 顯著提高抗干擾能力2022-4-2211編碼和解碼l 為表示圖像信息而進行的數(shù)據(jù)量壓縮的方法,稱為圖像編碼(image coding,

6、picture coding). l 盡量保持原圖像信息中包含的本質(zhì)信息而進行數(shù)據(jù)量壓縮的操作稱為編碼(coding,encoding);l 從被壓縮的數(shù)據(jù)再現(xiàn)原圖像信號(與原圖像相似的圖像)的操作稱為解碼(decoding).l 常把編碼和解碼統(tǒng)稱為“編碼”.l 有時也用壓縮和擴展的叫法來代替編碼和解碼.2022-4-22128.2圖像編碼分類 根據(jù)解碼和編碼的誤差劃分，圖像編碼分為: 無誤差(亦稱無失真、無損、信息保持)編碼； 有誤差(有失真或有損)編碼。 根據(jù)編碼作用域劃分，圖像編碼分為: 空間域編碼 變換域編碼。 若從具體編碼技術來考慮，又可分為: 預測編碼 變換編碼 統(tǒng)計編碼 輪廓編

7、碼 模型編碼 2022-4-22138.3 圖像編碼評價準則 在圖像壓縮編碼中，解碼圖像與原始圖像可能會有差異，因此，需要評價壓縮后圖像的質(zhì)量。 描述解碼圖像相對原始圖像偏離程度的測度一般稱為保真度(逼真度)準則。 常用的準則可分為兩大類： 客觀保真度準則 主觀保真度準則2022-4-22148.3.1 客觀保真度準則 最常用的客觀保真度準則是原圖像f(x,y)和解碼圖像( )之間的均方根誤差和均方根信噪比兩種。 均方根誤差 :1 2211001( , )( , )MNrmsxyef x yf x yMN均方信噪比均方信噪比: : 2111120000( , )( , )( , )MNMNms

8、xyxySNRf x yf x yf x y對上式求平方根，就得到均方根信噪比。對上式求平方根，就得到均方根信噪比。 （8-2） （8-3） ),(yxf2022-4-22158.3.2主觀保真度準則 具有相同客觀保真度的不同圖像，人的視覺可能產(chǎn)生不同的視覺效果。這是因為客觀保真度是一種統(tǒng)計平均意義下的度量準則，對于圖像中的細節(jié)無法反映出來。 一種常用的方法是對一組(不少于20人)觀察者顯示圖像，并將他們對該圖像的評分取平均，用來評價一幅圖像的主觀質(zhì)量。 2022-4-2216例如例如表表8.1 電視圖像質(zhì)量評價尺度電視圖像質(zhì)量評價尺度。評分評價說明1優(yōu)秀圖像質(zhì)量非常好，如同人能想象出的最好質(zhì)

9、量2良好圖像質(zhì)量高，觀看舒服，有干擾但不影響觀看3可用圖像質(zhì)量可以接受，有干擾但不太影響觀看4剛可看圖像質(zhì)量差，干擾有些妨礙觀看，觀察者希望改進5差圖像質(zhì)量很差，幾乎無法觀看6不能用圖像質(zhì)量極差，不能使用表表8.1 8.1 電視圖像質(zhì)量評價尺度電視圖像質(zhì)量評價尺度2022-4-22178.4 圖像編碼模型 一個圖像壓縮系統(tǒng)包括兩個不同的結構塊： 編碼器和解碼器。 圖像f（x，y）輸入到編碼器中，編碼器可以根據(jù)輸入數(shù)據(jù)生成一組符號。在通過信道進行傳輸之后，將經(jīng)過編碼的表達符號送入解碼器，經(jīng)過重構后，生成輸出圖像。 f(x,y)信源編碼信道編碼信道信道解碼信源解碼一個常用圖像壓縮系統(tǒng)模型一個常用圖

10、像壓縮系統(tǒng)模型),(yxf2022-4-22188.4.1信源編碼器和信源解碼器 信源編碼器的任務是減少或消除輸入圖像中的編碼冗余、像素間冗余或心理視覺冗余等。 從原理來看主要分為三個階段:v第一階段將輸入數(shù)據(jù)轉(zhuǎn)換為可以減少輸入圖像中像素間冗余的數(shù)據(jù)的集合。v第二階段設法去除原圖像信號的相關性 。v第三階段是找一種編碼方式 。 信源解碼器包含兩部分： 符號解碼器 反向轉(zhuǎn)換器2022-4-2219編碼器模型 f(x,y)轉(zhuǎn)換器量化器 符號編碼器信道信道符 號 解 碼器反 向 轉(zhuǎn) 換器（a）信源編碼器）信源編碼器（b）信源解碼器）信源解碼器編碼和解碼成對出現(xiàn),但量化器不可逆,沒有反向量化器.當希望

11、無誤差時,去掉量化器.),(yxf2022-4-22208.4.2信道編碼器和解碼器 當信道帶有噪聲或易于出現(xiàn)錯誤時，信道編碼器和解碼器就在整個譯碼解碼處理中扮演了重要的角色。 信道編碼器和解碼器通過向信源編碼數(shù)據(jù)中插入預制的冗余數(shù)據(jù)來減少信道噪聲的影響。 最有用的一種信道編碼技術是由RwHamming提出的。 這種技術是基于這樣的思想，即向被編碼數(shù)據(jù)中加入足夠的位數(shù)以確保可用的碼字間變化的位數(shù)最小。 用于校驗(奇-偶)以糾正錯誤.提高數(shù)據(jù)傳輸效率，降低誤碼率是信道編碼的任務。信道編碼的本質(zhì)是增加通信的可靠性。但信道編碼會使有用的信息數(shù)據(jù)傳輸減少，信道編碼的過程是在源數(shù)據(jù)碼流中加插一些碼元，從

12、而達到在接收端進行判錯和糾錯的目的，這就是我們常常說的開銷。 2022-4-22218.5無損壓縮 無損壓縮可以精確無誤地從壓縮數(shù)據(jù)中恢復出原始數(shù)據(jù)。 常見的無損壓縮技術包括： 基于統(tǒng)計概率的方法(霍夫曼,算術編碼)； 基于字典的技術(游程編碼, LZW編碼 )。 基于統(tǒng)計概率的方法是依據(jù)信息論中的變長編碼定理和信息熵有關知識，用較短代碼代表出現(xiàn)概率大的符號，用較長代碼代表出現(xiàn)概率小的符號，從而實現(xiàn)數(shù)據(jù)壓縮。 統(tǒng)計編碼方法中具有代表性的是利用概率分布特性的著名的 霍夫曼(Huffman)編碼方法 , 另一種是算術編碼。 2022-4-2222基于字典技術的數(shù)據(jù)壓縮技術有兩種： 一種是游(行)程

13、編碼(Running Length Coding)，簡稱為RLC ，適用于灰度級不多、數(shù)據(jù)相關性很強的圖像數(shù)據(jù)的壓縮。但最不適用于每個像素都與它周圍的像素不同的情況。 另一種稱之為LZW編碼 ， LZW在對數(shù)據(jù)文件進行編碼的同時，生成了特定字符序列的表以及它們對應的代碼。 2022-4-22238.5.1霍夫曼編碼 一個事件集合x1, x2, ,xn,處于一個基本概率空間，其相應概率為p1, p2, ,pn，且p1+ p2+pn=1。每一個信息的信息量為: 如定義在概率空間中每一事件的概率不相等時的平均不肯定程度或平均信息量叫作熵H，則：1.理論基礎理論基礎 )(log)(kakpxI（8-9

14、） nkkaknkkkkppxIpxIEH11log)()(（8-10） 2022-4-2224l熵是編碼所需比特數(shù)的下限，即編碼所需要最少的比特。 l例 :設8個隨機變量具有同等概率為1/8，計算信息熵H。 解 :根據(jù)公式8-10可得(a=2)：H=8*-1/8*(log2(1/8) =8*-1/8*(-3) =3 熵熵2022-4-2225Huffman編碼是1952年由Huffman提出的一種編碼方法。 這種編碼方法根據(jù)信源數(shù)據(jù)符號發(fā)生的概率進行編碼。 在信源數(shù)據(jù)中出現(xiàn)概率越大的符號，相應的碼越短； 出現(xiàn)概率越小的符號，其碼長越長，從而達到用盡可能少的碼符號表示源數(shù)據(jù)。 它在變長編碼方法

15、中是最佳的。2. Huffman編碼編碼 2022-4-2226設信源A的信源空間為：其中 ，現(xiàn)用r個碼符號的碼符號集 對信源A中的每個符號（i1，2，N)進行編碼。具體編碼的方法是:(1) 把信源符號按其出現(xiàn)概率的大小順序排列起來；(2) 把最末兩個具有最小概率的元素之概率加起來；(3) 把該概率之和同其余概率由大到小排隊，然后再把兩個最小概率加起來，再重新排隊；(4) 重復(2)和(3)直到最后只剩下兩個概率為止。1212:( ):()()()NNAaaaA PP AP aP aP a1()1NiiP a12:,rXxxxHuffman編碼具體方法：編碼具體方法：2022-4-2227設有

16、編碼輸入X=x1,x2,x3,x4,x5,x6。其頻率分布分別為P(x1)=0.4， P(x2)=0.3， P(x3)=0.1， P(x4)=0.1， P(x5)=0.06， P(x6)=0.04，現(xiàn)求其最佳霍夫曼編碼 W=w1,w2,w3,w4,w5,w6 解 :Huffman編碼過程下圖所示： 符號 概率 x1 0.4x2 0.3x3 0.1x4 0.1x5 0.06x6 0.041 0.40.30.10.10.120.40.30.20.130.40.30.340.60.4例 :2022-4-2228本例中對0.6賦予0，對0.4賦予1，0.4傳遞到x1，所以x1的編碼便是1。0.6傳遞到

17、前一級是兩個0.3相加，大值是單獨一個元素x2的概率，小值是兩個元素概率之和，每個概率都小于0.3，所以x2賦予0，0.2和0.1求和的0.3賦予1。所以x2的編碼是00，而剩余元素編碼的前兩個碼應為01。0.1賦予1，0.2賦予0。以此類推，最后得到諸元素的編碼如下： 元 素xix1x2x3x4x5x6概 率P(xi)0.40.30.10.10.060.04編 碼wi100011010001010010110，1的順序沒有規(guī)定，所以編碼不唯一。2022-4-2229l 經(jīng)霍夫曼編碼后，平均碼長為： = =0.4*1+0.30*2+0.1*3+0.1*4+0.06*5+0.04*5=2.20(

18、bit) 該信源的熵為H2.14 bit，編碼后計算的平均碼長為2.2 bit,非常接近于熵。 可見Huffman編碼是一種較好的編碼。B61()iiPn2022-4-2230用二叉樹方法實現(xiàn)Huffman編碼方法較為便利，因此這種編碼方法用于計算機數(shù)據(jù)結構的轉(zhuǎn)換中。Huffman編碼是最佳的，其平均碼長相同，不影響編碼效率和數(shù)據(jù)壓縮性能。 由于Huffman碼的碼長參差不齊，因此，存在一個輸入、輸出速率匹配問題。解決的辦法是設置一定容量的緩沖存儲器 Huffman碼在存儲或傳輸過程中，如果出現(xiàn)誤碼，可能會引起誤碼的連續(xù)傳播 Huffman編碼對不同信源其編碼效率也不盡相同。 Huffman編

19、碼應用時，均需要與其他編碼結合起來使用，才能進一步提高數(shù)據(jù)壓縮比。 2022-4-22312022-4-22328.5.2 香農(nóng)費諾編碼 由于霍夫曼編碼法需要多次排序，當符號很多時十分不便，為此費諾(Fano)和香農(nóng)(Shannon)分別單獨提出類似的方法，使編碼更簡單。具體編碼方法如下： 把x1,xn按概率由大到小、從上到下排成一列，然后把x1,xn 分成兩組x1,xk xk+1,xn ， 并使得 把兩組分別按0，1賦值。 然后分組、賦值，不斷反復，直到每組只有一種輸入為止。將每個所賦的值依次排列起來就是費諾香農(nóng)編碼。 11()()knijijkPxPx2022-4-2233l 以前面哈夫曼

20、編碼的例子進行香農(nóng)費諾編碼 ：輸入輸入概率概率 x10.40 0 x20.310 10 x30.1100 1100 x40.11 1101x50.0610 1110 x60.041 11112022-4-22348.5.3 算術編碼 理論上，用Huffman方法對源數(shù)據(jù)流進行編碼可達到最佳編碼效果。但由于計算機中存儲、處理的最小單位是“位”，因此，在一些情況下，實際壓縮比與理論壓縮比的極限相去甚遠。 算術編碼沒有延用數(shù)據(jù)編碼技術中用一個特定的代碼代替一個輸入符號的一般做法，它把要壓縮處理的整段數(shù)據(jù)映射到一段實數(shù)半開區(qū)間0，1)內(nèi)的某一區(qū)段，構造出小于1且大于或等于0的數(shù)值。這個數(shù)值是輸入數(shù)據(jù)流

21、的唯一可譯代碼。 2022-4-2235 例對一個4符號信源Aa1,a2,a3,a4，各字符出現(xiàn)的概率和設定的取值范圍如下,符號串為a1,a2,a3,a2,a4 ,編碼過程：字符 概率 范圍a3 0.20.0，0.2）a1 0.20.2，0.4）a2 0.40.4，0.8)a4 0.20.8，1.0)“范圍”給出了字符的賦值區(qū)間。這個區(qū)間是根據(jù)字符發(fā)生的概率劃分的。具體把a1、a2、a3、a4分配在哪個區(qū)間范圍，對編碼本身沒有影響，只要保證編碼器和解碼器對字符的概率區(qū)間有相同的定義即可。 2022-4-2236 按上述區(qū)間的定義，若數(shù)據(jù)流的第一個字符為a1，由字符概率取值區(qū)間的定義可知，代碼的

22、實際取值范圍在0.2，0.4)之間，即輸入數(shù)據(jù)流的第一個字符決定了代碼最高有效位取值的范圍。 繼續(xù)對源數(shù)據(jù)流中的后續(xù)字符進行編碼。每讀入一個新的符號，輸出數(shù)值范圍就進一步縮小。讀入第二個符號a2取值范圍在區(qū)間的0.4，0.8)內(nèi)。由于第一個字符a1已將取值區(qū)間限制在0.2，0.4)的范圍中，因此a2的實際取值是在前符號范圍0.2，0.4)的0.4，0.8)處，從而字符a2的編碼取值范圍在0.28，0.36)，而不是在0，1)整個概率分布區(qū)間上。2022-4-2237每輸入一個符號，都將按事先對概率范圍的定義，在逐步縮小的當前取值區(qū)間上確定新的范圍上、下限。繼續(xù)讀入第三個符號a3受到前面巳編碼的

23、兩個字符的限制，它的編碼取值應在0.28，0.36)中的0.0，0.2)內(nèi)，即0.28，0.296)。重復上述編碼過程，直到輸入數(shù)據(jù)流結束。最終結果如下： 輸入字符 區(qū)間長度L 范圍a1 0.2 0.2，0.4）a2 0.080.28，0.36）a3 0.016 0.28，0.296)a2 0.0064 0.2864，0.2928)a4 0.00128 0.29152，0.2928)隨著字符的輸入，代碼的取值范圍越來越小?？梢杂靡粋€浮點數(shù)表示一個字符串，達到減少所需存儲空間的目的。 參考2022-4-2238參考2022-4-22392022-4-22408.5.4 游程編碼 游(行)程編碼(

24、RLC)是一種利用空間冗余度壓縮圖像的方法 ，屬于統(tǒng)計編碼類 。(對于二值圖有效。) 設圖像中的某一行或某一塊像素經(jīng)采樣或經(jīng)某種變換后的系數(shù)為 (x1,x2,xM) .某一行或某一塊內(nèi)像素值可分為k段，長度為Li的連續(xù)串，每個串具有相同的值，那么，該圖像的某一行或某一塊可由下面偶對 (gi, Li),1=i=k來表示： (x1,x2,xM)(g1,L1),(g2, L2),(gk, Lk),其中 gi 為每個串內(nèi)的代表值， Li為串的長度。串長就是游程長度(Runlength)，簡寫為RL，即由灰度值構成的數(shù)據(jù)流中各灰度值重復出現(xiàn)而形成的長度。如果給出了灰度值、對應長度及位置，就能很容易地恢復

25、出原來的數(shù)據(jù)流。 2022-4-2241游程編碼l 游程編碼的基本原理是：用一個符號值或串長代替具有相同值的連續(xù)符號（連續(xù)符號構成了一段連續(xù)的“行程”。行程編碼因此而得名），使符號長度少于原始數(shù)據(jù)的長度。 例如：5555557777733322221111111 行程編碼為：（5，6）（7，5）（3，3）（2，4）（1，7）?？梢?，行程編碼的位數(shù)遠遠少于原始字符串的位數(shù)。 在對圖像數(shù)據(jù)進行編碼時，沿一定方向排列的具有相同灰度值的像素可看成是連續(xù)符號，用字串代替這些連續(xù)符號，可大幅度減少數(shù)據(jù)量。 行程編碼是連續(xù)精確的編碼，在傳輸過程中，如果其中一位符號發(fā)生錯誤，即可影響整個編碼序列，使行程編碼無

26、法還原回原始數(shù)據(jù)。 2022-4-2242游程編碼分為:定長游程編碼和變長游程編碼兩類。定長游程編碼是指編碼的游程所使用位數(shù)是固定的，即RL位數(shù)是固定的。如果灰度連續(xù)相同的個數(shù)超過了固定位數(shù)所能表示的最大值，則進入下一輪游程編碼。變長游程編碼是指對不同范圍的游程使用不同位數(shù)的編碼，即表示RL位數(shù)是不固定的。2022-4-2243游程編碼一般不直接應用于多灰度圖像，但比較適合 于二值圖像的編碼。 為了達到較好的壓縮效果，有時游程編碼和其他一些編碼方法混合使用。RLC比較適合二值圖像數(shù)據(jù)序列，其原因是在二值序列中，只有“0”和“1”兩種符號；這些符號的連續(xù)出現(xiàn)，就形成了“0”游程：L(0)，“1”

27、游程：L(1)。 定義了游程和游程長度之后，就可以把任何二元序列變換成游程長度的序列，簡稱游程序列。這一變換是可逆的，一一對應的。 2022-4-22448.5.5 無損預測編碼 一幅二維靜止圖像，設空間坐標(i，j)像素點的實際灰度為f(i,j)， 是根據(jù)以前已出現(xiàn)的像素點的灰度對該點的預測灰度，也稱預測值或估計值，計算預測值的像素，可以是同一掃描行的前幾個像素，或者是前幾行上的像素，甚至是前幾幀的鄰近像素。實際值實際值和預測值之間的和預測值之間的差值，以下式表示： ),(),(),(jifjifjie（8-13） ),(yxf2022-4-2245 由圖像的統(tǒng)計特性可知，相鄰像素之間有著較

28、強的相關性。因此，其像素的值可根據(jù)以前已知的幾個像素來估計，即預測。 預測編碼是根據(jù)某一模型，利用以往的樣本值對于新樣本值進行預測，然后將樣本的實際值與其預測值相減得到一個誤差值，對于這一誤差值進行編碼。 如果模型足夠好且樣本序列在時間上相關性較強，那么誤差信號的幅度將遠遠小于原始信號。 對差值信號不進行量化而直接編碼就稱之為無損預測編碼。無損預測編碼2022-4-2246 無損預測編碼器的工作原理圖 如下：預測器源圖像熵編碼器編碼表壓縮源圖像2022-4-2247 由先前三點預測可以定義為： l 其中a1，a2, a3稱預測系數(shù)，都是待定參數(shù)。如果預測器中預測系數(shù)是固定不變的常數(shù)，稱之為線性

29、預測。l 預測誤差： ),(jif), 1() 1, 1() 1,(),(321jifajifajifajif),(),(),(jifjifjie), 1() 1, 1() 1,(),(321jifajifajifajif（8-14） （8-15） 2022-4-2248 設a=f(i,j-1)，b=f(i-1,j), c=f(i-1,j-1)， 的預測方法如下圖所示，可有8種選擇方法： ),(jif選擇方法選擇方法預測值預測值0非預測非預測1acb 2b ax3c4a+b-c5a+(b-c)/26b+(a-c)/27 (a+b)/2),(yxf2022-4-2249例：設有一幅圖像，f(i-

30、1,j-1),f(i-1,j), f(i,j-1), f(i,j)的灰度值分別為252,252,253,255，用上圖第4種選擇方法預測f(i,j)的灰度值，并計算預測誤差。 解： f(i,j) =a+b-c= f(i,j-1)+ f(i-1,j)- f(i-1,j-1)=253+252-252=253 預測誤差e(i,j)=f(i,j)-f(i,j) =255-253=2顯然，預測誤差e(i,j)=2比像素的實際值f(i,j)=255小的多，對2進行編碼比對255直接編碼將占用更少的比特位。 2022-4-22508.6 有損壓縮 有損編碼是以丟失部分信息為代價來換取高壓縮比。 有損壓縮方法

31、主要有 有損預測編碼方法 變換編碼方法等2022-4-22518.6.1有損預測編碼 在預測編碼中，對差值信號進行量化后再進行編碼就稱之為有損預測編碼。 有損預測方法有多種，其中差分脈沖編碼調(diào)制(Differential Pulse Code Modulation，簡稱DPCM)，是一種具有代表性的編碼方法。 2022-4-2252 DPCM系統(tǒng)由編碼器和解碼器組成，它們各有一個相同的預測器。DPCM系統(tǒng)的工作原理如下圖所示:量化器編碼器預測器信道傳輸解碼器輸入輸出預測器( , )f i j( , )e i j( , )e i j( , )fi j( , )fi j( , )fi j( , )

32、e i j( , )fi j2022-4-2253DPCM系統(tǒng)系統(tǒng)包括發(fā)送、接收和信道傳輸三個部分。發(fā)送端由編碼器、量化器、預測器和加減法器組成；接收端包括解碼器和預測器等；信道傳送以虛線表示。圖中輸入信號f(i,j)是坐標(i,j) 處的像素的實際灰度值， 是由已出現(xiàn)先前相鄰像素點的灰度值對該像素的預測灰度值。 e(i,j)是預測誤差。 DPCM包含量化器，這時編碼器對e(i,j)編碼，量化器導致了不可逆的信息損失，這時接收端經(jīng)解碼恢復出的灰度信號不是真正的f(i,j)，而是重建信號?？梢娨肓炕鲿鹨欢ǔ潭鹊男畔p失，使圖像質(zhì)量受損。但是可以利用人眼的視覺特性，丟失不易覺察的圖像信息，

33、不會引起明顯失真 。),(jif2022-4-22548.6.2 變換編碼 變換編碼不是直接對空域圖像信號編碼，而是首先將圖像數(shù)據(jù)經(jīng)過某種正交變換到（如傅立葉變換-DFT，離散余弦變換-DCT，K-L變換等等）另一個正交矢量空間(稱之為變換域)，產(chǎn)生一批變換系數(shù)，然后對這些變換系數(shù)進行編碼處理，從而達到壓縮圖像數(shù)據(jù)的目的。 2022-4-2255 變換編碼的原理 如下圖： 圖像數(shù)據(jù)經(jīng)過正交變換后，空域中的總能量在變換域中得到保持，但像素之間的相關性下降，能量將會重新分布，并集中在變換域中少數(shù)的變換系數(shù)上，因此，選擇少數(shù)F(u,v)來重建圖像就可以達到壓縮數(shù)據(jù)的目的，并且重建圖像僅引入較小誤差。

34、 變換多采用正交函數(shù)為基礎的變換。 f(x,y)重建f(x,y)圖像正交變換樣本選擇量化編碼F(u,v)( , )F u v( , )F u v( , )F u v譯碼數(shù)字信道2022-4-2256 卡胡南-列夫變換（K-L）-基于特征向量的變換對于NN的矩陣T，有N個標量i，i=1,2,N,能使 |T-iI|=0 則i叫做矩陣T的特征值。另外，N個滿足TVi=iVi (8-31)的向量Vi叫做T的特征向量,Vi 是N*1維的，每個Vi對應一個特征值i。這些特征向量構成一個正交基集。 設X是一個N1的隨機向量，X的每個分量都是xi隨機變量。X的均值（平均向量）可以由L個樣本向量來估計向量Mx：

35、 LllxXLM11（8-32） 2022-4-2257協(xié)方差矩陣可以由式8-33來估計。協(xié)方差矩陣是實對稱的。對角元素是各隨機變量的方差，非對角元素是它們的協(xié)方差。l定義一個線性變換T，它可由任何X向量產(chǎn)生一個新向量Y=T(X-Mx) （8-34） l l式中，T的各行是x的特征向量，即T的行向量就是x的特征向量。為了方便，以相應的特征值大小遞減來排列各行。（8-33） LlTllTllTxxXMMXXLMXMXE11)(2022-4-2258這些也是x的特征值。 隨機向量Y是由互不相關的隨機變量組成的，因此線性變換T起到了消除變量間的相關性的作用。 式8-35被稱為Hotelling變換,

36、特征向量變換或主分量法,也被叫做Karhunen-Loeve變換,簡稱K-L變換。TXYTT（8-35） 變換得到的Y是期望為零的隨機向量。Y的協(xié)方差矩陣可以由X的協(xié)方差矩陣決定。式8-35：因為T的各行是x的特征向量，故y是一個對角陣，對角元素是x的特征值。見式8-36Y1 1 0 00 0 N N （8-36） 2022-4-2259 特征向量變換是可逆的。即可用變換向量Y來重構向量X:X=T-1Y+Mx=TTY+Mx 要實現(xiàn)對信號進行KL變換，首先要求出矢量x的協(xié)方差矩陣x，再求協(xié)方差矩陣x的特征值i，然后求對應的x的特征向量，再用x的特征向量構成正交矩陣T。 例 :若已知隨機矢量x的協(xié)

37、方差矩陣為 求其正交矩陣T？ x x6 2 06 2 02 2 2 2 1 10 0 1 11 12022-4-22601) 按 , 求x的特征值i : 得:則可解得: 1 =6.854 2 =2 3 =0.146 2) 求i對應的特征向量。將1，2，3代入(8-31)中分別求得如下三個特征向量： = = =0|xI011012202600000001101220261V2V3V0.9180.3920.0670.3330.6670.6670.2170.6340.7422022-4-2261用V1，V2，V3的轉(zhuǎn)置向量作為正交矩陣T的行向量，那么，對于任一均值為0的向量X=(2，1，-0.1)的

38、K-L變換為 :則Y的協(xié)方差矩陣y為: Y=TX=0.918 0.329 0.0670.333 0.667 0.6670.217 0.634 0.742 2 10.1= 2.2340.067 0.127 Y Y = =T T X XT TT T = =6.854 0 00 2 0 0 0 0.1462022-4-2262 在數(shù)字圖像壓縮編碼中，最佳變換K-L計算復雜，一般不采用。 由于DCT與K-L變換壓縮性能和誤差很接近，而DCT計算復雜度適中，又具有可分離特性，還有快速算法等特點，所以近年來在圖像數(shù)據(jù)壓縮中，采用離散余弦變換編碼的方案很多。 JPEG、MPEG、H.261等壓縮標準，都用到

39、離散余弦變換編碼進行數(shù)據(jù)壓縮。 余弦變換是傅立葉變換的一種特殊情況。在傅立葉級數(shù)展開式中，如果被展開的函數(shù)是實偶函數(shù)，那么，其傅立葉級數(shù)中只包含余弦項，再將其離散化由此可導出余弦變換，或稱之為離散余弦變換DCT(Discrete Cosine Transform)。 離散余弦變換(DCT)2022-4-2263 二維離散偶余弦正變換公式為：式中，x,y,u,v0，1，N-1。 當u=v=0時。 當u=1，2，N-1； v=1，2，N-1時。 vNyuNxyxfNvEuEvuCNxNy212cos212cos),(2)()(),(10102/1)(),(vEuE1)(),(vEuE（8-38）

40、2022-4-2264 二維離散偶余弦逆變換公式為：式中x,y,u,v0，1，N-1。 當u=v=0時。 當u=1，2，N-1； v=1，2，N-1時。2/1)(),(vEuE1)(),(vEuE vNyuNxvuCvEuENyxfNuNv212cos212cos),()()(2),(1010（8-39） 2022-4-2265二維離散余弦變換核具有可分離特性，所以，其正變換和逆變換均可將二維變換分解成系列一維變換(行、列)進行計算。 在DCT為主要方法的變換編碼中，一般不直接對整個圖像進行變換，而是首先對圖像分塊，將MN的一幅圖像分成不重疊的M/KN/K個KK塊分別進行變換。這樣做的好處主要

41、體現(xiàn)在：第一，降低運算量，如對一幅512512圖像，分塊變換僅需約13的運算量；其次，后續(xù)的量化和掃描處理可以得到明顯的簡化；第三，容易將傳輸誤差引起的錯誤控制在一個塊內(nèi)，而不是整個圖像擴散。分塊大小通常選8 8和16 16。2022-4-22668.7 JPEG圖像編碼壓縮標準 JPEG(Joint Photographic Expert Group，簡稱JPEG)是聯(lián)合圖像專家小組的英文縮寫。其中“聯(lián)合 ” 的 含 意 是 指 ， 國 際 電 報 電 話 咨 詢 委 員 會CCITT和國際標準化協(xié)會(ISO)聯(lián)合組成的一個圖像專家小組。 JPEG算法被確定為JPEG國際標準，它是國際上彩色

42、、灰度、靜止圖像的第一個國際標準。JPEG標準適于靜態(tài)圖像的壓縮，電視圖像序列的幀內(nèi)圖像的壓縮編碼也常采用JPEG壓縮標準。2022-4-22678.7.1 JPEG的工作模式JPEG對每一個圖像分量單獨編碼。(YCrCb 模型) JPEG對每個不同的圖像分量可以采用不同的量化參數(shù)和熵編碼的碼表 對于一個圖像分量，JPEG提供4種工作模式。順序編碼：每一個圖像分量按從左到右，從上到下掃描，一次掃描完成編碼。累進編碼：圖像編碼在多次掃描中完成。無失真編碼：解碼后能精確地恢復源圖像采樣值，其壓縮比低于有失真壓縮編碼方法。分層編碼：圖像在多個空間分辨率進行編碼。 2022-4-22688.7.2 基

43、本工作模式基于DCT JPEG編碼的過程框圖 88塊編碼器DCT正變換量化器熵編碼器量化表熵編碼表源圖像數(shù)據(jù)壓 縮 的圖 像 數(shù)據(jù)2022-4-2269基本工作模式解碼過程框圖 解碼器逆變換(IDCT)反量化器熵解碼器量化表熵編碼表恢復的圖像數(shù)據(jù)壓縮的圖像數(shù)據(jù)2022-4-2270 JPEG采用的是88大小的子塊的二維離散余弦變換(DCT)。 在編碼器的輸入端，把原始圖像順序地分割成一系列88的子塊，設原始圖像的采樣精度為P位，是無符號整數(shù)，輸入時把0，2P范圍的無符號整數(shù)變成-2P-1，2P-1-1范圍的有符號整數(shù)，以此作為離散余弦正變換的輸入。 在解碼器的輸出端經(jīng)離散余弦逆變換(IDCT)

44、后，得到一系列88的圖像數(shù)據(jù)塊，需將其數(shù)值范圍由-2P-1 ，2P-1-1再變回到0，2P范圍內(nèi)的無符號整數(shù)，來獲得重構圖像。2022-4-2271 為了達到壓縮數(shù)據(jù)的目的，對DCT系數(shù)需作量化處理。量化處理是一個多到一的映射，它是造成DCT編解碼信息損失的根源。 在JPEG中采用線性均勻量化器，量化定義為對64個DCT系數(shù)除以量化步長，四舍五入取整。 量化的作用是在一定的主觀保真度圖像質(zhì)量前提下，丟掉那些對視覺效果影響不大的信息。 2022-4-2272例:給定Lena圖像的一個平坦區(qū)域（88子塊）如下：69717579848991697073768390957774767485899571

45、73767986919374777782889193787680848892957678808593949574798185869494給出給出DCT變換系數(shù)量化過程。變換系數(shù)量化過程。2022-4-2273如下是它的DCT變換系數(shù)，可以看到能量集中在少數(shù)低頻系數(shù):660.1250 47.0496 25.9980 10.3993 7.8750 8.4866 5.6025 1.317617.3267 2.6749 5.2236 1.3234 0.5222 0.2914 0.2800 2.2810.0280 0.6463 0.9545 0.9620 2.4730 1.9783 0.316 2.17

46、412.3003 0.4542 2.2403 3.5559 1.2907 1.0024 0.1580 0.97472.3750 0.1038 3.2220 0.9653 1.3750 2.2258 0.3875 3.52360.9294 1.3282 2.4256 0.9828 1.9317 0.6972 0.1253 1.8560.3943 2.6640 0.5669 3.4168 0.8891 1.6182 2.545 1.7322.1666 1.7238 0.3335 0.4808 2.6253 0.9699 1.4854 1.183 2022-4-2274l 用JPEG的亮度量化表對每

47、個系數(shù)進行均勻量化，量化器輸出為： 41 4 3 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 02022-4-2275反量化后，進行DCT反變換，得到的解碼圖像為：80 75 71 72 78 85 89 9080 75 71 72 78 85 89 9080 76 72 73 79 86 90 9181 77 72 74 80 87 91 9282 77 73 74 81 87 91 9383 78

48、 74 75 81 88 92 9383 79 75 76 82 89 93 9484 79 75 76 82 89 93 942022-4-227688子塊的64個變換系數(shù)經(jīng)量化后，按直流系數(shù)DC和交流系數(shù)AC分成兩類處理。 坐標u=v=0的直流系數(shù)DC實質(zhì)上就是空域圖像中64個像素的平均值。 相鄰的88子塊之間的DC系數(shù)有強的相關性，JPEG對DC系數(shù)采用DPCM編碼，即對相鄰塊之間的DC系數(shù)的差值DIFFDCi - DCi-1編碼。 DCj-2DCj-1DCjDCj+1DCj+22022-4-2277 其余63個系數(shù)稱為交流系數(shù)（AC系數(shù)）采用行程編碼。由于低頻分量多呈圓環(huán)形輻射狀向高頻

49、率衰減，因此可看成按Z字形衰減，如下圖所示。因此，AC系數(shù)按Z字形掃描讀數(shù)。AC0DCAC0AC7AC72022-4-2278 對這63個AC系數(shù)采用非常簡單和直觀的行程編碼，行程編碼采用兩個字節(jié)表示。符號1(RUN,SIZE),符號2(AMP) JPEG使用1字節(jié)的高4位表示連續(xù)“0”的個數(shù)，而使用它的低4位來表示下一個非“0”系數(shù)所需要的位數(shù)，跟在它后面的是量化AC系數(shù)的數(shù)值。AC系數(shù)的行程編碼如下圖所示：NNNNSSSS兩個非零值間連續(xù)零個數(shù)表示下一個非零值需要的比特數(shù)第一個字節(jié)下一個字節(jié)(Run Length)(Size)下一個非零值的實際值2022-4-2279 為了進一步達到壓縮數(shù)

50、據(jù)的目的，可以對DPCM編碼后的DC碼和RLE編碼后的AC碼的碼字再作熵編碼。 JPEG建議使用兩種熵編碼方法：哈夫曼(Huffman)編碼自適二進制算術編碼。 熵編碼可分成兩步進行，首先把DPCM編碼后的DC碼DC系數(shù)和行程編碼的AC系數(shù)轉(zhuǎn)換成中間符號序列,然后給這些符號賦以變長碼字。2022-4-2280例：給出Lena測試圖像(分辨率256256)從7272開始的一個88塊，它的前一個塊的量化DC系數(shù)為-10，這個塊取值如下： 107 105 104 114 100 112 111 108104 99 107 108 112 115 117 115104 101 108 110 109

51、114 117 114105 105 105 106 110 109 96 113102 107 102 113 105 104 107 115107 106 102 103 106 115 106 121114 107 87 98 110 102 116 120114 99 98 95 93 111 115 112說明JPEG編解碼過程。2022-4-2281解：使輸入圖像取值范圍為-27 27 -1，每個像素減128，進行DCT變換，并用亮度量化表進行量化，量化器輸出為： 1 2 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0

52、 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 02022-4-2282由于它的前一個塊的量化DC系數(shù)為-10，該88塊的DC系數(shù)為-1，因此，DIFF=-10-1。SIZE=4，AMP=-11，編碼為101，0100。Z字掃描為-2,1,0,0,-1,0,0,0,0,1,EOB。形成RUN,SIZEAMP串為0,2-2, 0,11, 2,11, 2,11, 1,1-1, 4,11, EOB。對RUN，SIZE查Huffman碼表，對AMP直接編碼，得到碼字為0101, 001

53、, 111001, 11000, 1110111,1010。DC編碼需7位，AC編碼需29位，共需36位。原88塊共64個像素，每個像素8位，因此，壓縮比為: 648/36=14.22022-4-2283用解碼器解碼后，這個塊的重構圖像為：108 108 107 107 109 111 114 116106 107 107 109 110 112 113 114104 105 108 110 112 112 112 111102 104 107 110 112 112 111 110103 104 106 108 109 110 110 110105 104 104 104 106 108 1

54、11 113108 105 102 100 101 106 112 116110 106 100 97 98 105 113 1182022-4-22848.7.3 JPEG文件格式 在制定JPEG標準時，已經(jīng)定義了許多標記用來區(qū)分和識別圖像數(shù)據(jù)及相關信息。目前，使用廣泛的是J F I F （ J P E G 文 件 交 換 格 式 J P E G F i l e Interchange Format）1.02版。 JPEG文件中的字節(jié)格式是按照正序排列的，即存放時高位字節(jié)在前，低位字節(jié)在后。JPEG文件大體上可以分成以下兩個部分：標記碼(tag)和壓縮數(shù)據(jù)。 標記碼部分給出了JPEG圖像的所

55、有信息，如圖像的寬、高、Huffman碼表、量化表等。標記碼有很多，但絕大多數(shù)的JPEG文件只包含的幾種標記碼。 2022-4-2285標記碼由兩個字節(jié)組成，其中高字節(jié)是固定值0 xFF。每個標記之前還可以添加數(shù)目不限的0 xFF填充字節(jié)。常見的JPEG文件主要由下面幾個部分組成:(1)SOI標記：圖像開始(Start of Image)標記。 (2)APP0標記 ：JPEG保留給應用程序(Application)使用的標記碼，而JFIF將文件的相關信息定義在此標記中 。(3)APPn標記,其中n=115(任選)：代表其他應用數(shù)據(jù)塊,它的結構包括兩部分: APPn長度(Length)和應用詳細

56、信息(application specific information)(4)一個或多個量化表DQT(define quantization table)(5)一個或多個Huffman表DHT(Define Huffman Table)2022-4-22868.8 MPEG視頻編碼壓縮標準 從時間的觀點看，數(shù)字圖像分為靜態(tài)圖像和運動圖像，視頻信號就是典型的運動圖像。 視頻壓縮的目標是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。 根據(jù)壓縮前和解壓縮后的數(shù)據(jù)是否完全一致，視頻壓縮可分為 有損壓縮 無損壓縮。 無損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)完全一致。有損壓縮則意味著解壓縮后的數(shù)據(jù)與壓縮前

57、的數(shù)據(jù)不一致。 2022-4-2287 視頻編解碼過程 ：外部控制編碼比特流a) 視頻編碼b) 視頻解碼編 碼 控 制信源編碼器多路視頻編碼器發(fā)送緩沖區(qū)接收緩沖區(qū)多路視頻解碼器信源解碼器視頻信號2022-4-2288 視頻信號的壓縮包括兩個主要方面： 幀內(nèi)壓縮與幀間壓縮。 幀內(nèi)（Intra frame）壓縮也稱為空間壓縮（Spatial compression）。當壓縮一幀圖像時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息 。 幀間（Inter frame）壓縮是基于許多視頻或動畫的連續(xù)前后兩幀具有很大的相關性。即連續(xù)的視頻其相鄰幀之間具有冗余信息。根據(jù)這一特性，壓縮相鄰幀之間的冗余量就可以

58、進一步提高壓縮量，減小壓縮比。幀 間 壓 縮 也 稱 為 時 間 壓 縮 （ T e m p o r a l compression），它通過比較時間軸上不同幀之間的數(shù)據(jù)進行壓縮。 2022-4-2289MPEG (Moving Picture Expert Group)是運動圖像專家組的簡稱。該小組于1991年底提出了用于數(shù)字存儲媒介的、速率約1.5MBs的運動圖像及其伴音的壓縮編碼，并于1992年正式通過，通常被稱為MPEG標準，此標準后來被定名為MPEG-1。 到目前為止，MPEG標準己不再是一個單一的標準，而是一個用于全運動視頻和相關音頻壓縮的標準系列，包括MPEG-1、MPEG-2、

59、MPEG-3、MPEG-4和MPEG-7共5個標準，每一個標準都有其特定的應用范圍。其中，MPEG-1和MPEG-2標準的應用范圍最廣。 2022-4-2290 MPEG-1用于加速CD-ROM中圖像的傳輸。 MPEG-2用于寬帶傳輸?shù)膱D像，圖像質(zhì)量達到電視廣播甚至HDTV的標準。和MPEG-1相比，MPEG-2支持更廣的分辨率和比特率范圍，將成為數(shù)字圖像盤（DVD）和數(shù)字廣播電視的壓縮方式。 MPEG-4標準支持非常低的比特率的數(shù)據(jù)流的應用，如電視電話，視頻郵件和電子報刊等。 2022-4-2291 MPEG視頻壓縮分為空間域壓縮與時間域壓縮。 MPEG標準在空間域的壓縮，每一幀被作為獨立的

60、圖像獲取，且壓縮步驟與JPEG標準的步驟一樣。 時間域壓縮，即幀間編碼的基本思想是僅存儲運動圖像從一幀到下一幀的變化部分，而不是存儲全部圖像數(shù)據(jù)，這樣做能極大地減少運動圖像數(shù)據(jù)的存儲量。通過把幀序列劃分成I幀、P幀、B幀，使用參照幀及運動補償技術來實現(xiàn)的。 I幀:在解碼時,無需參照任何其他幀的幀,稱為內(nèi)編碼幀,它是利用自身的相關性進行幀內(nèi)壓縮編碼;P幀:在幀編碼時僅使用最近的前一幀(I或P)作為參照幀時,該幀稱為P幀或預測幀;B幀:在幀編碼時要使用前,后幀作為參照幀時,稱為B幀或稱為雙向預測幀.2022-4-22928.9 小結 本章在分析圖像編碼的必要性與可能性的基礎上，對圖像編碼與壓縮的基