第10章 圖像壓縮編碼

第10章圖像壓縮編碼

圖像編碼的研究背景

——

通信方式改變帶來的需求信息傳輸方式發(fā)生了很大的改變通信方式的改變

文字+語音

圖像+文字+語音通信對象的改變

人與人人與機器，機器與機器圖像編碼的研究背景

——

通信方式改變帶來的需求由于通信方式和通信對象的改變帶來的最大問題是：

傳輸帶寬、速度、存儲器容量的限制。給我們帶來了一個難題，也給了我們一個機會：

如何用軟件的手段來解決硬件上的物理極限。圖像編碼的研究背景

——

海量數(shù)據(jù)帶來的需求數(shù)碼圖像的普及，導致了數(shù)據(jù)量的龐大。圖像的傳輸與存儲，必須解決圖像數(shù)據(jù)的壓縮問題。彩色視頻數(shù)據(jù)量分析對于電視畫面的分辨率640*480的彩色圖像，每秒30幀，則一秒鐘的數(shù)據(jù)量為：

640*480*24*30=221.12M播放時，需要221Mbps的通信回路。

彩色視頻數(shù)據(jù)量分析實時傳輸：在10M帶寬網(wǎng)上實時傳輸?shù)脑?，需要壓縮到原來數(shù)據(jù)量的0.045，即1.08bit/pixel。存儲：

（按1張光盤可存640M計算）如果不進行壓縮，1張CD則僅可以存放2.89秒的數(shù)據(jù)。存2小時的信息則需要壓縮到原來數(shù)據(jù)量的0.0004，即：0.003bit/pixel。傳真數(shù)據(jù)量分析如果只傳送2值圖像，以200dpi的分辨率傳輸，一張A4稿紙的數(shù)據(jù)量為：

1654*2337*1=3888768bit=3900K按14.4K的電話線傳輸速率，需要傳送的時間是：270秒（4.5分）

圖像通信系統(tǒng)模型圖像信息源圖像預處理圖像信源

編碼信道編碼調(diào)制信道傳輸解調(diào)信道解碼圖像信源

解碼顯示圖像討論的內(nèi)容數(shù)據(jù)的冗余圖像壓縮編碼簡介行程編碼Huffman編碼DCT變換編碼混合編碼數(shù)據(jù)的冗余——

基本概念我們從一個互動游戲來體會數(shù)據(jù)冗余的概念。在下面的例子中，用一種最好的方式來發(fā)送一封電報。數(shù)據(jù)的冗余——

基本概念你的妻子，Helen，將于明天晚上6點零5分在上海的虹橋機場接你。

(23*2+10=56個半角字符)你的妻子將于明天晚上6點零5分在虹橋機場接你

(20*2+2=42個半角字符）

Helen將于明晚6點在虹橋接你

(10*2+6=26個半角字符）結論：只要接收端不會產(chǎn)生誤解，就可以減少承載信息的數(shù)據(jù)量。數(shù)據(jù)冗余——描述上的冗余描述方式：

1）這是一幅2*2的圖像，圖像的第一個像素是紅的，第二個像素是紅的，第三個像素是紅的，第四個像素是紅的。

2）這是一幅2*2的圖像，整幅圖都是紅色的。由此我們知道，整理圖像的描述方法可以達到壓縮的目的。1234圖像冗余——數(shù)據(jù)冗余的壓縮圖像冗余無損壓縮的原理RGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGB16RGB從原來的16*3*8=384bits壓縮為：(1+3)*8=32bits壓縮比為：12：1圖像冗余——數(shù)據(jù)冗余的壓縮圖像冗余有損壓縮的原理36353434343434323434333730343434343434343435343431343434343434343434343434343434343434343434343434342534圖像冗余

——

實際圖像中的像素冗余

實際圖像中冗余信息的表現(xiàn)（灰度圖）圖像冗余——視覺冗余的壓縮圖像的視覺冗余（彩色）

R

G

B2488822*2*2=242=16,777,216(248,27,4)(251,32,15)(248,27,4)(248,27,4)

圖像編碼與壓縮從本質(zhì)上來說就是對要處理的圖像源數(shù)據(jù)按一定的規(guī)則進行變換和組合，從而達到以盡可能少的代碼（符號）來表示盡可能多的數(shù)據(jù)信息，壓縮通過編碼來實現(xiàn)，或者說編碼帶來壓縮的效果，所以一般把此項處理稱之為壓縮編碼。

圖像壓縮編碼的可能性

數(shù)據(jù)是用來表示信息的，如果不同的方法為表示給定量的信息使用了不同的數(shù)據(jù)量，那么使用較多數(shù)據(jù)量的方法中，有些數(shù)據(jù)必然是代表了無用的信息，或者是重復地表示了其他數(shù)據(jù)已經(jīng)表示的信息，這就是數(shù)據(jù)冗余的概念。由于圖像數(shù)據(jù)本身固有的冗余性和相關性，使得將一個大的圖像數(shù)據(jù)文件轉換成較小的圖像數(shù)據(jù)文件成為可能，圖像數(shù)據(jù)壓縮就是要去掉信號數(shù)據(jù)的冗余性，一般來說，圖像數(shù)據(jù)中存在著以下幾種冗余：

（1）空間冗余（像素間冗余、幾何冗余）：這是圖像數(shù)據(jù)中所經(jīng)常存在的一種冗余。在同一幅圖像中，規(guī)則物體和規(guī)則背景（所謂規(guī)則是指表面是有序的而不是完全雜亂無章的排列）的表面物理特性具有相關性，這些相關性的光成像結果在數(shù)字化圖像中就表現(xiàn)為數(shù)據(jù)冗余。（2）時間冗余：在序列圖像（電視圖像、運動圖像）中，相鄰兩幀圖像之間有較大的相關性。如圖所示，F(xiàn)l幀中有一個小汽車和一個路標，在時間T后的F2圖像中仍包含以上兩個物體，只是小車向前行駛了一段路程，此時F1和F2中的路標和背景都是時間相關的，小車也是時間相關的，因而F2和Fl具有時間冗余。

（a）F1幀

（b）F2幀時間冗余示例（3）信息熵冗余：也稱為編碼冗余，如果圖像中平均每個像素使用的比特數(shù)大于該圖像的信息熵，則圖像中存在冗余，稱為信息熵冗余。（4）結構冗余：有些圖像存在較強的紋理結構，如墻紙、草席等圖像，稱之存在結構冗余。（5）知識冗余：有許多圖像的理解與某些基礎知識有相當大的相關性，例如人臉的圖像有固定的結構，比如說嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正臉圖像的中線上等等，這類規(guī)律性的結構可由先驗知識和背景知識得到，稱此類冗余為知識冗余。（6）心理視覺冗余：人類的視覺系統(tǒng)對于圖像場的注意是非均勻和非線性的，特別是視覺系統(tǒng)并不是對于圖像場的任何變化都能感知，即眼睛并不是對所有信息都有相同的敏感度，有些信息在通常的視覺感覺過程中與另外一些信息相比來說并不那么重要，這些信息可認為是心理視覺冗余的，去除這些信息并不會明顯地降低所感受到的圖像的質(zhì)量。心理視覺冗余的存在是與人觀察圖像的方式有關的，人在觀察圖像時主要是尋找某些比較明顯的目標特征，而不是定量地分析圖像中每個像素的亮度，或至少不是對每個像素等同地分析，人通過在腦子里分析這些特征并與先驗知識結合以完成對圖像的解釋過程，由于每個人所具有的先驗知識不同，對同一幅圖像的心理視覺冗余也就因人而異。

圖像壓縮原理由于一幅圖像存在數(shù)據(jù)冗余和主觀視覺冗余，所以壓縮方式就可以從這兩方面著手開展。改變圖像信息的描述方式，以壓縮掉圖像中的數(shù)據(jù)冗余。忽略一些視覺不太明顯的微小差異，以壓縮掉圖像中的視覺冗余。圖像的壓縮編碼第一代壓縮編碼

八十年代以前，主要是根據(jù)傳統(tǒng)的信源編碼方法。第二代壓縮編碼

八十年代以后，突破信源編碼理論，結合分形、模型基、神經(jīng)網(wǎng)絡、小波變換等數(shù)學工具，充分利用視覺系統(tǒng)生理心理特性和圖像信源的各種特性。圖像的壓縮編碼像素編碼變換編碼預測編碼位平面編碼增量調(diào)制熵編碼算術編碼DCT變換DPCM調(diào)制第一代壓縮編碼其他編碼行程編碼圖像的壓縮編碼子帶編碼模型編碼分層編碼分型編碼第二代壓縮編碼

圖像壓縮編碼的系統(tǒng)評價

在圖像編碼中，編碼質(zhì)量是一個非常重要的概念，怎樣以盡可能少的比特數(shù)來存儲或傳輸一幅圖像，同時又讓接收者感到滿意，這是圖像編碼的目標。對于圖像編碼的質(zhì)量評價主要體現(xiàn)在基于壓縮編碼參數(shù)的評價、基于保真度（逼真度）準則的評價、算法的適用范圍、算法的復雜度等四個方面。

壓縮比：壓縮比是衡量數(shù)據(jù)壓縮程度的指標之一，到目前為止，尚無壓縮比的統(tǒng)一定義，目前常用的壓縮比定義為：

其中：為源代碼長度；為壓縮后的代碼長度。

壓縮比的物理意義是被壓縮掉的數(shù)據(jù)占源數(shù)據(jù)的百分比，一般的講，壓縮比大，則說明被壓縮掉的數(shù)據(jù)量多，當壓縮比接近100％時，壓縮效率最理想。

保真度

在圖像壓縮編碼中，解碼圖像與原始圖像可能會有差異，因此，需要評價壓縮后圖像的質(zhì)量。描述解碼圖像相對原始圖像偏離程度的測度一般稱為保真度（逼真度）準則。常用的準則可分為兩大類：客觀保真度準則和主觀保真度準則。

（1）客觀保真度準則

最常用的客觀保真度準則是原圖像和解碼圖像之間的均方根誤差和均方根信噪比兩種，令f(x,y)表示原圖像，表示f(x,y)先壓縮又解壓縮后得到的的近似，對任意x和y，f(x,y)和之間的誤差定義為：

若f(x,y)和均為M×N，則它們之間的均方根誤差為：

如果將看做原始圖像f(x,y)和噪聲圖像e(x,y)的和，則解壓縮圖像的均方信噪比為：

若對上式求平方根，則得到均方根信噪比。

實際使用時，常將歸一化并用分貝（dB）表示，令

則有

若令，x=0,1,…,M-1,y=0,1,…,N-1，則可以得到峰值信噪比PSNR（2）主觀保真度準則盡管客觀保真度準則提供了一種簡單方便的信息損失的方法，但是很多解壓圖像最終是供人觀看的，有時單用某一個或幾個解析式來度量圖像品質(zhì)，甚至得到與主觀評估相反的結果，這樣就造成采用這些解析公式得到的定量的逼真度的可信度低，造成逼真度不能從理論上完滿解決的根本原因在于人眼視覺感知得到的信息傳輸?shù)缴窠?jīng)系統(tǒng)的處理、判別過程不清楚，而這又涉及到生物物理學、

生物化學以及生態(tài)光學等領域的成就，至今還不能提供這一過程的滿意回答（這也是當今計算機視覺的一個前沿課題，目前正在研究發(fā)展中）。鑒于這樣的原因，目前對圖像品質(zhì)的度量仍停留在主觀評估上。所謂主觀評估就是聘請一些‘外行’或專家，通過對圖像的觀察來判別好壞。因而這是一種定性的評估。算法的適用范圍特定的圖像編碼算法具有其相應的適用范圍，并不對所有的圖像都有效。一般說來，大多數(shù)基于圖像信息統(tǒng)計特性的壓縮算法具有較廣的適用范圍，而一些特定的編碼算法的適用范圍較窄，如分形編碼主要用于自相似性高的圖像；某些算法（如基于對象的圖像壓縮編碼方案），只能用于特定圖像場景（如人的頭肩像場景）的壓縮。算法的復雜度算法的復雜度即指完成圖像壓縮和解壓縮所需的運算量和硬件實現(xiàn)該算法的難易程度。優(yōu)秀的壓縮算法要求有較高的壓縮比，壓縮和解壓縮快，算法簡單，易于硬件實現(xiàn)，還要求解壓縮后的圖像質(zhì)量較好。選用編碼方法時一定要考慮圖像信源本身的統(tǒng)計特性、多媒體系統(tǒng)的適應能力、應用環(huán)境以及技術標準。

行程編碼(RLE編碼)——基本概念行程編碼是一種最簡單的，在某些場合是非常有效的一種無損壓縮編碼方法。雖然這種編碼方式的應用范圍非常有限，但是因為這種方法中所體現(xiàn)出的編碼設計思想非常明確，所以在圖像編碼方法中都會將其作為一種典型的方法來介紹。

行程編碼——

基本原理通過改變圖像的描述方式，來實現(xiàn)圖像的壓縮。將一行中灰度值相同的相鄰像素，用一個計數(shù)值和該灰度值來代替。行程編碼——

實現(xiàn)方法

舉例說明：a=100,b=1,c=23,d=254

aaaa

bbb

cc

d

eeeee

fffffff

432157

(共22*8=176bits)

4a3b2c1d5e7f

(共12*8=96bits)

壓縮比為：176：96=1.83:1行程編碼——傳真中的應用方法傳真件中一般都是白色比較多，而黑色相對比較少。所以可能常常會出現(xiàn)如下的情況：

500W3b470w12b4w

3b3000w

上面的行程編碼所需用的字節(jié)數(shù)為：因為：2048<3000<4096

所以：計數(shù)值必須用12bit來表示行程編碼——傳真中的應用方法對于：500W3b470w12b4w

3b3000w

編碼為：500,3,570,12,4,3,3000

編碼位數(shù)為:12,12,12,12,12,12,12需要的數(shù)據(jù)量為：12*7=84bit壓縮比為：168：84=2：1因為只有白或黑，而且排版中一定要留出頁邊距，因此，一般情況下，可以只傳輸計數(shù)值即可。行程編碼——傳真中的應用方法現(xiàn)在，根據(jù)傳真件的特點，對其進行改進。既然已經(jīng)可以預知白色多黑色少，所以可對白色和黑色的計數(shù)值采用不同的位數(shù)。以這個例子，可以定義：

白色：12bit，黑色：4bit

行程編碼——傳真中的應用方法編碼為：500,3,470,12,4,3,3000

編碼位數(shù)為:12,4,12,4,12,4,12所需字節(jié)數(shù)為：4*12+3*4=60bit壓縮比為：168：60=2.8：1比原來的RLE方式168bit減少到了60bit,相當于又提高了壓縮比為168/60=2.8：1

。二維行程編碼——

基本概念二維行程編碼要解決的核心問題是:

將二維排列的像素，采用某種方式轉化成一維排列的方式。之后按照一維行程編碼方式進行編碼。二維行程編碼——

數(shù)據(jù)排序如下圖所示，是兩種典型的二維行程編碼的排列方式：(a)(b)二維行程編碼——例例：數(shù)據(jù)量：64*8=512(bit)二維行程編碼——例

如果按照行掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，129，134，133，129，130；130，130，130，129，134，133，130，130；

130，130，130，129，132，132，130，130；129，130，130，129，130，130，129，129；127，128，127，129，131，129，131，130；127，128，127，128，127，128，132，132；125，126，129，129，127，129，133，132；127，125，128，128，126，130，131，131二維行程編碼——例一維行程編碼后為:（3，130），（1，129），（1，134），（1，133），（1，129），（4，130），（1，129），（1，134），（1，133），（5，130），（1，129），（2，132），（2，130），（1，129），（2，130），（1，129），（2，130），（2，129），（1，127），（1，128），（1，127），（1，129），（1，131），（1，129），（1，131），（1，130），（1，127），（1，128），（1，127），（1，128），（1，127），（1，128），（2，132），（1，125），（1，126），（2，129），（1，127），（1，129），（1，133），（1，132），（1，127），（1，125），（2，128），（1，126），（1，130），（2，131）數(shù)據(jù)量為:46*（3+8）=506(bit)壓縮比為：512：506=1.01:1二維行程編碼——例如果按照列掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，129，127，127，125，127；130，130，130，130，128，128，126，125；130，130，130，130，127，127，129，128；129，129，129，129，129，128，129，128；134，134，132，130，131，127，127，126；133，133，132，130，129，128，129，130；129，130，130，129，131，132，133，131；130，130，130，129，130，132，132，131二維行程編碼——例一維行程編碼為:數(shù)據(jù)量為:42*（3+8）=462(bit)壓縮比為：512：462=1.11:1（3，130），（1，129），（2，127），（1，125），（1，127），（4，130），（2，128），（1，126），（1，125），（4，130），（2，127），（1，129），（1，128），（5，129），（1，128），（1，129），（1，128），（2，134），（1，132），（1，130），（1，131），（2，127），（1，126），（2，133），（1，132），（1，130），（1，129），（1，128），（1，129），（1，130），（1，129），（2，130），（1，129），（1，131），（1，132），（1，133），（1，131），（3，130），（1，129），（1，130），（2，132），（1，131）二維行程編碼——例如果按照方式(a)掃描的順序排列的話，數(shù)據(jù)分布為：130，130，130，130，130，130，130，130；130；129，129，129，129，130，130，129；127，128，127，129，131，130，132，134；134；133，133，132，130，129，128，127；128，127，128，127，125，126，129，129；127，129，133，132，131，129，130，130；129，130，130，130，129，130，132，132；131，131，130，126，128，128，125，127二維行程編碼——例一維行程編碼為:數(shù)據(jù)量為:44*（3+8）=484(bit)壓縮比為：512：484=1.06:1（7，130），（2，130），（4，129），（2，130），（1，129），（1，127），（1，128），（1，127），（1，129），（1，131），（1，130），（1，132），（2，134），（2，133），（1，132），（1，130），（1，129），（1，128），（1，127），（1，128），（1，127），（1，128），（1，127），（1，125），（1，126），（2，129），（1，127），（1，129），（1，133），（1，132），（1，131），（1，129），（2，130），（1，129），（3，130），（1，129），（1，130），（2，132），（2，131），（1，130），（1，126），（2，128），（1，125），（1，127）Huffman編碼（熵編碼）行程編碼要獲得好的壓縮率的前提是有比較長的相鄰像素的值是相同的。熵是指數(shù)據(jù)中承載的信息量。所謂的熵編碼是指在完全不損失信息量前提下最小數(shù)據(jù)量的編碼。Huffman編碼——

基本原理為了達到大的壓縮率，提出了一種方法就是將在圖像中出現(xiàn)頻度大的像素值，給一個比較短的編碼，將出現(xiàn)頻度小的像數(shù)值,給一個比較長的編碼。Huffman編碼——

基本原理例：

aaaa

bbb

cc

d

eeeee

fffffff

432157如果不進行特殊的編碼，按照圖像像素的描述，需要的數(shù)據(jù)量為：

22*8=176bits

Huffman編碼——

基本原理

aaaa

bbb

cc

d

eeeee

fffffff

432157按照熵編碼的原理進行編碼：

f=0e=10a=110b=1111c=11100d=11101這里的編碼規(guī)則是長短不一的異字頭碼Huffman編碼——

基本原理

由：f=0e=10a=110b=1111c=11100d=11101

aaaabbbccdeeeeefffffff

11011011011011111111111111100111001110110101010100000000

數(shù)據(jù)量：7*1+5*2+4*3+3*4+2*5+1*5=56bit壓縮比為：176：56=3.14：1Huffman編碼——

算法首先求出圖像中灰度分布的灰度直方圖；根據(jù)該直方圖，對其按照分布概率從小到大的順序進行排列；每一次從中選擇出兩個概率為最小的節(jié)點相加，形成一個新的節(jié)點，構造一個稱為“Huffman樹”的二叉樹；對這個二叉樹進行編碼，就獲得了Huffman編碼碼字。Huffman編碼——

例例：對數(shù)據(jù)序列

aaaa

bbb

cc

d

eeeee

fffffff

其概率分布為：

a:4/22b:3/22c:2/22d:1/22e:5/22f:7/22

概率大小的排序為：

d,c,b,a,e,f

1/222/223/224/225/227/22Huffman編碼——

例cbafe7/225/224/222/2210f=11e=01a=00b=101c=1001d=1000d1/223/226/2222/2213/229/223/2210101010Huffman編碼——

壓縮效率對這個例子，計算出經(jīng)過Huffman編碼后的數(shù)據(jù)為：

10101010001001001000100010000111111111101010101010101

共7*2+5*2+4*2+3*3+2*4+1*4=53bit壓縮比為176：53=3.32:1Huffman編碼——

圖像壓縮中的應用我們知道，對一幅圖像進行編碼時，如果圖像的大小大于256時，這幅圖像的不同的碼字就有可能是很大，例如極限為256個不同的碼字。這時如果采用全局Huffman編碼則壓縮效率不高。甚至有可能與原來的等長編碼的