第八章 變換編碼

第八章變換編碼第一節(jié)基本原理第二節(jié)離散正交變換第三節(jié)靜止圖像的變換編碼第四節(jié)MDCT變換編碼有何意義？本章之前，我們一直認(rèn)為冗余度是數(shù)據(jù)固有的，但實(shí)際上，有時(shí)卻與不同的表示方法有很大關(guān)系。預(yù)測(cè)編碼希望通過對(duì)信源建模來盡可能精確地預(yù)測(cè)源數(shù)據(jù)；而本章則考慮將原始數(shù)據(jù)“變換”到另一個(gè)更為緊湊的表示空間，得到比預(yù)測(cè)編碼更高的數(shù)據(jù)壓縮。引言1、變換編碼的基本思想變換編碼(TransformCoding)的基本思想是將在通常的歐幾里德幾何空間(空間域)描寫的圖像信號(hào)映射變換到另外的向量空間(變換域)進(jìn)行描寫，然后再根據(jù)圖像在變換域中系數(shù)的特點(diǎn)和人眼的視覺特性進(jìn)行編碼。第一節(jié)基本原理圖像分解：減少變換的計(jì)算復(fù)雜度圖像變換：解除每個(gè)子圖像內(nèi)部像素之間的相關(guān)性，或者說將盡可能多的信息集中到盡可能少的變換系數(shù)上。壓縮：不是在變換中而是在量化變換系數(shù)時(shí)及編碼時(shí)取得的。第一節(jié)基本原理2、正交變換的幾何意義考慮兩個(gè)相鄰數(shù)據(jù)樣本x1與x2的聯(lián)合事件。第一節(jié)基本原理

用圖6.2的二維(2D)平面坐標(biāo)表示，其中x1與x2軸分別表示相鄰兩樣本可能的幅度等級(jí)。由于信號(hào)變化緩慢，x1與x2同時(shí)出現(xiàn)相近幅度等級(jí)的可能性較大，故圖6.2陰影區(qū)內(nèi)45°斜線(x2=x1)附近的聯(lián)合事件出現(xiàn)的概率也就較大。不妨將此陰影區(qū)之邊界稱為相關(guān)圈：信源的相關(guān)性越強(qiáng)，相關(guān)圈就越加扁長(zhǎng)，x1與x2呈現(xiàn)出“水漲船高”的緊密關(guān)聯(lián)特性，此時(shí)欲編碼圈內(nèi)各點(diǎn)的位置，就要對(duì)兩個(gè)差不多大的坐標(biāo)值分別進(jìn)行編碼；信源的相關(guān)性越弱，此相關(guān)圈就越加“方圓”，說明x1處于某一幅度等級(jí)時(shí)，x2可能出現(xiàn)在不相同的任意幅度等級(jí)上。第一節(jié)基本原理

現(xiàn)在若對(duì)該數(shù)據(jù)進(jìn)行正交變換，從幾何上相當(dāng)于把圖6.2所示的(x1,x2)坐標(biāo)系旋轉(zhuǎn)45°，變換成(y1,y2)坐標(biāo)系。那么此時(shí)該相關(guān)圈正好處在y1上的投影就越大，而在y2上的投影則越小。因而從，y2坐標(biāo)來看，任憑y1在較大范圍內(nèi)變換，而y2卻“巍然不動(dòng)”或僅僅“微動(dòng)”。這就意味著變量y1和y2之間的聯(lián)系，在統(tǒng)計(jì)上更加互相獨(dú)立。第一節(jié)基本原理因此，通過這種坐標(biāo)系的旋轉(zhuǎn)變換，就能得到一組去掉大部分甚至全部統(tǒng)計(jì)相關(guān)性的另一種輸出樣本。而且樣本方差也將重新分布；在原坐標(biāo)系中兩相鄰樣本常具有相同的方差

；但在新坐標(biāo)系中卻有

，表明樣本能量向y1軸相對(duì)地集中了，雖然樣本的方差總和并未因坐標(biāo)旋轉(zhuǎn)而變，即保持變換后各坐標(biāo)軸上方差的不均勻分布，為數(shù)據(jù)壓縮編碼創(chuàng)造了條件。

以上幾何解釋可推廣到一串n個(gè)數(shù)據(jù)點(diǎn)或一塊m×n個(gè)像素的子圖像：將該數(shù)據(jù)串（或數(shù)據(jù)塊）看成n維（或m×n

維）空間中的一個(gè)點(diǎn)，則此時(shí)的正交變換從幾何上看不過是n維（或m×n

維）坐標(biāo)系的一個(gè)旋轉(zhuǎn)。正交變換實(shí)現(xiàn)數(shù)據(jù)壓縮的物理本質(zhì)：經(jīng)過多維坐標(biāo)系中適當(dāng)?shù)男D(zhuǎn)和變換，能夠把散布在各個(gè)坐標(biāo)軸上的原始數(shù)據(jù)在新的、適當(dāng)?shù)淖鴺?biāo)系中集中到少數(shù)坐標(biāo)軸上。因此可能用較少的編碼位數(shù)來表示一組信號(hào)樣本，實(shí)現(xiàn)高效率的壓縮編碼。第一節(jié)基本原理第二節(jié)離散正交變換1、正交變換的定義

如果

是由N個(gè)信號(hào)樣本構(gòu)成的列向量(有時(shí)就稱X為矢量信號(hào))，是一個(gè)

的矩陣，則

定義了X的一個(gè)線性變換。A也稱為此變換的和矩陣，而變換結(jié)果

也是一個(gè)N維的矢量信號(hào)，稱作X的像。(6.2-2)變換前的信號(hào)變換后的信號(hào)如果線性變換保持N維矢量X的模不變，則稱為正交變換。此時(shí)，A便為正交矩陣，構(gòu)成正交矩陣的沖要條件為

，I為單位矩陣。因此有

即：正交矩陣的轉(zhuǎn)置即為其逆矩陣。這不僅保證了正交矩陣A的逆矩陣A-1一定存在，而且無需求解；同時(shí)A-1還具有與A相同的元素，這就使硬件處理設(shè)備大為簡(jiǎn)化。式(6.2-3)還保證了式(6.2-2)的X和Y一一對(duì)應(yīng)，因而能夠用反變換得到唯一確定的原始信號(hào)第二節(jié)離散正交變換(6.2-3)2、正交變換的性質(zhì)（1）能量守恒性 可以證明空間域中的數(shù)據(jù)平方和和變換域中的數(shù)據(jù)的平方和存在能量守恒關(guān)系，即第二節(jié)離散正交變換（2）熵保持性 如果把f(x,y)看作是一個(gè)具有一定熵值的隨機(jī)函數(shù)，那么變換系數(shù)F(u,v)的熵值和原來圖像信號(hào)f(x,y)的熵值相等。（3）去相關(guān)性(Decorrelation)當(dāng)輸入的數(shù)據(jù)高度相關(guān)時(shí)，變換后趨向于不相關(guān)。（4）能量集中性(EnergyCompaction)大部分正交變換趨向?qū)?shù)據(jù)的大部分能量集中到相對(duì)少數(shù)幾個(gè)系數(shù)上，由于整個(gè)能量守恒，因此這意味著許多變換系數(shù)只含有很少的能量。第二節(jié)離散正交變換第二節(jié)離散正交變換3、KL變換第二節(jié)離散正交變換

以矢量信號(hào)(X)的協(xié)方差矩陣

的歸一化正交特征向量(qi)所構(gòu)成的正交矩陣(Q)，對(duì)該矢量信號(hào)所作的正交變換(Y=QX)稱作Karhunen-Loeve變換(或特征向量變換，簡(jiǎn)稱KL變換或KLT)。

由上述定義：為實(shí)現(xiàn)KTL首先要知道再根據(jù)此求出Q第二節(jié)離散正交變換解：①由

求特征值。令

，按

次序可解出：【例6-4】若已知隨機(jī)信號(hào)X的協(xié)方差矩陣

，求正交矩陣Q。第二節(jié)離散正交變換②求特征向量將

代入(6.2-6a)，有

，解這3個(gè)方程組：1)由

，得

，即

；2)由

，得

，即

；3)由

，得

，即

；第二節(jié)離散正交變換③得到歸一化正交矩陣：

。④代入式(6.2-5)驗(yàn)證：正好是以

作為主對(duì)角元素的對(duì)角矩陣。其中，待定實(shí)常數(shù)可由歸一化正交條件即式(6.2-6b)解得：第二節(jié)離散正交變換KL變換的性質(zhì)：KLT使矢量信號(hào)的各個(gè)分量互不相關(guān)，即變換域信號(hào)的協(xié)方差矩陣為對(duì)角線型；KLT是在均方誤差準(zhǔn)則下，失真最小的一種變換，故又稱最佳變換。對(duì)第二條性質(zhì)的解釋說明：

這個(gè)問題是從數(shù)據(jù)壓縮提出的。因?yàn)榻?jīng)正交變換后矢量信號(hào)Y的分量個(gè)數(shù)并未減少，若要壓縮數(shù)據(jù)必須刪去能量較小的一些分量，這就帶來失真。設(shè)只保留m(m<N)個(gè)分量，則解碼時(shí)也只能恢復(fù)m個(gè)分量。若刪去的N-m個(gè)信號(hào)分量的均值為0，則可以證明：KLT可使恢復(fù)信號(hào)的均方誤差最小，且這個(gè)最小值等于變換域內(nèi)矢量信號(hào)被刪除的最小的(N-m)個(gè)方差之和，相當(dāng)于Y的協(xié)方差矩陣

最小N-m個(gè)對(duì)角元之和，即這就給編解碼器的設(shè)計(jì)帶來了方便，而且也便于失真和碼率的控制。第二節(jié)離散正交變換第二節(jié)離散正交變換4、離散余弦變換（1）一維DCT變換第二節(jié)離散正交變換（2）二維DCT變換

一個(gè)N×N像塊f(x,y)(x,y=0,1,…,N-1)的二維DCT定義為第二節(jié)離散正交變換DCT編碼和解碼過程DCT變換DCT逆變換原圖像除以量化系數(shù)取整1）編碼過程：2）解碼過程：壓縮圖像乘以量化系數(shù)取整壓縮圖像解壓圖像DCT編碼中對(duì)圖像帶來失真的主要原因如下：舍去高頻系數(shù)而使圖像產(chǎn)生模糊；對(duì)某些系數(shù)采用粗量化而產(chǎn)生顆粒狀結(jié)構(gòu)；像塊的劃分使相鄰像塊人為地造成亮度不連續(xù)，即塊效應(yīng)。1、變換矩陣的選擇正交變換的性質(zhì)能量守恒性：其對(duì)于數(shù)據(jù)壓縮的指導(dǎo)意義在于，只有當(dāng)空間域信號(hào)能量全部轉(zhuǎn)換到某個(gè)變換域后，有限個(gè)空間取樣值才能完全由有限個(gè)變換系數(shù)對(duì)于基矢量的加權(quán)來恢復(fù)。熵保持性：正交變換本身并不丟失信息，因此可以用傳送變換系數(shù)來達(dá)到傳輸信息的目的。去相關(guān)性：正交變換有可能使相關(guān)的空間域轉(zhuǎn)變?yōu)椴幌嚓P(guān)的變換域，使存在于相關(guān)性之中的數(shù)據(jù)冗余度得以去除。能量重新分配與集中：這是正交變換最重要的優(yōu)點(diǎn)，也是利用它能實(shí)現(xiàn)數(shù)據(jù)壓縮的物理本質(zhì)，此性質(zhì)DPCM并不具備。這條規(guī)律指導(dǎo)我們有可能利用此先驗(yàn)知識(shí)在質(zhì)量允許的情況下，舍棄一些能量較小者，從而使數(shù)據(jù)率有較大的壓縮。

第三節(jié)靜止圖像的變換編碼第三節(jié)靜止圖像的變換編碼如果圖像信號(hào)為馬爾可夫模型，則典型正交變換的大致性能比較如下：正交變換能量集中性能從好到差的順序

正交變換運(yùn)算量從小到大的排序綜合考慮圖像壓縮選DCT為變換矩陣性能較好。變換類型選定后，為實(shí)現(xiàn)方便起見，實(shí)用中的子圖像及二維變換矩陣常選的方陣，而變換矩陣階數(shù)M的選取原則一般有兩條：若M小，便于自適應(yīng)、計(jì)算速度快、實(shí)現(xiàn)簡(jiǎn)單，但“方塊效應(yīng)”嚴(yán)重；若M大，去相關(guān)效果好但漸趨飽和。從概念上，M越大，計(jì)入的相關(guān)數(shù)據(jù)樣本越多，有利于改善性能；但當(dāng)數(shù)據(jù)塊足夠大后，若再加大M，則新加入的樣本與中心附近的樣本之間相關(guān)性甚小，對(duì)數(shù)據(jù)壓縮的好處不明顯，而計(jì)算復(fù)雜性將迅速增加。對(duì)于圖像編碼，現(xiàn)在最常用的子圖像塊大小為根據(jù)選定(或指定)的變換矩陣A及其階數(shù)(即圖像的分塊尺寸)完成正變換后，則整個(gè)編碼器的實(shí)現(xiàn)過程上要就是選擇變換域系數(shù)并對(duì)選中的系數(shù)按一定的準(zhǔn)則與編碼。2、系數(shù)選擇與量化（1）系數(shù)選擇在變換域中選擇哪些系數(shù)進(jìn)行量化編碼，略去哪些系數(shù)不予傳輸（接收端直接補(bǔ)零），對(duì)變換法壓縮編碼的性能有很大影響。原則上，應(yīng)該保留能量集中的、方差大的系數(shù)。系數(shù)選擇，實(shí)際上是在變換域的二次取樣，通常有以下兩種方法：區(qū)域編碼閾值編碼

第三節(jié)靜止圖像的變換編碼區(qū)域編碼：只對(duì)規(guī)定區(qū)域內(nèi)的變換系數(shù)進(jìn)行量化編碼，略去區(qū)域外的系數(shù)。區(qū)域的形狀和大小取決于：圖像預(yù)濾波器的頻率響應(yīng)所需壓縮比的大小所選用的變換方法和變換塊的大小區(qū)域編碼的關(guān)鍵：選出能量相對(duì)集中的區(qū)域，以便保留大部分圖像能量，使得恢復(fù)圖像的質(zhì)量劣化不那么顯著。從統(tǒng)計(jì)意義上，變換系數(shù)的能量多半集中于低頻系數(shù)，所以編碼區(qū)域總?cè)≡诘皖l端。第三節(jié)靜止圖像的變換編碼區(qū)域編碼的缺點(diǎn)：有時(shí)大能量的系數(shù)也會(huì)出現(xiàn)在其他區(qū)域，舍掉它們會(huì)造成圖像質(zhì)量較大的損失（如邊緣模糊）；因?yàn)樯岬舻亩嗍歉哳l系數(shù)，總體效果呈現(xiàn)一種平滑了的感覺。區(qū)域編碼的優(yōu)點(diǎn)：編碼簡(jiǎn)單對(duì)區(qū)域內(nèi)的編碼位數(shù)可預(yù)先分配，從而使變換塊的碼率為定值，有利于限制誤碼擴(kuò)散。為了揚(yáng)長(zhǎng)避短，可預(yù)先設(shè)幾個(gè)區(qū)域，再根據(jù)實(shí)際系數(shù)的分布自動(dòng)選取能量最大者，并將區(qū)域類別額外編碼通知接收端。第三節(jié)靜止圖像的變換編碼閾值編碼：不限定編碼區(qū)域，而是對(duì)整個(gè)變換塊事先設(shè)定一個(gè)門限，若某系數(shù)方差（或幅度絕對(duì)值）超過該閾值，就保留下來進(jìn)行編碼傳輸，否則舍棄。優(yōu)點(diǎn)：有一定的自適應(yīng)能力，可以得到較區(qū)域編碼更好的圖像質(zhì)量。缺點(diǎn)：圖像中超過閾值的有效系數(shù)是隨機(jī)的，需要同時(shí)對(duì)它們的位置信息進(jìn)行編碼；較區(qū)域編碼復(fù)雜，需要一定的技巧，否則得不償失。第三節(jié)靜止圖像的變換編碼（2）系數(shù)量化和比特分配標(biāo)量量化分組量化矢量量化第三節(jié)靜止圖像的變換編碼幾個(gè)系數(shù)量化的例子先編碼，后對(duì)編碼系數(shù)量化。如前所述，對(duì)圖像進(jìn)行變換編碼時(shí)，常選用8×8或16×16的方陣，即對(duì)大小為8×8或16×16的子圖像進(jìn)行編碼。第三節(jié)靜止圖像的變換編碼【例6-5】JPEG、H.261/263和MPEG-1/2等國(guó)際標(biāo)準(zhǔn)均選擇了的二維DCT，則由式(6.2-14a)和(6.2-17a)，可直接寫出此時(shí)的二維DCT正、反變換(2D-FDCT和2D-IDCT)為：量化例1用于幀間編碼，即對(duì)預(yù)測(cè)誤差進(jìn)行量化?！纠?-6】H.261建議對(duì)每一分塊的64個(gè)2D-FDCT系數(shù)用同一均勻量化器量化(即圖5.13中的“Q”)，得到量化后的DCT系數(shù)c(k,l),公式如下其中INT表示取整，S為該系數(shù)原來的符號(hào)，S=0表示正值，S=1表示負(fù)值，q為量化階(量化步長(zhǎng))，可用來控制圖像的壓縮比和重建質(zhì)量。反量化(即圖5.13中的“”)則為顯然，一般，量化過程引入了不可逆的信息壓縮。量化例2：用于幀內(nèi)編碼，對(duì)圖像的變換矩陣進(jìn)行量化。第三節(jié)靜止圖像的變換編碼【例6-7】JPEG標(biāo)準(zhǔn)用具有64個(gè)獨(dú)立量化階Q(k,l)的量化分層表(亦稱量化矩陣)來分別規(guī)定對(duì)DCT域中64個(gè)系數(shù)的量化精度，使得某個(gè)系數(shù)X(k,l)的具體量化階取決于人眼對(duì)該頻率分量的視覺敏感性。理論上，對(duì)不同的彩色坐標(biāo)系、空間分辨率、數(shù)據(jù)精度及應(yīng)用場(chǎng)合，應(yīng)該有不同的量化表，所以，JPEG并未統(tǒng)一規(guī)定一張“標(biāo)準(zhǔn)表”，只是對(duì)亮度和色度的水平樣本數(shù)為2:1、各樣本均為8位的源圖像格式及按式(6.3-3a)定義的2D-FDCT歸一化算法，建議分別采用圖6.5和6.6的量化表，可取得良好的主觀視覺效果。若表中各量化階再除以2，則重建圖像的主觀質(zhì)量往往與源圖像不可區(qū)分。因此，JPEG算法也可通過調(diào)整一個(gè)公共的比例因子(類似于H.261的q)來縮放對(duì)各系數(shù)的量化階。量化過程就是簡(jiǎn)單地將變換系數(shù)除以相應(yīng)的量化階后四舍五入取整數(shù)，即第三節(jié)靜止圖像的變換編碼161110162440516112121419265860551413162440576956141722295187806218223756681091037724355564811041139249647887103121120101729295981121001039917182447999999991821266699999999242656999999999917669999999999999999999999999999999999999999999999999999999999999999999999999999圖6.5亮度(Luminance)量化表圖6.6色度(Chrominance)量化表是被量化階(實(shí)為視覺閾值加權(quán)矩陣)規(guī)范后的DCT系數(shù)。由式(6.3-6a)和圖6.5、圖6.6可見，為了更經(jīng)濟(jì)合理地利用有限的編位碼，對(duì)“高頻”系數(shù)和色度分量可以量化得更粗糙一些。反量化過程表示為第三節(jié)靜止圖像的變換編碼例題

MPEG-2的視頻編碼標(biāo)準(zhǔn)給出的均勻量化公式則為其中qp即為由碼率控制和自適應(yīng)量化所給出的公共控制因子。關(guān)鍵是MPEG-1和MPEG-2的量化加權(quán)矩陣Q既可用于幀內(nèi)編碼，也可用于幀間編碼。MPEG規(guī)定編碼器可根據(jù)圖像序列的特性來選擇Q，并通過標(biāo)題信息通知解碼器。加權(quán)矩陣的選擇意味著可根據(jù)變化系數(shù)的重要性分配編碼位數(shù)，圖6.7給出了MPEG推薦的幀內(nèi)和幀間默認(rèn)量化權(quán)矩陣?？梢?，對(duì)于幀間編碼，默認(rèn)

，上式等價(jià)于H.261的式(6.3-5a)，表明MPEG量化器實(shí)際上綜合了H.261量化器和JPEG量化器。又由圖5.13可以看出，幀間編碼是對(duì)MC預(yù)測(cè)誤差圖像進(jìn)行2D-FDCT的，其系數(shù)與主觀視覺之間的關(guān)系相對(duì)較弱且更為復(fù)雜，故對(duì)幀間編碼的64個(gè)系數(shù)均用同一個(gè)常數(shù)加權(quán)，亦在情理之中。第三節(jié)靜止圖像的變換編碼816192226272934161622242729343719222627293434382222262729343740222627293235404826272932354048582627293438465669272935384656698316161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616（a）幀內(nèi)量化矩陣

（b）幀間量化矩陣圖6.7MPEG默認(rèn)的量化權(quán)矩陣3、順序編碼與漸進(jìn)編碼問題：什么是順序編碼？什么是漸進(jìn)編碼？為什么要進(jìn)行漸進(jìn)編碼？首先，與活動(dòng)圖像相比，人眼更易于觀察到靜止圖像中的細(xì)節(jié)，因此要求所傳輸?shù)膱D像具有更高的清晰度。這就增加了傳輸時(shí)間。比如：對(duì)通常是逐行掃描順序傳輸?shù)膱D像信號(hào)，在普通電話信道中也往往需要幾秒甚至幾十秒才能自上而下、自左而右地逐步傳完整幅圖像。因此，如果能由粗到細(xì)逐漸浮現(xiàn)全圖，就有助于消除收看者的焦急等待；而且他還可以在對(duì)中間結(jié)果的圖像清晰度感到滿意的時(shí)候終止這幅圖像的傳輸。這不僅可能節(jié)約信道時(shí)間和費(fèi)用，而且這種通信方式也更加靈活友好，對(duì)于上網(wǎng)查閱圖像庫的內(nèi)容時(shí)非常有用。第三節(jié)靜止圖像的變換編碼