信息理論基礎 第七章 限失真信源編碼

信息理論基礎第七章限失真信源編碼第1頁，共31頁，2023年，2月20日，星期日第一節(jié)失真測度一.失真函數(shù)失真函數(shù)----用一個非負函數(shù)d(xi,yj)表示當信源發(fā)出信息

xi

，而信宿收到信息yj

的失真度的定量描述信道XYX=[x1x2…xn]Y=[y1y2…ym]失真矩陣[d]注意:-----失真函數(shù)的形式是依實際情況人為決定的.第2頁，共31頁，2023年，2月20日，星期日最常用的失真函數(shù)有：信道XY矢量失真函數(shù)第3頁，共31頁，2023年，2月20日，星期日例7-1假定離散矢量信源N=3，輸出矢量序列為X=X1X2X3，其中Xi,i=1,2,3的取值為{0,1}，經(jīng)信道傳輸后的輸出為Y=Y1Y2Y3

，其中Yj,j=1,2,3的取值為{0,1}.定義失真函數(shù)為

d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩陣[dN]。解：由矢量失真函數(shù)的定義得：第4頁，共31頁，2023年，2月20日，星期日類似可以得到其他失真函數(shù)的值，則矢量失真矩陣為第5頁，共31頁，2023年，2月20日，星期日----用來估計全體信源發(fā)出的信息與接收信息之間的失真程度。二.平均失真函數(shù)定義：失真函數(shù)的數(shù)學期望定義為平均失真函數(shù)（平均失真度）矢量平均失真函數(shù)為：：表示第i個位置上符號的平均失真函數(shù)。第6頁，共31頁，2023年，2月20日，星期日例7-2在語音線譜頻率參數(shù)的矢量量化中，引入失真函數(shù)d(X,Y)，該失真函數(shù)反映用碼字Y代替線譜頻率參數(shù)X時付出的代價。平均失真測度為失真函數(shù)的數(shù)學期望值。通常我們采用加權(quán)歐氏失真測度：為加權(quán)因子，

為經(jīng)驗常數(shù)

為對應測試矢量的LPA功率譜

實驗證明該方法比均方誤差失真每幀節(jié)省2個比特以上

第7頁，共31頁，2023年，2月20日，星期日例7-3：設信源的符號表示為，各符號等概分布，規(guī)定失真函數(shù)為

(1)如要求從平均意義上不允許有失真，即允許平均失真度D=0，此時信源輸出的信息率是多少？(2)如我們允許平均失真度D=1/2，也就是說，當收到100個符號，允許其中有50個符號以下的錯誤，此時信源輸出的信息率可以是多少？

第8頁，共31頁，2023年，2月20日，星期日第二節(jié)信息率失真函數(shù)在采樣率為8kHz的語音信號的子帶編碼中，如果采用小波變換把語音信號分解為4個子帶，即2~4kHz，1kHz~2kHz，500~1000Hz，0~500Hz。原始全帶重建0~2kHz重建0~1kHz重建0~500Hz重建一.保真度準則規(guī)定平均失真度為D，則信源壓縮后的平均失真度的準則為保真度準則。當失真函數(shù)及信源給定后，選擇適當信道，使其平均失真度滿足保真度準則。所有滿足保真度準則的信道，稱為D失真允許試驗信道，記作第9頁，共31頁，2023年，2月20日，星期日

在D允許信道中可以尋找一個信道，使得給定的信源經(jīng)過此信道傳輸時，其信道傳輸率達到最小，這個最小值定義為信息率失真函數(shù)，記為：二.信息率失真函數(shù)R(D)含義：率失真函數(shù)是在給定信源、規(guī)定失真函數(shù)后，在滿足保真度準則的前提下，為了再現(xiàn)信源信息，信宿從信源必須獲取的最小平均信息量。也就是信源必須傳輸給信宿的最小信息率。第10頁，共31頁，2023年，2月20日，星期日例7-3：設信源的符號表示為即符號不發(fā)生錯誤時失真為0，一旦出錯失真為1。假設允許的失真限度為試分析在給定的失真限度條件下信息壓縮的程度。，各符號等概分布，規(guī)定失真函數(shù)為第11頁，共31頁，2023年，2月20日，星期日解：由信源概率分布可求出信源熵為如果對信源進行無失真編碼，即平均失真度則平均每個符號至少需要個二進制碼元來表示。

此時信源編碼器的輸出信息率為當允許的失真限度為時，可以計算得第12頁，共31頁，2023年，2月20日，星期日按照最大的失真度來進行編碼，即平均失真度

也就是說，當收到100個符號，允許其中有50個符號發(fā)生錯誤。設想采用下面的編碼方法：用信道表示如下：該信道的平均失真度為：由平均互信息的公式可知：第13頁，共31頁，2023年，2月20日，星期日該編碼方法相當于一個確定信道，則信道輸出概率分布為：則輸出熵為平均互信息：即采用上面的編碼方法后的信息率比較率失真函數(shù)和該信道的信息率有：

當時，該編碼器輸出的信息率等于率失真函數(shù)，而當時，該編碼器輸出的信息率大于率失真函數(shù)

說明該編碼方法不是最好的編碼方法

第14頁，共31頁，2023年，2月20日，星期日。從兩個方面應用這個率失真函數(shù)：再看具體編碼方法的輸出信息率跟1）在給定失真度D的條件下，求出所能達到的最小信息率的關系，然后判斷該編碼方法是否適合。然后看具體編碼方法的失真是否超過最小失真2）在給定信息率R的條件下，求出所能達到的最小失真在WI語音壓縮編碼中，線譜頻率的量化采用矢量量化，它是從第二個方面應用率失真函數(shù)來指導的。目前，每幀語音的線譜頻率只需要20比特來表示就能達到透明量化質(zhì)量。原始語音WI語音20bit本人采用的方法15bit第15頁，共31頁，2023年，2月20日，星期日-----連續(xù)信源

三.率失真函數(shù)R(D)的定義域信道傳輸?shù)男畔⒘康扔谛旁吹撵兀矗?.-------離散信源2.

的定義域為：第16頁，共31頁，2023年，2月20日，星期日如何求解出呢？

當時，信道的輸入與輸出相互獨立，則此時的平均失真為

如果選取

的最小值對應的令其它的

對應的，則有

第17頁，共31頁，2023年，2月20日，星期日例7-4：設輸入輸出符號表示為，輸入概率分布為，失真矩陣為，求平均失真度為和時的率失真函數(shù)以及對應的編碼器的轉(zhuǎn)移概率。

解：當平均失真度為時，編碼是無失真的，則編碼器的轉(zhuǎn)移概率為當平均失真度為時，編碼具有最大失真，則此時編碼器的轉(zhuǎn)移概率為此時第18頁，共31頁，2023年，2月20日，星期日四.率失真函數(shù)的數(shù)學特性1.下凸性。給定信源及規(guī)定失真函數(shù)后，在的定義域內(nèi)，是關于D的下凸函數(shù)，即對于任意和，有2.R(D)是關于D的單調(diào)遞減函數(shù)率失真函數(shù)也是關于D的連續(xù)函數(shù)

在定義域，若有，則有

第19頁，共31頁，2023年，2月20日，星期日結(jié)論：

率失真函數(shù)是非負實數(shù)，即。其定義域為，其對應的值為。當時，是關于D的單調(diào)遞減函數(shù)。③是關于D的下凸函數(shù)，因而也是關于D的連續(xù)函數(shù)。②H（X）R（D）R（D1）0D1DmaxD第20頁，共31頁，2023年，2月20日，星期日五.R（D）函數(shù)的計算設信源的輸入序列為信源編碼器的輸出序列為規(guī)定失真函數(shù)為

的計算是在約束條件下，求

的極小值問題。

第21頁，共31頁，2023年，2月20日，星期日通常情況下，引入拉格朗日乘法，引入乘子s和將上述條件極值問題轉(zhuǎn)化為無條件極值問題：由上式解出所有，帶入平均互信息的求解公式中得到在約束條件下的平均互信息的極小值，即是率失真函數(shù)。求解偏導得到一系列重要的公式：

第22頁，共31頁，2023年，2月20日，星期日例7-5：設信源輸入符號集為(0,1)，其中。失真函數(shù)定義為，，設輸出符號集為(0,1)，允許的失真度為D，求率失真函數(shù)R(D)。解：（1）首先由來計算和則有解出第23頁，共31頁，2023年，2月20日，星期日（2）：由來計算和則有解出第24頁，共31頁，2023年，2月20日，星期日（3）：將求得的和代入得到平均失真度為則解出參量s為（4）：將參量s代入得可以看出：是本身要傳輸?shù)男畔⒘浚怯稍试S失真D導致?lián)p失的最大信息量

第25頁，共31頁，2023年，2月20日，星期日第三節(jié)限失真信源編碼定理限失真信源編碼定理：

設離散無記憶信源X的信息率失真函數(shù)為R(D)，當信息率R>R(D)時，只要信源序列長度L足夠長，一定存在一種編碼方法，其譯碼失真小于或等于D+ε，ε為任意小的正數(shù)；反之，若R<R(D)，則無論采用什么樣的編碼方法，其譯碼失真必定大于D。

定理指出，在失真限度內(nèi)使信息率任意接近R(D)的編碼方法存在。然而，要使信息率小于R(D)，平均失真一定超過失真限度D。

說明:R(D)且允許平均失真度情況下，信源信息壓縮下的限值。第26頁，共31頁，2023年，2月20日，星期日第四節(jié)常用限失真信源編碼方法簡介一.標量量化量化器XY輸出為電平多對一映射設門限為：則：通過量化器傳輸?shù)男畔⒙柿炕瘞淼钠骄д鍰為第27頁，共31頁，2023年，2月20日，星期日設有信源序列可令預測值為二.預測編碼預測是用過去值預測未來值,并對它與實際值之差進行編碼，達到進一步壓縮碼率的目的。預測編碼是利用信源的相關性來壓縮碼率的，對于獨立信源，預測就沒有可能。R階預測是由來預測線性預測是預測函數(shù)為各已知信源符號的線性函數(shù)，即并求均方誤差最小時的各值。第28頁，共31頁，2023年，2月20日，星期日三.變換編碼A變換量化B變換輸入X輸出Ww=BzYy=AxZA:線性變換,為非奇異的去相關矩陣Y:各個分量不相關B:線性變換,是非奇異矩陣。變換編碼與理論上的壓縮編碼的區(qū)別是多了兩個限制：①

變換為線性變換②

量化是對各分量獨立進行最終輸出處的平均失真跟矩陣A、B以及量化方法等有關。第29頁，共31頁，2023年，2月20日，星期日例7-6：若有一信源每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某二元無噪無損信道中進行傳輸，而信道每秒鐘只傳送兩個二元符號。（1）試問信源能否在此信道中進行無失真?zhèn)鬏敗＃?）

若此信源失真度測量定義為漢明失真，即d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0，問允許信源平均失真多大時，此信源就可以在此信道中傳播。第30頁，共31頁，2023年，2月20日，星期日解(1)信源熵為H（S）=1比特/符號信源輸出的信息傳輸速率Rt=2.66×H（S）=2.66比特/秒無噪無損信道的信道容