信息理論基礎(chǔ) 第七章 限失真信源編碼

1、信息理論基礎(chǔ) 第七章 限失真信源編碼第1頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一第一節(jié) 失真測(cè)度一.失真函數(shù)失真函數(shù)-用一個(gè)非負(fù)函數(shù)d (xi ,yj)表示當(dāng)信源發(fā)出信息 xi ，而信宿收到信息yj 的失真度的定量描述信道XYX=x1 x2 xnY=y1 y2 ym失真矩陣d注意:-失真函數(shù)的形式是依實(shí)際情況人為決定的.第2頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一最常用的失真函數(shù)有：信道XY矢量失真函數(shù)第3頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7-1假定離散矢量信源N=3，輸出矢量序列為X=X1X2X3，其中Xi , i=1,2,3的取值為0

2、,1，經(jīng)信道傳輸后的輸出為Y=Y1Y2Y3 ，其中Yj , j=1,2,3的取值為0,1.定義失真函數(shù)為 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩陣dN。解：由矢量失真函數(shù)的定義得：第4頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一類似可以得到其他失真函數(shù)的值，則矢量失真矩陣為第5頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一-用來(lái)估計(jì)全體信源發(fā)出的信息與接收信息之間的失真程度。二.平均失真函數(shù)定義：失真函數(shù)的數(shù)學(xué)期望定義為平均失真函數(shù)（平均失真度）矢量平均失真函數(shù)為： ：表示第i個(gè)位置上符號(hào)的平均失真函數(shù)。 第6頁(yè)，共31頁(yè)，2022年

3、，5月20日，0點(diǎn)57分，星期一例7-2 在語(yǔ)音線譜頻率參數(shù)的矢量量化中，引入失真函數(shù)d(X,Y) ，該失真函數(shù)反映用碼字Y代替線譜頻率參數(shù)X時(shí)付出的代價(jià)。平均失真測(cè)度為失真函數(shù)的數(shù)學(xué)期望值。通常我們采用加權(quán)歐氏失真測(cè)度： 為加權(quán)因子， 為經(jīng)驗(yàn)常數(shù) 為對(duì)應(yīng)測(cè)試矢量的LPA功率譜 實(shí)驗(yàn)證明該方法比均方誤差失真每幀節(jié)省2個(gè)比特以上 第7頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7-3：設(shè)信源的符號(hào)表示為 ，各符號(hào)等概分布，規(guī)定失真函數(shù)為 (1)如要求從平均意義上不允許有失真，即允許平均失真度D=0，此時(shí)信源輸出的信息率是多少？(2)如我們?cè)试S平均失真度D=1/2，也就是說(shuō)，當(dāng)收到1

4、00個(gè)符號(hào)，允許其中有50個(gè)符號(hào)以下的錯(cuò)誤，此時(shí)信源輸出的信息率可以是多少？ 第8頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一第二節(jié) 信息率失真函數(shù) 在采樣率為8kHz的語(yǔ)音信號(hào)的子帶編碼中，如果采用小波變換把語(yǔ)音信號(hào)分解為4個(gè)子帶，即24kHz，1kHz2kHz，5001000Hz，0500Hz。原始全帶重建02kHz重建01kHz重建0500Hz重建一.保真度準(zhǔn)則 規(guī)定平均失真度為D，則信源壓縮后的平均失真度 的準(zhǔn)則為保真度準(zhǔn)則。 當(dāng)失真函數(shù)及信源給定后，選擇適當(dāng)信道，使其平均失真度 滿足保真度準(zhǔn)則 。所有滿足保真度準(zhǔn)則的信道，稱為D失真允許試驗(yàn)信道，記作 第9頁(yè)，共31頁(yè)，2

5、022年，5月20日，0點(diǎn)57分，星期一 在D允許信道中可以尋找一個(gè)信道，使得給定的信源經(jīng)過(guò)此信道傳輸時(shí)，其信道傳輸率達(dá)到最小，這個(gè)最小值定義為信息率失真函數(shù)，記為：二.信息率失真函數(shù)R(D)含義：率失真函數(shù)是在給定信源、規(guī)定失真函數(shù)后，在滿足保真度準(zhǔn)則的前提下，為了再現(xiàn)信源信息，信宿從信源必須獲取的最小平均信息量。也就是信源必須傳輸給信宿的最小信息率。 第10頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7-3：設(shè)信源的符號(hào)表示為 即符號(hào)不發(fā)生錯(cuò)誤時(shí)失真為0，一旦出錯(cuò)失真為1。假設(shè)允許的失真限度為試分析在給定的失真限度條件下信息壓縮的程度。，各符號(hào)等概分布，規(guī)定失真函數(shù)為第11頁(yè)

6、，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一解：由信源概率分布可求出信源熵為如果對(duì)信源進(jìn)行無(wú)失真編碼，即平均失真度則平均每個(gè)符號(hào)至少需要個(gè)二進(jìn)制碼元來(lái)表示。 此時(shí)信源編碼器的輸出信息率為當(dāng)允許的失真限度為時(shí)，可以計(jì)算得第12頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一按照最大的失真度來(lái)進(jìn)行編碼，即平均失真度 也就是說(shuō)，當(dāng)收到100個(gè)符號(hào)，允許其中有50個(gè)符號(hào)發(fā)生錯(cuò)誤。設(shè)想采用下面的編碼方法：用信道表示如下：該信道的平均失真度為：由平均互信息的公式可知：第13頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一該編碼方法相當(dāng)于一個(gè)確定信道，則信道輸出概率分布為：則輸出熵

7、為 平均互信息：即采用上面的編碼方法后的信息率比較率失真函數(shù)和該信道的信息率有： 當(dāng)時(shí)，該編碼器輸出的信息率等于率失真函數(shù)，而當(dāng)時(shí)，該編碼器輸出的信息率大于率失真函數(shù) 說(shuō)明該編碼方法不是最好的編碼方法 第14頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一。從兩個(gè)方面應(yīng)用這個(gè)率失真函數(shù)：再看具體編碼方法的輸出信息率跟1）在給定失真度D的條件下，求出所能達(dá)到的最小信息率的關(guān)系，然后判斷該編碼方法是否適合。然后看具體編碼方法的失真是否超過(guò)最小失真2）在給定信息率R的條件下，求出所能達(dá)到的最小失真在WI語(yǔ)音壓縮編碼中，線譜頻率的量化采用矢量量化，它是從第二個(gè)方面應(yīng)用率失真函數(shù)來(lái)指導(dǎo)的。目前，

8、每幀語(yǔ)音的線譜頻率只需要20比特來(lái)表示就能達(dá)到透明量化質(zhì)量。原始語(yǔ)音WI語(yǔ)音20bit本人采用的方法15bit第15頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一-連續(xù)信源 三.率失真函數(shù)R(D)的定義域信道傳輸?shù)男畔⒘康扔谛旁吹撵?，即?.-離散信源2. 的定義域?yàn)椋旱?6頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一如何求解出 呢？ 當(dāng)時(shí)，信道的輸入與輸出相互獨(dú)立，則此時(shí)的平均失真為 如果選取 的最小值對(duì)應(yīng)的 令其它的 對(duì)應(yīng)的 ，則有 第17頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7-4：設(shè)輸入輸出符號(hào)表示為，輸入概率分布為，失真矩陣為，求平均失真度為

9、和時(shí)的率失真函數(shù)以及對(duì)應(yīng)的編碼器的轉(zhuǎn)移概率。 解：當(dāng)平均失真度為時(shí)，編碼是無(wú)失真的，則編碼器的轉(zhuǎn)移概率為當(dāng)平均失真度為時(shí)，編碼具有最大失真，則此時(shí) 編碼器的轉(zhuǎn)移概率為此時(shí)第18頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一四.率失真函數(shù)的數(shù)學(xué)特性1.下凸性。給定信源及規(guī)定失真函數(shù)后，在的定義域內(nèi)，是關(guān)于D的下凸函數(shù)，即對(duì)于任意和，有2.R(D)是關(guān)于D的單調(diào)遞減函數(shù)率失真函數(shù)也是關(guān)于D的連續(xù)函數(shù) 在定義域，若有，則有 第19頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一結(jié)論： 率失真函數(shù)是非負(fù)實(shí)數(shù)，即。其定義域?yàn)椋鋵?duì)應(yīng)的值為。當(dāng)時(shí)，是關(guān)于D的單調(diào)遞減函數(shù)。是關(guān)于D的下凸函

10、數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。H（X）R（D）R（D1）0D1DmaxD第20頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一五.R（D）函數(shù)的計(jì)算設(shè)信源的輸入序列為 信源編碼器的輸出序列為 規(guī)定失真函數(shù)為 的計(jì)算是在約束條件 下，求 的極小值問(wèn)題。 第21頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一通常情況下，引入拉格朗日乘法，引入乘子s和將上述條件極值問(wèn)題轉(zhuǎn)化為無(wú)條件極值問(wèn)題：由上式解出所有，帶入平均互信息的求解公式中得到在約束條件下的平均互信息的極小值，即是率失真函數(shù) 。求解偏導(dǎo)得到一系列重要的公式： 第22頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7

11、-5：設(shè)信源輸入符號(hào)集為(0,1)，其中 。失真函數(shù)定義為 ， ，設(shè)輸出符號(hào)集為(0,1)，允許的失真度為D，求率失真函數(shù)R(D)。解：（1）首先由來(lái)計(jì)算和則有解出第23頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一（2）：由來(lái)計(jì)算和則有解出第24頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一（3）：將求得的和代入得到平均失真度為則解出參量s為（4）：將參量s代入得可以看出：是本身要傳輸?shù)男畔⒘浚怯稍试S失真D導(dǎo)致?lián)p失的最大信息量 第25頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一第三節(jié) 限失真信源編碼定理限失真信源編碼定理： 設(shè)離散無(wú)記憶信源X的信息率失真函數(shù)

12、為R(D)，當(dāng)信息率R R(D)時(shí)，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方法，其譯碼失真小于或等于D+，為任意小的正數(shù)；反之，若R R(D) ，則無(wú)論采用什么樣的編碼方法，其譯碼失真必定大于D。 定理指出，在失真限度內(nèi)使信息率任意接近R(D)的編碼方法存在。然而，要使信息率小于R(D) ，平均失真一定超過(guò)失真限度D。 說(shuō)明:R(D)且允許平均失真度情況下，信源信息壓縮下的限值。第26頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一第四節(jié) 常用限失真信源編碼方法簡(jiǎn)介一.標(biāo)量量化量化器XY 輸出為電平多對(duì)一映射設(shè)門限為：則：通過(guò)量化器傳輸?shù)男畔⒙柿炕瘞?lái)的平均失真D為第27頁(yè)，共31

13、頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一設(shè)有信源序列可令預(yù)測(cè)值為二.預(yù)測(cè)編碼 預(yù)測(cè)是用過(guò)去值預(yù)測(cè)未來(lái)值,并對(duì)它與實(shí)際值之差進(jìn)行編碼，達(dá)到進(jìn)一步壓縮碼率的目的。 預(yù)測(cè)編碼是利用信源的相關(guān)性來(lái)壓縮碼率的，對(duì)于獨(dú)立信源，預(yù)測(cè)就沒(méi)有可能。R階預(yù)測(cè)是由來(lái)預(yù)測(cè)線性預(yù)測(cè)是預(yù)測(cè)函數(shù)為各已知信源符號(hào)的線性函數(shù)，即并求均方誤差最小時(shí)的各 值。第28頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一三.變換編碼A變換量化B變換輸入X輸出Ww=Bz Yy=AxZA:線性變換,為非奇異的去相關(guān)矩陣Y:各個(gè)分量不相關(guān)B:線性變換,是非奇異矩陣。變換編碼與理論上的壓縮編碼的區(qū)別是多了兩個(gè)限制： 變換為線性變換

14、量化是對(duì)各分量獨(dú)立進(jìn)行最終輸出處的平均失真跟矩陣A、B以及量化方法等有關(guān)。第29頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一例7-6：若有一信源 每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某二元無(wú)噪無(wú)損信道中進(jìn)行傳輸，而信道每秒鐘只傳送兩個(gè)二元符號(hào)。（1）試問(wèn)信源能否在此信道中進(jìn)行無(wú)失真?zhèn)鬏敗＃?）若此信源失真度測(cè)量定義為漢明失真，即d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0，問(wèn)允許信源平均失真多大時(shí)，此信源就可以在此信道中傳播。第30頁(yè)，共31頁(yè)，2022年，5月20日，0點(diǎn)57分，星期一解 (1)信源熵為H（S）=1比特/符號(hào) 信源輸出的信息傳輸速率Rt=2.66H（S）=2.66比特/秒無(wú)噪無(wú)損信道的信