信息率失真函數(shù)

1、信息率失真函數(shù)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著1第1頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著24.1 平均失真和信息率失真函數(shù)4.1.1 失真函數(shù)4.1.2 平均失真4.1.3 信息率失真函數(shù)R(D)4.1.4 信息率失真函數(shù)的性質(zhì)第2頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著34.1 平均失真和信息率失真函數(shù) 在實(shí)際問題中，信號有一定的失真是可以容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，甚至喪失其實(shí)用價

2、值。要規(guī)定失真限度，必須先有一個定量的失真測度。為此可引入失真函數(shù)。第3頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著44.1.1 失真函數(shù)X=xi，xia1,an 信源編碼器 Y=yj，yjb1,bm失真函數(shù)d(xi，yj)第4頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著5失真矩陣 單個符號的失真度的全體構(gòu)成的矩陣 ，稱為失真矩陣第5頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著6均

3、方失真：相對失真：誤碼失真：絕對失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。 最常用的失真函數(shù) 第6頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著7序列編碼情況失真函數(shù)定義為： 其中d(xil，yjl)是信源輸出L長符號樣值xi中的第l個符號xil時，編碼輸出L長符號樣值yj中的第l個符號yjl的失真函數(shù)。 第7頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著8 平均失真 失真函數(shù)的數(shù)學(xué)期望稱為平均失真，記為 已知p(xi)和d(xi，yj)，

4、平均失真只是符號轉(zhuǎn)移概率p(yj/xi)的函數(shù)。 p(yj/xi )在此實(shí)質(zhì)上代表編碼方式。信源編碼器 第8頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著9如：x1y1x2 y2x1y1x2 y1第9頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著10對于連續(xù)隨機(jī)變量同樣可以定義平均失真對于L長序列編碼情況，平均失真為 第10頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著114.1.3 信

5、息率失真函數(shù)R(D) 信源編碼器的目的是使編碼后所需的信息傳輸率R盡量小，R 給定失真的限制值D，使 D，找最小R， R(D)，定義為信息率失真函數(shù)。第11頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著124.1.3 信息率失真函數(shù)R(D)信源編碼器XY假想信道 將信源編碼器看作信道，信源編碼器輸出的信息率R對應(yīng)到信道，即為接收端Y需要獲得的有關(guān)X的信息量，也就是互信息I(X;Y)。p(yj/xi) 信源符號編碼概率 信道轉(zhuǎn)移概率第12頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材

6、信息論與編碼 曹雪虹等編著13D允許試驗(yàn)信道 若p(xi)和d(xi，yj)已定，則可給出滿足條件的所有轉(zhuǎn)移概率分布pij，它們構(gòu)成了一個信道集合PD稱為D允許試驗(yàn)信道。 第13頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著14信息率失真函數(shù)R(D) 當(dāng)p(xi)一定時，互信息I是關(guān)于p(yj/xi) 的U型凸函數(shù)，存在極小值(2.2節(jié)）。在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。D=? p(yj/xi)=pij? R(D)=?I p(xi)， p(yj

7、/xi)第14頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著15對于離散無記憶信源，R(D)函數(shù)可寫成 p(ai)，i1，2，n 是信源符號概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布； p(bj)，j1，2，m 是接收端收到符號概率分布。 第15頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著16R(D)的物理意義無失真時：R=H(X)有失真時：R=R(D)=H(X)H(X/Y)H(X)H(X/Y)：由于壓縮編碼損失的信息對于給

8、定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值R(D) 信源編碼器H(X)R第16頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著17 例 設(shè)信源的符號表為Aa1，a2，a2n，概率分布為p(ai)1/2n，i1，2，2n，失真函數(shù)規(guī)定為 即符號不發(fā)生差錯時失真為0，一旦出錯，失真為1，試研究在一定編碼條件下信息壓縮的程度。H(X)H(X/Y)可壓縮的信息量第17頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著184.1.4 信息率失真函數(shù)

9、的性質(zhì)R(D)函數(shù)的定義域 Dmin和R(Dmin) Dmin0 對于連續(xù)信源 第18頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著19討論何時Dmin=0?只有當(dāng)失真矩陣中每行至少有一個零元素。何時R(0)=H(X)?只有當(dāng)失真矩陣中每行至少有一個零，并每一列最多只有一個零。否則R(0)可以小于H(X)，表示這時信源符號集中有些符號可以壓縮、合并而不帶來任何失真。第19頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著20 (2) Dmax和R(Dmax)

10、R(Dmax)=0 選擇所有滿足R(D)0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max，即因此可以得到R(D)的定義域?yàn)榈?0頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著21Dmax=?R(D)0就是I(X;Y)0，這時試驗(yàn)信道輸入與輸出是互相獨(dú)立的，所以條件概率p(yj/xi)與xi無關(guān)。即需滿足條件第21頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著22從上式觀察可得：在j=1，m中，可找到 值最小的j，當(dāng)該j對應(yīng)的pj1，而其余pj為零時，上式

11、右邊達(dá)到最小，這時上式可簡化成第22頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著23例4-3 設(shè)輸入輸出符號表為XY0，1，輸入概率分布p(x)=1/3，2/3，失真矩陣為第23頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著24解：當(dāng)Dmin0時，R(Dmin)H(X)H(1/3，2/3)0.91比特/符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為 第24頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息

12、論與編碼 曹雪虹等編著25當(dāng)R(Dmax)0時 此時輸出符號概率p(b1)0，p(b2)1， 所以這時的編碼器的轉(zhuǎn)移概率為 第25頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著262、R(D)函數(shù)的下凸性和連續(xù)性 3、R(D)函數(shù)的單調(diào)遞減性 容許的失真度越大，所要求的信息率越小。反之亦然。 第26頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著27綜上所述，可以得出如下結(jié)論：R(D)是非負(fù)的實(shí)數(shù)，即R(D) 0。其定義域?yàn)?Dmax，其值為0H(X)。當(dāng)D

13、Dmax時， R(D) 0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。容許的D越大，所要求的R越小。反之亦然。第27頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著28由以上三點(diǎn)結(jié)論，對一般信息率失真R(D)曲線的形態(tài)可以畫出來： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 離散系統(tǒng)連續(xù)系統(tǒng)第28頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著29信道容量C率失真函數(shù)R(D)R(D)與C

14、的比較 研究對象信道信源給定條件信道轉(zhuǎn)移概率p(yj/xi)信源分布p(xi)選擇參數(shù)信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件結(jié)論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)第29頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著304.2 離散信源和連續(xù)信源的R（D）計(jì)算 某些特殊情況下R（D）的表示式為： （1）當(dāng)d(x,y)=(x-y)2， 時，第30頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著31(2)當(dāng)d(x,y)=|x-y|， 時，(3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時，R(D)=H(p)H(D) 第31頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著32這些R（D）可畫成三條曲線 0 Dmax D R(D) H(3)(1)(2)圖4-5 信息率失真函數(shù)R(D)第32頁，共34頁，2022年，5月20日，0點(diǎn)56分，星期一普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著33例4-5 設(shè)輸入輸出符號表