第五章 信息率失真函數(shù)

1、第五章第五章離散信源的限失真信源編碼離散信源的限失真信源編碼5.1 引言引言5.3 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)5.4 信息率失真函數(shù)的計算信息率失真函數(shù)的計算5.2平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù)5.1引言引言無失真信源編碼無失真信源編碼針對無失真情況；針對無失真情況；限失真信源編碼限失真信源編碼允許有一定的失真情況；允許有一定的失真情況；實(shí)際信息處理過程允許有一定的失真：實(shí)際信息處理過程允許有一定的失真：u A/D變換變換u 電影電視利用視覺殘留，沒有發(fā)覺影片是有一張張畫電影電視利用視覺殘留，沒有發(fā)覺影片是有一張張畫面面 快速連結(jié)起來快速連結(jié)起來u 語音信號傳送

2、耳朵帶寬和分辨率有限，將語音信號傳送耳朵帶寬和分辨率有限，將20Hz8KHz語音信號去掉低端和高端看成語音信號去掉低端和高端看成300Hz3.4KHz帶寬信號，帶寬信號，即使有失真，耳朵還是可以分辨出原來的語音。即使有失真，耳朵還是可以分辨出原來的語音。本章討論主要問題：本章討論主要問題： 在允許一定失真存在的條件下，能夠?qū)⑿旁丛谠试S一定失真存在的條件下，能夠?qū)⑿旁葱畔嚎s到什么程度，即最少需要多少比特信息信息壓縮到什么程度，即最少需要多少比特信息才能夠描述信源，如何能夠快速的傳輸信息。才能夠描述信源，如何能夠快速的傳輸信息。 信息率失真理論的基本概念：信息率失真理論的基本概念： 在允許傳輸消

3、息出現(xiàn)一定的失真條件下，傳在允許傳輸消息出現(xiàn)一定的失真條件下，傳輸該消息所需的信息率輸該消息所需的信息率(最小值最小值)將會比不允許失將會比不允許失真時小，并且允許的失真度越大，則信息率真時小，并且允許的失真度越大，則信息率(最小最小值值)允許減小的程度就越大。允許減小的程度就越大。 5.2平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù) 實(shí)際問題中，信號有一定的失真可以容忍。當(dāng)失真實(shí)際問題中，信號有一定的失真可以容忍。當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，喪失其實(shí)用大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，喪失其實(shí)用價值。因此要規(guī)定失真限度，有一個定量的失真測度價值。因此要規(guī)定失真限度，有

4、一個定量的失真測度失真函數(shù)失真函數(shù)。失真函數(shù)失真函數(shù) 設(shè)信源輸出樣值：設(shè)信源輸出樣值：xi, xia1,aN,經(jīng)過信源編碼器，輸出經(jīng)過信源編碼器，輸出樣值樣值yj, yjb1,bM. 如果如果xi=yj，沒有失真；，沒有失真； 如果如果xiyj，產(chǎn)生失真。，產(chǎn)生失真。失真大小用失真大小用失真函數(shù)失真函數(shù)d(xi,yj)表示表示失真函數(shù)又稱為失真度。為簡化起見，失真函數(shù)又稱為失真度。為簡化起見，d(xi,yj)簡寫成簡寫成dij，d(xi,yj)=0 xi=yjxiyjij時，時，x和和y的消息符號都是的消息符號都是ai，收發(fā)之間沒有失真，收發(fā)之間沒有失真，dij 0 ij時，發(fā)出符號時，發(fā)出符

5、號ai，收到，收到aj，傳輸時出現(xiàn)失真，傳輸時出現(xiàn)失真，dij 0 失真函數(shù)類型均方失真d(xi,yj)=(xi-yj)2絕對失真d(xi,yj)=|xi-yj|相對失真d(xi,yj)=|xi-yj|/|xi|誤碼失真d(xi,yj)=(xi-yj)=01xi=yj其他其他用于連續(xù)信源用于連續(xù)信源 一般一般dij值的大小表示失真的程度，表征了接收消息值的大小表示失真的程度，表征了接收消息yj與發(fā)與發(fā)送消息送消息xi之間的定量失真度。之間的定量失真度。 若若X X和和Y Y集合都由集合都由N N個不同符號構(gòu)成的，那么可組成個不同符號構(gòu)成的，那么可組成N N2 2個不同的個不同的(i,j)(i,

6、j)對，相對應(yīng)的失真函數(shù)也有對，相對應(yīng)的失真函數(shù)也有N N2 2個個,d,dij表示方法有兩種：表示方法有兩種：n失真矩陣失真矩陣D Dn消息傳輸圖消息傳輸圖將所有失真函數(shù)排列起來，得到將所有失真函數(shù)排列起來，得到失真矩陣失真矩陣DDd(x1,y1)d(x1,y2)d(x1,yM)d(x2,y1)d(xN,y1)d(xN,y2)d(x2,y2)d(x2,yM)d(xN,yM)失真矩陣失真矩陣消息傳輸圖消息傳輸圖XYx1x2xixNy1y2yjyMd11d12d1jd1MdN1dNMdNjdN2失真函數(shù)性質(zhì)：失真函數(shù)性質(zhì)：,(,)0;min(,)00(,)jjjjX yYjydydydy iii

7、ixi（1）當(dāng)x時，x（2）x（3）x例例1：已知已知X XY Yaa1 1， a a2 2 ，且有，且有d d11d d220 0，d d12d d211 1，用兩種方法表，用兩種方法表示失真函數(shù)示失真函數(shù) 解：失真矩陣解：失真矩陣D D為：為： 消息傳輸圖為：消息傳輸圖為：111221220110ddDdda1a2xyb1=a1b2=a20011例例2：已知X=0,1,2,3,4,5，Y=0,1,2，X和Y集合符號之間的失真函數(shù)值分別為d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01= d02 = d10=d12=d20=d21=2，d32=d40=d

8、51=3。這些失真函數(shù)值的由來可形象化地用正六角形表示，其中每條條邊相當(dāng)于失真函數(shù)值為1。013425131113311022202220525150424140323130222120121110020100ddddddddddddddddddDXY020123450001322222211111133平均失真函數(shù)：平均失真函數(shù)： 由于失真函數(shù)由于失真函數(shù)d(xi,yj)是隨機(jī)變量，是隨機(jī)變量，為了估計全為了估計全體信源發(fā)出的消息符號與接收符號之間的失真程度體信源發(fā)出的消息符號與接收符號之間的失真程度, ,需要計算各個失真函數(shù)的統(tǒng)計平均值需要計算各個失真函數(shù)的統(tǒng)計平均值( (數(shù)學(xué)期望數(shù)學(xué)期望

9、) )。平均失真函數(shù)定義為：平均失真函數(shù)定義為： 11 (,)(,)() (|)ijijijXYNMijiijijdE d xyP xydP x P yx d【注注】平均失真函數(shù)與平均失真函數(shù)與單符號失真函數(shù)單符號失真函數(shù)、信源統(tǒng)計特性信源統(tǒng)計特性（信源概率）、信道統(tǒng)計特性（轉(zhuǎn)移概率）（信源概率）、信道統(tǒng)計特性（轉(zhuǎn)移概率）有關(guān)。當(dāng)有關(guān)。當(dāng)信源和失真函數(shù)給定時，選擇不同信道相當(dāng)于選擇不信源和失真函數(shù)給定時，選擇不同信道相當(dāng)于選擇不同編碼方法，所得到的平均失真函數(shù)也不同。同編碼方法，所得到的平均失真函數(shù)也不同。1111(,) (,)() (|) (,)NMijijijNMijiijijdp xyd

10、 xyp xp yx d xy信源概率信源概率轉(zhuǎn)移概率轉(zhuǎn)移概率單符號失真函數(shù)單符號失真函數(shù) 若若X X和和Y Y都是都是K K維矢量消息的集合，也可以定義兩個矢量消維矢量消息的集合，也可以定義兩個矢量消息之間的失真函數(shù)為息之間的失真函數(shù)為： 11( ,)(,)KKrrrdx yd xyK11( ,)( ,)1 (,)1KKKrrrKrrdx yE dx yE d xyKdKrd 其平均失真函數(shù)為：其平均失真函數(shù)為： 該式中該式中 是是K維矢量的第維矢量的第r個分量上的平均失真函數(shù)。個分量上的平均失真函數(shù)。保真度準(zhǔn)則：保真度準(zhǔn)則： 若平均失真函數(shù)不大于所允許的失真度若平均失真函數(shù)不大于所允許的失

11、真度D，即，即稱為保真度準(zhǔn)則。稱為保真度準(zhǔn)則。(K)KdDdKD維信源矢量信息率失真函數(shù)信息率失真函數(shù)l 如果信源輸出的信息率大于信道的傳輸能力，須對信源進(jìn)行壓如果信源輸出的信息率大于信道的傳輸能力，須對信源進(jìn)行壓縮，使其壓縮后的信息傳輸速率小于信道的傳輸能力，同時要?？s，使其壓縮后的信息傳輸速率小于信道的傳輸能力，同時要保證壓縮所引入的失真不超過預(yù)先規(guī)定的限度證壓縮所引入的失真不超過預(yù)先規(guī)定的限度 D D（滿足保真度準(zhǔn)（滿足保真度準(zhǔn)則）。則）。l 信源壓縮問題就是對于給定的信源（給定信源概率分布），又信源壓縮問題就是對于給定的信源（給定信源概率分布），又定義了失真函數(shù)后，總希望在滿足保真度準(zhǔn)

12、則條件下，使編碼后定義了失真函數(shù)后，總希望在滿足保真度準(zhǔn)則條件下，使編碼后的信息率盡可能小，尋找信息率的信息率盡可能小，尋找信息率R R的下限。的下限。 把有失真的信源編碼器看作有干擾的假想信道，把有失真的信源編碼器看作有干擾的假想信道，用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問題。用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問題?！菊f明說明】u 信息傳輸速率在數(shù)值上等于平均互信息I(X; Y) I(X;Y)=H(X)-H(X/Y) 可理解為信源發(fā)出的信息量H(X)與在噪聲干擾條件下的信息量差。u 這里僅僅考慮信源壓縮問題，不考慮噪聲的影響，只考慮由于信息的存儲和傳輸時需要去掉的冗余，即對信源的原始信

13、息在允許的失真限度內(nèi)進(jìn)行了壓縮，把這種失真等效成由噪聲而造成的信息損失，看成一個等效噪聲信道（又稱試驗(yàn)信道）。此時的信道轉(zhuǎn)移矩陣實(shí)際上指的是一種限失真信此時的信道轉(zhuǎn)移矩陣實(shí)際上指的是一種限失真信源編碼方法。源編碼方法。平均失真函數(shù)由由信源分布、轉(zhuǎn)移概率、失真函數(shù)信源分布、轉(zhuǎn)移概率、失真函數(shù)決定決定當(dāng)給定信源的各符號概率分布時，若要求平均失真函數(shù)不超過某個給定的值D(允許失真度)，需對試驗(yàn)信道傳輸概率P(yj|xi)施加一定的限制，把P(yj|xi)集合的各種可能值代入上式求出各個平均失真函數(shù)，并分為兩類： 11() (|) ( ,)NMijiijijdp x p yx d x yTp|:p|:

14、DjijiPyxdDPyxdD允許試驗(yàn)信道集合禁用試驗(yàn)信道集合信息率失真函數(shù)信息率失真函數(shù)R(D)R(D)定義：定義： 在給定信源消息的概率分布在給定信源消息的概率分布P(P(xi)及平均失真函及平均失真函數(shù)允許值數(shù)允許值D D的條件下，傳輸這些信源消息，并使失真的條件下，傳輸這些信源消息，并使失真程度在允許范圍內(nèi)時，所需要的信息傳輸率的最小值程度在允許范圍內(nèi)時，所需要的信息傳輸率的最小值：單位為單位為bit/符號。符號。);(min);(min)()|(YXIYXIDRDdPxyPDij 平均互信息量的凸函數(shù)性平均互信息量的凸函數(shù)性 (1) I(X;Y) 是是信源概率分布信源概率分布P(X)

15、 的的上凸上凸函數(shù)函數(shù) （最大值）（最大值）信道容量信道容量 (2) I(X;Y) 是是信道轉(zhuǎn)移概率信道轉(zhuǎn)移概率P(Y/X) 的的下凸下凸函數(shù)函數(shù) （最小值）（最小值）率失真函數(shù)率失真函數(shù)回顧：回顧：二進(jìn)制對稱信道二進(jìn)制對稱信道q不變時不變時, I(X;Y)為上凸曲線。為上凸曲線。p=0.5時有最大值時有最大值p不變時不變時, I(X;Y)為下凸曲線。為下凸曲線。q=0.5時有最小值時有最小值()( )loglogH XH ppppp (/)( )loglogH YXH qpppp ( )()H YH pqpq(; )( )(/)I X YH YH YX0 0.5 1 qH(p)I(X;Y)1

16、-H(q)0 0.5 1 pI(X;Y)qq10qq1( )p0( )pYX回顧：回顧： jijijnimjiPpypxypxypxpDRDij|log|min11【注注】l 由于平均互信息量由于平均互信息量I(X;Y)是是p(yj|xi)的下凸函數(shù)，的下凸函數(shù)，所以在所以在PD集合（滿足保真度準(zhǔn)則的試驗(yàn)信道的集集合（滿足保真度準(zhǔn)則的試驗(yàn)信道的集合）內(nèi)，極小值存在。該極小值就是在失真度準(zhǔn)合）內(nèi)，極小值存在。該極小值就是在失真度準(zhǔn)則的條件下，信源必須傳輸?shù)淖钚∑骄バ畔⒘?。則的條件下，信源必須傳輸?shù)淖钚∑骄バ畔⒘?。l 對于離散無記憶信源對于離散無記憶信源K維信源矢量的信息率失真函數(shù)維信源矢量的

17、信息率失真函數(shù)RK(D) x信源的一個輸出序列；信源的一個輸出序列；y信宿的一個接收序列；信宿的一個接收序列； N維信源矢量的平均失真度。維信源矢量的平均失真度。( | ):( | ):( )min(; )min(; )min(;)KKKKijidKDp y x dKDp y x dKDRDI X YI X YI p PKd信息率失真函數(shù)信息率失真函數(shù)R(D) 的等效定義的等效定義 稱稱D(R)為為失真信息率函數(shù)失真信息率函數(shù)，是，是R(D)的逆函的逆函數(shù)，它是求在允許最大速率情況下的最小失真數(shù)，它是求在允許最大速率情況下的最小失真D 。()m in:(;)()jiRijiijPPijRjiD

18、 Rdp P dPPIX YR 給 定 速 率【總結(jié)總結(jié)】（1）由定義，由定義，R(D)函數(shù)是在限定失真為最大允許失真函數(shù)是在限定失真為最大允許失真D時信時信源最小信息傳輸速率，它是通過改變試驗(yàn)信道特性來達(dá)到的。源最小信息傳輸速率，它是通過改變試驗(yàn)信道特性來達(dá)到的。所以所以R(D)是表示不同是表示不同D值時對應(yīng)的理論上最小信息速率值。值時對應(yīng)的理論上最小信息速率值。（2）在研究信息率失真函數(shù)在研究信息率失真函數(shù)R(D)時，引用的的信道傳輸概時，引用的的信道傳輸概率率 p(yj|xi)并沒有實(shí)際信道的含義，是為了求平均互信息量極并沒有實(shí)際信道的含義，是為了求平均互信息量極小值而引用的假想可變試驗(yàn)

19、信道。即不同的試驗(yàn)信道特性小值而引用的假想可變試驗(yàn)信道。即不同的試驗(yàn)信道特性Pij求解出不同的信息率失真求解出不同的信息率失真R(D)函數(shù)，它與理論上最佳的函數(shù)，它與理論上最佳的R(D)之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，這也正是這也正是R(D)函數(shù)的理論價值所在。函數(shù)的理論價值所在。（3）研究信息率失真函數(shù)是為了解決在已知信源和允許失真研究信息率失真函數(shù)是為了解決在已知信源和允許失真度的條件下，如何使信源傳送給信宿的信息量最小的問題，度的條件下，如何使信源傳送給信宿的信息量最小的問題，也就是說在一定失真度也就是說在一定失真度

20、D條件下，盡可能用最少的碼符號來條件下，盡可能用最少的碼符號來傳送信源消息，使信源消息盡快地傳送出去，以提高通信的傳送信源消息，使信源消息盡快地傳送出去，以提高通信的有效性。有效性。（4）信息率失真函數(shù)的物理意義：對于給定信源，在平均失對于給定信源，在平均失真不超過失真限度真不超過失真限度D的條件下，信息率容許壓縮的最小值為的條件下，信息率容許壓縮的最小值為R(D)。限失真信源編碼定理限失真信源編碼定理( (香農(nóng)第三定理香農(nóng)第三定理) )12,.,0RRR(D)時，只要信源序列長度N足夠長，一定存在一種編碼方法，使譯碼后的平均失真度D+ ；反之，若R(D)，則無論用什么編碼方法，必有 D，即譯

21、碼平均失真必大于允許失真。信源編碼器的目的：信源編碼器的目的： 使編碼后所需的信息傳輸率使編碼后所需的信息傳輸率R盡量小盡量小,給出一個失真的限給出一個失真的限制值制值D，在滿足保真度準(zhǔn)則條件下，選擇一種編碼方法，在滿足保真度準(zhǔn)則條件下，選擇一種編碼方法，使信息率使信息率R盡可能小。盡可能小。例例1： 陰影范圍表示實(shí)際信源編陰影范圍表示實(shí)際信源編碼方案與理論值間的差距，碼方案與理論值間的差距，我們完全可以找到更好，我們完全可以找到更好，即更靠近理論值，縮小陰即更靠近理論值，縮小陰影范圍的信源編碼，這就影范圍的信源編碼，這就是工程界尋找好的信源編是工程界尋找好的信源編碼的方向和任務(wù)。碼的方向和任

22、務(wù)。12()R D若已知這一類信源理論上的R(D)=H()-H(D),則可畫出理論與實(shí)際曲線圖：例例2：設(shè)信源具有設(shè)信源具有100個以等概率出現(xiàn)的符號個以等概率出現(xiàn)的符號a a1 1， a a2 2， a a9999，a a100100，并以每秒發(fā)出一個符號的速率，并以每秒發(fā)出一個符號的速率從信源輸出。試求在允許失真度從信源輸出。試求在允許失真度D D0.10.1條件下，傳條件下，傳輸這些消息所需要的最小信息率？輸這些消息所需要的最小信息率？ 解：解：在不失真?zhèn)鬏敆l件下的信息率在不失真?zhèn)鬏敆l件下的信息率R R為：為： 因?yàn)樵试S失真度因?yàn)樵试S失真度D D0.10.1，可設(shè)想信源，可設(shè)想信源100

23、100個符號經(jīng)過個符號經(jīng)過假想的試驗(yàn)信道只輸出假想的試驗(yàn)信道只輸出a a1 1， a a2 2， a a8989，a a9090，即輸出，即輸出9090個符號，而余下的個符號，而余下的a a9191， a a100 100 都用都用a a9090代替代替()log1006.6441H XRb（bit/s）該試驗(yàn)信道及信道傳輸速率示意圖如下：該試驗(yàn)信道及信道傳輸速率示意圖如下： 信源a1, a2,., a99, a100試驗(yàn)信道p(yj|xi)無擾離散信道失真信源a1a100a1a90(a)XYa1a2a90a91a100a90a2a1(b) 除除a a1 1， a a2 2， a a8989，

24、a a9090對應(yīng)位置上的元素為對應(yīng)位置上的元素為0 0外，外，其余元素為其余元素為1 1或或（假想試驗(yàn)信道傳輸概率假想試驗(yàn)信道傳輸概率P(P(yj|xi) )為為零時，所對應(yīng)的零時，所對應(yīng)的d dij為無限大）為無限大） 1290919210012909192100000111aaaaaaaaaDaaa失真矩陣：該失真信源的組合方案的平均失真函數(shù)為：該失真信源的組合方案的平均失真函數(shù)為： 2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中：上式中： X1Y1a1， a2， a89，a90，屬于不失真的符號集合，屬于不失

25、真的符號集合，對應(yīng)對應(yīng)dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，屬于失真集合，對應(yīng)，屬于失真集合，對應(yīng)dij1，其中其中i91，91，100，j90 據(jù)題意，據(jù)題意，P(P(xi) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函數(shù)：所以得平均失真函數(shù)： 可見，這樣設(shè)想的失真信源的組合方案能滿足對失可見，這樣設(shè)想的失真信源的組合方案能滿足對失真度的要求。真度的要求。 22()(|)1101 10.1100ijiijX YdP xP yxd 該試驗(yàn)信道為無噪有損信道，即該試驗(yàn)信道為無噪有損信道，即H(Y|X)=0,H(Y|X)=0,

26、所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在試驗(yàn)信道的輸出端在試驗(yàn)信道的輸出端Y Y，a a1 1， a a2 2， a a8989的出現(xiàn)概的出現(xiàn)概率仍為率仍為1/1001/100, ,而而a a9090的出現(xiàn)概率的出現(xiàn)概率P(aP(a9090) )11/10011/100，可知相，可知相應(yīng)的信息傳輸速率為：應(yīng)的信息傳輸速率為： 899019011()log()log()()11110089log100log10010011log1000.11log116.264 (/ )iiiRP aP aP aP abits 比較比較

27、R R與無失真?zhèn)鬏敆l件下的信息率與無失真?zhèn)鬏敆l件下的信息率R ,R ,可知在可知在D D0.10.1的的條件下，所需信息率減小了條件下，所需信息率減小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的條件下的條件下( (假定后假定后5050個符號均產(chǎn)生失真，這后個符號均產(chǎn)生失真，這后5050個符號均用個符號均用a a5050來代替來代替) )信息率信息率R”R”為：為： 495015011()log()log()()15110049log100log10010051log1000.51log513.751(/ )iiiRP

28、 aP aP aP abit s 與無失真?zhèn)鬏敆l件下的信息率與無失真?zhèn)鬏敆l件下的信息率R R想比較減小想比較減小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。信道容量與信息率失真函數(shù)的比較信道容量與信息率失真函數(shù)的比較(1) 求極值問題求極值問題l 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率密度或概率密度函數(shù)函數(shù)p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果I(X;Y)在定義域在定義域內(nèi)對內(nèi)對p(xi)或或p(x)的極值存在，則該極值一定是極大值。信道容的極值存在，則該極

29、值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即量就是在固定信道情況下，求平均互信息極大值的問題，即 l I(X;Y)又是信道轉(zhuǎn)移概率分布又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或或條件概率密度函數(shù)條件概率密度函數(shù)p(y/x)的下凸函數(shù)，因此在滿足保真度準(zhǔn)則的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下，條件下，I(X;Y)對對p(yj/xi)或或p(y/x)的條件極值若存在，則一定是的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的

30、問題，即信道）中尋找平均互信息極小值的問題，即 (|)()min(; )jiDP y xPR DI X Y()max (; )ip xCI X Y信道容量與信息率失真函數(shù)的比較信道容量與信息率失真函數(shù)的比較(2) 特性特性l 信道容量信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)或條件或條件概率密度概率密度p(y/x)有關(guān)，反映信道特性，與信源特性無關(guān)；由于平有關(guān)，反映信道特性，與信源特性無關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對信道容量的均互信息與信源的特性有關(guān)，為了排除信源特性對信道容量的影響，采用的做法是在所有的信源中以那個能夠使平均

31、互信息影響，采用的做法是在所有的信源中以那個能夠使平均互信息達(dá)到最大的信源為參考，從而使信道容量僅與信道特性有關(guān)，達(dá)到最大的信源為參考，從而使信道容量僅與信道特性有關(guān)，信道不同，信道不同，C亦不同。亦不同。l 信息率失真函數(shù)信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布一旦求出后，就只與信源概率分布p(xi)或概率密度函數(shù)或概率密度函數(shù)p(x)有關(guān)，反映信源特性，與信道特性無關(guān)。有關(guān)，反映信源特性，與信道特性無關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對信息由于平均互信息與信道的特性有關(guān)，為了排除信道特性對信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個能使率失真函數(shù)的影

32、響，采用的做法是在所有的信道中以那個能使平均互信息達(dá)到最小的信道為參考，從而使信息率失真函數(shù)僅平均互信息達(dá)到最小的信道為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同，僅與信源特性有關(guān)，信源不同，R(D)亦不同。亦不同。(3) 解決的問題解決的問題l 信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚撔诺廊萘渴菫榱私鉀Q通信的可靠性問題，是信息傳輸?shù)睦碚摶A(chǔ)，通過信道編碼增加信息的冗余度來實(shí)現(xiàn)；基礎(chǔ)，通過信道編碼增加信息的冗余度來實(shí)現(xiàn)；l 信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實(shí)

33、現(xiàn)。的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實(shí)現(xiàn)。 5.3 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)1.R(D)函數(shù)的定義域函數(shù)的定義域(1) Dmin和和R(Dmin)R(Dmin)R(0)=H(X) 通常最小允許失真度通常最小允許失真度Dmin為零，在為零，在D0條件下，因?yàn)椴辉蕳l件下，因?yàn)椴辉试S失真，所以許失真，所以X和和Y集合的各個消息符號都一一對應(yīng)，這相當(dāng)于集合的各個消息符號都一一對應(yīng)，這相當(dāng)于假想的試驗(yàn)信道是無擾離散信道的情況。在這種信道上，有：假想的試驗(yàn)信道是無擾離散信道的情況。在這種信道上，有： I(X;Y) H(X) H(Y) 所以，所以，R(0)=H(X)，且，且R(0)

34、是是R(D)的上限值的上限值當(dāng)給定信源以及失真矩陣當(dāng)給定信源以及失真矩陣D，信源的最小平均失真度，信源的最小平均失真度min11min( ) (|) ( ,)( )min(|) ( ,)ijiijijnmijiijijDp x p yx d x yp xp yx d x y由上式可以知道，若選擇試驗(yàn)信道由上式可以知道，若選擇試驗(yàn)信道 ，使對每一個，使對每一個的求和式的求和式 為最小，則總和值達(dá)到最小。當(dāng)為最小，則總和值達(dá)到最小。當(dāng)固定某個固定某個 ，那么對于不同的，那么對于不同的 其其 不同（即在不同（即在失真矩陣失真矩陣D中第中第i行的元素不同），其中必有最小值，行的元素不同），其中必有最小

35、值，也可能有若干個相同的最小值。于是，可以選擇這樣的試驗(yàn)也可能有若干個相同的最小值。于是，可以選擇這樣的試驗(yàn)信道，它滿足信道，它滿足(|)jip yx( )ip x(|) ( ,)jiijp yx d x y( )ip xjy( ,)ijd x y(|)1(|)0jjiyjip yxp yx所有所有( ,)ijd x y最小值的最小值的yj( ,)ijd x y所有所有最小值的最小值的yj可見，允許失真度可見，允許失真度D是否能為零，這與單個符號的失真函數(shù)是否能為零，這與單個符號的失真函數(shù)有關(guān)，只有當(dāng)失真矩陣中每行至少有一個零元素時，信源的有關(guān)，只有當(dāng)失真矩陣中每行至少有一個零元素時，信源的平

36、均失真度才能達(dá)到零值，否則，最小平均失真度不等于零。平均失真度才能達(dá)到零值，否則，最小平均失真度不等于零。如果如果Dmin0，可以適當(dāng)改變單個符號的失真度，令，可以適當(dāng)改變單個符號的失真度，令使使Dmin=0。而對信息率失真函數(shù)來說，它只是起了坐標(biāo)平移。而對信息率失真函數(shù)來說，它只是起了坐標(biāo)平移作用。所以可以假設(shè)作用。所以可以假設(shè)Dmin=0而不失其普遍性。而不失其普遍性?？梢?，只有當(dāng)失真矩陣中每行至少有一個零，可見，只有當(dāng)失真矩陣中每行至少有一個零， 才等才等于于 ；否則小于；否則小于 。這時表示信源符號集中有些符號可。這時表示信源符號集中有些符號可以壓縮、合并，但是沒有任何失真。以壓縮、合

37、并，但是沒有任何失真。則可以得信源的最小平均失真度為則可以得信源的最小平均失真度為min1( )min ( ,)niijjiDp xd x y( ,)( ,)min ( ,)ijijijjd x yd x yd x y(0)R()H X()H X例：刪除信源例：刪除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩陣為。而失真矩陣為求求Dmin。min1( )min ( ,)( ) 00nniijijiiDp xd x yp x滿足最小失真度的試驗(yàn)信道是個無噪無損信道，轉(zhuǎn)移矩陣為滿足最小失真度的試驗(yàn)信道是個無噪無損信道，轉(zhuǎn)移矩陣為100010Q在這個無噪無損信道中，可得在這個無噪無損

38、信道中，可得(; )()I X YH X( / )(0)min (; )()Dp y xPRI X YH X例：例：(2) Dmax和和R(Dmax)最大允許失真度最大允許失真度Dmax的含義是使平均互信息量等于零時所允許的的含義是使平均互信息量等于零時所允許的失真度，即失真度，即R(Dmax)0 在在Dmax條件下，條件下，R(Dmax)I(X;Y)0，這意味著，這意味著X和和Y集合之間沒集合之間沒有任何信息量的關(guān)連，有任何信息量的關(guān)連，X和和Y相互獨(dú)立相互獨(dú)立 當(dāng)當(dāng)D Dmax 也有也有R(D)0 X X和和Y Y相互獨(dú)立的條件下，對各個相互獨(dú)立的條件下，對各個xi，有，有P(P(yj|xi) ) P(P(yj) )