應(yīng)用信息論-第12講-率失真函數(shù)2

1、4.1 基本概念4.2 離散信源的信息率失真函數(shù)4.3 連續(xù)信源的信息率失真函數(shù) 4.4 信息率失真函數(shù)與信息價(jià)值4.5 信道容量與信息率失真函數(shù)的比較4.6 保真度準(zhǔn)則下的信源編碼定理 4.7 信息論“三大定理”總結(jié)第四章 信息率失真函數(shù)10-Aug-221平均失真度離散隨機(jī)變量X：N維離散隨機(jī)序列：信息率失真函數(shù)離散信息X：概率分布為P(X)，失真度為d(xi,yj)小 結(jié)10-Aug-222信息率失真函數(shù)的性質(zhì)定義域(Dmin,Dmax)： Dmin是最小允許失真度， Dmax是最大允許失真度下凸性單調(diào)遞減和連續(xù)性小 結(jié)10-Aug-2234.2 離散信源的信息率失真函數(shù)對(duì)離散信源，求R

2、(D)與求C類(lèi)似，是一個(gè)在有約束條件下求平均互信息極值問(wèn)題，只是約束條件不同；C是求平均互信息的條件極大值， R(D)是求平均互信息的條件極小值。4.2.1 離散信源信息率失真函數(shù)的參量表達(dá)式4.2.2 二元及等概率離散信源的信息率失真函數(shù)10-Aug-2244.2.1 離散信源率失真函數(shù)的參量表達(dá)式(1) 求極小值方法用拉格朗日乘數(shù)法原則上可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達(dá)式。已知信源概率分布函數(shù)p(xi)和失真度d(xi , yj)，在滿(mǎn)足保真度準(zhǔn)則 的條件下，在試驗(yàn)信道集合PD當(dāng)中選擇p(yj /xi)，使平均互信息4.2 離散信源的信

3、息率失真函數(shù)10-Aug-225(2) 離散信源的信息率失真函數(shù) 已知平均互信息在(4.2.5)的(n+1)個(gè)條件限制下求I(X;Y)的極值，引入拉格朗日乘數(shù)S和i(i=1,2,n)，構(gòu)造一個(gè)新函數(shù)4.2 離散信源的信息率失真函數(shù)4.2.1 離散信源率失真函數(shù)的參量表達(dá)式10-Aug-2264.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-2274.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-2284.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-229第一步：求i4.2.1 離

4、散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-22104.2.1 離散信源率失真函數(shù)的參量表達(dá)式第二步：求p(yj)第三步：求p(yj/xi) 將解出的i和求p(yj)代入式(4.2.10)，可求得mn個(gè)以S為參量的p(yj/xi)。4.2 離散信源的信息率失真函數(shù)10-Aug-2211第四步：求D(S) 將這mn個(gè)p(yj /xi)代入(4.2.5)得到以S為參量的允許平均失真函數(shù)D(S)。4.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-2212第五步：求R(S) 將這mn個(gè)p(yj /xi)代入(4.2.4)得到以S為參量

5、的率失真函數(shù)R(S)。4.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-2213第六步：選擇使p(yj)非負(fù)的所有S，得到D和R值，可以畫(huà)出R(D)曲線(xiàn)，如圖4.2.1。4.2.1 離散信源率失真函數(shù)的參量表達(dá)式4.2 離散信源的信息率失真函數(shù)10-Aug-22144.2.1 離散信源率失真函數(shù)的參量表達(dá)式(3) 參量S的說(shuō)明可以證明S就是R(D)函數(shù)的斜率 。斜率S必然負(fù)值；S是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當(dāng)D=0時(shí)(R(D)的斜率)：S的最小值趨于負(fù)無(wú)窮。4.2 離散信源的信息率失真函數(shù)10-Aug-22154.2.1 離散信源率失

6、真函數(shù)的參量表達(dá)式當(dāng)D=Dmax時(shí)：S達(dá)到最大；這個(gè)最大值也是某一個(gè)負(fù)值，最大是0。當(dāng)DDmax時(shí)：在D=Dmax處，除某些特例外，S將從某一個(gè)負(fù)值跳到0，S在此點(diǎn)不連續(xù)。在D的定義域0, Dmax內(nèi)，除某些特例外，S將是D的連續(xù)函數(shù)。4.2 離散信源的信息率失真函數(shù)10-Aug-2216(1) 二元離散信源的率失真函數(shù) 設(shè)二元信源 計(jì)算率失真函數(shù)R(D)4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2217 先求出Dmax4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2218第一步：求i，由式(4

7、.2.12)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2219第二步：求p(yj)，由式(4.2.11)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2220第三步：求p(yj/xi)，由式(4.2.10)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2221第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2222第五步：求R(S)，將上述結(jié)果

8、代入式(4.2.15)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2223對(duì)于這種簡(jiǎn)單信源，可從D(S)解出S與D的顯式表達(dá)式。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-22244.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2225第六步：通過(guò)以上步驟計(jì)算出來(lái)的R(D)和S(D)如圖4.2.2 。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2226(2) 信息率失真函數(shù)曲線(xiàn)圖說(shuō)明若=1，把d(x

9、i , yj)當(dāng)成了誤碼個(gè)數(shù)，即X和Y不一致時(shí)，認(rèn)為誤了一個(gè)碼元，所以d(xi , yj)的數(shù)學(xué)期望就是平均誤碼率。能容忍的失真等效于能容忍的誤碼率。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2227R(D)不僅與D有關(guān)，還與p有關(guān)。概率分布不同， R(D)曲線(xiàn)就不一樣。當(dāng)p=0.25時(shí)，如果能容忍的誤碼率也是0.25，不用傳送信息便可達(dá)到，即R=0，這就是R(Dmax) =0的含義。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2228當(dāng)D相同時(shí)，信源越趨于等概率分布， R(D)就越大。由最大

10、離散熵定理，信源越趨于等概率分布，其熵越大，即不確定性越大，要去除這不確定性所需的信息傳輸率就越大，而R(D)正是去除信源不確定性所必須的信息傳輸率。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2229關(guān)于S(D)它與p無(wú)直接關(guān)系，S(D)曲線(xiàn)只有一條，p=0.5和p=0.25都可以用，但它們的定義域不同；p=0.25時(shí)定義域是D=00.25，即到A點(diǎn)為止，此時(shí) Smax=1.59。D0.25時(shí)，S(D)就恒為0了。所以在A點(diǎn)S(D)是不連續(xù)的；當(dāng)p=0.5時(shí)，曲線(xiàn)延伸至D=0.5處，此時(shí)Smax=0，故S(D)是連續(xù)曲線(xiàn)，定義域?yàn)镈=00.5

11、。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2230(3) 二元等概率離散信源的率失真函數(shù)當(dāng)上述二元信源呈等概率分布時(shí)，上面式子分別退化為4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2231這個(gè)結(jié)論很容易推廣到n元等概率信源的情況。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-22324.3.1 連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3.2 高斯信源的信息率失真函數(shù)4.3 連續(xù)信源的信息率失真函數(shù)10-Aug-2233條件信源XR=(,) 信源

12、X的概率密度函數(shù)為p(x)信道的傳遞概率密度函數(shù)為p(y /x)信宿YR=(,)信宿Y的概率密度函數(shù)為p(y)X和Y之間的失真度d(x,y)04.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2234平均失真度為平均互信息為4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2235PD為滿(mǎn)足保真度準(zhǔn)則 的所有試驗(yàn)信道集合。信息率失真函數(shù)為相當(dāng)于離散信源中求極小值，嚴(yán)格地說(shuō)，連續(xù)集合未必存在極小值，但是一定存在下確界。R(D)函數(shù)的參量表達(dá)式：一般情況，在失真度積分存在情況下， R(D) 的解存在，直接求解困難，用迭

13、代算法計(jì)算機(jī)求解，只在特殊情況下求解比較簡(jiǎn)單。4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2236(1) 高斯信源特性及失真度設(shè)連續(xù)信源的概率密度為正態(tài)分布函數(shù)數(shù)學(xué)期望為方差為失真度為d(x,y)=(xy)2，即把均方誤差作為失真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴(yán)重，嚴(yán)重程度隨誤差增大呈平方增長(zhǎng)。4.3.2 高斯信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22374.3.2 高斯信源的信息率失真函數(shù)(2) 曲線(xiàn)圖說(shuō)明 曲線(xiàn)如圖4.3.2。當(dāng)信源均值不為0時(shí)，仍有這個(gè)結(jié)果，因?yàn)楦咚剐旁吹撵刂慌c隨機(jī)變量的方差有關(guān)，與均值

14、無(wú)關(guān)。4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22384.3.2 高斯信源的信息率失真函數(shù)當(dāng)D=2時(shí)，R(D)=0 ：這就是說(shuō)，如果允許失真（均方誤差）等于信源的方差，只需用確知的均值m來(lái)表示信源的輸出，不需要傳送信源的任何實(shí)際輸出；當(dāng)D=0時(shí)，R(D)：這點(diǎn)說(shuō)明在連續(xù)信源情況下，要毫無(wú)失真地傳送信源的輸出是不可能的。即要毫無(wú)失真地傳送信源的輸出必須要求信道具有無(wú)限大的容量；4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22394.3.2 高斯信源的信息率失真函數(shù)當(dāng)0D0，當(dāng)信息率RR(D) ，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方式C，使譯碼后的平均失真度 ； 反之，若R0，當(dāng)信息率 RR(D) ，只要信源序列長(zhǎng)度 L 足夠長(zhǎng)，一定存在一種編碼方式 C，使譯碼后的平均失真度 ；反之，若 RR(D)，則無(wú)論用什么編碼方式，必有 ，即譯碼平均失真必大于允許失真。信息率失真函數(shù)也是一個(gè)界限。只要信息率大于這個(gè)界限，譯碼失真就可限制在給定的范圍內(nèi)。即通信的過(guò)程中雖然有失真，但仍能滿(mǎn)足要求，否則就不能滿(mǎn)足要求。第四章 信息率失真函數(shù)10-Aug-2259研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問(wèn)題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，