第四章信息率失真函數

第4章：信息率失真函數總結

失真函數用來表征信源發(fā)出一個符號ai，而在接收端再現成符號bj所引起的誤差或失真。d越小表示失真越小，等于0表示沒有失真?？梢詫⑺械氖д婧瘮蹬帕谐删仃嚨男问剑何覀兎Q它為失真矩陣。1常用失真函數漢明失真稱為2稱平方誤差失真函數.如:【例】

絕對值誤差失真測度信源輸出符號X={0,1,2}，信道輸出符號Y={0,1,2}

，給出失真測度dij=︱xi-yj︱

i,j=0,1,2則失真測度矩陣為

由于ai和bj都是隨機變量，所以失真函數d(ai，bj)也是隨機變量，限失真時的失真值，只能用它的數學期望或統(tǒng)計平均值，因此將失真函數的數學期望稱為平均失真度，記為

平均失真度

若平均失真度不大于我們所允許的失真D(預先給定的某一限定值)，我們稱此為保真度準則。凡滿足保真度準則的這些試驗信道稱為D失真許可的試驗信道。把所有D失真許可的試驗信道組成一個集合，用符號BD表示。N次擴展信道的平均失真度：由信源和信道的無記憶性2、信息率失真函數R(D)

由于互信息取決于信源分布和信道轉移概率分布，當p(ai)一定時，互信息I是關于p(bj/ai)的下凸函數，存在極小值。因而在上述允許信道PD中，可以尋找一種信道p(bj/ai)使給定的信源p(ai)經過此信道傳輸后，互信息I(X；Y)達到最小。該最小的互信息就稱為信息率失真函數R(D)，即

R(D)的物理意義：對于給定的信源，在滿足保真度準則下，必須傳送的最小信息量,它既反映了用戶容忍程度,也反映了信息率允許壓縮的最小值,R(D)越大,越難壓縮,反之可壓縮率就大.對于固定的信源分布，平均互信息量I(X;Y)是信道轉移概率p(bj/ai)的下凸函數。也就是說:存在一個信道使某一特定信源經過此信道傳輸時，信道的平均互信息達到極小值.

N次無記憶擴展信源和信道：DH(X)R(D)離散連續(xù)§4.1.3率失真函數性質定義域：1D=0R(D)=H(X)連續(xù)：不允許失真,此時H(X/Y)=0;也可理解為不允許壓縮信源.連續(xù)信源的信息量為無窮大,信道容量有限,要無失真?zhèn)魉褪遣豢赡艿?此時可理解為信道完全中斷（信源與信宿無關），那么有：Dmax如何求?當D>=Dmax

時，對應的失真最大，已沒有意義，時這種情況下D對應著R

(D)也為0，所以定義域的上界值Dmax定義為： =min{D:I(X;Y)=0}

可以得到計算Dmax的公式:

j=1,2,…,m

下凸性2DH(X)R(D)離散連續(xù)連續(xù)和單調遞減性3DH(X)R(D)離散連續(xù)定義連續(xù)信源的信息率失真函數下確界定義PD為滿足保真度準則:設平均互信息:的試驗信道集合.則連續(xù)信源的信息失真函數定義為:CR(D)的上凸函數

的下凸函數的極大值

的條件極小值

的函數的函數僅與信道特性有關僅與信源特性有關解決可靠性問題解決有效性問題信息傳輸的基礎信源壓縮的基礎信道容量與率失真函數比較

對偶問題：信道容量和信息率失真函數的問題，都是求平均互信息極值問題。分三個方面說明：求極值問題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函數，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即I(X;Y)又是信道轉移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函數，信息率失真函數就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即特性信道容量C一旦求出后，就只與信道轉移概率p(yj/xi)有關，反映信道特性，與信源特性無關；信息率失真函數R(D)一旦求出后，就只與信源概率分布p(xi)有關，反映信源特性，與信道特性無關。解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸的理論基礎，通過信道編碼增加信息的冗余度來實現；信息率失真函數是為了解決通信的有效性問題，是信源壓縮的理論基礎，通過信源編碼減少信息的冗余度來實現。香農第三定理

設R(D)是離散無記憶信源的信息率失真函數并且失真函數為有限值．對于任意的允許失真度D≥0和任意小的正數ε>0，當信息率R滿足:R>R(D)時,只要信源序列長度L足夠長時，一定存在一種編碼C，使編碼后的平均失真度反之,若R<R(D),則無論用什么編隊碼方式,必有即譯碼失真度必大于允許失真度.限失真信源編碼定理也是一個極限存在定理，不能像無失真信源編碼定理那樣從證明過程中引出概率匹配的編碼方法。一般只能從優(yōu)化的思路去求最佳編碼，至今尚無合適的可實現的編碼方法來接近R(D)這個極限。常用的限失真信源編碼有量化編碼、預測編碼、變換編碼。香農三大定理的共同點:H(X)、C、R(D)分別為臨界值，衡量通信能否滿住要求的重要界限。則研究信道編碼和率失真函數的意義研究信道容量的意義：在實際應用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸的信息量最大而發(fā)生錯誤的概