信息論,失真函數(shù)

4.1失真度與信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)4.3連續(xù)信息的信息率失真函數(shù)4.4保真度準(zhǔn)則下的信源編碼定理第4章信息率失真函數(shù)4.1失真度與信息率失真函數(shù)4.1.1失真度與平均失真度4.1.2信息率失真函數(shù)4.1.3信息率失真函數(shù)的性質(zhì)對(duì)任一指定一個(gè)非負(fù)數(shù)失真矩陣失真函數(shù)4.1失真度與信息率失真函數(shù)4.1.1失真度與平均失真度x1

y1x2y2xnyn1漢明失真2平方誤差失真函數(shù)失真函數(shù)d(xi，yj)是隨機(jī)變量，失真函數(shù)的數(shù)學(xué)期望稱為平均失真度，記為

平均失真度允許失真1.保真度準(zhǔn)則4.1.2信息率失真函數(shù)D失真許可的試驗(yàn)信道平均失真由信源分布p(xi)、信道的轉(zhuǎn)移概率p(yj/xi)和失真函數(shù)d(xi，yj)決定，若p(xi)和d(xi，yj)已定，則調(diào)整p(yj/xi)

使2.D允許試驗(yàn)信道

3.信息率失真函數(shù)R(D)

在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D)，即定義域1D是允許平均失真度當(dāng)失真矩陣的每一行至少有一個(gè)零元素時(shí)，信源的平均失真度為零。最小值時(shí)，R(0)=H(X)4.1.3信息率失真函數(shù)的性質(zhì)令最大值當(dāng)R(D)=0時(shí)，對(duì)應(yīng)的平均失真最大假定所有Dj中，Ds最小，令下凸性2

連續(xù)和單調(diào)遞減性3DH(X)R(D)4.2離散信源的信息率失真函數(shù)4.2.1信息率失真函數(shù)的計(jì)算4.2.2二元離散信源的信息率失真函數(shù)的計(jì)算4.2.1信息率失真函數(shù)的計(jì)算令令123將（1）式對(duì)j求和將（1）式兩邊乘以p(xi),再對(duì)j求和將（2）式代入（3）式代入（2）式求出45

負(fù)值在公式

兩邊對(duì)S取導(dǎo)數(shù)2兩邊乘以對(duì)求和D4.2.2二元離散信源信息率失真函數(shù)的計(jì)算將1S(D)D0.50.25P=0.25P=0.54.3連續(xù)信息的率失真函數(shù)4.3.1連續(xù)信源率失真函數(shù)的計(jì)算4.3.2高斯信源的信息率失真函數(shù)4.3.3信道容量與信息率失真函數(shù)的對(duì)偶關(guān)系定義定義PD為滿足保真度準(zhǔn)則的試驗(yàn)信道集合4.3.1連續(xù)信源率失真函數(shù)的計(jì)算下確界4.3.2高斯信源的信息率失真函數(shù)(條件方差)由平均功率受限下的最大連續(xù)熵定理根據(jù)詹森不等式：YXN反向加性高斯實(shí)驗(yàn)信道12高斯信源的率失真函數(shù)CR(D)I(X;Y)的上凸函數(shù)I(X;Y)的下凸函數(shù)

I(X;Y)的極大值

I(X;Y)的條件極小值

的函數(shù)

的函數(shù)僅與信道特性有關(guān)僅與信源特性有關(guān)解決可靠性問題解決有效性問題信息傳輸?shù)幕A(chǔ)信源壓縮的基礎(chǔ)4.3.3信道容量與信息率失真函數(shù)的對(duì)偶關(guān)系4.4保真度準(zhǔn)則下的信源編碼定理R>R(D)R<R(D)

H(X)、C、R(D)：臨界值，衡量通信能否滿住要求的重要界限。作業(yè)：4.44.64.114.4一個(gè)四元對(duì)稱信源，接收符號(hào)Y={0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線（取4至5個(gè)點(diǎn)）。4.6某二元信源其失真矩陣為求這信源的Dmax和Dmin和