數(shù)據(jù)處理中信息的變化

1、2022-6-231 數(shù)據(jù)處理定理數(shù)據(jù)處理定理 : 當(dāng)消息通過多級(jí)處理器時(shí)，隨著處理器數(shù)當(dāng)消息通過多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸人消息與輸出消息之間的平均目的增多，輸人消息與輸出消息之間的平均互信息量趨于變小?；バ畔⒘口呌谧冃?。 2.2.4 數(shù)據(jù)處理中信息的變化第一級(jí)處理器第二級(jí)處理器XYZ輸入圖2-2-4 級(jí)聯(lián)處理器http:/ 證明證明: 圖中：圖中：X是輸入消息集合是輸入消息集合 Y是第一級(jí)處理器的輸出消息集合是第一級(jí)處理器的輸出消息集合 Z為第二級(jí)處理器的輸出消息集合為第二級(jí)處理器的輸出消息集合 假設(shè)：假設(shè)：在在Y條件下條件下X與與Z相互獨(dú)立相互獨(dú)立)/()/(log)/;(j

2、ikjijkiyxpzyxpyzxI可得：可得：)/()/(logjijiyxpyxp1log00)/;(YZXI即得即得 (1)2022-6-233而且而且 (2)0)/;(ZYXI0)/;(XZYI又由又由 I(X;YZ)I(X;Y)I(X;Z/Y) 和和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z) 得得: I(X;Z)= I(X;Y)I(X;Z/Y) - I(X;Y/Z) 綜合綜合(1)、(2)得：得： I(X;Z) I(X;Y)將將 I(YZ;X)I(Y;X)I(Z;X/Y) 中的中的X代替代替Y、Y代替代替Z、Z代替代替X得得 I(XY;Z)I(X;Z)I(Y;Z/X)

3、 （）（）再將式（）右邊的再將式（）右邊的X和和Y互換得：互換得： I(XY;Z)I(Y;Z)I(X;Z/Y) （ ）2022-6-234由式（）和（由式（）和（ ）得：）得： I(X;Z)I(Y;Z/X) =I(Y;Z)I(X;Z/Y) 所以，有所以，有 I(X;Z)=I(Y;Z)I(X;Z/Y) -I(Y;Z/X) I(X;Z) I(Y;Z)綜合綜合(1)、(2)得：得：證畢。證畢。 結(jié)論：結(jié)論：數(shù)據(jù)處理過程中只會(huì)失掉一些信息，絕數(shù)據(jù)處理過程中只會(huì)失掉一些信息，絕不會(huì)創(chuàng)造出新的信息，所謂不會(huì)創(chuàng)造出新的信息，所謂信息不增性信息不增性。 2022-6-2351.非負(fù)性非負(fù)性 H（X）H（x1，

4、x2，xn）=0 其中：等號(hào)只有在其中：等號(hào)只有在n=1時(shí)成立。時(shí)成立。證明：證明： （1）因?yàn)橐驗(yàn)?，且在熵函數(shù)中，對(duì)，且在熵函數(shù)中，對(duì)數(shù)的底總是取大于數(shù)的底總是取大于1的數(shù)，則的數(shù)，則logp(xi)=0， -logp(xi) =0，（，（i=1,2,n）, 所以所以 1)(0ixp0)(log)()(iiixpxpXH2.2.5 熵函數(shù)的代數(shù)性質(zhì)2022-6-236在熵函數(shù)中，當(dāng)在熵函數(shù)中，當(dāng) n=1 時(shí)時(shí), p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 證畢。證畢。說明：說明： （i）這就是熵函數(shù)的非負(fù)性。表明，從總體平這就是熵函

5、數(shù)的非負(fù)性。表明，從總體平均意義上講，信源在發(fā)送符號(hào)以前，總是存在均意義上講，信源在發(fā)送符號(hào)以前，總是存在一定的不確定性；在發(fā)送符號(hào)后，總可以提供一定的不確定性；在發(fā)送符號(hào)后，總可以提供一定的信息量。一定的信息量。（ii）從數(shù)學(xué)角度上看，信息熵具有非負(fù)性的關(guān)從數(shù)學(xué)角度上看，信息熵具有非負(fù)性的關(guān)鍵，在于信息函數(shù)中對(duì)數(shù)的底取大于鍵，在于信息函數(shù)中對(duì)數(shù)的底取大于1的數(shù)。的數(shù)。熵的非負(fù)性并非必要條件。這種非負(fù)性對(duì)于離熵的非負(fù)性并非必要條件。這種非負(fù)性對(duì)于離散信源的信息熵是合適的，但對(duì)于連續(xù)信源來散信源的信息熵是合適的，但對(duì)于連續(xù)信源來講，在相對(duì)熵的概念下，就可能出現(xiàn)負(fù)值。講，在相對(duì)熵的概念下，就可能出

6、現(xiàn)負(fù)值。2022-6-2372對(duì)稱性對(duì)稱性 熵函數(shù)所有變?cè)樞蚩梢匀我饣Q，而熵函數(shù)熵函數(shù)所有變?cè)樞蚩梢匀我饣Q，而熵函數(shù)的值不變。即的值不變。即 H（x1，x2，xn） H（x2，x1，xn） H（xn，x1，x2） 因?yàn)殪睾瘮?shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，例因?yàn)殪睾瘮?shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，例如下列信源的熵都是相等的：如下列信源的熵都是相等的： 6/ 12/ 13/ 1321xxxPX2/ 16/ 13/ 1321yyyPY6/ 13/ 12/ 1321zzzPZ2022-6-238證明：證明：由由 根據(jù)加法交換律，熵函數(shù)所有變?cè)樞蚩梢匀胃鶕?jù)加法交換律，熵函數(shù)所有變?cè)樞蚩梢匀我饣Q

7、，而熵函數(shù)的值不變。意互換，而熵函數(shù)的值不變。說明說明 (1)熵函數(shù)的對(duì)稱性表明熵函數(shù)的對(duì)稱性表明,信源的信息熵只與信源的信息熵只與信源的概率空間的總體結(jié)構(gòu)有關(guān)信源的概率空間的總體結(jié)構(gòu)有關(guān),而與各概率分而與各概率分量和各信源符號(hào)的對(duì)應(yīng)關(guān)系量和各信源符號(hào)的對(duì)應(yīng)關(guān)系,乃至各信源符號(hào)本乃至各信源符號(hào)本身無關(guān)身無關(guān). (2) 概率空間的總體結(jié)構(gòu)概率空間的總體結(jié)構(gòu)(概率分量數(shù)概率分量數(shù)n)相相同的信源同的信源,不論其信源符號(hào)是否相同不論其信源符號(hào)是否相同,也不論其也不論其概率分量與信源符號(hào)的對(duì)應(yīng)關(guān)系是否一致概率分量與信源符號(hào)的對(duì)應(yīng)關(guān)系是否一致,其信其信源的信息熵均相等源的信息熵均相等.iiinxpxpx

8、xxHXH)(log)(),.,()(212022-6-239分析 概率分量數(shù)都等于概率分量數(shù)都等于3,概率空間都是由概率空間都是由1/2,1/3,1/6這三個(gè)分量構(gòu)成。由于這三個(gè)這三個(gè)分量構(gòu)成。由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同信源的概率空間的總體結(jié)構(gòu)相同,所以他所以他們的信息熵相等們的信息熵相等. 即即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2) =H(1/2,1/3,1/6) =1.4592 比特比特/信源符號(hào)信源符號(hào)2022-6-23103. 確定性確定性 若信源若信源X的概率空間中任意一概率分量等于的概率空間中任意一概率分量等于1時(shí)時(shí),其它所有概率分量均等于零其它

9、所有概率分量均等于零,即即 則信源則信源X的信息熵一定等于的信息熵一定等于0,即即 H(x) = H(0,0,1,0) = -0log0+0log0+1log1+0log0 =00.1.00.21nixxxxPX2022-6-2311說明說明(1) 當(dāng)信源任意一個(gè)符號(hào)幾乎必然出現(xiàn)時(shí)當(dāng)信源任意一個(gè)符號(hào)幾乎必然出現(xiàn)時(shí),其它符號(hào)幾乎不可能出現(xiàn)其它符號(hào)幾乎不可能出現(xiàn),這個(gè)信源是這個(gè)信源是一個(gè)確知信源一個(gè)確知信源.在發(fā)符號(hào)前在發(fā)符號(hào)前,不存在不確不存在不確定性定性;在發(fā)符號(hào)后在發(fā)符號(hào)后,不提供任何信息量不提供任何信息量.(2) 當(dāng)任意一個(gè)概率分量等于當(dāng)任意一個(gè)概率分量等于1時(shí)時(shí),才能使信才能使信源信息熵

10、等于源信息熵等于0.2022-6-23124香農(nóng)輔助定理香農(nóng)輔助定理 對(duì)于任意兩個(gè)對(duì)于任意兩個(gè)n維概率矢量維概率矢量P=（p1，p2，pn）和）和Q=（q1，q2，qn），如下不等式成），如下不等式成立立:niiiniiinqppppppH1121loglog),.,( 該式表明，對(duì)任意概率分布該式表明，對(duì)任意概率分布pi，它對(duì)其他概率，它對(duì)其他概率分布分布qi的自信息量的自信息量-logqi取數(shù)學(xué)期望時(shí)，必不小取數(shù)學(xué)期望時(shí)，必不小于于 pi本身的熵。等號(hào)僅當(dāng)本身的熵。等號(hào)僅當(dāng) P=Q時(shí)成立。時(shí)成立。 2022-6-23135最大離散信源熵定理 給定給定離散無記憶信源輸出離散無記憶信源輸出n

11、n個(gè)不同的信息個(gè)不同的信息符號(hào)，符號(hào)，離散信源的離散信源的n個(gè)概率分量個(gè)概率分量p1, p2,pn , 當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)（即等時(shí)（即piln n）熵最大。）熵最大。 H（X）= H(1/n,1/n,1/n) = logn 2022-6-2314證明: 按條件極值的數(shù)學(xué)求解方法，做輔助函數(shù)（約束按條件極值的數(shù)學(xué)求解方法，做輔助函數(shù)（約束條件條件 ) F(p1,p2,pn) = H(p1,p2,pr)+pi1 = -pipi +pi 1 其中，其中，為待定常數(shù)，對(duì)輔助函數(shù)為待定常數(shù)，對(duì)輔助函數(shù)F(p1,p2,pn)中的中的n 個(gè)變量個(gè)變量pi（i=1,2,n

12、）分別求偏導(dǎo)，并置）分別求偏導(dǎo)，并置之為零，得之為零，得n個(gè)穩(wěn)定點(diǎn)方程個(gè)穩(wěn)定點(diǎn)方程 -（1+ pi）+=0 （i=1,2,n） 11niip2022-6-2315 由穩(wěn)定點(diǎn)方程可解得由穩(wěn)定點(diǎn)方程可解得 pi=2(-1) （i=1,2,n） 將上式代入約束方程，有將上式代入約束方程，有 pi =2 (-1)=n 2(-1)=1 即得即得 2(-1)=1/n 解得使熵函數(shù)解得使熵函數(shù)H(p1,p2,pn)取得條件極取得條件極大值，即熵函數(shù)大值，即熵函數(shù)H(p1,p2,pn)的最大值的最大值的信源符號(hào)的信源符號(hào)xi（i=1,2,n）相應(yīng)的概率）相應(yīng)的概率分布分布 pi=1/n 2022-6-2316

13、 由此，求得熵函數(shù)的最大值由此，求得熵函數(shù)的最大值 H0(p1,p2,pn)=H(1/n,1/n,1/n) = 1/n1/n = n 在一般情況下，離散信源的熵函數(shù)不會(huì)在一般情況下，離散信源的熵函數(shù)不會(huì)超過上式所示的最大值，即有超過上式所示的最大值，即有 H(p1,p2,pn) n 2022-6-23176條件熵小于無條件熵條件熵小于無條件熵 1) 條件熵小于信源熵：條件熵小于信源熵：H(X/Y) = 0, 所以所以, H（X）一）一 H（XY）= 0 H（X）= H（XY）2022-6-23182) 兩個(gè)條件下的條件熵小于一個(gè)條件下的兩個(gè)條件下的條件熵小于一個(gè)條件下的條件熵：條件熵： H（Z

14、X Y）= H（ZY）。）。 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)p(z/xy)=p(z/y)時(shí)取等號(hào)。時(shí)取等號(hào)。 證明證明: 由由 I(Z;Y)=H(Z)-H(Z/Y) 所以所以 I(Z/Y;X)=H(Z/Y)-H(Z/YX) 又有又有 I(Z/Y;X) 0 所以所以 H(Z)-H(Z/XY) 0 H(Z/XY) =0所以所以 H（X） H（Y） = H（XY） 2022-6-2322互信息量與熵之間的關(guān)系圖互信息量與熵之間的關(guān)系圖H(X/Y)H(Y/X)I(X;Y)H(X)H(Y)H(XY)2022-6-2323H（XY）= H（X）H（Y/X） = H（Y）H（XY） H（X） H（XY），），H（Y） H

15、（YX） I（X；Y）= H（X）- H（XY） = H（Y）- H（YX） = H（X）H（Y）H（XY） H（XY） H（X）H（Y） 如果如果X與與Y互相獨(dú)立，則互相獨(dú)立，則I（X；Y）0 此時(shí)：此時(shí)：H（XY）H（X）+H（Y） H（X）H（XY） H（Y）H（YX） 從圖中可得到如下關(guān)系從圖中可得到如下關(guān)系2022-6-2324例例226 二進(jìn)制通信系統(tǒng)用符號(hào)二進(jìn)制通信系統(tǒng)用符號(hào)“0”和和“1”，由，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件：號(hào)表示下列事件：u0:發(fā)出一個(gè)發(fā)出一個(gè)“0”；u1：發(fā)出一個(gè)發(fā)出一個(gè)“1”；v0：收到一個(gè)：收到一個(gè)

16、“0”；v1：收到一個(gè)收到一個(gè)“1”。 2022-6-2325 給定下列概率：給定下列概率：p（u0）=1/2, p（v0u0）3/4，p（v0u1）1/2，求求（1）已知發(fā)出一個(gè)已知發(fā)出一個(gè)“0”，收到符號(hào)后得到的，收到符號(hào)后得到的信息量；信息量；（2）已知發(fā)出的符號(hào)，收到符號(hào)后得到的信已知發(fā)出的符號(hào)，收到符號(hào)后得到的信息量；息量；（3）知道發(fā)出的和收到的符號(hào)能得到的信息知道發(fā)出的和收到的符號(hào)能得到的信息量；量；（4）已知收到的符號(hào)，被告知發(fā)出的符號(hào)得已知收到的符號(hào)，被告知發(fā)出的符號(hào)得到的信息量。到的信息量。 2022-6-2326解：解：設(shè)設(shè)U=u0,u1,V=v0,v1,（1）先求出先求

17、出 p(v1/u0)=1 p(v0/u0)=1/4 所以所以 H(V/u0)= p(v0/u0)log2p(v0/u0) p(v1/u0)log2p(v1/u0) =H(1/4,3/4)=0.82 比特比特/符號(hào)符號(hào)2022-6-2327（2）聯(lián)合概率聯(lián)合概率 p（u0 v0）p（v0/u0）p（u0）3/8， 同理可得同理可得 p（u0 v1） p（v1/u0）p（u0） =18， p（u1 v0）= p（v0/u1）p（u1） =14， p（u1 v1） p（v1/u1）p（u1） =142022-6-2328H（VU）= =0.91 比特比特/符號(hào)符號(hào) 10102)/(log)(ijij

18、jiuvpvup21log4121log4141log8143log8322222022-6-2329（3）解法解法1： H（U V）= =-p(u0v0)log2p(u0v0) - p(u0v1)log2p(u0v1) -p(u1v0)log2p(u1v0) - p(u1v1)log2p(u1v1) =1.91 比特比特/符號(hào)符號(hào) 10102)/(log)(ijijjiuvpvup2022-6-2330解法2： 因?yàn)橐驗(yàn)閜（u0）=p（u1）=1/2， 所以所以H(U)=- p（u0)log2 p（u0） - p（u1)log2 p（u1） =1 比特比特/符號(hào)符號(hào) H（UV）H（U）H（V

19、U） = 10.91 1.91比特比特/符號(hào)符號(hào) 2022-6-2331(4）可求出可求出 p(v0)= p(u0v0)+p(u1v0) =3/8+1/4 =5/8 p(v1)= p(u0v1) +p(u1v1) =1/8+1/4 =3/8 H（V）=H（3/8，5/8）=0.96 比特比特/符號(hào)符號(hào) H（UV）= H（V）+ H（U/V） H（U/V）=H（UV）- H（V） =1.91- 0.96 =0.95 比特比特/符號(hào)符號(hào) 2022-6-2332第 三 講2002年4月29日2022-6-23334)4) 條件條件熵熵定義定義 在給定在給定Y（即各個(gè)（即各個(gè)yj）條件下，）條件下，X

20、集合的條件集合的條件 熵熵H（X/Y）定義為）定義為 H（X/Y）jijijiyxpyxp,)/(log)(在給定在給定X（即各個(gè)（即各個(gè)xi）條件下，）條件下，Y集合的條件集合的條件熵熵H（Y/X）定義為）定義為 H（Y/X）jiijjixypyxp,)/(log)(回顧第二講回顧第二講2022-6-23345)聯(lián)合熵聯(lián)合熵定義定義 聯(lián)合熵是聯(lián)合符號(hào)集合聯(lián)合熵是聯(lián)合符號(hào)集合 XY上的每個(gè)元素對(duì)上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。定義的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。定義為為 H（XY）jijijiyxpyxp,)(log)(回顧第二講回顧第二講2022-6-2335回顧第二講

21、回顧第二講 什么叫互信息量什么叫互信息量? 什么叫平均互信息量什么叫平均互信息量?I（xi;yj）=log )()/(ijixpyxpjiijijixpyxpyxpYXI,)()/(log)();(2022-6-2336數(shù)據(jù)處理定理如何描述數(shù)據(jù)處理定理如何描述? 當(dāng)消息通過多級(jí)處理器時(shí)，當(dāng)消息通過多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸入隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互消息與輸出消息之間的平均互信息量趨于變小。信息量趨于變小。2022-6-2337 熵函數(shù)的代數(shù)性質(zhì)熵函數(shù)的代數(shù)性質(zhì):1.非負(fù)性非負(fù)性2.對(duì)稱性對(duì)稱性 H（x1，x2，xn）H（x2，x1，xn） H（xn，x1

22、，x2） H（X）H（x1，x2，xn）02022-6-23383. 確定性確定性 H(x) = H(0,0,1,0) = -0log0+0log0+1log1+0log0 = 04. 香農(nóng)輔助定理香農(nóng)輔助定理niiiniiinqppppppH1121loglog),.,(2022-6-23395. 最大熵定理最大熵定理 6. 條件熵小于無條件熵條件熵小于無條件熵niiiniiinqppppppH1121loglog),.,(2022-6-2340今天所講內(nèi)容如下今天所講內(nèi)容如下2022-6-2341 2.3.1 連續(xù)信源的熵連續(xù)信源的熵 1. 什么叫連續(xù)信源熵什么叫連續(xù)信源熵? 分析如下分析

23、如下: 假設(shè)假設(shè)x a, b，令，令 x (b-a)n， xi a(i-1) x , aix ，px(x)為連續(xù)為連續(xù)變量變量X的概率密度函數(shù)，則利用中值定理的概率密度函數(shù)，則利用中值定理, X取取xi的概率是的概率是: 第三節(jié) 連續(xù)信源的熵和互信息2022-6-2342根據(jù)離散信源熵的定義，則根據(jù)離散信源熵的定義，則 當(dāng)當(dāng)n 時(shí)，即時(shí)，即 時(shí)，由積分定義得時(shí)，由積分定義得 xxpdxxpxpiXxiaxiaXi)()()()1(niiXiXniiinxxpxxpxpxpXH11)(log)()(log)( ）0 x)(lim)(XHXHnndxxpxdxxpxpbabaiXxiXiX)(lo

24、glim)(log)(02022-6-2343 上式的第一項(xiàng)具有離散信源熵的形式，上式的第一項(xiàng)具有離散信源熵的形式，是定值，第二項(xiàng)為無窮大。是定值，第二項(xiàng)為無窮大。 因此因此, 連續(xù)信源熵連續(xù)信源熵(也叫也叫相對(duì)熵相對(duì)熵)定義為定義為:baxiXiXxdxxpxploglim)(log)(0dxxpxpXHXXc)(log)()(2022-6-2344說明: 為什么連續(xù)信源的不確定度為無窮大為什么連續(xù)信源的不確定度為無窮大? 雖然連續(xù)信源熵與離散信源熵具有相雖然連續(xù)信源熵與離散信源熵具有相同的形式，但其意義不同。連續(xù)信源的不同的形式，但其意義不同。連續(xù)信源的不確定度應(yīng)為無窮大，這是因?yàn)檫B續(xù)信源

25、可確定度應(yīng)為無窮大，這是因?yàn)檫B續(xù)信源可以假設(shè)是一個(gè)不可數(shù)的無限多個(gè)幅度值的以假設(shè)是一個(gè)不可數(shù)的無限多個(gè)幅度值的信源，需要無限多個(gè)二進(jìn)制比特來表示，信源，需要無限多個(gè)二進(jìn)制比特來表示，因而它的熵為無窮大因而它的熵為無窮大(絕對(duì)熵絕對(duì)熵)。但采用上。但采用上式來定義連續(xù)信源的熵是因?yàn)樵趯?shí)際問題式來定義連續(xù)信源的熵是因?yàn)樵趯?shí)際問題中，常遇到的是熵之間的差，如互信息量，中，常遇到的是熵之間的差，如互信息量，只要兩者逼近時(shí)所取的只要兩者逼近時(shí)所取的x 一致，上式中一致，上式中第二項(xiàng)無窮大量是抵消的。第二項(xiàng)無窮大量是抵消的。 2022-6-2345 0 1 2 3 x1/2Px(x)（a）信源輸出信號(hào)概率

26、密度）信源輸出信號(hào)概率密度例例2-3-1 已知信源概率密度，求連續(xù)熵？已知信源概率密度，求連續(xù)熵？由圖（由圖（a）得）得 bitdxdxxpxpXHXXc121log21)(log)()(31222022-6-2346 0 1 2 3 4 5 6 x1/4Px(x)（b）信源輸出信號(hào)被放大）信源輸出信號(hào)被放大2倍后概率密度倍后概率密度由圖（由圖（b）得）得 bitdxdxxpxpXHxxc6222241log41)(log)()(2022-6-2347說明：說明： 圖（圖（b）是圖（）是圖（a）的放大，計(jì)算結(jié)）的放大，計(jì)算結(jié)果表明信息量增加了，這是荒謬的。因果表明信息量增加了，這是荒謬的。因?yàn)?/p>

27、這兩種情況的絕對(duì)熵是不會(huì)變的，這為這兩種情況的絕對(duì)熵是不會(huì)變的，這是由無窮大項(xiàng)所造成的，圖（是由無窮大項(xiàng)所造成的，圖（b）比（）比（a）大了大了1比特。因此比特。因此Hc（X）給出的熵有）給出的熵有相相對(duì)意義，而不是絕對(duì)值。對(duì)意義，而不是絕對(duì)值。 1log2logxx2022-6-2348 連續(xù)信源聯(lián)合相對(duì)熵連續(xù)信源聯(lián)合相對(duì)熵 連續(xù)信源條件相對(duì)熵連續(xù)信源條件相對(duì)熵 dxdyxypxypXYHc)(log)()( dxdyxypxypXYHc)/(log)()/(2022-6-23492. 互信息量互信息量 Hc(XY)Hc(X)Hc(Y/X) Hc(Y)Hc(X/Y) I(X;Y)I(Y;X)

28、 Hc(X)- Hc(X/Y) Hc(X)Hc(Y)- Hc(XY) Hc(Y)- Hc(Y/X)2022-6-23502.3.2 連續(xù)信源最大相對(duì)熵定理連續(xù)信源最大相對(duì)熵定理 問題問題: 在連續(xù)信源中，當(dāng)概率密度函數(shù)滿足什么在連續(xù)信源中，當(dāng)概率密度函數(shù)滿足什么條件時(shí)才能使連續(xù)信源條件時(shí)才能使連續(xù)信源相對(duì)熵相對(duì)熵最大？最大？ 2022-6-23511.峰值功率受限的最大相對(duì)熵定理峰值功率受限的最大相對(duì)熵定理 對(duì)于定義域?yàn)橛邢薜碾S機(jī)矢量對(duì)于定義域?yàn)橛邢薜碾S機(jī)矢量X，當(dāng)它是，當(dāng)它是均勻分布時(shí)，其熵最大。均勻分布時(shí)，其熵最大。證明證明:已知已知變量變量X的幅度取值限制在的幅度取值限制在a,b，則，則

29、由，由， 有有 ，對(duì)于對(duì)于由拉格郎日乘數(shù)法知由拉格郎日乘數(shù)法知 1)(dxxpXbaXdxxp1)(dxxpxpXHXXc)(log)()(22022-6-2352 令令 dxxpxpxpxFXXX)()(log)()(20)()(xpxFX01)(log2xpX1)(log2xpX12)(xpXbaXdxxp1)(badx121ab121 有有2022-6-2353 當(dāng)任意當(dāng)任意 符合平均分布條件符合平均分布條件 時(shí)，信源達(dá)到最大熵。時(shí)，信源達(dá)到最大熵。 abxpX1)(dxxpxpXHXXc)(log)()(2abdxabab1log12其它,0,1)(bxaabxpX)(xpX2022-

30、6-23542.限平均功率最大相對(duì)熵定理限平均功率最大相對(duì)熵定理 對(duì)于相關(guān)矩陣一定的隨機(jī)矢量對(duì)于相關(guān)矩陣一定的隨機(jī)矢量X，當(dāng)它是正態(tài)分布時(shí)，當(dāng)它是正態(tài)分布時(shí)具有最大相對(duì)熵。具有最大相對(duì)熵。 定理：對(duì)于單維連續(xù)信源定理：對(duì)于單維連續(xù)信源X來說，在取值區(qū)間來說，在取值區(qū)間a,b（或（或R)內(nèi)，內(nèi)，若有這樣一個(gè)概率密度函數(shù)若有這樣一個(gè)概率密度函數(shù) 對(duì)另一個(gè)滿足同樣約束條對(duì)另一個(gè)滿足同樣約束條件的概率密度函數(shù)件的概率密度函數(shù) ，如有，如有 則這個(gè)概率密度函數(shù)則這個(gè)概率密度函數(shù) 就是使單維連續(xù)信源就是使單維連續(xù)信源X的相對(duì)熵的相對(duì)熵達(dá)到最大值的概率密度函數(shù)，其最大相對(duì)熵是：達(dá)到最大值的概率密度函數(shù)，其最

31、大相對(duì)熵是：)(xp)(xqdxxpxpdxxpxq)(ln)()(ln)()(xpdxxpxp)(ln)(2022-6-2355證明:設(shè)：設(shè)：連續(xù)信源連續(xù)信源X在整個(gè)實(shí)數(shù)軸在整個(gè)實(shí)數(shù)軸R:（-，） 取值，取值， 其平均功率限定為其平均功率限定為P(均值固定為均值固定為m)。若。若 是是 滿足平均功率限定條件（均值固定為滿足平均功率限定條件（均值固定為m）的除）的除 了正態(tài)分布的概率密度函數(shù)以外的任一概率密了正態(tài)分布的概率密度函數(shù)以外的任一概率密 度函數(shù)，即有度函數(shù)，即有 )(xq(3) )(2) )(1) 1)(2Pdxxqxmdxxxqdxxq2022-6-2356 若把連續(xù)信源若把連續(xù)信

32、源X在取值區(qū)間（在取值區(qū)間（-，）內(nèi)）內(nèi)滿足平均功率限定條件（均值固定為滿足平均功率限定條件（均值固定為m）的正態(tài)分布的概率密度函數(shù)記為的正態(tài)分布的概率密度函數(shù)記為 ,則有則有 =1 （4） =m （5） =P （6） dxxp)(dxxxp)(dxxpx)(2)(xp2022-6-2357 符合約束條件（符合約束條件（4）和（）和（5）及（）及（6）式的）式的正態(tài)分布的概率密度函數(shù)正態(tài)分布的概率密度函數(shù) 其中：其中：m為數(shù)學(xué)期望，為數(shù)學(xué)期望， 是方差是方差 221)(xp222)(expmx22022-6-2358 dxxpmx)()(22dxxpmxmx)()2(22dxxpx)(2dxxxmp )(2dxxpm)(2dxxxpmp)(2dxxpm)(22mp （7） 由于平均功率由于平均功率P是限定值（均值固定為是限定值（均值固定為m），所以方差），所以方差 也是限定值也是限定值 22022-6-2359 由(1),(2),和(3)及(4)式可有 dxxpxq)(ln)(dxmxxq2222)(exp21ln)(dxxq221ln)(dxmxxq222)()()2ln(212dxmxmxxq222)(2212022-6-2360)2l