信息論第5講——平均互信息的凸性(含習(xí)題)

1、平均互信息平均互信息 定義及含義定義及含義 信息信息/數(shù)據(jù)處理定理數(shù)據(jù)處理定理Review)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI);();();();(VUIYXIZXIYXI 凸性凸性 性質(zhì)：性質(zhì)： 對稱性、非負(fù)性、極值性對稱性、非負(fù)性、極值性凸集凸集若集合若集合nRC（n維歐氏空間），有維歐氏空間），有CqCp , 且對任意實(shí)數(shù)且對任意實(shí)數(shù)有有(1),pqC顯然，顯然，n維歐氏空間維歐氏空間 為一凸集合。為一凸集合。01則稱為則稱為C為凸集合。為凸集合。概率矢量構(gòu)成集合為凸集概率矢量構(gòu)成集合為凸集定義定義 若一個若一個K維矢量維矢量 =( 1, 2,

2、 , K)的所有分量的所有分量為非負(fù)的，且和為為非負(fù)的，且和為1，即就稱，即就稱 為概率矢量。為概率矢量。引理引理 概率矢量全體所構(gòu)成的區(qū)域概率矢量全體所構(gòu)成的區(qū)域R是凸的。是凸的。證：若證：若 ,R，對，對0 1構(gòu)造矢量構(gòu)造矢量 =(1- )Kkakkk, 2, 10)1 (因此因此 是概率矢量，仍屬于是概率矢量，仍屬于R，所以，所以R是凸的。是凸的。KkKkkkKkka1111)1 (凸函數(shù)定義凸函數(shù)定義定義在凸集定義在凸集R上的一個上的一個實(shí)函數(shù)實(shí)函數(shù)f，若它對所有，若它對所有,R和和0 1滿足滿足 f( )+(1 ) f ()f ( (1 ) 就稱函數(shù)就稱函數(shù)f為為R上的上的凸凸函數(shù)函

3、數(shù)。若式中不等號的方向相反，就稱若式中不等號的方向相反，就稱f為為凸凸函數(shù)函數(shù)。若等號僅當(dāng)若等號僅當(dāng) =0或或1時成立，就稱時成立，就稱f為為嚴(yán)格凸嚴(yán)格凸或嚴(yán)格凸或嚴(yán)格凸的。的。在在a,b上定義的上凸函數(shù)上定義的上凸函數(shù)在在a,b上定義的下凸函數(shù)上定義的下凸函數(shù)凸函數(shù)性質(zhì)凸函數(shù)性質(zhì)1) 若若f( )是凸是凸的，則的，則-f( )是凸是凸的，反過來也成立。的，反過來也成立。 2) 若若f1( ), f2( ), fL( )是是R上的凸上的凸函數(shù)，函數(shù)，c1,c2,cL是正是正數(shù)，則數(shù)，則 為為R上的凸上的凸函數(shù)，若其中任一個是嚴(yán)函數(shù)，若其中任一個是嚴(yán)格凸的，則和式也是嚴(yán)格凸的。格凸的，則和式也是

4、嚴(yán)格凸的。 Llllfc1)(3) (Jensen不等式不等式) 若若f( )是是R上的凸上的凸函數(shù)，則函數(shù)，則Ef( ) f (E ( )Jensen不等式不等式:若f( )是R上的凸函數(shù)，則 E f( ) f (E ( ) 其中，E表示數(shù)學(xué)期望。證明證明：只對離散情況證明。 對于離散變量，令 ，則E f( ) f (E ( ) 可寫成可用歸納法進(jìn)行證明。對兩點(diǎn)分布，根據(jù)凸函數(shù)的定義有假設(shè)當(dāng)分布點(diǎn)個數(shù)為n時不等式成立，考察分布點(diǎn)個數(shù)為n+1時的情況。Llllpp11, 011221()()LLLlllf pppp f1212(1)()(1) ()fff對 ，令 則有 證畢證畢 111, 0n

5、iiippniip1 1111111111111111()()()()()()1() nnnnnnnnniinniniinniniiip fp fpfppffpffppffppfp定理定理: 如果函數(shù)f(x)在某個區(qū)間上存在非負(fù)(正)的二階導(dǎo)數(shù)，則 f(x)為該區(qū)間上的凸函數(shù)(嚴(yán)格凸函數(shù))。 證明證明：利用函數(shù)f(x)在x0點(diǎn)的泰勒級數(shù)展開:其中x*位于x0和x之間。根據(jù)假設(shè) ，因此，對任意的x，最后一項(xiàng)總是非負(fù)。設(shè) 取 ，可得類似地，取 ，可得20000( *)( )()()()()2fxf xf xfxxxxx( *)0fx012(1)xxx1xx10012()()(1)()()f xf

6、xfxxx2xx20021()()()()f xf xfxxx因此，得 證畢證畢 同理可證：如果函數(shù)f(x)在某個區(qū)間上存在的二階導(dǎo)數(shù)0（0 對所有對所有 k k =0 =0 )(f)(kf)(kf其中為一常數(shù)。證證：首先證明充分性。首先證明充分性。設(shè)函數(shù)f在 點(diǎn)滿足KT條件，今證明 為極大值，即對任意 ，恒有 。由于f是凸函數(shù)，所以 f ( )(1 ) f ( )f (1 ) 0 1即f ( )f ( )f (1 ) f ( )/ 01R( )( ) 0ff( )f 1211122212111222122212221( )(,)(1) )( )(),(),()(,)(),(),()(,(),

7、()(,(),()(KKKKKKKKKKKKKKffffffffff 21212112,()(,()(,()(,)KKKKKKkKKKKfff 0(1)()()()lim( )()kkkkfffff 因上式對任意 (0 1)成立，可令 0，得由KT條件有將其代入上式得從而證明 為極大值?，F(xiàn)在證明必要性。令 使f 達(dá)到極大值，并假定偏導(dǎo)數(shù)在 處連續(xù)。則對任意 ,有式中01。以除兩邊并令0 得)()()(kkkkkf0)()(11KkKkkkff( )f RR0)()1(ff0)1(0ddf即因 為是概率矢量，所以至少有一個分量，例如i是嚴(yán)格正的，即i0。選擇另一概率矢量滿足式中 。于是有對于 也

8、可選負(fù)值和正數(shù)，有 和kikkkkf0)()(ilkllilkl其 它 值( )( )0kiff0,k1( )( )0kff1( )( )0kff即( )( )kiff對對 ，因?yàn)楦怕适噶康年P(guān)系，只能選擇，因?yàn)楦怕适噶康年P(guān)系，只能選擇 ，由此得，由此得0k0( )( )kiff證畢證畢熵的凸性熵的凸性證明：證明：),(112111KpppP),(222212KpppP10)()1 ()()1 (2121PHPHPPH令令則則KiiiiiPpPpPPH1212121)1 (log()1 ()1 (KiiiiKiiiiPpPPpp12121211)1 (log()1 ()1 (log(1)1 (1

9、21KiiiPp由于由于KiiiKiiippppPPH12211121log1log)1 ()()1 ()(21PHPH當(dāng)且僅當(dāng)當(dāng)且僅當(dāng) 時等號成立時等號成立21PP p平均互信息量凸性平均互信息量凸性由互信息的定義式：由互信息的定義式：可知，它是輸入分布可知，它是輸入分布 及轉(zhuǎn)移概率分布及轉(zhuǎn)移概率分布 的函數(shù)。的函數(shù)?？梢杂洖椋嚎梢杂洖椋?如果轉(zhuǎn)移概率分布固定，I(X,Y)就是先驗(yàn)概率Q(X)的函數(shù)； 如果信源先驗(yàn)概率固定，I(X,Y)就是轉(zhuǎn)移概率P(Y/X)的函數(shù)。( )q x( / )p y x(;)( ),(/)I X Yf Q xP yxxyyxypxypxqYXI)()(log)(

10、)()(；例例 設(shè)二元對稱信道(BSC)的信源空間為：X=0,1; Q(X)=, 1-; 0 1-p 0 p p 1 1-p 1因?yàn)橐阎D(zhuǎn)移概率，所以利用公式I(X,Y)=H(Y)-H(Y/X) 。 H(Y/X)=-q(xi) p(yj/xi) log p(yj/xi) =q(xi) -plog p+(1-p) log (1-p) =H(p) 其中：H(p)= -plog p+(1-p) log (1-p) 另外：為了求H(Y)，利用w(yj)= q(xi) p(yj/xi)；可得： w(y=0)=(1-p)+(1-)p w(y=1)=p+(1-)(1-p)所以：H(Y)=-(1-p)+(1-

11、)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1-)(1-p) =H(1-p)+(1-)p) 可得平均互信息量為： I(X,Y)=H(1-p)+(1-)p)-H(p)當(dāng)固定信源先驗(yàn)概率分布當(dāng)固定信源先驗(yàn)概率分布時，時，I(X,Y)是信道轉(zhuǎn)移概率是信道轉(zhuǎn)移概率p的下凸函數(shù)的下凸函數(shù)，如圖所示。 0 1/2 1 p從圖中可知，當(dāng)信源固定后，存在一種BSC信道，p=(1-p)=1/2，使在信道輸出端獲得信息量最小，即等于0。也就是說，信源的信息全部損失在信道中了。這是最差的信道，這個性質(zhì)說明，每個信源都存在一種最差的信道，此信道的干擾最大。 I(X,Y) H() 根據(jù)這個關(guān)系，

12、當(dāng)當(dāng)p值一定，即固定信道，可知值一定，即固定信道，可知I(X,Y)是是的上凸函數(shù)的上凸函數(shù)，其曲線如圖： I(X,Y) 1-H(p) 0 1/2 1 從圖中可知，當(dāng)BSC信道的信道矩陣固定后，若輸入符號集X的概率分布不同，在接收端平均每個符號獲得的信息量就不同。只有當(dāng)輸入為等概分布時即，p(0)=p(1)=1/2時，接收端的信息量才為最大值1-H(p)。定理定理2.5.2 當(dāng)條件分布當(dāng)條件分布 p(y/x)給定時，平均互信息給定時，平均互信息I(X;Y)是是輸入分布輸入分布q(x)的凸的凸函數(shù)。函數(shù)。證明：令q1和q2是輸入集X上的任意兩個概率矢量，相應(yīng)的互信息為I1和I2，令滿足01，q=q

13、1(1)q2是合成概率矢量，此時輸入X和輸出Y之間的互信息為I。 今需要證明: . 令p1(xy)=q1(x)p(y/x), p2(xy)=q2(x)p(y/x), 有 p(xy)= q(x)p(y/x)=p1(xy) (1) p2(xy) 1122( )(),( )()xxw yp xyw yp xyIII21)1 (12( )()( )(1)( )xw yp xyw yw y根據(jù)平均互信息的定義，得因?yàn)?log x 是嚴(yán)格凸函數(shù)，所以 證畢121212121212()()(1)()log(1)()log( )( )()()(1)()log( )( )( )()log(1)()log( )(

14、 )xyxyxyxyxyp y xp y xIIIp xypxyw ywyp y xp xypxyw yw yw yp xypxyw ywy12121212121212( )( )(1)()log(1)()log( )( )( )( )log()(1)log()( )( )( )( )log()(1)log()( )( )0 xyxyxyxyyxyxw yw yIIIp xypxyw ywyw yw yp xypxyw ywyw yw yp xypxyw ywy 當(dāng)信道一定時，平均互信息是信源先驗(yàn)概率的上凸函數(shù)當(dāng)信道一定時，平均互信息是信源先驗(yàn)概率的上凸函數(shù)1) 對于一定的信道轉(zhuǎn)移概率分布，總

15、可以找到一個對于一定的信道轉(zhuǎn)移概率分布，總可以找到一個先驗(yàn)概率分布為先驗(yàn)概率分布為P的信源的信源X，使平均互信息達(dá)到相，使平均互信息達(dá)到相應(yīng)的最大值應(yīng)的最大值Imax，這時稱這個信源為該信道的匹，這時稱這個信源為該信道的匹配信源。配信源。2) 不同的信道轉(zhuǎn)移概率對應(yīng)不同的不同的信道轉(zhuǎn)移概率對應(yīng)不同的Imax，或者說，或者說Imax是是P(Y/X)的函數(shù)。的函數(shù)。 平均互信息的凸性平均互信息的凸性定理定理2.5.3 當(dāng)集當(dāng)集X的概率分布保持不變時，平均互信息量是的概率分布保持不變時，平均互信息量是條件概率分布條件概率分布p(y/x)的凸的凸函數(shù)。函數(shù)。證明：令p1和p2是兩個任意條件概率分布，相

16、應(yīng)的平均互信息為I1和I2，令滿足01,p=p1(1)p2是合成條件概率分布，此時輸入X和輸出Y之間的互信息為I。今需要證明 . 令 根據(jù)平均互信息的定義，得12(1)III1111122222( )( )( / ),( /)( )( / )/( )( )( )( / ),( /)( )( / )/( )( )( )( / ),( /)( ) ( / )/( )xxxw yq x py xp x yq x py xw ywyq x py xpx yq x py xwywyq x py xp x yq x p y xwy因?yàn)閘ogx是嚴(yán)格凸函數(shù)，所以 證畢121212121212()(1)( )

17、(/ )(1) ( )(/ )log( )()()( )(/ )log(1)( )(/ )log( )( )()()( )(/ )log(1)( )(/ )log( /)( /)xyxyxyxyxyp x yIIIq x py xq x py xq xpx ypx yq x py xq x py xq xq xp x yp x yq x py xq x py xpxypxy121212121212()()(1)log( ) ( / ) (1)log( )( / )( / )( / )()()log() (1)log()( / )( / )log( ) () (1)log( ) ()0 xyxy

18、xyxyxyxyp x yp x yIIIq x p y xq x p y xp x yp x yp x yp x yp xyp xyp x yp x yw y p x yw y p x yn 當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)1) 對于一個已知先驗(yàn)概率為對于一個已知先驗(yàn)概率為P的離散信源，總可以找到一的離散信源，總可以找到一個轉(zhuǎn)移概率分布為個轉(zhuǎn)移概率分布為P(Y/X)的信道，使平均互信息達(dá)到相的信道，使平均互信息達(dá)到相應(yīng)的最小值應(yīng)的最小值Imin。2) 可以說不同的信源先驗(yàn)概率對應(yīng)不同的可以說不同的信源先驗(yàn)概率對應(yīng)不同的Imin，或者

19、說，或者說Imin是是P(X)的函數(shù)。即平均互信息的最小值是由體現(xiàn)了信源的函數(shù)。即平均互信息的最小值是由體現(xiàn)了信源本身的特性。本身的特性。 平均互信息的凸性平均互信息的凸性本章小結(jié)本章小結(jié) 熵、互信息定義及含義熵、互信息定義及含義互信息互信息與熵的關(guān)系與熵的關(guān)系 信息處理定理信息處理定理)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI);();(ZXIYXI 凸性凸性信道一定時，平均互信息是信源先驗(yàn)概率的上凸函數(shù)信道一定時，平均互信息是信源先驗(yàn)概率的上凸函數(shù)信源一定時，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)信源一定時，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù) 微分熵的定義及

20、與熵的差別微分熵的定義及與熵的差別27個硬幣中有一個重量偏輕，其它個硬幣中有一個重量偏輕，其它26個為標(biāo)準(zhǔn)個為標(biāo)準(zhǔn)重量。重量。試用信息量觀點(diǎn)分析在試用信息量觀點(diǎn)分析在不用砝碼的天平上至少不用砝碼的天平上至少稱多少次，就能發(fā)現(xiàn)這個輕的硬幣？怎樣稱？稱多少次，就能發(fā)現(xiàn)這個輕的硬幣？怎樣稱？思考思考:設(shè)有設(shè)有4枚同值硬幣，其中枚同值硬幣，其中1枚硬幣可能是假幣，枚硬幣可能是假幣，如是假幣，其重量與真幣不同，但不知比真幣如是假幣，其重量與真幣不同，但不知比真幣輕還是重?，F(xiàn)在給你一部沒有砝碼的天平和輕還是重?，F(xiàn)在給你一部沒有砝碼的天平和1枚真幣，要求你回枚真幣，要求你回答有無假幣？如答有無假幣？如有假幣

21、要求有假幣要求找出那枚假幣，并指出那枚假幣是比真幣輕還找出那枚假幣，并指出那枚假幣是比真幣輕還是重？是重？試用信息量觀點(diǎn)分析最少需稱多少次才能保證試用信息量觀點(diǎn)分析最少需稱多少次才能保證一定能找出那枚假幣，并給出具體稱法。一定能找出那枚假幣，并給出具體稱法。思考思考:第二章 習(xí)題2.1 莫爾斯電報系統(tǒng)中，若采用點(diǎn)長為莫爾斯電報系統(tǒng)中，若采用點(diǎn)長為0.2s，劃長為，劃長為0.4s，且點(diǎn)和劃出現(xiàn)的概率分別為且點(diǎn)和劃出現(xiàn)的概率分別為2/3和和1/3，試求它的信息，試求它的信息速率速率(bits/s)。解: 平均每個符號長為 秒秒 每個符號的熵為 比特比特 所以，信息速率為 比特比特/秒秒1544 .

22、0312 .0329183. 03log3123log32444. 34159183. 02.3 擲一對無偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：擲一對無偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：(a) 7；(b) 12。 試問各得到了多少信息量試問各得到了多少信息量?366585.2)366(log236117.5361log2解: (a)一對骰子總點(diǎn)數(shù)為7的概率是所以，得到的信息量為 (b) 一對骰子總點(diǎn)數(shù)為12的概率是所以，得到的信息量為 比特比特2.4 經(jīng)過充分洗牌后的一付撲克經(jīng)過充分洗牌后的一付撲克(含含52張牌張牌)，試問：，試問： (a) 任何一種特定排列所給出的信息量是多少任何一種特定排

23、列所給出的信息量是多少? (b) 若從中抽取若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時得到張牌，所給出的點(diǎn)數(shù)都不相同時得到多少信息量多少信息量?!52158.225!521log21 31 31 31 35 25 21 3 !44AC21.134log1313522C 解: (a)任一特定排列的概率為所以，給出的信息量為 (b) 從中任取13張牌,所給出的點(diǎn)數(shù)都不相同的概率為 所以，得到的信息量為 比特.比特2.5 設(shè)有一個非均勻骰子，若其任一面出現(xiàn)的概率與該面設(shè)有一個非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時所給出的信息量，上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時所給出的信息

24、量，并求擲一次平均得到的信息量。并求擲一次平均得到的信息量。 解解:易證每次出現(xiàn)i點(diǎn)的概率為21i所以 比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log)(2612iiXHxIxIxIxIxIxIiiixIi2-6 園丁植樹一行，若有園丁植樹一行，若有3棵白楊、棵白楊、4棵白樺和棵白樺和5棵梧桐。設(shè)棵梧桐。設(shè)這這12棵樹可隨機(jī)地排列，且每一種排列都是等可能的?？脴淇呻S機(jī)地排列，且每一種排列都是等可能的。若告訴你沒有兩棵梧桐樹相鄰時，你得到了多少關(guān)于若告訴你沒

25、有兩棵梧桐樹相鄰時，你得到了多少關(guān)于樹的排列的信息樹的排列的信息? 解解: 可能有的排列總數(shù)為可能有的排列總數(shù)為 27720!5!4!3!12沒有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得.Y X Y X Y X Y X Y X Y X Y X Y3758圖中:X表示白楊或白樺，它有種排法，種排法.Y表示梧桐樹可以栽種的位置，它有5837所以共有*=1960種排法保證沒有兩棵梧桐樹相鄰。 因此，若告訴你沒有兩棵梧桐樹相鄰時，得到關(guān)于樹排因此，若告訴你沒有兩棵梧桐樹相鄰時，得到關(guān)于樹排列的信息為列的信息為 =3.822 比特比特1960log27720log222.9 隨機(jī)擲三顆骰子，以隨機(jī)擲三顆骰子，

26、以X表示第一顆骰子拋擲的結(jié)果，表示第一顆骰子拋擲的結(jié)果，以以Y表示第一和第二顆骰子拋擲的點(diǎn)數(shù)之和，以表示第一和第二顆骰子拋擲的點(diǎn)數(shù)之和，以Z表示表示三顆骰子的點(diǎn)數(shù)之和。試求三顆骰子的點(diǎn)數(shù)之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和和H(Z|X)。6log2 解解:令令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)=H(X)= H(X1) =2.585 比特比特=2.585 比特比特 H(Y)= H(X2+X3) 6log61)536log365436log364336log363236log36236log361( 2222222

27、= 3.2744 比特比特H(Z)= H(XH(Z)= H(X1 1+X+X2 2+X+X3 3) )27216log2162725216log2162521216log2162115216log2161510216log216106216log21663216log2163216log2161( 222222222= 3.5993 = 3.5993 比特比特所以所以H(Z/Y)= H(X3)= 2.585 比特比特H(Z/X) = H(X2+X3)= 3.2744 比特比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955 比特比特H(Z

28、/XY)=H(Z/Y)= 2.585 比特比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805 比特比特2-12 計算習(xí)題計算習(xí)題2.9中的中的I (Y；Z)，I (X；Z)，I (XY；Z)， I (Y；Z|X)和和I (X；Z|Y)。 解解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特比特I(Y;Z/X)=H

29、(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =02-10 設(shè)有一個系統(tǒng)傳送10個數(shù)字：0, 1, , 9。奇數(shù)在傳送時以0.5的概率錯成另外的奇數(shù)，而其它數(shù)字總能正確接收。試求收到一個數(shù)字平均得到的信息量。解:設(shè)系統(tǒng)輸出10個數(shù)字X等概,接收數(shù)字為Y,顯然顯然 101)(101)()()(9190i jpi jpiQjwii，H(Y)=log10 比特奇奇奇奇偶18log81101452log211015)(log)()()(log)()(0)(log)

30、,()(log),()/(22,2222 xypxypxpxxpxxpxpxypyxpxypyxpXYHxyxiyxyx所以所以 I(X;Y)= 3219. 2110log2比特比特2.11 令令ul, u2, , u8為一等概消息集，各消息相應(yīng)被為一等概消息集，各消息相應(yīng)被編成下述二元碼字編成下述二元碼字: cl=0000， c2=0011，c3=0101，c4=0110 c5=1001，c6=1010，c7=1100，c8=1111通過轉(zhuǎn)移概率為通過轉(zhuǎn)移概率為p的的BSC傳送。試求傳送。試求 (a) 接收的第一個數(shù)字接收的第一個數(shù)字0與與u l之間的互信息量。之間的互信息量。 (b) 接收

31、的前二個數(shù)字接收的前二個數(shù)字00與與u l之間的互信息量。之間的互信息量。 (c) 接收的前三個數(shù)字接收的前三個數(shù)字000與與u l之間的互信息量。之間的互信息量。 (d) 接收的前四個數(shù)字接收的前四個數(shù)字0000與與u l之間的互信息量。之間的互信息量。解:（a）接收前一個數(shù)字為0的概率2180)0()()0(iiiupuqwbitsppwupuI)1 (log11log)0()0(log)0 ;(2212121（b）同理 4180)00()()00(iiiupuqwbitsppwupuI)1 (log22)1 (log)00()00(log)00;(24122121（c）同理 8180)0

32、00()()000(iiiupuqwbitsppwupuI)1 (log33)1 (log)000()000(log)000;(28132121（d）同理 )1 (6)1()0000()()0000(42268180ppppupuqwiiibitsppppppppppwupuI42264242268142121)1 (6)1 ()1 (8log)1 (6)1()1 (log)0000()0000(log)0000;(2.13 令X、Y、Z是概率空間，試證明下述關(guān)系式成立。 (a) H(YZ|X)H(Y|X)H(Z|X)，給出等號成立的條件。 (b) H(YZ|X)=H(Y|X)H(Z|XY)。

33、 (c) H(Z|XY)H(Z|X)，給出等號成立的條件。證明: (b) )/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XYZHXYHxyzpxyzpxypxyzpxyzpxypxyzpxyzpxyzpXYZHxyzxyzxyzxyz(c)/()/(1log)/()()/(1log)/()()/(XZHxzpxyzpxypxyzpxyzpxypXYZHxyzxyz 等號成立的條件為等號成立的條件為 , 對所有對所有 ,即在給定即在給定X條件下條件下Y與與Z相互相互獨(dú)立。獨(dú)立。)/()/(xzpxyzpZzYyXx,(a) )/()/()/()/

34、()/(XYZHXYZHXYHXZHXYH等號成立的條件同（等號成立的條件同（c c）2.14 對于任意概率事件集X、Y、Z，證明下述三角不等式成立。 H(X|Y)H(Y|Z)H(X|Z) H(X|Y)/H(XY)H(Y|Z)/H(YZ)H(X|Z)/H(XZ)證明: (a) )/()/()/()/()/()/(ZXHZXYHZYHYZXHZYHYXH(b) baabaaaabaaababababaa221121221121210,0)()/()()/()/()()/()/()/()/()()/()()/(0)(,0)/()/()/()()/()/()/()/()/()()/()/()/()/

35、()()/()/()/()/()()/()/()/()()/()/()()/()/()()/()()/()()/(XZHZXHZHZXHZXHZHZYHYXHZYHYXHYZHZYHXYHYXHZHZXHZYHYXHZHZYHYXHZYHYXHYXHYZHZYHYXHYZHYXHYHZYHYXHYXHYZHYHZYHYZHYXHYHYXHYZHYHZYHYXHYHYXHYZHZYHXYHYXH2.18 若三個隨機(jī)變量有如下關(guān)系：xy=z，其中x和y獨(dú)立。試證明： H(X)H (Z) H(Y)H(Z) H(XY)H(Z) I(X；Z)=H(Z)H(Y) I(XY；Z)=H(Z) I(X；YZ)=H(X) I(Y；Z|X)=H(Y) I(X；Y|Z)=H(X|Z)=H(Y|Z)證明: (a)()(0)