最新《信息論與編碼》傅祖蕓-趙建中-課后答案

1、精品文檔第二章課后習(xí)題【 2.1】設(shè)有 12 枚同值硬幣，其中有一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕。現(xiàn)用比較天平左右兩邊輕重的方法來(lái)測(cè)量。為了在天平上稱出哪一枚是假幣，試問(wèn)至少必須稱多少次？解：從信息論的角度看，1“12 枚硬幣中，某一枚為假幣”該事件發(fā)生的概率為P1 ；12“假幣的重量比真的輕，或重”該事件發(fā)生的概率為P1 ；2為確定哪一枚是假幣，即要消除上述兩事件的聯(lián)合不確定性，由于二者是獨(dú)立的，因此有I log12 log 2 log 24 比特而用天平稱時(shí)，有三種可能性：重、輕、相等，三者是等概率的，均為P1 ，因此天3平每一次消除的不確定性為I log

2、 3 比特因此，必須稱的次數(shù)為I 1 log 24I 12.9 次I 2 log 3因此，至少需稱3 次。【延伸】如何測(cè)量？分3 堆，每堆4 枚，經(jīng)過(guò)3 次測(cè)量能否測(cè)出哪一枚為假幣?！?2.2】同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或 “面朝上點(diǎn)數(shù)之和為 8”或 “兩骰子面朝上點(diǎn)數(shù)是3 和 4”時(shí)，試問(wèn)這三種情況分別獲得多少信息量？解：兩骰子總點(diǎn)數(shù)之和為2”有一種可能，即兩骰子的點(diǎn)數(shù)各為1，由于二者是獨(dú)立的，136精品文檔I log 365.17 比特“兩骰子總點(diǎn)數(shù)之和為8”共有如下可能：2 和6、 3 和5、 4 和 4、 5 和3、 6 和 2，概率為 P 1 15 ，因

3、此該事件的信息量為：6 63636I log2.85 比特5111“兩骰子面朝上點(diǎn)數(shù)是3 和4”的可能性有兩種：3 和4、 4 和3，概率為P1116 618因此該事件的信息量為：I log18 4.17 比特【 2.3】如果你在不知道今天是星期幾的情況下問(wèn)你的朋友“明天星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問(wèn)題，則答案中你能獲得多少信息量(假設(shè)已知星期一至星期日的順序)？解：如果不知今天星期幾時(shí)問(wèn)的話，答案可能有七種可能性，每一種都是等概率的，均為P 1 ，因此此時(shí)從答案中獲得的信息量為7I log 7 2.807 比特而當(dāng)已知今天星期幾時(shí)問(wèn)同樣的問(wèn)題，

4、其可能性只有一種，即發(fā)生的概率為1，此時(shí)獲得的信息量為0 比特?！?2.4】居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高 1.6 米以上的，而女孩中身高1.6 米以上的占總數(shù)一半。假如我們得知“身高 1.6 米以上的某女孩是大學(xué)生 ”的消息，問(wèn)獲得多少信息量？解：設(shè) A 表示女孩是大學(xué)生，P( A) 0.25 ；B 表示女孩身高1.6 米以上，P( B | A) 0.75 ， P( B) 0.5“身高 1.6 米以上的某女孩是大學(xué)生”的發(fā)生概率為5P( A | B)PP( (ABB)P( A) P(B | A)P( B)0. 25 0. 750.375I log 11.415

5、 比特0.375X a1 0 a2 1 a3 2 a4 31/ 41 / 4( 202120130213001203210110321010021032011223210 )，求( 1) 此消息的自信息是多少？( 2) 在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？解：信源是無(wú)記憶的，因此，發(fā)出的各消息之間是互相獨(dú)立的，此時(shí)發(fā)出的消息的自信息即為各消息的自信息之和。根據(jù)已知條件，發(fā)出各消息所包含的信息量分別為：8I (a0 0) log 1.415 比特3I (a11)log 42比特I (a22)log 42比特I (a33)log 83比特在發(fā)出的消息中，共有14 個(gè) “0”符號(hào)，13 個(gè) “

6、1”符號(hào)， 12 個(gè) “2”符號(hào)，6 個(gè) “3”符號(hào)，則得到消息的自信息為：I 14 1.415 13 2 12 2 6 387.81 比特45 個(gè)符號(hào)共攜帶87.81 比特的信息量，平均每個(gè)符號(hào)攜帶的信息量為I 87.811.95 比特/符號(hào)45注意：消息中平均每個(gè)符號(hào)攜帶的信息量有別于離散平均無(wú)記憶信源平均每個(gè)符號(hào)攜帶的0.5信息量，后者是信息熵，可計(jì)算得H ( X ) P( x) log P( x) 1.91比特 /符號(hào)1/ 82.5 】 設(shè) 離 散 無(wú) 記 憶 信 源【 2.6】如有6 行 8 列的棋型方格，若有二個(gè)質(zhì)點(diǎn)A 和B，分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分別為（XA,Y

7、A ）和（ XB,YB ），但 A 和 B 不能落入同一方格內(nèi)。（ 1） 若僅有質(zhì)點(diǎn)A，求 A 落入任一個(gè)格的平均自信息量是多少？（ 2） 若已知 A 已落入，求B 落入的平均自信息量。（ 3） 若A、 B 是可分辨的，求A、 B 同都落入的平均自信息量。解：（ 1）求質(zhì)點(diǎn)A 落入任一格的平均自信息量，即求信息熵，首先得出質(zhì)點(diǎn)A 落入任一格的概率空間為：a2a3a481114848X平均自信息量為H （ A） log 48 5.58 比特/符號(hào)（ 2）已知質(zhì)點(diǎn)A 已落入，求B 落入的平均自信息量，即求H （ B | A） 。1（ 已落入，B 落入的格可能有47 個(gè)，條件概率P（b j | ai

8、 ） 均為。平均自信息量為4748 47i 1 j 1（ 3）質(zhì)點(diǎn)A 和 B 同時(shí)落入的平均自信息量為H （ AB） H （ A） H （B | A） 11.13 比特/符號(hào)【 2.7】從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問(wèn)一位男同志：“你是否是紅綠色盲？”，他的回答可能是“是 ”，也可能是“否 ”，問(wèn)這兩個(gè)回答中各含有多少信息量？平均每個(gè)回答中含有多少信息量？如果你問(wèn)一位女同志，則答案中含有的平均自信息量是多少？解：a1P14848H ( B | A)P(ai )P(b j | ai ) log P(b j | ai ) log 47 5.55 比特

9、/符號(hào)精品文檔男同志紅綠色盲的概率空間為： X a1 a 2問(wèn)男同志回答“是 ”所獲昨的信息量為：I log log 17.23 10 3 比特/符號(hào)0.995女同志平均每個(gè)回答中含有的信息量為H (Y ) P( x) log P( x) 0.045 比特 /符號(hào)X a1 a2 a3 a 4 a5 a6P( x)么 H ( X ) log 6 ，不滿足信源熵的極值性。解：H ( X ) P( x) log P( x) 2.65 log 6 精品文檔3.836 比特/符號(hào)0.07問(wèn)男同志回答“否 ”所獲得的信息量為：I log 10.105 比特/符號(hào)0.93男同志平均每個(gè)回答中含有的信息量為H

10、 ( X ) P( x) log P( x) 0.366 比特/符號(hào)同樣，女同志紅綠色盲的概率空間為Y b1 b2P問(wèn)女同志回答“是 ”所獲昨的信息量為：I log 17.64 比特/符號(hào)0.005問(wèn)女同志回答“否 ”所獲昨的信息量為：精品文檔精品文檔原因是給定的信源空間不滿足概率空間的完備集這一特性，因此不滿足極值條件。P 0.07 0.930.005 0.9952.8】設(shè)信源0.2 0.19 0.18 0.17 0.16 0.17 ，求此信源的熵，并解釋為什【2.9 】 設(shè) 離散 無(wú) 記 憶 信 源 S 其 符 號(hào) 集 Aa1, a2 ,., aq， 知 其相應(yīng)的概率分別 為(P1 , P

11、2 ,., Pq )。 設(shè) 另 一 離 散 無(wú) 記 憶 信 源 S，其 符 號(hào)集 為 S 信源符號(hào)集的兩倍 ，A ai , i 1,2,.,2q，并且各符號(hào)的概率分布滿足Pi (1) Pi i 1,2,., qPi Pi i q 1, q 2,.,2q試寫出信源S 的信息熵與信源S 的信息熵的關(guān)系。解：H (S ) P( x) log P( x)(1) Pi log(1 )Pi Pi log Pi(1) Pi log(1 ) (1) Pi log Pi Pi logPi log Pi(1) log(1 ) log H (S )H (S ) H ( ,1)【 2.10】設(shè)有一概率空間，其概率分布

12、為 p1 , p 2 ,., p q ，并有 p1 p2 。若取 p1 p1 ，p 2 p2 ，其中 0 2 p1 p2 ，而其他概率值不變。試證明由此所得新的概率空間的熵是增加的，并用熵的物理意義加以解釋。解：設(shè)新的信源為X ，新信源的熵為：H ( X ) pi log pi ( p1 ) log( p1 ) ( p2 ) log( p2 ) pq log p q原信源的熵H ( X ) pi log pi p1 log p1 p2 log p 2 pq log p q因此有，H ( X ) H ( X ) ( p1 ) log( p1 ) ( p2 ) log( p 2) p1 log p

13、1 p2 log p 2p p22f ( x) logp 2 xp1 x令 f ( x) ( p1 x) log( p1 x) ( p2x) log( p2 x) ， x 0, 1 ，則即函數(shù) f ( x) 為減函數(shù)，因此有f (0) f ( ) ，即( p1 ) log( p1 ) ( p 2) log( p2 ) p1 log p1 p 2 log p2因此 H ( X ) H ( X ) 成立?！窘忉尅慨?dāng)信源符號(hào)的概率趨向等概率分布時(shí)，不確定性增加，即信息熵是增加的。I mII j 1qH ( p1 , p2 , , p L 1 , q1 , q 2 , , qm ) H ( p1 ,

14、p2 , , p L 1 , p L ) p L H (, , m )p L p L p L并說(shuō)明等式的物理意義。解：H ( p1 , p2 , , p L 1 , q1 , q2 , , qm )p1 logp1p 2 log p2p L 1 logpLp1 logp1p 2 log p2p L 1 logpLq1 logq1q2 log q2qm log qmp1 logp1p 2 log p2p L 1 logpLq1 logq1q2 log q2qm log qmp1 logp1p 2 log p2p L 1 logpLq1 log q1p Lp Lp Lp1 log p1 p 2 l

15、og p2 p L 1 log p L1 q1 log q1 q2 log q 2 q m log qm1p L log p L p L log p L1p L log p L (q1 q2 q3qm ) log p L1 p L log p Lqq1 p L log p Lp L (q1 q q q q qp L p L p L p L p L p LH ( p1 , p2 , , p L 1 , p L ) p L H m (, , mq )p L p L p L將原信源中某一信源符號(hào)進(jìn)行分割，而分割后的符號(hào)概率之和等于被分割的原符號(hào)的 概率，則新信源的信息熵增加，熵所增加的一項(xiàng)就是由于分

16、割而產(chǎn)生的不確定性量。2.12】（1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶?duì)比度，需要用5 105 個(gè)2.11】試證明：若pi 1，q j p L ，則q1 q 2q 2 log 2qm loglog 12 log 2 m log m )q1 q2像素和 10 個(gè)不同亮度電平，求傳遞此圖像所需的信息率(比特/秒)。并設(shè)每秒要傳送30幀圖像，所有像素是獨(dú)立變化的，且所有亮度電平等概率出現(xiàn)。( 2)設(shè)某彩電系統(tǒng)，除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外，還必須有30 個(gè)不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率約大2.5 倍。解：每個(gè)像素的電平取自10 個(gè)不同的電平，每一個(gè)

17、像素形成的概率空間為：XP1a1a2110a101這樣，平均每個(gè)像素?cái)y帶的信息量為：H ( X ) log10 3.32 比特/像素現(xiàn)在所有的像素點(diǎn)之間獨(dú)立變化的，因此，每幀圖像含有的信息量為：H ( X N ) NH ( X ) 5 105 log10 1.66 10 6 比特/幀按每秒傳輸30 幀計(jì)算，每秒需要傳輸?shù)谋忍財(cái)?shù)，即信息傳輸率為：30 H ( X N ) 4.98 10 7 比特 /秒除滿足黑白電視系統(tǒng)的要求外，還需30 個(gè)不同的色彩度，不妨設(shè)每個(gè)色彩度等概率出b11現(xiàn)，則其概率空間為：b2 b301130其熵為 log 30 比特/符號(hào)，由于電平與色彩是互相獨(dú)立的，因此有H (

18、 XY ) H ( X ) H (Y ) log 300這樣，彩色電視系統(tǒng)的信息率與黑白電視系統(tǒng)信息率的比值為H(log 300log102.510103030【 2.13】每幀電視圖像可以認(rèn)為是由3 105 個(gè)像素組成，所以像素均是獨(dú)立變化，且每一像素又取128 個(gè)不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問(wèn)每幀圖像含有多少信息量？若現(xiàn)有一廣播員在約10000 個(gè)漢字的字匯中選1000 個(gè)來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少(假設(shè)漢字是等概率分布，并且彼此無(wú)依賴)？若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？解：每個(gè)像素的電平亮度形成了一個(gè)概率空間，如下：XP1

19、a1a21a1281平均每個(gè)像素?cái)y帶的信息量為：H ( X ) log128 7 比特 /像素每幀圖像由3 105 個(gè)像素組成，且像素間是獨(dú)立的，因此每幀圖像含有的信息量為：H ( X N ) NH ( X ) 2.1 10 6 比特 /幀如果用漢字來(lái)描述此圖像，平均每個(gè)漢字?jǐn)y帶的信息量為H (Y ) log10000 13.29 比特/漢字，選擇1000 字來(lái)描述，攜帶的信息量為H (Y N ) NH (Y ) 1.329 10 4 比特如果要恰當(dāng)?shù)拿枋龃藞D像，即信息不丟失，在上述假設(shè)不變的前提下，需要的漢字個(gè)數(shù)為：H ( X N)H (Y )2.110613.291.58 105 字2.1

20、4】為了傳輸一個(gè)由字母A、 B、 C 和 D 組成的符號(hào)集，把每個(gè)字母編碼成兩個(gè)二元碼脈沖序列，以00 代表 A， 01 代表 B， 10 代表C， 11 代表 D。每個(gè)二元碼脈沖寬度為5ms。1) 不同字母等概率出現(xiàn)時(shí)，計(jì)算傳輸?shù)钠骄畔⑺俾剩?28 1281282)若每個(gè)字母出現(xiàn)的概率分別為p A1 ， p B 1 ， pC 1 ， p D 3 ，試計(jì)算傳輸?shù)?54410平均速率？解：假設(shè)不同字母等概率出現(xiàn)時(shí)，平均每個(gè)符號(hào)攜帶的信息量為H ( X ) log 4 2 比特每個(gè)二元碼寬度為5ms，每個(gè)字母需要2 個(gè)二元碼，則其傳輸時(shí)間為10ms，每秒傳送n 100 個(gè)，因此信息傳輸速率為：R

21、 nH ( X ) 100 2 200 比特/秒111544此時(shí)傳輸?shù)钠骄畔⑺俣葹閘og 101.985 比特/符號(hào)103R nH ( X ) 1.985 10 2 比特/秒解：根據(jù)信源的平穩(wěn)性，有2.15】證明離散平穩(wěn)信源有H ( X 3 | X 1 X 2 ) H ( X 2 | X 1 ) ，試說(shuō)明等式成立的條件。H ( X 3 | X 1 X 2 )P( x1 x2 x3 ) log P( x3 | x1 x2 )X 1 PX( x21 x 2 )P( x3 | x1 x2 ) log P( x3 | x1 x2 )P( x1 x2 ) P( x3 | x1 x2 ) log P(

22、x3 | x2 )X 1 X 2X 3H ( X 3 | X 2 )H ( X 3 | X 2 ) H ( X 2 | X 1 ) ，因此有H ( X 3 | X 1 X 2 ) H ( X 2 | X 1 ) 。等式成立的條件是P( x3 | x1 x2 ) P( x3 | x2 ) 。2.16】證明離散信源有H ( X 1 X 2 X N ) H ( X 1 ) H ( X 2 ) H ( X N ) ，并說(shuō)明等式成立證明：H ( X ) log 5 log 4 log 4H ( X 1 X 2 X N ) H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X 1 X

23、 2 X N 1 )而H ( X N | X 1 X 2 X N 1 )X 1 X 2 X NP( x1 x2x N1 )P( x N | x1 x2x N1 ) log P( x N | x1x2 x N 1 )X 1 X 2X N 1X NP( x1 x2x N1 )P( x N | x1 x2x N1 ) log P( x N )X 1 X 2X N 1X NH ( X N ) 即H ( X 2 | X 1 ) H ( X 2 )H ( X 3 | X 1 X 2 ) H ( X 3 ) 代入上述不等式，有H ( X 1 X 2 X N ) H ( X 1 ) H ( X 2 ) H (

24、 X N )等號(hào)成立的條件是：P( x N | x1 x2 x N 1 ) P( x N )P( x N 1 | x1 x 2 x N 2 ) P( x N 1 ) P( x 2 | x1 ) P( x2 )即離散平穩(wěn)信源輸出的N 長(zhǎng)的隨機(jī)序列之間彼此統(tǒng)計(jì)無(wú)依賴時(shí)，等式成立?！?2.17】設(shè)有一個(gè)信源，它產(chǎn)生0、 1 序列的消息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)，均按P(0) 0.4 ，P(1) 0.6 的概率發(fā)出符號(hào)。( 1) 試問(wèn)這個(gè)信源是否是平穩(wěn)的？( 3)試計(jì)算 H ( X 4 ) 并寫出 X 4 信源中可能有的所有符號(hào)。解：)|(log)(12121NNNxxxxPxxxP2)

25、 試計(jì)算)( 2XH 、)|(213 XXXH 及)(lim XHN該信源任一時(shí)刻發(fā)出0 和 1 的概率與時(shí)間無(wú)關(guān)，因此是平穩(wěn)的，即該信源是離散平穩(wěn)信源。其信息熵為H ( X ) P( x) log P( x) 0.971 比特/符號(hào)信源是平穩(wěn)無(wú)記憶信源，輸出的序列之間無(wú)依賴，所以H ( X 2 ) 2H ( X ) 1.942 比特/符號(hào)H ( X 3 | X 1 X 2 ) H ( X ) 0.971 比特 /符號(hào)1NNNH ( X 1 X 2 X N ) H ( X ) 0.971比特/符號(hào)NH ( X 4 ) 4H ( X ) 3.884 比特 /符號(hào)X 4 信源中可能的符號(hào)是所有4

26、位二進(jìn)制數(shù)的排序，即從00001111 共 16 種符號(hào)。2.18】設(shè)有一信源，它在開始時(shí)以P(a) 0.6 ， P(b) 0.3 ， P(c) 0.1的概率發(fā)出X 1 。如如果 X 1 為 c 時(shí)，則 X 2 為a、 b 的概率為1 ，為 c 的概率為0。而且后面發(fā)出X i 的概率只與2X i 1 有關(guān)，又當(dāng)i 3 時(shí)，P( X i | X i 1 ) P( X 2 | X 1 )轉(zhuǎn)移圖，并計(jì)算此信源的熵H。解：信源為一階馬爾克夫信源，其狀態(tài)轉(zhuǎn)換圖如下所示。1:a 31:a 31:b 31:c 3莫哥洛夫方程有根據(jù)上述狀態(tài)轉(zhuǎn)換圖，設(shè)狀態(tài)極限概率分別為P(a) 、 P(b) 和 P(c) ，根

27、據(jù)切普曼 柯爾lim H N ( X ) lim果 X 1 為 a 時(shí)，則 X 2 為a、 b、 c 的概率為；如果為b 時(shí)，則 X 2 為a、 b、 c1111113321 1Q(a) Q(b) Q 3 ) 1解得：Q(a) Q(b) 3 ， Q(c) 184得此一階馬爾克夫的信息熵為：H Q( Ei )H ( X | Ei ) 1.439 比特/符號(hào)【 2.19】一階馬爾克夫信源的狀態(tài)圖如右圖所示，信源 X 的符號(hào)集為0,1,2 并定義 p 1 p 。( 1) 求 信 源 平 穩(wěn) 后 的 概 率 分 布 P(0)P(2) ；( 2) 求此信源的熵H ；pp20p1p2pP(1) 和p22p

28、223) 近似認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布等于平穩(wěn)分布。求近似信源的熵H ( X )并與 H 進(jìn)行比較；( 4)對(duì)一階馬爾克夫信源p 取何值時(shí)，H 取最大值，又當(dāng)p 0 和 p 1 時(shí)結(jié)果如何？解：p pp P(2)2p根據(jù)切普曼 柯爾莫哥洛夫方程，可得pp2Q(a) 3 Q(a) 3 Q(b) 2 Q(c)Q(b) Q(a) Q(b) Q(c)Q(c) Q(a) Q(b)(3P(0) pP(0) 2 P(1) 2 P(2)P(1)P(0) pP(1)P(2)P(0)P(1) pP(2)P(0) P(1) P(2) 1解得： P(0) P(1) P(2)該一階馬爾克夫信源的信息熵為：H

29、 Q( Ei ) H ( X | Ei ) p log p p log p p 比特/符號(hào)213此時(shí)信源的信息熵為H （ X ） log 31.585 比特/符號(hào)由上述計(jì)算結(jié)果可知：H （ X ） H （ ） 。求一階馬爾克夫信源熵H 的最大值，H p log p p log p p ，有dH log 2（1 p）dpp可得，當(dāng)p 2 時(shí)， H 達(dá)到最大值，此時(shí)最大值為log 3 1.585 比特/符號(hào)。3當(dāng) p 0 時(shí)， H 0 比特/符號(hào)；p 1 時(shí)， H 1 比特/符號(hào)【 2.20】黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X 黑 ,白 ，設(shè)黑色出現(xiàn)的概率為P（黑 ） 0.3 ，白色

30、出現(xiàn)的概率為P（白 ） 0.7 。（ 1） 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H （ X ） ；（ 2） 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P（白|白 ） 0.9 ， P（黑 |白 ） 0.1 ， P（白| 黑 ） 0.2 ，P（黑| 黑 ） 0.8 ，求此一階馬爾克夫信源的熵H 2 。（ 3） 分別求上述兩種信源的冗余度，并比較H （ X ） 和 H 2 的大小，并說(shuō)明其物理意義。解：如果出現(xiàn)黑白消息前后沒有關(guān)聯(lián)，信息熵為：H ( X ) pi log pi 0.881 比特/符號(hào)設(shè)黑白兩個(gè)狀態(tài)的極限概率為QQ（白（黑 ） 和0.2QQ（黑白 ） ，根據(jù)切普曼 0.9Q（白 ） 柯爾莫哥洛

31、夫方程可得：Q（黑 ） 0.8Q（黑 ） 0.1Q（白 ）Q（黑 ） Q（白 ） 1解得：12Q（黑 ） 10.447 ， Q（白 ）log 2結(jié)果表明：當(dāng)信源的消息之間有依賴時(shí)，信源輸出消息的不確定性減弱。就本題而言，當(dāng)有依賴時(shí)前面已是白色消息，后面絕大多數(shù)可能是出現(xiàn)白色消息；前面是黑色消息，后面基本可猜測(cè)是黑色消息。這時(shí)信源的平均不確定性減弱，所以信源消息之間有依賴時(shí)信源熵小于信源消息之間無(wú)依賴時(shí)的信源熵，這表明信源熵正是反映信源的平均不確定的大小。而信源剩余度正是反映信源消息依賴關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間的依賴關(guān)系就越大。33此信源的信息熵為：H Q（ Ei ） H （ X |

32、 Ei ） 0.553比特/符號(hào)兩信源的冗余度分別為：1 1H （ X）0.119log 2第三章課后習(xí)題3.1 】 設(shè)信源X x1 x2通過(guò)一干擾信道，接收符號(hào)為Y y1 , y 2 ，信道傳遞概率如下圖所示，求1 ）信源 X 中事件 x1 和 x2 分別含有的自信息；x15/6y11/6息量；3/41/4y23）信源X 和信源 Y 的信息熵；2）收到消息y j （ j 1,2） 后，獲得的關(guān)于xi （i 1,2） 的信H ( X | Y ) 和噪聲熵H (Y | X ) ；5）接收到消息Y 后獲得的平均互信息。解：1）信源 Xx1 和 x2分別含有的自信息分別為：I ( x1 ) log1

33、 log 0.6 0.737P( x1 )1I ( x2 ) loglog 0.41.32 比特P( x2 )2）根據(jù)給定的信道以及輸入概率分布，可得P( y1 ) P( xi ) P( y1 | xi ) 0.8 XP( y 2 ) P( xi ) P( y 2 | xi ) 0.2 X所求的互信息量分別為：x 1 ; y1 ) logP( y 1| x1 )P( y1 )log5 / 6250.8 log 240.059比特P( x) 0.6 0.4I ( x2 ; y1 ) logI ( x1 ; y 2 ) logI ( x2 ; y 2 ) logP( y1| x2 ) logP(

34、y1 )P( y 2 |x1 ) logP( y 2 )P( y 2 |x2 ) logP( y 2 )3 / 4 log 150.8161 / 6log 0.21 / 4log 0.20.093 比特0.263 比特0.322 比特3)信源X 以及 Y 的熵為：H ( X ) P( x) log P( x) 0.6 log 0.60.4 log 0.4 0.971比特 /符號(hào)XH (Y ) P( y) log P( y) 0.8 log 0.80.2 log 0.2 0.722 比特/符號(hào)Y4)信道疑義度H ( X | Y ) P( x) P( y | x) log P( x | y)XY0

35、.550.88而相關(guān)條件概率P( x | y) 計(jì)算如下：P( x1 | y1 )P( x1 ,y1 ) P( y1 | x1 )P( x1 )P( y1 )P( y1 )P( x2 | y1 )P( x1 | y 2 )P( x1 ,y 2 )P( y2 )P( y 2 | x1 ) P( x1 )P( y 2 )0. 6 / 610.22P( x 2 |y 2 )精品文檔I ( X ;Y ) H ( X ) H ( X | Y ) 0.0075 比特/符號(hào)H ( X | Y )0.6 log log 0.4 log log 0.9635 比特/符號(hào)0.6 log log 0.4 log l

36、og精品文檔精品文檔相應(yīng)編成下述碼字：M1=0000， M2=0101 ， M3=0110， M4=0011M5=1001 ， M6=1010， M7=1100， M8=1111試問(wèn)：1）接收到第一個(gè)數(shù)字0 與 M1 之間的互信息；2）接收到第二個(gè)數(shù)字也是0 時(shí)，得到多少關(guān)于M1 的附加互信息；3）接收到第三個(gè)數(shù)字仍為0 時(shí)，又增加了多少關(guān)于M1 的互信息；4）接收到第四個(gè)數(shù)字還是0 時(shí)，再增加了多少關(guān)于M1 的互信息。解：各個(gè)符號(hào)的先驗(yàn)概率均為18（ 1）根據(jù)已知條件，有P( y1 0 | M 1 ) P( y1 0 | 0000) P( y10 | x1 0) p2）根據(jù)已知條件，有1P(

37、 y1 0) P(M i ) P(0 | M i ) M i20 與 M1 之間的互信息為：I (M 1; y1 0) log P( y1 0 | M 1 ) log p 1 log p 比特P( y1 0)1/ 2P( y1 y2 00 | M 1 ) P( y1 y 2 00 | 0000) p 2P( y1 y2 00) P(M i )P(00 | M i )M i12 p 2 4 pp 2 p 2因此接收到第二個(gè)數(shù)字也是0 時(shí)，得到多少關(guān)于M1 的互信息為：3.2】 設(shè) 8 個(gè)等概率分布的消息通過(guò)傳遞概率為p 的 BSC 進(jìn)行傳送，8 個(gè)消息14精品文檔精品文檔I (M 1 ; y1

38、y 2 00) log P( y1 y 2 00 |M 1 ) logp 22 2 log p 比特/符號(hào)P( y1 y 2 00)1/ 4得到的附加信息為：I (M 1 ; y1 y2 00) I (M 1 ; y1 0) 1 log p 比特/符號(hào)( 3)根據(jù)已知條件，有P( y1 y2 y3 000 | M 1 ) P( y1 y 2 y3 000 | 000) p 311p 3 3 pp 2 3 p 2 p p 388P( y1 y2 y3 000) P(M i )P(000 |M i )M i因此接收到第三個(gè)數(shù)字也是0 時(shí)，得到多少關(guān)于P( y1 y2 y3 000 |M 1 )I

39、(M 1; y1 y 2 y3 000) log P( y1 y2 y3 000)此時(shí)得到的附加信息為：I (M 1; y1 y2 y3 000) I (M 1 ; y1 y2 00) 1 log p 比特 /符號(hào)( 4)根據(jù)已知條件，有M1 的互信息為：log p 3 3log p 1/ 8P( y1 y 2 y3 y4 0000 | M 1 ) P( y1 y2 y3 y4 0000 | 0000) p 4P( y1 y2 y3 y4 0000) P(M i )P(0000 | M i )p 4 6 p 2 p 2 p 4M i8因此接收到第四個(gè)符號(hào)為0 時(shí)，得到的關(guān)于M1 的互信息為lo

40、gP( y1 y2 y3 y4 0000 | M 1 )I (M 1; y1 y2 y3 0000) logp 4 6 p 2 p 2 p4P( y1 y2 y3 y 4 0000)p 4183 4 log p log p 4 6 p 2 p 2 p 4此時(shí)得到的附加信息為I (M 1; y1 y 2 y3 y4 000) I (M 1 ; y1 y2 y3 000) log p log p 4 6 p 2 p 2 p 43.3】 設(shè)二元對(duì)稱信道的傳遞矩陣為3 31)若 P(0)=3/4， P(1)=1/4，求 H ( X ) ， H ( X | Y ) ， H (Y | X ) 和 I (

41、X ;Y ) ；2）求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。解：1）根據(jù)已知條件，有l(wèi)og logH ( X ) P( xi ) log P( xi )X33 1144 440.811比特/符號(hào)P( y 0) P( x) P( y 0 | x)712P( y 1) P( x) P( y 1 | x)512P( x 0 |y 0)P( x 0) P( y 0 | x 0)P( y 0)4 3 67 /12 7P( x 1 |y 0)3 1PP( xx 0 1| y| y 1) 1)P( x 0)P( y 1 | x 0)4 33P( y 1)5 /12525loglog log lo

42、gH (Y | X )P( x) P( y | x) log P( y | x)0.918比特/ 符號(hào)精品文檔精品文檔H ( X | Y ) P( x) P( y | x) log P( x | y)XY3 2613 1 11 224 37 35 4 37 350.749比特/ 符號(hào)I ( X ;Y ) H ( X ) H ( X | Y ) 0.062 比特/符號(hào)( 2)此信道是對(duì)稱信道，因此其信道容量為：2 13 3根據(jù)對(duì)稱信道的性質(zhì)可知，當(dāng)P(0) P(1)1 時(shí)，信道的傳輸率I ( X ;Y ) 達(dá)到2信道容量?！?3.4】設(shè)有一批電阻，按阻值分70%是2k ， 30%是5k ；按功耗

43、分64%是1/8W，其余是 1/4W?，F(xiàn)已知2k阻值的電阻中80%是 1/8W。問(wèn)通過(guò)測(cè)量阻值可以平均得到的關(guān)于瓦數(shù)的信息量是多少？解：根據(jù)已知條件，設(shè)電阻的阻值為事件X，電阻的功耗為事件Y，則兩事件的概率空間為：X x1 2k x2 5k Y y1 1/ 8Wy2 1/ 4W0.70.30.640.36給定條件為P( y1 | x1 ) 0.8 ， P( y2 | x1 ) 0.2 ，而0.64 P( y1 ) P( x1 )P( y1 | x1 ) P( x2 )P( y1 | x2 ) 0.7 * 0.8 0.3 * P( y1 | x2 )0.3 * P( y2 | x2 )0.36

44、P( y2 ) P( x1 ) P( y 2 | x1 ) P( x2 ) P( y 2 | x2 ) 0.7 * 0.2解得：15精品文檔P( y1 | x2 )415P( y2 | x2 )111544 1115 log 15 1511 log精品文檔I ( X ;Y ) H (Y ) H (Y | X ) 0.186 比特 /符號(hào)精品文檔log log log logC 1 H ( p) 1 H ( , ) 0.082 比特/符號(hào)，PH (Y | X )0.7 * 0.8 log 0.8 0.2 log 0.2 0.3 *0.7567精品文檔P( x | yz)P( x)P( x | y

45、z) P( x | y)X ,Y ,ZP( x | y) P( x)【3.5】若X 、 Y 和Z 是三個(gè)隨機(jī)變量，試證明：(1I(X;YZ ) I (X ;Y )I(X; Z | Y )I (X; Z ) I (X ;Y | Z )(2I(X;Y | Z ) I(Y ; X| Z)H ( X | Z)H( X | YZ )( 3 I ( X ;Y | Z ) 0 當(dāng)且僅當(dāng)( X , Z , Y ) 是馬氏鏈時(shí)等式成立。證明：P( x, y, z) logI ( X ;YZ )P( x, y, z) logXY, ,Z3精品文檔P( x, y, z) log X ,Y ,ZP( x | y)P(

46、 x)P( x | yz)P( x | z)P( xyz)P( z)P( xz)P( yz)P( y | xz)P( y | z)P( x, y, z) log P( x | yz)P( x | yz)P( x, y, z) logXY, ,ZP( x | y)I ( X ; Z | Y ) I ( X ;Y )I ( X ;YZ ) I ( X ; Z ) I ( X ;Y | Z )I ( X ;Y | Z )P( x, y, z) logP( x, y, z) logX ,Y ,ZP( x, y, z) logX ,Y,ZI ( X ;Y | Z ) P( x, y, zI )(Ylo

47、;gX P| (Zx) | z)P( x, y, z) log P( x | z)P( x | yz)X ,Y ,ZX ,Y ,ZX ,Y ,ZH ( X | Z ) H ( X | YZ )精品文檔I ( X ;Y | Z )P( x, y, z) log X ,Y ,Zlog P( x, y, z)X ,Y ,ZP( x | z)P( x | yz)P( x | z)P( x | yz)P( xz)P( yz) logX ,Y ,ZP( z)等號(hào)成立當(dāng)且僅當(dāng)P( x | z) 1 P( xz) P( yz) P( y | z) P( x | yz)P( xyz) P( z) P( y |

48、xz)精品文檔P( y | z) P( y | xz) ，即 ( X , Z ,Y ) 是馬氏鏈。3.6】若有三個(gè)離散隨機(jī)變量，有如下關(guān)系：X Y Z ，其中 X 和 Y 相互統(tǒng)計(jì) 獨(dú)立，試證明：1) H ( X ) H (Z ) ，當(dāng)且僅當(dāng)Y 是常量時(shí)等式成立；2) H (Y ) H (Z ) ，當(dāng)且僅當(dāng)X 為常量時(shí)等式成立；3) H (Z ) H ( XY ) H ( X ) H (Y ) ，當(dāng)且僅當(dāng)X ， Y 中任意一個(gè)為常量時(shí)等式成立；4) I ( X ; Z ) H (Z ) H (Y ) ；5) I ( XY ; Z ) H (Z ) ；6) I ( X ;YZ ) H ( X )

49、 ；7) I (Y ; Z | X ) H (Y ) ；8) I ( X ;Y | Z ) H ( X | Z ) H (Y | Z ) 。證明：X Y Z時(shí)有 P( z | xy)即 H (Z | XY ) 0 ， 而H (Z | XY ) H (Z ) I ( XY ; Z ) ，因此 I ( XY ; Z ) H (Z )H (Z | X ) P( x, z) log P( z | x)P( x, z)P( x)P( x, y)P( x, y) log P( x)H (Y )而 I ( X ; Z ) H (Z ) H (Z | X ) ，因此 I ( X ; Z ) H (Z ) H (Y ) 。根據(jù)互信息的性質(zhì)，有I ( X ; Z ) 0 ，因此 H (Z ) H (Y ) 成立，