信息論第章習(xí)題答案課件

1、信息論第章習(xí)題答案2.1 同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1) “3和5同時(shí)出現(xiàn)”這件事的自信息量；(2) “兩個(gè)1同時(shí)出現(xiàn)”這件事的自信息量；(3) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。bitxpxIxpiii 170. 4181log)(log)(22解：(1)信息論第章習(xí)題答案(2)bitxpxIxpiii 170. 5361log)(log)(3616161)(22225511()1663611()log()log1.710 36iiip xI xp xbit (3)信息論第章習(xí)題答案2.2 設(shè)在一只布袋中裝有100只對(duì)人手的感覺

2、完全相同的木球，每只球上涂有一種顏色。100只球的顏色有下列三種情況：（1）紅色球和白色球各50只；（2）紅色球99只，白色球1只；（3）紅、黃、藍(lán)、白色各25只；求從布袋中隨意取出一只球時(shí)，猜測(cè)其顏色所需要的信息量。(1)( )()50/1001/2( )()log21()(2)( )99/1000.99()1/1000.01( )log100/990.0145()()log1006.644()(3)( )( )( )()25/1001/4( )()()()log42()p Rp WI RI Wbitp Rp WI RbitI Wbitp Rp Yp Bp WI RI WI WI Wbit信

3、息論第章習(xí)題答案 2.3 在布袋中放入81個(gè)硬幣，它們的外形完全相同。已知有一個(gè)硬幣的重量與其他81個(gè)硬幣的重量不同，但不知這一個(gè)硬幣是比其他硬幣重還是輕。問確定隨意取出的一個(gè)硬幣恰好是重量不同的一個(gè)硬幣所需要的信息量是多少？若要進(jìn)一步確定它比其他硬幣是重一些還是輕一些所需要的信息量是多少？( )1/81( )log( )6.34()p AI AP Abit ( ) ( )1/81 1/2log(1/81 1/2)7.34()pp A p BIbit 信息論第章習(xí)題答案 習(xí)題2.4 居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)

4、一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問可獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y1/ x1) = 0.75求：身高160厘米以上的某女孩是大學(xué)生的信息量,即：1111111212() (/)(/)log (/)log()0.25 0.75log1.415 0.5p xp yxI xyp xyp ybit 信息論第章習(xí)題答案2.18 有

5、兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為 X Yx1=0 x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。信息論第章習(xí)題答案218381)()()(21111yxpyxpxpsymbolbitypy

6、pYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpjjjiii/ 1)(log)()(218183)()()(218381)()()(/ 1)(log)()(218183)()()(22221212111222122 X Yx1=0 x2=1y1=01/83/8y2=13/81/8解：(1) H(X), H(Y) 信息論第章習(xí)題答案Z = XY的概率分布如下：120171( )88zzZP Z X Yx1=0 x2=1y1=01/83/8y2=13/81/82227711( )()loglog0.544 /8888kkH Zp zbit symbol (1)

7、H(Z)信息論第章習(xí)題答案121 11 22 1222222()()0.5()0.5()03()81()8()()log()113311( logloglog)1.406 /228888ikikikp xp xp x zp x zp x zp x zH XZp x zp x zbit symbol X Yx1=0 x2=1y1=01/83/8y2=13/81/8(1) H(XZ), H(YZ)12017188zz信息論第章習(xí)題答案11 212221 222211 112 121 122 1()0, ()01()0, ()83()1/8, ()83(), ()08p x y zp x y zp

8、x y zp x y zp x y zp x y zp x y zp x y z X Yx1=0 x2=1y1=01/83/8y2=13/81/8（1）H(XYZ)；12017188zz22222()()log()11333311loglogloglog1.811 88888888ijkijkijkH XYZp x y zp x y zbit 信息論第章習(xí)題答案(/)()( )1.811 10.811 (/)()()1.811 10.811 (/)()( )1.4060.5440.862 (/)()()1.406 10.406 (/)()( )1.4060.5440.862 (/)()H X

9、YH XYH YbitH Y XH XYH XbitH X ZH XZH ZbitH Z XH XZH XbitH Y ZH YZH ZbitH Z YH YZ ( )1.406 10.406 (/)()()1.811 1.4060.405 (/)()()1.811 1.4060.405 (/)()()1.811 1.8110 H YbitH X YZH XYZH YZbitH Y XZH XYZH XZbitH Z XYH XYZH XYbit X Yx1=0 x2=1y1=01/83/8y2=13/81/8(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z)

10、, H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；22222()()log()11333311loglogloglog1.811 88888888ijijijH XYp x yp x ybit XYZ信息論第章習(xí)題答案(; )()(/)10.8110.189 (; )()(/)10.8620.138 ( ; )( )(/)10.8620.138 (;)(/)(/)0.8620.4050.457 ( ;)(/)(/)0.8620.4050.457 I X YH XH X YbitI X ZH XH X ZbitI Y ZH YH Y ZbitI X Y ZH X ZH X Y

11、ZbitI Y Z XH Y XH Y XZbi (;)(/)(/)0.8110.4050.406 tI X Z YH X YH X YZbit(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。XYZ信息論第章習(xí)題答案求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。求在給定x0條件下，各消息與y1之間的條件互信息量。求在給定x0y1條件下，消息u3與z1之間的條件互信息量。求消息u3與代碼組之間的互信息量。信息01234567三位二進(jìn)制代碼組000001010011100101110111x0y0z0 x

12、0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16習(xí)題2.26：已知信源U包含8個(gè)數(shù)字消息0,1,2,3,4,5,6,7。為了在二進(jìn)制信道上傳輸，用信源編碼器把這8個(gè)十進(jìn)制數(shù)編成三位二進(jìn)制代碼組，信源各消息（符號(hào)）的先驗(yàn)概率及相應(yīng)的代碼組如下：信息論第章習(xí)題答案() (/)ijip xp yx信息01234567代碼組000001010011100101110111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41

13、/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)( ;)log()ijijip xyI x yp x1()()ijnijip x yp x y000000() (/)1/4(/)1/3() (/)1/41/41/81/8iiip up xup uxp u p xu00000(/)1/3(;)loglog0.415()()1/4p uxI u xbitp u信息論第章習(xí)題答案() (/)ijip xp yx信息01234567代碼組000001010011100101110111x0y0z0 x0y0z1x0y1z0 x

14、0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)( ;)log()ijijip xyI x yp x1()()ijnijip x yp x y303300() (/)1/8(/)1/6( ) (/)3/4iiip up xup uxp u p xu30303(/)1/64(;)logloglog0.415()()1/83p uxI u xbitp u信息論第章習(xí)題答案信息01234567代碼組000001010011100101110

15、111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。3013013(/)1/2(;)logloglog42()()1/8p ux yI u x ybitp u301330101() (/)1/8(/)1/2( ) (/)1/81/8iiip up x yup ux yp u p x yu301 1301 13(/)1(;)logloglog83()()1/8p ux y zI u x y zbit

16、p u301 13301 101 1() (/)1/8(/)1( ) (/)1/8iiip up x y zup ux y zp u p x y zu信息論第章習(xí)題答案信息01234567代碼組000001010011100101110111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16P(ui|x0)1/31/31/61/60000P(ui|x0y1)001/21/20000P(ui|x0y1z1)0001000001100(/)( ;/)log(/)iiip ux yI u yxp ux求在給定x0條件下，各消息與y1之間的條件互信息量。求在給定x0y1條件下，消息u3與z1之間的條件互信息量。301 13101301(/)1(;/)loglog1(/)1/2p ux y zI u zx ybitp ux y信息論第章習(xí)題答