信息論基礎(chǔ)教程第二章(李亦農(nóng)李梅著)北京郵電大學(xué)出版社課后答案【khdaw_lxywyl】

1、信息的度量2 同時擲2顆骰子，事件A、B、C分別表示：(A)僅有一個骰子是3;( B)至少有一 個骰子是4;(C)骰子上點數(shù)的總和為偶數(shù)。試計算事件A、B、C發(fā)生后所提供的信息量。解:擲2顆骰子，共有62 = 36種結(jié)果。記投擲結(jié)果為(兀，刃，其中兀和y是2顆骰子分 別擲出的點數(shù)，則事件A對應(yīng)于10種結(jié)果：(1,3), (2,3), (4,3), (5, 3), (6,3), (3,1), (3,2),(3,4),(3,5),(3,6);事件B、C分別對應(yīng)于11種結(jié)果和18種結(jié)果。因此它們的 概率分別為p(A)=l(y 36p( B) = 11/ 36 p ( C) = 1& 36A、

2、B、C所提供的信息量分別為7( A)= log? p(A)= 1 .848 0 bit /( B)= log? p( B) = 1 710 5 bit/( C)= log2 p( C) = 1 bit2 2 設(shè)有n個球，每個球都以同樣的概率1/ N落入N個格子(N2 “)的每一個格 子中。假定：(A )某指定的n個格子中個各落入一個球；(B)任何"個格了中各落入一第2章信息的度量19球。試計算事件A、B發(fā)生厲所提供的信息量。解：事件A.B發(fā)生的概率分別為nmatN飛 N - /?) !事件A.B發(fā)生提供的信息量分別為1Nn/( A ) = log2 (八=log2 -: = nlog

3、2 N - log2 n ! p( A)n !一1N" ( N '1( B) = log2 ( B)= log2 “ i =N + log2( N n) ! log2 N !2 3信源有4種輸出符號七，心0,1,2,3,且p(x,) = 1/ 4O設(shè)信源向信宿發(fā)出罰，但由丁傳輸中的干擾，接收者收到列后，認(rèn)為其可信度為()9。于是信源再次向信宿 發(fā)送該符號(出)，信宿無誤收到。問信源在兩次發(fā)送中發(fā)岀的信息量各是多少？信宿在 兩次接收中得到的信息量又各是多少？解：假設(shè)信宿第一次收到的符號為兒由于第二次發(fā)送無誤收到，因此發(fā)、收信息量相等, 均為/( X3 | y)= log2 p(

4、 Xi y)二 log2 0 .9 = 0 .15 bit第一次發(fā)出的信息量為/() = - log2 p () = - log2 0 25 = 2 bit第一次傳送的信息量為兩次發(fā)送信息量之差，即/( X3; y) = 1( X3) - /( X3 I y) = 1 .85 bit2 .4用遞推性計算爛函數(shù)H(/ 3,1/ 3,1/ 6, 1/ 6)的值。解:213 31丄2 2=1 .915比特/符號22+ 亠>< H71 1 13 31L 2 44 J1I 32 5信源有6種輸出狀態(tài)，概率分別為卩(4) = 0 5, p(B) =0 25, p( C) = 025, /?(&

5、#163;>)= p( E) = 0 05,卩(F) = 0 025 試計算H( X)。然后求消息ABABBA和FQDFDF的信息量(設(shè)信源先后發(fā)岀的符號相 互獨立)，并將之與長度為6的消息序列信息量的期望值相比較。解：由信息爛定義，該信源輸出的信息爛為=皿小也盤 +妙他盤+卩(尸)嗨由=0 51og2 2 + 0 251og2 4 + 0 .1251og2 8 + 2X0 O51og2 20 + 0 025 log2 40=1 94比特符號消息ABABBA所含的信息量為/i = 3/( A ) + 3/( B) = 3 log2 p( A ) logz p( B) = 3(log2 2

6、 + log： 4) = 9 bit消息FDDFDF所含的信息量為/2 =3 /( £>) +3 /( F) = 3 log2 p( D) Iog2 p( F) =3(log2 20 + log2 40) =28 .932 bit6位長消息序列的信息量期望值為/ = 6H( X) = 11 .64 bit三者比較為7)<7< /2o2 .6中國國家標(biāo)準(zhǔn)局所規(guī)定的二級漢字共6 763個。設(shè)每字使用的頻度相等，求一 個漢字所含的信息量。設(shè)每個漢字用一個16X 16的二元點陣顯示，試計算顯示方陣所 能表示的最大信息。顯示方陣的利用率是多少？解：宙于假定每個漢字的使用頻度相

7、同，它們有相同的出現(xiàn)概率，即"2 6 763因此每個漢字所含的信息量為/( X)= log? p( x)= log26 63 = 12 .7 bit每個顯示方陣能顯示2,6X，6 = 2256種不同的狀態(tài)，這尹6種狀態(tài)等概出現(xiàn)時信息爛最 大,這時每種狀態(tài)出現(xiàn)的概率為p( y) = 256因此一個顯示方陣所能顯示的最大信息量是/( y) = - log? p( y)= log27 = 256 bit顯示方陣的利用率或顯示效率為/(兀)12 .7 n nn= = TTZT = 0 .049 7/(y)256/V2 .7已知信源發(fā)出a和a2兩種消息，且p(a) = p () = 1/ 2

8、o此消息在二進制對稱信道上傳輸，信道傳輸特性為卩(為|求互信息量/( a;勿)和/( a fe ) o解：由卩(G ) = p( Q2)= " 2, p( hi a) = p( b2 Ci2)= - E, p( b az) = p( b2 a )=a ) = p( bi g) = 1 - £,p(b| cn ) = p( bi a) = eop( a b) = p( bi | ch ) p( 6?i ) = "(! - e)p( ai b2) = p( fe |)p( «i) =p( m b ) = p( h (12)/?( a?) = ep( a2 b

9、i) = p ( fe | a2)p(a2) = * (1 - e)2P(b)=工 p( atbi) = +i = I厶P( )=工 p( atbi) = +1= I厶所以/(«!；/?!)= lOg 2p( cii b )p( ai b)2 " " = lOg2 (、( i、= lOg2 = 1 + IOg2 ( 1 - £)bitp a ) p(b)丄 X丄2 2(ci )e. 2=log2 = 1 + log2 E bit2 22 .8 已知二維隨機變量XY的聯(lián)合概率分布川如為)為：/?(0,0) = “(1,1) = 1/ p(0J)=川1,0)

10、 =3/8,求 h(x| r)o解：1( Ch bl) = log2(Qi I b ),= 10g2P ( Cl )P( 6)p( a) p( bi)由P(刃)二工p( XM ),得/= I/"(0) = p(0,0) + p( 1,0)=七pr( i)= p(o, 1)+ p(i,i)= +又由卩3匕2衛(wèi)可得M yj)n z0|fn “(0.0)丄 卩小Pr(0) =4*L ll_ 1Pr(l) 一 4°）=心（o）=4,門."(0.1)3"(° 1)= pr(D =4所以H( x Y)= 工 p( xlj/)log2 p( Xiyj)“(i

11、ll)=-p(0,0)logi p(0| 0) - p(0,1 )logz p(0| 1) p(l ,0)log2 p( |0) p(l,l)log22 .9=0 Bll比特/符號X和丫是0, 1,2,3上的獨立、均勻分布的隨機變量，求：(1)(2)解:H(X + Y), H( X Y), H( X Y)H( X+ Y, X Y), H(X+ y, X Y)(1)由于x和Y相互獨立并L都是均勻分布，因此可求出x和r之間+， 算的規(guī)則如表2 .1所示。表2+01230123X012300123001 2 300000I13A、11012101232234522*10 1202*463345633

12、21030369其中每個元素對應(yīng)的概率都是1/16,由此可得+ , - 5 X運算結(jié)果的概率分布如表2 2所示。表2 2運算樣本空間概率分布+0,123,4,5.6J丄丄丄JL丄丄丄I1 I6T6T6T6T6 T6, 16 J 3, 2, 1.0.1.2.3122 4321 1 16 16 * 16 * 16* 16 16 * 16 jXO 1 23,469f 7 1 2 2 1 2 1 1 I 16 * 16 * 16 ' 16* 16 * 16 * 16 J再根據(jù)爛的定義可得H( X +“、2】 丄2.AAV)=6 og2 16 16 og216 16 og2 16 16 og2

13、1610g2»1、4、八 A4=log2 16 log2 1 - log2 2 - log2 3 log2 4= 4-iX0-4X 1 寸 X 1 585 0 + x 284=2 .655 6比特/符號Y) = 77( X + Y) = 2 655 6 比特/ 符號H(X2 216 °曰 1677丫)八怎喻花72厶=Iog2 16 盂 log2 7 花Iog2 1 常Iog2 2=4$ X 2 .807 4古X 0咅X 116 16 8=2 396 8比特/符號因為任何數(shù)和0相乘都等于0,因此乘運算損失了信息，導(dǎo)致H(X y) v H( X+ Y)o(2) X+ 丫和“Y的

14、運算如表2 3所示。表2 3+,012300.01,丨2、23, 311 J2,()3,14,222,23.14 J)5.133,34,25 J6,0其中每個元素各不相同，對應(yīng)的概率都是1/ 16,所以H(X+ Y, X Y )= 16X±log2±=：4 比特/ 符號16 16或者說，由于X和丫也可以從X+ 丫和*Y唯一地得至IJ,所以它們的不確定性 相同：H( X+ Y, X Y) = H(XY) = H( X)+ H( Y) = k)g2 4 + log? 4 =2 + 2 = 4 比悔 符號21信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)X+ Y和X 丫的運算如表2.4所示。表

15、2 4+ , X012300,01,02,03,011,02 J3.24,322,03.2/44、5.633,04,35.66,9H（X+ Y,X r）=-僉log亡 Iog2 = -log2 16 +log2 8 =予+*3 25 比特符號因為16個元素中有12個是成對出現(xiàn)的，因此X和丫不可以從X+ Y和X 丫唯一 地得到，因為方程組x+ y= a, xy=乃通常有兩個解，所以H（ X+ Y, X Y） < H（ XY）O2 .10棒球比賽中大衛(wèi)和麥克在前面的比賽中打平，最后3場與其他選手的比賽結(jié) 果將最終決定他們的勝、負(fù)或平。（1）假定最后3場他們與其他選手的比賽結(jié)果勝負(fù)的可能性均為

16、0 5,把麥克的最終 比賽結(jié)果勝、負(fù)、平作為隨機變量，計算它的爛；（2）假定大衛(wèi)最后3場比賽全部獲勝，讓算麥克的最終比賽結(jié)果的條件爛。解：（1）當(dāng)最后3場比賽麥克勝的次數(shù)比大衛(wèi)多時，麥克最終才能勝，因此P（勝）=P（麥克勝3場）P（大衛(wèi)勝少于3場）+P（麥克勝2場）P（大衛(wèi)勝少于2場）+P（麥克勝1場）P（大衛(wèi)勝0場）=ixi+ixf+txi22=64 同理戶（負(fù)2尋麥克最終比賽結(jié)果的爛為22 =2Q64 =64=6#信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)=6#信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)=log，64 - 2X 牙log2 22 豈logz 204464X 4 .459 4 2064X 4 3

17、21 9=6#信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)=6#信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)=6 3 .065 9 - 1 350 6=1 583 5比特/結(jié)果=6第2章信息的度量23因為勝、負(fù)、平這3種結(jié)果接近等概，所以該隨機變量的爛接近最大爛。(2) 假定大衛(wèi)最后3場比賽全部獲勝，那么麥克也必須全部獲勝最后3場比賽最終 才能得平，否則就是負(fù)。麥克3場比賽全部獲勝的可能性是2 3 = 1/ 8,因此在假定大衛(wèi) 最后3場比賽全部獲勝情況下麥克的最終比賽結(jié)果的條件爛是丹(十)=3ylogo 7 = 0 543 6比特/結(jié)果2X, Y, Z為3個隨機變量，證明以下不等式成立并指出等號成立的條件。(1) H

18、( XYZ) H(XZ)(2) /(xr；z)/( x；z)(3) H( XYZ) H( XY) H( XZ) H( X)(4) z( x； zl /( z； ylx) /( Z; Y) + /( X; Z)解：(1 ) H( xrlz)= H(x|z)+ H( Yxz) H( xz)當(dāng)H YXZ) =0,即丫是X和Z的函數(shù)時，原式等號成立。(2) /( XYZ) = /( X; Z) + /( Yzlx)M /( X; Z)當(dāng)/( r；zlx)= o,即在給定x的情況卜丫和z統(tǒng)計獨立時，原式等號成立。(3) H( XYZ) H( XY) = H(zxY) = H( zX) /( Z; yx)

19、W zlx)=H( XZ) H( X)當(dāng)z( z； r 1x) = 0,即在給定x的情況下y和z統(tǒng)計獨立時，原式等號成立。(4) 根據(jù)互信息的鏈規(guī)則：/( X; zl Y) + /( Z; Y) = 1( XY Z) = /( z； rlx)+ /( X; Z)因此/( x； zl r) = /( z； r 1%) /( z； r) + /( x； Z)即要證明的不等式其實是一個等式。22 找出一個概率分布 P , “2 ,，門,并且Pi >0,使得/(/；!, /?2P5)= 2o解：則只有一種可能:假定0為最大的概率。根據(jù)嫡函數(shù)的性質(zhì)，如果0 >*,則爛小于2;如果p. =y,

20、如果+ < pi v *,則有無數(shù)個解，其中之一為(0 375,0 25,0 25,0 978 59,0 .027 141 (編程計算得出)；如果 p W士則沒有解。1信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)23 有兩個二元隨機變量X和丫，它們的聯(lián)合概率分布如表2 .5所列，同時定義 另一隨機變量Z=X ”一般乘積）。試計算：(1 )爛 H(X), H( Y), H( Z), H( XZ), H( YZ)和 H X YZ);(2) 條件爛 H( X| Y), Y| X), H( X| Z), H( Z| X), ( Y| Z), H ( z K), H( xl yz), H( yxz)和 H(

21、zIxy)；(3) 互信息 /( x； Y), /( x； Z), /( r； Z), /( x； ylz), /( r； zlx)和 /( x； zl r)0解：(1) 由X, Y的聯(lián)合概率分布可求得X和丫的概率分布，如表2 .6所示。X01y01P(X)JL A2-.丄2p( r)丄2丄2可得H（ X） = H（ Y）= ylog2y log?y = 1 比樹符號由Z= X 丫可得17Pz（i）= p（x= 1, r = i）="（o）= 1 pz（i）= y因此Z的概率分布如表2 .7所示。表2 .7Z0 1P( Z)7_L第2章信息的度量19所以H(Z) =0 54比特/符號

22、XZ和YZ的聯(lián)合概率分布如表2 .8所示。XZ()01011P( XZ)1丄丄288(a)所以YZ00 10 1 1P( YZ)丄丄丄VV(b)H( XZ) = H( YZ)= - ylog， - *log2十-jlogzj = 1 .41 比槪 符號XYZ00001010010114、331P( XYZ)VXFZ的聯(lián)合概率分布如表2 .9所示。表2 .9所以才 10# flog2) = 1H(XYZ) = 2X1比槪符號(2) III X, 丫的聯(lián)合概率分布可求出H(XY) = 1 .81比特7符號，再根據(jù)各類爛之間的關(guān)系可得H( XY) = H( XY) H( K) =0 Bl 比拎符號同

23、樣可得H( y |x)= 0 .81比槪符號/( xlz)= /7( y lz)=0 .87 比特/ 符號H( zix) = H( zl Y) =0 41 比特/ 符號H( x YZ) = H( Y XZ) =0 .4 比槪符號H( Zl XY) = H( XYZ) H( XY) =0 比牛曲符號(3)/( X; Y)= H(X) 77( XI Y) = 1 0 .81 = 0 .19 比慟 符號同樣可得7( X; Z) = 1( y； Z) = 0 .13 比恂符號信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)/(X; Yl Z) = H( XI Z) H( XI rz) = 0 .87 0 .4 = 0

24、 .47 t匕槪符號同樣可得/( X; Zl Y) = /( y； ZI X) =0 41 比槪符號2 .14假定X| - X2 - X3ff X “形成一個馬爾可夫鏈，那么p( Xi X2心)= P( X| ) P( X2 I X ) p(?！?I x,( - I),請化簡 /( X|; X2 X”)。解：根據(jù)馬爾可夫鏈的特性，已知現(xiàn)在，則過去與將來無關(guān)，所以/( X1 ； X2 Xn)= H( Xi) H( Xi I X2 X”)=/( Xi) /( Xi I X2)="Xi； X2)2 .15 給定X, Y的聯(lián)合概率分布，如表2 .10所示。求：表20(1) H( X), H(

25、 Y)(2) H( XI X), H( Y X)(3) H(XY)(4) H( Y) H( Y X)(5) 1( X; Y)解：III X, 丫的聯(lián)合概率分布求出X, 丫的邊緣概率分布，如表2所示。第2章信息的度量25231(1) X) = ylog2"7 + yIog2 3 =0 .918= H( Y)(2) h( xi r) = y /( xi y = 0)/( xi r = 1)=o .667= h( y X)(3) H( XX) =3Xylog2 3= 1 585 比慟符號(4) H( Y) H( Y X) =0 251 比畑符號(5) /( X; Y) = H(Y) H(

26、Y X) =0 251 比特/ 符號26(1)假定X是一個離散隨機變量，g(X)是X的兩數(shù)，證明：Hg(X)WH(X)。(2) 假定X是一個定義在0, 1,2, 3,4上的等概分布的離散隨機變量，£( X)=cos , /( X) = / ,比較它們的爛的大小。證明：(1)H X, g( X)= H( X) + H g( X) I X = H( X)HX, g(X)= Hg( X)+ HXlg(X)MHg(X)所以H g( X)W X)。當(dāng)且僅當(dāng)g()是一個映射時，H XI g( X) =0,等號成(2) H( X) = log2 5比槪 符號，因為/()是一個映射，所以/( X)

27、= H( X)og()不是一個映射，所以Hg( X) < H( X)o &(火)有3種取值1,0,1,對應(yīng)的I 29概率分別為丁,g,，因此4= 1 521 9比樹符號27考慮兩個發(fā)射機和一個接收機之間的平均聯(lián)合互信息/( X. X2; Y),證明：(1) /( X. Xi； r)/( Xi； 丫)，也就是用兩臺發(fā)射機比用一臺發(fā)射機的效果好；(2) 如果Xi和X2相互獨立，那么1(X2； Y Xi) /( x2； r)；(3) 如果X1和X2相互獨立，那么/( Xi x2 ; 丫)$ /( Xi ; Y) + /( X2； Y),也就是同 時用兩臺發(fā)射機比分別用兩臺發(fā)射機的效果好

28、。證明：(1) /( X| x2； Y)= 1( X,; Y)+ /(X2； Y X1)/(X|； Y)(2) 如果Xi和X2相互獨立，那么/( X2； ri X1 ) = A7( X2I X1) /( X2I Y Xi)= 7/(X2) X2I Y Xi)N H( X2) /( X2 Y) =/( X2 ； Y)(3) 如果X|和Xi相互獨立，利用(2)的結(jié)果，可以得到：7( X. %2； Y) = /( Xi； K) + /( X2； KI X.) /( Xi ； V) + /( X2 ； Y)在一個布袋中有3枚硬幣，分別川H、T、F表示，H的兩面都是正面，T的兩面都是反面，而F是一個一正

29、一反的均勻硬幣。隨機選擇一枚硬幣并投擲兩次，用X表示 所選擇的皺幣，力，b表示兩次投擲的結(jié)果，Z表示兩次投擲中出現(xiàn)正面的次數(shù)。求：（1） “X； r.）（2）/（ X; Z）（3）/（ Yi）解：（1）先求 力的條件和非條件概率分布:P（ Ki =HI X = H） = 1P( Fi=HIX = F) = yP( K, =HI X = T) = 0P( Yi = H)=丄 x2+丄 x丄 + 丄 x°=3=_Lv丿 32323262因此H y.) = 1 比慟符號，H( Fl I X) = y Z/(y) = 3-比槪符號 Z(X; /!)= H( y,)H(比I X)二于比慟符號(

30、2)先求條件概率分布P(z|x)和聯(lián)合概率分布P( XZ),如表22所示。表 2 .12P( ZI X)012H0011I1FTT100P( XZ)0I2H00!Trr111r12612T1 T00(b)從表22可以得到Z的邊緣概率分布為“個此丄丄丄.12' 6 '12/7(ZIX)=yX0 + yX-|-+yX0 = -y=0 500 0 比特/ 符號H(Z)= H丄丄丄 12 6 T2.=H=0 .650 0+ 0 .813 3 = 1 483 3 比槪符號/( X; Z) = /( Z) - H( Zl X) = 1483 3 - 0 500 0 = 0 .983 3 比

31、特丫 符：號第2章信息的度量#第2章信息的度量27P( Y Yi X = H)/( r. ； y2)= /( y2)-h(r2 I Ki ) = 1 - /10 .650 0 = 0 350 0比牛割符號、n丄 、r 51 丄101+ 344丄>+30 012123.00-丄丄.0 1>丄L 44丿L 1212(3)先求斤，Y2的聯(lián)合概率分布:Y YiX= F)P( Y Yi X=T)P(P( Yi Y2)兇此可以求出:29猜寶游戲。3扇門中有一扇門后藏有一袋金子，并且3扇門后面藏有金子的可能性相同。如果仃人隨機打開一扇門并告訴你門后是否藏有金子，他給了你多少關(guān)于 金子位置的信息量

32、？解: 假定Xe 1,2,3表示藏金子的位置，丫丘1,2,3表示這個人開的門，顯然X和Y是相互獨立的。如果告知這個人開的門后有金子，那么關(guān)于X的不確定性降為0,否則， 其余兩扇門后有金了的可能性均為1/ 2,不確定性為1 bitoH( X、Y) = P( X= Y) H( XI Y, X二 Y) + P( Y) /7( XI Y, XH Y)= fxo + fx/2 ?=f X1 = -|-比特y符號因此2 亠 _ /( X; Y) = H( X) H( XI Y) = log2 3 - y = 1 585 0 0 .666 7 = 0 .918 3 比悔符號2 20 一個年輕人研究了當(dāng)?shù)氐奶?/p>

33、氣紀(jì)錄和氣象臺的預(yù)報紀(jì)錄后，得到實際天氣和預(yù)報天氣的聯(lián)合概率分布，如表23所示。他發(fā)現(xiàn)預(yù)報只有12/ 16的準(zhǔn)確率，而不管三七二|一都預(yù)報明天不下附的準(zhǔn)確率卻是13/ 16o他把這個想法跟氣彖臺臺長說了厲, 臺長卻說他錯了。請問這是為什么？第2章信息的度量#第2章信息的度量#解:假設(shè)X表示當(dāng)?shù)氐膶嶋H天氣情況，Y表示氣象臺預(yù)報的天氣情況，Z表示總是預(yù)報 不下雨的天氣情況。H( X) =0 .696比樹符號/( X; Y)=E x y)log2d( x y)P( x)p( ,y)第2章信息的度量#第2章信息的度量33丄1611 +16 % 1610IQ, 16 16,Og2 11丄1 .8 丄 1

34、61 .?IOg2T + 16,Og2xU+16,Og216 16 16 16=0 090 6比特/符號/( X； Y) n H( X),可見氣象臺預(yù)報的確實不好。但是如果總是預(yù)報不下雨的話則會更糟，因為X和Z是相互獨立的兩個隨機變量,即7( X; Z) = 0,所以/( X; Y) > /( X; Z),77( XI Z) > H( XI Y)因此氣彖臺的預(yù)報準(zhǔn)確率雖然比總是預(yù)報不下雨低，但還是傳遞了一些信息，消除了一些 不確定性。2 21設(shè)Xi, X,，X”為一個獨立的貝努利隨機變量序列，其分布為P( Xi = 0) = p,P(X, = 1) = 1 幾求：(1) 使S?二K

35、 + X2的嫡/(SJ取得最大值的p值；(2) 設(shè)p = y,求二項式隨機變量S” = Xi + X2 + X”的爛H( S“)。解:(1)隨機變量52的概率空間為.其中q=l - /兒根據(jù)爛的定義:9972H( 52) =P log2 p + 2 pqogi (2 pq) + <log2 q=-(2 p" log2 p + 2 pqog2 p + 2 plog2 q+ 2 q log? q + 2 pqog2 2)=-2/7( /71og2 p + qlog2 q) + 2q(小0也 p+ qlog? q) + 2 qlog2 2 =2/7( p) - 2 pqH( S2)對

36、o求導(dǎo)，得盤H( S2)=2歷屮(12p)方括號內(nèi)是一個單調(diào)遞減函數(shù)，可以看出當(dāng)p = y時上式為0,這時H( S?)取得最大值為 1 5比悔符號。(2) p = *時S”的概率分布為P( S = k) =2其爛為nH( S”)= 工 2"Clog2(2-"U)* = 0nn=刀 2- "J(,2) 2' Z，52 glOg2 CfnA =0M=0=n - rnY Clog2 c；"02 22投擲一枚均勻的硬幣直到岀現(xiàn)兩次正面或兩次反面。用Xi,K表示頭兩次 投擲的結(jié)果，丫表示最后一次投擲的結(jié)果，N表示投擲的次數(shù)。計算77( X，/7(尢), H

37、( Y), H(N), /( Xi； Y), /( X2 ； Y), /( Xi X2； Y), 1( X ； N), /( X2 ； N), /( Xi X2; N)。解：由于是獨立投擲均勻的硬幣，所以/7( Xi) = 77(X2)= H( Y) = 1 比慟符號如果頭兩次投擲的結(jié)果相同，則N = 2,否則，N=3,所以N的取值為2或者3。N = 2的概率為Pn(2)=牛(0)比(0) + px (l)px2(l) = yXy+yXy = Y+ = y-因此p/v(3) = y,H(N) = 比特了符號Yl = *如果X.是止面，那么丫必定是IE面，除非%2和Y同時為反面，所以0 811

38、3比特符號+-A7( KI Xi ) = 1 - /7/( %«；/)= H( Y)088 7比恂符號Z( X2; Y) = /( X. ; X) =088 7 比特/ 符號III Xi, X2, Y的聯(lián)合概率分布(如表2 .14所示)可以求H( ri Xi X2)oH( Y X, 2)=+= + -=y 比搐符號所以/( Xi X2 ； Y)= H(Y) H(Y Xi X2)= 1 占二占比慟符號投擲的次數(shù)N與單獨的Xi和X2無關(guān)，因此/( X. ; 7V) = /( X2； N) =0比特/符號。但是X和X?都確定以后，N就可以確定。當(dāng)且僅當(dāng)Xi = X?時，N= 2,因此Z(

39、Xi尢；N)=H(N) = 比特/符號。2 23 判斷題(1) H(X)>0;(2) 若 X 與 Y 獨立，則 H(X) = H( XI K);0)/(X； r)/(x； rlz)；(4) 女 U 果 77(X1 YZ) = 0,貝 lj 要么 H( XI 丫)=0,要么 H( X Z) =0;(5) 1( X; Y)WH( Y)(6) H( XI X) = 0;(7) 若 X 與 丫獨立，則 H( XI X) = 77( XI K);(8) H( XI Y)N H( XI YZ) o解：(1) F當(dāng)X只有一個可能的結(jié)果時,H(X)=0o(2) T 若X與Y相互獨立，則p(x)= p(x

40、y),因此對于任意y值均有H( XI Y=刃 =H( X),所以 H( X) = H( XI r)o(3) F 給出一個反例。假定X和Y為相互獨立的二元隨機變量，z= X y,則 7( X; r) =0, /( X; Y Z) = H( XI Z) H( XI YZ) = 1 0= 1，因此在本例中 Z( X; Y) < /( X; Y Z)o(4) F給出一個反例。如果用X表示棋子所在的位置，Y表示棋盤的橫格，Z表示 棋盤的縱格，棋子所在的位置由橫格和縱格共同決定，h( x rz)= o,但不能說棋子所在 的位置要么由橫格決定XI y)= 0,要么由縱格決定/7( XI Z) =0o(

41、5) T /( X; Y)= H( Y)片(丫丨 X)W 77( 丫)，因為 H( Y X)M0。(6) T 對于任意x值有H(XX= x) =0o(7) F 若 X 與 Y 獨立，則 H( Y X)= H( F), H( XI Y) = H( X)。(8) T 增加條件可以減少不確定性。H(X Y) - /7(XI YZ)= /(X;ZI Y)0o2 24 設(shè)隨機變量X的概率分布為寺，希，盤，書'書,春，書。隨機變量丫是X 的函數(shù)，其分布為將X的4個最小的概率分布合并為一個:盤，盒，盒，盒。(1) 顯然H( X)Wlog2 7,請解釋原因；(2) 請解釋為什么H( X) > l

42、og，5 ?(3) 計算 H( X), H( K);(4) 計算H(XI 丫)并解釋其結(jié)果。解：(1)根據(jù)爛的極值性，當(dāng)隨機變量等概分布時，隨機變量的爛最大。冇7個可能取值的隨機變量的最人爛為log2 7,隨機變量X不是等概分布，所以H( X)Wlog2 7o9 f 1 12 fl根據(jù)爛的遞增b5°(3) H( X)=-工 p(x)log2 p( x) = - 3 X 盒l(wèi)og2 盒 4X 需logz 盅Iz:=Iog2 10 Iog2 2 = 3 322 0 .6=2 722比特/符號2信息論基礎(chǔ)教程習(xí)題解答與實驗指導(dǎo)=log? 10 10log24E p( yHog? “( y)

43、 = - 3 x y£410 og2 10=3 322 - 0 .6 - 0 =1 .922比特/符號(4) 因為隨機變量丫是X的函數(shù)，所以h( yi x)= o比特y符號H( X Y)= H(XY) H( Y) = H( X) + H Y X) - H( Y) =0 .8 比特丫 符號2 25 已知 H( YI X) = 0,求證 n x, p( x) > 0,只存在一個 y 使得 p( xy) > 0。 證明：/反證法。設(shè)對某個x(),存在兩個Y的取值y I和yi使得p( xo yi ) > 0且p( xo yi) > 0, 則 p( xo) = p( x

44、0 y) + p( xo y2) + > p( x0 y) >0,同理 p( x0) > p( x0 y2) > 0。因此條件概率p( y> I xo)和p(y2| xo)都有定義且不為0也不為1,所以H(Y X)= 1 工(兀y)log2 p( y I x) > p( Xo y )log? py I xo) >0XV2 26 猜寶游戲。3扇門中有一扇門后藏有一袋金子，并且3扇門后面藏有金子的 可能性相同。你選擇其中一扇門，主持人會打開后面沒藏有金子的另一扇門(如果你選擇 的門后藏有金了，則卞持人會在另兩扇門小任意打開一扇門)。主持人給了你多少關(guān)寸&q

45、uot;金 子位置的信息？解：假定xe 1,2,3表示藏金子的位置，re 1,2,3)表示你選擇的門，Z表示主持人打 開的門，顯然X和Y是相互獨立的，但是Z和X、Z和Y都不相互獨立，因為zHx并且 zH y。對于任意一個y值和一個zH y,有c “ i rP( X = $ Z 二 Z )P(X=ylZ= z)= r，p(z = l)P( X 二丫)P( Z 二門 X 二 y)=P(Z= z)丄X丄二 32 二丄二丄 =32換句話說，如果主持人打開一扇空門，那么你選擇的門后面藏有金子的可能性是1/ 3,因此你應(yīng)該打開另外一扇門。因為對于任意一個y值和一個z H y,有第2章信息的度量33P(X=

46、 yiz= z) = l/ 3,所以H(XI Z)=1/ 3=0 .918 3 比特/ 符號/( X; Z) = H( X) H( XI Z) = log> 3 /X 1/ 3= 1 585 0 0 9183 = () 666 7 比特7 符號2 27 在一個布袋中有廠個紅球，w個白球，b個黑球，從布袋中取k22個球，每次取出球后放回還是每次取出球后不放回的爛H( X, XXJ更大？解：(1)每次取球后放回這種情況下每次取球的條件概率分布都相同。紅球X=1br+ w + bH( X I X/.i -X,)=H( Xi) = log2( r+ w + b)-(2)每次取球后不放回每次取球后的無條件概率分布為紅球白球X/=1黑球-10g2 b因此無條件爛為H ( Xi) = log2 ( r + vv + Z?)-而條件爛為H( X, l X,-.1-Xi)< H( X,)因此不放回的爛更小。2 28 X,力，Yi為二元隨機變量，如果/( X; Ki ) = 0并且/( X;乙)=0,能不能推 出/( X; Yi Yi) =0,如果能請證明，如果不能請給出反例。解：