信息論與編碼_陳運主編_無水印完整版答案

1、2.1 試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍?解:四進制脈沖可以表示4個不同的消息,例如:0, 1, 2, 3八進制脈沖可以表示8個不同的消息,例如:0, 1, 2, 3, 4, 5, 6, 7 二進制脈沖可以表示2個不同的消息,例如:0, 1 假設每個消息的發(fā)出都是等概率的,則:四進制脈沖的平均信息量symbol bit n X H / 24log log (1= 八進制脈沖的平均信息量symbol bit n X H / 38log log (2= 二進制脈沖的平均信息量symbol bit n X H / 12log log (0= 所以:四進制、八進制脈沖所含信息量分別

2、是二進制脈沖信息量的2倍和3倍。2.2 居住某地區(qū)的女孩子有25%是大學生,在女大學生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息,問獲得多少信息量?解:設隨機變量X 代表女孩子學歷X x 1(是大學生x 2(不是大學生 P(X 0.25 0.75設隨機變量Y 代表女孩子身高Y y 1(身高>160cm y 2(身高<160cm P(Y 0.5 0.5已知:在女大學生中有75%是身高160厘米以上的 即:bit x y p 75.0/(11=求:身高160厘米以上的某女孩是大學生的信息量 即:

3、bit y p x y p x p y x p y x I 415.15.075.025.0log (/(log /(log /(11111111=×=2.3 一副充分洗亂了的牌(含52張牌,試問(1 任一特定排列所給出的信息量是多少?(2 若從中抽取13張牌,所給出的點數(shù)都不相同能得到多少信息量?解:(1 52張牌共有52!種排列方式,假設每種排列方式出現(xiàn)是等概率的則所給出的信息量是:!521(=i x p bit x p x I i i 581.225!52log (log (=(2 52張牌共有4種花色、13種點數(shù),抽取13張點數(shù)不同的牌的概率如下:bit C x p x I

4、C x p i i i 208.134log(log (4(135213135213=2.4 設離散無記憶信源,其發(fā)出的信息為(202120130213001203210110321010021032011223210,求 =8/14/1324/18/310(4321x x x x X P X (1 此消息的自信息量是多少?(2 此消息中平均每符號攜帶的信息量是多少?解:(1 此消息總共有14個0、13個1、12個2、6個3,因此此消息發(fā)出的概率是:62514814183××=p此消息的信息量是:bit p I 811.87log =(2 此消息中平均每符號攜帶的信息量是:

5、bit n I 951.145/811.87/=2.5 從大量統(tǒng)計資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%,如果你問一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,問這兩個回答中各含多少信息量,平均每個回答中含有多少信息量?如果問一位女士,則答案中含有的平均自信息量是多少?解: 男士:symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.093.0log 93.007.0log 07.0(log ( 105.093.0log (log (%93( 837.30

6、7.0log (log (%7(2=+=女士:symbol bit x p x p X H ii i / 045.0995.0log 995.0005.0log 005.0(log (2=+=2.6 設信源,求這個信源的熵,并解釋為什么H(X > log6不滿足信源熵的極值性。=17.016.017.018.019.02.0(654321x x x x x x X P X 解:585.26log (/ 657.2 17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( (log (26=>=+=

7、X H symbol bit x p x p X H ii i 不滿足極值性的原因是。107.1(6>=iix p2.7 證明:H(X 3/X 1X 2 H(X 3/X 1,并說明當X 1, X 2, X 3是馬氏鏈時等式成立。證明:log 1/(log (/(log 1/(/(/(/(log(/(log (/(log (/(log (/(log (/(/(2123132121233211231321123221313321123213133211231332112321332113133112321332113213=+=+=e x x p x x p ex x x p x x p x

8、 x p ex x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i氏鏈是馬等式等等的等等是時等式等等當_,/(/(/(/(/(/

9、(/(/(/(01/(/(/(/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i =2.8證明:H(X 1X 2 。 X n H(X 1 + H(X 2 + + H(X n 。證明:./( 0

10、;(/( 0;(./(./(/(.(21332131221212121312121X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H n n n +=(.(.(./( 0.;(32121121121n n n N N n N X H X H X H X H X X X H X X X X H X H X X X X I +2.9 設有一個信源,它產生0,1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號,均按P(0 = 0.4,P(1 = 0.6的概率發(fā)出符號。 (1 試問這個信源是否是平穩(wěn)的? (2

11、 試計算H(X 2, H(X 3/X 1X 2及H ;(3 試計算H(X 4并寫出X 4信源中可能有的所有符號。解: (1這個信源是平穩(wěn)無記憶信源。因為有這些詞語:“它在任意時間.而且不論以前發(fā)生過什么符號.” (2symbolbit X H X X X X H H symbol bit x p x p X H X X X H symbolbit X H X H N N N N ii i / 971.0(./(lim / 971.06.0log 6.04.0log 4.0(log (/(/ 942.16.0log 6.04.0log 4.0(2(2(12132132=+=+×=>

12、;(31111111011011100101110101001100001110110010101000011001000010000的所有符號:/ 884.36.0log 6.04.0log 4.0(4(4(44X symbol bit X H X H =+×=2.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X 的符號集為0, 1, 2。 (1 求平穩(wěn)后信源的概率分布; (2 求信源的熵H 。解: (1=+=+=+=+=+=+=+=3/1(3/1(3/1(1(/(/(/(/(/(/(321321321133322211131333332322222121111e p e p e

13、p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p=+=+=+=+=+=+=+=+=+=3/123/113/10(3/13/(/(/(3/13/(/(/(3/13/(/(/(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x

14、p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2(symbolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H iji j i j i / log log log 31log 31log 31log 31log 31log 31 /(log /(31

15、/(log /(31/(log /(31 /(log /(31/(log /(31/(log /(31 /(log /(31/(log /(31/(log /(31/(log /(33333232313123232222212113131212111133+=+=+=2.11黑白氣象傳真圖的消息只有黑色和白色兩種,即信源X =黑,白。設黑色出現(xiàn)的概率為P(黑 = 0.3,白色出現(xiàn)的概率為P(白 = 0.7。(1 假設圖上黑白消息出現(xiàn)前后沒有關聯(lián),求熵H(X;(2 假設消息前后有關聯(lián),其依賴關系為P(白/白= 0.9,P(黑/白 = 0.1,P(白/黑 = 0.2,P(黑/黑 = 0.8,求此一

16、階馬爾可夫信源的熵H 2(X;(3 分別求上述兩種信源的剩余度,比較H(X和H 2(X的大小,并說明其物理含義。解: (1symbol bit x p x p X H ii i / 881.07.0log 7.03.0log 3.0(log (=+=(2symbolbit e e p e e p e p H e p e p e p e p e p e p e p e p e p e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p iji j i j i / 553.0 9.0log 9.0321.0log 1.0322.0lo

17、g 2.0318.0log 8.031 /(log /(3/2(3/1(1(2(2.0(9.0(1.0(8.0(/(/(/(/(21211212221112122222121111=×+×+×+×=+=+=+=+=+= (3%7.442log 553.02log %9.112log 881.02log 001001=H H H H H H H(X > H 2(X表示的物理含義是:無記憶信源的不確定度大與有記憶信源的不確定度,有記憶信源的結構化信息較多,能夠進行較大程度的壓縮。2.12 同時擲出兩個正常的骰子,也就是各面呈現(xiàn)的概率都為1/6,求: (

18、1 “3和5同時出現(xiàn)”這事件的自信息; (2 “兩個1同時出現(xiàn)”這事件的自信息;(3 兩個點數(shù)的各種組合(無序對的熵和平均信息量; (4 兩個點數(shù)之和(即2, 3, , 12構成的子集的熵; (5 兩個點數(shù)中至少有一個是1的自信息量。解: (1bit x p x I x p i i i 170.4181log(log =×+×=(2bit x p x I x p i i i 170.5361log(log (3616161(=×=(3兩個點數(shù)的排列如下:11 12 13 14 15 16 · 6 ·21 22 23 2

19、425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66共有21種組合:其中11,22,33,44,55,66的概率是3616161=× 其他15個組合的概率是18161612=××symbol bit x p x p X H ii i / 337.4181log 18115361log 3616(log (=×+×=(4參考上面的兩個點數(shù)的排列,可以得出兩個點數(shù)求和的概率分布如下:symbolbit x p x p X H X P X ii i / 2

20、74.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 (log (36112181111211091936586173656915121418133612(=+×+×+×+×+×=(5bit x p x I x p i i i 710.13611log(log (3611116161(=××=2.13 某一無記憶信源的符號集為0, 1,已知P(0 = 1/4,P(1 = 3/4。 (1 求符號的平均熵;(2 有100個符號構成的序列,求某一特定序

21、列(例如有m 個“0”和(100 - m 個“1”的自信息量的表達式; (3 計算(2中序列的熵。解: (1symbol bit x p x p X H ii i / 811.043log 4341log 41(log (=+=(2bit m x p x I x p mi i m mmi 585.15.4143log(log (434341(100100100100100+=×=· 7 ·(3symbolbitXHXH/1.81811.0100(100(100=×=2.14 對某城市進行交通忙閑的調查,并把天氣分成晴雨兩種狀態(tài),氣溫分成冷暖兩個狀態(tài), 調

22、查結果得聯(lián)合出現(xiàn)的相對頻度如下:若把這些頻度看作概率測度,求:(1 忙閑的無條件熵;(2 天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件熵;(3 從天氣狀態(tài)和氣溫狀態(tài)獲得的關于忙閑的信息。解:(1根據(jù)忙閑的頻率,得到忙閑的概率分布如下:symbolbitxpxpXHxxXPXiii/964.010340log1034010363log10363(log(1034010363閑忙(221=+=(2設忙閑為隨機變量X,天氣狀態(tài)為隨機變量Y,氣溫狀態(tài)為隨機變量ZsymbolbitYZHXYZHYZXHsymbolbitzypzypYZHsymbolbitzyxpzyxpXYZHj kkjkji j kkjikj

23、i/859.0977.1836.2(/(/977.110328log1032810332log1033210323log1032310320log10320(log(/836.210312log103121035log103510315log103151038log103810316log1031610327log103271038log103810312log10312(log(=+=+=(3symbolbitYZXHXHYZXI/159.0859.0964.0/(;(=· 8 ·2.15 有兩個二元隨機變量X 和Y ,它們的聯(lián)合概率為 并定義另一隨機變量Z = XY (

24、一般乘積,試計算: (1 H(X, H(Y, H(Z, H(XZ, H(YZ和H(XYZ;(2 H(X/Y, H(Y/X, H(X/Z, H(Z/X, H(Y/Z, H(Z/Y, H(X/YZ, H(Y/XZ和H(Z/XY; (3 I(X;Y, I(X;Z, I(Y;Z, I(X;Y/Z, I(Y;Z/X和I(X;Z/Y。解: (1symbolbit y p y p Y H y x p y x p y p y x p y x p y p symbolbit x p x p X H y x p y x p x p y x p y x p x p jj j ii i / 1(log (218183

25、(218381(/ 1(log (218183(218381(22212121112212221111=+=+=+=+=+=+=+=+=Z = XY 的概率分布如下:symbolbit z p Z H z z Z P Z k k / 544.081log 8187log 87(818710(221=+=symbolbit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.181log 8183log

26、 8321log 21(log (81(835.087(5.0(0(2222221211112121111112121111=+=+=+=+=· 9 ·symbolbit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.181log 8183log 8321log 21(log (81(835.087(5.0(0(2222221211112121111112121111=+=+

27、=+=+=symbolbit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p ijkk j i k j i / 811.181log 8183log 8383log 8381log 81(log (81(0(83(838121(8/1(

28、0(0(0(22222222222122122121121221211211111121111111211111111211111212221211=+=+=+=+=+=(2symbolbit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbolbit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbolbit X H XZ H X Z H symbolbit Z H XZ H Z X H symbol bit X H XY H X Y H

29、symbol bit Y H XY H Y X H symbolbit y x p y x p XY H i jj i j i / 0811.1811.1(/(/ 405.0406.1811.1(/(/ 405.0406.1811.1(/(/ 406.01406.1(/(/ 862.0544.0406.1(/(/ 406.01406.1(/(/ 862.0544.0406.1(/(/ 811.01811.1(/(/ 811.01811.1(/(/ 811.181log 8183log 8383log 8381log 81(log (2=+= (3 · 10 ·symbolb

30、it YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbolbit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0/(/(/;(/ 457.0405.0862.0/(/(/;(/ 457.0405.0862.0/(/(/;(/ 138.0862.01/(;(/ 138.0862.01/(;(/ 189.0811.01/(;(=2.16 有兩個

31、隨機變量X 和Y ,其和為Z = X + Y (一般加法,若X 和Y 相互獨立,求證:H(X H(Z, H(Y H(Z。證明:(/(log ( /(log /(/(log (/( 0( (/(2Y H Z H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Yx z Yx z y p x z p x z p YX Z i j j j i i k i k i k i i k i k k i i k i k j i k i k =+=Q Q 同理可得。 (X H Z H 2.17 給定聲音樣值X的概率密度為拉普拉斯分布+<

32、;<=x e x p x,21(,求H c (X,并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解:(e X H e e X H dx e x e xde xdx e dx e dx e x e de x dxx e dx x e dx x x p x E m x E xdx e xdx e m ydye ydy e y d y e xdx e xdx e xdx e xdx e xdx x p X E m symbolbit ee X H e e e e d e e e e d e dxe e dxe e dx e e dxe x p dx x p dxe x p dx x p x p X

33、H c c x x x x x x x x x x x xy y y x x xx c x x x xx xx x x x x x x x x c 2log (2log 2log 21(222 2 21(021212121(2121212121(/ 2log log 2log (log log log log log log 其中:log 2log log 212log log (2log 21log (log (2正態(tài)2000002020202022|222200000(000|22200020|=>=+=+=+=+Q2.18 連續(xù)隨機變量X 和Y 的聯(lián)合概率密度為:+=其他1,(22

34、22r y x r y x p ,求H(X, H(Y,H(XYZ和I(X;Y。(提示:=20222log 2sin log xdx 解:+=+=+=202020220220202222022022222222222222222222222222222sin log 22cos 1422cos 1log 4sin log sin 4log sin 4sin log sin 4sin log sin 4cos (sin log sin 4cos log 4log 2log (/ log 21log log 211log 2loglog (2loglog (2log ( 2log ( (log (

35、21(22222222d d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r x r dxx r x p symbolbit e r e r r dx x r x p r dxx r x p dx rx p dx rx r x p dxx p x p X H r x r rx r dy r dy xy p x p r rr rrr r r r r r rr rr c x r x r x r x r 令其中:ee e d e d e d e d e d ed d d er d r d d r r d d d r d r 2202220

36、22022022022202202020202202022020202020log 212sin log 21log 212cos log 1log 122cos 1log 2cos log 2sin log cos cos sin 21sin log 2sin sin log 2sin 12sin sin log 1sin log 2cos 2log 211log sin log 2cos 21log sin log 2cos 22log 2(22sin log 1log sin log 2cos 2sin log 22cos log 2log 2=+=+=+=+=其中:bit/symbol

37、e r e r XY H Y H X H Y X I bit/symbol r dxdy xy p r dxdy rxy p dxdyxy p xy p XY H bit/symbole r X H Y H x p y p r y r r y r dx r dx xy p y p c c c c RRRc C C y r y r y r y r log log log log log 2 (;( log (log 1log( (log ( log 21log ( 21(22222222222222222222222=+=2.19 每幀電視圖像可以認為是由3¯105個像素組成的,所有像

38、素均是獨立變化,且每像素又取128個不同的亮度電平,并設亮度電平是等概出現(xiàn),問每幀圖像含有多少信息量?若有一個廣播員,在約10000個漢字中選出1000個漢字來口述此電視圖像,試問廣播員描述此圖像所廣播的信息量是多少(假設漢字字匯是等概率分布,并彼此無依賴?若要恰當?shù)拿枋龃藞D像,廣播員在口述中至少需要多少漢字?解: 1symbol bit X NH X H symbolbit n X H N/ 101.27103(/ 7128log log (65×=××=2symbol bit X NH X H symbol bit n X H N / 13288288.131

39、000(/ 288.1310000log log (=×=3158037288.13101.2(6=×=X H X H N N2.20 設是平穩(wěn)離散有記憶信源,試證明:N X X X X .21=./(./(/(.(12121312121+=N N N X X X X H X X X H X X H X H X X X H 。證明:./(./(/(./(log .(. /(log (log (./(log .(. /(log .(.(log .(./(./(log .(.(log .(.(1212131212111122112122111111122112122111221

40、121112121122121+=N N i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i N X X X X H X X X H X X H X H x x x p x x x p x x p x x p x p x p x x x p x x x p x x p x x x p x p x x x p x x x p x x p x p x x x p x x x p x x x p X X

41、 X H N N NN N N NN N N N N NN N N NN N2.21 設是N 維高斯分布的連續(xù)信源,且X N X X X X .21=1, X 2, , X N 的方差分別是,它們之間的相關系數(shù)22221,.,N,.,2,1,(0(j i N j i X X j i =。試證明:N 維高斯分布的連續(xù)信源熵=Nii N c c e X X X H X H 2212log 21.(證明:相關系數(shù)(j i N j i x x j i = ,.,2,1, 0,說明是相互獨等的。N X X X .21=+=+=+=Ni i N N c c c c i i c N c c c N c c

42、e e e e X H X H X H X H e X H X H X H X H X X X H X H 122222121221212log 21 2log 21.2log 212log 21 (.(2log 21(.(.(Q2.22 設有一連續(xù)隨機變量,其概率密度函數(shù)=其他00(2a x bx x p (1 試求信源X 的熵H c (X;(2 試求Y = X + A (A > 0的熵H c (Y; (3 試求Y = 2X 的熵H c (Y。解: 1symbolbit ea b X H ba a F bx x F ea bab xdxx b b dxx x f dx x f b dx

43、bx x f dx x f x f X H c X X RRRRRc / log 32log (13(,3(log92log log 2log log (log log (log (33333222=Q2=+=+RRRRRc A y A Y A yd A y A y b b dyA y y f dy y f b dy A y b y f dy y f y f Y H A y b y F y f A y bdx bx A y X P y A X P y Y P y F Aa y A aA y a x (log(2log log(log (log (log (3(00222232Q· 1

44、6 ·symbolbit ea b Y H ba A a F A y b y F symbol bit ea babc Y Y / log 32log (13(,(3(/ log 92log 33333=+=Q3symbolbit ea b Y H ba a F y b y F ba e a ba b e a ba b ydyy bb dyy y f dy y f bdyy by f dy y f y f Y H y by F y f y b dx bx yX P y X P y Y P y F ay a y a x c Y Y R R RR R c yY / 1log 32log

45、(132(,24(329log 92log 8log928log log 48log log (8log 8log (log (8(242(2(202003333333322223202+=+=Q Q· 17 ·· 17 · 3.1 設信源=4.06.0(21x x X P X 通過一干擾信道,接收符號為Y = y1, y2 ,信道轉移矩陣為43416165,求:(1 信源X 中事件x 1和事件x 2分別包含的自信息量;(2 收到消息y j (j=1,2后,獲得的關于x i (i=1,2的信息量; (3 信源X 和信宿Y 的信息熵;(4 信道疑義度H(X

46、/Y和噪聲熵H(Y/X; (5 接收到信息Y 后獲得的平均互信息量。解: 1bitx p x I bit x p x I 322.14.0log (log ( 737.06.0log (log (22222121=2bity p x y p y x I bity p x y p y x I bit y p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log (/(log ;( 263.16.04/1log (/(log ;( 263.14.06/1log (/

47、(log ;( 474.06.06/5log (/(log ;(4.0434.0616.0/(/(6.0414.0656.0/(/(222222221212122212221211121122212122121111=×+×=+=×+×=+=3symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log 4.0log 4.06.0log 6.0(log (/ 971.010log 4.0log 4.06.0log 6.0(log (22=+=+=4symbolbit Y H X Y

48、H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 (/(/(/(/(/ 715.0 10log 43log 434.041log 414.061log 616.065log 656.0( /(log /(/(2=+=+=+=+=××+×+×+×=Q· 18 ·5symbol bit Y X H X H Y X I / 256.0715.0971.0/(;(=3.2 設二元對稱信道的傳遞矩陣