信息論與編碼陳運(yùn)主編答案完整版

1、信息論與編碼課后習(xí)題答案詳解2.1 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？ 解： 四進(jìn)制脈沖可以表示 4 個不同的消息，例如：0, 1, 2, 3 八進(jìn)制脈沖可以表示 8 個不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二進(jìn)制脈沖可以表示 2 個不同的消息，例如：0, 1 假設(shè)每個消息的發(fā)出都是等概率的，則： 四進(jìn)制脈沖的平均信息量H X( 1) = logn = log4 = 2 bit symbol/ 八進(jìn)制脈沖的平均信息量H X( 2) = logn = log8 = 3 bit symbol/ 二進(jìn)制脈沖的平均信息量H X( 0) = logn = l

2、og2 =1 bit symbol/ 所以： 四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的 2 倍和 3 倍。 2.2 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？ 解： 設(shè)隨機(jī)變量 X 代表女孩子學(xué)歷 X x1（是大學(xué)生） x2（不是大學(xué)生） P(X) 0.25 0.75 設(shè)隨機(jī)變量 Y 代表女孩子身高 Y y1（身高160cm） y2（身高 log6不滿足信源熵的極值性。 解： H Xp xp xi =(0.2log0.2 +

3、0.19log0.19 + + 0.17log0.17 + 0.16log0.16 + 0.17log0.17) = 2.657 bit symbol/H X() log 62 = 2.585不滿足極值性的原因是。 i2.7 證明：H(X3/X1X2) H(X3/X1)，并說明當(dāng)X1, X2, X3是馬氏鏈時等式成立。證明： H X(3 / X X12 ) H X(3 / X1)= p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + p x x( i1 i3 )log p x( i3 / xi1)i1i2i3i1i3= p x x x( i1 i2i3 )

4、log p x( i3 / x xi1 i2 ) + p x x x( i1 i2i3 )log p x( i3 / xi1)i1i2i3i1i2i3 p x( i3 / xi1)= i1i2i3 p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 )p x( i3 / xi1)1log2 e i1i2i3 p x x x( i1 i2i3 ) p x( i3 / x xi1 i2 ) = p x x( i1 i2 ) (p xi3 / xi1) p x x x( i1 i2i3 )log2 e i1i2i3i1i2i3= p x x( i1 i2 ) p x(

5、i3 / xi1) 1log2 e i1i2 i3= 0H X( 3 / X X1 2) H X( 3 / X1)p x( i3 / xi1)10時等式等等當(dāng) = p x( i3 / x xi1 2i ) p x( i3 / xi1) = p x( i3 / x xi1 2i ) p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3ii ) p x( i2 / xi1) (p xi3 / xi1) = p x

6、 x( i2 3i / xi1)等式等等的等等是X1, X2, X3是馬氏鏈_2.8證明：H(X1X2 。 Xn) H(X1) + H(X2) + + H(Xn)。證明： H X X(12.X n ) = H X(1)+ H X(2 / X1)+ H X(3 / X X12 )+.+ H X(n / X X12.X n1 )I X(2 ;X1 ) 0 H X(2 ) H X(2 / X1 ) I X(3;X X12 ) 0 H X(3 ) H X(3 / X X12 ).I X( N;X X1 2.Xn1) 0 H X( N ) H X( N / X X1 2.Xn1)H X X( 1 2.X

7、n) H X( 1)+H X( 2)+H X( 3)+ +. H X( n)2.9 設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0) = 0.4，P(1) = 0.6的概率發(fā)出符號。 (1) 試問這個信源是否是平穩(wěn)的？ (2) 試計算H(X2), H(X3/X1X2)及H； (3) 試計算H(X4)并寫出X4信源中可能有的所有符號。 解： (1) 這個信源是平穩(wěn)無記憶信源。因為有這些詞語：“它在任意時間而且不論以前發(fā)生過什么符號” (2) H X(2 ) = 2H X() = 2+ 0.6log0.6) =1.942 bit symbol/H X(3

8、/ X X12 ) = H X(3 ) = p x( i )log p x( i ) = + 0.6log0.6) = 0.971 bit symbol/ iH = lim H X(N / X X12.X N1 ) = H X(N ) = 0.971 bit symbol/N(3) H X(4 ) = 4H X() = 4+ 0.6log0.6) = 3.884 bit symbol/X 4的所有符號： 00000001001000110100010101100111100010011010101111001101111011112.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號集為0

9、, 1, 2。 (1) 求平穩(wěn)后信源的概率分布； (2) 求信源的熵H。 解： (1) p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 )p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 )p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 )p e( 1 ) = p p e( 1 ) + p p e( 2 )p e( 2 ) = p p e ( 2 ) + p p e( 3 )p e( 3 ) = p p e( 3 )

10、 + p p e( 1 ) p e( 1 ) = p e( 2 ) = p e( 3 )p e( 1 ) + p e( 2 ) + p e( 3 ) =1p e( 1 ) =1/3p e( 2 ) =1/3 p e( 3 ) =1/3p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e( 1 ) + p p e( 2 ) = (p + p)/3 =1/3p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e( 2 ) + p p e( 3 ) = (p +

11、 p)/3 =1/3p x( 3 ) = p e( 3 ) (p x3 /e3 ) + p e p x( 1 ) ( 3 /e1 ) = p p e( 3 ) + p p e( 1 ) = (p + p)/3 =1/3 X 012 P X() = 1/3 1/3 1/3(2) Hp e p e( ) (/e )log p e( j /ei ) ij = 13 p e( 1 /e1)log p e( 1 /e1) + 13 p e( 2 /e1)log p e( 2 /e1) + 13 p e( 3 /e1)log p e( 3 /e1) 111 + 3 p e(/e )log p e( 1 /

12、e3) + 3 p e( 2 /e3)log p e( 2 /e3) + 3 p e( 3 /e3)log p e( 3 /e3)pppppplog1log1log1log1log1log131+=+ 33 pp3 pp33 pp3 = (plog p + plog p bit symbol) /2.11黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑，白。設(shè)黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7。 (1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)； (2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白) = 0.9，P(黑/白) = 0.1，P(白

13、/黑) = 0.2，P(黑/黑) = 0.8，求此一階馬爾可夫信源的熵H2(X); (3) 分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說明其物理含義。解： (1) H X() = p x( i )log p x( i ) =+ 0.7log0.7) = 0.881 bit symbol/ i(2) p e( 1 ) = p e p e( 1 ) ( 1 /e1 )+ p e( 2 ) (p e1 /e2 )p e( 2 ) = p e( 2 ) (p e2 /e2 )+ p e p e( 1 ) ( 2 /e1 )p e( 1 ) = 0.8 (p e1 )+ 0.1 (p

14、 e2 )p e( 2 ) = 0.9 (p e2 )+ 0.2 (p e1 )p e( 2 ) = 2 (p e1 )p e( 1 )+ p e( 2 ) =1 p e( 1 ) =1/3p e( 2 ) = 2/3H = p e p e( i ) ( j /ei )log p e( j /ei )ij = 1+ 1+ 2 + 2 3333 0.553 =bit symbol/(3) 1 = H 0 H = log20.881 =11.9%H 0log244.7%H(X) H2(X) 表示的物理含義是：無記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進(jìn)行較大程度

15、的壓縮。 2.12 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求： (1) “3和5同時出現(xiàn)”這事件的自信息； (2) “兩個1同時出現(xiàn)”這事件的自信息； (3) 兩個點(diǎn)數(shù)的各種組合（無序）對的熵和平均信息量； (4) 兩個點(diǎn)數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵； (5) 兩個點(diǎn)數(shù)中至少有一個是1的自信息量。解： (1) p x( i ) = + = I x( i ) = log p x( i ) = log = 4.170 bit(2) p x( i ) = = I x( i ) = log p x( i ) = log = 5.170 bit(3) 兩個點(diǎn)數(shù)的排列如

16、下： 11 12 13 14 15 16 21 22 23 2425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66 共有 21 種組合：其中 11，22，33，44，55，66 的概率是 其他 15 個組合的概率是 H X() = p x( i )log p x( i ) = 6 361 log361 +15181 log181 = 4.337 bit symbol/ i(4) 參考上面的兩個點(diǎn)數(shù)的排列，可以得出兩個點(diǎn)數(shù)求和的概率分布如下： P X(X ) = 3612181312141953656

17、1763685919 101211811112361 H X() = i p x( i )log p x( i ) = 2 1 log 1 + 2 1 log 1 + 2 1 log 1 + 2 1log1 + 2 5 log 5 + 1log 136361818121299363666 3.274 =bit symbol/(5) p x( i ) =11= I x( i ) = log p x( i ) = log =1.710 bit2.13 某一無記憶信源的符號集為0, 1，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符號的平均熵； (2) 有100個符號構(gòu)成的序列，求某

18、一特定序列（例如有m個“0”和（100 - m）個“1”）的自信息量的表達(dá)式； (3) 計算(2)中序列的熵。 解： (1) H X() = p x( i )log p x( i ) = 14log 14 + 43log 34 = 0.811 bit symbol/ i(2) p x( i ) = 14m 34100m = 34100100m 3100mI x( i ) = log p x( i ) = log 4100= 41.5+1.585m bit (3) H X( 100) =100H X() =1000.811= 81.1 bit symbol/ 2.14 對某城市進(jìn)行交通忙閑的調(diào)查

19、，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下： 若把這些頻度看作概率測度，求： (1) 忙閑的無條件熵； (2) 天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件熵； (3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解： (1) 根據(jù)忙閑的頻率，得到忙閑的概率分布如下： Xx1忙 閑x2P X() = 1036310340 H X() = 2 p x( i )log p x( i ) = 10363 log10363 +10340 log10340 = 0.964 bit symbol/ i (2) 設(shè)忙閑為隨機(jī)變量 X，天氣狀態(tài)為隨機(jī)變量 Y，氣溫狀態(tài)為隨機(jī)變量 Z

20、 H XYZ() = p x y z( ijk )log p x y z( ijk )ijk = 12 log 12 + 8 log 8 + 27 log 27 + 16 log 16103103103103103103103103 + 8 log 8 + 15 log 15 +log 5 + 12 log 12 5103103103103103103103103 = 2.836 bit symbol/ H YZ() = p y z( jk )log p y z( jk ) jk = 20 log 20 + 23 log 23 + 32 log 32 + 28 log 28 103103103

21、103103103103103 1.977 =bit symbol/H X YZ(/) = H XYZ() H YZ() = 2.8361.977 = 0.859 bit symbol/(3) I X YZ(;) = H X() H X YZ(/) = 0.9640.859 = 0.159 bit symbol/ 2.15 有兩個二元隨機(jī)變量X和Y，它們的聯(lián)合概率為 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并定義另一隨機(jī)變量Z = XY（一般乘積），試計算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H

22、(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1) p xp x yp x y p xp x yp x yH X() = p x( i )log p x( i ) =1 bit symbol/ip yp x yp x y p yp x yp x yH Y( ) = p y( j )log p y( j ) =1 bit symbol/jZ = XY 的概率分布如下： Z z1

23、 = 0z2 =1P Z( )= 7818 H Z( ) =k2 p z( k ) = 78 log 87 + 81log18= 0.544 bit symbol/p x( 1) = p x z( 1 1)+ p x z( 1 2) p x z( 1 2) = 0 p x z( 1 1) = p x( 1) = 0.5 p z( 1) = p x z( 1 1)+ p x z( 2 1) p z( 2) = p x z( 1 2)+ p x z( 2 2)H XZ() = p x z( ik )log p x z( ik ) = 12log 12 + 83log83 + 81log81=1.4

24、06 bit symbol/ikp y( 1) = p y z( 1 1)+ p y z( 1 2) p y z( 1 2) = 0 p y z( 1 1) = p y( 1) = 0.5 p z( 1) = p y z( 1 1)+ p y z( 2 1)p z( 2) = p y z( 1 2)+ p y z( 2 2)H YZ() =k p y z( jk )log p y z( jk ) = 12log 12 + 83log83 + 81log18=1.406 bit symbol/ jp x y z( 1 1 2) = 0 p x y z( 1 2 2) = 0 p x y z( 2

25、 1 2) = 0 p x y z( 1 1 1)+ p x y z( 1 1 2) = p x y( 1 1) p x y z( 1 1 1) = p x y( 1 1) =1/8 p x y z( 1 2 1)+ p x y z( 1 1 1) = p x z( 1 1)p x y z( 2 1 1)+ p x y z( 2 1 2) = p x y( 2 1)p x y z( 2 2 1) = 0p x y z( 2 2 1)+ p x y z( 2 2 2) = p x y( 2 2)H XYZ() = p x y z( ijk )log2 p x y z( ijk )ijk =1lo

26、g1 + 3log3 + 3log3 + 1log1=1.811 bit symbol/88888888(2) H XY() = p x y( ij )log2 p x y( ij ) =18log18 + 83log83 + 83log83 + 81log81=1.811 bit symbol/ijH X Y(/) = H XY() H Y( ) =1.811 1 = 0.811 bit symbol/H Y X(/) = H XY() H X() =1.811 1 = 0.811 bit symbol/H X Z(/) = H XZ() H Z( ) =1.4060.544 = 0.862

27、 bit symbol/H Z X(/) = H XZ() H X() =1.406 =10.406 bit symbol/ H Y Z(/) = H YZ() H Z( ) =1.4060.544 = 0.862 bit symbol/H Z Y(/) = H YZ() H Y( ) =1.406 =10.406 bit symbol/H X YZ(/) = H XYZ() H YZ() =1.811 1.406= 0.405 bit symbol/H Y XZ( / ) = H XYZ( ) H XZ( ) =1.811 1.406 = 0.405 bit symbol/ H Z XY(

28、/ ) = H XYZ( ) H XY( ) =1.811 1.811 = 0 bit symbol/(3) I X Y(; ) = H X() H X Y(/) = 10.811= 0.189 bit symbol/I X Z(;) = H X() H X Z(/) = 10.862 = 0.138 bit symbol/I Y Z( ;) = H Y( ) H Y Z(/) = 10.862 = 0.138 bit symbol/I X Y Z(;/) = H X Z(/) H X YZ(/) = 0.8620.405 = 0.457 bit symbol/I Y Z X( ; / ) =

29、 H Y X( / ) H Y XZ( / ) = 0.8620.405 = 0.457 bit symbol/ I X Z Y( ; / ) = H X Y( / ) H X YZ( / ) = 0.8110.405 = 0.406 bit symbol/2.16 有兩個隨機(jī)變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨(dú)立，求證：H(X) H(Z), H(Y) H(Z)。 證明： QZ = X +Y p z( k / xi ) = p z( k xi ) = p y( j ) (zk xi )Y0 (zk xi )YH Z X(/) = ik p x z( ik )log

30、p z( k / xi ) = i p x( i )k p z( k / xi )log p z( k / xi ) = p x( i ) p y( j )log2 p y( j ) = H Y( ) i jQH Z( ) H Z X( / ) H Z( ) H Y( ) 同理可得H Z( ) H X( )。 1x2.17 給定聲音樣值X的概率密度為拉普拉斯分布 p x( ) = e, x Hc (X) = log 2e2 12 x2 + y2 r2 ，求H(X), H(Y), 2.18 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：p x y( , ) =r0其他H(XYZ)和I(X;Y)。 （提示：

31、 xdx） 解： rxrx12 r 2 x 2p x( ) = rxp xy dy()= rxr 2 dy = r 2 (r x r)Hc Xp xp x dx =2222rrxpxrr( )logdx = ( )logdxp xr 2x dx2r logp xr 2x dx2 loge logrlog e bit symbol /其中：p xr 2x dx2+=+=20202022022020222202222logsin24cos212cos21log4logsinsin4logsin4sinlogsin4sinlogsin4coslogsinsin)(4cosddrdrddrrdrrrr

32、drrxrrxrxdxr令 r 2x dx2 e其中：= 1 sin 2 logsin02 02 sin 2d logsinde202sincoslog2sincos1=22 cos 2 d= log 2 e0= 2 log 2 e02 1+ cos22 d = 1 log e 2 d 1 log 2 e02 cos2d2 0 11= 2 log 2 e 2log 2 esin 2 02 eryry2222ry12 r 2 y2p y( ) = p xy dx( ) = ryr 2 dx = r 2 (r y r) p y( ) = p x( )HC ( )YH (X)logrlog e bi

33、t/symbolHc (XY) = p xy()log p xy dxdy()R1 = R p xy()logr 2 dxdy = logr 2 p xy dxdy()R = log2r 2 bit/symbolIc (X Y; ) = Hc (X) + H Yc ( ) Hc (XY) = 2log2r log2 e logr 2 = log2 log2 e bit/symbol2.19 每幀電視圖像可以認(rèn)為是由3105個像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個

34、漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解： 1) H X() = logn = log128 = 7 bit symbol/ H X(N ) = NH X() = 3 105 7 = 2.1 106 bit symbol/2) H X() = logn = log10000 =13.288 bit symbol/ H X(N ) = NH X() =1000 13.288=13288 bit symbol/3) N = H X( N ) = 2.1 10 6 =158037

35、 H X( ) 13.2882.20 設(shè) X = X X1 2.X N 是平穩(wěn)離散有記憶信源，試證明： H X X( 1 2.X N ) = H X( 1)+ H X( 2 / X1)+ H X( 3 / X X1 2)+.+ H X(N / X X1 2.X N1)。 證明： H X X(12.X N )= .p x x( i1 i2.xiN )log p x x( i1 i2.xiN )iii= .p x x( i1 i2.xiN )log p x( i1 ) (p xi2 / xi1 ). (p xiN / xi1.xiN1 )iii= .p x x( i1 i2.xiN )log p

36、x( i1 ) .p x x( i1 i2.xiN )log p x( i2 / xi1 )i iiiii . .p x x( i1 i2.xiN )logp x( iN / xi1.xiN1 )iii= p x( i1 )log p x( i1 ) p x x( i1 i2 )log p x( i2 / xi1 )iii . .p x x( i1 i2.xiN )logp x( iN / xi1.xiN1 )iii= H X(1) + H X(2 / X1) + H X(3 / X X12 ) +.+ H X(N / X X12.X N1)2.21 設(shè) X = X X1 2.X N 是N維高

37、斯分布的連續(xù)信源，且X1, X2, , XN的方差分別是 12, 22,., N2 ，它們之間的相關(guān)系數(shù)(X Xij ) = 0(i j, =1,2.,N i, j) 。試證明：N維高斯分布的連續(xù)信源熵 Hc (X) = Hc (X X12.X N ) = 12 Ni log2e i2 證明：相關(guān)系數(shù)(x xij )= 0 ,(i j =1,2,., N, i j)，說明XX X1 2. N是相互獨(dú)等的。 QH (X )log2 e 2ci =i2Hc (X) = Hc (X1 )+ Hc (X 2 )+.+ Hc (X N ) 1 Ni=1bx22.22 設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù)

38、p x( ) = 0(1) 試求信源X的熵Hc(X)； (2) 試求Y = X + A (A 0)的熵Hc(Y)； (3) 試求Y = 2X的熵Hc(Y)。 解： 1) Hc (X) = R f x( )log f x dx( )= R f x( )logbx dx2 = logbR f x dx( ) R f x( )logx dx2 = logb2bR x2 logxdx = logb 2ba3 log a3 9ebx3ba3QFX ( )x =,FX ( )a = =1332 a3Hc (X) = logblog bit symbol/3 e2) Q0 x a 0 y A aA y a

39、+ AFY ( )y = P Y( y) = P X(+ A y) = P X( y A) = Ay A bx dx2= b3(y A)3f y( ) = F y( ) = b y( A)2 H Yc ( ) = R f y( )log f y dy( )= R f y( )logb y( A dy)2 = logbR f y dy( ) R f y( )log(y A dy)2 = logb 2bR (y A)2 log(y A d y) ( A)0 x a其他2ba3a3 = logb log bit symbol/9eQFY ( )y = b (y A)3 ,F aY ( + A) =

40、ba3 =1 332 a3H Yc ( ) = logblog bit symbol/3 e3) yQ0 x a 0 a20 y 2ayFY ( )y = P Y( y) = P(2X y) = P X()2y = 02 bx dx2= 24b y3b2f y( ) = F y( ) = y8b2H Yc ( ) = R f y( )log f y dy( )= R f y( )log 8 y dyb2 = log 8 R f y dy( ) R f y( )log y dy yydyb2ba38a3 = loglog8 9e2ba3a392ba3 = logb log+9 e3QFY ( )

41、y = y3 ,FY (2 )a = ba3 =1 b2432 a3H Yc ( ) = logblog+1 bit symbol/3 e X x1x2 通過一干擾信道，接收符號為Y = y1, y2 ，信道轉(zhuǎn)移矩3.1 設(shè)信源=P X() 0.60.4516 6，求：陣為1 3 44(1) 信源X中事件x1和事件x2分別包含的自信息量； (2) 收到消息yj (j=1,2)后，獲得的關(guān)于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑義度H(X/Y)和噪聲熵H(Y/X)； (5) 接收到信息Y后獲得的平均互信息量。解： 1) I x( 1) =log2 p x

42、( 1) =log 0.62= 0.737 bitI x( 2 ) =log2 p x( 2 ) =log 0.42=1.322 bit2) p y( 1) = p x p y( 1) ( 1 / x1)+ p x( 2 ) (p y1 / x2 ) = 0.6 +0.4 = 0.6 p y( 2 ) = p x p y( 1) ( 2 / x1)+ p x( 2 ) (p y2 / x2 ) = 0.6 +0.4 = 0.4p y( 1 / x1)5/6I x y( 1; 1) = log2= log2= 0.474 bitp y( 1)0.6 p y( 2 / x1) 1/6I x y( 1; 2 ) = lo