信息論與編碼陳運(yùn)主編答案完整版

1、信息論與編碼課后習(xí)題答案詳解2.1 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？ 解： 四進(jìn)制脈沖可以表示 4 個(gè)不同的消息，例如：0, 1, 2, 3 八進(jìn)制脈沖可以表示 8 個(gè)不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二進(jìn)制脈沖可以表示 2 個(gè)不同的消息，例如：0, 1 假設(shè)每個(gè)消息的發(fā)出都是等概率的，則： 四進(jìn)制脈沖的平均信息量H X( 1) = logn = log4 = 2 bit symbol/ 八進(jìn)制脈沖的平均信息量H X( 2) = logn = log8 = 3 bit symbol/ 二進(jìn)制脈沖的平均信息量H X( 0) = logn = l

2、og2 =1 bit symbol/ 所以： 四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的 2 倍和 3 倍。 2.2 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？ 解： 設(shè)隨機(jī)變量 X 代表女孩子學(xué)歷 X x1（是大學(xué)生） x2（不是大學(xué)生） P(X) 0.25 0.75 設(shè)隨機(jī)變量 Y 代表女孩子身高 Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5 已知：在女大學(xué)生中有 75%是身高

3、 160 厘米以上的即： p y( 1 / x1) = 0.75 bit 求：身高 160 厘米以上的某女孩是大學(xué)生的信息量 p x p y( 1) ( 1 / x1 ) log 0.25×0.75 =1.415 bit 即：I x( 1 / y1 ) = log p x( 1 / y1 ) = log = p y( 1 )0.5 2.3 一副充分洗亂了的牌（含52張牌），試問 (1) 任一特定排列所給出的信息量是多少？ (2) 若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？ 解： (1) 52 張牌共有 52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是

4、： p x( i ) = I x( i ) =log p x( i ) = log52!= 225.581 bit (2) 52 張牌共有 4 種花色、13 種點(diǎn)數(shù)，抽取 13 張點(diǎn)數(shù)不同的牌的概率如下： 413 p x( i ) = C5213 413I x( i ) = log p x( i ) = logC5213 =13.208 bit 2.4 設(shè)離散無記憶信源P X(X ) = x31 /=80 · 13 · x2 =1 x3 = 2 x4 = 3，其發(fā)出的信息為 1/4 1/4 1/8 (2021201302130012032101103210100210320

5、11223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符號(hào)攜帶的信息量是多少？ 解： (1) 此消息總共有 14 個(gè) 0、13 個(gè) 1、12 個(gè) 2、6 個(gè) 3，因此此消息發(fā)出的概率是： p = 314 × 1 25 ×16 8 48此消息的信息量是：I =log p =87.811 bit (2) 此消息中平均每符號(hào)攜帶的信息量是：I n/ = 87.811/ 45 =1.951 bit 2.5 從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個(gè)

6、回答中各含多少信息量，平均每個(gè)回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？解：男士： p x( Y ) = 7%I x( Y ) = log p x( Y ) = log0.07 = 3.837 bitp x( N ) = 93% I x( N ) = log p x( N ) = log0.93 = 0.105 bitH X()p x()log p x()(0.07log0.070.93log0.93)0.366 bit symbol/i女士： H X()p x()log p x()(0.005log0.0050.995log0.995)0.045 bit sym

7、bol/ i X x 2.6 設(shè)信源 = 1x2x3x4x5x6 ，求這個(gè)信源的熵，并解釋為什么P X()0.20.19 0.180.17 0.160.17H(X) > log6不滿足信源熵的極值性。 解： H Xp xp xi =(0.2log0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 + 0.16log0.16 + 0.17log0.17) = 2.657 bit symbol/H X() > log 62 = 2.585不滿足極值性的原因是。 i 2.7 證明：H(X3/X1X2) H(X3/X1)，并說明當(dāng)X1, X2, X3是

8、馬氏鏈時(shí)等式成立。證明： H X(3 / X X12 ) H X(3 / X1)= p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + p x x( i1 i3 )log p x( i3 / xi1)i1i2i3i1i3= p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + p x x x( i1 i2i3 )log p x( i3 / xi1)i1i2i3i1i2i3 p x( i3 / xi1)= i1i2i3 p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 )p x( i3 /

9、xi1)1log2 e i1i2i3 p x x x( i1 i2i3 ) p x( i3 / x xi1 i2 ) = p x x( i1 i2 ) (p xi3 / xi1) p x x x( i1 i2i3 )log2 e i1i2i3i1i2i3= p x x( i1 i2 ) p x( i3 / xi1) 1log2 e i1i2 i3= 0H X( 3 / X X1 2) H X( 3 / X1)p x( i3 / xi1)10時(shí)等式等等當(dāng) = p x( i3 / x xi1 2i ) p x( i3 / xi1) = p x( i3 / x xi1 2i ) p x x( i1

10、2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3ii ) p x( i2 / xi1) (p xi3 / xi1) = p x x( i2 3i / xi1)等式等等的等等是X1, X2, X3是馬氏鏈_ 2.8證明：H(X1X2 。 Xn) H(X1) + H(X2) + + H(Xn)。證明： H X X(12.X n ) = H X(1)+ H X(2 / X1)+ H X(3 / X X12 )+.+ H X(n /

11、 X X12.X n1 )I X(2 ;X1 ) 0 H X(2 ) H X(2 / X1 ) I X(3;X X12 ) 0 H X(3 ) H X(3 / X X12 ).I X( N;X X1 2.Xn1) 0 H X( N ) H X( N / X X1 2.Xn1) H X X( 1 2.Xn) H X( 1)+H X( 2)+H X( 3)+ +. H X( n) 2.9 設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號(hào)，均按P(0) = 0.4，P(1) = 0.6的概率發(fā)出符號(hào)。 (1) 試問這個(gè)信源是否是平穩(wěn)的？ (2) 試計(jì)算H(X2), H(X

12、3/X1X2)及H； (3) 試計(jì)算H(X4)并寫出X4信源中可能有的所有符號(hào)。 解： (1) 這個(gè)信源是平穩(wěn)無記憶信源。因?yàn)橛羞@些詞語：“它在任意時(shí)間而且不論以前發(fā)生過什么符號(hào)” (2) H X(2 ) = 2H X() = 2×(0.4log0.4+ 0.6log0.6) =1.942 bit symbol/H X(3 / X X12 ) = H X(3 ) = p x( i )log p x( i ) = (0.4log0.4+ 0.6log0.6) = 0.971 bit symbol/ iH = lim H X(N / X X12.X N1 ) = H X(N ) = 0.

13、971 bit symbol/N>(3) H X(4 ) = 4H X() = 4×(0.4log0.4+ 0.6log0.6) = 3.884 bit symbol/X 4的所有符號(hào)： 0000000100100011010001010110011110001001101010111100110111101111 2.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號(hào)集為0, 1, 2。 (1) 求平穩(wěn)后信源的概率分布； (2) 求信源的熵H。 解： (1) p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 )p

14、 e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 )p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 )p e( 1 ) = p p e( 1 ) + p p e( 2 )p e( 2 ) = p p e ( 2 ) + p p e( 3 )p e( 3 ) = p p e( 3 ) + p p e( 1 ) p e( 1 ) = p e( 2 ) = p e( 3 )p e( 1 ) + p e( 2 ) + p e( 3 ) =1p e( 1 ) =1/3p e( 2 ) =1

15、/3 p e( 3 ) =1/3p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e( 1 ) + p p e( 2 ) = (p + p)/3 =1/3p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e( 2 ) + p p e( 3 ) = (p + p)/3 =1/3p x( 3 ) = p e( 3 ) (p x3 /e3 ) + p e p x( 1 ) ( 3 /e1 ) = p p e( 3 ) + p p e( 1 ) = (p + p

16、)/3 =1/3 X 012 P X() = 1/3 1/3 1/3(2) Hp e p e( ) (/e )log p e( j /ei ) ij = 13 p e( 1 /e1)log p e( 1 /e1) + 13 p e( 2 /e1)log p e( 2 /e1) + 13 p e( 3 /e1)log p e( 3 /e1) 111 + 3 p e(/e )log p e( 1 /e3) + 3 p e( 2 /e3)log p e( 2 /e3) + 3 p e( 3 /e3)log p e( 3 /e3)pppppplog1log1log1log1log1log131+=+

17、33 pp3 pp33 pp3 = (plog p + plog p bit symbol) / 2.11黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑，白。設(shè)黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7。 (1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)； (2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一階馬爾可夫信源的熵H2(X); (3) 分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說明其物理含義。解： (1) H X() =

18、p x( i )log p x( i ) =(0.3log0.3+ 0.7log0.7) = 0.881 bit symbol/ i(2) p e( 1 ) = p e p e( 1 ) ( 1 /e1 )+ p e( 2 ) (p e1 /e2 )p e( 2 ) = p e( 2 ) (p e2 /e2 )+ p e p e( 1 ) ( 2 /e1 )p e( 1 ) = 0.8 (p e1 )+ 0.1 (p e2 )p e( 2 ) = 0.9 (p e2 )+ 0.2 (p e1 )p e( 2 ) = 2 (p e1 )p e( 1 )+ p e( 2 ) =1 p e( 1 )

19、 =1/3p e( 2 ) = 2/3H = p e p e( i ) ( j /ei )log p e( j /ei )ij = 1×0.8log0.8+ 1×0.2log0.2+ 2 ×0.1log0.1+ 2 ×0.9log0.93333 0.553 =bit symbol/(3) 1 = H 0 H = log20.881 =11.9%H 0log2 44.7%H(X) > H2(X) 表示的物理含義是：無記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進(jìn)行較大程度的壓縮。 2.12 同時(shí)擲出兩個(gè)正常的骰子，也就

20、是各面呈現(xiàn)的概率都為1/6，求： (1) “3和5同時(shí)出現(xiàn)”這事件的自信息； (2) “兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息； (3) 兩個(gè)點(diǎn)數(shù)的各種組合（無序）對(duì)的熵和平均信息量； (4) 兩個(gè)點(diǎn)數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵； (5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解： (1) p x( i ) =× +× = I x( i ) = log p x( i ) = log = 4.170 bit(2) p x( i ) =× = I x( i ) = log p x( i ) = log = 5.170 bit(3) 兩個(gè)點(diǎn)數(shù)的排列如下： 11

21、12 13 14 15 16 21 22 23 2425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66 共有 21 種組合：其中 11，22，33，44，55，66 的概率是 其他 15 個(gè)組合的概率是 H X() = p x( i )log p x( i ) = 6× 361 log361 +15×181 log181 = 4.337 bit symbol/ i(4) 參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下： P X(X ) = 3612181312141

22、9536561763685919 101211811112361 H X() = i p x( i )log p x( i ) = 2× 1 log 1 + 2× 1 log 1 + 2× 1 log 1 + 2× 1log1 + 2× 5 log 5 + 1log 136361818121299363666 3.274 =bit symbol/(5) p x( i ) =××11= I x( i ) = log p x( i ) = log =1.710 bit 2.13 某一無記憶信源的符號(hào)集為0, 1，已知P(0) =

23、 1/4，P(1) = 3/4。 (1) 求符號(hào)的平均熵； (2) 有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100 - m）個(gè)“1”）的自信息量的表達(dá)式； (3) 計(jì)算(2)中序列的熵。 解： (1) H X() = p x( i )log p x( i ) = 14log 14 + 43log 34 = 0.811 bit symbol/ i(2) p x( i ) = 14m × 34100m = 34100100m 3100mI x( i ) = log p x( i ) = log 4100= 41.5+1.585m bit (3) H X( 100)

24、=100H X() =100×0.811= 81.1 bit symbol/ 2.14 對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下： 若把這些頻度看作概率測度，求： (1) 忙閑的無條件熵； (2) 天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熵； (3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解： (1) 根據(jù)忙閑的頻率，得到忙閑的概率分布如下： Xx1忙 閑x2P X() = 1036310340 H X() = 2 p x( i )log p x( i ) = 10363 log10363 +10340 log1034

25、0 = 0.964 bit symbol/ i (2) 設(shè)忙閑為隨機(jī)變量 X，天氣狀態(tài)為隨機(jī)變量 Y，氣溫狀態(tài)為隨機(jī)變量 Z H XYZ() = p x y z( ijk )log p x y z( ijk )ijk = 12 log 12 + 8 log 8 + 27 log 27 + 16 log 16103103103103103103103103 + 8 log 8 + 15 log 15 +log 5 + 12 log 12 5103103103103103103103103 = 2.836 bit symbol/ H YZ() = p y z( jk )log p y z( jk

26、) jk = 20 log 20 + 23 log 23 + 32 log 32 + 28 log 28 103103103103103103103103 1.977 =bit symbol/H X YZ(/) = H XYZ() H YZ() = 2.8361.977 = 0.859 bit symbol/(3) I X YZ(;) = H X() H X YZ(/) = 0.9640.859 = 0.159 bit symbol/ 2.15 有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并定義另一隨機(jī)變量Z =

27、XY（一般乘積），試計(jì)算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1) p xp x yp x y p xp x yp x yH X() = p x( i )log p x( i ) =1 bit symbol/i p yp x yp x y p yp x yp x yH

28、Y( ) = p y( j )log p y( j ) =1 bit symbol/jZ = XY 的概率分布如下： Z z1 = 0z2 =1P Z( )= 7818 H Z( ) =k2 p z( k ) = 78 log 87 + 81log18= 0.544 bit symbol/p x( 1) = p x z( 1 1)+ p x z( 1 2) p x z( 1 2) = 0 p x z( 1 1) = p x( 1) = 0.5 p z( 1) = p x z( 1 1)+ p x z( 2 1) p z( 2) = p x z( 1 2)+ p x z( 2 2)H XZ()

29、= p x z( ik )log p x z( ik ) = 12log 12 + 83log83 + 81log81=1.406 bit symbol/ikp y( 1) = p y z( 1 1)+ p y z( 1 2) p y z( 1 2) = 0 p y z( 1 1) = p y( 1) = 0.5 p z( 1) = p y z( 1 1)+ p y z( 2 1) p z( 2) = p y z( 1 2)+ p y z( 2 2)H YZ() =k p y z( jk )log p y z( jk ) = 12log 12 + 83log83 + 81log18=1.406

30、 bit symbol/ jp x y z( 1 1 2) = 0 p x y z( 1 2 2) = 0 p x y z( 2 1 2) = 0 p x y z( 1 1 1)+ p x y z( 1 1 2) = p x y( 1 1) p x y z( 1 1 1) = p x y( 1 1) =1/8 p x y z( 1 2 1)+ p x y z( 1 1 1) = p x z( 1 1)p x y z( 2 1 1)+ p x y z( 2 1 2) = p x y( 2 1)p x y z( 2 2 1) = 0p x y z( 2 2 1)+ p x y z( 2 2 2)

31、= p x y( 2 2)H XYZ() = p x y z( ijk )log2 p x y z( ijk )ijk =1log1 + 3log3 + 3log3 + 1log1=1.811 bit symbol/88888888(2) H XY() = p x y( ij )log2 p x y( ij ) =18log18 + 83log83 + 83log83 + 81log81=1.811 bit symbol/ijH X Y(/) = H XY() H Y( ) =1.811 1 = 0.811 bit symbol/H Y X(/) = H XY() H X() =1.811 1

32、 = 0.811 bit symbol/H X Z(/) = H XZ() H Z( ) =1.4060.544 = 0.862 bit symbol/H Z X(/) = H XZ() H X() =1.406 =10.406 bit symbol/ H Y Z(/) = H YZ() H Z( ) =1.4060.544 = 0.862 bit symbol/H Z Y(/) = H YZ() H Y( ) =1.406 =10.406 bit symbol/H X YZ(/) = H XYZ() H YZ() =1.811 1.406= 0.405 bit symbol/H Y XZ(

33、/ ) = H XYZ( ) H XZ( ) =1.811 1.406 = 0.405 bit symbol/ H Z XY( / ) = H XYZ( ) H XY( ) =1.811 1.811 = 0 bit symbol/(3) I X Y(; ) = H X() H X Y(/) = 10.811= 0.189 bit symbol/I X Z(;) = H X() H X Z(/) = 10.862 = 0.138 bit symbol/I Y Z( ;) = H Y( ) H Y Z(/) = 10.862 = 0.138 bit symbol/ I X Y Z(;/) = H

34、X Z(/) H X YZ(/) = 0.8620.405 = 0.457 bit symbol/I Y Z X( ; / ) = H Y X( / ) H Y XZ( / ) = 0.8620.405 = 0.457 bit symbol/ I X Z Y( ; / ) = H X Y( / ) H X YZ( / ) = 0.8110.405 = 0.406 bit symbol/ 2.16 有兩個(gè)隨機(jī)變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨(dú)立，求證：H(X) H(Z), H(Y) H(Z)。 證明： QZ = X +Y p z( k / xi ) = p z( k

35、 xi ) = p y( j ) (zk xi )Y0 (zk xi )YH Z X(/) = ik p x z( ik )log p z( k / xi ) = i p x( i )k p z( k / xi )log p z( k / xi ) = p x( i ) p y( j )log2 p y( j ) = H Y( ) i jQH Z( ) H Z X( / ) H Z( ) H Y( ) 同理可得H Z( ) H X( )。 1x2.17 給定聲音樣值X的概率密度為拉普拉斯分布 p x( ) = e, < x < + ，求Hc(X)，并證2明它小于同樣方差的正態(tài)變量的

36、連續(xù)熵。解： Hc Xp xp x dxp x e| |x dx p x dxp xe | |x dx log=ee | |x dx log= ee xdx其中：ee xdx= ex log2 ex 0+ 0+exd(logex )= ex0+ log2 e = log2 e22eHc (X) = log+log2 e = log bit symbol/ mE Xp xxdx e x xdxQ ey dy e y ydy e y ydy e x xdx = 0E xmE xp xx dx ex dxex dx = 0+x de2x = ex x2 0+ 0+exdx2 = 0+exdx2 =

37、20+ex xdx = 2 0+xdex = 2 ex x 0+ 0+exdx Hc (X正態(tài)) = 1 log2e 2 = log 2 e > Hc (X) = log 2e2 12 x2 + y2 r2 ，求H(X), H(Y), 2.18 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：p x y( , ) =r0其他H(XYZ)和I(X;Y)。 （提示： xdx） 解： r2x2r2x212 r 2 x 2p x( ) = r2x2 p xy dy()= r2x2 r 2 dy = r 2 (r x r)Hc Xp xp x dx =2222rrxpxrr( )logdx = ( )logd

38、xp xr 2x dx2r logp xr 2x dx2 loge logrlog e bit symbol /其中：p xr 2x dx2+=+=20202022022020222202222logsin24cos212cos21log4logsinsin4logsin4sinlogsin4sinlogsin4coslogsinsin)(4cosddrdrddrrdrrrrdrrxrrxrxdxr令 r 2x dx2 e其中：= 1 sin 2 logsin02 02 sin 2d logsinde202sincoslog2sincos1=22 cos 2 d= log 2 e0= 2 lo

39、g 2 e02 1+ cos22 d = 1 log e 2 d 1 log 2 e02 cos2d2 0 11= 2 log 2 e 2log 2 esin 2 02 eryry2222r2y212 r 2 y2p y( ) = p xy dx( ) = r2y2 r 2 dx = r 2 (r y r) p y( ) = p x( )HC ( )YH (X)logrlog e bit/symbolHc (XY) = p xy()log p xy dxdy()R1 = R p xy()logr 2 dxdy = logr 2 p xy dxdy()R = log2r 2 bit/symbol

40、Ic (X Y; ) = Hc (X) + H Yc ( ) Hc (XY) = 2log2r log2 e logr 2 = log2 log2 e bit/symbol 2.19 每幀電視圖像可以認(rèn)為是由3¯105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解： 1) H X() = logn

41、= log128 = 7 bit symbol/ H X(N ) = NH X() = 3 10×5 ×7 = 2.1 10×6 bit symbol/ 2) H X() = logn = log10000 =13.288 bit symbol/ H X(N ) = NH X() =1000 13.288×=13288 bit symbol/ 3) N = H X( N ) = 2.1 10× 6 =158037 H X( ) 13.288 2.20 設(shè) X = X X1 2.X N 是平穩(wěn)離散有記憶信源，試證明： H X X( 1 2.X N

42、 ) = H X( 1)+ H X( 2 / X1)+ H X( 3 / X X1 2)+.+ H X(N / X X1 2.X N1)。 證明： H X X(12.X N )= .p x x( i1 i2.xiN )log p x x( i1 i2.xiN )i1i2iN= .p x x( i1 i2.xiN )log p x( i1 ) (p xi2 / xi1 ). (p xiN / xi1.xiN1 )i1i2iN= .p x x( i1 i2.xiN )log p x( i1 ) .p x x( i1 i2.xiN )log p x( i2 / xi1 )i1 i2iNi1i2 iN

43、 . .p x x( i1 i2.xiN )logp x( iN / xi1.xiN1 )i1i2iN= p x( i1 )log p x( i1 ) p x x( i1 i2 )log p x( i2 / xi1 )i1i1i2 . .p x x( i1 i2.xiN )logp x( iN / xi1.xiN1 )i1i2iN= H X(1) + H X(2 / X1) + H X(3 / X X12 ) +.+ H X(N / X X12.X N1) 2.21 設(shè) X = X X1 2.X N 是N維高斯分布的連續(xù)信源，且X1, X2, , XN的方差分別是 12, 22,., N2 ，

44、它們之間的相關(guān)系數(shù)(X Xij ) = 0(i j, =1,2.,N i, j) 。試證明：N維高斯分布的連續(xù)信源熵 Hc (X) = Hc (X X12.X N ) = 12 Ni log2e i2 證明：相關(guān)系數(shù)(x xij )= 0 ,(i j =1,2,., N, i j)，說明XX X1 2. N是相互獨(dú)等的。 QH (X )log2 e 2 · 25 · ci =i2Hc (X) = Hc (X1 )+ Hc (X 2 )+.+ Hc (X N ) 1 N i=1bx22.22 設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù) p x( ) = 0(1) 試求信源X的熵Hc(

45、X)； (2) 試求Y = X + A (A > 0)的熵Hc(Y)； (3) 試求Y = 2X的熵Hc(Y)。 解： 1) Hc (X) = R f x( )log f x dx( )= R f x( )logbx dx2 = logbR f x dx( ) R f x( )logx dx2 = logb2bR x2 logxdx = logb 2ba3 log a3 9ebx3ba3QFX ( )x =,FX ( )a = =1332 a3Hc (X) = logblog bit symbol/3 e2) Q0 x a 0 y A aA y a + AFY ( )y = P Y( y

46、) = P X(+ A y) = P X( y A) = Ay A bx dx2= b3(y A)3f y( ) = F y( ) = b y( A)2 H Yc ( ) = R f y( )log f y dy( )= R f y( )logb y( A dy)2 = logbR f y dy( ) R f y( )log(y A dy)2 = logb 2bR (y A)2 log(y A d y) ( A)0 x a 其他2ba3a3 = logb log bit symbol/9eQFY ( )y = b (y A)3 ,F aY ( + A) = ba3 =1 332 a3H Yc

47、( ) = logblog bit symbol/3 e3) yQ0 x a 0 a20 y 2ayFY ( )y = P Y( y) = P(2X y) = P X()2y = 02 bx dx2= 24b y3b2f y( ) = F y( ) = y8b2H Yc ( ) = R f y( )log f y dy( )= R f y( )log 8 y dyb2 = log 8 R f y dy( ) R f y( )log y dy yydyb2ba38a3 = loglog8 9e2ba3a392ba3 = logb log+9 e3QFY ( )y = y3 ,FY (2 )a = ba3 =1 b2432 a3H Yc ( ) = logblog+1 bit symbol/3 e X x1x2 通過一干擾信道，接收符號(hào)為Y = y1, y2 ，信道轉(zhuǎn)移矩3.1 設(shè)信源=· 41 · P X() 0.60.4516 6，求：陣為1