信息論課后習(xí)題

1、2.8 設(shè)隨機(jī)變量X和Y的聯(lián)合概率分布如右表所示。隨機(jī)變量 求：（1）H(X)，H(Y)（2）H(X|Y)，H(Y|X)，H(X|Z) Y X b1=0 b2=0 a1=0 1/3 1/3 a2=0 0 1/3ZXY= 2.13 有一個馬爾可夫信源，已知轉(zhuǎn)移概率為：試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。解：根據(jù)轉(zhuǎn)移概率，得狀態(tài)轉(zhuǎn)移圖如下所示：求解信源熵：得：1121122221(|) (|) (|)1(|)033P SSP SSP SSP SS，12( )( ) (|) ( )( )1jijiip Sp S p SSp Sp S=+=1231 ( )( ) 44pSpS=，111121212222(

2、) (|)() (|)() (|) () (|)0. 6887 bi t/si gnHp Sp SSp Sp SSp Sp SSp Sp SS=+=12XXX r， ， ，rX123A,a aa( )P x1112311(), 24pP Xappji12XXX r， ， ，123123123123XXX(X X X )()log()HP x x xP x x x 1 2 312131 212132123()( ) (| ) (|) ( ) (| ) (|) ,P xx xP x P x x P x xxP x P x x P x xxA xA xA1 1 1111111()() (|) (|)

3、 8P a a aP a P aa P aa1 1 2111211()( ) (|) (|)16P aaaP a P a a P a a1 13111311()() (|) (|) 16P a a aP a P aa P aa333111()1ijkijkP a a a333123111(X X X )()log () 3.967 bitijkijkijkHP aa aP aa a31231()()1.322 bit/3H XH X X X符號1123213312123122()()()()23311()()()4311()()()43()()()1P aP aP aP aP aP aP aP

4、 aP aP aP aP aP a12343(), ()()714P aP aP a1123311lim( )lim(|) ( ) (|)log (|) 1.251 bit/NNNNNijijiijHHXH XXXHP a P aaP aa符號0log31.585 bit/H 符號3112( )log( )1.414 bit/1.251 bit/iiiHP aP aH 符號符號00010HH 11010.11HH 22010.21HH 1ppHH0,1,2EA ()() 1,2,3, 0,1,2iiiiQ EP aiEEaAEA而 / 2 / 2P=/ 2 / 2/ 2 / 2 ppppppp

5、pp / 2 / 2(0)(0)(0)(1)(1)/ 2 / 2(1)(2)(2)(2)/ 2 / 2 (0)(1)(2)1TpppQQQQPQpppQQQQpppQQQ1(0)(1)(2)3QQQ1(0)(1)(2)3PPP321() (|)111 ( ,)(,)(,)322322322 loglog /iiiHHQ E P XEppppppH pHpHpppppp bit 符號 0, 1, 2()1 / 3, 1 / 3, 1 / 3iXP a31()()log()1.585 bit/iiiH XP aP a 符號()H XHH1log(1)logHppppp （）23pHlog3 1.5

6、85 bit/符號23p Hlog3 1.585 bit/符號0p loglog02pHppp 1p loglog1 bit/2pHppp 符號 2.17 設(shè)馬爾可夫信源的狀態(tài)集合 ， 符號集 在某狀態(tài) 下發(fā)出符 號： 的概率為： 如圖所示。（1）求狀態(tài)極限概率并找出符號的極限概率。（2）計算信源處在 ，狀態(tài)下輸出符號的 條件熵（3）求信源的極限熵123,SSSS123,Xaaa1,2,3iSi (1, 2,3)kai (|)(1,2,3;1,2,3)kiP aS ik1,2,3jSj (|)jH X SH2.17（續(xù)）（續(xù)）解：（1）狀態(tài)極限概率：解之得：)()31

7、()()()4211()()()42()()()1Q SQ SQ SQ SQ SQ SQ SQ SQ SQ SQ S123232() () ()777Q SQ SQ S2.17（續(xù)）（續(xù)）符號極限概率為：解之得：（2）輸出符號條件熵為：1132123121()()()211()()()4211()()()42PaQSQSPaQSQSPaQSQS123322() () ()777P aP aP a1231113(|),244211(|)0,122(|)1, 0, 00HXSsHHXSsHHXSsH2.17(續(xù)續(xù))（3）此馬爾可夫信源的熵： 3321131()(|) log(|) ()(|)211

8、12113 ,0,1,0,0724472276 7ikikiikikikHHQ sP asP asQ sH asHHH 4.2 離散無記憶信源的概率空間為：離散無記憶信源的概率空間為：若對信源采取等長二元編碼，要求編碼效若對信源采取等長二元編碼，要求編碼效率率 ，允許譯碼錯誤概率，允許譯碼錯誤概率 ，試計，試計算需要的心愿序列長度算需要的心愿序列長度N為多少？為多少？12 31( ) 44ssSPs輊輊犏犏犏=犏犏犏犏臌臌0. 96h=510d-解： 31( )(,)0.811344HSH=( ) 0.0338( )H SH Shee=+22221( )(log)( )0.471iiiSppH

9、 Ss=-=272( )4. 22110SNse d=4.6 設(shè)離散無記憶信源的概率空間為：設(shè)離散無記憶信源的概率空間為： 解：將s1編程0，s2編程1，則L1=1（碼元/符號） 21( )( )l og( )0. 8113 bi t/si gniiiH SP sP s= -=1( )0.8113HSLh=12 31( ) 44ssSPs輊輊犏犏犏=犏犏犏犏臌臌對信源進(jìn)行對信源進(jìn)行N次擴(kuò)展，采用二元霍夫曼編碼。次擴(kuò)展，采用二元霍夫曼編碼。當(dāng)當(dāng)N=1，2， 時的平均碼長和編碼效率為時的平均碼長和編碼效率為多少？多少？所以，4.6（續(xù)）N=2時，編碼過程如下： S2概率霍夫曼編碼s1s10.562

10、50s1s20.187511s2s10.1875100s2s20.062510121 0. 56252 0. 18753 (0. 18750. 0625) =1. 6875 (/)L= + +碼元 二符號20.84375 (/)2L=碼 元符 號2( )0.962 0.84375H Sh=所以：則：所以：4.6（續(xù)）當(dāng) 時，由香農(nóng)第一定理可知，必然存在唯一譯碼，使而霍夫曼編碼為最佳碼，即平均碼長最短的碼，故即：N= l i m( )NrNLHSN=l i m( )( )0. 8113NrNLHSH SN=lim1NNh=4.8 已知離散無記憶信源的概率空間為：已知離散無記憶信源的概率空間為：用

11、霍夫曼編碼法編成二進(jìn)制變長碼，計算平均碼長用霍夫曼編碼法編成二進(jìn)制變長碼，計算平均碼長和編碼效率。和編碼效率。解：如右圖的編碼，得：12345 ( )0. 25 0. 2 0. 2 0. 2 0. 15SsssssP s輊輊犏犏=犏犏犏犏臌臌S概率霍夫曼編碼s10.2501s20.210s30.211s40.2000s50.150012. 35L=4.8（續(xù)）信源熵為：編碼效率為：51( )( )l og( )2. 3037 bi t/si gniiiH SP sP s= -=( )0. 98H SLh= 5.11 已知一個平均功率受限的連續(xù)編號，通過已知一個平均功率受限的連續(xù)編號，通過帶寬帶寬B=1MHz的高斯白噪聲信道，問的高斯白噪聲信道，問（1）若信噪比為）若信噪比為10，信道容量為多少？，信道容量為多少？（2）若信道容量不變，信噪比將為）若信道容量不變，信噪比將為5，信道帶，信道帶寬應(yīng)為多少？寬應(yīng)為多少？（3）若信道通頻帶減為）若信道通頻帶減為0.5MHz時，要保持相時，要保持相同的信道容量，信道上的信號與噪聲的平均功同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多