信息論與編碼原理-第4、5章課后習(xí)題-20140604-23點(diǎn)-自己整理

1、信息論與編碼原理信息論與編碼原理四、五章習(xí)題四、五章習(xí)題12021/8/2信息符號(hào)信息符號(hào)對(duì)應(yīng)碼字對(duì)應(yīng)碼字000001011100101111011111s 4.1 對(duì)信源概率空間為進(jìn)行二元編碼，編碼方案如表4.19所示（1）計(jì)算平均碼長 。（2）編碼后信息傳輸率 。（3）編碼后信源信息率 。（4）編碼效率 。1234567(s)0.20.190.180.170.150.100.01SsssssssPLRR2s3s4s5s6s7s 表表4.19 編碼方案編碼方案（1）平均碼長）平均碼長1( )3*(0.20.190.180.170.15)4*(0.100.01)3.11qiiiLP s L(

2、)H SRL( )(0.2,0.19,0.18,0.17,0.15,0.10,0.01)2.609H SH碼元碼元/信源符號(hào)信源符號(hào)（2）編碼后信息傳輸率）編碼后信息傳輸率 bit/符號(hào)符號(hào)0.839R bit/碼元碼元（3）編碼后信源信息率）編碼后信源信息率 logRLr2log1rrlog3.11RLrbit/信源符號(hào)信源符號(hào)（4）編碼效率）編碼效率max( )0.839logH SRLRr進(jìn)行二元編碼，5種不同的編碼方案如表4.20所示。表4.20 5種不同的編碼方案信源符號(hào)信源符號(hào)00000010010110100000100111101100010110111111010010101

3、000111111110110011010101111111111010110011s2s3s4s5s6s1C2C3C4C5C（1）這些碼中哪些是唯一可譯碼？（2）這些碼中哪些是即時(shí)碼(異前綴碼)？（3）計(jì)算即時(shí)碼的平均碼長和編碼效率。4.3 某信源概率空間為123456( )0.30.250.20.150.060.04SssssssP s（1）這些碼中）這些碼中 是唯一可譯碼。是唯一可譯碼。123CCC（2）這些碼中）這些碼中 是即時(shí)碼。是即時(shí)碼。13CC161( )3*(0.30.250.20.150.060.04)3ciiiLP s L碼元碼元/信源符號(hào)信源符號(hào)（3）( )(0.3,0.

4、25,0.2,0.15,0.06,0.04)2.325H SHbit/符號(hào)符號(hào)11max( )0.775logccH SLRRr361( )1*0.32*0.253*0.24*0.155*0.066*0.042.54ciiiLP s L碼元碼元/信源符號(hào)信源符號(hào)33max( )0.915logccH SLRRr進(jìn)行 次擴(kuò)展，采用二元霍夫曼編碼。當(dāng) 時(shí)的平均碼長和編碼效率為多少？1,2,3,N N4.7 設(shè)離散無記憶信源的概率空間為 ，對(duì)信源12( )0.70.3SssP s（1） 時(shí)，將時(shí)，將 編成編成0， 編成編成1，則，則1N 1s2s11L 又因?yàn)樾旁挫赜忠驗(yàn)樾旁挫? )(0.7, 0.

5、3)0.881H SHbit/符號(hào)符號(hào)所以編碼效率所以編碼效率11( )0.881H SL（2）如果對(duì)）如果對(duì) 長度的信源序列進(jìn)行霍夫曼編碼，編碼結(jié)果如長度的信源序列進(jìn)行霍夫曼編碼，編碼結(jié)果如表表4.8所示所示2N 信源序列信源序列霍夫曼碼霍夫曼碼0.4910.21010.210000.09001表4.8 時(shí)的編碼結(jié)果2N 11 1s s1 2s s2 1s s2 2s s()iP此時(shí)，信源序列的平均碼長此時(shí)，信源序列的平均碼長21 0.492 0.21 3 (0.210.09)1.81L 二元碼符號(hào)二元碼符號(hào)/信源符號(hào)序列信源符號(hào)序列則單個(gè)符號(hào)的平均碼長則單個(gè)符號(hào)的平均碼長20.9052LL

6、 二元碼符號(hào)二元碼符號(hào)/信源符號(hào)信源符號(hào)所以對(duì)長度為所以對(duì)長度為2的信源序列進(jìn)行變長編碼，編碼后的編碼效率的信源序列進(jìn)行變長編碼，編碼后的編碼效率2( )0.8810.9730.905H SL用同樣的方法進(jìn)一步將信源序列的長度增加，對(duì)用同樣的方法進(jìn)一步將信源序列的長度增加，對(duì) 的的序列進(jìn)行最佳編碼，可得平均碼長和編碼效率為序列進(jìn)行最佳編碼，可得平均碼長和編碼效率為3N 30.9690.909L 二元碼符號(hào)二元碼符號(hào)/信源符號(hào)信源符號(hào)（4） 時(shí)，由香農(nóng)第一定理可知，必然存在唯一可譯碼，使時(shí)，由香農(nóng)第一定理可知，必然存在唯一可譯碼，使N lim( )NrNLHSN而霍夫曼編碼為最佳碼，即平均碼長最

7、短的碼，故而霍夫曼編碼為最佳碼，即平均碼長最短的碼，故lim1NN4.9 已知離散無記憶信源的概率空間為用香農(nóng)編碼和霍夫曼編碼法編成二進(jìn)制變長碼，計(jì)算平均碼長和編碼效率。12345( )0.250.20.20.20.15SsssssP s解：香農(nóng)編碼解：香農(nóng)編碼信息符號(hào)信息符號(hào)符號(hào)概率符號(hào)概率累積分布累積分布碼字長度碼字長度碼字碼字0.25022000.20.252.3230100.20.452.3230110.20.652.3231010.150.852.743110isP( )isiFlogP( )is1s2s3s4s5s2 0.253 (0.20.20.20.15)2.75L 碼源碼源/

8、信源符號(hào)信源符號(hào)(S)(S)logHHLrL( )(0.25,0.2,0.2,0.2,0.15)2.305H SHbit/符號(hào)符號(hào)0.838霍夫曼編碼霍夫曼編碼信源符號(hào)信源符號(hào)碼字碼字碼長碼長01210211200030013is1s2s3s4s5s2 0.250.2 20.2 20.2 30.15 32.35L 碼元碼元/符號(hào)符號(hào)(S)2.3050.982.35logHLr（1）若信道輸入符號(hào) ，求 、 、 和 。（2）求該信道的信道容量及達(dá)到信道容量的最佳輸入概率分布。（3）如果信道輸入符號(hào) 時(shí)，計(jì)算信道剩余度。03/4, (1) 1/4PP（ ）()H X(|)H X Y(|)H Y X

9、(; )I X Y03/4, (1) 1/4PP（ ）0.80.20.20.85.1 設(shè)二進(jìn)制對(duì)稱信道的傳遞矩陣為（1）31( )(,)0.811 bit/44H xH符號(hào)的聯(lián)合分布概率為：的聯(lián)合分布概率為： X Y0101XY35320120153311 ()(,)1.533 bit/520205H XYH符號(hào)137 ( )(,)0.934 bit/2020H YH符號(hào)(|)()( )0.599 bit/H X YH XYH Y符號(hào)( |)()()0.722 bit/H Y XH XYH X符號(hào)(; )()( )(, ) ( )(|)()(|)0.212 bit/I X YH XH YH X

10、 YH YH Y XH XH X Y符號(hào)（2）由對(duì)稱信道的信道容量公式得：）由對(duì)稱信道的信道容量公式得：log() log2(0.8,0.2)0.278 bit/CSH pH的行矢量符號(hào) 且當(dāng)信道輸入是等概率分布時(shí)才能達(dá)到這個(gè)最大值且當(dāng)信道輸入是等概率分布時(shí)才能達(dá)到這個(gè)最大值,即即:1(0)(1)2PP（3）信道剩余度為：）信道剩余度為：(; )(; )10.237CI X YI X YCC 信道剩余度5.3 設(shè)某對(duì)稱離散信道的信道矩陣為（1）求其信道容量。（2）寫出該信道的二次擴(kuò)展信道的信道矩陣，并計(jì)算信道容量。00.50.50000.50.50.5000.50.50.500P（1）log(

11、) log4(0.5,0.5)1 bit/CSH pH的行矢量符號(hào)2 00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 3300000000.25 0.25000.25 0.2500000010020310111213 2021222330313233P000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000000000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.2500000

12、0000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000.25 0.2500000000000.25 0.250000.25 0.2500000000000.25 0.250.25000.25000000000.25000.250.25 0.2500000000000.25 0.250000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000（2）二次擴(kuò)展信道

13、的信道矩陣為：）二次擴(kuò)展信道的信道矩陣為： 則信道容量為：則信道容量為：log() log16(0.25,0.25,0.25,0.25) 2 bit/CSH pH的行矢量符號(hào) 5.4 設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。11pqqppqpqP 將將 劃分為兩個(gè)對(duì)稱的矩陣：劃分為兩個(gè)對(duì)稱的矩陣：11p qqpPpqp q121 1p qpPpp qqPq 11222,1,1,2 ,2rNq Mq Nq Mq n 1231loglog(,) log2(1)log(1)log(2 ) (1, , ) log2 (1)log(1)(log2log ) (1, , ) (1)log2(1, )(1, , )nkkkCrNMH P P PqqqqHpq p qqqqqHpq p qqHq qHpq p q 圖5.14 題5.10中的串聯(lián)信道5.10 有二個(gè)信道的信道