2014-2015第二學期信息論與編碼-期末考試試卷(A卷)答案

1、山東科技大學山東科技大學 20142015 學年第二學期學年第二學期信息論與編碼期末考試試卷信息論與編碼期末考試試卷( (A A 卷卷) )答案答案一、填空(每空 3 分，共 36 分，)I、可靠性 2、不確定性 3、H(XY)二H(X)+H(XIY)4、信源概率P(X)5、1.75bit6、信源必須傳送給用戶的信息量7、找緊致碼 8、R二OgM二R(D)+9、310、0.749bitnII、0.0817bit12、E=(01000000)二、簡答題(每題 8 分，共 24 分)1、請給出信息熵的物理含義。答：三種物理含意(1)表示信源輸出后，每個消息所提供的平均信息量；(2)表示信源輸出前，

2、信源的平均不確定性；(3)表征變量 X 的隨機性。2、請敘述數(shù)據(jù)處理定理，并說明簡要含義。答：對于通信系統(tǒng)有H(X)I(X;Y)I(X;Z)I(X;W)L說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是所提供的信息。3 3、若碼符號個數(shù)、若碼符號個數(shù)r=2，問是否存在碼長，問是否存在碼長 l 二 1,3,3,3,4,5,5 的即時碼，為什么？如果有，試的即時碼，為什么？如果有，試i構(gòu)造出一個這樣的碼。構(gòu)造出一個這樣的碼。答：因為它滿足 Craft 不等式，所以存在這樣的即時碼。此碼為：0,100,101,110,1110,11110,11111三、計算題計算題( (本題本題 4040 分，第分

3、，第 1 1、2 2 小每題小每題 1515 分，第分，第 3 3 小題小題 1010 分分) )202120130213001203210110321010021032011223210)202120130213001203210110321010021032011223210)，求，求(1)(1)此消息的自信息是多少？此消息的自信息是多少？(2)(2)在此消息中平均每個符號攜帶的信息量是多少？在此消息中平均每個符號攜帶的信息量是多少？解：解：信源是無記憶的，因此，發(fā)出的各消息之間是互相獨立的，此時發(fā)出的消息的自信息即為各消息的自信息之和。根據(jù)已知條件，發(fā)出各消息所包含的信息量分別為：8信息

4、 I信息 II信息 III_X_p(x)_a二 011/8a二1114a=3114138，其發(fā)出的消息為，其發(fā)出的消息為1 1、設(shè)離散無記憶信源、設(shè)離散無記憶信源2I(ao=0)=log3=1.415比特3Iq=1)=log4=2 比特I(a=2)=log4=2 比特2I(a=3)=log8=3 比特在發(fā)出的消息中，共有 14 個“0”符號，13 個“1”符號，12個“2”符號，6個“3”符號，則得到消息的自信息為：I=14x1.41S13-2 妝 2雀x6逐比特 8145個符號共攜帶 87.81比特的信息量，平均每個符號攜帶的信息量為I=87.81=.95比特/符號45注意：消息中平均每個符

5、號攜帶的信息量有別于離散平均無記憶信源平均每個符號攜帶的信息量，后者是信息熵，可計算得H(X)=乞P(x)logP(x)=1.91 比特/符號解：解：I(X;Y)=H(Y)-H(YIX)=H(Y)-工P(x)工P(yIx)log、XYP(y|x)-1111=H(Y)工P(x)plog+plog=H(Y)plog+plogX=H(Y)-H(p)由于由于P(y=0)=wp+(1-w)p=p+pP(y=1)=wp+(1-w)p=wp+wp所以所以I(X;Y)=H(Y-)H(p)_1_=(wp+wp)log+(wp+wp)logwp+wpwp+wp=H(wp+wp)-H(p)3、設(shè)某、設(shè)某(7,3)循

6、環(huán)碼，其生成多項式循環(huán)碼，其生成多項式g(x)=x4+x2+x+1(1) 列出其所有碼字，并求此碼的最小碼距；列出其所有碼字，并求此碼的最小碼距；(2) 寫出其系統(tǒng)循環(huán)碼的標準生成矩陣；寫出其系統(tǒng)循環(huán)碼的標準生成矩陣；(3) 寫出此碼的校驗多項式及標準校驗矩陣。寫出此碼的校驗多項式及標準校驗矩陣。解：解：(1)所有的碼字為：所有的碼字為：X1011_P(X)_ww=1-w11plog+plogpp2 2、對于二元對稱信道的輸入概率空間為、對于二元對稱信道的輸入概率空間為(0o1)。信道特性如右圖所示，求其平均互信息信道特性如右圖所示，求其平均互信息。014C 二(0000000)C 二(0010111)01C 二(0101110)2C 二(0111001)3C 二(1100101)C 二(1011100)45最小碼距最小碼距d 二 4min(2)系統(tǒng)循環(huán)碼的標準生成矩陣為：系統(tǒng)循環(huán)碼的標準生成矩陣為：C 二(1101101)6C=(1110010)7r1001011G二01011100010111得得