信息科學基礎2012A卷及答案匯總

A卷（共14頁）第4頁河北科技大學2012——2013學年第一學期《信息科學基礎》試卷（A）學院理學院班級姓名學號題號一二總分得分得分一、簡答題（共8題，每題5分）如有6行8列的棋型方格，若有兩個質點A和B，分別以等概率落入任一方格內，且它們的坐標分別為、，但A，B不能落入同一方格內。試求：若僅有質點A，求A落入任一個格的平均自信息量；若已知A已入，求B落入的平均自信息量；若A，B是可分辨的，求A，B同時落入的平均自信息量。2．設離散無記憶信源為求信源的熵，并解釋為什么不能滿足信源的極值性。3.令離散無記憶信源（1）求對S的最佳二元碼、平均碼長和編碼效率；（2）求對的最佳二元碼、平均碼長和編碼效率。4.解釋最小錯誤概率譯碼準則，最大似然譯碼準則和最小距離譯碼準則，說明三者的關系。5.一個馬爾可夫過程的基本符號0,1,2，這三個符號以等概率出現(xiàn)，具有相同的轉移概率，并且沒有固定約束。（1）畫出單純馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的馬爾可夫信源熵；求的聯(lián)合熵和平均符號熵；求這個鏈的極限平均符號熵；求，，和它們對應的冗余度。3.設有一離散信道，其信道矩陣為，求：（1）最佳概率分布？（2）當，時，求平均互信息信道疑義度（3）輸入為等概率分布時，試寫出一譯碼規(guī)則，使平均譯碼錯誤率最小，并求此4.設線性分組碼的生成矩陣為，求：（1）此（n，k）碼的n=？k=？，寫出此（n，k）碼的所有碼字。（2）求其對應的一致校驗矩陣H。（3）確定最小碼距，問此碼能糾幾位錯？列出其能糾錯的所有錯誤圖樣和對應的伴隨式。（4）若接收碼字為000110，用伴隨式法求譯碼結果。5.某氣象員報告氣象狀態(tài)，有四種可能的消息：晴、云、雨和霧。若每個消息是等概的，那么發(fā)送每個消息最少需要的二元脈沖數(shù)是多少？又若4個消息出現(xiàn)的概率分別為，問在此情況下消息所需的二元脈沖數(shù)是多少？如何編碼？6.假定離散矢量信源N=3，輸出矢量序列為，其中，的取值為{0,1}；經(jīng)信源傳輸后的輸出為，其中，的取值為{0,1}。定義失真函數(shù)求矢量失真矩陣。河北科技大學2011——2012學年第一學期《信息科學基礎》答案（A）簡答題（共8題，每題5分）1.（1）答：A落入任一格的概率為平均自信息量（2）答：A落入后，B再落入的概率（3）答：A，B同時落地的聯(lián)合熵2.答：由定義，信源的熵信源的概率分布要求滿足，而此題中。即各種可能發(fā)生的情況下，概率之和大于“1”，在實際情況下這是不可能發(fā)生的。3.（1）答：采用霍夫曼方法進行編碼，得：1：00=01平均碼長為(碼元/信源符號)編碼效率為（2）答：霍夫曼編碼后：10：001：010：110：111：0000：0001：0110：0111平均碼長為（碼元/信源符號）信源熵為（bit/信源符號）編碼效率為

4.答：最小錯誤概率譯碼準則下，將接收序列譯為后驗概率最大時所對應的碼字。

最大似然譯碼準則下，將接收序列譯為信道傳遞概率最大時所對應的碼字。

最小距離譯碼準則下，將接收序列譯為與其距離最小的碼字。

三者關系為：輸入為等概率分布時，最大似然譯碼準則等效于最小錯誤概率譯碼準則。在二元對稱無記憶信道中，最小距離譯碼準則等效于最大似然譯碼準則。

5.（1）答：每個狀態(tài)發(fā)出三條轉移線，等概率出現(xiàn)。即每條轉移線的轉移概率為1/3，穩(wěn)定狀態(tài)下，三個狀態(tài)的概率也為1/3。每一狀態(tài)的熵穩(wěn)定狀態(tài)下的馬爾可夫信源熵為(2)答：有九個不同狀態(tài)，27條轉移線。9個不同狀態(tài)分別為00,01,02,10,11,12,20,21,22。每一狀態(tài)的熵為又知二階馬爾可夫每一狀態(tài)的概率為，所以二階馬爾可夫信源熵為6.答：無記憶的N次擴展信道的平均互信息是原信道平均互信息的N倍。

7.答：平均自信息為

表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。

平均互信息為

表示從Y獲得的關于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。平均互信息量I（X;Y）是信源概率分布p(x)的上凸函數(shù)，是信道傳遞概率p(y|x)的下凸函數(shù)。

8.答：是遍歷的，p*p*p矩陣的所有元素全是正數(shù)，說明這個馬爾可夫鏈存在平穩(wěn)分布，是遍歷的。

二、綜合題（共6題，每題10分）1.答：（1）該信源的狀態(tài)轉移矩陣為（2）W=[W1,W2,W3,W4],其中W1=p(S1),W2=p(S2),W3=p(S3),W4=p(S4),由平穩(wěn)分布的矩陣方程WP=W,以及p(S1)+p(S2)+p(S3)+p(S4)=1，可以得到平穩(wěn)分布為：p(S1)=p(S4)=5/14,p(S2)=p(S3)=1/7.(3)該平穩(wěn)分布的信源熵H=p(S1)*H(0.8,0.2)+p(S2)*H(0.5,0.5)+p(S3)*H(0.5,0.5)+p(S4)*H(0.8,0.2)=0.8bit/符號。2.（1）答：信源是一階馬爾可夫的，所以由知的聯(lián)合概率為1231231/41/61/61/801/121/81/120因此由知的聯(lián)合概率為1231237/245/365/367/4805/727/485/720的聯(lián)合熵為平均符號熵為（2）答：設信源穩(wěn)態(tài)符號概率分布，由解得信源的極限平均符號熵（3）三個熵分別為由冗余度的計算公式，得它們的冗余度分別為，，3.答：1）是準對稱信道，因此其最佳輸入概率分布為。

2）當，時，有

則

3）此時可用最大似然譯碼準則，譯碼規(guī)則為

且有

4.答：1）n=6，k=3，由C=mG可得所有碼字為：

000000，001011，010110，011101，100101，101110，110011，111000

2）此碼是系統(tǒng)碼，由G知，，則

3）由H可知，其任意2列線性無關，而有3列線性相關，故有，能糾一位錯。

錯誤圖樣E伴隨式

100000101

010000110

001000011

000100100

000010010

000001001

4）由知E＝010000，則5.答：至少需要二位二進制編碼元來發(fā)送4個等概率發(fā)生的信息晴-00云-01雨-10霧-114個信息的概率恰好是2的負整數(shù)冪，