信息論試卷題目及答案參考

1、文檔供參考，可復(fù)制、編制，期待您的好評與關(guān)注！ 中國海洋大學(xué)20082009學(xué)年第一學(xué)期一、填空題（每空2分，共20分）1、 1948年，美國數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。2、 信源編碼的目的是提高通信的有效性。信道編碼的最終目的是提高信號傳輸?shù)目煽啃浴?、 離散平穩(wěn)無記憶信源的次擴(kuò)展信源的熵等于離散信源的熵的N倍。4、 對于香農(nóng)編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼。5、 信道輸入與輸出間的平均互信息是信道轉(zhuǎn)移概率的 下凸 函數(shù)，是輸入概率的  上凸 函數(shù)。6、 信道矩陣代表的信道的信道容量C=，達(dá)到信道容量的條件是輸入符號等

2、概分布。7、 設(shè)某二進(jìn)制碼00011，10110，01101，11000，10010，10001，則碼的最小距離是2 ，假設(shè)碼字等概分布，則該碼的碼率為  0.517比特/符號 ，這時若通過二元對稱信道接收碼字為01100和00110時，應(yīng)譯為01101 ， 10110 。二、判斷題（每題2分，共10分）1、必然事件和不可能事件的自信息量都是0 。（錯）2、最大后驗概率準(zhǔn)則與最大似然準(zhǔn)則是等價的。（錯）3、如果信息傳輸速率大于信道容量，就不存在使傳輸差錯率任意小的信道編碼。（對）4、連續(xù)信源和離散信源的熵都具有非負(fù)性。（錯）5、相同功率的噪聲中，高斯噪聲使信道容量最小。（對）三、簡答

3、題（第1、2題各6分，第三題10分，共22分）1、簡述最大離散熵定理。對于一個有m個符號的離散信源，其最大熵是什么？答：最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。 (3分)最大熵值為 (3分)2、對于任意概率事件集X、Y、Z，證明下述三角不等式成立證：因為 ，(3分)所以：(3分)所以原命題得證。3、什么是保真度準(zhǔn)則？對二元信源，其失真矩陣，求時率失真函數(shù)的和？答：1)保真度準(zhǔn)則為：平均失真度不大于允許的失真度。（3分）2)因為失真矩陣中每行都有一個0，所以有（2分），而。（5分）四、計算題（第1、2、3題每題15分，第4題10分，共55分）1、黑白氣象傳真圖的消息只有黑色和白色兩

4、種，求：（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源X的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求其熵。答：（1）信源模型為 (5分)(5分)（2）由 （）(3分)可得 得(3分)則 (4分)2、設(shè)有一離散信道，其信道矩陣為，求（1）最佳概率分布？（2）當(dāng)，時，求平均互信息和信道疑義度；（3）輸入為等概分布時，試寫出一譯碼規(guī)則，使平均譯碼錯誤率最小，并求此。答：（1）是準(zhǔn)對稱信道，因此其最佳輸入概率分布為(2分)(

5、2)由已知的輸入概率空間和信道轉(zhuǎn)移概率，可求得輸出概率 (2分) (2分)(2分)(2分)平均互信息(2分)(2分)信道疑義度(2分)(3)此時可用最大似然譯碼準(zhǔn)則，譯碼規(guī)則為， (2分)平均譯碼錯誤率 (2分)3、（共20分）某離散無記憶信源符號集為 ，所對應(yīng)的概率分別為：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，碼符號集為0，1，2，3。1）      求信源的熵H(X)及信源剩余度 ；（2+24分）信源的熵：       

6、0;                                                 

7、0;        （2分）信源剩余度：    （2分）2）      對其進(jìn)行四元Huffman編碼；（5分），其中 ，若取 ，可得大于9但與9最接近的正整數(shù)10，因此在Huffman編碼是加入一個零概率符號。編碼為332； 編碼為331； 編碼為330； 編碼為32； 編碼為31； 編碼為30； 編碼為2； 編碼為1； 編碼為03）      求平均碼長 ，編碼效率 及編碼器輸出的信息傳輸率（碼率）R。平均碼長：碼元/信息符號（2分）編碼效率： 0.9194（2分）信息傳輸速率： 1.8388比特/符號（2分）4、已知加性高斯白噪聲(AWGN，Add itiveWhite Gaussian Noise)信道，信號的帶寬范圍為3003400Hz，信號與噪聲功率比為26 dB，（1）計算該信道的最大信息傳輸速率；（2）若信號與噪聲功率比降到10dB，且保持信道最大信息傳輸速率不變，則信道帶寬應(yīng)該變?yōu)槎嗌?？解：?）計算該信道的最大信息傳輸速率；（5分）W=3400-300=