信息論試卷題目及答案

中國海洋大學(xué)2008—2009學(xué)年第一學(xué)期一、填空題（每空2分，共20分）1、1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。2、信源編碼的目的是提高通信的有效性。信道編碼的最終目的是提高信號傳輸?shù)目煽啃浴?、離散平穩(wěn)無記憶信源的次擴(kuò)展信源的熵等于離散信源的熵的N倍。4、對于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼。5、信道輸入與輸出間的平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)，是輸入概率的上凸函數(shù)。6、信道矩陣代表的信道的信道容量C=，達(dá)到信道容量的條件是輸入符號等概分布。7、設(shè)某二進(jìn)制碼｛00011，10110，01101，11000，10010，10001｝，則碼的最小距離是2，假設(shè)碼字等概分布，則該碼的碼率為0.517比特/符號，這時(shí)若通過二元對稱信道接收碼字為01100和00110時(shí)，應(yīng)譯為01101，10110。。二、判斷題（每題2分，共10分）1、必然事件和不可能事件的自信息量都是0。（錯(cuò)）2、最大后驗(yàn)概率準(zhǔn)則與最大似然準(zhǔn)則是等價(jià)的。（錯(cuò)）3、如果信息傳輸速率大于信道容量，就不存在使傳輸差錯(cuò)率任意小的信道編碼。（對）4、連續(xù)信源和離散信源的熵都具有非負(fù)性。（錯(cuò)）5、相同功率的噪聲中，高斯噪聲使信道容量最小。（對）三、簡答題（第1、2題各6分，第三題10分，共22分）1、簡述最大離散熵定理。對于一個(gè)有m個(gè)符號的離散信源，其最大熵是什么？答：最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。(3分)最大熵值為(3分)2、對于任意概率事件集X、Y、Z，證明下述三角不等式成立證：因?yàn)椋?3分)所以：

(3分)所以原命題得證。3、什么是保真度準(zhǔn)則？對二元信源，其失真矩陣，求時(shí)率失真函數(shù)的和？答：1)保真度準(zhǔn)則為：平均失真度不大于允許的失真度。（3分）2)因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有（2分），而。（5分）四、計(jì)算題（第1、2、3題每題15分，第4題10分，共55分）1、黑白氣象傳真圖的消息只有黑色和白色兩種，求：（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號的信源X的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求其熵。答：（1）信源模型為(5分)(5分)（2）由（）(3分)可得得(3分)則

(4分)2、設(shè)有一離散信道，其信道矩陣為，求（1）最佳概率分布？（2）當(dāng)，時(shí)，求平均互信息和信道疑義度；（3）輸入為等概分布時(shí)，試寫出一譯碼規(guī)則，使平均譯碼錯(cuò)誤率最小，并求此。答：（1）是準(zhǔn)對稱信道，因此其最佳輸入概率分布為(2分)(2)由已知的輸入概率空間和信道轉(zhuǎn)移概率，可求得輸出概率(2分)(2分)

(2分)

(2分)平均互信息(2分)(2分)信道疑義度(2分)(3)此時(shí)可用最大似然譯碼準(zhǔn)則，譯碼規(guī)則為，，

(2分)平均譯碼錯(cuò)誤率(2分)3、（共20分）某離散無記憶信源符號集為，所對應(yīng)的概率分別為：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，碼符號集為{0，1，2，3}。1）求信源的熵H(X)及信源剩余度；（22＝4分）信源的熵：

（2分）信源剩余度：（2分）2）對其進(jìn)行四元Huffman編碼；（5分），其中，若取，可得大于9但與9最接近的正整數(shù)10，因此在Huffman編碼是加入一個(gè)零概率符號。編碼為332；編碼為331；編碼為330；編碼為32；編碼為31；編碼為30；編碼為2；編碼為1；編碼為03）求平均碼長，編碼效率及編碼器輸出的信息傳輸率（碼率）R。平均碼長：碼元/信息符號（2分）編碼效率：0.9194（2分）信息傳輸速率：1.8388比特/符號（2分）4、已知加性高斯白噪聲(AWGN，AdditiveWhiteGaussianNoise)信道，信號的帶寬范圍為300～3400Hz，信號與噪聲功率比為26dB，（1）計(jì)算該信道的最大信息傳輸速率；（2）若信號與噪聲功率比降到10dB，且保持信道最大信息傳輸速率不變，則信道帶寬應(yīng)該變?yōu)槎嗌伲拷猓海?）計(jì)算該信道的最大信息傳輸速率；