信息論試卷題目及答案

第3頁(yè)/共5頁(yè)中國(guó)海洋大學(xué)2008—2009學(xué)年第一學(xué)期一、填空題（每空2分，共20分）1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。信源編碼的目的是提高通信的有效性。信道編碼的最終目的是提高信號(hào)傳輸?shù)目煽啃?。離散平穩(wěn)無記憶信源的次擴(kuò)展信源的熵等于離散信源的熵的N倍。對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼。信道輸入與輸出間的平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)，是輸入概率的

上凸函數(shù)。信道矩陣代表的信道的信道容量C=，達(dá)到信道容量的條件是輸入符號(hào)等概分布。設(shè)某二進(jìn)制碼｛00011，10110，01101，11000，10010，10001｝，則碼的最小距離是2，假設(shè)碼字等概分布，則該碼的碼率為

0.517比特/符號(hào)，這時(shí)若通過二元對(duì)稱信道接收碼字為01100和00110時(shí)，應(yīng)譯為01101，10110。。二、判斷題（每題2分，共10分）1、必然事件和不可能事件的自信息量都是0。（錯(cuò)）2、最大后驗(yàn)概率準(zhǔn)則與最大似然準(zhǔn)則是等價(jià)的。（錯(cuò)）3、如果信息傳輸速率大于信道容量，就不存在使傳輸差錯(cuò)率任意小的信道編碼。（對(duì)）4、連續(xù)信源和離散信源的熵都具有非負(fù)性。（錯(cuò)）5、相同功率的噪聲中，高斯噪聲使信道容量最小。（對(duì)）三、簡(jiǎn)答題（第1、2題各6分，第三題10分，共22分）1、簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是什么？答：最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。(3分)最大熵值為(3分)2、對(duì)于任意概率事件集X、Y、Z，證明下述三角不等式成立證：因?yàn)椋?3分)所以： (3分)所以原命題得證。3、什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求時(shí)率失真函數(shù)的和？答：1)保真度準(zhǔn)則為：平均失真度不大于允許的失真度。（3分）2)因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有（2分），而。（5分）四、計(jì)算題（第1、2、3題每題15分，第4題10分，共55分）1、黑白氣象傳真圖的消息只有黑色和白色兩種，求：（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求其熵。答：（1）信源模型為(5分)(5分)（2）由（）(3分)可得得 (3分)則(4分)2、設(shè)有一離散信道，其信道矩陣為，求（1）最佳概率分布？（2）當(dāng)，時(shí)，求平均互信息和信道疑義度；（3）輸入為等概分布時(shí)，試寫出一譯碼信息傳輸速率：1.8388比特/符號(hào)（2分）4、已知加性高斯白噪聲(AWGN，AdditiveWhiteGaussianNoise)信道，信號(hào)的帶寬范圍為300～3400Hz，信號(hào)與噪聲功率比為26dB，（1）計(jì)算該信道的最大信息傳輸速率；（2）若信號(hào)與噪聲功率比降到10dB，且保持信道最大信息傳輸速率不變，則信道帶寬應(yīng)該變?yōu)槎嗌?？解：?）計(jì)算該信道的最大信息傳輸速率；（5分）W=3400-300=3100HzSNR=26dB=398（2）