信息論試卷題目附標(biāo)準(zhǔn)答案

1、中國(guó)海洋大學(xué)20082009學(xué)年第一學(xué)期一、填空題（每空2分，共20分）1、 1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論.2、 信源編碼的目的是提高通信的有效性.信道編碼的最終目的是提高信號(hào)傳輸?shù)目煽啃?3、 離散平穩(wěn)無記憶信源的次擴(kuò)展信源的熵等于離散信源的熵的n倍.4、 對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼.5、 信道輸入與輸出間的平均互信息是信道轉(zhuǎn)移概率的 下凸 函數(shù)，是輸入概率的  上凸 函數(shù).6、 信道矩陣代表的信道的信道容量c=，達(dá)到信道容量的條件是輸入符號(hào)等概分布.7、 設(shè)某二進(jìn)制碼00011，10110，0

2、1101，11000，10010，10001，則碼的最小距離是2，假設(shè)碼字等概分布，則該碼的碼率為  0.517比特/符號(hào)，這時(shí)若通過二元對(duì)稱信道接收碼字為01100和00110時(shí)，應(yīng)譯為01101， 10110.矚慫潤(rùn)厲釤瘞睞櫪廡賴。二、判斷題（每題2分，共10分）1、必然事件和不可能事件的自信息量都是0 .（錯(cuò)）2、最大后驗(yàn)概率準(zhǔn)則與最大似然準(zhǔn)則是等價(jià)的.（錯(cuò)）3、如果信息傳輸速率大于信道容量，就不存在使傳輸差錯(cuò)率任意小的信道編碼.（對(duì)）4、連續(xù)信源和離散信源的熵都具有非負(fù)性.（錯(cuò)）5、相同功率的噪聲中，高斯噪聲使信道容量最小.（對(duì)）三、簡(jiǎn)答題（第1、2題各6分，第三題10分，共

3、22分）1、簡(jiǎn)述最大離散熵定理.對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是什么？答：最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大. (3分)最大熵值為 (3分)2、對(duì)于任意概率事件集x、y、z，證明下述三角不等式成立證：因?yàn)?，(3分)所以：(3分)所以原命題得證.3、什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求時(shí)率失真函數(shù)的和？答：1)保真度準(zhǔn)則為：平均失真度不大于允許的失真度.（3分）2)因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有（2分），而.（5分）四、計(jì)算題（第1、2、3題每題15分，第4題10分，共55分）1、黑白氣象傳真圖的消息只有黑色和白色兩種，求：（1）黑色出現(xiàn)的概率為0.3，

4、白色出現(xiàn)的概率為0.7.給出這個(gè)只有兩個(gè)符號(hào)的信源x的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求其熵.聞創(chuàng)溝燴鐺險(xiǎn)愛氌譴凈。答：（1）信源模型為 (5分)(5分)（2）由 （）(3分)可得得(3分)則 (4分)2、設(shè)有一離散信道，其信道矩陣為，求（1）最佳概率分布？（2）當(dāng)，時(shí)，求平均互信息和信道疑義度；（3）輸入為等概分布時(shí)，試寫出一譯碼規(guī)則，使平均譯碼錯(cuò)誤率最小，并求此.殘騖樓諍錈瀨濟(jì)溆塹籟。答：（1）是準(zhǔn)對(duì)稱信道，因此其最佳輸入概率分布為(2分

5、)(2)由已知的輸入概率空間和信道轉(zhuǎn)移概率，可求得輸出概率(2分)(2分)(2分)(2分)平均互信息(2分)(2分)信道疑義度(2分)(3)此時(shí)可用最大似然譯碼準(zhǔn)則，譯碼規(guī)則為，(2分)平均譯碼錯(cuò)誤率(2分)3、（共20分）某離散無記憶信源符號(hào)集為，所對(duì)應(yīng)的概率分別為：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，碼符號(hào)集為0，1，2，3.釅錒極額閉鎮(zhèn)檜豬訣錐。1）      求信源的熵h(x)及信源剩余度；（2+24分）信源的熵：      

6、60;                                                 

7、60;         （2分）信源剩余度：   （2分）2）      對(duì)其進(jìn)行四元huffman編碼；（5分），其中，若取，可得大于9但與9最接近的正整數(shù)10，因此在huffman編碼是加入一個(gè)零概率符號(hào).編碼為332；編碼為331；編碼為330；編碼為32；編碼為31；編碼為30；編碼為2；編碼為1；編碼為0彈貿(mào)攝爾霽斃攬磚鹵廡。3）      求平均碼長(zhǎng)，編碼效率及編碼器輸出的信息傳輸率（碼率）r.平均碼長(zhǎng)：碼元/信息符號(hào)（2分）編碼效率：0.9194（2分）信息傳輸速率：1.8388比特/符號(hào)（2分）4、已知加性高斯白噪聲(awgn，add itivewhite gaussian noise)信道，信號(hào)的帶寬范圍為3003400hz，信號(hào)與噪聲功率比為26db，（1）計(jì)算該信道的最大信息傳輸速率；（2）若信號(hào)與噪聲功率比降到10db，且保持信道最大信息傳輸速率不變，則信道帶寬應(yīng)該變?yōu)槎嗌?？謀蕎摶篋飆鐸懟類蔣薔。解：（1）計(jì)算該信道的最大信息傳輸速率；（5分）w=3400-300=3100hzsnr=26db=