信息論考試卷與答案

1、考試科目名稱：信息論一. 單選（每空2分，共20分）1. 一個(gè)m位的二進(jìn)制數(shù)的自信息量為（ A ）Am bitB1 bitCD2. 信源編碼的目的是（ A ）A提高通信有效性B提高信息傳輸?shù)目煽啃訡提高通信系統(tǒng)的安全性D壓縮信源的冗余度3. 下面屬于最佳變長(zhǎng)編碼的是（ C ）A算術(shù)編碼和游程編碼B香農(nóng)編碼和游程編碼C哈夫曼編碼和費(fèi)諾編碼D預(yù)測(cè)編碼和香農(nóng)編碼4. 表中符合即時(shí)碼的是（ A ）和（ D ）5. 下列各量可能為負(fù)值的是（ B ）A自信息量B互信息量C信息熵D平均互信息量6. 聯(lián)合熵H（XY）與熵H（X）及條件熵H（X/Y）之間存在關(guān)系錯(cuò)誤的是（ D ）AH（XY）H（X）H（YX）B

2、若X和Y相互獨(dú)立，H（Y）=H（YX）CH（XY）H（Y）H（XY）DH（XY）H（X）H（XY）7. 已知發(fā)送26個(gè)英文字母（包括空格），其最大信源熵（發(fā)送概率相等）為H0 = log27 = 4.76比特/符號(hào)；在字母發(fā)送概率不等時(shí)，其信源熵為H1 = 4.03比特/符號(hào)；考慮字母之間相關(guān)性時(shí)，其信源熵為H2 = 3.32比特/符號(hào)；以此類推，極限熵 H =1.4比特/符號(hào)。問若用一般傳送方式，冗余度為（ B ）A0.58B0.71C0.65D0.298. 某信道傳遞矩陣為 ，其信道容量為（ D ）ABCD9. 下列各圖所示信道是對(duì)稱信道的是（ C ）ABCD二. 綜合（共80分）1. （

3、10分）試畫出通信系統(tǒng)的模型，并敘述各部分的定義和作用。解：（5分）（1）. 信源：發(fā)送消息的源。主要分為離散信源和模擬信源。（0.5分）（2）. 信宿：信息歸宿之意，亦即收信者或用戶，是信息傳送的終點(diǎn)或目的地。（0.5分）（3）. 信道：傳輸信息的物理媒介 （0.5分）（4）. 信源編碼和譯碼（1分）信源編碼是把信源發(fā)出的消息變換成由二進(jìn)制碼元(或多進(jìn)制碼元)組成的代碼組,這種代碼組就是基帶信號(hào)。同時(shí)通過信源編碼可以壓縮信源的冗余度,以提高通信系統(tǒng)傳輸消息的效率。 信源編碼器分為兩類：一類是無失真信源編碼,適用于離散信源或數(shù)字信號(hào)；另一類是限失真信源編碼,用于連續(xù)信源或模擬信號(hào),如語音、圖像

4、等信號(hào)的數(shù)字處理。信源編碼器的主要指標(biāo)：編碼效率，即理論上能達(dá)到的碼率與實(shí)際達(dá)到的碼率之比。效率越高，編譯碼器的代價(jià)也將越大。 信源譯碼：是把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當(dāng)于信源編碼器的逆過程。（5）. 信道編碼和譯碼（1分）主要作用是提高信息傳送的可靠性。信道編碼器的作用：在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元,使之具有檢錯(cuò)或糾錯(cuò)的能力。信道編碼的主要方法：增大碼率或頻帶,即增大所需的信道容量。這恰與信源編碼相反。信道譯碼器的作用：具有檢錯(cuò)或糾錯(cuò)的功能,它能將落在其檢錯(cuò)或糾錯(cuò)范圍內(nèi)的錯(cuò)傳碼元檢出或糾正,以提高傳輸消息的可靠性。（6）. 加密編碼和譯

5、碼（1分）隱蔽消息中的信息內(nèi)容,使它在傳輸過程中不被竊聽.提高通信系統(tǒng)的安全性。（7）. 密鑰（0.5分）明文轉(zhuǎn)換為密文或?qū)⒚芪霓D(zhuǎn)換為明文的算法中輸入的數(shù)據(jù)。2. （15分）有一個(gè)二元二階馬爾可夫信源,其信源符號(hào)集為0，1，已知符號(hào)條件概率：p(0|00) = 1/2 p(1|00)=1/2p(0|01) = 1/3 p(1|01)=2/3p(0|10) = 1/4 p(1|10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：（1）. 試寫出信源狀態(tài)轉(zhuǎn)移概率矩陣；（2）. 畫出完整的二階馬爾可夫信源香農(nóng)線圖；（3）. 試求平穩(wěn)分布概率。解：（1）. 符號(hào)條件概率矩陣狀態(tài)轉(zhuǎn)移概率

6、矩陣（5分） （2）.（5分）（3）. 平穩(wěn)分布概率（5分）3. （15分）一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為2MHz，信道上存在白色高斯噪聲。（1）. 已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）. 信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）. 若信道的通頻帶減少至1MHz時(shí)，要保持相同的信道容量，信道通頻帶應(yīng)為多大？解：（1）. 已知SNR=10 （5分）（2）. 若SNR=5，C=6.919Mbit/s；W=2.68MHz（5分）（3）. 若W=1MHz，C=6.919Mbit/s；SNR=121（5分）4.

7、（20分）信源符號(hào)X有6種字母，概率為0.22，0.32，0.18，0.08，0.04，0.16。（1）. 求符號(hào)熵H（X）；（2）. 用香農(nóng)（Shannon）編碼法編成二進(jìn)制變長(zhǎng)碼，求出平均碼長(zhǎng)和編碼效率；（3）. 用費(fèi)諾（Fano）編碼法編成二進(jìn)制變長(zhǎng)碼，求出平均碼長(zhǎng)和編碼效率；（4）. 用哈夫曼（Huffma）編碼法編成二進(jìn)制變長(zhǎng)碼，求出平均碼長(zhǎng)和編碼效率。解：（1）. （5分）（2）. 香農(nóng)編碼法編成二進(jìn)制變長(zhǎng)碼（5分）信源符號(hào)符號(hào)概率p(ai)累加概率Pi平均碼長(zhǎng)碼字a20.320200a10.220.323010a30.180.543100a60.160.723101a40.080

8、.8841110a50.040.96511110010，00，100，1110，11110，101（3）. 費(fèi)諾編碼法編成二進(jìn)制變長(zhǎng)碼（5分）信源符號(hào)符號(hào)概率p(ai)第1分組第2分組第3分組第4分組平均碼長(zhǎng)碼字a20.3200200a10.221201a30.1810210a60.16103110a40.081041110a50.0414111101，00，10，1110，1111，110（4）. 哈夫曼編碼法編成二進(jìn)制變長(zhǎng)碼（5分）10，00，11， 0110，0111，010信源符號(hào)符號(hào)概率p(ai)第1分組第2分組第3分組第4分組 碼長(zhǎng)碼字a20.320.320.320.40

9、10.6200a10.220.220.28010.320.4210a30.180.18010.220.28 211a60.16010.160.18  3010a4010.080.12  40110a50.04  401115. （20分）具有符號(hào)集的二元信源，信源發(fā)生概率為：。Z信道如圖 所示，接收符號(hào)集，轉(zhuǎn)移概率為：。發(fā)出符號(hào)與接收符號(hào)的失真：。（1）. 計(jì)算平均失真；（2）. 率失真函數(shù)R(D)的最大值是什么？當(dāng)q為什么值時(shí)可達(dá)到該最大值？此時(shí)平均失真是多大？（3）. 率失真函數(shù)R(D)的最小值是什么？當(dāng)q為什么值時(shí)可達(dá)到該最小值？此時(shí)平均失真是多大？（4）. 畫出R(D)-D曲線。解：（1）. 已知信源符號(hào)概率；轉(zhuǎn)移概率矩陣；失真矩陣；聯(lián)合概率矩陣；。（