信息論編碼模擬試題二及參考答案

1、模擬試題一一、概念簡做題共 10題,每題5分1 .簡述離散信源和連續(xù)信源的最大嫡定理.答：離散無記憶信源,等概率分布時嫡最大.連續(xù)信源,峰值功率受限時,均勻分布的嫡最大.平均功率受限時,高斯分布的嫡最大.均值受限時,指數(shù)分布的嫡最大.2 .什么是平均自信息信息嫡什么是平均互信息比較一下兩個概念的異同之處.3 .解釋等長信源編碼定理和無失真變長信源編碼定理,說明對于等長碼和變長碼,最正確碼的每符號平均碼長最小為多 少編碼效率最高可達多少.答:等長信源編碼定理：對于任意匕只要L,那么當L足夠長時必可使譯碼過失 ,自變長信源編碼定理：只要L 幼取,一定存在一種無失真編碼. j ,等長碼和變長碼的最小

2、平均碼長均為%* 編碼效率最高可達100%.4 .解釋最小錯誤概率譯碼準那么,最大似然譯碼準那么和最小距離譯碼準那么,說明三者的關系.答：最小錯誤概率譯碼準那么下,將接收序列譯為后驗概率最大時所對應的碼字.最大似然譯碼準那么下,將接收序列譯為信道傳遞概率最大時所對應的碼字.最小距離譯碼準那么下,將接收序列譯為與其距離最小的碼字.三者關系為：輸入為等概率分布時,最大似然譯碼準那么等效于最小錯誤概率譯碼準那么.在二元對稱無記憶信道中,最 小距離譯碼準那么等效于最大似然譯碼準那么.5 .設某二元碼字 C=111000 , 001011, 010110, 101110,假設碼字等概率分布,計算此碼的編

3、碼效率采用最小距離譯碼準那么,當接收序列為110110時,應譯成什么碼字1 泡 41；7 =-=-.答：1632令接收序列為 ,那么有 _ _ _,. 秒 =2 ,故假設收序列應譯為 010110.J“山 上PIS = 0.4,產(chǎn)=06 人6 .平穩(wěn)二元信源,它在任意時間,不管以前發(fā)出過什么符號,都按 J發(fā)出符號,求火片,和平均符號嫡蚣f 一HH 凡= 0.971 萬符號lim 工發(fā)(工XQ = Km 工X(X) = H(X) = 097) 加符號7 .分別說明信源的概率分布和信道轉移概率對平均互信息的影響,說明平均互信息與信道容量的關系.答：平均互信息相對于信源概率分布為上凸函數(shù),相對于信道

4、傳遞概率分布為下凹函數(shù).平均互信息的最大值為信道 容量.13P(=-tP(l) = -r8 .二兀無記憶信源,有44求：(1)某一信源序列由100個二元符號組成,其中有 m個“1；求其自信息量?(2)求100個符號構成的信源序列的嫡.答rJ(ct) = Tog.尸=200 -32)H徒嗎=100笈=81128期/序列9 .求以下三個信道的信道容量：E-Pl0Pa答：P1為一一對應確定信道,因此有G=maxH(X)=l.殳 4=2 加符號OP2為具有歸并性能的信道,因此有C2=max H(Y)=log33=1.5995 瓦符號P3為具有發(fā)散性能的信道,因此有QFaxH(X)=loga3=1 59

5、95 ?/符號10.一(3, 1, 3)卷積碼編碼器,輸入輸出關系為:V 式0 =以 +(1-1)十以 2) +以q 3)y式1)=+ u(l - 2) + u(l - 3)試給出其編碼原理框圖.答：二、綜合題(共 5題,每題10分)1.二元平穩(wěn)馬氏鏈, P (0/0) =0.9, P (1/1) =0.8,求:(1)求該馬氏信源的符號嫡.得極限概率:2 尸.j F(D = 1信源模型為000 001010 on0.54 0.06 0,013 0.053一種編碼結果依信源模型中的序列次序為3)_1 我三1工產(chǎn)為法= 0 682初符號100 1010.06 0,0070,11, 1001,110

6、0.0531010,1110.3131011, 10000, 100010, 100011JC loSi2-81 1%ro.72.設有一離散信道,其信道矩陣為11最正確概率分布0.201 引,求:當PW =.-7 , P叼=0-3時,求平均互信息X；信道疑義度3輸入為等概率分布時,試寫出一譯碼規(guī)那么,使平均譯碼錯誤率*后最小,并求此為=.答：1是準對稱信道,因此其最正確輸入概率分布為尸(/)=(xa) = 0.52每三個符號合成一個來編二進制Huffman碼,試建立新信源的模型,給出編碼結果.3求每符號對應的平均碼長和編碼效率.尸(0) = F(0*(0/ 0) + 尸尸(0/ DF(0) +

7、 F(l) = 1那么符號嫡為 :12新信源共8個序列,各序列的概率為PXM&AF冷尸吹勾尸陰工名鞏乃)=0 55 (%)=0.1 中5AQ35版符號,p(x.) - 0.7 必右)-0 .3 ,2)當尸】 ,尸時, 那么一 ：；H(XfY) = H(X) 3(星/ Y) = 0.73此時可用最大似然譯碼準那么,譯碼規(guī)那么為P* =EP iy.) = -0.2 + 0.1 + 0.2 = 0 25且有3.設線性分組碼的生成矩陣為(1)(2)(3)(4)此n, k碼的n=?求其對應的一致校驗矩陣k=?,寫出此Hon, k碼的所有碼字.確定最小碼距,問此碼能糾幾位錯列出其能糾錯的所有錯誤圖樣和對應

8、的伴隨式.假設接收碼字為 000110,用伴隨式法求譯碼結果.答：1) n=6, k=3 ,由C=mG可得所有碼字為：000000 , 001011, 010110 , 011101, 100101, 101110, 110011, 1110001101001100110102)此碼是系統(tǒng)碼,由G知,01110W013)由H可知,其任意2列線性無關,而有, 一一d . = 3 ,.3列線性相關,故有 “mm ,能糾一位錯.錯誤圖樣伴隨式1011100111000100014.二元對稱信道的信道矩陣為0.1 0.9,信道傳輸速度為 1500二元符號/秒,設信源為等概率分布,信源消息序列10000

9、00100000010000001000000100000014)由3=療/=10 知 E = 010000,那么 r = , g = CH011 口0.9 0.11共有1.答:1信道容量為13000個二元符號,問：試計算能否在10秒內(nèi)將信源消息序列無失真?zhèn)魉屯?(2)假設信源概率分布為P=07中=0-3,求無失真?zhèn)魉鸵陨闲旁聪⑿蛄兄辽傩枰嚅L時間?一百廣 q白白以 13000x0 5, 0 5 = 13000 bit信源序列信息量為而“七一告犯/上節(jié)%白白必1500x 10x0 531 - 7965 bit而10秒內(nèi)信道能傳遞的信息量為 故不能無失真地傳送完.、,、后/、白白不 13000x0.3,0,7 = 11456 77 bit2此時信源序列信息量為史=尸均=04558拉打符號W尸鉆信息傳輸率為Jt-lT1 I = 16 756 秒那么 0.4558x15005.7, 4循環(huán)碼的生成多項式g=工+天+ 1 ,求: 1求該碼的編碼效率(2)求其對應的一致校驗多項式砥自引(3)寫出該碼的生成矩陣,校驗矩陣