信息論基礎(chǔ)試卷及詳細(xì)答案

1、信息論基礎(chǔ)模擬試題命題者:08 級命題委員會小組高級顧問：韓海清一填空題1.某隨機(jī)變量集合有 n 個符號，其最大熵為logn（26 面）2.一個線性分組碼 c=000000,111111，該分組碼的糾錯個數(shù)為2（136 面）(提示：觀察兩個字符串不同數(shù)字的個數(shù)，設(shè)為 n，則糾錯個數(shù)為21n，在本題中 n=6，所以答案為 2)3.i(x;y),h(y),h(y|x)之間的關(guān)系為 i(x;y)=h(y)-h(y|x)， h(x),h(x|y)之間的關(guān)系為 h(x|y)h(x)（26，27 面）4.若信源符號數(shù)為 q，碼符號數(shù)為 r，對信源符號進(jìn)行編碼，相應(yīng)碼長度為qll.1，則異前置碼存在的充要條

2、件是：11=qilir(課本 88 面，kraft 定理)5.加性高斯白噪聲 （awgn） 信道實現(xiàn)可靠通信的信噪比的下界為 -1.59db （課本 173 面）6.一維高斯隨機(jī)變量集的熵為)2log(212e（注意是平均方差，而2是方差，69 面）7.一個加性高斯白噪聲（awgn）信道的噪聲的功率譜密度為20n，輸入信號平均功率限制為 p，信道的帶寬為 w，那么信道每單位時間的容量為 c=)1log(0wnpw+(169 面)8 在 bsc（二元對稱信道）中，錯誤率為 p，則其信道容量 c= 1-h(p)（121 面）9 差熵為 h（x）的連續(xù)隨機(jī)變量集合 x 的熵功率為2=)(221xhe

3、e（72 面）10.一個最小距離為 d 的二元分組碼能糾錯能力為21d（參考第二題）二判斷題1.對稱信道達(dá)到容量時，輸入概率和輸出概率唯一。（） （123 面）2.設(shè)試驗信道輸入符號321,aaa，概率分別為 1/3，1/3，1/3，失真矩陣為123312321，則3/5, 1maxmin=dd。 （） （186 面）3.若（x,y,z）為馬氏鏈，則（z,y,x）也是馬氏鏈。 （） （60 面）4.分組碼的最小距離就是其最小重量的非零碼字的重量。 （） （135 面， 應(yīng)該是線性分組碼）5.為有效抵抗加性高斯噪聲干擾，信道輸入應(yīng)該是高斯分布。 （） （164 面）6.信道疑義度始終為正。 （）

4、 （138 面，應(yīng)該是非負(fù)，可以為 0）7.信道輸入和輸出之間的平均互信息是下凸函數(shù)。 （） （29 面，應(yīng)該是上凸函數(shù)）8.信息處理過程中熵是不會增加的。 （） （26 面）9.典型序列信源符號出現(xiàn)的概率近似等于其頻率。 （） （86 面）10.若信道的輸入與輸出分別為 x,y，輸入符號的數(shù)目為 r，那么信道疑義度滿 足h(x|y)rppheelog)(+。 （） （138 面，應(yīng)該是 r-1）11.一個離散平穩(wěn)無記憶信道的極限熵等于最小平均熵。 （） （119 面）12.對于離散無記憶信道，達(dá)到容量時輸入概率分布是唯一的。 （） （123 面，不唯一）13.噪聲功率相同的加性信道中以高斯噪

5、聲信道容量最大。 （） （應(yīng)該是最?。?4.r(d)函數(shù)是平均失真函數(shù)的下凸函數(shù)。 （） （187 面）15.map 準(zhǔn)則是使譯碼平均錯誤率最小的準(zhǔn)則。 （） （132 面）16.任意兩個典型序列的聯(lián)合序列是典型序列。 （）17.與離散信源一樣，連續(xù)信源的平均互信息也具有對稱性和非負(fù)性。 （） （73 面）18.通過一一變換后，連續(xù)信源的差熵一定會變化。 （） （67 面，應(yīng)該是可能會變化）19.轉(zhuǎn)移概率矩陣不隨時間變化的馬氏鏈?zhǔn)瞧椒€(wěn)馬氏鏈。 （） （47 面，那是齊次馬氏鏈）20.rh存在無失真信源編碼。 （） （7 面，還有幾個類似的，如 rc存在譯碼差錯任意小的信道編碼；r)(dr存在平

6、均失真）三計算題1.給定離散無記憶信源的數(shù)學(xué)模型為=4/14/12/1321aaapx，求其二次擴(kuò)展源的熵)(2xh。 （40 面）解：)(2xh=2h(x)=22)41log41(21log21=3 比特/擴(kuò)展符號2.設(shè)直流平衡序列的滑動數(shù)字為 n，當(dāng) n=3 時寫出其連接矩陣并計算其容量。(219 面)解：當(dāng) n=3 時，連接矩陣為=0101010103d設(shè)3d的最大特征值為max，則其容量為c(3)=max2log=) 13(coslog2+=2log2=0.5 比特/符號3.一個二維獨立高斯信源（21xx） ，其中21,xx均值都為零，方差分別為 2 和 4，采用均方失真測度，求該信源

7、的 r(d)函數(shù)。 （201 面）解：如果21,xx都使用，有 b=2d/2 和 b2，得 d2r(d)=ddd22log214log412log41=+如果僅使用2x，有 b=2d-2 和 2b4，得 2d3r(d)=224log41d=12log21d由max2d=2+4，得maxd=3所求 r(d)函數(shù)：=3, 032 , ) 1/(2log)2/1 (20 ,22log)2/1 ()(ddddddr4.已知信道的轉(zhuǎn)移概率矩陣為2/16/13/13/12/16/16/13/12/1，現(xiàn)有兩種判決規(guī)則：規(guī)則 a：=332211)()()(abygabygabyg，規(guī)則 b：=233211)

8、()()(abygabygabyg設(shè)輸入等概率，求信道的疑義度和兩種譯碼規(guī)則下信道疑義度的上界。 （139 面）解：由于信道為強(qiáng)對稱信道，所以當(dāng)信道輸入等概率時，輸出也等概率，h(x)=h(y)。又因為h(x)-h(x|y)=h(y)-h(y|x)，所以信道疑義度：h(x|y)=h(y|x)=h(1/2,1/3,1/6)=61log6131log3121log21=3log21322+(bit)（1）對于規(guī)則 a，由于=3131)|(31)|()(1iiiiiiieabpabpapp=21331=1/2，所以ep=1/2，信道疑義度上界為：h(1/2)+(1/2)log2=1.5bit（2）對

9、于規(guī)則 b，由于=3131)|(31)|()(1iiiiiiieabpabpapp=)316121(31+=1/3，所以ep=2/3，信道疑義度上界為：h(2/3)+2/3log2=3log2（bit）5.設(shè) x 和 y 時分別具有均值yxmm,，方差22,yx的兩個獨立的高斯隨機(jī)變量集合，且u=2/ )(yx+，v=2/ )(yx，試求 h(uv)。 （70 面）解：依據(jù)題意有=yxvu22222222所以 h(uv)=h(xy)+log22222222det=log(yxe2)+log1=log(yxe2)6.設(shè)有一個二維獨立并聯(lián)高斯信道，兩個子信道的噪聲的方差分別為10, 12221=，

10、輸入信號的總能量為 e=6，求信道容量 c 和達(dá)到容量時的能量分配21,ee；若其他條件不變，將輸入信號的總能量改為 e=15，結(jié)果又是多少呢？（165 面）解：依題意得：=+=+=+61012121eebebe，該方程組無非負(fù)數(shù)解，為此，應(yīng)有方差大的子信道分配的能量為 0所以=+0121ebe7, 61=bec=)161log(21+=7log21總能量改為 e=15 時有：=+=1592121eeee有正數(shù)解1e=12,2e=3c=)1031log(21)121log(21+=10169log217.寫出錯誤率為 p 的二元對稱信道的轉(zhuǎn)移概率矩陣， 并計算其二次擴(kuò)展信道的轉(zhuǎn)移概率矩陣和容量

11、。 （121 面）解：該信道的轉(zhuǎn)移概率矩陣為pppp11二次擴(kuò)展信道的轉(zhuǎn)移概率矩陣為=pppppppp1111=22222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (pppppppppppppppppppppppp由于錯誤率為 p 的二元對稱信道的容量 c=1-h(p)，所以信道的二次擴(kuò)展信道容量為)(2222phcc=比特/符號8.一信道的轉(zhuǎn)移概率矩陣為3161316161613131， 求信道容量和達(dá)到容量時的輸出概率(112 面)解：設(shè)輸出概率分別為4321,qqqq。該信道為準(zhǔn)對稱信道，當(dāng)輸入等概率時達(dá)到信道容量可計算輸出概率為

12、1q=41)3161(21=+，31)3131(212=+=q，)6161(213+=q，414=q所以信道容量為c=)61,61,31,31()41,61,31,41(hh=2)61log61(2)31log31()41log4161log6131log3141log41(+=3log21652（比特/符號）四解答題1.一個二階馬氏鏈， 符號集 a=0， 1， 轉(zhuǎn)移概率為 p(0|00)=p(1|11)=0.8,p(1|00)=p(0|11)=0.2,p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5(1)確定所對應(yīng)的馬氏源的狀態(tài)，寫出狀態(tài)轉(zhuǎn)移矩陣；(2)若信源初始狀態(tài)分

13、布為平穩(wěn)分布，求 8 次擴(kuò)展源的熵；(3)求信源的符號熵；(4)求信源效率；(5)求信源剩余度。 （49，52，54 面）解：(1)馬氏源狀態(tài)為2a=11,10,01,003210=wwww狀態(tài)轉(zhuǎn)移矩陣為p=8 . 02 . 000005 . 05 . 05 . 05 . 000002 . 08 . 0(2)根據(jù)p可計算h=4321,hhhh，得：722. 02 . 0log2 . 08 . 0log8 . 041=hh15 . 0log5 . 05 . 0log5 . 032=hh由（4321）8 . 02 . 000005 . 05 . 05 . 05 . 000002 . 08 . 0=

14、（4321）及14321=+得狀態(tài)平穩(wěn)分布為：4321=5/14 1/7 1/7 5/14對應(yīng)狀態(tài)平穩(wěn)分布的熵為h()=)7/1log()7/1 (2)14/5log()14/5(2=1.863bit所以 8 次擴(kuò)展源的熵為h(821.xxx)=h()+(8-2)ht=1.863+2)5 . 0log5 . 05 . 0log5 . 0(712)2 . 0log2 . 08 . 0log8 . 0(145 6+=6.669 比特/符號(3)根據(jù)前面，得馬氏信源熵為)(hxht=2)54. 0log5 . 05 . 0log5 . 0(712)21. 0log2 . 08 . 0log8 . 0(145+=0.801 比特/符號(4)信源效率0