信息論基礎(chǔ)B卷及答案

1、試卷評(píng)分標(biāo)準(zhǔn)及標(biāo)準(zhǔn)答案:號(hào)座 ：fe教te考（2013 2014學(xué)年度第1學(xué)期）信息論基礎(chǔ)課程（A 口 /B直|卷）:課程代碼：0410712501考核形式閉卷考試考核日期2 0年月日考核時(shí)長(zhǎng)1 2 0 分鐘命題教師簽名教研室主任簽名主管系領(lǐng)導(dǎo)簽名.級(jí)班、業(yè)專(zhuān)、級(jí)年訂題號(hào)*二四五總分分0 0鬼導(dǎo)分統(tǒng)分人核分人得分評(píng)卷人一、選擇題（本大題共6小題，每小題3分，共18分）.卻家 .名姓 ：號(hào)學(xué)1.有一信源X,其概率分布為X x x1231/4 1/8 1/841/2J,若對(duì)該信源進(jìn)行二次擴(kuò)展，則每二個(gè)符號(hào)的平均信息量是（A ）A. 3.5bit B. 1-5bit c.

2、1.75bit D. 3bit12.信源的概率密度為03 x B. C. = D,不確定馬氏源的轉(zhuǎn)移概率如圖所示，則其所對(duì)應(yīng)的概率轉(zhuǎn)移矩陣為（C ）1/31/3 2/30、C. 01/2 1/2J/ 201/ 2?1/ 201/2、A. 01/21/2J/302/3/1/ 201/2、D. 01/21/2J/3 2/30/1/ 2 11/2、B. 1/2 1/2 1/2J/302/3/得分 評(píng)卷人二、填空題（本大題共5小題，每小題3分，共15分）信源編碼的主要目的是提高有效性 ，信道編碼的主要目的是提高可靠性。無(wú)失真信源編碼定理（香農(nóng)第一定理），可以簡(jiǎn)述為：存在無(wú)失真信源編碼的充分必要 條件是

3、R2H（X）（或信源編碼碼率R不小于信源的嫡H （X）。二進(jìn)制信源的最小嫡為0,最大嫡為Ibit/符號(hào)（或log2bit/符號(hào)）。1一維高斯隨機(jī)變量集的嫡為log（2兀22）。得分評(píng)卷人一個(gè)線性分組碼C =0000000,1111111,該分絹.碼的糾錯(cuò)個(gè)數(shù)為3三、判斷題（本大題共5小題，每小題2分，共10分）對(duì)定長(zhǎng)碼而言，只要非奇異，就唯一可譯。(V )與離散信源一樣，連續(xù)信源的差嫡具有非負(fù)性。(X )對(duì)于離散無(wú)記憶對(duì)稱(chēng)信道達(dá)到容量時(shí)，輸入概率與輸出概率唯一。(V )MAP準(zhǔn)則是使譯碼平均錯(cuò)誤率最小的準(zhǔn)則。(V )轉(zhuǎn)移概率矩陣不隨時(shí)間變化的馬氏鏈?zhǔn)瞧椒€(wěn)馬氏鏈。(X得分評(píng)卷人四、計(jì)算題(本大題

4、共5小題,每小題9分，共45分)p(OIOO)=p(llll)=O.8,1. 一個(gè)二階馬氏鏈，符號(hào)集A=0, 1,轉(zhuǎn)移概率 p(ll00)=p(0lll)=0.2, p(0l01)=p(0ll0)=p(ll01)=p(lll0)=0.5,確定所對(duì)應(yīng)的馬氏源的狀態(tài)集，寫(xiě)出狀態(tài)轉(zhuǎn)移矩陣；求出該信源的平穩(wěn)分布。解：(1)馬氏源的狀態(tài)集為A2=co =00,co =01,co =10,co =11, 01狀態(tài)轉(zhuǎn)移矩陣為戶(hù)=(2)假設(shè)平穩(wěn)分布為兀 ro.8 o0.50(71 K K 71 )12340.8 00.50二(K10.200.500.200.5000.500.2200.500.2K300.50

5、0.870、0.50 0.饑兀)r,4、=(兀1且71 + 71 +7l + 71 =1,解得平穩(wěn)分布為(兀1234則根據(jù)RtP=Rt ,得71 71 71 ),23471 7123/。/ o414 7 7 14a a a a a a aap(x)012345670.1 0.1 0.1 0.1 0.1 0.4 0.05 0.052.已知信源共8個(gè)符號(hào)消息，其概率空間為試用Huffman編碼法編成二進(jìn)制變長(zhǎng)碼，并計(jì)算平均碼長(zhǎng)。要求寫(xiě)出詳細(xì)的編碼過(guò)程。:號(hào)座 ：fe教te考解：（1）編碼過(guò)程如下圖碼字： 001,。： 010,。2： 011，“3： 100, “4： 10b “5： 110000,

6、 %： 0001 o 67(2)平均碼長(zhǎng)= 5x0.1x3 + 0.4x2 + 2x0.05 x 4 = 2.7 碼兀 / 信源符號(hào)3.某信道的轉(zhuǎn)移矩陣尸=1/3 1/3 1/6 1/6J/6 1/3 1/6 1/3/.級(jí)班試求：該信道的信道容量及達(dá)到容量時(shí)的輸出概率。業(yè)專(zhuān)、級(jí)年.卻家： .名姓:號(hào)學(xué)解：設(shè)輸出概率為，%，4, %。該信道是準(zhǔn)對(duì)稱(chēng)信道，當(dāng)輸入等概率時(shí)達(dá)到信道容 TOC o 1-5 h z 量，可計(jì)算相應(yīng)的輸出概率為0 =湛1/3 + 1/6) = 1/4, q = (1/3 + 1/ 3) = 1/ 3, 122 2q = (1/ 6 + 1/ 6) = 1/ 6, (1/ 6

7、 +1/ 3) = 1/ 4 o 所以信道容量為C = H(y)-H(l/3,1/ 3,1/ 6,1/ 6)二H(l/4,l/3,l/6,l/4) H(l/3,l/3,l/6,l/6)線=2x(-l/41ogl/4)-l/31ogl/3-l/61ogl/6+2xl/31ogl/3+2xl/61ogl/6:=1+l/31og 1/3+ l/61og 1/6(比特 / 符號(hào)).4.設(shè)一離散無(wú)記憶信道的轉(zhuǎn)移概率矩陣為0.5 0.3 0.2、P= 0.2 0.3 0.5洪.2 0.4 0勺其中輸入符號(hào)集A = a , a , a ）,輸出符號(hào)集B = b , b , b,且P（a ） = 1/2,12

8、31231P（。）=尸（。）=1/ 4,利用MAP準(zhǔn)則求最佳判決函數(shù)和平均錯(cuò)誤率。 23解：由）可得聯(lián)合概率矩陣:號(hào)座 ：fe教te考.級(jí)班、業(yè)專(zhuān)、級(jí)年.卻家 .名姓 ：號(hào)學(xué)0.25 0.150.10、0.05 0.075 0.125R.05 0.100.10 ?根據(jù)MAP準(zhǔn)則，最佳判決函數(shù)為：g(y = b) = a, 1 1- g(y = b ) = a ,1g(y = b ) = a2.平均錯(cuò)誤率：p =1-p (a ,b) p (a ,b )- p (a ,b )EXY 11 XY 12 XY 23二1-0.25-0.15-0.125=0.475.fx） f 01 ）0 3）5.二元對(duì)

9、稱(chēng)信源=,失真矩陣=3,求信源的R（o）函數(shù)。、JL* / X /乙 JL/乙/E 丁 u ,解：根據(jù)對(duì)稱(chēng)性，設(shè)信道轉(zhuǎn)移概率矩陣為區(qū).史12 Q令D = Ed(x,y) =p p d =3(1。)=。，可得o = D13 ,i ij iji j由于輸入是等概率，且信道是強(qiáng)對(duì)稱(chēng)信道，所以輸出也等概率，即0 = q=i/2,所 以可得R(D) = H(Y)-H(YX)二H(l/2,l/2) 2x1/ 2H(o,l o)=log2H(l0/3 刀/3).得分評(píng)卷人五、綜合應(yīng)用題（本大題共1小題，共12分）1.在某城市，下雨和晴天的時(shí)間各占一半，而天氣預(yù)報(bào)無(wú)論在雨天還是在晴天都有 2/3的準(zhǔn)確率。甲先

10、生每天上班這樣處理帶傘問(wèn)題：如果預(yù)報(bào)有雨，他就帶傘上班; 如果預(yù)報(bào)無(wú)雨，他也有1/ 3的時(shí)間帶傘上班。（1）求事件“在雨天條件下甲先生未帶傘”所含的信息量;（2）求“甲先生帶傘條件下沒(méi)有下雨”的信息量；（3）求天氣預(yù)報(bào)所得到的關(guān)于天氣情況的信息量；（4）求通過(guò)觀察甲先生是否帶傘所得到的關(guān)于天氣情況的信息量。解：設(shè)天氣情況：X=0（有雨）,1（無(wú)雨）；天氣預(yù)報(bào)：丫 = 。（有雨），1（無(wú)雨）； 帶傘情況：Z = 0（帶傘）,1（未帶傘）。根據(jù)題意有X-Y的條件概率矩陣為X-z的條件概率矩陣為。/3J/362/3J/31/32/3/,丫Z的條件概率矩陣為1/3) ( 1X2/3J 1/30 )7/

11、9 2/3廠5/9/ 10、J/3 2/3/2/9、4/9/（1）由于，（z = lx = 0） = 2/9,所以事件“在雨天條件下甲先生未帶傘”所含的信息量為/(z = 1 X = 0) = -log2/ 9 bit.(2)由于(X = k = 0)=，3 = l)，(z = ok = l)p(x = l)p(z = o|x = l)p(z = 0)p(x = 0)p(z = 0|x = 0) + p(x = l)p(z = 0|x = 1)0.5x5/95-0.5x7/9 + 0.5x5/9-12,所以“甲先生帶傘條件下沒(méi)有下雨”的信息量為/(4 = l|z = 0) = Tog5/12 bit.2/3 1/3、(3)g =。) P(y = l)=(0.5 0.5)x=(0.5 0.5),JL /V7所以天氣預(yù)報(bào)所得到的關(guān)于天氣情況的信息量為I(X;Y) = H(Y)-H(Yx) = H(Q.5 ,0.5)-2xO.5H(2/3