《信息論》試題及答案

1、信息論試題及答案 期終練習(xí) 一、某地區(qū)得人群中,1就是胖子,80不胖不瘦,就是瘦子。已知胖子得高血壓得概率就是 15，不胖不瘦者得高血壓得概率就是 10,瘦子得高血壓得概率就是 5，則該地區(qū)得某一位高血壓者就是胖子這句話包含了多少信息量。 解：設(shè)事件 a:某人就是胖子; b：某人就是不胖不瘦 c:某人就是瘦子 d：某人就是高血壓者 根據(jù)題意,可知：（）=、1 p（b)=0、8 （c）=0、1 p(da)=、15 p(db)0、1 p(d|)=0、05 而該地區(qū)得某一位高血壓者就是胖子 這一消息表明在 d 事件發(fā)生得條件下,a 事件得發(fā)生,故其概率為 p（ad) 根據(jù)貝葉斯定律，可得： p（d）

2、=（） p（a）p（b) p（d|b)（c）* （dc)=0、1 (d)p（d）/p(d)(d|）*（a)/ p(d)0、15、1/0、1、15 故得知該地區(qū)得某一位高血壓者就是胖子這一消息獲得得多少信息量為： i（ad） = - ogp(a）log(0、15)2、3 (bi) 二、設(shè)有一個馬爾可夫信源,它得狀態(tài)集為 ， ，s ,符號集為a 1 ,a 2 ,a 3 ，以及在某狀態(tài)下發(fā)出符號集得概率就是(i,k=,2，3），如圖所示 （1）求圖中馬爾可夫信源得狀態(tài)極限概率并找出符號得極限概率 （2）計算信源處在某一狀態(tài)下輸出符號得條件熵 h（xs=j） (j=s 1 ，s 2 ，s ） (3)求

3、出馬爾可夫信源熵 解:（1)該信源達(dá)到平穩(wěn)后，有以下關(guān)系成立: 可得 (） （）31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iih q e h x e= = + + =(比特/符號） 三、二元對稱信道得傳遞矩陣為 （1）若 p（0）3/4,p（1）=1/，求(x)，h（x）與 i(x；) （)求該信道得信道容量及其最大信道容量對應(yīng)得最佳輸入分布 解:=、811（比特/符號） =、7*0、6+0、50、4=、5 0、50、4+0、50、=0、45 、2(比特符號) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25

4、(0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /h y x p x h y x p x h y x h h = + = + = - + （比特 符號） 0、81+、9710、992=0、79 (比特/符號） 0、110、9=、01（比特/符號) (2）此信道為二元對稱信道，所以信道容量為 c=(p)=1h（、）=-0、97=、029（比特/符號) 當(dāng)輸入等概分布時達(dá)到信道容量 四、求信道得信道容量,其中. 解:這就是一個準(zhǔn)對稱信道，可把信道矩陣分為：， ， 故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1

5、 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkc r h p p n mh p ph p pe e ee e e e e e ee e e e e e e= - - - -= - - - - - - -= - - - - - - -比特 符號） 當(dāng)輸入等概分布時達(dá)到信道容量。 1 五、信源 (1）利用霍夫曼碼編成二元變長得惟一可譯碼，并求其 (2）利用費諾碼編成二元變長得惟一可譯碼,并求其 (3）利用香農(nóng)碼編成二元變長得惟一可譯碼,并求其 （）香農(nóng)編碼: 信源符號 概率 p(x i ） 碼長 l 累積概率 p 碼字 x 1 0、

6、4 2 0 x 2 、 3 0、4 01 x 3 0、2 3 0、6 10 4 、1 0、8 110 0、05 5 、9 11100 0、5 5 0、95 11110 =0、42、3+0、23、14、05+0、055、9（碼元/信源符號） h（x)/（ o）=2、222、=、7662(2)霍夫曼編碼： =0、4+0、222+0、13+0、42=2、3(碼元/信源符號) h(x）/（ logr）=、9964 (3）費諾編碼: =、42+0、2+0、1+0、422、（碼元/信源符號) =（)( logr)= 0、9964 六、設(shè)有一離散信道，傳遞矩陣為 設(shè) p(x 1 ）= p(x ）14，p(x

7、 3 ）=1/2,試分別按最小錯誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則,并相應(yīng)得計算機平均錯誤概率得大小. 解:（1）按最大似然譯碼準(zhǔn)則 f（y)x1 （y）=x2 f（y3）=x3 p（e)=12（/3+1/6）1/42(1/316)1/2 (2) 聯(lián)合概率矩陣為,則按最小錯誤概率準(zhǔn) f（y)=x f(y2）=x2 f(y3）=x3 p（e）= 1/8+1/24+2 +1241/2=11/2 八、一個三元對稱信源 接收符號為 v0,，2,其失真矩陣為 （)求 max 與 d min 及信源得 r（d）函數(shù)。 （2）求出達(dá)到得正向試驗信道得傳遞概率 解：(） 因為就是三元對稱信源，又就是等概分布，所以根據(jù) r 元離散對稱信源可得 r(d）log3dlo2h（d)=log3dh（） 0=d=2/ 0 23 (2)滿足 r（d）函數(shù)得信道其反向傳遞概率為 根據(jù)根據(jù)貝葉斯定律,可得該信道得正向傳遞概率為: 九、設(shè)二元碼為 c=110,0101，101,0011 (1）求此碼得最小距離； （2）采用最小距離譯碼準(zhǔn)則，試問接收序列0000,1100 與 001