信息論與編碼理論1(B卷答案)

1、B卷答案2011-2012信息論與編碼理論1一、單項(xiàng)選擇題（每題3分，總計(jì)15分）1 .當(dāng)?shù)诪閑時(shí)，端的單位為（C ）A奈特 B哈特 C奈特/符號(hào)D哈特/符號(hào)2 .下列關(guān)系式中（B ）正確。a z（x；r）i（x） b （x,y）/（x；r）3 .下列（D ）陳述是正確的。A Shannon編碼是最優(yōu)碼B LZ編碼是異字頭碼C Huffman編碼可以不需要知道信源的分布D典型序列的數(shù)目不一定比非典型的多4 .下列數(shù)組中（A ）不滿足二個(gè)字母上的Kraft不等式.A （1, 1, 1） B 222） C （333） D （4, 4, 4）5 .下列（D ）是只對(duì)輸出對(duì)稱的。> 74 22

2、4S S2 40.0./nlD、 / 2-31-32-3 1-32-31-3C>1 1 JZ4 4 2S S S4 2 4 o o O2 4 4 o o O / IB、1 , 1-21-3 1-61-6 1-31-2A二、填空題（每空2分，總計(jì)20分）1.若二元離散無(wú)記憶中p（0） = 0.25,=0.75,則當(dāng)給出100比特的信源序列，其中3有5個(gè)1,則其自信息為2005Iog, 3腐，整個(gè)序列的燧為100（2-二log2 3）比特/符號(hào). -4 一2.若某離散信道信道轉(zhuǎn)移概率矩陣為0.50.250.250.250.50.250.250.250.5，則其信道容量為log2 3 l.5比

3、'0.5 0.25 0.25-特/符號(hào)；轉(zhuǎn)移概率矩陣為0.25 0.25 0.5，則其信道容量為log2 3-1.5比特/符號(hào)。0.25 0.5 0.25_p 1 - p3.兩個(gè)相同的BSC做級(jí)聯(lián)信道，其信道轉(zhuǎn)移矩陣分別為，則級(jí)聯(lián)信道的U-p 借道轉(zhuǎn)移矩陣為11一2 + 22P- 2p-,無(wú)窮多個(gè)級(jí)聯(lián)后的矩陣為尸°，5L2p 2P2 l 2p +2P20.5 0.5.4.若一個(gè)信道的輸入炳為，（X） = 2.6比特/符號(hào)，輸出炳為（丫）= 2.3比特/符號(hào),/（x；y）= i.7比特/符號(hào)，則（x.y）=比特/符號(hào),散布度為比特/符號(hào)。5 .在二元LZ編碼中，若信源有K個(gè)，某

4、段信源序列共有"個(gè)字典，則碼長(zhǎng) A咋2例：+jog。6 .存在。元唯一可譯碼，其平均碼長(zhǎng)必小于絲巴+1 , log。三、判斷題（每題2分，總計(jì)10分）1 .概率小的事件自信息大（V ）2 .若一個(gè)碼字集合中的碼字長(zhǎng)度滿足Kraft不等式，則其必為逗點(diǎn)碼。（X ）3 .若碼字都被配置在樹的葉子節(jié)點(diǎn)處，則這種碼一定是異字頭碼。（J ）4 .平均互信息是下凸函數(shù)。（x ）5 .算數(shù)編碼需要知道信源的分布。（J ）四、計(jì)算題（55分）1）（15分）設(shè)隨機(jī)變量x,y的聯(lián)合概率分布如下:50104141|0£ 2z = xy.分別求（x）,”（y）,（x y）j（x；z）0解：x的分布

5、率為X01P£ 2£ 2則（X） = 1比特/符號(hào).y的分布率為Y%01P£ 4343則H(Y) = 2 log 2 3比特/符號(hào).4-0(10£ 20102p(x =oiy = o)=p(x =o,y = o) p(y = o)-= Lp(X= O = D=(X=OJ = D P(Y = 1)3P(X = 11 y = 0) = "(X = LL = 0)=0, p(x = 11 y = 1)= (X = L L = D =- P(Y = 0)P(Y = 1)3H(XY) = - p(0,0) log 2 ”(010)- p(0.1) log

6、 2 p(Oll) 一 (1,0) log 2 p(l 10) - p(l,l) k)g2 p(lll)11112 31= -Iog2 l-log2 -01og20 log2 - = -log2 3-比特/符號(hào).4323 42Z01P£ 2£ 2(x=mz" =與HU(x"z心型32:。儲(chǔ)=。）=韋尋Umxszw嶗奈%/XI11)/XX =1)/（x；z）= mo）iog2 統(tǒng)詈+p（o）bg2 塔既+p（l,o）叫 懸黑 + * =0比特/符號(hào).2） （20分）若離散無(wú)記憶信源的概率分布為10.1 0.2 0.3 0.4J分別構(gòu)造二元，三元Huffma

7、n編碼（要求碼長(zhǎng)方差最小，但不需求出），Shannon編碼，F(xiàn)ano 編碼，Shannon-Fano-Elias 編碼。 并求中二元Huffman編碼的編碼效率。（只列出式子即可）解:對(duì)信源按概率從大到小排序，U= C "，建立碼樹則有二元Huffman編10.4 0.3 0.2 0.1J碼：。一ooq 7（x）,c oi, 4 - 1（ d c b a要進(jìn)行三元Huffman編碼，則需要添加一個(gè)空信源，成為U =.10.4 0.3 0.2 0.10J建立碼樹則有三元Huffman編碼：。00. - 01, c 7 1, >2Shannon編碼如卜：信源）碼長(zhǎng)累加概率碼字d20

8、00C201b3101a41110Fano編碼如下:信源概率第T次分組第2次分組第3次分組碼字d0.0C1010b10110a1111: Shannon-Fano-Elias 編碼信源概率（X）斤（X）/(.V)二元月冷碼字a500001b40001C3011cl13110 二元 Huffman 編碼的平均碼長(zhǎng)為7 = 3x0.1 + 3x0.2 + 2x0.3 + 1x0.4 =編碼效率為n = H(U) = H(U) = "(0.1,020.3,0.4)-才一八 og2L93） （20分）若離散無(wú)記憶信道的信道轉(zhuǎn)移矩陣為方法一：0.50.250.50.75_Airo.5 夕Jo.

9、251-21 - 4r ,用兩種方法求該信道容量。4>/7() |_r 0.5 log 0.5 + 0.5 log 0.5 IF -1 _/?J_1_0.25 log 0.25 + 0.75 log 0.75_j = - 0.8112810.75-0.8112813-12 -0.811281 1.377438-0.622562C = Iog(2A + 2') = Iog(0.384763+ 0.649773)=log 1.034536= 0.0345(vv(0), vv(l) = (2品j = (0.371918 ,0.628082 )(q(O)M)=(以0),卬T 0.5 0.5L0.25 0.75