信息論與編碼試卷及答案

1、、概念簡答題（每題5分，共40分） 二、1.什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？平均自信息為：表示信源的平均不確定度，表示平均每個信源消息所提供的信息量。中（不），一】平均互信息：表示從 丫獲得的關于每個X的平均信息量；表示發(fā) X前后丫的平均不確定性減少的量；表示 通信前后整個系統(tǒng)不確定性減少的量。1（尤 丫）= -之尸（砂,）1空trp*漢西）.簡述最大離散燧定理。對于一個有 m個符號的離散信源，其最大燧是多少？最大離散燧定理為：離散無記憶信源，等概率分布時燧最大。最大婿值為 :- ,.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的

2、傳遞概率間分別是什么關系？信息傳輸率R指信道中平均每個符號所能傳送的信息量。信道容量是一個信道所能達到的最大信息傳輸率。 信息傳輸率達到信道容量時所對應的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的n型凸函數(shù)，是信道傳遞概率的u型凸函數(shù)。.對于一個一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、丫、z組成一個馬爾可夫鏈，且有 *了；）,乂*）-3）。說明經(jīng)數(shù)據(jù)處理后，一般只會增加信息的損失。.寫出香農(nóng)公式，并說明其物理意義。當信道帶寬為5000Hz，信噪比為30dB時求信道容量。香農(nóng)公式為P1 + bit s叫郎） ,它是

3、高斯加性白噪聲信道在單位時間內(nèi)的信道容量，其值取決于信噪比和帶寬。pP101= 30 dB =1000.、.由或取 得叩 ，則a-5。儂式1 + 1。0）79836施注區(qū)2包Q.解釋無失真變長信源編碼定理。只要七1匹酬，當n足夠長時，一定存在一種無失真編碼。.解釋有噪信道編碼定理。答：當R0時率失真函數(shù)的 口由 和口由?答：1）保真度準則為：平均失真度不大于允許的失真度。11.2）因為失真矩陣中每行都有一個0,所以有、綜合題（每題10分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為 0.7。給出這個只有兩個符號的信源X的數(shù)學模型。假設圖

4、上黑白消息出現(xiàn)前后沒有關聯(lián)，求婿；2）假設黑白消息出現(xiàn)前后有關聯(lián)，其依賴關系為:F旬目尸祟伯）= 0山黑）=02,尸（黑/黑）=。石，求其嫡/答：D信源模型為=黑序白,0. 30. 72 尸）5 廣1,23F儒）= 得L工尸（內(nèi)）log?尸（q） = 0 881加/符號F（%） =2）產(chǎn)（型*2）由&）+%=12.二元對稱信道如右圖。H.X） = ZE產(chǎn)（/*（% /%）kg二產(chǎn)4 /%） = 0.5533 加”符號31Fl。）尸（IL,3.1）若4,4 ,求咫片）和4.2)求該信道的信道容量和最佳輸入分布。答：1??；門；號= 0.0616瓦紐符號2) c=0 032 符節(jié),最佳輸入概率分布為

5、等概率分布。3.信源空間為與三 % % S6 叼埼0.2 0,1 0 1 005 0.05 0 05 0.054.試分別構(gòu)造二元和三元霍夫曼碼，計算其平均碼長和編碼效率。答：1)二元碼的碼字依序為：10, 11, 010, 011, 1010,1011, 1000, 1001。丁57” 4 =2一6她/符號如y啊平均碼長r,編碼效率= 0.972）三元碼的碼字依序為：1, 00, 02, 20, 21, 22, 010,011。平均碼長G乩符q編碼效率%= 09364.設有一離散信道，其信道傳遞矩陣為F6)= :尸)=!?&)=?，并設i,試分別按最小錯誤概率準則與最大似然譯碼準則確定譯碼規(guī)則

6、，并計算相應的平均錯誤概率。答：D最小似然譯碼準則下，有11242）最大錯誤概率準則下，有100001110100010000100010000100015.已知一（8, 5）線性分組碼的生成矩陣為00001111求：1）輸入為全00011和10100時該碼的碼字；2）最小碼距。答：1）輸入為00011時，碼字為00011110;輸入為10100時，碼字為10100101。2).設某一信號的信息傳輸率為5.6kbit/s ,在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5X 10 6mw/Hz。試求：. （1）無差錯傳輸需要的最小輸入功率是多少？. （2）此時輸入信號的最大連續(xù)燧是多少？寫

7、出對應的輸入概率密度函數(shù)的形式。衣4已=印1儂式1十.答：1）無錯傳輸時，有5 6x10* =4x1031o1(H-ZT10即.-11則一12.2）在片如.,-5i自由度13對應的輸入概率密度函數(shù)為 -_P（X）= ,EV0.206X10-32）最大錯誤概率準則下，有5.答：1）輸入為00011時，碼字為00011110;輸入為10100時，碼字為101001012）-1氏4C = /1屈式 1 + 6.答：1）無錯傳輸時，有M印P HYPERLINK l bookmark71 o Current Document 56x103 = 4x10%助（1 +口4即則.,2）在,-0 032S.川發(fā)

8、式2還好=一54囪自由度戶U.U溶例時，最大婿pM對應的輸入概率密度函數(shù)為e tJjos56-T1V0206xl0-3三、(59居住在某地區(qū)的女孩中有25%是大學生.在女大學生中有75%是身高1.6米以上的, 而女孩中身高16米以上的占總數(shù)的一半.仔：如我們得知“身高1.6米以上的某生.的消息，問獲得多少信息量？解：設A衣示“大學生”這一事件，B表示“身高1.60以上”這一事件,則P(A)-0. 25 p(B)-0.5 p(BlA)-0. 75(2分)故 p(A B)=p(AB)/p(B)=p(A)p(B A)/p(B)=0. 75*0. 25/0. 5=0. 37512分)I (A B)=-

9、log0. 375=1. 42bit (1 分)西、(59證明：平均互值息量同信息為之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明：/(X；y)=3?Krj)log/4) TOC o 1-5 h z VVp(x,)=-ZEgg (：)一 ZZ (EE)sgk， 分) HYPERLINK l bookmark106 o Current Document TTL十J= /(x)_/(x|r)同理 HYPERLINK l bookmark111 o Current Document /(x；r)=/(r)-/(r|x)0分)則/(r|x)=/(r)-/(x：y)因為/(xr)=/(x)+/

10、(rx) (i 分)故/(xr) = (x)+ /(r)-/(x；r)(i分)/(x；r)=/(x)+/(r)-/(xr)、（18）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為。3,門色出現(xiàn)的概率為0.7.給出這個只仃兩個符號的信源X的數(shù)學模型. 假設圖上黑白消息出現(xiàn)前后沒仃關聯(lián)，求嫡（X）；2）假設黑白消息出現(xiàn)前后有關聯(lián)，其依賴關系為 尸白/白）9產(chǎn)的/黑） 0.2.尸（黑/黑） 0.8求其病式X）.3）分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義.解：1）信源模型為卜】=黑4/白（1分）0.30.72HQC） - 2尸1密尸）= 0.881加7符號2）由

11、題意可知該信源為一階馬爾科夫信源.由產(chǎn)（4）=尸（%）尸（%/叼），L2尸0】）”（31（2分）（2分）（4分）得極限狀態(tài)概率產(chǎn)間=1產(chǎn)（黑）=;12分）耳式=-產(chǎn))產(chǎn)(%/)10g2產(chǎn)(以/=0.5533期符號G分)i-1 /-I3)（1分）（1分）%八說明：當信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關系的強弱，兀余度越大，依賴關系就越大。（2分）六、（180 .信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫XX3X5/6必F(X)j| 0.2 0.19 0.18 0.17 0.15 0.1 0.01及碼，計算其平均碼長和編碼效率（要求有編碼過程）信源

12、消息 符號勺符號概 率（%）累加概 率P,.-logp()碼字長 度L碼字0.2002.323000出0.190.22.393001%0.180.392.473011%0.170.572.56310050.150.742.74310160.100.893.3241110(1-0.010.996.6471111110一工= (4)/, =3.14= 0.8310. 200. 190. 180. 170. 150. 200. 190. 180. 170. 150. 26/ 0.20/ 0. 190. 18多 0. 170. 10r/ 011上0. 01_7L=2.72碼元/符號=外。L 2.72比特/符號信源符號勺概率P（g）碼字W,碼長L勺().201020.19112。30.180003勺0.170013%().15()1030.1001104a.0.01011140 0 0 1 1 1九、（189 設一線性分組碼具有一致監(jiān)督矩陣 =oiiooi10 10 11.1）求此分組碼n=2k=。共有多少碼字？2）求此分組碼的生成矩陣G.3）寫出此分組碼的所有碼字.4）若按收到碼字（101001）,求出伴隨式并給出翻譯結(jié)果.解：1） nWk=3,共有8個碼字.（3分）2）設碼字W = （CCGGC）由L=o/得（3分）c2ccQ = o c4ec3c0 = 0 a =0令