(完整版)信息論與編碼試卷及答案

1、一、概念簡答題（每題概念簡答題（每題 5 5 分，共分，共 4040 分）分）1.什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？平均自信息為：表示信源的平均不確定度，表示平均每個信源消息所提供的信息量。平均互信息：表示從 Y 獲得的關于每個 X 的平均信息量；表示發(fā) X 前后 Y 的平均不確定性減少的量；表示通信前后整個系統(tǒng)不確定性減少的量。2簡述最大離散熵定理。對于一個有 m 個符號的離散信源，其最大熵是多少?最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。最大熵值為3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么

2、關系？信息傳輸率 R 指信道中平均每個符號所能傳送的信息量。信道容量是一個信道所能達到的最大信息傳輸率。信息傳輸率達到信道容量時所對應的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的 Q 型凸函數，是信道傳遞概率的 U 型凸函數。4.對于一個一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結合此圖，解釋數據處理定理。數據處理定理為：串聯(lián)信道的輸入輸出 X、Y、Z 組成一個馬爾可夫鏈，且有。說明經數據處理后，一般只會增加信息的損失。5.寫出香農公式，并說明其物理意義。當信道帶寬為 5000Hz，信噪比為 30dB 時求信道容量。香農公式為由得，它是高斯加性白噪聲信道在單位時間內的信道容量，

3、其值取決于信噪比和帶寬。，則6._ 解釋無失真變長信源編碼定理。,當 N 足夠長時，一定存在一種無失真編碼。7.解釋有噪信道編碼定理。答：當 R0 時率失真函數的?答.1）保真度準則為.平均失真度不大干允許的失直度。2）因為失真矩陣中每行都有一個 0,所以有，而二、綜合題（每題二、綜合題（每題 1010 分，共分，共 6060 分）分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為 0.3，白色出現(xiàn)的概率為 0.7。給出這個只有兩個符號的信源 X 的數學模型。假設圖上黑白消息出現(xiàn)前后沒有關聯(lián)，求熵2）假設黑白消息出現(xiàn)前后有關聯(lián)，其依賴關系為：，求其熵答：1）信源模型為2/

4、31/32/3心=0戸=02.二元對稱信道如右圖。1）若，求2）求該信道的信道容量和最佳輸入分布。，最佳輸入概率分布為等概率分布。答：1)2)3.信源空間為試分別構造二元和三元霍夫曼碼，計算其平均碼長和編碼效率。答：1）二元碼的碼字依序為：10，11，010，011，1010，1011，1000，1001。，編碼效率平均碼長2）三元碼的碼字依序為：1，00，02，20，21，22，010，011。平均碼長，編碼效率4.設有一離散信道，其信道傳遞矩陣為，并設確定譯碼規(guī)則，并計算相應的平均錯誤概率。，試分別按最小錯誤概率準則與最大似然譯碼準則答：1）最小似然譯碼準則下，有2）最大錯誤概率準則下，有

5、4.設有一離散信道，其信道傳遞矩陣為，并設答：1）輸入為 00011 時，碼字為 00011110；輸入為 10100 時，碼字為 10100101。5.已知一（8，5）線性分組碼的生成矩陣為求：1）輸入為全 00011 和 10100 時該碼的碼字；2）最小碼距。2）6.設某一信號的信息傳輸率為 5.6kbit/s,在帶寬為 4kHz 的高斯信道中傳輸，噪聲功率譜N0=5X106mw/Hz。試求：（1）無差錯傳輸需要的最小輸入功率是多少？（2）此時輸入信號的最大連續(xù)熵是多少？寫出對應的輸入概率密度函數的形式。7.答：1）無錯傳輸時，有2）在時，最大熵對應的輸入概率密度函數為2）最大錯誤概率準

6、則下，有6.答：1）無錯傳輸時，有2）在時，最大熵對應的輸入概率密度函數為/(x；r)=ii(x)+/(r)-“(xY)(1分)(59古住在某地區(qū)的女孩中有 25%是大學牛.在女大學牛中有 75%是身高 1.6米以卜的.而女孩中身高 1.6 米以上的占總數的一半。假如我們得知身高 L6米以卜的杲女孩是大學?！备较?問獲得名少信 M?解：設 A 表示“大學生”這爭件，B 衣示欄身高 160 以上”這坯件，則P(A)=O.25p(B=0.5oLB|A)=0.75(2 分故 p(AB=p(AB)/p(B)=p(A)p(B|A)/p(B)=O.75*0.25/0.5=0.375(2 分)I(AIBi

7、-logO.375=1.42bit(1 分)卩1h(59III：!)：平均互信息量同信息爛之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明:/()=目妁，皿弊一牙石(w)log嗆)-召石M)log嗆刀)=(X)一沖)同理(1分)/(r|x)=/(r)-/(x-y)因為故JJ(XY)=(x)十/(r)-/(x；r)(2 分)(AT)=(x)+/(yX)(1分/L.（18，）黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為 0.3,白色出現(xiàn)的概率為 0.7。紿出這個只有兩個符號的信源 X 的數學模臥假設圖上黑白消息出現(xiàn)和后沒自關聯(lián)，求爛（X）：2）假設黑白消息岀現(xiàn)前后有關聯(lián)

8、.其依賴關系為戸白/白）畸/黑）72.R黑/黑）=0.8,衲爛“）。3）分別求匕述兩神信源的冗余度.比較它們的大小并說明其物理意.義.解：1）信源模型為巧二白（1 分）0.30.7H（曲八P（aJlog2P0）=O881泅符號（2 分）i-12）由題意可知該信源為一階馬爾科夫信源.由P（黑/白） =0（2分）（4分）得極限狀態(tài)撫率P）冷P（黑）氣禺(X)=-log2P(勺仏)=0.5533bit/符號j-1-1：3 分）3)心一心卄人 10 影（1 分）（1分）2丫說明：當信源的符號之間有依賴時.信源輸出消息的不確定性減弱.而信源冗余度正是反映信源符號依賴關系的強弱，冗余反越大，依賴關系就越大

9、。（2分）六.（180信源空間為曼碼，計算其平均碼長和編碼效率（要求有編碼過程）.信源消息符號坷符號概率累加概率 P,P,logp(q)碼字長度 k k碼字0.2002.323000“20.190.22.3930010.180.392.4730110.170.572.5631000.150.742.743101“60.100.893.3241110a70.010.996.6471111110Z=3.141-1刁七“A40.20.190.180.170.15人6大70.10.01,試分別構造二元香農碼和二元霍夫2.613J4=0.831xP(X)1）求此分組碼共有多少碼字？2）求此分組碼的生成矩

10、陣G：3）寫岀此分組碼的所有碼字。4）若接收到碼字C101001）,求出伴隨式并給出翻譯結果 n解：1）n=6Jc=3,共有8個碼字。（3分）2）設碼字亠GGGGg）由得qqc=0c4ec5sc0二oc5c3二00-200.200.260.350.190.190.180.170.150.103,0.39O610.26350.20牛0.19丄0.260.01AJ7信源符號你概率（）碼字碼長 h h0.20102a20.191120.1800030.1700130.150103他uu01104a.0.0101114（3分）0.180.11J0.170.150.200.190.180.39住羋-出“96L2.72比特/符號二工P（a）l嚴2.72000九、（18）設一線性分組碼具有一致監(jiān)督矩陣=011101111001011令監(jiān)督位為（GGCJ,則有c2=c5ec3c;=c.c4Co=c4ec.10011o010