湘大信息論與編碼試卷及答案

一、填空題（每空1分，共30分）（1）在現(xiàn)代通信系統(tǒng)中，信源編碼主要用于解決信息傳輸中的有效性，信道編碼主要用于解決信息傳輸中的可靠性，加密編碼主要用于解決信息傳輸中的安全性。（2）不可能事件的自信息量是____∞___,必然事件的自信息是0。（3）離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。（4）在信息處理中，隨著處理級數(shù)的增加，輸入和輸出消息之間的平均互信息量會減少。（5）若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。（6）假設每個消息的發(fā)出都是等概率的，四進制脈沖所含信息量是二進制脈沖的2倍。（7）對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法惟一的是香農(nóng)編碼?；舴蚵幋a方法構造的是最佳碼。（8）已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測出_2___個碼元錯誤，最多能糾正___1__個碼元錯誤。（9）設有一個離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R_小于_C（大于、小于或者等于），則存在一種編碼，當輸入序列長度n足夠大，使譯碼錯誤概率任意小。（10）平均錯誤概率不僅與信道本身的統(tǒng)計特性有關，還與_譯碼規(guī)則和編碼方法有關（11）互信息I(X。Y)與信息熵H(Y)的關系為：I(X。Y)_小于__（大于、小于或者等于）H(Y)。12）克勞夫特不等式是唯一可譯碼__存在___的充要條件。{00，01，10，11}是否是唯一可譯碼？___是____。（13）差錯控制的基本方式大致可以分為 前向糾錯、反饋重發(fā)和混合糾錯。（14）如果所有碼字都配置在二進制碼樹的葉節(jié)點，則該碼字為 唯一可譯碼。（15）設信道輸入端的熵為 H(X)，輸出端的熵為 H(Y)，該信道為無噪有損信道，則該信道的容量為MaxH（Y）。（16）某離散無記憶信源 X，其符號個數(shù)為 n，則當信源符號呈 等概_____分布情況下，信源熵取最大值___log（n）。（17）平均互信息是輸入信源概率分布的 上凸 函數(shù)。平均互信息是信道轉移概率的 下凸函數(shù),平均互 信 息 的 最 大 值 為 信 道 容 量 。二、簡答題（共4題，每題5分）1,簡述自信息和平均自信息量I(xi)log21p(xi)自信息：1/4qH(xi)p(xi)log2p(xi)平均自信息量：i12,簡述信源的符號之間的依賴與信源冗余度的關系。當信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關系的強弱，冗余度越大，依賴關系就越大。3,簡述香農(nóng)第一編碼定理的物理意義?1.答：無失真信源編碼，編碼后盡可能等概率分布,使每個碼元平均信息量最大。從而使信道信息傳輸率R達到信道容量C,實現(xiàn)信源與信道理想的統(tǒng)計匹配。4,什么是最小碼距,以及它和檢錯糾錯能力之間的關系。某一碼書C中,任意兩個碼字之間漢明距離的最小值稱為該碼的最小碼距Dmin.當已知某線性分組碼的最小漢明距離為Dmin，那么這組碼最多能檢測出e=Dmin-1個碼元錯誤，最多能糾正t=(Dmin-1)/2個碼元錯誤。三、計算題（共6題，每題10分）1,有兩個二元隨機變量X和Y，它們的聯(lián)合概率為YX1=02xx=1y1=01/83/8y2=13/81/8定義另一隨機變量 Z=XY（一般乘積），試計算 H(Z)=?解：Z=XY的概率分布如下：Zz10z2171P(Z)8827log71log1H(Z)p(zk)0.544bit/symbolk88882,二元對稱信道如圖。1）若p03p11HX、HX|Y和IX;Y；，，求442）求該信道的信道容量。解：1）共6分2），（3分）此時輸入概率分布為等概率分布。（1分）HX|Y 0.749bit/符號2/43,求以下二個信道的信道容量： ， ，3答：P1為一一對應確定信道，因此有。P2為具有歸并性能的信道，因此有。4,.信源空間為Xx1x2x3x4x5x6x7，試構造二元霍夫曼碼，計算其平均碼P(X)0.20.190.180.170.150.10.01長和編碼效率（要求有編碼過程）。5,已知一個高斯信道，輸入信噪比(比率)為3。頻帶為3kHz，求最大可能傳送的信息率。若信噪比提高到15，理論上傳送同樣的信息率所需的頻帶為多少？5答:(1) 最大可能傳送的信息率是Ct=wlog(1+ Px/Pn)=3×1000×log(1+3)=6 ×1000比特/秒(2)1.5kHZ3/40 0 0 1 1 16,設一線性分組碼具有一致監(jiān)督矩陣 H 0 1 1 0 0 11 0 1 0 1 11）求此分組碼 n=?,k=?共有多少碼字？2）求此分組碼的生成矩陣 G。3）寫出此分組碼的所有碼字。4）若接收到碼字（ 101001），求出伴隨式并給出翻譯結果。解：1）n=6,k=3,共有8個碼字。（2分）2）設碼字 C C5C4C3C2C1C0由HCT0T得C2 C1 C0 0C4 C3 C0 0C5 C3 C1 C0 0令監(jiān)督位為 C2C1C0，則有C2C5C3C1C5C4C0C4C3100110010011生成矩陣為001101（3分）3）所有碼字為 000000，001101，010