信息論與編碼試卷及答案

信息論與編碼試卷及答案一、（11’）填空題1948年，美國數(shù)學家香農發(fā)表了題為“通信的數(shù)學理論”的長篇論文，從而創(chuàng)立了信息論。必然事件的自信息是0。離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。對于離散無記憶信源，當信源熵有最大值時，滿足條件為__信源符號等概分布_。若一離散無記憶信源的（）信息論研究的主要問題是在通信系統(tǒng)設計中如何實現(xiàn)信息傳輸、存儲和處理的有效性和可靠性。（）概率大的事件自信息量大。（）互信息量可正、可負亦可為零。（）信源剩余度用來衡量信源的相關性程度，信源剩余度大說明信源符號間的依賴關系較小。（）對于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。（）非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。（）信源變長編碼的核心問題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構造的是最佳碼。（）（9）信息率失真函數(shù)R(D)是關于平均失真度D的上凸函數(shù).()（5）居住在某地區(qū)的女孩中有25%是大學生，在女大學生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學生”的消息，問獲得多少信息量？解：設A表示“大學生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75（2分）故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375（2分）I(A|B)=-log0.375=1.42bit（1分）四、（5）證明：平均互信息量同信息熵之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明：（2分）同理（1分）則因為（1分）故即（1分）五、（18’）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源X的數(shù)學模型。假設圖上黑白消息出現(xiàn)前后沒有關聯(lián)，求熵；2）假設黑白消息出現(xiàn)前后有關聯(lián)，其依賴關系為，，，，求其熵。3）分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義。解：1）信源模型為（1分）（2分）2）由題意可知該信源為一階馬爾科夫信源。（2分）

由（4分）得極限狀態(tài)概率（2分）（3分） 3）（1分）（1分）。說明：當信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關系的強弱，冗余度越大，依賴關系就越大。（2分）六、（18’）.信源空間為，試分別構造二元香農碼和二元霍夫曼碼，計算其平均碼長和編碼效率（要求有編碼過程）。七（6’）.設有一離散信道，其信道傳遞矩陣為，并設，試分別按最大后驗概率準則與最大似然譯碼準則確定譯碼規(guī)則，并計算相應的平均錯誤概率。1）（3分）最小似然譯碼準則下，有，2）（3分）最大后驗概率準則下，有，

八（10）.二元對稱信道如圖。1）若，，求、和；

2）求該信道的信道容量。解：1）共6分

2），（3分）此時輸入概率分布為等概率分布。（1分）九、（18）設一線性分組碼具有一致監(jiān)督矩陣1）求此分組碼n=?,k=?共有多少碼字？2）求此分組碼的生成矩陣G。3）寫出此分組碼的所有碼字。4）若接收到碼字（101001），求出伴隨式并給出翻譯結果。解：1）n=6,k=3,共有8個碼字。（3分）2）設碼字由得（3分）令監(jiān)督位為，則有（3分）生成矩陣為（2分）3）