2023年湘大信息論與編碼試卷及答案

一、填空題(每空1分，共30分）在現(xiàn)代通信系統(tǒng)中,信源編碼重要用于解決信息傳輸中的有效性,信道編碼重要用于解決信息傳輸中的可靠性,加密編碼重要用于解決信息傳輸中的安全性。不也許事件的自信息量是____∞___,必然事件的自信息是0。離散平穩(wěn)無記憶信源Ｘ的N次擴(kuò)展信源的熵等于離散信源X的熵的Ｎ倍。在信息解決中，隨著解決級數(shù)的增長，輸入和輸出消息之間的平均互信息量會(huì)減少。若一離散無記憶信源的信源熵H（X）等于2.５，對信源進(jìn)行等長的無失真二進(jìn)制編碼,則編碼長度至少為３。假設(shè)每個(gè)消息的發(fā)出都是等概率的,四進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的２倍。對于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼,編碼方法惟一的是香農(nóng)編碼?；舴蚵幋a方法構(gòu)造的是最佳碼。已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測出_2＿_(dá)_個(gè)碼元錯(cuò)誤，最多能糾正__＿1__個(gè)碼元錯(cuò)誤。設(shè)有一個(gè)離散無記憶平穩(wěn)信道，其信道容量為C,只要待傳送的信息傳輸率R_小于_C(大于、小于或者等于）,則存在一種編碼,當(dāng)輸入序列長度n足夠大，使譯碼錯(cuò)誤概率任意小。平均錯(cuò)誤概率不僅與信道自身的記錄特性有關(guān)，還與_譯碼規(guī)則和編碼方法有關(guān)互信息I(Ｘ;Y)與信息熵H(Y)的關(guān)系為:Ｉ(Ｘ;Ｙ)_小于__（大于、小于或者等于)Ｈ（Y)。克勞夫特不等式是唯一可譯碼__存在＿_(dá)_的充要條件。{０0,0１,１0，11}是否是唯一可譯碼？_＿_(dá)是_＿_(dá)_。差錯(cuò)控制的基本方式大體可以分為前向糾錯(cuò)、反饋重發(fā)和混合糾錯(cuò)。假如所有碼字都配置在二進(jìn)制碼樹的葉節(jié)點(diǎn),則該碼字為唯一可譯碼。設(shè)信道輸入端的熵為Ｈ(X)，輸出端的熵為H(Y）,該信道為無噪有損信道，則該信道的容量為ＭａxＨ（Y)。某離散無記憶信源Ｘ,其符號個(gè)數(shù)為n，則當(dāng)信源符號呈等概_____分布情況下,信源熵取最大值＿_(dá)_log(n)。平均互信息是輸入信源概率分布的上凸函數(shù)；平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù),平均互信息的最大值為信道容量。?二、簡答題（共4題，每題5分）１,簡述自信息和平均自信息量自信息:平均自信息量:２,簡述信源的符號之間的依賴與信源冗余度的關(guān)系。當(dāng)信源的符號之間有依賴時(shí),信源輸出消息的不擬定性減弱。而信源冗余度正是反映信源符號依賴關(guān)系的強(qiáng)弱，冗余度越大,依賴關(guān)系就越大。3,簡述香農(nóng)第一編碼定理的物理意義??1.答:無失真信源編碼，編碼后盡也許等概率分布,使每個(gè)碼元平均信息量最大。從而使信道信息傳輸率R達(dá)成信道容量C，實(shí)現(xiàn)信源與信道抱負(fù)的記錄匹配。４,什么是最小碼距，以及它和檢錯(cuò)糾錯(cuò)能力之間的關(guān)系。某一碼書C中，任意兩個(gè)碼字之間漢明距離的最小值稱為該碼的最小碼距Dｍiｎ．當(dāng)已知某線性分組碼的最小漢明距離為Dmin，那么這組碼最多能檢測出e=Dｍin-１個(gè)碼元錯(cuò)誤,最多能糾正t=(Dmin-１)/２個(gè)碼元錯(cuò)誤。三、計(jì)算題(共６題，每題10分)1,有兩個(gè)二元隨機(jī)變量X和Y,它們的聯(lián)合概率為ＹXｘ1=0x2=1y１=01／83/8y２=13/81/8定義另一隨機(jī)變量Z＝XＹ(一般乘積)，試計(jì)算Ｈ(Ｚ)=?解:Z＝XY的概率分布如下：2,二元對稱信道如圖。1)若,,求、和;?2）求該信道的信道容量。解:1）共6分?

?2),(3分）此時(shí)輸入概率分布為等概率分布。（１分)

3，求以下二個(gè)信道的信道容量:

，，３答:P1為一一相應(yīng)擬定信道，因此有。

P2為具有歸并性能的信道,因此有。4，．信源空間為，試構(gòu)造二元霍夫曼碼,計(jì)算其平均碼長和編碼效率(規(guī)定有編碼過程)。5，已知一個(gè)高斯信道，輸入信噪比(比率)為3。頻帶為3ｋHz,求最大也許傳送的信息率。若信噪比提高到15,理論上傳送同樣的信息率所需的頻帶為多少?5答:(1)最大也許傳送的信息率是Ct=wloｇ(1+Px/Ｐn)=3×10０0×lｏg(1+3)=6×1０００比特/秒（2)1.5kHZ6，設(shè)一線性分組碼具有一致監(jiān)督矩陣1)求此分組碼n=?，k＝？共有多少碼字?2）求此分組碼的生成矩陣G。3）寫出此分組碼的所有碼字。4）若接受到碼字(101001),求出隨著式并給出翻譯結(jié)果。解:1）n=6，ｋ＝３，共有8個(gè)碼字。(2分)2）設(shè)碼字由得令監(jiān)督位為,則有生成矩陣為（3分）3)所有碼字為０0０00０,00110