信息理論與編碼基礎(chǔ)一new

1、信息理論與編碼基礎(chǔ)（一）一、判斷題(每空1分，共10分)            1有記憶信源輸出符號(hào)之間是統(tǒng)計(jì)相關(guān)的。（   ）  2條件熵不大于無條件熵。（   ）  3離散信源的序列熵等于各個(gè)符號(hào)熵之和。 （   ）  4互信息量可為正值、負(fù)值或零 （   ） &#

2、160;5平均互信息I(X;Y)是輸入信源概率分布p(ai),i=1,2,.n的下凸函數(shù)。（    ）  6當(dāng)信源的符號(hào)數(shù)一定時(shí)，符號(hào)間的記憶長(zhǎng)度越長(zhǎng)，極值熵¥H越小，從而HH0就越大，這說明冗余度越大，意味著信源可壓縮的程度越大。 （   ）7在限失真信源編碼中，容許的失真度D越大，所要求的信息率R就越小。（   ） 8某信道輸入端的熵為H(X)，輸出端的熵為H(Y)，該信道為無噪有損信道，其容量為H(X)。（   

3、;） 9克拉夫特不等式可以判別唯一可譯碼的存在性，也可以用克拉夫特不等式來判別某碼組是否為唯一可譯碼。（   ） 10若要求糾正1個(gè)差錯(cuò)，同時(shí)檢測(cè)2個(gè)差錯(cuò)，則要求最小碼距dmin= 4。（   ）二  填空題(每空1分，共10分) 1加密編碼主要用于解決信息傳輸中的_(有效性、可靠性、安全性)。 2一信源有五種符號(hào)a,b,c,d,e，先驗(yàn)概率分別為Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625，則符號(hào)“a”的自信息量為  

4、;        bit，此信源的熵為         bit/符號(hào)。 3對(duì)稱DMC信道的輸入符號(hào)數(shù)為n，輸出符號(hào)數(shù)為m，信道轉(zhuǎn)移概率矩陣為pij，則該信道的容量為          。 4采用m進(jìn)制編碼的碼字長(zhǎng)度為Ki，碼字個(gè)數(shù)為n，則克勞夫特不等式為    

5、0;    ，它是判斷         的充要條件。 5信源編碼的概率匹配原則是：概率大的信源符號(hào)用         ，概率小的信源符號(hào)用          。（短碼或長(zhǎng)碼） 6某離散無記憶信源X，其符號(hào)個(gè)數(shù)為n，則當(dāng)信源符號(hào)呈  

6、0;      分布情況下，信源熵取最大值         。三、計(jì)算題 （本題共4小題；第 1小題10分，第2小題14分，第3小題14分，第4小題10分，共48分） 1從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個(gè)回答中各含多少信息量，平均每個(gè)回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多

7、少？2已知二元信道的傳遞矩陣為 ，其中úû試求：（1）H(X)，H(X/Y)，H(Y/X) 和I(X；Y)；（8分） （2）求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。（6分） 3 有一個(gè)二元對(duì)稱信道，其信道矩陣為 。設(shè)該信源以1500bit/s的速度傳輸輸入符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)P(0) = P(1) = 1/2，問從消息傳輸?shù)慕嵌葋砜紤]，多少秒鐘內(nèi)能將這消息序列無失真的傳遞完？4 一個(gè)四元對(duì)稱信源þ ，接收符號(hào)Y = 0, 1

8、, 2, 3，其失真矩陣為úúúúû 求這信源的Dmin、Dmax。四、證明題（本題共2小題，每小題4分，共 8分）  1 證明：平均互信息量同信息熵之間滿足：I(X;Y)=H(X)+H(Y)-H(XY)。2 證明：有兩個(gè)隨機(jī)變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨(dú)立，求證： H(Y)  H(Z)五、綜合題（共24分）  1設(shè)有一單符號(hào)離散無記憶信源X，其概率分布為： P（

9、X）=0.2，0.19，0.18，0.17，0.15，0.1，0.01，求： （1）編二進(jìn)制香農(nóng)碼，并計(jì)算其平均碼長(zhǎng)；（8） （2）用費(fèi)諾編碼編成二元變長(zhǎng)碼，并計(jì)算其平均碼長(zhǎng)；（8分） （3）用哈夫曼編碼編成二元變長(zhǎng)碼，并計(jì)算其平均碼長(zhǎng)；（8）信息理論與編碼試卷答案B 一、判斷題（(對(duì)劃“”，錯(cuò)劃“×”，本題共10 小題；每小題 1分，共10分） 1   2  3×  4  5×  6  7  8×  9×