信息論與編碼期末考試題(全套)之歐陽(yáng)德創(chuàng)編

1、歐陽(yáng)德創(chuàng)編2021.03.07時(shí)間：2021.03.07創(chuàng)作：歐陽(yáng)德負(fù)性.()7. 信源的消息通過(guò)信道 或失直越大，信宿收到消息 的不確定性就越小，獲得的信息量8. 漢明碼是一種線性分9. 率失直函數(shù)的最小值10. 必然事件和不可能事 都是回.()二、埴空題共6小題，滿分1、碼的檢、糾錯(cuò)能力取2、信源編碼的目的是； 的是.3、把信息組原封不動(dòng)覽 位的E碼就叫做4、香農(nóng)信息論中的三 是、5、設(shè)信道的輸入與輸 別為回和日，則廠一條件.6、對(duì)于香農(nóng)-費(fèi)諾編碼、原!、判斷題共10小題，滿分20分.1. 當(dāng)隨機(jī)變量回和耳相互獨(dú)立時(shí)，條 件燔 m 等于信源燔s .()2. 由于構(gòu)成同一空間的基底不是唯一

2、的，所以不同的基底或生成矩陣有可能生 成同一碼集.()3. 般情況下，用變長(zhǎng)編碼得到的平 均碼長(zhǎng)比定長(zhǎng)編碼大得多.()4. 只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要 求的任意小的誤差概率實(shí)現(xiàn)可靠的 通信.()5. 各碼字的長(zhǎng)度符合克拉夫特不等 式，是唯一可譯碼存在的充分和必要條件.06. 連續(xù)信源和離散信源的燔都具有非歐陽(yáng)德創(chuàng)編2021.03.07碼和哈夫曼編碼，編碼方法惟一的是.7、某二元信源,其失直陣為 | X |矩陣叵,則該信源的回=.(1)給出該碼的一致校三、本題共4小題，滿分50分.1、某信源發(fā)送端有2種符號(hào) (3，W3 ；接收端有3種符 號(hào)冋，轉(zhuǎn)移概率矩陣為計(jì)算

3、接收端的平均不確定度計(jì)算由于噪聲產(chǎn)生的不確定度所有的陪集首和與之相對(duì)應(yīng)若接收矢量其對(duì)應(yīng)的伴隨(1)小距離譯碼準(zhǔn)貝試著對(duì)其譯囚(二(2)、埴空題仔計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右(3)1分)1、信源編碼的主要目的是圖所示，信源回的符號(hào)集為國(guó)主要目的是。(1)求信源平穩(wěn)后的概率分布;2、信源的剩余度主要來(lái)自(2)求此信源的嬌;(3)近似地認(rèn)為此信源為無(wú)記憶時(shí),3、三進(jìn)制信源的最小燔為,符號(hào)的概率分布為平4、無(wú)失直信源編碼的平均:穩(wěn)分布求近似信源的嫡s并與極限制為o進(jìn)行比較.5、當(dāng)時(shí)，信源與信道達(dá)到匸4、設(shè)二元s線性分組碼的生成矩6、根據(jù)信道特性是否隨時(shí)四、(10分

4、)某信源輸出 D、E五種符號(hào)，每一個(gè)符 岀現(xiàn)概率分別為1/8、1/8 l/8o如果符號(hào)的碼元寬度 算：(1)信息傳輸速率耳。(5五、(16分)一個(gè)一階馬 轉(zhuǎn) 移 概可以分為和。7、根據(jù)是否允許失直，信源編碼可分為 和。8、若連續(xù)信源輸岀信號(hào)的平均功率為 兇，則輸岀信號(hào)幅度的概率密度是時(shí)，信 源具有最大燔，其值為值。9、在下面空格中選擇埴入數(shù)學(xué)符號(hào)“匡”或”(1) 當(dāng)X和丫相互獨(dú)立時(shí)，H (XY)H(X)+H(X/Y)H(Y)+H(X)o(2) I = i(3) 假設(shè)信道輸入用X表示，信道輸出 用丫表不。 在無(wú)噪有損信道中，H(X/Y) 0z H(Y/X)0J(X;Y) H(X)O三、(16分)

5、已知信源(1) 用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；(6分)(2) 計(jì)算平均碼長(zhǎng)；(4分)(3) 計(jì)算編碼信息率回；(2分)(4) 計(jì)算編碼后信息傳輸率目；(2分)(1) 畫岀狀態(tài)轉(zhuǎn)移圖?！?2) 計(jì)算穩(wěn)態(tài)概率。(4 3(3) 計(jì)算馬爾可夫信源 分)(4) 計(jì)算穩(wěn)態(tài)下日，兇及度。(4分)六、設(shè)有擾信道的傳輸情】 示。試求這種信道的信道容:七、(16分)設(shè)X、Y是兩個(gè) 元隨機(jī)變量，其取0或1的 義另一個(gè)二元隨機(jī)變量 積)。試計(jì)算(5) 計(jì)算編碼效率，(2分)(1) I I(2) 一 1(3) I 1(4) I I ；八、(10分)設(shè)離散無(wú)記憶信源的概率空間 為 I X |,通過(guò)干擾信道，信道輸岀端的

6、接收符號(hào)集為S ,信道傳輸 概率如下圖所示。(1) 計(jì)算信源回中事件因包含的自信息量；計(jì)算信源回的信息燔;計(jì)算信道疑義度耳;計(jì)算噪聲嬌EKI ；計(jì)算收到消息回后獲得的平均互信息量。信息論基礎(chǔ)2參考答案、埴空題(共15分，每空1分)1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小爛為s bit/符號(hào)。4、無(wú)失直信源編碼的平均: 極限制為信源爛(回 Hr(S) o5、當(dāng)R=C或(信道剩余度 源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí) 可以分為恒參信道和隨參信:7、根據(jù)是否允許失直，信 無(wú)失直信源編碼和限失直信:8、若連續(xù)信源輸出信號(hào)白 劇，則輸

7、岀信號(hào)幅度的概率 布或正態(tài)分布或 I X 有最大火商，其值為值E9、在下面空格中選擇境 “ g ”或勺”(1)當(dāng)X和丫相互獨(dú)立=H(X)+H(X/Y)=H(Y)+H(X)o2、信源的剩余度主要來(lái)自兩個(gè)方面，一 是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的(2) I x I _ I x (3) 假設(shè)信道輸入用X表示，信道輸出 用Y表示。在無(wú)噪有損信道中，H(X/Y) 0/H(Y/X)=0J(X;Y)0時(shí)率失直函數(shù)的血和M311）若胞爲(wèi)，F(xiàn)爲(wèi)，求陀2）求該信道的信道容量和曹布O二、綜合題（每題10分，共60分）1 .黑白氣象傳直圖的消息只有黑色和白色兩種，求：3.信源空間為S _ X % 63 S4 S5

8、 S6 sP（s） 0.4 0.2 0.1 0.1 0.05 0.05 0.0 I 別構(gòu)造二元和三元霍夫曼碼碼長(zhǎng)和編碼效率。1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的 概率為0.7o給出這個(gè)只有兩個(gè)符號(hào)的信 源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn) 前后沒有關(guān)聯(lián)，求爛舊徑）；5.已知一（8, 5）線性分組1000011101000100001000100001000100001111求：1）輸入為42）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依 賴關(guān)系為：卿白）9, P（黑泊）71,戸舊/黑）=0.2, f為黑）= D.8,求其爛禺a(chǎn)n ；10100時(shí)該碼的碼字；2） fl答案2.二元對(duì)稱信道如圖。-、 概念簡(jiǎn)答題（每題5夕1答：平均自信息為丹（ =-三左（吾）1跆鞏否）表示信源的平均不確定度，個(gè)信源消息所提供的信息量平均互信息Z（X,F）=-三三去（砂7）1昭表示從丫獲得的關(guān)于每個(gè)X的平均信息瓦陀）6.答：只要L 一1。劭/ ,當(dāng)N定存在一種無(wú)失直編碼。量，也表示發(fā)X前后Y的平均不確定性減7.答：當(dāng)RJ2.答：）丹（出=0.8113如符號(hào)2）儷2陽(yáng)符號(hào),最佳輸入概率分布為等概率分布。3.答：1）二元碼的碼字依序?yàn)椋?0,11