信息論與編碼技術(shù)復(fù)習(xí)題3-4

1、信息論與編碼技術(shù)復(fù)習(xí)題（3） 一、填空題（共20分，每空2分） 1. 信息的基本概念在于它的 。 2. 一個(gè)隨機(jī)事件的 定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。 3. 按樹圖法構(gòu)成的碼一定滿足 的定義。 4. 稱為香農(nóng)第二極限定理。 5. 糾錯(cuò)碼的檢、糾錯(cuò)能力是指 。 6. 信息率失真函數(shù) R（D）是關(guān)于D的嚴(yán)格單調(diào)函數(shù)。 7. 如果轉(zhuǎn)移概率矩陣 P的每一行 ，稱該矩陣是輸入對(duì)稱的。 8. 加密編碼的主要目的是 。 9. 若最小碼距為 dmin的碼同時(shí)能檢測(cè) ed個(gè)錯(cuò)誤、糾正 ec個(gè)錯(cuò)誤，則三個(gè)量之間的關(guān)系 為。 10. 穩(wěn)定的馬爾可夫信源必須有不可約性和 。 二、選擇題（共10分，每題2分） 1. 給定

2、為條件下，隨機(jī)事件 yj所包含的不確定度和條件自信息量l（yj|Xi）, （a）數(shù)量上不等，單位不同；（b）數(shù)量上不等，單位相同； （c）數(shù)量上相等，單位不同；（d）數(shù)量上相等，單位相同。 2. 下面哪一項(xiàng)不屬于熵的性質(zhì)： （a ）非負(fù)性；（b ）完備性；（c）對(duì)稱性；（d ）確定性。 3. 下面哪一項(xiàng)不是增加信道容量的途徑： （a）減小信道噪聲功率；（b ）增大信號(hào)功率；（c）增加碼長(zhǎng)；（d）增加帶寬。 4. 香農(nóng)編碼方法是根據(jù) 推導(dǎo)出來的。 （a）香農(nóng)第一極限定理；（b）香農(nóng)第二極限定理； （c）香農(nóng)第三極限定理；（d）香農(nóng)第四極限定理。 5. 下面哪一項(xiàng)不屬于最簡(jiǎn)單的通信系統(tǒng)模型： （a

3、）信源；（b）加密；（c）信道；（d）信宿。 三、名詞解釋（共10分，每題5分） 1. 唯一可譯碼。 2. 最小碼距。 四、簡(jiǎn)答題（共20分，每10分） 1. 利用公式介紹無條件熵、條件熵、聯(lián)合熵和平均互信息量之間的關(guān)系。 2. 簡(jiǎn)單介紹霍夫曼編碼的步驟。 五、計(jì)算題（共 40 分）（Iog2（3） =， log2（5）=） 1. 某信源含有三個(gè)消息，概率分別為P（0）=, P（1）=，P（2）=，失真矩陣為4 2 1。求Dmax、 D 03 2 2 0 1 Dmin 和 R（Dmax）。（ 10 分） 2. 設(shè)對(duì)稱離散信道矩陣為P 1/3 1/3 1/6 1/6，求信道容量G（ 10分） 1

4、/6 1/6 1/3 1/3 3. 有一穩(wěn)態(tài)馬爾可夫信源，已知轉(zhuǎn)移概率為p（S1/S1）=2/3, p（S1/S2）=1。求： （1）畫出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣； （2）求出各狀態(tài)的穩(wěn)態(tài)概率； （3） 求出信源的極限熵。（20分） 信息論與編碼技術(shù)復(fù)習(xí)題（ 4） 1. （ 5 分）簡(jiǎn)述信源編碼、信道編碼和保密編碼三種編碼的聯(lián)系。 2. （10 分）已知一離散無記憶信源 u p（u） u1u2u3u4u5u6u7u8 試?yán)萌a編成霍夫曼碼， 哪種編碼實(shí)用性更好。 用兩種方法使得它們有相同的最小碼長(zhǎng)但方差不相同， 并說明 3. （10 分）已知二元信源 u p（u） 01 1/8 7/8

5、 ，試對(duì)序列進(jìn)行算術(shù)編碼，并對(duì)結(jié)果進(jìn)行 0.20.150.150.10.10.10.10.1 譯碼。 4. （10分）下面以碼字集合的形式給出 5 種不同的編碼，第一個(gè)碼的碼符號(hào)集合為x, y, z， 其它 4 個(gè)碼都是二進(jìn)制： （1）xx, xz, y, zz, xyz； （2）000, 10, 00, 11； （3）100, 101, 0, 11； （4）01, 100, 011,00,111,1010, 1011, 1101 ； （5）01, 111, 011, 00, 010, 110。 對(duì)于上面列出的 5 種編碼，分別回答下述問題： （a）此碼的碼長(zhǎng)分布是否滿足Kraft-McMil

6、ian不等式 b ）此碼是否是即時(shí)碼如果不是，請(qǐng)給出反例。 （c）此碼是否唯一可譯如果不是，請(qǐng)給出反例。 5. （10 分）設(shè)有一個(gè)離散信道，其信道矩陣為 a1 b1 b2 b3 1/2 1/4 1/4 a2 1/4 1/2 1/4 a3 1/4 1/4 1/2 （1） 當(dāng)信源X的概率分布為p（ai）=2/3，p（a2）=p（a3）=1/6時(shí)，按最大后驗(yàn)概率準(zhǔn)則選擇譯碼函 數(shù)，并計(jì)算其平均錯(cuò)誤譯碼概率 pe 。 （2）當(dāng)信源是等概信源時(shí)，按最大似然譯碼準(zhǔn)則選擇譯碼函數(shù)，并計(jì)算其平均錯(cuò)誤譯碼概 率 pe 。 3 6. （ 10 分）已知 （7, 4）循環(huán)碼的生成多項(xiàng)式 g（x） x x 1，若已知接收碼的最高位碼元 發(fā)生錯(cuò)誤，求其伴隨多項(xiàng)式；若已知接收碼字為 0111000，求發(fā)送碼字。 7. （10分）設(shè)（3, 1, 2）卷積碼的生成子矩陣g1=1 1 1， g2=0 1 0， g3=0 0 1。 （1） 求卷積碼的生成矩陣Gw （2）若輸入信息序列 U=1 0 1 1 0 1 0 1 0 0.時(shí)，求卷積碼的輸出碼字序列。 8. （