信息論與編碼期末考試題(全套)

1、（一）一、判斷題共 10 小題，滿分 20 分.1. 當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵等于信源熵. （ ）2. 由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集. （ ）3.一般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼大得多. （ ）4. 只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信. （ ）5. 各碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件. （）6. 連續(xù)信源和離散信源的熵都具有非負(fù)性. （ ）7. 信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確 定性就越小，獲得的信

2、息量就越小.8. 漢明碼是一種線性分組碼.（ ）9. 率失真函數(shù)的最小值是.（ ）10.必然事件和不可能事件的自信息量都是.（ ）二、填空題共 6 小題，滿分 20 分.1、碼的檢、糾錯(cuò)能力取決于.2、信源編碼的目的是；信道編碼的目的是.3、把信息組原封不動(dòng)地搬到碼字前位的碼就叫做.4、香農(nóng)信息論中的三大極限定理是、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為和，則成立的 條件.6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是.7、某二元信源，其失真矩陣，則該信源的=.三、本題共 4 小題，滿分 50 分.1、某信源發(fā)送端有2種符號(hào),；接收端有3種符號(hào)，轉(zhuǎn)移概率矩陣為.（1）

3、 計(jì)算接收端的平均不確定度；（2） 計(jì)算由于噪聲產(chǎn)生的不確定度；（3） 計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示， 信源的符號(hào)集為.（1）求信源平穩(wěn)后的概率分布； （2）求此信源的熵； （3）近似地認(rèn)為此信源為無記憶時(shí)，符號(hào)的概率分布為平 穩(wěn)分布.求近似信源的熵并與進(jìn)行比較. 3、設(shè)碼符號(hào)為，信源空間為試構(gòu)造一種三元緊致碼. 4、設(shè)二元線性分組碼的生成矩陣為.（1）給出該碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對(duì)應(yīng)的伴隨式； （2）若接收矢量，試計(jì)算出其對(duì)應(yīng)的伴隨式并按照最小距離譯碼準(zhǔn)則 試著對(duì)其譯碼.（二）一、填空題（共15分，每空1分）1、信源編碼的主要目

4、的是，信道編碼的主要目的是。2、信源的剩余度主要來自兩個(gè)方面，一是，二是。3、三進(jìn)制信源的最小熵為，最大熵為。4、無失真信源編碼的平均碼長(zhǎng)最小理論極限制為 。5、當(dāng)時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為和。7、根據(jù)是否允許失真，信源編碼可分為和 。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）H(X)+H(X/Y)H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X)0,I(

5、X;Y) H(X)。二、（6分）若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說明該信源的絕對(duì)熵為多少。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2000kHz的加性白高斯噪

6、聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1) 畫出狀態(tài)轉(zhuǎn)移圖。(4分)(2) 計(jì)算穩(wěn)態(tài)概率。(4分)(3) 計(jì)算馬爾可夫信源的極限熵。(4分)(4) 計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;八、(10分)設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概

7、率如下圖所示。(1) 計(jì)算信源中事件包含的自信息量；(2) 計(jì)算信源的信息熵；(3) 計(jì)算信道疑義度；(4) 計(jì)算噪聲熵；(5) 計(jì)算收到消息后獲得的平均互信息量。信息論基礎(chǔ)參考答案一、填空題（共15分，每空1分）1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。4、無失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道

8、可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X)=0,I(X;Y)0時(shí)率失真函數(shù)的和？二、綜合題（每題10分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為

9、0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；2） 假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，求其熵 ；2.二元對(duì)稱信道如圖。；1）若，求和； 2）求該信道的信道容量和最佳輸入分布。3.信源空間為，試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。4. 設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。5. 5.已知一（8，5）線性分組碼的生成矩陣為。求：1）輸入為全00011和10100時(shí)該碼的碼字；2）最小碼距。6. 設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s，在帶寬為

10、4kHz的高斯信道中傳輸，噪聲功率譜NO=5106mw/Hz。試求：（1）無差錯(cuò)傳輸需要的最小輸入功率是多少？（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少？寫出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。答案一、 概念簡(jiǎn)答題（每題5分，共40分）1.答：平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2.答：最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。最大熵值為。3.答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信

11、息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。4.答：通信系統(tǒng)模型如下：數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有，。說明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5.答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。由得，則6.答：只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無失真編碼。7.答：當(dāng)RC時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無窮小。8.答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有，而。二、綜合題（每題10分，共60分）1.答：1）信源模型為2）由得則2.答：1）2），最佳輸入概率分布為等概率分布。3.答：1）二元碼的碼字依序?yàn)椋?0，11，010，011，1010，1011，1000，