信息論與編碼期末考試題樣題

1、3、把信息組原封不動地搬到碼字前k位的(n,k)碼就叫一、判斷題共10小題，滿分20分.1 .當隨機變量X和Y相互獨立時，條件嫡H(X|Y)等于信源嫡H(X).()2 .由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.()3 .一般情況下，用變長編碼得到的平均碼長比定長編碼大得多.()4 .只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實現(xiàn)可靠的通信.()5 .各碼字的長度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件.()6 .連續(xù)信源和離散信源的嫡都具有非負性.()7 .信源的消息通過信道傳輸后的誤差或失真越大，信宿收到

2、消息后對信源存在的不確定性就越小，獲得的信息量就越小.8 .漢明碼是一種線性分組碼.()9 .率失真函數(shù)的最小值是0.()10 .必然事件和不可能事件的自信息量都是0.()二、填空題共6小題，滿分20分.1、碼的檢、糾錯能力取決2、信源編碼的目的是;信道編碼的目的是.Word 資料做.4、香農(nóng)信息論中的三大極限定理是、.5、設(shè)信道的輸入與輸出隨機序列分別為X和Y,則I(XN,YN)NI(X,Y)成立的條件.6、對于香農(nóng)-費諾編碼、原始香農(nóng)-費諾編碼和哈夫曼編碼,編碼方法惟一的是X017、某二元信源，其失真矩陣P(X)1/21/20aD,則該信源的Dmax=a0三、本題共4小題，滿分50分.1、

3、某信源發(fā)送端有 2 種符號x(i1,2),p(x1a;接收端有 3 種符號yi(j1,2,3),轉(zhuǎn)移概率矩陣為1/21/20P.1/21/41/4(1)計算接收端的平均不確定度H(Y);(2)計算由于噪聲產(chǎn)生的不確定度H(Y|X);(3)計算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移(1)求信源平穩(wěn)后的概率分布；(2)求此信源的嫡；(3)近似地認為此信源為無記憶時，符號的概率分布為穩(wěn)分布.求近似信源的嫡H(X)并與H進行比較.4、設(shè)二元(7,4)線性分組碼的生成矩陣為信源X的符號集為0,1,2.圖如右圖所示,11010000110100G.11100101010001(1)給出該

4、碼的一致校驗矩陣，寫出所有的陪集首和與之相對應(yīng)的伴隨式；(2)若接收矢量v(0001011),試計算出其對應(yīng)的伴隨式S并按照最小距離譯碼準則試著對其譯碼.(1)用霍夫曼編碼法編成二進制變長碼；(6 分)(2)計算平均碼長 L；(4 分)(3)計算編碼信息率 R;(2 分)(4)計算編碼后信息傳輸率 R;(2 分)(5)計算編碼效率。(2 分)四、(10 分)某信源輸出 A、B、C、D、E 五種符號，每一個符號獨立出現(xiàn)，出現(xiàn)概率分別為 1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為 0.5So 計算：(1)信息傳輸速率 Rt。(5 分)一、填空題(共15分，每空1分)1、信源編碼的

5、主要目的是，信道編碼的主要目的是 O2、信源的剩余度主要來自兩個方面，一是,五、(16 分)一個一階馬爾可夫信源，轉(zhuǎn)移概率為21PSIS-,PS2|S1-,PG|S21,PS2IS20。33(1)畫出狀態(tài)轉(zhuǎn)移圖。(4 分)(2)計算穩(wěn)態(tài)概率。(4 分)(3)計算馬爾可夫信源的極限嫡。(4 分)(4)計算穩(wěn)態(tài)下H1,H2及其對應(yīng)的剩余度。(4 分)3、三進制信源的最小嫡為,最大嫡為。4、無失真信源編碼的平均碼長最小理論極限制為。5、當時，信源與信道達到匹配。6、根據(jù)信道特性是否隨時間變化，信道可以分為和。7、根據(jù)是否允許失真，信源編碼可分為和。8、若連續(xù)信源輸出信號的平均功率為2,則輸出信號幅度

6、六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。的概率密度是時，信源具有最大嫡，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號“，”或(1)當 X 和丫相互獨立時，H(XY)H(X)+H(X/Y)H(Y)+H(X)。HX1X2HX1X2X3(2)H2XH3X23(3)假設(shè)信道輸入用 X 表示，信道輸出用 Y 表示。在無噪有損信道中，H(X/Y)0,H(Y/X)_0,I(X;Y)_H(X)O三、(16 分)已知信源SSiS2s3s4s5s6P0.20.20.20.20.10.1 七、(16 分)設(shè) X、Y 是兩個相互獨立的二元隨機變量， 其取0或1的概率相等。 定義另一個二元隨機變量Z

7、=XY(一般乘積)。試計算HX,HZ;(2)HXY,HXZ;HX|Y,HZ|X;(4)IX;Y,IX;Z;八、(10 分)設(shè)離散無記憶信源的概率空間為KX22,通過干擾信道，信道輸出端的接收符號0.80.2(1)當 X 和丫相互獨立時，H(XY)=H(X)+H(X/Y)=H(Y)+H(X)(2)H2XHX1X2口 vHX1X2X3H3X23集為Yyy2，信道傳輸概率如下圖所示。(3)假設(shè)信道輸入用 X 表示，信道輸出用 Y 表示。在無噪有損信道中，H(X/Y)0,H(Y/X)=0,I(X;Y)X3X4X5X6X7P（X）0.20.190.180.170.150.10.01，試分別構(gòu)造二元香農(nóng)碼

8、和二元霍夫曼碼，計算其平均碼長和編碼效率（要求有編碼過程）。信源浦收號符綁軻）贏1極$Pr一帆盼長度 L盼A0 02 20 0D D2 2. .3 32 23 30 0刑4( (U U9 91 1. .2 22 23 39 93 30 00 01 140 0J J8 80 0J J9 92 2. .4 47 73 30 01 11 1%0 0J J7 70 0. .5 57 71 15 56 631 10 0( (1 1&9( (U U5 50 0. .7 74 42 2. .7 74 43 31 10 01 1穌0 0J J0 0嫡1 13 32 24 41 11 11 10 0(1

9、k0 0J J1 10 0. .9 99 96 6. .6 64 4/山1 11 11 10 07L“a”，3.14RH(X)20.831i1L3.140.200.0.200.2020P P 況 0.350.35。的尸一耳0 01919019019AononAOA 0 03535/ /039039JJJJV*V*1 1wVswVsLULUI I0.180J80.180J80.170.170.170.170.150.150 05 5 彳UMU0.bUMU0.bv,v,0.190.19/ /0.200.20, ,0.260.26Qja1Qja10.190.19J J0,0,1717_J_J0.0.

10、信源符也 概率/ H?WjH?Wj碼長 L L0.0.0101& &(K20(K20 10102 2/ /0.190.19 11112 2L L-乙PlPl烏冉一&幾臼%(L18(L18 咖3 3碼元符號A0,170,17 0010013 30,150,15lit3 3%0J00J0011001104 4JkJkL2.722.72比特牌號Mlmil4a-2）（3 分）最大后驗概率準則下，有,八（10）.二元對稱信道如圖。31_土1)若p0-,p1一,求HX、HX|Y和IX;Y；解：1）共 6 分H 函。前 3珈/符號HX|Y0.749bit/符號IX-9Y-0,0e16

11、 歷符導(dǎo)2）,C=0.0S2 如f符號（3 分）此時輸入概率分布為等概率分布。（1 分）4）由 dHRT得S101,（2 分）該碼字在第 5 位發(fā)生錯誤，（101001）糾正為（101011）,即譯碼為（101001）（1 分）九、（18）設(shè)一線性分組碼具有一致監(jiān)督矩陣000111H0110011010111）求此分組碼 n=?,k=?共有多少碼字?2）求此分組碼的生成矩陣 Go3）寫出此分組碼的所有碼字。4）若接收到碼字（101001）,求出伴隨式并給出翻譯結(jié)果。解：1）n=6,k=3,共有 8 個碼字。（3 分）2）設(shè)碼字CC5C4C3C2CIC0由HCT0TC2C1C4C3C5C3C1C

12、0C0C0（3分）令監(jiān)督位為C2CIC0,則有J.I生成矩陣為0C2GC0C5C5C4C3C4C3（3分）（2分）3）所有碼字為 000000,001101,010011,011110,100110,101011,110101,111000。（4 分）（六）一、概念簡答題（每題 5 分，共 40 分）1.什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？2.簡述最大離散嫡定理。對于一個有 m 個符號的離散信源，其最大嫡是多少？3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對于一個一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖

13、，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫出香農(nóng)公式，并說明其物理意義。當信道帶寬為 5000Hz,信噪比為 30dB 時求信道容量。6.解釋無失真變長信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準則？對二元信源011其失真矩陣 Lw,求 a0 時率失真函數(shù)的也和、綜合題（每題 10 分，共 60 分）1.黑白氣象傳真圖的消息只有黑色和白色兩種， 求:1）黑色出現(xiàn)的概率為 0.3,白色出現(xiàn)的概率為 0.7。給出這個只有兩個符號的信源 X 的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求嫡,2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：峭面-09 哂面向，忸幣勘顏喝 3 求其嫡也;/=0

14、2.g=C2 .二元對稱信道如圖。叼=1型7!=1;1）若,世）=；求汽和式巴 72）求該信道的信道容量和最佳輸入分布。3 .信源空間為日上合/古4Hem=海最大婿值為血岷 8。平均互信息是信源概率分布的 n 型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。101g-so101g-sodB-WOO-WOO由料郎得肌爐，則c c= =50005000log,log,（1 1 十 1001000 0）= =4983649836而s1S2丹S4%S6%與0.40.20.10,10050.050050.05造二元和三元霍夫曼碼，計算其平均碼長和編碼效率。rioooo1:11oiooninnJOWOOIU0001

15、00015.已知一（8,5）線性分組碼的生成矩陣為 151Mmi|。求：1）輸入為全 00011 和 10100 時該碼的碼字；2）最小碼距。答案一、概念簡答題（每題 5 分，共 40 分）表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。/_6 .答：只要leg）那,當 N 足夠長時，一定存在一種無失真編碼。7 .答：當 RC 時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。8 .答：1）保真度準則為：平均失真度不大于允許的失真度。Rtin=02）因為失真矩陣中每行都有一個 0,所以有,而鼻敢=叫口一回 H 改;O二、綜合題（每題 10 分，共 60 分）卜1=黑厘/白1 .答：1）信源模型為I。3表示從丫獲得的關(guān)于每個 X 的平均信息量，也表示發(fā) X 前后丫的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。2 .答：最大離散燧定理為：離散無記憶信源，等概率分布時燧最大。/-尸&*（勺氏）1 1 密網(wǎng)勺 0553305533 歷符號i-ljJ香農(nóng)公式為G G 晚。叩限丁 2 21Xbills,它是高5.答:斯加性白噪聲信道在單位時間內(nèi)的信道容量，其值取決于信噪比和帶寬。平均互信息2-1似曰）以西）2漢因一 2 2 尸1 1 泡?但：-o-o.阿施布號 ULUL1