信息論與編碼試題集

1、1. 在無失真的信源中，信源輸出由H(X來度量；在有失真的信源中，信源輸出由R(D)來度量。2. 要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先信源 編碼,然后 一加密_ 編碼，再_信道.編碼，最后送入信道。3. 帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公 式是C Wlog(1 SNR)；當(dāng)歸一化信道容量C/W趨近于零時(shí)，也即信道完全喪失了通信 能力，此時(shí) E/No為_dB，我們將它稱作香農(nóng)限，是一切編碼方式所能達(dá)到的理論極限。4. 保密系統(tǒng)的密鑰量越小，密鑰熵H(K)就越 小，其密文中含有的關(guān)于明文的信息量I(MC)就越大。5. 設(shè)輸入符號表為 X=

2、0,1,輸出符號表為 Y= 0 , 1。輸入信號的概率分布為 p= (1/2 ,1/2)，失真函數(shù)為 d(0 , 0) = d(1 , 1) = 0 , d(0 , 1) =2 , d(1 , 0) = 1 ，貝U dn= _0_ ,1 0R( Dmin) = 1bit/symbol，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x ) =； Dmax=, R( Bax)0 1 =0，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣1 0p(y/x )=。1 0二、判斷題1. 可以用克勞夫特不等式作為唯一可譯碼存在的判據(jù)。()2. 線性碼一定包含全零碼。()3. 算術(shù)編碼是一種無失真的分組信源編碼，其基本思想是將一定精度數(shù)值作為序

3、列的編碼，是以另外一種形式實(shí)現(xiàn)的最佳統(tǒng)計(jì)匹配編碼。(X)4. 某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，就有信息量。(X)5. 離散平穩(wěn)有記憶信源符號序列的平均符號熵隨著序列長度L的增大而增大。(X)6. 限平均功率最大熵定理指出對于相關(guān)矩陣一定的隨機(jī)矢量X，當(dāng)它是正態(tài)分布時(shí)具有最大熵。()7. 循環(huán)碼的碼集中的任何一個(gè)碼字的循環(huán)移位仍是碼字。()8. 信道容量是信道中能夠傳輸?shù)淖钚⌒畔⒘俊?X)9. 香農(nóng)信源編碼方法在進(jìn)行編碼時(shí)不需要預(yù)先計(jì)算每個(gè)碼字的長度。(X)10. 在已知收碼R的條件下找出可能性最大的發(fā)碼Ci作為譯碼估計(jì)值，這種譯碼方法叫做最佳譯碼。()三、計(jì)算題某系

4、統(tǒng)(7，4)碼c(C6C5C4C3C2Gc°)(m3m2m1m°C2Gc°)其三位校驗(yàn)位與信息位的關(guān)系為：C2m3葉m°C1m3m2m1c 0m2m1m0(4)若接收碼字F=1110011，求發(fā)碼。10001 10解:彳 01000 111.GH00101 1100011 012.dmi n=3(1)求對應(yīng)的生成矩陣和校驗(yàn)矩陣；(2 )計(jì)算該碼的最小距離；(3 )列出可糾差錯(cuò)圖案和對應(yīng)的伴隨式;3.10 1110 01 110 0 100 1110 0 1SE000000000000100000010100000010100000010010100010

5、001110010000011010000011010000004. RHT=001接收出錯(cuò)E=0000001R+E=C 1110010(發(fā)碼)四、計(jì)算題已知X,Y的聯(lián)合概率p x,y為:求 HX ， H Y ， H X,Y ，I X;YxY0101/31/31亠1/3解：p(X 0)2/3 p(X 1)1/3p(y 0)1/ 3 p(y 1)2/3H XH Y H (1/ 3,2/3)bit/symbolH X,YH (1/3,1/ 3,1/ 3)=bit/symbolI X;Y H (X) H (Y) H (X,Y) bit/symbol六、計(jì)算題X xx若有一信源12 ，每秒鐘發(fā)出個(gè)信源

6、符號。P0.8 0.2將此信源的輸出符號送入某一個(gè)二元信道中進(jìn)行傳輸（假設(shè)信道是無噪無損的，容量為1bit/二元符號），而信道每秒鐘只傳遞 2個(gè)二元符號。（1）試問信源不通過編碼（即 xi 0,x 2 1在信道中傳輸）（2）能否直接與信道連接（3）若通過適當(dāng)編碼能否在此信道中進(jìn)行無失真?zhèn)鬏敚?）試構(gòu)造一種哈夫曼編碼（兩個(gè)符號一起編碼），（5）使該信源可以在此信道中無失真?zhèn)鬏?。解?.不能，此時(shí)信源符號通過0，1在信道中傳輸，二元符號/s>2二元符號/s2.從信息率進(jìn)行比較，* H（0.8,0.2）= < 1*2可以進(jìn)行無失真?zhèn)鬏?.011100101X1X1X1X2X2X1X2X2

7、0.64k 0.640.640 * 10.164。辺/ 0.3一. /0.160/ 0.16J0.0足二元符號/2個(gè)信源符號4KpKj0.64 0.16*20.2*3i 1此時(shí)2*=二元符號/s < 2 二元符號/s七、計(jì)算題兩個(gè)BSC信道的級聯(lián)如右圖所示:（1）寫出信道轉(zhuǎn)移矩陣；（2）求這個(gè)信道的信道容量。解：（1）P RP21(1 )2 2 2 (1 )2 (1 ) (1 )2 2(2) C log 2H(1)22)信息理論與編碼試卷A答案 中南大學(xué)考試試卷200 - 2010學(xué)年 丄學(xué)期期末考試試題時(shí)間100分鐘信息論基礎(chǔ)課程32 學(xué)時(shí)學(xué)分 考試形式： 閉 卷專業(yè)年級：通信07級

8、總分100分，占總評成績70%注：此頁不作答題紙，請將答案寫在答題紙上一、填空題(每空2分，共20分)1 設(shè)X的取值受限于有限區(qū)間a,b L則X服從 均勻 分布時(shí)，其熵達(dá)到最大；女口X的均值為 ，方差受限為，則X服從 高斯 分布時(shí)，其熵達(dá)到最大。2信息論不等式：對于任意實(shí)數(shù)z 0，有In z z 1，當(dāng)且僅當(dāng)z 1時(shí)等式成立。3. 設(shè)信源為X=0, 1, P(0) =1/8，則信源的熵為_1/8Iog28 7/8Iog2(7/8)比特/符號，如信源發(fā)出由m個(gè)“ 0 ”和(100-m)個(gè)“1”構(gòu)成的序列，序列的自信息量為 m log 2 8(100 m) log 2(7/8)比特 / 符號。4.

9、 離散對稱信道輸入等概率時(shí)，輸出為 等概 分布。5根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為定長 編碼和 變長 編碼。U6 . 設(shè) DMS為Pu用二元符號表U1U2 U3 U4U5U60.37 0.25 0.18 0.10 0.07 0.03 ，X X10,X21對其進(jìn)行定長編碼，若所編的碼為 000 , 001, 010, 011, 100, 101,則編碼器輸出碼元的一維概率P(x1 ), P(x2)_。、簡答題(30 分)1什么是損失熵、噪聲熵什么是無損信道和確定信道如輸入輸出為r s，則它們的分別信道容量為多少答：將H(X|Y)稱為信道X,PY|X,Y的疑義度或損失熵，損失熵為零的信道就是無

10、損信道，信道容量為logr。將H( Y|X )稱為信道X,PY|X,Y的噪聲熵，噪聲熵為零的信道就是確定信道，信道容量為logs。2 .信源編碼的和信道編碼的目的是什么答：信源編碼的作用：(1 )符號變換：使信源的輸出符號與信道的輸入符號相匹配；(2)冗余度壓縮：是編碼之后的新信源概率均勻化，信息含量效率等于或接近于100%信道編碼的作用：降低平均差錯(cuò)率。3 什么是香農(nóng)容量公式為保證足夠大的信道容量，可采用哪兩種方法pNo為常數(shù),答：香農(nóng)信道容量公式：C(PS) Blog2(1 S ) , B為白噪聲的頻帶限制,NoB輸入X (t)的平均功率受限于Ps 。由此，為保證足夠大的信道容量，可采用(

11、1)用頻帶換信噪比；(2)用信噪比換頻帶。4什么是限失真信源編碼答：有失真信源編碼的中心任務(wù)：在允許的失真范圍內(nèi)把編碼的信息率壓縮到最小。1.設(shè)隨機(jī)變量X X1，X2三、綜合題(20+15+15)0,1和Y y1,y20,1的聯(lián)合概率空間為XY(X1,yJ (X1, y2)區(qū)，力)區(qū)皿)Pxy1/83/83/81/8定義一個(gè)新的隨機(jī)變量Z X Y(普通乘積)(1) 計(jì)算熵 H (X) , H (Y , H (Z) , H (XZ), H (YZ),以及 H ( XYZ ；(2) 計(jì)算條件熵 H (X|Y), H( Y|X), H( X|Z), H( Z|X ) , H( Y|Z ), H( Z

12、|Y), H( X|YZ), H (Y|XZ)以及 H (Z|XY);(3) 計(jì)算平均互信息量I(X;Y),I(X：Z),I (Y：Z),I (X; Y|Z), I (Y; Z|X )以及 I (X: , Z|Y )解: (1)XY0101/83/81/213/81/81/21/21/2H(X) 1/2log22 1/2log22 1H(Y) 1/2log22 1/2log22 1XYZ 0000010100111001011101111/803/803/8001/87/8 1/8H(Z) 7/8log2(8/7) 1/8log28XZ 000110111/203/8 1/8H(XZ)1/2l

13、og22 3/8log2(8/3) 1/8log28YZ 000110111/203/8 1/8H(YZ)1/2log2 23/8log2(8/3) 1/8log2 8(2)H(X |Y)1/2(1/4log2 4 3/4log2(4/3)1/2(1/4log24 3/4log2(4/3)H(Y|X)1/2(1/4log2 4 3/4log2(4/3)1/2(1/4log243/4log2(4/3)XZ0101/201/213/81/81/27/81/8H(X |Z)7/8(4/7log2(7/4)3/7log2(7/3) 1/8(0log2 0 1 log2 1)H(Z | X) 1/2(1

14、 log 21 0log2 0)1 / 2(3/4 log 2(4/3) 1/4log24)YZ0101/201/213/81/81/27/81/8H(Y|Z) 7/8(4/7log2(7/4)3/7 log 2(7/3)1/8(0log20 1log21)H(Z |Y)1/2(1 log 21 0 log 2 0) 1/2(3/4log2(4/3) 1/4log2 4)H(X |YZ) 1/2(1/4log24 3/4log 2 (4/3)3/8(1 log210 log 2 0)1/8(1 log21 0log20)H(Y|XZ) 1/2(1/4log2 4 3/4log2(4/3)3/8

15、(1log21 0log20) 1/8(1 log210log2 0)H(Z|XY) 0I(X;Y) H(X) H(X |Y)I(X;Z) H(X) H(X|Z) l(Y;Z) H(Y) H(Y|Z)I(X;Y | Z) H (X |Z) H(X |YZ)I(X;Z | Y) H (X |Y) H (X |ZY)2.設(shè)二元對稱信道的輸入概率分布分別為PX3/41/4,轉(zhuǎn)移矩陣為PY|x2/3 1/31/3 2/3(1) 求信道的輸入熵，輸出熵，平均互信息量；(2) 求信道容量和最佳輸入分布；(3) 求信道剩余度。解：(1)信道的輸入熵 H (X) 3/4log2(4/3) 1/4log24 ；

16、Pxy1/21/41/12 1/6FY7/125/12H(Y) 7/12log2(12/7)5/12log 2 (12/5)H (Y | X )3/4H (1 / 2,1 /4)1/4H (1/12,1/6)I(X;Y) H (Y) H(Y |X)(2)最佳輸入分布為Px1/2 1/2，此時(shí)信道的容量為C 1 H (2/3,1/3)信道的剩余度：C I (X;Y)1. 信息的基本概念在于它的 不確定性。2. 按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。3. 一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對數(shù)的負(fù)值。4. 按樹圖法構(gòu)成的碼一定滿足 _即時(shí)碼_的定義。

17、5. _有擾離散信道編碼定理稱為香農(nóng)第二極限定理。6. 糾錯(cuò)碼的檢、糾錯(cuò)能力是指 檢測、糾正錯(cuò)誤碼元的數(shù)目 。7. 信道一般指傳輸信息的物理媒介，分為有線 信道和無線信道。& 信源編碼的主要目的是 提高通信系統(tǒng)的有效性 。得分評卷人、選擇題(共10分，每題2分)所包含的不確定度和條件自信息量1. 給定Xi條件下隨機(jī)事件yA. 數(shù)量上不等，單位不同C.數(shù)量上相等，單位不同2. 條件熵和無條件熵的關(guān)系是：A. H(Y/X) v H(Y)C. H(Y7X) < H(Y3. 根據(jù)樹圖法構(gòu)成規(guī)則，A. 在樹根上安排碼字C.在中間節(jié)點(diǎn)上安排碼字4. 下列說法正確的是：A.奇異碼是唯一可譯碼C

18、.非奇異碼不一定是唯一可譯碼5. 下面哪一項(xiàng)不屬于熵的性質(zhì)：A.非負(fù)性C.對稱性p(yj /Xi) , ( D)B.數(shù)量上不等，單位相同D.數(shù)量上相等，單位相同(C)B. H(YX) >HY)D. H(YYX) > HY)(D)B.在樹枝上安排碼字D.在終端節(jié)點(diǎn)上安排碼字(C)B.非奇異碼是唯一可譯碼D.非奇異碼不是唯一可譯碼(B)B.完備性D.確定性1. 奇異碼包含相同的碼字的碼稱為奇異碼。2. 碼距兩個(gè)等長碼字之間對應(yīng)碼元不相同的數(shù)目，稱為碼距。3. 輸出對稱矩陣轉(zhuǎn)移概率矩陣的每一列都是第一列的置換(包含同樣元素)，則該矩陣稱為輸出對稱矩陣。1. 簡述信息的特征。答：信息的基本

19、概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、新內(nèi)容。 信息是能使認(rèn)識主體對某一事物的未知性或不確定性減少的有用知識。信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理。信息是可以量度的，信息量有多少的差別。2. 簡單介紹哈夫曼編碼的步驟。 將信源消息符號按其出現(xiàn)的概率大小依次排列P（ X1）> P（X2）p（ Xn） 取兩個(gè)概率最小的符號分別配以0和1，并將這兩個(gè)概率相加作為一個(gè)新符號的概率,與未分配碼元的符號重新排隊(duì)。 對重排后的兩個(gè)概率最小符號重復(fù)步驟2的過程。 繼續(xù)上述過程，直到最后兩個(gè)符號配以0和1為止。3

20、5分） 從最后一級開始，向前返回得到各個(gè)信源符號所對應(yīng)的碼元序列，即相應(yīng)的碼字。得分評卷人四、計(jì)算題(共1. 設(shè)有一個(gè)二進(jìn)制一階馬爾可夫信源，其信源符號為X (0,1)，條件概率為p(0/0)= p(1/0)= p(1/1)=p(0/1)=畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。(15分)W00.5W） 0.75W1W0 W 1W00.6W0.42. 設(shè)輸入符號與輸出符號為X= Y 0,1,2,3，且輸入符號等概率分布。設(shè)失真函數(shù)為漢明失真。求Dnax和0Dnin及尺Dna0和R Dm n）（20 分）解：pX。PX1P X2PX31401111011D110111103Dmax minp(X)d(X

21、i,yj)j i 0R Dmin RO H X log2 4 2bit/符號1 1 1 1 ,1 1 1 1 ,- 1 1 1444R Dmax一、填空題1.設(shè)信源X包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為1/4 _ 時(shí),信源熵達(dá)到最大值，為 _2_，此時(shí)各個(gè)消息的自信息量為_22. 如某線性分組碼的最小漢明距dmin=4,則該碼最多能檢測出 _3個(gè)隨機(jī)錯(cuò)，最多能糾正_1個(gè)隨機(jī)錯(cuò)。3. 克勞夫特不等式是唯一可譯碼存在的充要條件。4. 平均互信息量l(X;Y)與信源熵和條件熵之間的關(guān)系是_I_ (X;Y)=H(X)-H(X/Y )_。5. _信源編碼提高通信的有效性，_信道編碼目的

22、是提高通信的可靠性，_加密_編碼的目的是保證通信的安全性。6. 信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性 ，加密編碼的目的是保證通信的安全性 。7. 設(shè)信源X包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_1/8時(shí)，信源熵達(dá)到最大值，為 3。8. 自信息量表征信源中各個(gè)符號的不確定度，信源符號的概率越大，其自信息量越_小9. 信源的冗余度來自兩個(gè)方面，一是信源符號之間的_相關(guān)性_，二是信源符號分布的不均勻性。10. 最大后驗(yàn)概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯 碼估值 ，即令 =maxP( |r) 、反饋重發(fā) 和混合糾錯(cuò) 三種。p(

23、yj/x) 1ip(Xi,yj) q(x)11. 常用的檢糾錯(cuò)方法有 前向糾錯(cuò)_二、單項(xiàng)選擇題1. 下面表達(dá)式中正確的是(A )。A.p(yj/G 1B.jC.p(x,yj)(yj)d.2. 彩色電視顯像管的屏幕上有5X 105個(gè)像元，設(shè)每個(gè)像元有64種彩色度，每種彩度又有 16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（C ）。6 6 6 6A. 5010 B. 7510C. 12510D. 250101 23. 已知某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d= 1 12 1則信

24、源的最大平均失真度Dmax為（D ）。A. 1/3 B. 2/3C. 3/3D. 4/3|4. 線性分組碼不具有的性質(zhì)是（ C ）A. 任意多個(gè)碼字的線性組合仍是碼字B. 最小漢明距離等于最小非0重量C. 最小漢明距離為 3D. 任一碼字和其校驗(yàn)矩陣的乘積CmH=05. 率失真函數(shù)的下限為（B）。A .H(U)(U； V) D.沒有下限6. 糾錯(cuò)編碼中，下列哪種措施不能減小差錯(cuò)概率（ D ）。減小帶寬但不幸被人用外觀相同但重量A.增大信道容量 B.增大碼長C.減小碼率D.7. 一珍珠養(yǎng)殖場收獲 240顆外觀及重量完全相同的特大珍珠,僅有微小差異的假珠換掉 1顆。一人隨手取出3顆，經(jīng)測量恰好找出

25、了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這事件給出的信息量（A ）。A. Obit B. Iog6bit C. 6bit D. Iog240bit8. 下列陳述中，不正確的是（D ）。A. 離散無記憶信道中，H （ Y）是輸入概率向量的凸函數(shù)B. 滿足格拉夫特不等式的碼字為惟一可譯碼C. 一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)D. 滿足格拉夫特不等式的信源是惟一可譯碼9. 一個(gè)隨即變量x的概率密度函數(shù) P（x）= x /2，0 x 2V，則信源的相對熵為（C ）。B.C. 1bitD.10.

26、 下列離散信源，熵最大的是（ D ）。A. H （1/3,1/3,1/3）; B. H （1/2,1/2 ）;C. H （, ） ;D. H（1/2,1/4,1/8,1/8）11. 下列不屬于消息的是（ B ）。A.文字 B. 信號 C. 圖像 D. 語言12. 為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（A ）。A.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣D.對多組信息進(jìn)行交織處理13. 最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是（D ）無錯(cuò)編碼消息先驗(yàn)等概A.離散無記憶信道B.C.無擾信道D.14. 下列說法正確的是（C ）。A. 等重碼是線性碼B. 碼

27、的生成矩陣唯一C. 碼的最小漢明距離等于碼的最小非0重量D. 線性分組碼中包含一個(gè)全 0碼字15. 二進(jìn)制通信系統(tǒng)使用符號 0和1,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號表示下列 事件，u0: 個(gè)0發(fā)出 u1:個(gè)1發(fā)出 v0 : 一個(gè)0收到 v1: 一個(gè)1收到則已知收到的符號，被告知發(fā)出的符號能得到的信息量是（A ）。A. H（U/V） B. H（V/U） C. H（U,V） D. H（UV）16. 同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12,則得到的自信息為（B）。A. Iog36bit B. Iog36bit C.log (11/36)bit D. log (11/

28、36)bit17. 下列組合中不屬于即時(shí)碼的是（A ）。A. 0, 01, 011 B. 0, 10, 110 C. 0018. 已知某（6, 3）線性分組碼的生成矩陣G,10, 11 D. 1, 01, 00111010110001 ，則不用計(jì)算就可判斷出下列碼011101中不是該碼集里的碼是（D )。A. 000000 B. 110001 C. 011101 D. 11111119. 一個(gè)隨即變量x的概率密度函數(shù) P（x）= x /2 , 0 x 2V ,則信源的相對熵為（C ）。A. 0.5bit/ 符號 B. 符號 C. 1bit/ 符號 D. 符號20. 設(shè)有一個(gè)無記憶信源發(fā)出符號A

29、和B,已知p（A） ；,p（B） 4，發(fā)出二重符號序列消息的信源，無記憶信源熵H （X2）為（A ）。二重符號二重符號bit/ 二重符號 D . bit/二重符號三、判斷題1. 確定性信源的熵H（0,0,0,1）=12. 信源X的概率分布為P（X）=1/2, 1/3, 1/6，對其進(jìn)行哈夫曼編碼得到的碼是唯一的。（錯(cuò)）3. 離散無記憶序列信源中平均每個(gè)符號的符號熵等于單個(gè)符號信源的符號熵。（對）4. 非奇異的定長碼一定是唯一可譯碼。（錯(cuò)）5. 信息率失真函數(shù)R（D）是在平均失真不超過給定失真限度D的條件下，信息率容許壓縮的最小值。（對）6. 信源X的概率分布為 P（X）=1/2, 1/3, 1

30、/6 ，信源Y的概率分布為 P（Y）=1/3,1/2,1/6 ，則信源X和Y的熵相等。（對）7. 互信息量I（X;Y）表示收到Y(jié)后仍對信源X的不確定度。（對）8. 對信源符號X=a1,a 2,a 3,a 4進(jìn)行二元信源編碼，4個(gè)信源符號對應(yīng)碼字的碼長分別為K1=1，Kz=2, Ks=3, K3=3，滿足這種碼長組合的碼一定是唯一可譯碼。（錯(cuò)）1/3 1/3 1/6 1/6信道轉(zhuǎn)移概率矩陣為P，則此信道在其輸入端的信源分布為1/6 1/6 1/3 1/3P（X）=1/2,1/2時(shí)傳輸?shù)男畔⒘窟_(dá)到最大值。（錯(cuò)）10.設(shè) C = 000000, 001011,010110, 011101, 1001

31、11, 101100, 110001, 111010是一個(gè)二元線性分組碼，則該碼最多能檢測出 3 個(gè)隨機(jī)錯(cuò)誤。（錯(cuò)）四、名詞解釋 平均自信息為 表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。 平均互信息表示從丫獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后丫的平均不確定性減 少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。3、最大熵值為。4、通信系統(tǒng)模型如下： 5、香農(nóng)公式為為保證足夠大的信道容量，可采用( 1)用頻帶換信噪比；(2)用 信噪比換頻帶。6、只要，當(dāng) N 足夠長時(shí)，一定存在一種無失真編碼。7、當(dāng)Rv C時(shí)，只

32、要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼 錯(cuò)誤概率無窮小。8、在認(rèn)識論層次上研究信息的時(shí)候， 必須同時(shí)考慮到 形式、 含義和效用 三個(gè) 方面的因素。9、1948 年，美國數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文， 從而創(chuàng)立了信息論。按照信息的性質(zhì)，可以把信息分成 語法信息、語義信息和語用信息 。按照信息的地位，可以把信息分成 客觀信息和主觀信息 。 人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。 信息的 可度量性 是建立信息論的基礎(chǔ)。統(tǒng)計(jì)度量 是信息度量最常用的方法。熵 是香農(nóng)信息論最基本最重要的概念。事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生 概率的

33、對數(shù) 來描述的。10、 單符號離散信源一般用隨機(jī)變量描述，而多符號離散信源一般用隨機(jī)矢量 描述。11、 一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā) 生概率對數(shù)的負(fù)值 。12、自信息量的單位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0。14、 不可能事件的自信息量是 015、 兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和 。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息 與輸出消息之間的平均互信息量 趨于變小 017、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源 X的熵的N倍°18、離散平穩(wěn)有記憶信源的極限熵

34、， 019、對于n元m階馬爾可夫信源，其狀態(tài)空間共有 nm個(gè)不同的狀態(tài)。20、一維連續(xù)隨即變量X在a ,b區(qū)間內(nèi)均勻分布時(shí)，其信源熵為Iog2 (b-a)。21、 平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc (X) =022、對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度 均勻分布 時(shí)連續(xù)信源熵具有 最大值。23、對于限平均功率的一維連續(xù)信源， 當(dāng)概率密度 高斯分布 時(shí)，信源熵有最大 值。24、對于均值為 0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的 限定值 P 和信源的熵功率 之比 。25、若一離散無記憶信源的信源熵 H( X)等于，對信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼長度至

35、少為 3。26、m元長度為ki , i=1 , 2, n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為 log26 。28、 同時(shí)擲兩個(gè)正常的骰子,各面呈現(xiàn)的概率都為 1/6,則“3和 5同時(shí)出現(xiàn)” 這件事的自信息量是 log218 (1+2 log23 )。29、若一維隨即變量X的取值區(qū)間是0，其概率密度函數(shù)為，其中：,m是 X的數(shù)學(xué)期望，貝U X的信源熵。30、一副充分洗亂的撲克牌( 52張)，從中任意抽取 1張，然后放回，若把這一 過程看作離散無記憶信源，貝其信源熵為 。31、根據(jù)輸入輸出信號的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半 連續(xù) 信道

36、。32、 信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶 信道。33、 具有一一對應(yīng)關(guān)系的無噪信道的信道容量C= log2n 。34、強(qiáng)對稱信道的信道容量 C= log2n-Hni 。35、對稱信道的信道容量 C= log2m-Hmi 。36、對于離散無記憶信道和信源的 N 次擴(kuò)展，其信道容量 CN= NC 。37、對于N個(gè)對立并聯(lián)信道，其信道容量 CN =。38、多用戶信道的信道容量用 多維空間的一個(gè)區(qū)域的界限 來表示。39、 多用戶信道可以分成幾種最基本的類型：多址接入信道、 廣播信道 和相關(guān) 信源信道。40、廣播信道是只有 一個(gè)輸入端和多個(gè)輸出端 的信道。41、 當(dāng)信道

37、的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱 為 加性連續(xù)信道 。42、高斯加性信道的信道容量 C=。43、 信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條 件是 信息率小于信道容量 。44、信道矩陣代表的信道的信道容量 C= 1。45、信道矩陣代表的信道的信道容量 C= 1。46、高斯加性噪聲信道中，信道帶寬3kHz,信噪比為7,則該信道的最大信息傳 輸速率 Ct= 9 kHz 。47、 對于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p (yj ) =1/m)。48、信道矩陣代表的信道， 若每分鐘可以傳遞 6*105個(gè)符號， 貝該信道的最大信 息傳輸速率

38、 Ct= 10kHz 。49、 信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮 的理論基礎(chǔ)。50、求解率失真函數(shù)的問題， 即：在給定失真度的情況下， 求信息率的 極小值 。51、 信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在 的不確定性就 越大，獲得的信息量就越小。52、 信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也 越小。53、 單符號的失真度或失真函數(shù)d (xi , yj )表示信源發(fā)出一個(gè)符號xi，信宿再 現(xiàn)yj所引起的誤差或失真。54、漢明失真函數(shù)d (xi，yj)=。55、 平方誤差失真函數(shù)d (xi，yj)= (yj- xi )2。56

39、、 平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d (xi，yj )在X和丫的聯(lián)合 概率空間P (XY中 的統(tǒng)計(jì)平均值。57、 如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。58、 如果規(guī)定平均失真度不能超過某一限定的值D,即：。我們把稱為保真度準(zhǔn) 則。59、離散無記憶N次擴(kuò)展信源通過離散無記憶 N次擴(kuò)展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。60、試驗(yàn)信道的集合用PD來表示，則PD=。61、 信息率失真函數(shù)，簡稱為率失真函數(shù)，即:試驗(yàn)信道中的平均互信息量的最 小值。62、 平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。63、平均失真度的上限 Dmax

40、取Dj : j=1，2,，m中的最小值。64、率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。65、 對于離散無記憶信源的率失真函數(shù)的最大值是Iog2n 。66、 當(dāng)失真度大于平均失真度的上限時(shí) DmaxH寸，率失真函數(shù)R (D) = 0 。67、連續(xù)信源X的率失真函數(shù)R ( D)=。68、 當(dāng)時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為。69、 保真度準(zhǔn)則下的信源編碼定理的條件是信源的信息率R大于率失真函數(shù)R (D)。70、某二元信源其失真矩陣D=,則該信源的Dmax= a/2。71、某二元信源其失真矩陣D=,則該信源的Dmin= 0。72、某二元信源其失真矩陣D=,則該信源的R (D)

41、= 1-H (D/a)。73、 按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和 安全編碼。74、 信源編碼的目的是：提高通信的有效性。75、 一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源 編碼。76、 連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。77、在香農(nóng)編碼中，第i個(gè)碼字的長度ki和p (xi )之間有 關(guān)系。78、 對信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為1。79、對具有8個(gè)消息的單符號離散無記憶信源進(jìn)行 4進(jìn)制哈夫曼編碼時(shí)，為使平 均碼長最短，應(yīng)增加2 個(gè)概率為0的消息。80、 對于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)

42、編碼。81、 對于二元序列00111111,其相應(yīng)的游程序列是。82、 設(shè)無記憶二元序列中，“0”和“1”的概率分別是p0和p1,則“ 0”游程長 度L (0)的概率為 。83、游程序列的熵 等于 原二元序列的熵。84、 若“ 0”游程的哈夫嗎編碼效率為n 0, “ 1 ”游程的哈夫嗎編碼效率為n 1, 且n 0> n 1對應(yīng)的二兀序列的編碼效率為n,則二者的關(guān)系是 n 0> n > n 1 。85、 在實(shí)際的游程編碼過程中,對長碼一般采取截?cái)?處理的方法。86、“0”游程和“ 1”游程可以分別進(jìn)行哈夫曼編碼,兩個(gè)碼表中的碼字可以重 復(fù),但 C 碼 必須不同。87、 在多符號

43、的消息序列中,大量的重復(fù)出現(xiàn)的,只起占時(shí)作用的符號稱為冗 余位 。88、“冗余變換” 即：將一個(gè)冗余序列轉(zhuǎn)換成一個(gè)二兀序列和一個(gè) 縮短了的多兀 序列 。89、L-D 編碼是一種 分幀傳送冗余位序列 的方法。90、L-D 編碼適合于冗余位 較多或較少 的情況。91、信道編碼的最終目的是 提高信號傳輸?shù)目煽啃?。92、 狹義的信道編碼即：檢、糾錯(cuò)編碼。93、BSC言道即：無記憶二進(jìn)制對稱信道 。94、n位重復(fù)碼的編碼效率是1/n。95、等重碼可以檢驗(yàn) 全部的奇數(shù)位錯(cuò)和部分的偶數(shù)位錯(cuò) 。96、 任意兩個(gè)碼字之間的最小漢明距離有稱為碼的最小距dmin,則dmin=。97、若糾錯(cuò)碼的最小距離為dmin,則可以糾正任意小于等于t=個(gè)差錯(cuò)。98、 若檢錯(cuò)碼的最小距離為dmi n,則可以檢測出任意小于等于l= dmi n-1 個(gè)差 錯(cuò)。99、線性分組碼是同時(shí)具有 分組特性和線性特性 的糾錯(cuò)碼。100、循環(huán)碼即是采用 循環(huán)移位特性界定 的一類線性分組碼。三、判斷（每題 1 分）（50 道） 必然事件和不可能事件的自信息量都是 0 。錯(cuò) 自信息量是的單調(diào)遞減函數(shù)。對 單符號離散信源的自信息和信源熵都具有非負(fù)性。對 單符號離散信源的自信息和信源熵都是一個(gè)確定值。錯(cuò) 單符號離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：對自信息量、條件