信息論習題.doc

1、信息理論習題集信息理論基礎習題集【考前必看】一、 判斷：1、 必然事件和不可能事件的自信息量都是0 。2、 自信息量是的單調遞減函數。3、 單符號離散信源的自信息和信源熵都具有非負性。4、 單符號離散信源的自信息和信源熵都是一個確定值。5、單符號離散信源的聯合自信息量和條件自信息量都是非負的和單調遞減的6、自信息量、條件自信息量和聯合自信息量之間有如下關系： 7、自信息量、條件自信息量和互信息量之間有如下關系： 8、當隨機變量X和Y相互獨立時，條件熵等于信源熵。9、當隨機變量X和Y相互獨立時，I（X；Y）=H（X） 。10、信源熵具有嚴格的下凸性。11、平均互信息量I（X；Y）對于信源概率分布

2、p（xi）和條件概率分布p（yj/xi）都具有凸函數性。 12、m階馬爾可夫信源和消息長度為m的有記憶信源，其所含符號的依賴關系相同。 13、利用狀態(tài)極限概率和狀態(tài)一步轉移概率來求m階馬爾可夫信源的極限熵。 14、定長編碼的效率一般小于不定長編碼的效率。 15、信道容量C是I（X；Y）關于p（xi）的條件極大值。 16、離散無噪信道的信道容量等于log2n，其中n是信源X的消息個數。 17、信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。18、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi），使信道所能傳送的信息率的最大值。 19、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后

3、對信源存在的不確定性就越小，獲得的信息量就越小。 20、率失真函數對允許的平均失真度具有上凸性。21、信源編碼是提高通信有效性為目的的編碼。 22、信源編碼通常是通過壓縮信源的冗余度來實現的。 23、離散信源或數字信號的信源編碼的理論基礎是限失真信源編碼定理。 24、一般情況下，哈夫曼編碼的效率大于香農編碼和費諾編碼。 25、在編m（m>2）進制的哈夫曼碼時，要考慮是否需要增加概率為0的碼字，以使平均碼長最短。 26、對于BSC信道，信道編碼應當是一對一的編碼，因此，消息m的長度等于碼字c的長度。 27、漢明碼是一種線性分組碼。28、 循環(huán)碼也是一種線性分組碼。 29、 卷積碼是一種特殊

4、的線性分組碼。 30、 可以用克勞夫特不等式作為唯一可譯碼存在的判據。 （ ）31、線性碼一定包含全零碼。 （ ）32、確定性信源的熵H(0,0,0,1)=1。 （ ） 33、信源X的概率分布為P(X)=1/2, 1/3, 1/6，對其進行哈夫曼編碼得到的碼是唯一的。 （ ）34、離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵。 （ ）35、非奇異的定長碼一定是唯一可譯碼。 （ ）36、信息率失真函數R(D)是在平均失真不超過給定失真限度D的條件下，信息率容許壓縮的最小值。 （ ）37、信源X的概率分布為P(X)=1/2, 1/3, 1/6，信源Y的概率分布為P(Y)=1/3

5、,1/2,1/6，則信源X和Y的熵相等。 （ ） 38、互信息量I(X;Y)表示收到Y后仍對信源X的不確定度。 （ ）39、對信源符號X=a1,a2,a3,a4進行二元信源編碼，4個信源符號對應碼字的碼長分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長組合的碼一定是唯一可譯碼。 （ ） 40、設C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一個二元線性分組碼，則該碼最多能檢測出3個隨機錯誤。 （ ）二、選擇題（共10 分，每題2分）1.下面表達式中正確的是（ ）。A. B.C. D.4.線性分組碼

6、不具有的性質是（ ）。A.任意多個碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗矩陣的乘積cmHT=05.率失真函數的下限為（ ）。A .H(U) B.0 C.I(U; V) D.沒有下限6.糾錯編碼中，下列哪種措施不能減小差錯概率（ ）。A. 增大信道容量 B. 增大碼長 C. 減小碼率 D. 減小帶寬7.一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結果確是如此，這一

7、事件給出的信息量（ ）。A. 0bit B. log6bit C. 6bit D. log240bit8.下列陳述中，不正確的是（ ）。A.離散無記憶信道中，H（Y）是輸入概率向量的凸函數B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強D.滿足格拉夫特不等式的信源是惟一可譯碼10.下列離散信源，熵最大的是（ ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)11.下列不屬于消息的是（ ）。A.文字 B.信號 C.圖像 D.

8、語言12.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（ ）。A.壓縮信源的冗余度 B.在信息比特中適當加入冗余比特C.研究碼的生成矩陣 D.對多組信息進行交織處理13.最大似然譯碼等價于最大后驗概率譯碼的條件是（ ）。A.離散無記憶信道 B.無錯編碼 C.無擾信道 D.消息先驗等概14.下列說法正確的是（ ）。A.等重碼是線性碼 B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量 D.線性分組碼中包含一個全0碼字15.二進制通信系統(tǒng)使用符號0和1，由于存在失真，傳輸時會產生誤碼，用符號表示下列事件，u0:一個0發(fā)出 u1:一個1發(fā)出 v0 :一個0收到 v1:一個1收到 則已

9、知收到的符號，被告知發(fā)出的符號能得到的信息量是（ ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同時扔兩個正常的骰子，即各面呈現的概率都是1/6，若點數之和為12，則得到的自信息為（ ）。A. log36bit B. log36bit C. log (11/36)bit D. log (11/36)bit17.下列組合中不屬于即時碼的是（ ）。A. 0，01，011 B. 0，10，110 C. 00，10，11 D. 1，01，0018.已知某（6，3）線性分組碼的生成矩陣，則不用計算就可判斷出下列碼中不是該碼集里的碼是（ ）。A. 000000 B

10、. 110001 C. 011101 D. 11111120.設有一個無記憶信源發(fā)出符號A和B，已知，發(fā)出二重符號序列消息的信源，無記憶信源熵 為（ ）。A.0.81bit/二重符號 B.1.62bit/二重符號 C.0.93 bit/二重符號 D .1.86 bit/二重符號21.給定xi條件下隨機事件yj所包含的不確定度和條件自信息量p(yj /xi)，（ ）A數量上不等，單位不同B數量上不等，單位相同C數量上相等，單位不同D數量上相等，單位相同22.條件熵和無條件熵的關系是：（ ）AH(Y/X)H(Y)BH(Y/X)H(Y)C H(Y/X)H(Y)DH(Y/X)H(Y)23.根據樹圖法構

11、成規(guī)則，（ ）A在樹根上安排碼字B在樹枝上安排碼字C 在中間節(jié)點上安排碼字D在終端節(jié)點上安排碼字24.下列說法正確的是：（ ）A奇異碼是唯一可譯碼B非奇異碼是唯一可譯碼C 非奇異碼不一定是唯一可譯碼D非奇異碼不是唯一可譯碼25.下面哪一項不屬于熵的性質：（ ）A非負性B完備性C對稱性D確定性三、二元對稱信道如圖。1）若，求、和； 2）求該信道的信道容量。 解：1）共6分 2） ，此時輸入概率分布為等概率分布。四、已知信源（1）用霍夫曼編碼法編成二進制變長碼；（6分）（2）計算平均碼長;（4分）（3）計算編碼信息率;（2分）（4）計算編碼后信息傳輸率;（2分）（5）計算編碼效率。（2分）（1） 編碼結果為：（2）（3）（4）其中，（5）五、一個一階馬爾可夫信源，轉移概率為【說明：以書上的解法為準】。(1) 畫出狀態(tài)轉移圖。(2) 計算穩(wěn)態(tài)概率。(3) 計算馬爾可夫信源的極限熵。(4) 計算穩(wěn)態(tài)下,及其對應的剩余度。解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對應的剩余度為六、設X、Y是兩個相互獨立的二元隨機變量，其取0或1的概率相等。定義另一個二元隨機變量Z=XY(一般乘積)。試計算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 七、，通過一個干擾信道，接受符號集為，信道轉移矩陣為試求：（