信息論與編碼試卷B(共6頁)

1、填空題（本題15空，每空1分,共15分） 一信源有六種輸出狀態(tài)a，b，c，d，e，f，先驗概率分別為Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.05，Pf=0.025。消息“ababba”中所包含的信息量為（ 9 ）bit，“fddfdf”所包含的信息量為（ 28.93 ）bit。6bit長度的消息序列信息量的期望值為（ 11.64 ）bit。限失真信源編碼定理指出，當信息率R與信息率失真函數(shù)R(D)滿足（ RR(D) ）關系時，只要信源序列長度L（ 足夠長 ），一定存在一種編碼方法，其譯碼失真D+。一袋中有手感完全相同的3個黑球和3個白球，每次從中隨機取一個球，取出的球放

2、回袋中。用Xi表示第i次取出的球的顏色，i=1,.,6，則H(X1)=（ 1 ）bit/符號；H(X2)=（ 1 ）bit/符號；H(X2/X1)=（ 0.9）bit/符號?？藙诜蛱夭坏仁綖椋?），滿足此不等式的變長碼不一定是唯一可譯碼，因此它是唯一可譯碼的（ 必要 ）條件。如某線性分組碼的最小漢明距dmin=6，其最大的檢錯能力為（ 5 ），最多能糾正（ 2 ）個錯。則線性分組碼的檢糾錯能力與dmin的關系是（ dmin越大則檢糾錯能力越強）。使用班級： x1 0.98 y10.02 0.2 x2 0.8 y2設以8000樣值/秒的速率抽樣一個語音信號，每個抽樣點以M=28=256級均勻量化

3、。且抽樣值取各量化值的概率相等，且抽樣間相互獨立，則每抽樣的信息熵為（ 8 ）bit/符號，信源的信息輸出率為（ 64K ）bps。判斷題（本題10小題,每小題1分,共10分） 12345678910對于離散信源而言，條件熵總是小于無條件熵。（ ）互信息具有對稱性，即I(U;V)=I(V;U)。（ ）R(D)函數(shù)是D的連續(xù)函數(shù)，也是關于D的上凸函數(shù)。（ ）如X可以唯一確定Y，則H(Y/X)=0。（ ）完備碼是一種監(jiān)督位得到充分利用的碼。（ ）單符號離散信源在所有符號等概出現(xiàn)時，其熵值最大。對于連續(xù)信源，也有類似的結論，連續(xù)信源均勻分布時具有最大熵。（ ）馬爾可夫序列的聯(lián)合概率具有時間推移不變性

4、。（ ）當信道固定時，平均互信息是信源先驗概率分布的上凸函數(shù)。（ ）若碼，則之間的漢明距離為。（ ）若X與Y獨立，則H(Y/X)=H(X/Y)。（ ）三 名詞解釋（本題4小題,每小題5分,共20分） 1 最大似然譯碼準則信道編碼時，接收端對收到的碼字進行譯碼時，采用的譯碼規(guī)則是選取最大的后驗概率，這樣可使譯碼差錯最小。在輸入等概分布的時候，最大后驗概率譯碼即為最大似然譯碼準則，選取最大的先驗概率就可使譯碼差錯最小。2 率失真函數(shù)，在某個限失真條件下，信源能被壓縮的極限值。3 自由距離卷積碼的譯碼中，定義序列長度L趨于時，任意兩序列之間的最小距離，定義為自由距離。4 伴隨式，反映的是信道對碼字造

5、成怎樣的干擾，與接收到的碼字無關，只與錯誤圖案有關。四 計算題（本題3小題,共25分） 1一組CRC循環(huán)冗余校驗碼，其生成多項式為（X6+X3+1）。假設發(fā)送段發(fā)送的信息幀中所包含的信息是（100110）。試求：1）信息多項式m(x)=？2）附加在信息位后的CRC校驗碼。（3+3=6分）解：1）信息多項式為：m(x)=x5+x2+x （3分）2）需要用到長除法，求的結果，得到的余數(shù)為x5+x4+x，所以校驗碼為110010。（3分）2已知一個二元信源連接一個二元信道，如圖給出。求I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。X=x1,x2, p(xi)=1/2,1/2。 （12分）

6、x1 0.98 y10.02 0.2 x2 0.8 y2解：(1) 求H(X,Y) （3分）p(x1,y1)=0.50.98=0.49 p(x1,y2)=0.50.02=0.01p(x2,y1)=0.50.20=0.10 p(x2,y2)=0.50.80=0.40H(X,Y)=1.43 bit/符號 (2)求I(X,Y) （3分）p(y1)=p(x1,y1)+p(x2,y1)=0.49+0.10=0.59p(y2)=p(x1,y2)+p(x2,y2)=0.01+0.40=0.41I(X,Y)=H(X)+H(Y)-H(X,Y)=0.55 bit/符號(3)求H(X/Y) （3分）p(x1/y1)

7、=p(x1,y1)/p(y1)=0.831 p(x2/y1)=p(x2,y1)/p(y1)=0.169p(x1/y2)=p(x1,y2)/p(y2)=0.024 p(x2/y2)=p(x2,y2)/p(y2)=0.976H(X/Y)=0.45 bit/符號(4)求H(Y/X) （3分）H(X)=1 bit/符號 H(Y)=0.98 bit/符號H(Y/X)=0.43 bit/符號0123 已知信道的轉移概率矩陣如下，試分別各自的信道容量C。（4+4=8分）(1) (2) 解：1）從轉移概率矩陣看出，該信道是強對稱信道，直接代公式，可得該信道的信道容量為：C=log3-H(1,0,0)=log3

8、=1.58bit/符號 （4分）2）從轉移矩陣看出，該信道是二元刪除信道，是一個準對稱信道，其信道容量為：C=log22-H(a)-(1-a)log2(1-a)-alog2(2a)=(1-a)bit/符號 （4分）五 綜合題（本題3小題，共30分） 1 設有離散無記憶信源X，其概率分布為P（X）=0.4，0.18，0.1，0.1，0.07，0.06，0.05，0.04，求：信源符號熵H（X）；用哈夫曼編碼編成二元變長碼，并計算其編碼效率；如要求譯碼錯誤小于10-6，采用定長編碼達到90%的編碼效率，需要多少個信源符號一起編碼？在相同的信源、編碼效率和譯碼差錯的條件下，試比較定長和變長編碼。（2

9、+3+3+2=10分）解：1) H(X)=H(0.4,0.18,0.1,0.1,0.07,0.06,0.05,0.04)=2.55bit/符號 （2分）2) 哈夫曼編碼：1，001，011，0000，0100，0101，00010，00011（哈夫曼編碼并不唯一，只是參考答案） （2分）平均碼長=0.4+0.28*3+(0.1+0.07+0.06)*4+0.09*5=2.61bit/符號編碼效率=（1分）3）自信息方差（1分）（1分）（1分）4）定長編碼在一定的編碼效率和譯碼差錯的條件下，需要一起編碼的符號太多，以致于不能實現(xiàn)，而變長編碼在相同條件下能實現(xiàn)。 （2分）2 一個馬爾可夫過程的基本

10、符號為0，1，2，三個符號等概出現(xiàn)，并具有相同的轉移概率。試：1）畫出一階馬爾可夫過程的狀態(tài)圖；2）求穩(wěn)態(tài)下的一階馬爾可夫信源熵；3）求出信源的冗余度。 （3+3+4=10分）解：1）1階馬爾可夫過程的狀態(tài)轉移矩陣=符號轉移矩陣，狀態(tài)共3個，轉移概率均為1/3，狀態(tài)圖為： 1/31/3 1/31/3 1/3 1/31/3 1/3 1/3 （3分）2）根據(jù)，可求得W=(1/3,1/3,1/3)。則穩(wěn)態(tài)下1階馬爾可夫信源熵為 （3分）3）H0=H(1/3,1/3,1/3)=1.58bit/fuhao冗余度 （4分）3 某線性分組碼的生成矩陣為，求：1）用系統(tǒng)碼I P的形式表示G，并寫出對應的系統(tǒng)碼校驗陣H；2）計算該碼的最小距離；3）接收到的碼字為R1=0010100，如何判斷是否有錯？4）接收碼字R2=1010100對應的伴隨式S=？ （3+2+2+3=10分）解：1）系統(tǒng)碼的生成矩陣為（2分） 對應的校驗矩陣為： （1分）2）該組編碼所有的有用碼組為：00000000，1010101，0111001，1001011，0101010，1111111，1011001，0001100，0010011，1000110，1100001，0110100所以dmin=3 （2分）3）判決是否有錯依賴于R1HT是否為0。結果為0，則判斷無錯；如不為0，則判