南郵信息論復(fù)習(xí).pdf

結(jié)構(gòu)： 一、填空題（20 分，每空 1 分） 二、判斷題（10 分，每題 2 分，對的寫“” ，錯的寫“” ） 三、計算題（70 分，每題 10 或 15 分） 分布： 第 2 章：離散單符號信源熵、條件熵、平均互信息量、馬爾可夫信源極限熵的計算，30% 第 3 章：對稱、準(zhǔn)對稱 DMC 信道、限時限頻限功率加性高斯白噪聲信道容量的計算，25% 第 4 章：離散信源信息率失真函數(shù) R(D)的性質(zhì)，定義域和值域，10% 第 5 章：無失真和限失真信源編碼定理，二進制 Huffman 編碼方法及編碼效率計算，15% 第 6 章：信道編碼定理，線性分組碼編譯碼，循環(huán)碼編碼，20% 示例： 一、填空題 1從信息論的研究角度出發(fā)，通?？梢詫⑼ㄐ畔到y(tǒng)的性能指標(biāo)歸納為：有效性、可靠性和 安全性，它們可以用三種不同的編碼方法來實現(xiàn)，依次為：_ 信源編碼 _、 信道編 碼 和 加密編碼 。 2同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是 1/6，則“3 和 5 同時出現(xiàn)”事件的 自信息為 4.17 bit ， “兩個 5 同時出現(xiàn)”事件的自信息為 5.17bit ，兩個點數(shù)中至 少有一個是 1 的自信息為 1.7105bit 。 3如果X、Y相互獨立，則I（X;Y）= 0 。另一方面，如果Y是X的一一對應(yīng)函數(shù)，則 I（X;Y）= H(X) 或 H(Y) 。 4 帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公 式為： )1log( 0W N P WC S += ；若通頻帶W為 2MHz，信道上的信噪比為 10，則其信道容量為 6.91886 Mbps 。 5 設(shè)輸入符號表為X0，1，輸出符號表為Y0，1。輸入信號的概率分布為p(1/2， 1/2)，失真函數(shù)為d(0，0) = d(1，1) = 0，d(0，1) =1，d(1，0) = 1.5，則Dmin 0 ， R(Dmin) 1bit/symbol ，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 01 ；Dmax 1/2 ，R(Dmax) 0 ，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 10 。 6若(7,3)循環(huán)碼的 432 ( )1=+g xxxx，則對應(yīng)校驗多項式 h(x)= 32 1xx+ 。 7信源發(fā)出的消息在送入信道傳輸之前要經(jīng)過信源編碼、加密編碼和信道編碼，這分別是 為了保證通信系統(tǒng)的 有效性 、 安全性 和 可靠性 。 8在無失真的信源中，信源輸出由 H(X) 來度量；在有失真的信源中，信源輸出由 R(D) 來度量。 9. 帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式， 也就是有名的香農(nóng)公式 為：_log(1)CWSNR=+_；當(dāng)歸一化信道容量Ct/W0 時，也即信道完全喪失了通信 能力，此時SNR為 -1.6dB ，我們將它稱作香農(nóng)限。 10. 已知信源 = 8 . 02 . 0 10 xx P X ， 轉(zhuǎn)移概率矩陣 = 9 . 01 . 0 1 . 09 . 0 P ， 輸出符號集 01 ,Yyy= ， 則 p(y0) 0.26 ，p(y1) 0.74 ，H(X) 0.7219 ，H(Y) 0.8267 ，H(Y/X) 0.4690 ；H(X/Y) 0.3642 ；I(X；Y) 0.3577 。 11已知n7 的循環(huán)碼 42 ( )1=+g xxxx，則信息位長度k為 3 。 二、判斷題 1唯一可譯碼一定是即時碼。 （） 2連續(xù)信源的相對熵可以為負值。 （ ） 3只要傳信率 R 大于信道容量 C，總存在一種信道碼，并以所要求的任意小的 差錯概率實現(xiàn)可靠的通信。 （） 4信息率失真函數(shù) R(D)給出了保真度條件下，信源信息率可被壓縮的最低限度。 （ ） 5只要傳信率 R 小于信道容量 C，總存在一種信道碼，并以所要求的任意 小的差錯概率實現(xiàn)可靠的通信。 （ ） 6唯一可譯碼一定為非延長碼。 （） 7信息率失真函數(shù)研究的是信道傳輸問題。 （） 8線性分組碼的最小距離等于碼集中碼字的最小重量。 （） 三、計算題 1. 設(shè)信道的轉(zhuǎn)移概率矩陣為 P 0 750 25 0 250 75 . . ， (1) 若p(x0)=0.8，p(x1)=0.2，求H（X） ，H（Y） ，H（X/Y） ，H（Y/X） 和 I（X；Y） ； (2) 求該信道的信道容量及其達到信道容量時輸入符號的概率分布。 解: (1) () 0.60.2 0.050.15 p xy = , p(y)=0.65 0.35 ()()0.8,0.20.72H XH= 比特/符號 ( )()0.65,0.350.93H YH= 比特/符號 ()()/0.75,0.250.81H YXH=比特/符號 (8) (/)()(/)( ) 0.6/ H X YH XH YXH Y=+ =比特符 號 ()( )();/0.12I X YH YH YX=比特/符號 (2) C=1H(Y|X)= 0.19 比特/符號 p0=p1=0.5 (7) 2. 設(shè)某信道的轉(zhuǎn)移概率矩陣 P = ， (1) 求該信道的信道容量； (2) 達到信道容量時的輸入符號的概率分布。 解：(1) 分解為 log2(0.1,0.8,0.1)0.1log0.20.9log0.9 0.447/ CH bit = =符號 (7) (2) 輸入等概分布，p0=p1=0.5 (3) 3. 一馬爾可夫信源消息集 X 321 ,aaa，狀態(tài)集 S 321 ,SSS。條件轉(zhuǎn)移概率為 = 214141 412141 313131 )/( ij SaP， (1) 畫出該馬氏鏈的狀態(tài)轉(zhuǎn)移圖； (2) 計算)/( 1 SXH、)/( 2 SXH、)/( 3 SXH； (3) 計算信源的極限熵。 解： (1) S1 S2S3 1 4 1 3 1 31 4 1 4 1 4 1 2 1 2 1 3 （4） (2) H(X|S1)=H(1/3,1/3,1/3)=1.58 比特/符號 H(X|S2)=H(1/4,1/2,1/4)=1.5 比特/符號= H(X|S3) （4） (3) 111 1231344 111 1232324 111 1233342 123 1 wwww wwww wwww www += += += += 3 111 4 211 4 311 w w w = = = 3 34 1111 1 (|)1.581.5 21.5232 ii i Hw H X S = =+= 比特/符號 （7） 4. 設(shè)有離散無記憶信源 123456 1/31/61/61/121/81/8 aaaaaa ， (1) 求信源的符號熵()H X; (2) 求相應(yīng)的哈夫曼編碼（寫出編碼過程，否則不得分）和對應(yīng)的編碼效率； (3) 求相應(yīng)的香農(nóng)編碼（寫出編碼過程，否則不得分）和對應(yīng)的編碼效率。 解：(1) (X)(1/3,1/6,1/6,1/12,1/8,1/8)2.44HH= bit/符號 （2） (2) a1 a2 a3 a5 a6 a4 1/3 1/6 1/6 1/8 1/8 1/12 0 1 1/3 5/24 1/6 1/6 1/8 0 1 1/3 7/24 5/24 1/6 0 1 3/8 1/3 7/24 5/8 3/8 0 1 0 1 1 00 11 010 011 100 101 （7） 7 1 () ii i Kp a K = = 2.5 碼元/符號 () 97.6% H X K = (3) 符號 概率 -log(p(ui) 碼長 累加概率 碼字 a1 1/3 1.6 2 0 00 a2 1/6 2.6 3 1/3 010 a3 1/6 2.6 3 1/2 100 a5 1/8 3.0 3 2/3 101 a6 1/8 3.0 3 19/24 110 a4 1/12 3.6 4 11/12 1110 7 1 () ii i Kp a K = = 2.75 碼元/符號 （6） () 88.73% H X K = 5. 已知（7，3）線性分組碼的生成矩陣 0111001 1110010 0101110 G = ， (1) 求該碼的碼集； (2) 求對應(yīng)的系統(tǒng)形式生成矩陣 s G和校驗矩陣 H； (3) 該碼的最小碼距 min d是多少？糾錯能力t =？ (4) 列出可糾差錯圖案 E 和對應(yīng)伴隨式 S（針對系統(tǒng)碼） ； (5) 若收到 R1110101，請譯出發(fā)碼估值 C。 解：(1) 消息 m 碼字 c 系統(tǒng)碼字 c 000 0000000 0000000 001 0101110 0010111 010 1110010 0101110 011 1011100 0111001 100 0111001 1001011 101 0010111 1011100 110 1001011 1100101 111 1100101 1110010 （3） (2) 1001011 0101110 0010111 S G = 1101000 0110100 1110010 1010001 H = （5） (3) dmin=4 ,t=1 （2） (4) S E 0000 0000000 0001 0000001 0010 0000010 0100 0000100 1000 0001000 0111 0010000 1110 0100000 1011 1000000 （5） (5) RHT=0111 E=0010000 C=R+E= 1100101 (發(fā)碼) 6. 設(shè)輸入符號表為X0, 1， 輸出符號表為Y0, 1。 輸入信號的概率分布為p(1/2， 1/2)， 失真函數(shù)為 d(0，0) = d(1，1) = 0，d(0，1) =1，d(1，0) = 1.6. (1) 求Dmin，R(Dmin)，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x)； (2) 求Dmax，R(Dmax)，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x)。 解：(1) Dmin0 ， R(Dmin) H(1/2,1/2)=1bit/symbol ， 相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 01 （7） (2) Dmax = n i iji j dp 1 min,min 222121212111 2 , 1 dpdpdpdp j + = 1,2 min0.8,0.50.5 j= = R(Dmax) 0 相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 01 01 （8） 7. 隨機變量 X 表示信號 x(t)的幅度，均勻分布， (1) 若1)(0tx，求信源熵)(XHc； (2) 若5 . 0)(0tx，求信源熵)(XHc。 解：(1) ( )1 01 x pxx= = 1 0 01log1)()(log)()(dxxdxpxpXH xxc （比特） （5） (2) ( )2 00.5 x pxx= 0.5 0 ()( )log( ) ( )2 log21 cxx HXpxpx d xdx= = （比特） （5） 8. 某一離散無記憶信源的符號集為0，1，已知信源的概率空間為： = 8/78/1 10 P X (1) 求消息符號的信源熵； (2) 由 80 個符號構(gòu)成的序列，求某一包含 m 個“0”和 80-m 個“1”的特定序列的信息量； (3) 計算 80 個符號組成序列X 的熵()H X 。 解：(1) 1 7 ()( , )0.54 / 8 8 H XHbit symbol= （3） (2) 80 01 log() 17 log(80)log 88 15.42.81 mm Ipp mm m = = =+ （7） (3) 1280 ()80() 43.2 bit/sequence H X XXH X= = 3 （5） 9. 某信源有 7 個符號a1, ,a7,概率分別為 0.49,0.26,0.12,0.04,0.04,0.03,0.02，求 (1) 求該信源的熵； (2) 對此信源做二進制哈夫曼編碼，寫出相應(yīng)碼字，并求出編碼效率； (3) 對此信源做二進制費諾編碼，寫出相應(yīng)碼字，并求出編碼效率。 解：(1) (X)(0.49,0.26,0.12,0.04,0.04,0.03,0.02)2.01HH= bit/符號（2） (2) a1 a2 a3 a4 a5 a6 a7 0.49 0.26 0.12 0.04 0.04 0.03 0.02 0 1 0.49 0.26 0.12 0.05 0.04 0.04 0 1 0.49 0.26 0.12 0.08 0.05 0 1 0.49 0.26 0.13 0.12 0.49 0.26 0.25 0 1 0.51 0.49 0 1 0 1 1 1 00 011 01000 01001 01010 01011 7 1 ( ) ii i Kp a K = = 2.02 碼元/符號 （7） () 99.5% H X K = (3) 符號 P 碼長 a1 0.49 0 0 1 a2 0.26 1 0 10 2 a3 0.12 1 0 110 3 a4 0.04 1 0 0 11100 5 a5 0.04 1 11101 5 a6 0.03 1 0 11110 5 a7 0.02 1 11111 5 7 1 () ii i Kp a K = = 2.02 碼元/符號 （6） () 99.5% H X K = 10. 某系統(tǒng)（7，3）碼 65432102103210 ()()cccccccmmmcccc=c其四位校驗位 與信息位的關(guān)系為： (1) 求對應(yīng)的生成矩陣和校驗矩陣； (2) 求該碼的碼集， (3) 計算該碼的最小距離，糾錯能力； (4)