南郵信息論復(fù)習(xí).pdf_第1頁
南郵信息論復(fù)習(xí).pdf_第2頁
南郵信息論復(fù)習(xí).pdf_第3頁
南郵信息論復(fù)習(xí).pdf_第4頁
南郵信息論復(fù)習(xí).pdf_第5頁
已閱讀5頁,還剩3頁未讀, 繼續(xù)免費閱讀

付費下載

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

結(jié)構(gòu): 一、填空題(20 分,每空 1 分) 二、判斷題(10 分,每題 2 分,對的寫“” ,錯的寫“” ) 三、計算題(70 分,每題 10 或 15 分) 分布: 第 2 章:離散單符號信源熵、條件熵、平均互信息量、馬爾可夫信源極限熵的計算,30% 第 3 章:對稱、準(zhǔn)對稱 DMC 信道、限時限頻限功率加性高斯白噪聲信道容量的計算,25% 第 4 章:離散信源信息率失真函數(shù) R(D)的性質(zhì),定義域和值域,10% 第 5 章:無失真和限失真信源編碼定理,二進制 Huffman 編碼方法及編碼效率計算,15% 第 6 章:信道編碼定理,線性分組碼編譯碼,循環(huán)碼編碼,20% 示例: 一、填空題 1從信息論的研究角度出發(fā),通??梢詫⑼ㄐ畔到y(tǒng)的性能指標(biāo)歸納為:有效性、可靠性和 安全性,它們可以用三種不同的編碼方法來實現(xiàn),依次為:_ 信源編碼 _、 信道編 碼 和 加密編碼 。 2同時擲兩個正常的骰子,也就是各面呈現(xiàn)的概率都是 1/6,則“3 和 5 同時出現(xiàn)”事件的 自信息為 4.17 bit , “兩個 5 同時出現(xiàn)”事件的自信息為 5.17bit ,兩個點數(shù)中至 少有一個是 1 的自信息為 1.7105bit 。 3如果X、Y相互獨立,則I(X;Y)= 0 。另一方面,如果Y是X的一一對應(yīng)函數(shù),則 I(X;Y)= H(X) 或 H(Y) 。 4 帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式,也就是有名的香農(nóng)公 式為: )1log( 0W N P WC S += ;若通頻帶W為 2MHz,信道上的信噪比為 10,則其信道容量為 6.91886 Mbps 。 5 設(shè)輸入符號表為X0,1,輸出符號表為Y0,1。輸入信號的概率分布為p(1/2, 1/2),失真函數(shù)為d(0,0) = d(1,1) = 0,d(0,1) =1,d(1,0) = 1.5,則Dmin 0 , R(Dmin) 1bit/symbol ,相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 01 ;Dmax 1/2 ,R(Dmax) 0 ,相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 10 。 6若(7,3)循環(huán)碼的 432 ( )1=+g xxxx,則對應(yīng)校驗多項式 h(x)= 32 1xx+ 。 7信源發(fā)出的消息在送入信道傳輸之前要經(jīng)過信源編碼、加密編碼和信道編碼,這分別是 為了保證通信系統(tǒng)的 有效性 、 安全性 和 可靠性 。 8在無失真的信源中,信源輸出由 H(X) 來度量;在有失真的信源中,信源輸出由 R(D) 來度量。 9. 帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式, 也就是有名的香農(nóng)公式 為:_log(1)CWSNR=+_;當(dāng)歸一化信道容量Ct/W0 時,也即信道完全喪失了通信 能力,此時SNR為 -1.6dB ,我們將它稱作香農(nóng)限。 10. 已知信源 = 8 . 02 . 0 10 xx P X , 轉(zhuǎn)移概率矩陣 = 9 . 01 . 0 1 . 09 . 0 P , 輸出符號集 01 ,Yyy= , 則 p(y0) 0.26 ,p(y1) 0.74 ,H(X) 0.7219 ,H(Y) 0.8267 ,H(Y/X) 0.4690 ;H(X/Y) 0.3642 ;I(X;Y) 0.3577 。 11已知n7 的循環(huán)碼 42 ( )1=+g xxxx,則信息位長度k為 3 。 二、判斷題 1唯一可譯碼一定是即時碼。 () 2連續(xù)信源的相對熵可以為負值。 ( ) 3只要傳信率 R 大于信道容量 C,總存在一種信道碼,并以所要求的任意小的 差錯概率實現(xiàn)可靠的通信。 () 4信息率失真函數(shù) R(D)給出了保真度條件下,信源信息率可被壓縮的最低限度。 ( ) 5只要傳信率 R 小于信道容量 C,總存在一種信道碼,并以所要求的任意 小的差錯概率實現(xiàn)可靠的通信。 ( ) 6唯一可譯碼一定為非延長碼。 () 7信息率失真函數(shù)研究的是信道傳輸問題。 () 8線性分組碼的最小距離等于碼集中碼字的最小重量。 () 三、計算題 1. 設(shè)信道的轉(zhuǎn)移概率矩陣為 P 0 750 25 0 250 75 . . , (1) 若p(x0)=0.8,p(x1)=0.2,求H(X) ,H(Y) ,H(X/Y) ,H(Y/X) 和 I(X;Y) ; (2) 求該信道的信道容量及其達到信道容量時輸入符號的概率分布。 解: (1) () 0.60.2 0.050.15 p xy = , p(y)=0.65 0.35 ()()0.8,0.20.72H XH= 比特/符號 ( )()0.65,0.350.93H YH= 比特/符號 ()()/0.75,0.250.81H YXH=比特/符號 (8) (/)()(/)( ) 0.6/ H X YH XH YXH Y=+ =比特符 號 ()( )();/0.12I X YH YH YX=比特/符號 (2) C=1H(Y|X)= 0.19 比特/符號 p0=p1=0.5 (7) 2. 設(shè)某信道的轉(zhuǎn)移概率矩陣 P = , (1) 求該信道的信道容量; (2) 達到信道容量時的輸入符號的概率分布。 解:(1) 分解為 log2(0.1,0.8,0.1)0.1log0.20.9log0.9 0.447/ CH bit = =符號 (7) (2) 輸入等概分布,p0=p1=0.5 (3) 3. 一馬爾可夫信源消息集 X 321 ,aaa,狀態(tài)集 S 321 ,SSS。條件轉(zhuǎn)移概率為 = 214141 412141 313131 )/( ij SaP, (1) 畫出該馬氏鏈的狀態(tài)轉(zhuǎn)移圖; (2) 計算)/( 1 SXH、)/( 2 SXH、)/( 3 SXH; (3) 計算信源的極限熵。 解: (1) S1 S2S3 1 4 1 3 1 31 4 1 4 1 4 1 2 1 2 1 3 (4) (2) H(X|S1)=H(1/3,1/3,1/3)=1.58 比特/符號 H(X|S2)=H(1/4,1/2,1/4)=1.5 比特/符號= H(X|S3) (4) (3) 111 1231344 111 1232324 111 1233342 123 1 wwww wwww wwww www += += += += 3 111 4 211 4 311 w w w = = = 3 34 1111 1 (|)1.581.5 21.5232 ii i Hw H X S = =+= 比特/符號 (7) 4. 設(shè)有離散無記憶信源 123456 1/31/61/61/121/81/8 aaaaaa , (1) 求信源的符號熵()H X; (2) 求相應(yīng)的哈夫曼編碼(寫出編碼過程,否則不得分)和對應(yīng)的編碼效率; (3) 求相應(yīng)的香農(nóng)編碼(寫出編碼過程,否則不得分)和對應(yīng)的編碼效率。 解:(1) (X)(1/3,1/6,1/6,1/12,1/8,1/8)2.44HH= bit/符號 (2) (2) a1 a2 a3 a5 a6 a4 1/3 1/6 1/6 1/8 1/8 1/12 0 1 1/3 5/24 1/6 1/6 1/8 0 1 1/3 7/24 5/24 1/6 0 1 3/8 1/3 7/24 5/8 3/8 0 1 0 1 1 00 11 010 011 100 101 (7) 7 1 () ii i Kp a K = = 2.5 碼元/符號 () 97.6% H X K = (3) 符號 概率 -log(p(ui) 碼長 累加概率 碼字 a1 1/3 1.6 2 0 00 a2 1/6 2.6 3 1/3 010 a3 1/6 2.6 3 1/2 100 a5 1/8 3.0 3 2/3 101 a6 1/8 3.0 3 19/24 110 a4 1/12 3.6 4 11/12 1110 7 1 () ii i Kp a K = = 2.75 碼元/符號 (6) () 88.73% H X K = 5. 已知(7,3)線性分組碼的生成矩陣 0111001 1110010 0101110 G = , (1) 求該碼的碼集; (2) 求對應(yīng)的系統(tǒng)形式生成矩陣 s G和校驗矩陣 H; (3) 該碼的最小碼距 min d是多少?糾錯能力t =? (4) 列出可糾差錯圖案 E 和對應(yīng)伴隨式 S(針對系統(tǒng)碼) ; (5) 若收到 R1110101,請譯出發(fā)碼估值 C。 解:(1) 消息 m 碼字 c 系統(tǒng)碼字 c 000 0000000 0000000 001 0101110 0010111 010 1110010 0101110 011 1011100 0111001 100 0111001 1001011 101 0010111 1011100 110 1001011 1100101 111 1100101 1110010 (3) (2) 1001011 0101110 0010111 S G = 1101000 0110100 1110010 1010001 H = (5) (3) dmin=4 ,t=1 (2) (4) S E 0000 0000000 0001 0000001 0010 0000010 0100 0000100 1000 0001000 0111 0010000 1110 0100000 1011 1000000 (5) (5) RHT=0111 E=0010000 C=R+E= 1100101 (發(fā)碼) 6. 設(shè)輸入符號表為X0, 1, 輸出符號表為Y0, 1。 輸入信號的概率分布為p(1/2, 1/2), 失真函數(shù)為 d(0,0) = d(1,1) = 0,d(0,1) =1,d(1,0) = 1.6. (1) 求Dmin,R(Dmin),相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x); (2) 求Dmax,R(Dmax),相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x)。 解:(1) Dmin0 , R(Dmin) H(1/2,1/2)=1bit/symbol , 相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 10 01 (7) (2) Dmax = n i iji j dp 1 min,min 222121212111 2 , 1 dpdpdpdp j + = 1,2 min0.8,0.50.5 j= = R(Dmax) 0 相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) 01 01 (8) 7. 隨機變量 X 表示信號 x(t)的幅度,均勻分布, (1) 若1)(0tx,求信源熵)(XHc; (2) 若5 . 0)(0tx,求信源熵)(XHc。 解:(1) ( )1 01 x pxx= = 1 0 01log1)()(log)()(dxxdxpxpXH xxc (比特) (5) (2) ( )2 00.5 x pxx= 0.5 0 ()( )log( ) ( )2 log21 cxx HXpxpx d xdx= = (比特) (5) 8. 某一離散無記憶信源的符號集為0,1,已知信源的概率空間為: = 8/78/1 10 P X (1) 求消息符號的信源熵; (2) 由 80 個符號構(gòu)成的序列,求某一包含 m 個“0”和 80-m 個“1”的特定序列的信息量; (3) 計算 80 個符號組成序列X 的熵()H X 。 解:(1) 1 7 ()( , )0.54 / 8 8 H XHbit symbol= (3) (2) 80 01 log() 17 log(80)log 88 15.42.81 mm Ipp mm m = = =+ (7) (3) 1280 ()80() 43.2 bit/sequence H X XXH X= = 3 (5) 9. 某信源有 7 個符號a1, ,a7,概率分別為 0.49,0.26,0.12,0.04,0.04,0.03,0.02,求 (1) 求該信源的熵; (2) 對此信源做二進制哈夫曼編碼,寫出相應(yīng)碼字,并求出編碼效率; (3) 對此信源做二進制費諾編碼,寫出相應(yīng)碼字,并求出編碼效率。 解:(1) (X)(0.49,0.26,0.12,0.04,0.04,0.03,0.02)2.01HH= bit/符號(2) (2) a1 a2 a3 a4 a5 a6 a7 0.49 0.26 0.12 0.04 0.04 0.03 0.02 0 1 0.49 0.26 0.12 0.05 0.04 0.04 0 1 0.49 0.26 0.12 0.08 0.05 0 1 0.49 0.26 0.13 0.12 0.49 0.26 0.25 0 1 0.51 0.49 0 1 0 1 1 1 00 011 01000 01001 01010 01011 7 1 ( ) ii i Kp a K = = 2.02 碼元/符號 (7) () 99.5% H X K = (3) 符號 P 碼長 a1 0.49 0 0 1 a2 0.26 1 0 10 2 a3 0.12 1 0 110 3 a4 0.04 1 0 0 11100 5 a5 0.04 1 11101 5 a6 0.03 1 0 11110 5 a7 0.02 1 11111 5 7 1 () ii i Kp a K = = 2.02 碼元/符號 (6) () 99.5% H X K = 10. 某系統(tǒng)(7,3)碼 65432102103210 ()()cccccccmmmcccc=c其四位校驗位 與信息位的關(guān)系為: (1) 求對應(yīng)的生成矩陣和校驗矩陣; (2) 求該碼的碼集, (3) 計算該碼的最小距離,糾錯能力; (4)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論