信息論與編碼總復(fù)習(xí)

總復(fù)習(xí)(按章節(jié)）第一章緒論1信息的定義。2信息論的定義。3信息、消息、信號的關(guān)系4通信系統(tǒng)的模型。2/5/20231第2章信源及其熵1、信源的數(shù)學(xué)模型2、信源分類：按消息在時間上和幅度上的分布情況，按發(fā)出符號之間的關(guān)系，對信源分類。3、馬爾科夫性4、齊次馬爾可夫信源的轉(zhuǎn)移概率具有具有什么特點。5、馬爾可夫鏈遍歷性的判斷定理。6、自信息量、條件自信息量的定義。7、信源符號不確定度和自信息量的區(qū)別。8、離散信源的熵。離散信源的熵9、條件熵H(X|Y)、條件熵H(Y|X)的物理含義。10、各種熵之間的關(guān)系。

11、離散信源最大熵定理12、互信息的定義，平均互信息；物理含義。13、數(shù)據(jù)處理定理。14、熵的性質(zhì)2/5/2023215、離散無記憶信源的序列熵、平均符號熵,極限熵16、離散有記憶平穩(wěn)信源的幾個結(jié)論17、連續(xù)信源的熵，最大熵定理18、冗余度的概念、產(chǎn)生的原因；冗余的壓縮。2/5/20233第3章信道和信道容量1、信道分類（按信道輸入/輸出信號特點，根據(jù)信道噪聲種類不同）2、信道的表示參數(shù)；3、信道容量的定義。4、無噪有損離散信道的信道容量。5、有噪無損離散信道的信道容量6、對稱DMC信道的信道容量。7、串聯(lián)信道的信道容量8、無記憶離散序列信道的容量。9、單符號連續(xù)信道的信道容量。10、多維無記憶高斯加性連續(xù)信道及其容量11、高斯白噪聲加性波形信道的容量（香農(nóng)公式），香農(nóng)信息極限2/5/20234第4章率失真函數(shù)1、失真度，失真矩陣，平均失真度，常用的失真函數(shù)。2、率失真函數(shù)，物理含義3、率失真函數(shù)的性質(zhì)4、率失真函數(shù)的計算2/5/20235第5章信源編碼1、無失真信源編碼和限失真信源編碼2、信源編碼的數(shù)學(xué)描述3、碼長Ki及其意義4、幾種常見的碼5、碼樹和kraft不等式（判斷惟一可譯碼存在的充要條件）6、符號序列編碼7、無失真定長編碼定理7、香農(nóng)第一極限定理（無失真非定長序列編碼定理）8、編碼效率9、最佳編碼的指導(dǎo)思想10、最佳編碼的主要方法：香農(nóng)（Shannon）、費諾（Fano）、哈夫曼（Huffman）編碼11、香農(nóng)第三極限定理（限失真信源編碼定理）12、常用信源編碼方法（游程編碼、算術(shù)編碼）2/5/20236第6章信道編碼1、信道編碼的目的2、差錯控制編碼3、檢錯和糾錯（差錯控制）的基本原理4、差錯控制方式5、有擾信道編碼定理（Shannon第二極限定理）6、分組碼概念，碼重、碼距；最小距離與檢錯和糾錯能力之間滿足如下關(guān)系。7、最簡單的線性分組碼。8、差錯圖樣與譯碼9、矢量空間（碼空間）：定義、基底、張成；子空間、正交；分組編碼的數(shù)學(xué)概念10、線性分組碼的生成矩陣，系統(tǒng)形式的生成矩陣，系統(tǒng)化2/5/2023711、線性分組碼的校驗矩陣12、伴隨式和標(biāo)準(zhǔn)陣列譯碼。13、譯碼算法；最大似然譯碼與最小距離譯碼14、完備碼及其特點；兩種完備碼的例子15、循環(huán)碼及其多項式描述16、生成多項式，循環(huán)碼的構(gòu)造及校驗，系統(tǒng)循環(huán)碼17、循環(huán)碼編碼電路18、BCH碼和RS碼19、分組碼的擴(kuò)展、縮短和循環(huán)冗余校驗碼20、卷積碼的基本概念21、卷積碼的解析表達(dá)式（說明為什么稱之為卷積碼）22、卷積碼的轉(zhuǎn)移函數(shù)矩陣23、卷積碼的狀態(tài)流圖24、卷積碼的狀態(tài)流圖2/5/2023825、卷積碼的距離特性；信號流圖法求自由距離26、最佳卷積碼27、卷積碼的譯碼——維特比算法28、維特比譯碼差錯概率29、卷積碼應(yīng)用30、編碼與調(diào)制的結(jié)合---網(wǎng)格編碼調(diào)制31、運用級聯(lián)、分集與信息迭代概念的糾錯碼2/5/20239第六章作業(yè)講評二維四重子空間：兩個基底，如（0100），（1000）線性組合｛0000，0100，1000，1100｝6.1題重數(shù)---構(gòu)成矢量的元素的個數(shù)

維數(shù)---張成矢量空間的基底的個數(shù)事實上，這是（4，2）分組碼的碼字空間，22=4，共有4個碼字（矢量）其對偶空間是一個n-k=4-2=2維的子空間。如取兩個基底為:(0010）（0001），張成的空間為｛0000，0010，0001，0011｝2/5/2023106.3題碼元排列順序（u3,u2,u1,u0,v3,v2,v1,v0),則生成矩陣為：若碼元排列順序（u0,u1,u2,

u3,v0,v1,v2,

v3),則生成矩陣為：2/5/202311最小碼距dmin方法1：最小碼距d0等于非零碼字的最小重量即d0=wmin

列出所有的碼字，d0=4方法2：由校驗矩陣求最小碼距d0=r+1,r為H的秩r≤4r=4?d0=

4+1=52/5/2023126.6題（3）伴隨式表n-k=424=16,列出16個伴隨式即可6.8題（2）循環(huán)碼的系統(tǒng)形式的生成矩陣

C=(cn-1,…c1,c0)=[mk-1,…m1,m0]=m*G將G系統(tǒng)化即得2/5/2023136.11題（7，3）RS碼已知生成多項式g(x)=x4+3x3

+x2+

x+3信息序列m=(4

2

3)即m(x)=4

x2+2

x+3r(x)=xn-km(x)modg(x)=x4(4

x2+2

x+3)modg(x)=

x2+5

x+1

c(x)=xn-km(x)+r(x)=6x6+2x5

+3

x4

+x2+5

x+1c=(6

2

30

51)2/5/202314c=(6

2

30

51)衍生碼為：c=(1011000110000101110018個元素都可以表示為的最高冪次為m-1(這里m=3)的多項式

3=+1；(011)

4=3=

(

+1)=2+;(110)5=32=(+1)2=2++1

；(111)

6=3

3=2+1;(101)2/5/2023156.14題結(jié)構(gòu)圖狀態(tài)圖自由距離2/5/202316離散信源的熵1、單獨求信源的熵或其它量時，要給出信源模型2、熵的計算公式（注意符號的使用）3、計算出結(jié)果2/5/2023174、各種條件熵的符號①在給定符號yj的條件下，信源X的條件熵H(X|yj)為:②在給定信源Y(即各符號yj)的條件下，信源X的條件熵為:③在給定信源X(即各符號xi)的條件下，信源Y的條件熵為:強調(diào)：知道問題到底是求哪個量？2/5/202318各種熵之間的關(guān)系H(X,Y)＝H(X)＋H(Y|X)H(X,Y)＝H(Y)＋H(X|Y)

理解、證明和計算

H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2/5/202319對稱DMC信道的信道容量。1、寫出模型（傳遞矩陣）2、判斷對稱性（輸入對稱、輸出對稱）3、代入“公式”計算或者：2/5/2023202/5/202321香農(nóng)公式高斯白噪聲加性波形信道及其容量2/5/202322計算和理解（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的帶寬并不能無限制地提高信道容量。（3）給出了不同的SNR下，所能達(dá)到的最大頻帶利用率。（4）Ct一定時，帶寬w和信噪比SNR可以互換。大的系統(tǒng)帶寬可以降低對輸入信噪比的要求。而大的輸入信噪比可以減少對帶寬的要求。（舉例：擴(kuò)頻通信）2/5/202323率失真函數(shù)的性質(zhì)D允許的實驗信道