信息論與編碼總復(fù)習(xí)

總復(fù)習(xí)(按章節(jié)）第一章緒論1信息的定義。2信息論的定義。3信息、消息、信號(hào)的關(guān)系4通信系統(tǒng)的模型。2/5/20231第2章信源及其熵1、信源的數(shù)學(xué)模型2、信源分類(lèi)：按消息在時(shí)間上和幅度上的分布情況，按發(fā)出符號(hào)之間的關(guān)系，對(duì)信源分類(lèi)。3、馬爾科夫性4、齊次馬爾可夫信源的轉(zhuǎn)移概率具有具有什么特點(diǎn)。5、馬爾可夫鏈遍歷性的判斷定理。6、自信息量、條件自信息量的定義。7、信源符號(hào)不確定度和自信息量的區(qū)別。8、離散信源的熵。離散信源的熵9、條件熵H(X|Y)、條件熵H(Y|X)的物理含義。10、各種熵之間的關(guān)系。

11、離散信源最大熵定理12、互信息的定義，平均互信息；物理含義。13、數(shù)據(jù)處理定理。14、熵的性質(zhì)2/5/2023215、離散無(wú)記憶信源的序列熵、平均符號(hào)熵,極限熵16、離散有記憶平穩(wěn)信源的幾個(gè)結(jié)論17、連續(xù)信源的熵，最大熵定理18、冗余度的概念、產(chǎn)生的原因；冗余的壓縮。2/5/20233第3章信道和信道容量1、信道分類(lèi)（按信道輸入/輸出信號(hào)特點(diǎn)，根據(jù)信道噪聲種類(lèi)不同）2、信道的表示參數(shù)；3、信道容量的定義。4、無(wú)噪有損離散信道的信道容量。5、有噪無(wú)損離散信道的信道容量6、對(duì)稱(chēng)DMC信道的信道容量。7、串聯(lián)信道的信道容量8、無(wú)記憶離散序列信道的容量。9、單符號(hào)連續(xù)信道的信道容量。10、多維無(wú)記憶高斯加性連續(xù)信道及其容量11、高斯白噪聲加性波形信道的容量（香農(nóng)公式），香農(nóng)信息極限2/5/20234第4章率失真函數(shù)1、失真度，失真矩陣，平均失真度，常用的失真函數(shù)。2、率失真函數(shù)，物理含義3、率失真函數(shù)的性質(zhì)4、率失真函數(shù)的計(jì)算2/5/20235第5章信源編碼1、無(wú)失真信源編碼和限失真信源編碼2、信源編碼的數(shù)學(xué)描述3、碼長(zhǎng)Ki及其意義4、幾種常見(jiàn)的碼5、碼樹(shù)和kraft不等式（判斷惟一可譯碼存在的充要條件）6、符號(hào)序列編碼7、無(wú)失真定長(zhǎng)編碼定理7、香農(nóng)第一極限定理（無(wú)失真非定長(zhǎng)序列編碼定理）8、編碼效率9、最佳編碼的指導(dǎo)思想10、最佳編碼的主要方法：香農(nóng)（Shannon）、費(fèi)諾（Fano）、哈夫曼（Huffman）編碼11、香農(nóng)第三極限定理（限失真信源編碼定理）12、常用信源編碼方法（游程編碼、算術(shù)編碼）2/5/20236第6章信道編碼1、信道編碼的目的2、差錯(cuò)控制編碼3、檢錯(cuò)和糾錯(cuò)（差錯(cuò)控制）的基本原理4、差錯(cuò)控制方式5、有擾信道編碼定理（Shannon第二極限定理）6、分組碼概念，碼重、碼距；最小距離與檢錯(cuò)和糾錯(cuò)能力之間滿足如下關(guān)系。7、最簡(jiǎn)單的線性分組碼。8、差錯(cuò)圖樣與譯碼9、矢量空間（碼空間）：定義、基底、張成；子空間、正交；分組編碼的數(shù)學(xué)概念10、線性分組碼的生成矩陣，系統(tǒng)形式的生成矩陣，系統(tǒng)化2/5/2023711、線性分組碼的校驗(yàn)矩陣12、伴隨式和標(biāo)準(zhǔn)陣列譯碼。13、譯碼算法；最大似然譯碼與最小距離譯碼14、完備碼及其特點(diǎn)；兩種完備碼的例子15、循環(huán)碼及其多項(xiàng)式描述16、生成多項(xiàng)式，循環(huán)碼的構(gòu)造及校驗(yàn)，系統(tǒng)循環(huán)碼17、循環(huán)碼編碼電路18、BCH碼和RS碼19、分組碼的擴(kuò)展、縮短和循環(huán)冗余校驗(yàn)碼20、卷積碼的基本概念21、卷積碼的解析表達(dá)式（說(shuō)明為什么稱(chēng)之為卷積碼）22、卷積碼的轉(zhuǎn)移函數(shù)矩陣23、卷積碼的狀態(tài)流圖24、卷積碼的狀態(tài)流圖2/5/2023825、卷積碼的距離特性；信號(hào)流圖法求自由距離26、最佳卷積碼27、卷積碼的譯碼——維特比算法28、維特比譯碼差錯(cuò)概率29、卷積碼應(yīng)用30、編碼與調(diào)制的結(jié)合---網(wǎng)格編碼調(diào)制31、運(yùn)用級(jí)聯(lián)、分集與信息迭代概念的糾錯(cuò)碼2/5/20239第六章作業(yè)講評(píng)二維四重子空間：兩個(gè)基底，如（0100），（1000）線性組合｛0000，0100，1000，1100｝6.1題重?cái)?shù)---構(gòu)成矢量的元素的個(gè)數(shù)

維數(shù)---張成矢量空間的基底的個(gè)數(shù)事實(shí)上，這是（4，2）分組碼的碼字空間，22=4，共有4個(gè)碼字（矢量）其對(duì)偶空間是一個(gè)n-k=4-2=2維的子空間。如取兩個(gè)基底為:(0010）（0001），張成的空間為｛0000，0010，0001，0011｝2/5/2023106.3題碼元排列順序（u3,u2,u1,u0,v3,v2,v1,v0),則生成矩陣為：若碼元排列順序（u0,u1,u2,

u3,v0,v1,v2,

v3),則生成矩陣為：2/5/202311最小碼距dmin方法1：最小碼距d0等于非零碼字的最小重量即d0=wmin

列出所有的碼字，d0=4方法2：由校驗(yàn)矩陣求最小碼距d0=r+1,r為H的秩r≤4r=4?d0=

4+1=52/5/2023126.6題（3）伴隨式表n-k=424=16,列出16個(gè)伴隨式即可6.8題（2）循環(huán)碼的系統(tǒng)形式的生成矩陣

C=(cn-1,…c1,c0)=[mk-1,…m1,m0]=m*G將G系統(tǒng)化即得2/5/2023136.11題（7，3）RS碼已知生成多項(xiàng)式g(x)=x4+3x3

+x2+

x+3信息序列m=(4

2

3)即m(x)=4

x2+2

x+3r(x)=xn-km(x)modg(x)=x4(4

x2+2

x+3)modg(x)=

x2+5

x+1

c(x)=xn-km(x)+r(x)=6x6+2x5

+3

x4

+x2+5

x+1c=(6

2

30

51)2/5/202314c=(6

2

30

51)衍生碼為：c=(1011000110000101110018個(gè)元素都可以表示為的最高冪次為m-1(這里m=3)的多項(xiàng)式

3=+1；(011)

4=3=

(

+1)=2+;(110)5=32=(+1)2=2++1

；(111)

6=3

3=2+1;(101)2/5/2023156.14題結(jié)構(gòu)圖狀態(tài)圖自由距離2/5/202316離散信源的熵1、單獨(dú)求信源的熵或其它量時(shí)，要給出信源模型2、熵的計(jì)算公式（注意符號(hào)的使用）3、計(jì)算出結(jié)果2/5/2023174、各種條件熵的符號(hào)①在給定符號(hào)yj的條件下，信源X的條件熵H(X|yj)為:②在給定信源Y(即各符號(hào)yj)的條件下，信源X的條件熵為:③在給定信源X(即各符號(hào)xi)的條件下，信源Y的條件熵為:強(qiáng)調(diào)：知道問(wèn)題到底是求哪個(gè)量？2/5/202318各種熵之間的關(guān)系H(X,Y)＝H(X)＋H(Y|X)H(X,Y)＝H(Y)＋H(X|Y)

理解、證明和計(jì)算

H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2/5/202319對(duì)稱(chēng)DMC信道的信道容量。1、寫(xiě)出模型（傳遞矩陣）2、判斷對(duì)稱(chēng)性（輸入對(duì)稱(chēng)、輸出對(duì)稱(chēng)）3、代入“公式”計(jì)算或者：2/5/2023202/5/202321香農(nóng)公式高斯白噪聲加性波形信道及其容量2/5/202322計(jì)算和理解（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的帶寬并不能無(wú)限制地提高信道容量。（3）給出了不同的SNR下，所能達(dá)到的最大頻帶利用率。（4）Ct一定時(shí)，帶寬w和信噪比SNR可以互換。大的系統(tǒng)帶寬可以降低對(duì)輸入信噪比的要求。而大的輸入信噪比可以減少對(duì)帶寬的要求。（舉例：擴(kuò)頻通信）2/5/202323率失真函數(shù)的性質(zhì)D允許的實(shí)驗(yàn)信道