《信息論與編碼》復(fù)習(xí)大綱

1、信息論與編碼復(fù)習(xí)大綱本課程核心內(nèi)容：一、信息論基礎(chǔ)信息量、信息熵、互信息、信息率失真函數(shù)以及信道容量的定義、性質(zhì)與計(jì)算二、編碼定理及編碼技術(shù)1、三大編碼定理（無失真信源編碼定理、有噪信道編碼定理，限失真信源編碼定理）2、信源編碼：無失真和限失真信源編碼方法方法香農(nóng)編碼、費(fèi)諾編碼、哈夫曼編碼、算術(shù)編碼；其他編碼方法3、信道編碼：矢量空間與碼空間、信道譯碼方法(最小漢明距離譯碼)、增加糾錯(cuò)能力的措施、線性分組碼(漢明碼)及其標(biāo)準(zhǔn)陣列譯碼表、循環(huán)碼的構(gòu)造方法章節(jié)重點(diǎn)內(nèi)容：第一章：通信系統(tǒng)模型第二章：信源與信息熵1、馬爾可夫信源：狀態(tài)轉(zhuǎn)移圖轉(zhuǎn)移概率矩陣：符號(hào)條件概率矩陣：穩(wěn)態(tài)分布概率：例2-2；類題2

2、-1, 2-22、自信息量 I(xi)=-log p(xi) 聯(lián)合自信息量：I(xi, yj)=-log p(xi, yj) 性質(zhì)及計(jì)算 條件自信息量：I(xi|yj)=-log p(xi|yj) 3、平均自信息量及信源熵（極值條件）信源熵：條件熵： 聯(lián)合熵：三者之間的關(guān)系：H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(Y)+H(X|Y) 類題：例2-8，2-9 習(xí)題2-7，2-10，2-124、互信息： (極大值和極小值)結(jié)論：當(dāng)p(yj|xi)一定時(shí)，互信息I(X;Y)是信源分布p(xi)的上凸函數(shù)，有極大值(信道容量)；當(dāng)p(xi)一定時(shí)，互信息I(X;Y)是信源分布p(yj|

3、xi)的下凸函數(shù)，有極小值(信源壓縮極限)。5、熵的性質(zhì)：非負(fù)性、對(duì)稱性、確定性、香農(nóng)輔助定理、最大熵定理、條件熵小于無條件熵6、離散序列信源的熵：(1) 無記憶信源：(2) 無記憶平穩(wěn)信源：H(X1)=H(X2)=H(XL)(3) 離散有記憶信源序列的熵（馬爾可夫信源極限熵）： 例2-11及其結(jié)論 (4) 極限熵： 馬氏鏈極限熵的計(jì)算：例2-12 ，2-29，2-32其中：為狀態(tài)符號(hào)熵7、連續(xù)信源最大熵定理：限峰功率及限平均功率第三章：信道與信道容量（基本概念）1、兩個(gè)概念：信道容量： 比特/符號(hào)信息傳輸率：信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘?R=I(X;Y)=H(X)H(X/Y) Rt=I(

4、X;Y)/t 比特/秒2、離散單個(gè)符號(hào)的信道容量：(要求：掌握達(dá)到信道容量時(shí)的信源分布)(1) 對(duì)稱DMC信道的信道容量例： (2) 準(zhǔn)對(duì)稱信道的信道容量：將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集：3、連續(xù)信道及其容量 (1) 連續(xù)單符號(hào)加性信道：信道輸入X是均值為零、方差為S的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值 (2) 加性非高斯噪聲信道的信道容量的上下界：(3) 限時(shí)限頻限功率加性高斯白噪聲信道 信道容量：單位時(shí)間的信道容量 (香農(nóng)公式)：增加信道容量的措施 達(dá)到香農(nóng)限的條件：輸入信號(hào)是平均功率受限的高斯信號(hào)，非高斯信號(hào)信道容量小。3-5, 3-6, 3-10第四章：信息率失真

5、函數(shù)（基本概念）1、失真矩陣及平均失真函數(shù)2、保真度準(zhǔn)則：3、信息率失真函數(shù)： 對(duì)于離散無記憶信源：(1) R(D)的物理意義：對(duì)于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值為R(D)。(2) 離散R(D)函數(shù)的定義域和值域： Dmin=0 (3) R(D)的曲線圖性質(zhì)4-2, 4-3, 4-4 第五章：信源編碼1、奇異碼、非奇異碼、唯一可譯碼、即時(shí)碼的判定、Kraft不等式、碼樹圖、平均碼長的計(jì)算2、無失真信源編碼：(1) 定長編碼定理：(基本概念)由L個(gè)符號(hào)組成的，信源的符號(hào)熵（平均符號(hào)熵）為HL(X)的平穩(wěn)無記憶離散信源序列X=(X1, X2, , Xl, ,

6、XL)，可用K個(gè)符號(hào)Y1,Y2,YK（每個(gè)符號(hào)有m種可能值）進(jìn)行定長編碼。對(duì)任意0，0，只要平均信息速率滿足： 則當(dāng)L足夠大時(shí)，必可使譯碼差錯(cuò)小于； 反之，當(dāng)時(shí) 譯碼差錯(cuò)一定是有限值。而當(dāng)L足夠大時(shí)，譯碼幾乎必定出錯(cuò)。 編碼效率：(2) 最佳變長編碼定理(香農(nóng)第一定理)：最優(yōu)碼的平均碼字長度滿足： (單符號(hào))或 (符號(hào)序列)其中為變長編碼后的平均信息速率(3) 掌握四種編碼方法：香農(nóng)碼、費(fèi)諾碼、哈夫曼編碼及算術(shù)編碼(累計(jì)概率的計(jì)算)及編碼效率的計(jì)算：例5-10，作業(yè)5-1, 5-5, 5-12第六章：信道編碼1、基本概念：差錯(cuò)符號(hào)、差錯(cuò)比特；差錯(cuò)圖樣；矢量空間、碼空間及其對(duì)偶空間；有擾離散信道的編碼定理：（掌握信道編碼定理的內(nèi)容及減小差錯(cuò)概率的方法）；線形分組碼的擴(kuò)展與縮短（掌握奇偶校驗(yàn)碼及縮短碼的校驗(yàn)矩陣、生成矩陣與原線形分組碼的關(guān)系）。2、線性分組碼(封閉性)：生成矩陣及校驗(yàn)