信息理論基礎(chǔ)總結(jié)

1、信息理論基礎(chǔ)張闖E-mail: 提綱一 緒論二 信息的統(tǒng)計(jì)度量三 離散信源四 離散信道及其容量五 無(wú)失真信源編碼六 有噪信道編碼七 限失真信源編碼八 連續(xù)信源及波形信道九 糾錯(cuò)編碼一 緒論1. 信息的概念 信息與消息：信息是消息的內(nèi)涵，消息是信息的載體。2. 通信系統(tǒng)的模型 編碼器干擾源信宿譯碼器信道信源消息信號(hào)消息干擾一 緒論信源編碼器干擾源信道調(diào)制器糾錯(cuò)編碼器信源解調(diào)器糾錯(cuò)譯碼器信源譯碼器信宿信源編碼部分信道編碼部分信道二 信息的統(tǒng)計(jì)度量二 信息的統(tǒng)計(jì)度量二 信息的統(tǒng)計(jì)度量二 信息的統(tǒng)計(jì)度量三 離散信源1. 信源的分類(lèi) 根據(jù)時(shí)間和幅度分為四類(lèi)： 根據(jù)信源前后符號(hào)間有沒(méi)有關(guān)聯(lián)定義有記憶信源和

2、無(wú)記憶信源2. 幾種典型信源 離散無(wú)記憶信源、離散平穩(wěn)信源、馬爾科夫信源時(shí)間時(shí)間幅度幅度信源名稱(chēng)信源名稱(chēng)離散離散離散信源（數(shù)字信源）離散連續(xù)連續(xù)信源連續(xù)離散連續(xù)連續(xù)模擬信源（波形信源）三 離散信源四 離散信道及其容量1. 信道的分類(lèi) 根據(jù)輸入輸出符號(hào)的時(shí)間和幅度連續(xù)性分為四類(lèi)： 根據(jù)信道的統(tǒng)計(jì)特性分為恒參信道和隨參信道 根據(jù)信道的記憶性分為無(wú)記憶信道和有記憶信道 一些特殊信道的定義：無(wú)損信道、確定信道時(shí)間時(shí)間幅度幅度信源名稱(chēng)信源名稱(chēng)離散離散離散信道（數(shù)字信道）離散連續(xù)連續(xù)信道連續(xù)離散連續(xù)連續(xù)模擬信道（波形信道）四 離散信道及其容量四 離散信道及其容量四 離散信道及其容量五 無(wú)失真信源編碼目的：

3、提高傳輸?shù)挠行?. 編碼器的模型2. 定長(zhǎng)碼與變長(zhǎng)碼 定長(zhǎng)碼： 變長(zhǎng)碼：3. 奇異碼與非奇異碼的定義 奇異碼：編碼器五 無(wú)失真信源編碼五 無(wú)失真信源編碼8. 變長(zhǎng)碼 變長(zhǎng)碼的定義 變長(zhǎng)碼存在的條件：Kraft不等式和McMillan不等式9. 香農(nóng)第一定理變長(zhǎng)無(wú)失真信源編碼定理 對(duì)于某一信源和某一碼元集，若有一種唯一可譯碼，對(duì)于某一信源和某一碼元集，若有一種唯一可譯碼，其平均長(zhǎng)度其平均長(zhǎng)度 小于小于所有其他的唯一可譯碼，則稱(chēng)此碼為最佳碼所有其他的唯一可譯碼，則稱(chēng)此碼為最佳碼( (緊致碼緊致碼) )。信源符號(hào)碼元/)(1qiiilsplNrSHNLrSHN1log)(log)(則總可以找到一種

4、編碼方法構(gòu)成唯一可譯碼，使信源則總可以找到一種編碼方法構(gòu)成唯一可譯碼，使信源S S中的每個(gè)信源符號(hào)所需的碼中的每個(gè)信源符號(hào)所需的碼字與平均長(zhǎng)度滿足字與平均長(zhǎng)度滿足 有一離散無(wú)記憶信源有一離散無(wú)記憶信源S=SS=Si i(i=1,2,(i=1,2,q),q)，輸出符號(hào)為，輸出符號(hào)為q q個(gè)，其熵為個(gè)，其熵為H(S)H(S)，它的，它的N N次次擴(kuò)展信源擴(kuò)展信源),.,2 , 1(NiNqiS)()(SNHSHNNS其熵其熵, ,若用若用r r個(gè)碼元對(duì)個(gè)碼元對(duì)信源進(jìn)行編碼信源進(jìn)行編碼其中，其中， 為為 中每個(gè)信源符號(hào)序列中每個(gè)信源符號(hào)序列 編碼所對(duì)應(yīng)的碼字的平均碼長(zhǎng)。編碼所對(duì)應(yīng)的碼字的平均碼長(zhǎng)。N

5、LNSiNqiiiiiNpL1,)(所對(duì)應(yīng)的碼字的長(zhǎng)度為所對(duì)應(yīng)的平均碼長(zhǎng)中每個(gè)信源符號(hào)離散無(wú)記憶信源iNSSNL:變長(zhǎng)無(wú)失真信源編碼定理：五 無(wú)失真信源編碼10. 變長(zhǎng)碼的編碼方法 香農(nóng)碼（非最佳碼） 霍夫曼碼（最佳碼） 費(fèi)諾碼（非最佳碼） 重點(diǎn)掌握霍夫曼編碼方法 編碼效率： 碼碼的剩余度的剩余度：=1-=1-( )( )logrHSH SLLr六 有噪信道編碼目的： 提高通信的可靠性1. 信道編譯碼模型2. 譯碼規(guī)則 最優(yōu)的譯碼規(guī)則：最大后驗(yàn)概率譯碼 當(dāng)輸入符號(hào)等概時(shí)，最大似然譯碼規(guī)則的誤碼率與最大后驗(yàn)概率譯碼的誤碼率相同。信道編碼信道編碼信道譯碼信道譯碼信道信道sjAabFjj,.,2 ,

6、 1,*)(六 有噪信道編碼3. 香農(nóng)第二定理有噪信道編碼定理若信道是離散、無(wú)記憶、平穩(wěn)的，且信道容量為若信道是離散、無(wú)記憶、平穩(wěn)的，且信道容量為C C，只要待傳，只要待傳送的信息率送的信息率RCRCRC，就一定找不到一種信道編碼方法，使得碼長(zhǎng)足，就一定找不到一種信道編碼方法，使得碼長(zhǎng)足夠大時(shí)，平均差錯(cuò)率任意接近于零。夠大時(shí)，平均差錯(cuò)率任意接近于零。 信道編碼定理告訴我們：信道編碼定理告訴我們：RCRCRC時(shí)，無(wú)論如何編碼，都不可能使平均差錯(cuò)時(shí)，無(wú)論如何編碼，都不可能使平均差錯(cuò)綠逼近零。因此，信道容量綠逼近零。因此，信道容量C C是確?？煽啃詡鬏?shù)男畔鬏斅适谴_保可靠性傳輸?shù)男畔鬏斅实纳舷蕖?/p>

7、的上限。 七 限失真信源編碼1. 失真函數(shù)定義信道信道XYX=x1 x2 xnjijijiyxyxyxd 0, 0),(NiiiNYXdNYXd1),(1),(七 限失真信源編碼111212122212( , ) ( ,) ( ,)( , ) ( ,) ( ,) ( , ) ( ,) ( ,)mmnnnmd x yd x yd x yd x yd x yd x ydd x yd x yd x y2. 失真度矩陣與平均失真XXYjiijiYjijiyxdxypxpyxdyxpdED),()|()(),()(七 限失真信源編碼NiiNiiiNNDNYXdENdED111),(1iD七 限失真信源編

8、碼3. 信息率失真函數(shù)保真度準(zhǔn)則：DD DD D: )|(DDabpBijD七 限失真信源編碼信息率失真函數(shù)的定義式（注意和信道容量的區(qū)別） );(min)(YXIDRDB七 限失真信源編碼4. 信息率失真函數(shù)的性質(zhì)1）定義域 ,Dmin,Dmax，會(huì)求Dmin，Dmax相對(duì)應(yīng)的值域?yàn)?，H(X)；2) R(D)是關(guān)于D的凸函數(shù)；3) R(D)是關(guān)于D的嚴(yán)格單調(diào)遞減函數(shù)。 0D1DmaxD七 限失真信源編碼5. 會(huì)利用反向信道的方式求信息率失真函數(shù) 例如： 某二元信源 其失真矩陣為 ， 求這信源的Dmax、Dmin和R(D)函數(shù)。6. 香農(nóng)第三定理限失真信源編碼定理2/12/110)(XPX0

9、0D七 限失真信源編碼 八 連續(xù)信源與波形信道八 連續(xù)信源與波形信道九 糾錯(cuò)編碼1.檢錯(cuò)碼檢錯(cuò)碼和和糾錯(cuò)碼糾錯(cuò)碼。 檢錯(cuò)碼：能發(fā)現(xiàn)錯(cuò)誤但不能糾正錯(cuò)誤的碼稱(chēng)為檢錯(cuò)碼能發(fā)現(xiàn)錯(cuò)誤但不能糾正錯(cuò)誤的碼稱(chēng)為檢錯(cuò)碼 ；糾錯(cuò)碼：不僅能發(fā)現(xiàn)錯(cuò)誤而且還能糾正錯(cuò)誤的碼稱(chēng)為糾錯(cuò)不僅能發(fā)現(xiàn)錯(cuò)誤而且還能糾正錯(cuò)誤的碼稱(chēng)為糾錯(cuò)碼。碼。2.差錯(cuò)控制系統(tǒng)大致可分為前向糾錯(cuò)、重傳反饋和混合糾差錯(cuò)控制系統(tǒng)大致可分為前向糾錯(cuò)、重傳反饋和混合糾錯(cuò)等三種方式。了解各自的概念。錯(cuò)等三種方式。了解各自的概念。3. 隨機(jī)錯(cuò)誤和突發(fā)錯(cuò)誤的概念隨機(jī)錯(cuò)誤和突發(fā)錯(cuò)誤的概念4. 分組碼與卷積碼的概念分組碼與卷積碼的概念5. 碼距與碼重碼距與碼重兩個(gè)碼字之間兩個(gè)碼字之間, 對(duì)應(yīng)位取值不同的個(gè)數(shù)對(duì)應(yīng)位取值不同的個(gè)數(shù), 稱(chēng)為它們之間的稱(chēng)為它們之間的漢漢明明距離，簡(jiǎn)稱(chēng)距離，用距離，簡(jiǎn)稱(chēng)距離，用 d（c1，c 2）表示。表示。九 糾錯(cuò)編碼碼字中非零碼元的個(gè)數(shù)，稱(chēng)為該碼字的漢明重量，簡(jiǎn)稱(chēng)重碼字中非零碼元的個(gè)數(shù)，稱(chēng)為該碼字的漢明重量，簡(jiǎn)稱(chēng)重量，用量，用w（c）表示。表示。6.對(duì)于任一個(gè)（對(duì)于任一個(gè)（n，k）線性分組碼，若要在碼字內(nèi)線性分組碼，若要在碼字內(nèi): : 檢測(cè)檢測(cè) e 個(gè)錯(cuò)誤，則要求碼的最小距離個(gè)錯(cuò)誤，則