信息論復(fù)習(xí)1教材

本課程主要內(nèi)容信息論編碼理論信源自信息、信息熵信道互信息、信道容量信源編碼（無失真，失真）信道編碼什么是信息？信息是事物運動狀態(tài)或存在方式的不確定性的描述不僅僅是形式上的消息或情報，而且包括消息或情報所含的對事物狀態(tài)或不確定性的描述自信息：事件發(fā)生的不確定性信息熵：平均不確定性信息熵的基本性質(zhì)：對稱性、確定性、非負(fù)性、擴(kuò)展性、可加性、強(qiáng)可加性、遞增性、極值性、上凸性離散無記憶信源的N次擴(kuò)展信源的熵離散平穩(wěn)信源：平均符號熵條件熵第二章離散信源及其信息測度極限熵時齊遍歷馬爾科夫信源的信息熵信源剩余度：1減去熵的相對率獲得的信息量等于自信息量的減少

自信息的定義與計算公式，自信息量與獲得的信息量之間的關(guān)系如果事件發(fā)生的概率為,事件發(fā)生所含有的信息量，就稱為自信息量，表示為自信息量的特點1.如果，則2.當(dāng)，則3.當(dāng)，則4.兩個獨立事件聯(lián)合信息量等于他們分別的信息量之和自信息量的四個特點：信息熵的計算公式信息熵定義為信源的平均信息量計算公式為信息熵的九個基本性質(zhì)基本性質(zhì)：對稱性、確定性、非負(fù)性、擴(kuò)展性、可加性、強(qiáng)可加性、遞增性、極值性、上凸性1)

信息熵的對稱性當(dāng)變量的順序任意互換時，熵函數(shù)的值不變，即2)

信息熵的確定性3)

信息熵的非負(fù)性4)

信息熵的擴(kuò)展性5）可加性如果有兩個隨機(jī)變量X和Y，他們彼此是統(tǒng)計獨立的，概率分布分別為與則有H(XY)=H(X)+H(Y)即其中6）信息熵的強(qiáng)可加性兩個相互關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵7）信息熵的遞增性其中熵函數(shù)是概率矢量的嚴(yán)格型凸函數(shù)。即對任意概率矢量和及任意則有8）信息熵的極值性（最大離散熵定理）9）信息熵的上凸性例題2.1如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”，答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）？設(shè)事件A為第一個事件事件B為第二個事件事件A的概率事件B的概率則從事件A中獲得的信息量則從事件B中獲得的信息量某地的天氣預(yù)報為：晴（占4/8）、陰（占2/8）、大雨（占1/8）、小雨（占1/8）。求此地天氣預(yù)報每種天氣狀況各自的自信息量與此地天氣預(yù)報提供的平均自信息量。例題2.2晴（占4/8）：（比特）陰（占2/8）：（比特）大雨（占1/8）：（比特）小雨（占1/8）：（比特）甲地天氣預(yù)報提供的平均自信息量（信息熵）

（比特/符號）

離散無記憶信源的N次擴(kuò)展信源的信息熵離散無記憶信源的N次擴(kuò)展信源的數(shù)學(xué)模型為其中離散無記憶信源的N次擴(kuò)展信源的信息熵的計算公式有一離散無記憶信源例題求此信源的信息熵與二次擴(kuò)展信源的信息熵，并指出二者的關(guān)系。離散無記憶信源的信息熵為二次擴(kuò)展信源的信息熵(比特/符號）(比特/符號）二者的關(guān)系是二次擴(kuò)展信源的信息熵是離散無記憶信源的信息熵的二倍。離散平穩(wěn)信源的完整定義

在任意兩個不同時刻發(fā)出符號序列的各維聯(lián)合概率分布都相同的離散信源其中與為兩個不同時刻條件概率、N維聯(lián)合概率以及條件概率與聯(lián)合概率的關(guān)系條件概率：N維聯(lián)合概率：條件概率與聯(lián)合概率的關(guān)系：二維離散平穩(wěn)信源的聯(lián)合熵，條件熵以及平均符號熵條件熵聯(lián)合熵平均符號熵例題某一離散信源

且其二維平穩(wěn)信源發(fā)出的符號只與前一個符號有關(guān)，聯(lián)合概率為求信源符號之間無依賴關(guān)系時信源X的信息熵，有依賴關(guān)系時二維信源的條件熵與聯(lián)合熵。

0

1

2

0

1/4

1/18

0

1

1/18

1/3

1/182

0

1/18

7/36條件概率為01209/111/8012/113/42/9201/87/9信源符號之間無依賴性時，信源X的信息熵為（比特/符號）考慮符號之間有依賴性時，條件熵為（比特/符號）聯(lián)合熵為（比特/二個符號）馬爾科夫信源(1)某一時刻信源符號的輸出只與此刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號無關(guān)（2）信源某時刻所處的狀態(tài)由當(dāng)前的輸出符號和前一時刻信源的狀態(tài)唯一決定滿足下面兩個條件的信源，被稱為馬爾科夫信源當(dāng)狀態(tài)轉(zhuǎn)移概率和已知狀態(tài)下發(fā)出符號的概率與時間無關(guān)時，這樣的馬爾科夫信源稱為時齊的馬爾科夫信源任何時刻信源發(fā)出符號的概率只與前面m個符號有關(guān)的馬爾科夫信源稱為m階馬爾科夫信源時齊、遍歷的馬爾科夫信源的信息熵其中為狀態(tài)出現(xiàn)的概率馬爾科夫信源的信息熵二元二階馬爾科夫信源的符號集為[0,1]，條件概率為求各狀態(tài)之間的轉(zhuǎn)移概率與馬爾科夫信源的信息熵。例題信源有qm=22=4種可能狀態(tài)，E1=00,E2=01,E3=10,E4=11狀態(tài)轉(zhuǎn)移圖為000111100:0.80:0.51:0.20:0.51:0.51:0.50:0.21:0.8其他狀態(tài)轉(zhuǎn)移概率為0解方程組，可得信源的熵（