信息論中的重要不等式

信息論中的重要不等式第一頁，共四十六頁，編輯于2023年，星期六主要內(nèi)容信息論中的重要不等式相對(duì)熵互信息

對(duì)數(shù)函數(shù)基本不等式詹森不等式費(fèi)諾不等式2第二頁，共四十六頁，編輯于2023年，星期六1.4

重要不等式對(duì)任意實(shí)數(shù)對(duì)任何兩組滿足條件的實(shí)數(shù)，等號(hào)成立的充要條件是

對(duì)數(shù)函數(shù)的基本不等式3第三頁，共四十六頁，編輯于2023年，星期六重要不等式對(duì)任何兩組實(shí)數(shù)

,對(duì)數(shù)和不等式.4第四頁，共四十六頁，編輯于2023年，星期六重要不等式詹森不等式

是一個(gè)隨機(jī)變量，表示的數(shù)學(xué)期望，是上凸函數(shù)，則費(fèi)諾不等式是在中取值的隨機(jī)變量，記則5第五頁，共四十六頁，編輯于2023年，星期六相對(duì)熵（互熵）兩個(gè)概率分布“差異性”的度量值，也是一種重要的信息度量.同一字母集上兩個(gè)概率分布的相對(duì)熵：對(duì)任意概率分布pi，它對(duì)其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí)的差異.6第六頁，共四十六頁，編輯于2023年，星期六相對(duì)熵的性質(zhì)，等號(hào)成立是概率分布對(duì)的凸函數(shù)7第七頁，共四十六頁，編輯于2023年，星期六互信息8第八頁，共四十六頁，編輯于2023年，星期六互信息I(信息量)=不確定程度的減小量如果信道是無噪的，當(dāng)信源發(fā)出消息x后，信宿必能準(zhǔn)確無誤地收到該消息，徹底消除對(duì)x的不確定度，所獲得的信息量就是x的不確定度，即x本身含有的全部信息.信宿在收信前后，其消息的概率分布發(fā)生了變化，即其概率空間變了.9第九頁，共四十六頁，編輯于2023年，星期六

1.互信息

(1)yj對(duì)xi的互信息I(xi;yj)

即：I(xi;yj)=I(xi)-I(xi/yj)p(xi)——先驗(yàn)概率：信源發(fā)xi的概率

p(xi/yj)——后驗(yàn)概率：信宿收到y(tǒng)j后，推測(cè)信源發(fā)xi的概率[含義]互信息I(xi;yj)=自信息I(xi)-條件自信息I(xi/yj)

＊I(xi)__信宿收到y(tǒng)j之前，對(duì)信源發(fā)xi的不確定度＊

I(xi/yj)__信宿收到y(tǒng)j之后，對(duì)信源發(fā)xi的不確定度＊

I(xi;yj)__收到y(tǒng)j而得到(關(guān)于xi

)的互信息

=不確定度的減少量互信息10第十頁，共四十六頁，編輯于2023年，星期六(2)xi對(duì)yj的互信息I(yj;xi)[含義]信源發(fā)xi前、后，信宿收到y(tǒng)j的不確定度的減少互信息11第十一頁，共四十六頁，編輯于2023年，星期六2.互信息的性質(zhì)

(1)對(duì)稱性——I(xi;yj)=I(yj;xi)(2)X與Y獨(dú)立時(shí)——I(xi;yj)=0(3)I(xi;yj)可為正、負(fù)、03.條件互信息給定zk條件下，xi與yj間互信息互信息12第十二頁，共四十六頁，編輯于2023年，星期六I(xi;yj)可為正、負(fù)、0的舉例設(shè)yj代表“閃電”，則當(dāng)xi代表“打雷”時(shí)，I(xi/yj)=0，I(xi;yj)=I(xi)＞0當(dāng)xi代表“下雨”時(shí)，I(xi/yj)＜I(xi)，I(xi;yj)＞0當(dāng)xi代表“霧天”時(shí)，I(xi/yj)=I(xi)，I(xi;yj)=0當(dāng)xi代表“飛機(jī)正點(diǎn)起飛”時(shí)，I(xi/yj)＞I(xi)，I(xi;yj)＜0互信息13第十三頁，共四十六頁，編輯于2023年，星期六平均互信息為了客觀地測(cè)度信道中流通的信息，定義互信息量I(xi;yj)在聯(lián)合概率空間p(x,y)中的統(tǒng)計(jì)平均值為Y對(duì)X的平均互信息量：X對(duì)Y的平均互信息量：14第十四頁，共四十六頁，編輯于2023年，星期六平均互信息由關(guān)系式，可以推導(dǎo)出

表示通過信源和信道來觀測(cè)到達(dá)信宿信息量，而沒有觀察信宿．

15第十五頁，共四十六頁，編輯于2023年，星期六平均互信息表示通過信道和信宿來觀察到達(dá)信宿信息量，而沒有觀察信源．16第十六頁，共四十六頁，編輯于2023年，星期六平均互信息17第十七頁，共四十六頁，編輯于2023年，星期六1.Y對(duì)X：2.X對(duì)Y：3.合寫：平均互信息（表達(dá)式）H(X)–H(X/Y)H(Y)–H(Y/X)H(X)+H(Y)–H(XY)18第十八頁，共四十六頁，編輯于2023年，星期六1.I(X;Y)=H(X)–H(X/Y)(1)H(X)——信源熵：X的不確定度

H(X/Y)——已知Y時(shí)，對(duì)X仍剩的不確定度

[結(jié)論]“Y已知”使得對(duì)X的不確定度減小了,

即獲得了I(X;Y)

的信息量

(2)H(X)——信源含有的平均信息量(有用總體)

I(X/Y)——信宿收到的平均信息量(有用部分)

[結(jié)論]H(X/Y)—因信道有擾而丟失的平均信息量，故稱損失熵平均互信息（物理意義）19第十九頁，共四十六頁，編輯于2023年，星期六2.I(Y;X)=H(Y)–H(Y/X)=I(X;Y)(1)H(Y)——信宿收到的平均信息量

I(X;Y)——信道傳輸?shù)钠骄畔⒘縖結(jié)論]H(Y/X)——因信道有擾而產(chǎn)生的稱噪聲熵、散布度

(2)H(Y)——Y的先驗(yàn)不定度

H(Y/X)——發(fā)出X后，關(guān)于Y的后驗(yàn)不定度[結(jié)論]I(Y;X)——發(fā)X前后，Y不定度的減少量平均互信息（物理意義）20第二十頁，共四十六頁，編輯于2023年，星期六3.I(X;Y)=H(X)+H(Y)–H(XY)H(X)+H(Y)——通信前，整個(gè)系統(tǒng)的先驗(yàn)不確定度H(XY)——通信后，整個(gè)系統(tǒng)仍剩的不確定度I(X;Y)——通信前后，整個(gè)系統(tǒng)不確定度的減少量，即傳輸?shù)幕バ畔結(jié)論]I(X;Y)——平均每傳送一個(gè)信源符號(hào)時(shí)，流經(jīng)信道的平均(有用)信息量H(X)

I(X;Y)H(Y)

H(X|Y)

H(Y|X)

平均互信息（物理意義）21第二十一頁，共四十六頁，編輯于2023年，星期六文氏圖

I(X;Y)=H(X)–H(X/Y)=H(Y)–H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

22第二十二頁，共四十六頁，編輯于2023年，星期六文氏圖

I(X;Y)=H(X)–H(X/Y)=H(Y)–H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

23第二十三頁，共四十六頁，編輯于2023年，星期六

1.非負(fù)性——I(X;Y)≥0，盡管I(xi;yj)的某些元素可為負(fù)

2.對(duì)稱性——I(X;Y)=I(Y;X)3.極值性——I(X;Y)≤H(X)I(X;Y)≤H(Y)[特例]I(X;Y)=H(X)–H(X/Y)

＊當(dāng)H(X/Y)=0時(shí)，I(X;Y)=H(X)——信道無噪（X、Y一一對(duì)應(yīng)）＊當(dāng)I(X;Y)=0時(shí)，H(X/Y)=H(X)——信道中斷（X、Y獨(dú)立）平均互信息（性質(zhì)）24第二十四頁，共四十六頁，編輯于2023年，星期六

4.凸函數(shù)性

(1)I(X;Y)是信源概率分布P(X)的上凸函數(shù)（最大值）—信道容量的基礎(chǔ)；

(2)I(X;Y)是信道轉(zhuǎn)移概率P(Y/X)的下凸函數(shù)（最小值）—率失真函數(shù)的基礎(chǔ).平均互信息（性質(zhì)）25第二十五頁，共四十六頁，編輯于2023年，星期六讓一百萬只猴子花一百萬年的時(shí)間來打字，我們就能最終得到一本圣經(jīng)；如今，我們搞定了??！只花了經(jīng)過相當(dāng)程度縮減的時(shí)間。借助我們特別訓(xùn)練的馬爾可夫猴，我們可以實(shí)時(shí)的重寫整部圣經(jīng)了。

26第二十六頁，共四十六頁，編輯于2023年，星期六馬爾可夫鏈（離散時(shí)間）馬爾可夫鏈，因安德烈?馬爾可夫（A.A.Markov，1856－1922）得名，是數(shù)學(xué)中具有馬爾可夫性質(zhì)的離散時(shí)間隨機(jī)過程。該過程中，在給定當(dāng)前知識(shí)或信息的情況下，過去（即當(dāng)期以前的歷史狀態(tài)）對(duì)于預(yù)測(cè)將來（即當(dāng)期以后的未來狀態(tài)）是無關(guān)的。

27第二十七頁，共四十六頁，編輯于2023年，星期六馬爾可夫鏈馬爾可夫性質(zhì)是概率論中的一個(gè)概念。隨機(jī)過程被稱為是具有馬爾可夫性質(zhì)，當(dāng)給定現(xiàn)在狀態(tài)時(shí)該過程的未來狀態(tài)的條件概率分布，僅依賴于當(dāng)前狀態(tài)。換句話說，在給定現(xiàn)在狀態(tài)時(shí)，它與過去狀態(tài)（即該過程的歷史路徑）是條件獨(dú)立的。具有馬爾可夫性質(zhì)的過程通常稱之為馬爾可夫過程。

28第二十八頁，共四十六頁，編輯于2023年，星期六馬爾可夫鏈馬爾可夫過程

Markovprocess

一類隨機(jī)過程。它的原始模型馬爾可夫鏈，由俄國數(shù)學(xué)家A.A.馬爾可夫于1907年提出。該過程具有如下特性：在已知目前狀態(tài)(現(xiàn)在)的條件下，它未來的演變(將來)不依賴于它以往的演變(過去)。例如森林中動(dòng)物頭數(shù)的變化構(gòu)成——馬爾可夫過程。在現(xiàn)實(shí)世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運(yùn)動(dòng)、傳染病受感染的人數(shù)、車站的候車人數(shù)等，都可視為馬爾可夫過程。29第二十九頁，共四十六頁，編輯于2023年，星期六馬爾可夫鏈關(guān)于該過程的研究，1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用于這類過程，奠定了馬爾可夫過程的理論基礎(chǔ)。1951年前后，伊藤清建立的隨機(jī)微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后，W.費(fèi)勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場(chǎng)等都是正待深入研究的領(lǐng)域。

30第三十頁，共四十六頁，編輯于2023年，星期六馬爾可夫鏈馬氏鏈模型描述一類重要的隨機(jī)動(dòng)態(tài)過程的模型：

?系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的；

?從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移；

?下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）；

馬氏鏈的兩個(gè)重要類型

1.正則鏈~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)；

2.吸收鏈~存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)．31第三十一頁，共四十六頁，編輯于2023年，星期六如果隨機(jī)變量與關(guān)于條件獨(dú)立，即稱為馬爾可夫鏈；齊次馬爾可夫鏈:

如果轉(zhuǎn)移概率與所處的狀態(tài)無關(guān),即馬爾可夫鏈32第三十二頁，共四十六頁，編輯于2023年，星期六定理若是一個(gè)馬爾可夫鏈，則

若是齊次馬爾可夫鏈，則馬爾可夫鏈33第三十三頁，共四十六頁，編輯于2023年，星期六

數(shù)據(jù)處理定理:

當(dāng)消息通過多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。（X-Y-Z構(gòu)成馬氏鏈）

第一級(jí)處理器第二級(jí)處理器XYZ輸入圖示級(jí)聯(lián)處理器平均互信息（應(yīng)用）34第三十四頁，共四十六頁，編輯于2023年，星期六

數(shù)據(jù)處理定理

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)[意義]信息不增原理——

每經(jīng)一次處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）35第三十五頁，共四十六頁，編輯于2023年，星期六

符號(hào)xi與符號(hào)對(duì)yjzk之間的互信息量定義為：

I(xi;yjzk)=log

定義

條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為：

I（xi;yj|zk）=log

（三維）平均互信息量36第三十六頁，共四十六頁，編輯于2023年，星期六I（xi;yjzk）＝I（xi;zk）＋I(xiàn)（xi;yj|zk）

說明:

一個(gè)聯(lián)合事件yjzk出現(xiàn)后所提供的有關(guān)xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的有關(guān)xi的信息量I（xi;zk）,加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量I（xi;yj/zk）．（三維）平均互信息量I（xi;yjzk）＝I（xi;yj）＋I(xiàn)（xi;zk/yj）37第三十七頁，共四十六頁，編輯于2023年，星期六I（xi;yjzk）=I（xi;zkyj）證明:因?yàn)樗訧（xi;yjzk）=I（xi;zkyj）（三維）平均互信息量38第三十八頁，共四十六頁，編輯于2023年，星期六I（X;YZ）＝I（X;Y）＋I(xiàn)（X;Z|Y）

I(X;YZ)＝I(X;Z)＋I(xiàn)(X;Y/Z)

I(YZ;X)＝I(Y;X)＋I(xiàn)(Z;X/Y)

三維聯(lián)合集XYZ上的

平均互信息量

39第三十九頁，共四十六頁，編輯于2023年，星期六

數(shù)據(jù)處理定理

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)[意義]信息不增原理——

每經(jīng)一次處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）40第四十頁，共四十六頁，編輯于2023年，星期六證明:

圖中

X是輸入消息集合

Y是第一級(jí)處理器的輸出消息集合

Z為第二級(jí)處理器的輸出消息集合

假設(shè)：在Y條件下X與Z相互獨(dú)立可得：即得(1)41第四十一頁，共四十六頁，編輯于2023年，星期六而且(2){又由

I(X;YZ)＝I(X;Y)＋I(xiàn)(X;Z/Y)

和

I