信息論中的重要不等式

1、信息論中的重要不等式第1頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一主要內(nèi)容信息論中的重要不等式相對(duì)熵互信息 對(duì)數(shù)函數(shù)基本不等式詹森不等式費(fèi)諾不等式第2頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一21.4 重要不等式對(duì)任意實(shí)數(shù)對(duì)任何兩組滿足條件 的實(shí)數(shù)，等號(hào)成立的充要條件是 對(duì)數(shù)函數(shù)的基本不等式第3頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一3重要不等式對(duì)任何兩組實(shí)數(shù) ,對(duì)數(shù)和不等式.第4頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一4重要不等式詹森不等式 是一個(gè)隨機(jī)變量， 表示 的數(shù)學(xué)期望， 是上凸函數(shù)，則費(fèi)諾不等式 是在 中取值的隨機(jī)變量，記

2、則 第5頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一5相對(duì)熵（互熵）兩個(gè)概率分布“差異性”的度量值，也是一種重要的信息度量 .同一字母集上兩個(gè)概率分布的相對(duì)熵： 對(duì)任意概率分布pi，它對(duì)其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí)的差異.第6頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一6相對(duì)熵的性質(zhì) ，等號(hào)成立 是概率分布對(duì) 的凸函數(shù)第7頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一7互信息第8頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一8互信息I(信息量)=不確定程度的減小量 如果信道是無(wú)噪的，當(dāng)信源發(fā)出消息x后，信宿必能準(zhǔn)確無(wú)誤地收到該消

3、息，徹底消除對(duì)x的不確定度，所獲得的信息量就是x的不確定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布發(fā)生了變化，即其概率空間變了 .第9頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一9 1. 互信息 (1) yj對(duì)xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) p(xi) 先驗(yàn)概率：信源發(fā)xi的概率 p(xi/yj)后驗(yàn)概率：信宿收到y(tǒng)j后， 推測(cè)信源發(fā)xi的概率 含義 互信息I(xi;yj) =自信息I(xi) - 條件自信息I(xi/yj) I(xi) _信宿收到y(tǒng)j之前，對(duì)信源發(fā)xi的不確定度 I(xi/yj) _信宿

4、收到y(tǒng)j之后，對(duì)信源發(fā)xi的不確定度 I(xi;yj) _收到y(tǒng)j而得到(關(guān)于xi )的互信息 =不確定度的減少量互信息第10頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一10(2) xi對(duì)yj的互信息 I(yj;xi)含義 信源發(fā)xi前、后， 信宿收到y(tǒng)j的不確定度的減少互信息第11頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一112. 互信息的性質(zhì) (1) 對(duì)稱(chēng)性I(xi ;yj) = I(yj ;xi) (2) X與Y獨(dú)立時(shí)I(xi ;yj) = 0 (3) I(xi;yj) 可為正、負(fù)、03. 條件互信息 給定zk條件下，xi 與yj間互信息互信息第12頁(yè)，共46頁(yè)

5、，2022年，5月20日，1點(diǎn)18分，星期一12I(xi;yj) 可為正、負(fù)、0的舉例設(shè)yj代表“閃電”，則當(dāng)xi代表“打雷”時(shí)，I(xi/yj) = 0，I(xi;yj) = I(xi) 0 當(dāng)xi代表“下雨”時(shí)，I(xi/yj) I(xi)，I(xi;yj) 0當(dāng)xi代表“霧天”時(shí)，I(xi/yj) = I(xi)，I(xi;yj) = 0當(dāng)xi代表“飛機(jī)正點(diǎn)起飛”時(shí)，I(xi/yj)I(xi)，I(xi;yj) 0 互信息第13頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一13平均互信息為了客觀地測(cè)度信道中流通的信息，定義互信息量I(xi;yj)在聯(lián)合概率空間p(x,y)中的統(tǒng)

6、計(jì)平均值為Y對(duì)X的平均互信息量：X對(duì)Y的平均互信息量：第14頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一14平均互信息由關(guān)系式 ，可以推導(dǎo)出 表示通過(guò)信源和信道來(lái)觀測(cè)到達(dá)信宿信息量，而沒(méi)有觀察信宿 第15頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一15平均互信息表示通過(guò)信道和信宿來(lái)觀察到達(dá)信宿信息量，而沒(méi)有觀察信源 第16頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一16平均互信息第17頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一171.Y對(duì)X：2.X對(duì)Y：3.合寫(xiě)：平均互信息（表達(dá)式）H(X) H(X/Y)H(Y) H(Y/X)H(X) + H(

7、Y) H(XY)第18頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一181. I(X;Y)= H(X) H(X/Y) (1) H(X)信源熵：X的不確定度 H(X/Y)已知Y時(shí)，對(duì)X仍剩的不確定度 結(jié)論“Y已知”使得對(duì)X的不確定度減小了, 即獲得了I(X;Y) 的信息量 (2) H(X)信源含有的平均信息量(有用總體) I(X/Y)信宿收到的平均信息量(有用部分)結(jié)論 H(X/Y)因信道有擾而丟失的平均信息量，故稱(chēng)損失熵平均互信息（物理意義）第19頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一192. I(Y;X)= H(Y) H(Y/X) = I(X;Y) (1) H(Y

8、)信宿收到的平均信息量 I(X;Y)信道傳輸?shù)钠骄畔⒘?結(jié)論 H(Y/X)因信道有擾而產(chǎn)生的稱(chēng)噪聲熵、散布度 (2) H(Y)Y的先驗(yàn)不定度 H(Y/X)發(fā)出X后，關(guān)于Y的后驗(yàn)不定度結(jié)論 I(Y;X)發(fā)X前后，Y不定度的減少量平均互信息（物理意義）第20頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一203. I(X;Y) = H(X) + H(Y) H(XY)H(X) +H(Y)通信前，整個(gè)系統(tǒng)的先驗(yàn)不確定度H(XY) 通信后，整個(gè)系統(tǒng)仍剩的不確定度I(X;Y) 通信前后，整個(gè)系統(tǒng)不確定度的減少量，即傳輸?shù)幕バ畔⒔Y(jié)論 I(X;Y)平均每傳送一個(gè)信源符號(hào)時(shí)， 流經(jīng)信道的平均(有用)信

9、息量H(X) I(X;Y)H(Y) H(X|Y) H(Y|X) 平均互信息（物理意義）第21頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一21文氏圖 I(X;Y) = H(X) H(X/Y) = H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第22頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一22文氏圖 I(X;Y) = H(X) H(X/Y)

10、= H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第23頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一23 1.非負(fù)性I(X;Y) 0， 盡管I(xi;yj) 的某些元素可為負(fù) 2.對(duì)稱(chēng)性I(X;Y) = I(Y;X) 3.極值性 I(X;Y) H(X) I(X;Y) H(Y) 特例 I(X;Y)= H(X) H(X/Y) 當(dāng) H(X/Y) = 0 時(shí)，

11、I(X;Y)= H(X) 信道無(wú)噪（X、Y一一對(duì)應(yīng)） 當(dāng) I(X;Y) = 0 時(shí)， H(X/Y) = H(X) 信道中斷（X、Y獨(dú)立）平均互信息（性質(zhì)）第24頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一24 4. 凸函數(shù)性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函數(shù) （最大值）信道容量的基礎(chǔ)； (2) I(X;Y) 是信道轉(zhuǎn)移概率P(Y/X) 的下凸函數(shù) （最小值）率失真函數(shù)的基礎(chǔ).平均互信息（性質(zhì)）第25頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一25讓一百萬(wàn)只猴子花一百萬(wàn)年的時(shí)間來(lái)打字，我們就能最終得到一本圣經(jīng)；如今，我們搞定了！只花了經(jīng)過(guò)相當(dāng)程度縮

12、減的時(shí)間。借助我們特別訓(xùn)練的馬爾可夫猴，我們可以實(shí)時(shí)的重寫(xiě)整部圣經(jīng)了。第26頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一26馬爾可夫鏈（離散時(shí)間）馬爾可夫鏈，因安德烈馬爾可夫（，18561922）得名，是數(shù)學(xué)中具有馬爾可夫性質(zhì)的離散時(shí)間隨機(jī)過(guò)程。該過(guò)程中，在給定當(dāng)前知識(shí)或信息的情況下，過(guò)去（即當(dāng)期以前的歷史狀態(tài)）對(duì)于預(yù)測(cè)將來(lái)（即當(dāng)期以后的未來(lái)狀態(tài)）是無(wú)關(guān)的。 第27頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一27馬爾可夫鏈馬爾可夫性質(zhì)是概率論中的一個(gè)概念。隨機(jī)過(guò)程被稱(chēng)為是具有馬爾可夫性質(zhì)，當(dāng)給定現(xiàn)在狀態(tài)時(shí)該過(guò)程的未來(lái)狀態(tài)的條件概率分布，僅依賴(lài)于當(dāng)前狀態(tài)。換句話說(shuō)，在給定

13、現(xiàn)在狀態(tài)時(shí)，它與過(guò)去狀態(tài)（即該過(guò)程的歷史路徑）是條件獨(dú)立的。具有馬爾可夫性質(zhì)的過(guò)程通常稱(chēng)之為馬爾可夫過(guò)程。 第28頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一28馬爾可夫鏈馬爾可夫過(guò)程 Markov process 一類(lèi)隨機(jī)過(guò)程。它的原始模型馬爾可夫鏈，由俄國(guó)數(shù)學(xué)家A.A.馬爾可夫于1907年提出。該過(guò)程具有如下特性：在已知目前狀態(tài) (現(xiàn)在)的條件下，它未來(lái)的演變 (將來(lái))不依賴(lài)于它以往的演變 ( 過(guò)去 ) 。 例如森林中動(dòng)物頭數(shù)的變化構(gòu)成馬爾可夫過(guò)程 。在現(xiàn)實(shí)世界中，有很多過(guò)程都是馬爾可夫過(guò)程，如液體中微粒所作的布朗運(yùn)動(dòng)、傳染病受感染的人數(shù)、車(chē)站的候車(chē)人數(shù)等，都可視為馬爾可夫過(guò)程

14、。第29頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一29馬爾可夫鏈關(guān)于該過(guò)程的研究，1931年A.H.柯?tīng)柲缏宸蛟诟怕收摰慕馕龇椒ㄒ晃闹惺紫葘⑽⒎址匠痰确治龅姆椒ㄓ糜谶@類(lèi)過(guò)程，奠定了馬爾可夫過(guò)程的理論基礎(chǔ)。1951年前后，伊藤清建立的隨機(jī)微分方程的理論，為馬爾可夫過(guò)程的研究開(kāi)辟了新的道路。1954年前后，W.費(fèi)勒將半群方法引入馬爾可夫過(guò)程的研究。流形上的馬爾可夫過(guò)程、馬爾可夫向量場(chǎng)等都是正待深入研究的領(lǐng)域。第30頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一30馬爾可夫鏈馬氏鏈模型描述一類(lèi)重要的隨機(jī)動(dòng)態(tài)過(guò)程的模型：系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的；從一時(shí)期到下時(shí)期的狀態(tài)

15、按一定概率轉(zhuǎn)移；下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)（無(wú)后效性）；馬氏鏈的兩個(gè)重要類(lèi)型 1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)； 2. 吸收鏈 存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開(kāi)的狀態(tài)）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)第31頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一31如果隨機(jī)變量 與 關(guān)于 條件獨(dú)立，即 稱(chēng) 為馬爾可夫鏈；齊次馬爾可夫鏈: 如果轉(zhuǎn)移概率與所處的狀態(tài) 無(wú)關(guān),即馬爾可夫鏈第32頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一32定理 若 是一個(gè)馬爾可夫鏈，則 若是齊次馬爾可夫鏈，則

16、馬爾可夫鏈第33頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一33 數(shù)據(jù)處理定理 : 當(dāng)消息通過(guò)多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。 （X-Y-Z構(gòu)成馬氏鏈） 第一級(jí)處理器第二級(jí)處理器XYZ輸入圖示 級(jí)聯(lián)處理器平均互信息（應(yīng)用）第34頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一34 數(shù)據(jù)處理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意義 信息不增原理 每經(jīng)一次 處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）第35頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一35 符號(hào)xi與

17、符號(hào)對(duì)yj zk之間的互信息量定義為： I(xi;yjzk)=log 定義 條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為： I（xi;yj|zk）=log （三維）平均互信息量第36頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一36I（xi;yjzk）I（xi; zk）I（xi;yj |zk） 說(shuō)明: 一個(gè)聯(lián)合事件yjzk出現(xiàn)后所提供的有關(guān)xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的有關(guān)xi的信息量I（xi;zk）,加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量 I（xi;yj/zk）（三維）平均互信息量I（xi;yjzk）I（xi; y

18、j）I（xi;zk /yj）第37頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一37I（xi;yjzk）= I（xi;zkyj）證明:因?yàn)?所以 I（xi;yjzk）= I（xi;zkyj）（三維）平均互信息量第38頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一38I（X;YZ）I（X;Y）I（X;Z|Y） I(X;YZ)I(X;Z)I(X;Y/Z) I(YZ;X)I(Y;X)I(Z;X/Y) 三維聯(lián)合集XYZ上的 平均互信息量 第39頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一39 數(shù)據(jù)處理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意義 信息不增原理 每經(jīng)一次 處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）第40頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一40證明: 圖中 X是輸入消息集合 Y是第一級(jí)處理器的輸出消息集合 Z為第二級(jí)處理器的輸出消息集合 假設(shè)：在Y條件下X與Z相互獨(dú)立可得：即得 (1)第41頁(yè)，共46頁(yè)，2022年，5月20日，1點(diǎn)18分，星期一41而且 (2)又由 I(X;YZ)I(X;Y)I(X;Z/Y) 和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z) 得: I(X;Z)= I(X;Y)I(X;Z/Y) -