第2章信息論基概念1

1、 第第二二章章 信息論的基本概念信息論的基本概念第一節(jié)第一節(jié) 信源的描述和分類信源的描述和分類第二節(jié)第二節(jié) 離散信源的信息論概念離散信源的信息論概念第三節(jié)第三節(jié) 離散信源的熵離散信源的熵第一節(jié)第一節(jié) 信源的描述和分類信源的描述和分類一、香農(nóng)信息論的基本點(diǎn)一、香農(nóng)信息論的基本點(diǎn) 用隨機(jī)變量或隨機(jī)矢量來表示信源，運(yùn)用概率論和用隨機(jī)變量或隨機(jī)矢量來表示信源，運(yùn)用概率論和隨機(jī)過程的理論來研究信息。隨機(jī)過程的理論來研究信息。 二、信源的分類二、信源的分類 按照信源發(fā)出的消息在時間上和幅度上的分布情況按照信源發(fā)出的消息在時間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類可將信源分成離散信源和連續(xù)

2、信源兩大類 信源信源離散信源離散信源連續(xù)信源連續(xù)信源1.1. 連續(xù)信源連續(xù)信源 連續(xù)信源是連續(xù)信源是指發(fā)出在時間和幅度上都是連續(xù)分布的指發(fā)出在時間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語言、圖像、圖連續(xù)消息（模擬消息）的信源，如語言、圖像、圖形等都是連續(xù)消息。形等都是連續(xù)消息。 2.2. 離散信源離散信源 離散信源是離散信源是指發(fā)出在時間和幅度上都是離散分布的指發(fā)出在時間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息。離散消息。 離散信源離散信源離散無記憶信源離散無記憶信源離散有記憶信源離散有記憶信源發(fā)出單個

3、符號的無記憶信源發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源離散無記憶信源離散無記憶信源 離散無記憶信源離散無記憶信源所發(fā)出的各個符號是相互獨(dú)立的，發(fā)出所發(fā)出的各個符號是相互獨(dú)立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。號的出現(xiàn)概率是它自身的先驗概率。 離散有記憶信源離散有記憶信源 離散有記憶信源離散有記憶信源所發(fā)出的各個符號的概率是有關(guān)聯(lián)的。所發(fā)出的各個符號的概率是有關(guān)聯(lián)的

4、。 發(fā)出單個符號的信源發(fā)出單個符號的信源 發(fā)出單個符號的信源發(fā)出單個符號的信源是指信源每次只發(fā)出一個符號代是指信源每次只發(fā)出一個符號代表一個消息；表一個消息； 發(fā)出符號序列的信源發(fā)出符號序列的信源 發(fā)出符號序列的信源發(fā)出符號序列的信源是指信源每次發(fā)出一組含二個以是指信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。上符號的符號序列代表一個消息。 發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源 發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源是指用信源發(fā)出的一個是指用信源發(fā)出的一個符號序列的整體概率（即聯(lián)合概率）反映有記憶信符號序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征。源的特征。

5、發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源 發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源是指某一個符號出是指某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不依賴更前面的那些符號，這樣的信源可以用信源依賴更前面的那些符號，這樣的信源可以用信源發(fā)出符號序列內(nèi)各個符號之間的條件概率來反映發(fā)出符號序列內(nèi)各個符號之間的條件概率來反映記憶特征。記憶特征。 三、先驗概率及概率空間的形式三、先驗概率及概率空間的形式 一個離散信源發(fā)出的各個符號消息的集合為： ,21nxxxx它們的概率分別為： )(,),(),(21nxpxpxpp)(ixp為符

6、號ix的先驗概率先驗概率。1)(, 0)(1niiixpxpl 先驗概率先驗概率 一般信源可用一個概率空間概率空間來描述，信源的不確不確定程度定程度可用該概率空間的可能狀態(tài)數(shù)目可能狀態(tài)數(shù)目及其概率概率來描述。 狀態(tài)空間狀態(tài)空間 )()()(2121nnxpxpxpxxxpxl 概率空間概率空間 狀態(tài)空間x中各狀態(tài) 相互獨(dú)立。 ixl 舉例（二進(jìn)制信源）：舉例（二進(jìn)制信源）：100.50.5xpl 信息論所關(guān)心的就是這種隨機(jī)變量的不確定性隨機(jī)變量的不確定性，驅(qū)使我們對隨機(jī)變量進(jìn)行觀察和測量，從中獲取信息。問題：問題：u什么叫自信息量？什么叫自信息量？u什么叫不確定度？什么叫不確定度？ u什么叫互

7、信息量？什么叫互信息量？u 什么叫平均自信息量？什么叫平均自信息量？u 什么叫條件熵？什么叫條件熵？u 什么叫聯(lián)合熵？什么叫聯(lián)合熵？u 聯(lián)合熵、條件熵和熵的關(guān)系是什么？聯(lián)合熵、條件熵和熵的關(guān)系是什么？u 熵的性質(zhì)有哪些？熵的性質(zhì)有哪些？u 什么叫平均互信息量？什么叫平均互信息量？u 什么叫信源熵？如何計算離散信源熵？什么叫信源熵？如何計算離散信源熵？第二節(jié)第二節(jié) 離散信源的信息論概念離散信源的信息論概念（一）（一） 自信息量自信息量1. 信息量？信息量？2. 自信息量？自信息量？3. 不確定度？不確定度？4. 聯(lián)合自信息量？聯(lián)合自信息量？5. 條件自信息量？條件自信息量？本節(jié)的重點(diǎn)內(nèi)容：本節(jié)的

8、重點(diǎn)內(nèi)容： i i（信息量）不確定程度的減少量（信息量）不確定程度的減少量（一）（一） 自信息量自信息量1. 信息量信息量 定義：定義：一個隨機(jī)事件的自信息量定義為其出現(xiàn)概率一個隨機(jī)事件的自信息量定義為其出現(xiàn)概率對數(shù)的負(fù)值對數(shù)的負(fù)值: :( )log ( )iii xp x2. 自信息量自信息量 即：即：收信者收到一個消息后，所獲得的信息量等于收收信者收到一個消息后，所獲得的信息量等于收到信息前后到信息前后不確定程度減少的量不確定程度減少的量。（舉例）。（舉例）c c. . 因為概率因為概率 越小，越小， 的出現(xiàn)就越稀罕，一旦出的出現(xiàn)就越稀罕，一旦出現(xiàn)，所獲得的信息量也就較大。由于現(xiàn)，所獲得的

9、信息量也就較大。由于 是隨機(jī)出是隨機(jī)出現(xiàn)的，它是現(xiàn)的，它是x x的一個樣值，所以是一個隨機(jī)量。的一個樣值，所以是一個隨機(jī)量。而而 是是 的函數(shù)，它必須也是一個的函數(shù)，它必須也是一個隨機(jī)量隨機(jī)量。 )(ixpixix)(ixiix說明：說明：( )ii xa.a. 自信息量自信息量 是是非負(fù)非負(fù)的。的。b.b. 對于離散無記憶信源，符號串中各符號統(tǒng)計獨(dú)對于離散無記憶信源，符號串中各符號統(tǒng)計獨(dú) 立，符號串自信息量具有可加性：立，符號串自信息量具有可加性：log ( )iiip xd. 自信息量單位的確定自信息量單位的確定在信息論中常用的對數(shù)底是在信息論中常用的對數(shù)底是2，信息量的單位為，信息量的單

10、位為比特比特（bit），），用用log2或或lb表示；（表示；（ bit /符號符號）若取自然對數(shù)，則信息量的單位為奈特（若取自然對數(shù)，則信息量的單位為奈特（nat），用），用loge或或ln表示；（表示；（nat/符號）符號）若以若以10為對數(shù)底，則信息量的單位為哈脫萊為對數(shù)底，則信息量的單位為哈脫萊(hartley)，用用log10或或lg表示；（表示；（hartley/符號）符號） 若對數(shù)底為若對數(shù)底為r，則信息量的單位為，則信息量的單位為r進(jìn)制用單位進(jìn)制用單位/符號。符號。 這三個信息量單位之間的轉(zhuǎn)換關(guān)系如下：這三個信息量單位之間的轉(zhuǎn)換關(guān)系如下： 1 natlog2e l.433 bi

11、t， l hartley log210 3.322 bit 定義：定義：隨機(jī)事件的隨機(jī)事件的不確定度不確定度在數(shù)量上等于它的在數(shù)量上等于它的自信息量自信息量 說明說明:a.兩者的單位相同，但含義卻不相同。兩者的單位相同，但含義卻不相同。b.具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。信息量是在該事件發(fā)生后給予觀察者的信息量。 3. 不確定度不確定度 c. 一個出現(xiàn)概率接近于一個出現(xiàn)概率接近于1的隨機(jī)事件，發(fā)生的可能的隨機(jī)事

12、件，發(fā)生的可能性很大，所以它包含的不確定度就很小；性很大，所以它包含的不確定度就很??； 反之，一個出現(xiàn)概率很小的隨機(jī)事件，很難猜測反之，一個出現(xiàn)概率很小的隨機(jī)事件，很難猜測在某個時刻它能否發(fā)生，所以它包含的不確定度在某個時刻它能否發(fā)生，所以它包含的不確定度就很大；就很大； 若是確定性事件，出現(xiàn)概率為若是確定性事件，出現(xiàn)概率為1，則它包含的不確，則它包含的不確定度為定度為0。幾個關(guān)于自信息量的例子：幾個關(guān)于自信息量的例子：（1） 一個以等概率出現(xiàn)的二進(jìn)制碼元（一個以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含）所包含的自信息量為：的自信息量為： i（0）= i（1）= - log2 （1/2）=log

13、22=1 bit/符號符號 （2）若是一個若是一個m位的二進(jìn)制數(shù)，因為該數(shù)的每一位可位的二進(jìn)制數(shù)，因為該數(shù)的每一位可從從0, 1兩個數(shù)字中任取一個，因此有兩個數(shù)字中任取一個，因此有2m個等概率的可個等概率的可能組合。所以能組合。所以i= -log2(1/2m)=m bit/符號，就是需要符號，就是需要m比特的信息來指明這樣的二進(jìn)制數(shù)。比特的信息來指明這樣的二進(jìn)制數(shù)。 （3）具有四個取值符號的隨機(jī)變量 各符號概率相等，均為1/4，各符號的自信息量：1234 ,xx x x x12341()()()()2(/)4i xi xi xi xlbbit符號注：注：ubit的含義是二進(jìn)制數(shù)字（0、1），自

14、信息量為2（bit/符號），意味著其不確定性可用2位二進(jìn)制數(shù)字來度量（00、01、10、11）。u若取4為對數(shù)底，自信息量為1（四進(jìn)制單位/符號），意味著其不確定性可用1位四進(jìn)制數(shù)字來度量（0、1、2、3）。（4）英文字母中英文字母中“e” 出現(xiàn)的概率為出現(xiàn)的概率為0.105，“c”出現(xiàn)的概出現(xiàn)的概率為率為0.023，“o”出現(xiàn)的概率為出現(xiàn)的概率為0.001。分別計算它們的。分別計算它們的自信息量。自信息量。解：解：“e”的自信息量的自信息量 i（e）= - lb0.105=3.25 （bit/符號）符號） “c”的自信息量的自信息量 i（c）= -lb0.023=5.44 （bit/符號）符

15、號） “o”的自信息量的自信息量 i（o）= -lb 0.0019.97 （bit/符號）符號）（5）某離散無記憶信源（某離散無記憶信源（dms discrete memoryless source）的概）的概率空間為率空間為 信源發(fā)出消息信源發(fā)出消息202 120 130 213 001 203 210 110 321 010 021 032 011 223 210。 求該消息的自信息量以及消息中平均每符號的自信息量？求該消息的自信息量以及消息中平均每符號的自信息量？12340123p3/81/41/41/8xxxxxx121( )log1.4153/8i x2321()()log21/4i

16、 xi x41()log31/8i x解：解：信源符號的自信息量：信源符號的自信息量：單位都是單位都是 bit/符號符號 信源無記憶，發(fā)出的符號串中各符號信源無記憶，發(fā)出的符號串中各符號統(tǒng)計獨(dú)立統(tǒng)計獨(dú)立，由自信，由自信息量的可加性，符號串自信息量等于息量的可加性，符號串自信息量等于各符號自信息量之和各符號自信息量之和：123414 ()13 ()12 ()6 ()87.81(/)ii xi xi xi xbit符號平均一個符號的自信息量：平均一個符號的自信息量：/ 4587.81 / 451.95(/)ibit符 號（6）同時拋擲一對質(zhì)地均勻的骰子，每個骰子各面朝上的概同時拋擲一對質(zhì)地均勻的骰

17、子，每個骰子各面朝上的概率均為率均為1/6，試求：，試求： (a). 事件事件“3和和5同時發(fā)生同時發(fā)生”的自信息量？的自信息量？ (b). 事件事件“兩個兩個1同時發(fā)生同時發(fā)生”的自信息量？的自信息量？ (c). 事件事件“兩個點(diǎn)數(shù)中至少有一個是兩個點(diǎn)數(shù)中至少有一個是1”的自信息量？的自信息量？ 解解: (a) 存在兩種情況：甲存在兩種情況：甲3乙乙5，甲，甲5乙乙3。 p(a)=1/362=1/18，i(a)=-lbp(a)=4.17（bit）。）。 (b) 存在一種情況：甲存在一種情況：甲1乙乙1。 p(b)=1/36，i(b)=-lbp(b)=5.17（bit）。）。 (c) p(c)

18、=15/65/6=11/36，i(c)=-lbp(c)=1.17（bit）。）。（7）在布袋中放入在布袋中放入81枚硬幣，它們的外形完全相同。已知有一枚硬幣，它們的外形完全相同。已知有一枚硬幣與其它枚硬幣與其它80枚硬幣重量不同，但不知這個硬幣比其它硬枚硬幣重量不同，但不知這個硬幣比其它硬幣的重量是重還是輕。問確定隨意取出的一枚硬幣恰好是重幣的重量是重還是輕。問確定隨意取出的一枚硬幣恰好是重量不同硬幣的所需要的信息量是多少？并進(jìn)一不確定它比其量不同硬幣的所需要的信息量是多少？并進(jìn)一不確定它比其它硬幣是重還是輕所需要的信息量是多少？它硬幣是重還是輕所需要的信息量是多少？ 解解: (a) p(a)

19、=1/81，i(a)=-lbp(a)=6.34（bit）。）。 (b) p(b)=1/2，pp(a)p(b)1/162; i=-lbp=7.34（bit）。）。( ,)lb ( ,)ijiji x yp x y 4. 聯(lián)合自信息量聯(lián)合自信息量bit/二元符號二元符號隨機(jī)變量z是兩個隨機(jī)變量x、y的聯(lián)合，即z=xy，其概率空間：,( ,), ( ,)|1,2,.,;1,2,.,xyijijxy px yp x yin jm11( ,)1,nmijijp x y概率空間完備）二元聯(lián)合符號的自信息量稱為聯(lián)合自信息量：同理，三元聯(lián)合符號的聯(lián)合自信息量：( ,)lb ( ,)ijkijki x yzp

20、x yz bit/三元符號三元符號注意注意:a.當(dāng)當(dāng)(xi，yj)相互獨(dú)立時，有相互獨(dú)立時，有p(xi，yj)=p(xi)p(yj)，那么，那么就有就有 i(xi，yj)=i(xi)+i(yj)。b.(xi，yj) 所包含的不確定度在數(shù)值上也等于它們的所包含的不確定度在數(shù)值上也等于它們的自信息量。自信息量。 定義：定義：注意注意: 在給定在給定yj條件下，隨機(jī)事件條件下，隨機(jī)事件xi所包含的不確定度在數(shù)值上所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。與條件自信息量相同，但兩者含義不同。 5. 條件自信息量條件自信息量(|)lb (|)ijiji xyp xy bit/符號符號(

21、|)ijp xy(|)jip yx聯(lián)合隨機(jī)變量聯(lián)合隨機(jī)變量,.2 , 1;.2 , 1| ),(mjniyxxyji有兩種條件概率有兩種條件概率定義兩種條件自信息量：定義兩種條件自信息量：(|)lb (|)jijii yxp yx bit/符號符號條件自信息量的物理意義，要根據(jù)具體情況來做出相應(yīng)的解釋條件自信息量的物理意義，要根據(jù)具體情況來做出相應(yīng)的解釋 如果如果x是觀察輸入，是觀察輸入，y是觀察輸出：是觀察輸出： 后驗概率后驗概率 在觀察到符號在觀察到符號yj的條件下的條件下xi還剩下的不確定性還剩下的不確定性 轉(zhuǎn)移概率轉(zhuǎn)移概率 代表輸入代表輸入xi且觀察到且觀察到y(tǒng)j時干擾引入的不確定性時

22、干擾引入的不確定性 (|)ijp xy(|)lb (|)ijiji xyp xy bit/符號符號(|)jip yx(|)lb (|)jijii yxp yx bit/符號符號條件自信息量物理意義：條件自信息量物理意義：1. 甲在一個甲在一個88的方格棋盤上隨意放入一個棋子，在乙看來棋子落的方格棋盤上隨意放入一個棋子，在乙看來棋子落入的位置是不確定的。試問：入的位置是不確定的。試問：（1）在乙看來，棋子落入某方格的不確定性為多少？）在乙看來，棋子落入某方格的不確定性為多少？（2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋）若甲告知乙棋子落入方格的行號，這時，在乙看來棋子落入某方格的不確定性

23、為多少？子落入某方格的不確定性為多少？|1,2,64lzl 解：解：將棋子方格從第一行開始按順序編號，得到一個序號集合將棋子方格從第一行開始按順序編號，得到一個序號集合|1,2,64lzzl棋子落入的方格位置可以用取值于序號集合的隨機(jī)變量棋子落入的方格位置可以用取值于序號集合的隨機(jī)變量z來描述來描述幾個關(guān)于條件自信息量的例子：幾個關(guān)于條件自信息量的例子：1p( )1,2,6464lzl（1）由于棋子落入任一方格都是等可能的，則）由于棋子落入任一方格都是等可能的，則棋子落入某方格的不確定性就是自信息量棋子落入某方格的不確定性就是自信息量1( )lbp( )lb664lli zz bit/符號符號

24、1p(|)1,2,64;1,2,88lizxli(1,2,8)ix i (|)lii zxp(|)lizx（2）棋盤方格可分為）棋盤方格可分為8行行8列，已知行號列，已知行號后，棋子落入某方格的不確定性就是條件自信息量后，棋子落入某方格的不確定性就是條件自信息量 它與條件概率它與條件概率有關(guān)，由于有關(guān)，由于1(|)lbp(|)lb38lilii zxzx 故故 bit/符號符號解：解：設(shè)設(shè)a表示表示“大學(xué)生大學(xué)生”這一事件，這一事件，b表示表示“身高身高1.6m以上以上”這一事件，則：這一事件，則： p(a)0.25； p(b)0.5； p(b|a)=0.75;因此：因此： p(a|b)p(a

25、b)/p(b)=p(a)p(b|a)/p(b)=0.750.25/0.5=0.375; i(a|b)-lbp(a|b)=1.42(bit)。2. 居住在某地區(qū)的女孩中有居住在某地區(qū)的女孩中有25是大學(xué)生，在女大學(xué)生是大學(xué)生，在女大學(xué)生中有中有75是身高是身高1.6m以上的，而女孩中身高以上的，而女孩中身高1.6m以上的占以上的占總數(shù)一半。假如我們得知總數(shù)一半。假如我們得知“身高身高1.6m以上的某女孩是大學(xué)以上的某女孩是大學(xué)生生”的消息，問獲得多少信息量？的消息，問獲得多少信息量？（二）（二） 互信息量互信息量1212,( )1(), (), ( ), ()()iniiinxxxxp xp x

26、p xp xp xpxx設(shè)信源1212,()1(), (), (), ()( )jmjjjmyyyyp yp yp yp yp ypyy信宿信道信源x信宿y1. 互信息量互信息量設(shè)觀察輸入為設(shè)觀察輸入為:ix （ i=1,2,.,n）設(shè)觀察結(jié)果為設(shè)觀察結(jié)果為:jy（ j=1,2,.,m） 從從yj中得到有關(guān)輸入符號中得到有關(guān)輸入符號xi的信息的信息稱為稱為xi與與yj之間的之間的互信息量互信息量（事件信息）（事件信息） （注意與聯(lián)合自信息量符號（注意與聯(lián)合自信息量符號標(biāo)志不同標(biāo)志不同 ）。）。( ;)iji x y( ,)iji x y信息先驗不確定性后驗不確定性信息先驗不確定性后驗不確定性x

27、i在觀察到在觀察到y(tǒng)j前不確定性前不確定性 xi在觀察到在觀察到y(tǒng)j后不確定性后不確定性( ;)iji x y(|)( ,)( ;)( )(|)( ) (|)( )( ) ()ijijijiijiijiijp xyp x yi x yi xi xylbp xlbp xylblbp xp x p y (1) yj對對xi的互信息的互信息 i(xi;yj) i(xi;yj)= i(xi)- i(xi/yj) 含義含義 互信息互信息i(xi;yj) =自信息自信息i(xi) - 條件自信息條件自信息i(xi/yj) i(xi) -信宿信宿收到收到y(tǒng)j之前之前，對信源發(fā)，對信源發(fā)xi的不確定度的不確定

28、度 i(xi/yj) -信宿信宿收到收到y(tǒng)j之后之后，對信源發(fā)，對信源發(fā)xi的不確定度的不確定度 i(xi;yj) -收到收到y(tǒng)j而得到而得到(關(guān)于關(guān)于xi )的的互信息互信息 =不確定度的減少量不確定度的減少量 p(xi) 先驗概率：信源發(fā)先驗概率：信源發(fā)xi的概率的概率 p(xi/yj)后驗概率：信宿收到后驗概率：信宿收到y(tǒng)j后，推測信源發(fā)后，推測信源發(fā)xi的概率的概率(/)(;)()ijijip xyi xylbp x即互信息量為后驗概率與先驗概率比值的對數(shù)即互信息量為后驗概率與先驗概率比值的對數(shù) :(2) xi對對yj的互信息的互信息 i(yj;xi)含義含義 信源發(fā)信源發(fā)xi前、后，

29、信宿收到前、后，信宿收到y(tǒng)j的不確定度的減少的不確定度的減少(3) i(xi;yj) =i(xi) +i(yj) -i(xi，yj) 注意注意 i(xi;yj) 與與i(xi，yj) 不同！不同！2(/)(;)log()(/)()jijijjijp yxi yxi yi yxp y( ,)( ;)( ) ()( ) () ( ,)( )()( ,)ijijijijijijijp x yi x ylbp x p ylbp xlbp ylbp x yi xi yi x y (4) 實(shí)在信息：實(shí)在信息： 后驗概率后驗概率p(xi|yj)1，即收到，即收到y(tǒng)j時就能完全肯定此時的輸時就能完全肯定此時的

30、輸入一定是入一定是xi ， xi的后驗不確定性完全消除：的后驗不確定性完全消除：(|)(|)0 (/)ijiji xylbp xybit 符號即從輸出結(jié)果中得到了輸入實(shí)有的全部信息即從輸出結(jié)果中得到了輸入實(shí)有的全部信息實(shí)在信息實(shí)在信息： ( ;)( )0( )ijiii x yi xi x注意注意 a. 輸入的先驗不確定性輸入的先驗不確定性 在數(shù)值上等于自身含有的實(shí)在數(shù)值上等于自身含有的實(shí) 在信息。在信息。 b. 信息與不確定性是兩個不同的物理概念，信息與不確定性是兩個不同的物理概念， 不是信息，不是信息， 只是只是不確定性，互信息量不確定性，互信息量 才是信息，把才是信息，把 當(dāng)作信息只是說

31、明一種當(dāng)作信息只是說明一種數(shù)量上的相等關(guān)系。數(shù)量上的相等關(guān)系。( )ii x( )ii x( ;)iji x y( )ii x (4) 互信息量定義擴(kuò)展：互信息量定義擴(kuò)展： 符號符號xi與符號對與符號對yj zk之間的互信息量定義為：之間的互信息量定義為：(|)( ;)( )ijkijkip xy zi x y zlbp x2. 互信息的性質(zhì)（具體推導(dǎo)可見課本互信息的性質(zhì)（具體推導(dǎo)可見課本p24） (1) 對稱性對稱性i(xi ;yj) = i(yj ;xi) (2) x與與y獨(dú)立時獨(dú)立時i(xi ;yj) = 0 (3) i(xi;yj) 可為正、可為正、負(fù)負(fù)、0 當(dāng)事件當(dāng)事件xi 和和yj

32、 統(tǒng)計獨(dú)立時，互信息量為零統(tǒng)計獨(dú)立時，互信息量為零;互信息量為正，互信息量為正，說明說明yj 的出現(xiàn)有助于減小的出現(xiàn)有助于減小xi 的不確定性；反之，互信息量為的不確定性；反之，互信息量為負(fù)說明負(fù)說明yj 的出現(xiàn)增大了的出現(xiàn)增大了xi 的不確定性（比如信道存在干擾）。的不確定性（比如信道存在干擾）。 (4)任何兩個事件之間的互信息量不可能大于其中任意事件的任何兩個事件之間的互信息量不可能大于其中任意事件的自信息量自信息量i(xi; yj) = i(yj; xi) i(xi) i(yj)i(xi;yj) 可為正、負(fù)、可為正、負(fù)、0的舉例的舉例設(shè)設(shè)yj代表代表“閃電閃電”，則，則當(dāng)當(dāng)xi代表代表“

33、打雷打雷”時，時，i(xi/yj) = 0，i(xi;yj) = i(xi) 0 當(dāng)當(dāng)xi代表代表“下雨下雨”時，時，i(xi/yj) i(xi)，i(xi;yj) 0當(dāng)當(dāng)xi代表代表“霧天霧天”時，時，i(xi/yj) = i(xi)，i(xi;yj) = 0當(dāng)當(dāng)xi代表代表“飛機(jī)正點(diǎn)起飛飛機(jī)正點(diǎn)起飛”時，時，i(xi/yj)i(xi)，i(xi;yj) 0 ( ;)( )(/)ijiiji x yi xi xy3. 條件互信息量條件互信息量給定給定zk條件下，條件下，xi 與與yj間的互信息量間的互信息量2(/)( ;/)log(/)ijkijkikp xy zi x yzp xz另外，還

34、存在另外，還存在xi 與與yjzk 之間的互信息量：之間的互信息量：2(/)( ;)log( )ijkijkip xy zi x y zp x( ;)( ;)( ;|)( ;)( ;|) ()ijkikijkijikjjki x y zi x zi x y zi x yi x z yyz式中 和 的位置可以互換?。ㄔ撌酵茖?dǎo)見（該式推導(dǎo)見p25-26）由上述兩式得：由上述兩式得：說明：說明：一個聯(lián)合事件一個聯(lián)合事件yjzk 出現(xiàn)后提供的有關(guān)出現(xiàn)后提供的有關(guān)xi的信息的信息量量=zk事件出現(xiàn)后提供的有關(guān)事件出現(xiàn)后提供的有關(guān)xi的信息量的信息量在給定在給定zk條件下再出現(xiàn)條件下再出現(xiàn)yj事件后所提供

35、的有關(guān)事件后所提供的有關(guān)xi的信息量的信息量4. 關(guān)于互信息的例子關(guān)于互信息的例子 已知信源發(fā)出已知信源發(fā)出 兩種消息，且兩種消息，且 此消息在二進(jìn)制對稱信道上傳輸，信道傳輸特性為此消息在二進(jìn)制對稱信道上傳輸，信道傳輸特性為： 求互信息量求互信息量12,a a12()()0.5,p ap a11222112(|)(|)1,(|)(|)p bap bap bap ba1112( ;), ( ;)?i a bi a b解：解：根據(jù)根據(jù) 得到：得到：( )() (|)ijijjp bp a p b a12( )()0.5p bp b11111112112212(|)( ;)( ;)2(1)( )(|

36、)( ;)(;)(2 )()p b ai a bi b alblbp bp bai a bi b alblbp b一個布袋內(nèi)放一個布袋內(nèi)放100個球，其中個球，其中80個球是紅色的，個球是紅色的，20個球是個球是白色的，若隨機(jī)摸取一個球，猜測其顏色，求平均摸白色的，若隨機(jī)摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。取一次所能獲得的自信息量。 解解: 依據(jù)題意依據(jù)題意 這一隨機(jī)事件的概率空間為這一隨機(jī)事件的概率空間為 2 . 08 . 021xxpx（三（三) ) 平均自信息量平均自信息量-熵熵其中：其中：x1表示摸出的球為紅球事件，表示摸出的球為紅球事件，x2表示摸出的表示摸出的

37、 球是白球事件球是白球事件 .1)如果摸出的是紅球，則獲得的信息量是如果摸出的是紅球，則獲得的信息量是 i（x1）= -log2p（x1）= - lb0.8 =3bit 2)如果摸出的是白球，則獲得的信息量是如果摸出的是白球，則獲得的信息量是 i（x2）= -log2p（x2）= -lb0.2 =1bit3) 如果每次摸出一個球后又放回袋中，再進(jìn)行下一次摸取。如果每次摸出一個球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取則如此摸取n次，紅球出現(xiàn)的次數(shù)為次，紅球出現(xiàn)的次數(shù)為np（x1）次，白球出現(xiàn)）次，白球出現(xiàn)的次數(shù)為的次數(shù)為np（x2）次。隨機(jī)摸?。┐?。隨機(jī)摸取n次后總共所獲得的信息量次后總共所

38、獲得的信息量為為 np（x1）i（x1）+np（x2）i（x2）則平均隨機(jī)摸取一次所獲得的信息量為則平均隨機(jī)摸取一次所獲得的信息量為 h（x）= 1/nnp（x1）i（x1）+np（x2）i（x2） = -p（x1）log2p（x1）+p（x2）log2p（x2）212)(log)(iiixpxp= 0.72比特比特/次次說明：說明：1)1) 自信息量自信息量i（x1）和）和i（x2）只是表征信源中各個符號的不確）只是表征信源中各個符號的不確定度，一個信源總是包含著多個符號消息，各個符號消息定度，一個信源總是包含著多個符號消息，各個符號消息又按概率空間的先驗概率分布，因而各個符號的自信息量又按

39、概率空間的先驗概率分布，因而各個符號的自信息量是一個隨機(jī)變量，所以自信息量不能作為整個信源的信息是一個隨機(jī)變量，所以自信息量不能作為整個信源的信息測度測度。2)2)因為因為x中各符號中各符號xi的自信息量的自信息量i（xi）為非負(fù)值，）為非負(fù)值，p（xi）也）也是非負(fù)值，且是非負(fù)值，且0 0 p(xi) 1，故信源的平均自信息量，故信源的平均自信息量h（x）也是非負(fù)量。也是非負(fù)量。定義定義：離散信源熵離散信源熵h(x)(平均不確定度平均不確定度/平均信息量平均信息量/平均自信平均自信息量息量/信息熵信息熵/熵熵)定義信源的平均不確定度定義信源的平均不確定度h(x)為信源中各個符號不確定度的為信

40、源中各個符號不確定度的數(shù)學(xué)期望，即：數(shù)學(xué)期望，即：( ) ( )( ) ( )( )lb ( )iiiiiiih xe i xp x i xp xp x 單位為比特單位為比特/符號或比特符號或比特/符號序列符號序列 3) 平均自信息量平均自信息量h（x）的定義公式與熱力學(xué)中熵的表示形）的定義公式與熱力學(xué)中熵的表示形 式相同，所以又把式相同，所以又把h（x）稱為信源）稱為信源x的熵。熵是在平均意義的熵。熵是在平均意義 上來表征信源的總體特性的，可以表征信源的平均不確定度。上來表征信源的總體特性的，可以表征信源的平均不確定度。 4)4)某一信源，不管它是否輸出符號，只要這些符號具有某某一信源，不管

41、它是否輸出符號，只要這些符號具有某些概率特性，必有信源的熵值；這熵值是在總體平均上些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個確定值，一般寫成才有意義，因而是一個確定值，一般寫成h（x），），x是指隨機(jī)變量的整體（包括概率分布）。是指隨機(jī)變量的整體（包括概率分布）。5)5)信息量則只有當(dāng)信源輸出符號而被接收者收到后，才有信息量則只有當(dāng)信源輸出符號而被接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以意義，這就是給予接收者的信息度量，這值本身也可以是隨機(jī)量，也可以與接收者的情況有關(guān)。是隨機(jī)量，也可以與接收者的情況有關(guān)。ixipiipp logiipp lo

42、gx1)(xp6）當(dāng)某一符號當(dāng)某一符號 的概率的概率 為零時，為零時， 在熵公式中無意義，在熵公式中無意義，為此規(guī)定這時的為此規(guī)定這時的 也為零。當(dāng)信源也為零。當(dāng)信源x中只含一個符號中只含一個符號 時，時，必定有必定有 ，此時信源熵，此時信源熵h（x）為零。）為零。7）平均自信息量平均自信息量h（x）表示集）表示集x中事件出現(xiàn)的平均不確定性，中事件出現(xiàn)的平均不確定性，即為了在觀測之前，確定集即為了在觀測之前，確定集x中出現(xiàn)一個事件平均所需的信中出現(xiàn)一個事件平均所需的信息量；或者說在觀測之后，集息量；或者說在觀測之后，集x 中出現(xiàn)一個事件平均給出的中出現(xiàn)一個事件平均給出的信息量。信息量。 例：例

43、：電視屏上約有電視屏上約有 500 600= 3 105個格點(diǎn)，按每點(diǎn)有個格點(diǎn)，按每點(diǎn)有 10個不同的灰度等級考慮，則共能組成個不同的灰度等級考慮，則共能組成 個不同個不同的畫面。按等概率的畫面。按等概率 計算，平均每個畫面可提供計算，平均每個畫面可提供的信息量為的信息量為 510321210log)(log)()(niiixpxpxh =3 105 3.32 比特比特/畫面畫面 53 1010n53 101/10例：例：有一篇千字文章，假定每字可從萬字表中任選，則有一篇千字文章，假定每字可從萬字表中任選，則共有不同的千字文共有不同的千字文 n=100001000=104000 篇篇 仍按等概

44、率仍按等概率1/1/100001000計算，平均每篇千字文可提供的計算，平均每篇千字文可提供的信息量為信息量為 h h（x x）loglog2 2n n 4 4 10 103 3 3 332 32 1 13 3 10 104 4 比特千字文比特千字文 比較：比較： “一個電視畫面一個電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過平均提供的信息量遠(yuǎn)遠(yuǎn)超過“一篇千字文一篇千字文”提供的信息量。提供的信息量。 例：例：設(shè)信源符號集設(shè)信源符號集x=x1,x2,x3，每個符號發(fā)生的概，每個符號發(fā)生的概率分別為率分別為p（x1）=1/2，p（x2）l4，p（x3）14。 則信源熵為則信源熵為 h（x）=1/2log2

45、2+1/4log24+1/4log24 =1.5 比特比特/符號符號 例：例：該信源該信源x輸出符號只有兩個，設(shè)為輸出符號只有兩個，設(shè)為0和和1。輸出符號發(fā)生的概率分別為輸出符號發(fā)生的概率分別為p和和q，pq=l。即信源的概率空間為即信源的概率空間為 qppx10 則二元信源熵為則二元信源熵為 h（x）= -plbp-qlbq = -plbp-(1-p)lb(1-p) =h(p) 0 0.2 0.4 0.6 0.8 110.80.60.40.2ph(p)說明：說明： 信源信息熵信源信息熵h（x）是概率）是概率p的函數(shù)，通常用的函數(shù)，通常用h（p）表示。）表示。p p取值于取值于0，1區(qū)間。區(qū)間

46、。h（p）函數(shù)曲線）函數(shù)曲線如圖所示。從圖中看出，如果二元信源的輸出符號如圖所示。從圖中看出，如果二元信源的輸出符號是確定的，即是確定的，即p=1或或q=1，則該信源不提供任何信息。，則該信源不提供任何信息。反之，當(dāng)二元信源符號反之，當(dāng)二元信源符號0和和1 1以等概率發(fā)生時，信源以等概率發(fā)生時，信源熵達(dá)到極大值，等于熵達(dá)到極大值，等于1比特信息量。比特信息量。 幾個概念幾個概念定義：定義： 在給定在給定yj條件下，條件下，xi的條件自信息量為的條件自信息量為i(xi/yj)，x 集合的條件熵集合的條件熵h（x/yj）為）為 h（x/yj）= 在給定在給定y（即各個（即各個yj）條件下，）條件下

47、，x集合的條件熵集合的條件熵 h(x/y)定義為定義為 h（x/y）= =)/()/(jiijiyxiyxpjijijijjjjyxiyxpypyxhyp,)/()/()()/()(,(,) (/)ijijijp xyixy1.1. 條件條件熵熵相應(yīng)地，在給定相應(yīng)地，在給定x（即各個（即各個xi）的條件下，）的條件下，y集合的條件集合的條件熵熵h(y/x)定義為定義為 h(y/x)= ,() (/ )( ,)log (/ )ijjiijjii ji jp xy i yxp x yp yx【注意】：【注意】： 條件熵是在聯(lián)合符號集合條件熵是在聯(lián)合符號集合xy上的上的條件自信息條件自信息量量的的聯(lián)

48、合概率加權(quán)聯(lián)合概率加權(quán)統(tǒng)計平均值。統(tǒng)計平均值。 2. 聯(lián)合熵（共熵）聯(lián)合熵（共熵）定義：定義：聯(lián)合熵是聯(lián)合符號集合聯(lián)合熵是聯(lián)合符號集合 xy上的每個元素對上的每個元素對xiyj的的聯(lián)合聯(lián)合自信息量自信息量的的聯(lián)合概率聯(lián)合概率加權(quán)統(tǒng)計平均值。定義為：加權(quán)統(tǒng)計平均值。定義為： h（xy）= 【說明】【說明】表示表示x和和y同時發(fā)生的平均不確定度。同時發(fā)生的平均不確定度。 ,( ,) ( ,)( ,)log ( ,)ijijijiji ji jp x y i x yp x yp x y 聯(lián)合熵聯(lián)合熵h（xy）與熵）與熵h（x）及條件熵）及條件熵h（x/y）之間存在下列關(guān)系）之間存在下列關(guān)系 ： 1）

49、 h（xy）h（x）h（yx） h（xy）h（y）h（xy） 2） h（xy） h（x） h（yx） h（y） 即：即： h（xy） h（x） h（y）（當(dāng)當(dāng)x與與y相互相互獨(dú)立時，等號成立！共熵得到最大值?。┆?dú)立時，等號成立！共熵得到最大值?。咀ⅰ俊咀ⅰ可鲜奖砻?，從平均意義上講，條件熵在一般情形下上式表明，從平均意義上講，條件熵在一般情形下 總是小于無條件熵。從直觀上說，由于事物總是聯(lián)總是小于無條件熵。從直觀上說，由于事物總是聯(lián) 系的，因此對隨機(jī)變量系的，因此對隨機(jī)變量x的了解平均講總能使的了解平均講總能使y的不的不 確定性減少。同樣，對確定性減少。同樣，對y的了解也會減少的了解也會減少x

50、的不確的不確 定性。定性。 1) 證明證明: ( ,)( ) (/)() (/)ijijijijp x yp x p yxp yp xy,(,) () (/) ()(/)()ijijii ji jijiijiip x yp xp yxp xp yxp x,( ,)()ijji jjp x yp y同理同理: 所以所以,( ,)log() (/)ijijii jp x yp x p yx ,(,)log(/)ijjii jp xyp yx)(log)(iiixpxp,( ,)log ( )ijii jp x yp x ,( ,)log (/)ijjii jp x yp yx)/()(xyhxh,

51、()( ,) ( ,)( ,)log ( ,)ijijijiji ji jh xyp x y i x yp x yp x y 同理：同理：,()( ,) ( ,)( ,)log ( ,)ijijijiji ji jh xyp x y i x yp x yp x y,( ,)log () ( /)ijjiji jp x yp y p xy)(log)(jjjypyp,(,)log(/)ijiji jp xyp xy)/()(yxhyh,( ,)log ()( ,)log (/)ijjijiji ji jp x yp yp x yp xy2）的證明見課本）的證明見課本p29（略）（略）三維聯(lián)合符號

52、集合三維聯(lián)合符號集合xyz上的共熵上的共熵h(xyz):, , ,()( ,) ( ,)( ,)log( ,)ijkijki j kijkijki j kh xyzp x yzi x yzp x yzp x yz 存在下列關(guān)系存在下列關(guān)系 ： 1） h（xyz）h（xy）h（zxy） h（x）h（y x ）h（zxy） 2） h（xyz） h（x） h（y） h（z） （當(dāng)（當(dāng)x、y、z相互獨(dú)立時，等號成立！）相互獨(dú)立時，等號成立?。?3） h（zxy） h（zy） h（z） （條件熵的條件（條件熵的條件越多，其條件熵就越?。。┰蕉?，其條件熵就越?。。╆P(guān)于熵的幾個例題關(guān)于熵的幾個例題1. 如有

53、6行8列的棋型方格，若有2個質(zhì)點(diǎn)a和b，分別以等概率落入任一方格內(nèi)，但a、b不能落入同一方格內(nèi)，試求： （1）若僅有質(zhì)點(diǎn)a，求a落入任一個方格的平均自信息量是多少？ （2）若已知a已入，求b落入的平均自信息量？ （3）若a、b是可分辨的，求a、b同時落入的平均自信息量？解：（1） （2） （3）4821( )1/ 48,( )( )( )log 485.58()iiiip ah ap a lbp abit 4721()1/ 47,( )()()log 475.55()jjjjp bh bp b lbp bbit 4821( ,) 1/(47 48),()( ,)( ,)log 47 48 11

54、.14()ijijijip a bh abp a b lbp a bbit關(guān)于熵的幾個例題關(guān)于熵的幾個例題解解：男性、女性紅綠色盲、不是紅綠色盲的概率記作：男性、女性紅綠色盲、不是紅綠色盲的概率記作： 21793( )( )( )3.830.1050.336()100100iiih ap a lbp abit 210.510099.5100( )( )( )0.045()1000.510099.5iiih bp b lbp blblbbit 1212( )7%,()93%,( )0.5%,( )99.5%p ap ap bp b112222100100()()log3.83(),()()log

55、0.105()793i albp abiti albp abit 2. 從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7，女性發(fā)病率為女性發(fā)病率為0.5，如果你問一個男同志：，如果你問一個男同志：“你是否是紅綠你是否是紅綠色盲？色盲？”他的回答可能是他的回答可能是“是是”，可能是，可能是“否否”，問這兩個，問這兩個回答中各含有多少信息量？平均每個回答中含有多少信息量？回答中各含有多少信息量？平均每個回答中含有多少信息量？如果你問一位女同志，則回答中含有的平均信息量是多少？如果你問一位女同志，則回答中含有的平均信息量是多少？信源熵基本性質(zhì)信源熵基本性質(zhì)

56、1. 非負(fù)性（由定義）：非負(fù)性（由定義）： 2. 對稱性對稱性：當(dāng)概率矢量：當(dāng)概率矢量 中的各分量的次序中的各分量的次序 任意變更時，熵值不變。任意變更時，熵值不變。 【注】熵僅與信源的總體統(tǒng)計特性有關(guān)，不關(guān)其內(nèi)部結(jié)構(gòu)【注】熵僅與信源的總體統(tǒng)計特性有關(guān)，不關(guān)其內(nèi)部結(jié)構(gòu)如何。如何。 ()( ) ( )( )lb ( )iiiiiih xp x i xp xp x 12(,.,)npp pp3. 最大熵最大熵 ：等概時：等概時 h(x)max=log2m附附 若若m=2, 則則 h(x)= -plog2p (1-p)log2(1-p)=h(p)，當(dāng)，當(dāng)p=0.5時最大。時最大。重要公式重要公式22ln10loglogln1.433lnxxxxexx證明：證明： h(x)h(x)l