《信息論基礎(chǔ)熵》ppt課件

1、熵、結(jié)合熵、條件熵目的目的了解各種熵的概念了解各種熵的概念; 掌握離散信源各種熵的根本性掌握離散信源各種熵的根本性質(zhì)質(zhì)1( )log( )iiI aP a( )iI a有兩個(gè)含義： 1、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量 自信息量的單位取決于對(duì)數(shù)所取的底，假設(shè)以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特,通常取比特為單位回想回想1回想回想11a2a1,2( )1/ 4,3/ 4aaXp x1( )log42I a 24()log0.4153I a例1：設(shè)天氣預(yù)告有兩種音訊，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別

2、用 來(lái)表示晴天，以 來(lái)表示雨天，那么我們的信源模型如下： 對(duì)一個(gè)信源發(fā)出不同的音訊所含對(duì)一個(gè)信源發(fā)出不同的音訊所含有的信息量也不同。自信息是一有的信息量也不同。自信息是一個(gè)隨機(jī)變量，不能用它來(lái)作為整個(gè)隨機(jī)變量，不能用它來(lái)作為整個(gè)信源的信息測(cè)度個(gè)信源的信息測(cè)度11()log( )log ( )( )qiiiiH XEP aP ap a 信息熵具有以下兩種物理含義：信息熵具有以下兩種物理含義：1、表示信源輸出前信源的平均不確定性、表示信源輸出前信源的平均不確定性2、表示信源輸出后，每個(gè)符號(hào)所攜帶的平均信息量、表示信源輸出后，每個(gè)符號(hào)所攜帶的平均信息量熵的單位取決于對(duì)數(shù)所取的底，假設(shè)以2為底，單位為

3、比特/符號(hào)回想回想2熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)思索的，它從平均意義上熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)思索的，它從平均意義上來(lái)表征信源的總體特征。來(lái)表征信源的總體特征。闡明 自信息量自信息量I(x1 )和和I(x2 )只是表征信源中只是表征信源中各各 個(gè)符號(hào)的不確定度，一個(gè)信源總是包含個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著著 多個(gè)符號(hào)音訊，各個(gè)符號(hào)音訊又按概率多個(gè)符號(hào)音訊，各個(gè)符號(hào)音訊又按概率空空 間的先驗(yàn)概率分布，因此各個(gè)符號(hào)的自間的先驗(yàn)概率分布，因此各個(gè)符號(hào)的自信信 息量就不同。所以自信息量不能作為信息量就不同。所以自信息量不能作為信源源 總體的信息量?？傮w的信息量。平均不確定度平均不確定度H(X)

4、H(X)的定義公式與熱力學(xué)的定義公式與熱力學(xué)中熵的表示方式一樣，所以又把中熵的表示方式一樣，所以又把H(X)H(X)稱為稱為信源信源X X的熵。熵是在平均意義上來(lái)表征信源的熵。熵是在平均意義上來(lái)表征信源的的總體特性的，可以表征信源的平均不確定總體特性的，可以表征信源的平均不確定度。度。 闡明 信息量那么只需當(dāng)信源輸出符號(hào)而被接納信息量那么只需當(dāng)信源輸出符號(hào)而被接納者收到后，才有意義，這就是給予接納者者收到后，才有意義，這就是給予接納者的信息度量，這值本身也可以是隨機(jī)量，的信息度量，這值本身也可以是隨機(jī)量，也可以與接納者的情況有關(guān)。也可以與接納者的情況有關(guān)。 某一信源，不論它能否輸出符號(hào)，只需這

5、某一信源，不論它能否輸出符號(hào)，只需這些符號(hào)具有某些概率特性，必有信源的熵些符號(hào)具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因值；這熵值是在總體平均上才有意義，因此是一個(gè)確定值，普通寫成此是一個(gè)確定值，普通寫成H(X) , XH(X) , X是指是指隨機(jī)變量的整體包括概率分布。隨機(jī)變量的整體包括概率分布。闡明作業(yè)相關(guān)作業(yè)相關(guān)人口問(wèn)題：在某個(gè)地域，一對(duì)夫妻只允許生一個(gè)孩子，人口問(wèn)題：在某個(gè)地域，一對(duì)夫妻只允許生一個(gè)孩子，可是這里一切的夫妻都希望能生個(gè)男孩傳宗接代，因此可是這里一切的夫妻都希望能生個(gè)男孩傳宗接代，因此這里的夫妻都會(huì)不斷生到生了一個(gè)男孩為止，假定生男這里的夫妻都會(huì)不

6、斷生到生了一個(gè)男孩為止，假定生男生女的概率一樣問(wèn)：生女的概率一樣問(wèn)： (1)這個(gè)地域男孩會(huì)多于女孩嗎？這個(gè)地域男孩會(huì)多于女孩嗎？ (2)一個(gè)家庭孩子的個(gè)數(shù)用離散隨機(jī)變量一個(gè)家庭孩子的個(gè)數(shù)用離散隨機(jī)變量X表示，計(jì)算表示，計(jì)算X的熵的熵 解：解： 假定一個(gè)家庭里有假定一個(gè)家庭里有k個(gè)女孩，個(gè)女孩，1個(gè)男孩，相應(yīng)的概率個(gè)男孩，相應(yīng)的概率是是0.5k * 0.5，因此女孩的平均數(shù)是，因此女孩的平均數(shù)是 ，女孩的平均數(shù)與男孩的平均數(shù)相等。女孩的平均數(shù)與男孩的平均數(shù)相等。 1(0.5 0.5 )1kkk 1()0.5log0.52kkkH X 習(xí)題相關(guān)習(xí)題相關(guān)設(shè)離散無(wú)記憶信源其發(fā)生的音訊為20212021

7、0213001203210110321010021032021223210(1)此音訊的自信息是多少?(2)在此音訊中平均每個(gè)符號(hào)攜帶的信息量是多少? 01230123( )3/81/41/41/8XaaaaP x解： (1)由于離散信源是無(wú)記憶的，所以其發(fā)出的音訊序列中各符號(hào)是統(tǒng)計(jì)獨(dú)立的。因此，此音訊的自信息就等于音訊中各個(gè)符號(hào)的自信息之和!根據(jù)題意，可得 123431(0)log1.415(1)log28411(2)log2(3)log348I aI aI aI a 比特比特比特比特此音訊中共有14個(gè)“0符號(hào)，13個(gè)“1符號(hào)，12個(gè)“2符號(hào)，6個(gè)“3符號(hào)，那么得到音訊的自信息是123414

8、 (0)13 (1)12 (2)6 (3)87.81II aI aI aI a比特 01230123( )3/81/41/41/8XaaaaP x習(xí)題相關(guān)習(xí)題相關(guān)(2)此音訊中共含此音訊中共含45個(gè)信源符號(hào)，這個(gè)信源符號(hào)，這45個(gè)信源符號(hào)攜帶個(gè)信源符號(hào)攜帶著著8781比特信息量，那么此音訊中平均每個(gè)符號(hào)攜比特信息量，那么此音訊中平均每個(gè)符號(hào)攜帶的信息量為帶的信息量為287.81/451.95I 比特/符號(hào)202120210213001203210110321010021032021223210 留意：此值是此音訊中平均每個(gè)符號(hào)攜帶的信息量該離散無(wú)記憶該離散無(wú)記憶信源平均每個(gè)信源平均每個(gè)符號(hào)攜帶

9、的信符號(hào)攜帶的信息量，即信息息量，即信息墑墑41()()log()1.91kkkH XP aP a 比特/符號(hào)習(xí)題相關(guān)習(xí)題相關(guān)新授課新授課結(jié)合熵與條件熵熵、結(jié)合熵與條件熵信息熵的根本性質(zhì)新授課新授課結(jié)合熵與條件熵熵、結(jié)合熵與條件熵信息熵的根本性質(zhì)信源發(fā)出序列中只需前后兩個(gè)符號(hào)間有依賴關(guān)系：信源的概率空間:延續(xù)兩個(gè)信源符號(hào)出現(xiàn)的結(jié)合概率分布為：結(jié)合熵與條件熵結(jié)合熵與條件熵1212,( )1(), (), ()()qiqaaaXp ap ap ap aP Xqi=1且1()()1qqijijjP a aP a ai=1且知符號(hào) 出現(xiàn)后，緊跟著 出現(xiàn)的條件概率為：iaja()(|)()ijjiiPa

10、 aPaaPa 由二維離散信源的發(fā)出符號(hào)序列的特點(diǎn)可以把其分成每?jī)蓚€(gè)符號(hào)一組，每組代表新信源 中的一個(gè)符號(hào)。并假設(shè)組與組之間是統(tǒng)計(jì)獨(dú)立的，互不相關(guān)的。 12XX X得到一個(gè)新的離散無(wú)記憶信源 ，其結(jié)合概率空間為：12X X1212()X XP x x11121,.,()() (|)qqqqijijia a a aaaa aP a aP a P aa結(jié)合熵與條件熵1211(,)()log ()qqijijijH XXP a aP a a 根據(jù)信息熵的定義，可得：1結(jié)合熵可以表征信源輸出長(zhǎng)度為2的平均不確定性，或所含有的信息量。闡明闡明: 結(jié)合熵是隨機(jī)序列結(jié)合熵是隨機(jī)序列 結(jié)合離散符號(hào)集上的每個(gè)結(jié)

11、合離散符號(hào)集上的每個(gè)符號(hào)對(duì)符號(hào)對(duì) 結(jié)合自信息量的數(shù)學(xué)期望結(jié)合自信息量的數(shù)學(xué)期望結(jié)合熵與條件熵 12X Xija a(2)條件熵211(|)(|)log(|)qijijijH XXaP aaP aa 那么：21211(|)()(|)qiiiH XXP a H XXa11() (|)log(|)qqijijiijP a P aaP aa 11()log(|)qqijjiijP a aP aa 結(jié)合熵與條件熵隨機(jī)序列 的結(jié)合符號(hào)集上的條件自信息量的數(shù)學(xué)期望 12X X例題知二維隨機(jī)變量 的結(jié)合概率分布 為 求XY()ijP x y(0,0)(1,1)1/8PP(0,1)(1,0)3/8PP(|)H

12、X Y解：由21()()(0)(1)1/2jijYYiP yP x yPP又由|()13(|)(0|0)(1|1),(1|0)(0|1)()44ijijX YX YX YX YjP x yP xyPPPPP y所以(|)()log (|)0.811ijijH X YP x yP xy 比特/符號(hào)新授課新授課結(jié)合熵與條件熵 熵、結(jié)合熵與條件熵信息熵的根本性質(zhì)(, )H X Y(|)H X Y(|)H Y XHX，YHXHYXHX，YHYHXY 證明證明: )/()()(ijijixypxpyxp)/()(jijyxpypjijiyxp,)()iip xjjyp)(熵、結(jié)合熵與條件熵 所以所以)/

13、()(log)(,ijijijixypxpyxp)/(log)(,ijjijixypyxp)(log)(iiixpxp)(log)(,ijijixpyxp)/(log)(,ijjijixypyxp)/()(XYHXH)(XYHjijijijijijiyxpyxpyxIyxp,)(log)()()(熵、結(jié)合熵與條件熵證明證明: 由由)/()()(ijijixypxpyxp)/()(jijyxpypjijiyxp,)()(iixpjjyp)(熵、結(jié)合熵與條件熵HXYHYHXY所以所以)(XYHjijijijijijiyxpyxpyxIyxp,)(log)()()()/()(log)(,jijjij

14、iyxpypyxp)(log)(jjjypyp)/(log)(,jijijiyxpyxp)/()(YXHYH)/(log)()(log)(,jijijijijjiyxpyxpypyxp熵、結(jié)合熵與條件熵1,41943611210)(31iipxpXxi01201/41/18011/181/31/18201/187/360121141( )3694Xp x()(|)()ijjiiP x xP xxP xxjxi01209/111/8012/113/42/9201/87/9xi0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01

15、/181/187/367/36)/(542. 1)(log)()(31SymbolBitaPaPXHiii)/(87. 0)/(log)()/(313112SymbolBitaaPaaPXXHijijji)/(41. 2)(log)()(313121SymbolsBitaaPaaPXXHjiijjiH(X)：表示信源中每個(gè)符號(hào)的平均信息量：表示信源中每個(gè)符號(hào)的平均信息量信源熵。信源熵。H(Y)：表示信宿中每個(gè)符號(hào)的平均信息量：表示信宿中每個(gè)符號(hào)的平均信息量信宿熵。信宿熵。H(X|Y)：表示在輸出端接納到：表示在輸出端接納到Y(jié)的全部符號(hào)的全部符號(hào)后，發(fā)送端后，發(fā)送端X尚存的平均不確定性。這個(gè)尚存

16、的平均不確定性。這個(gè)對(duì)對(duì)X尚存的不確定性是由于干擾引起的。尚存的不確定性是由于干擾引起的。信道疑義度信道疑義度(損失熵，模糊度損失熵，模糊度)H(Y|X)：表示在知：表示在知X的全部符號(hào)后，對(duì)于輸?shù)娜糠?hào)后，對(duì)于輸出出Y尚存的平均不確定性。信道分布度尚存的平均不確定性。信道分布度(噪噪聲熵聲熵)H(XY)：表示整個(gè)信息傳輸系統(tǒng)的平均不確：表示整個(gè)信息傳輸系統(tǒng)的平均不確定性結(jié)合熵。定性結(jié)合熵。熵的意義對(duì)通訊系統(tǒng)熵的意義對(duì)通訊系統(tǒng) 熵之間的相互關(guān)系H(X,Y) = H(X) + H(Y|X)H(X,Y) = H(Y) + H(X|Y)H(X) = H(X|Y)H(Y) = H(Y|X)H(X,Y

17、) 0 ;2假設(shè)X與Y獨(dú)立，那么H(X)=H(X|Y) ;3) 假設(shè)H(X|YZ)=0,那么要么H(X|Y)=0 , 要么H(X|Z)=0 ;4H(X|X)=0 ;5假設(shè)X與Y獨(dú)立，那么H(X|Y)= H(Y|X) .x只需只需個(gè)個(gè)能夠的結(jié)果，能夠的結(jié)果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的棋子所在的位置位置:橫格和橫格和縱格共同決縱格共同決議議FFFTT 123456( )0.20.190.180.170.160.17XaaaaaaP x該信源的熵H(X) log6不滿足熵的極值性？2.652.58判別題判別題1H(X)0 ;2假設(shè)X與Y獨(dú)立，那么H(X)=H

18、(X|Y) ;3) 假設(shè)H(X|YZ)=0,那么要么H(X|Y)=0 , 要么H(X|Z)=0 ;4H(X|X)=0 ;5假設(shè)X與Y獨(dú)立，那么H(X|Y)= H(Y|X) .x只需只需個(gè)個(gè)能夠的結(jié)果，能夠的結(jié)果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的棋子所在的位置位置:橫格和橫格和縱格共同決縱格共同決議議FFFTT 123456( )0.20.190.180.170.160.17XaaaaaaP x該信源的熵H(X) log6不滿足熵的極值性？2.652.58作業(yè)P22T1 除I(X;Y)T6 T1 H(X,Y)=1.825 H(X)=0.9183 H(Y)=1T

19、6 H(X,Y|Z)=H(X|Z)+H(Y|X,Z)H(X|Z) 當(dāng)H(Y|X,Z)=0，即 Y是X、Z的函數(shù)時(shí)，原式等號(hào)成立。有兩個(gè)同時(shí)輸出的信源有兩個(gè)同時(shí)輸出的信源X和和Y，其中，其中X的信源符號(hào)為的信源符號(hào)為A，B，C ，Y的信源符號(hào)為的信源符號(hào)為D，E，F(xiàn)，G ，知，知 P(X )和和PY|X，求結(jié)合信源的結(jié)合熵和條件熵。，求結(jié)合信源的結(jié)合熵和條件熵。XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 1 1)61log6131log3121log21(解：信源解：信源X的熵為：的熵為：()

20、()log()XH XP XP X )/(461. 1SymbolBitP(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 1 1信源信源XY輸出每一對(duì)音訊的結(jié)合概率為：輸出每一對(duì)音訊的結(jié)合概率為：P(X,Y) = P(Y/X)P(X) ，結(jié)果如上表。結(jié)果如上表。( /)()log( /)1113111111(4*log2*log2*loglog3*log )8410101551223661.956(/)XYH YXP XYP YXBit Symbol ()()log()1111111111(4*log2*lo

21、g2*loglog3*log)8810101515121236363.417(/)XYH XYP XYP XYbit Symbols 條件熵：條件熵： 擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 1 1360916161103314121)/()()/()()/()()/()()(CDPCPBDPBPADPAPxDPxPDPX從上述結(jié)果可得：從上述結(jié)果可得：H(X,Y)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每對(duì)符號(hào)每對(duì)符號(hào))當(dāng)兩個(gè)信源統(tǒng)計(jì)獨(dú)立時(shí)，當(dāng)兩個(gè)信源統(tǒng)計(jì)獨(dú)立時(shí)，H(X,Y)=H(X)+H(Y)為最大。為最大。對(duì)第二個(gè)信源對(duì)第二個(gè)信源Y，其熵，其熵H(Y)的計(jì)算。由全概率公式：的計(jì)

22、算。由全概率公式：1203312115181)(EP3607936115181)(FP3609136110181)(GP擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 1 1max()()( )1.461 1.9973.458(/ ymbols)HXYH XH YBit S結(jié)合熵的最大值為：結(jié)合熵的最大值為：max()()3.4583.4170.041(/ ymbols)HHXYH XYBit S由于信源相關(guān)，使結(jié)合熵減小，其減小量為：由于信源相關(guān)，使結(jié)合熵減小，其減小量為：因此：因此：)36091log3609136079log3607912033log1203336091log36091( )( )log( )YH Y

23、P YP Y )/(997. 1SymbolBit擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 1 1電視屏上約有電視屏上約有 500 500 600= 3 600= 3 105 105個(gè)格點(diǎn)，個(gè)格點(diǎn)，按每點(diǎn)有按每點(diǎn)有 10 10個(gè)不同的灰度等級(jí)思索，那么共能個(gè)不同的灰度等級(jí)思索，那么共能組成組成n=103n=103* *1010個(gè)不同的畫面。按等概率個(gè)不同的畫面。按等概率1/1031/103* *1010計(jì)算，平均每個(gè)畫面可提供的信息量為計(jì)算，平均每個(gè)畫面可提供的信息量為 53 10221( )( )log( )log 10niiiH Xp xp x =3 105 3.32 比特比特/畫面畫面 擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 2 2

24、有一篇千字文章，假定每字可從萬(wàn)字表中任選，有一篇千字文章，假定每字可從萬(wàn)字表中任選，那么共有不同的千字文那么共有不同的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/100001000計(jì)算，平均每篇千字計(jì)算，平均每篇千字文可提供的信息量為文可提供的信息量為 HXlogN4 103332 13 104 比特千字文比特千字文 比較：比較： “一個(gè)電視畫面平均提供的信息量遠(yuǎn)遠(yuǎn)超越一個(gè)電視畫面平均提供的信息量遠(yuǎn)遠(yuǎn)超越“一篇千字文提供的信息量。一篇千字文提供的信息量。 擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 3 3該信源該信源X X輸出符號(hào)只需兩個(gè)，設(shè)為輸出符號(hào)只需兩個(gè)，設(shè)為0 0和和1 1。輸出符號(hào)發(fā)生的概率分別為輸出符號(hào)發(fā)生的概率分別為p p和和q q，p pq=1q=1。即信源的概率空間為。即信源的概率空間為 qpPX10 那么二元信源熵為 H(X)= -plogp-qlogq = -plogp-(1-p)log(1-p )=H(p)擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 4 40 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)擴(kuò)展訓(xùn)練擴(kuò)展訓(xùn)練 4 4信源信息熵信源信息熵H HX X是概率是