信息論基礎——熵課件

1、熵、聯(lián)合熵、條件熵目標理解各種熵的概念; 掌握離散信源各種熵的基本性質有兩個含義： 1、當事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當事件發(fā)生后，標是該事件所提供的信息量 自信息量的單位取決于對數(shù)所取的底，若以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特,通常取比特為單位回顧（1）回顧（1）例1：設天氣預報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用 來表示晴天，以 來表示雨天，則我們的信源模型如下： 對一個信源發(fā)出不同的消息所含有的信息量也不同。自信息是一個隨機變量，不能用它來作為整個信源的信息測度信息熵具有以下兩種物理含義：1、表示信源輸出前信源的

2、平均不確定性2、表示信源輸出后，每個符號所攜帶的平均信息量熵的單位取決于對數(shù)所取的底，若以2為底，單位為比特/符號回顧（2）熵是從整個集合的統(tǒng)計特性來考慮的，它從平均意義上來表征信源的總體特征。說明自信息量I(x1 )和I(x2 )只是表征信源中各個符號的不確定度，一個信源總是包含著多個符號消息，各個符號消息又按概率空間的先驗概率分布，因而各個符號的自信息量就不同。所以自信息量不能作為信源總體的信息量。平均不確定度H(X)的定義公式與熱力學中熵的表示形式相同，所以又把H(X)稱為信源X的熵。熵是在平均意義上來表征信源的總體特性的，可以表征信源的平均不確定度。 說明信息量則只有當信源輸出符號而被

3、接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以是隨機量，也可以與接收者的情況有關。某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個確定值，一般寫成H(X) , X是指隨機變量的整體（包括概率分布）。說明作業(yè)相關人口問題：在某個地區(qū)，一對夫妻只允許生一個孩子，可是這里所有的夫妻都希望能生個男孩傳宗接代，因此這里的夫妻都會一直生到生了一個男孩為止，假定生男生女的概率相同問： (1)這個地區(qū)男孩會多于女孩嗎？ (2)一個家庭孩子的個數(shù)用離散隨機變量X表示，計算X的熵 解： 假定一個家庭里有k個女孩，1個男孩，相應

4、的概率是0.5k * 0.5，因此女孩的平均數(shù)是 ，女孩的平均數(shù)與男孩的平均數(shù)相等。 習題相關設離散無記憶信源其發(fā)生的消息為（202120190213001203210110321010021032019223210）(1)此消息的自信息是多少?(2)在此消息中平均每個符號攜帶的信息量是多少? 解： (1)因為離散信源是無記憶的，所以其發(fā)出的消息序列中各符號是統(tǒng)計獨立的。因此，此消息的自信息就等于消息中各個符號的自信息之和!根據題意，可得此消息中共有14個“0”符號，13個“1”符號，12個“2”符號，6個“3”符號，則得到消息的自信息是習題相關(2)此消息中共含45個信源符號，這45個信源符

5、號攜帶著8781比特信息量，則此消息中平均每個符號攜帶的信息量為（202120190213001203210110321010021032019223210） 注意：此值是此消息中平均每個符號攜帶的信息量該離散無記憶信源平均每個符號攜帶的信息量，即信息墑習題相關新授課聯(lián)合熵與條件熵熵、聯(lián)合熵與條件熵信息熵的基本性質新授課聯(lián)合熵與條件熵熵、聯(lián)合熵與條件熵信息熵的基本性質信源發(fā)出序列中只有前后兩個符號間有依賴關系：信源的概率空間:連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為：聯(lián)合熵與條件熵已知符號 出現(xiàn)后，緊跟著 出現(xiàn)的條件概率為： 由二維離散信源的發(fā)出符號序列的特點可以把其分成每兩個符號一組，每組代表新

6、信源 中的一個符號。并假設組與組之間是統(tǒng)計獨立的，互不相關的。 得到一個新的離散無記憶信源 ，其聯(lián)合概率空間為：聯(lián)合熵與條件熵根據（信息）熵的定義，可得：（1）聯(lián)合熵可以表征信源輸出長度為2的平均不確定性，或所含有的信息量。說明: 聯(lián)合熵是隨機序列 聯(lián)合離散符號集上的每個符號對 聯(lián)合自信息量的數(shù)學期望聯(lián)合熵與條件熵(2)條件熵則：聯(lián)合熵與條件熵隨機序列 的聯(lián)合符號集上的條件自信息量的數(shù)學期望例題已知二維隨機變量 的聯(lián)合概率分布 為 求解：由又由所以新授課聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵信息熵的基本性質H（X，Y）H（X）H（YX）H（X，Y）H（Y）H（XY） 證明: 熵、聯(lián)合熵與條件熵 所

7、以熵、聯(lián)合熵與條件熵證明: 由熵、聯(lián)合熵與條件熵H（XY）H（Y）H（XY）所以熵、聯(lián)合熵與條件熵 例 某一二維離散信源其發(fā)出的符號只與前一個符號有關，即可用聯(lián)合概率P(xi ,xj )給出它們的關聯(lián)程度，如下表所示 求信源的熵H(X)、條件熵H(X2|X1 )和聯(lián)合熵H(X1,X2 ) 。P(xi ,xj )xjxi01201/41/18011/181/31/18201/187/36 解：根據概率關系可計算得條件概率P（xj|xi）,計算 結果列表如下：xjxi01209/111/8012/113/42/9201/87/9P(xixj )xjxi01201/41/18011/181/31/1

8、8201/187/36 得：H(X)：表示信源中每個符號的平均信息量（信源熵）。H(Y)：表示信宿中每個符號的平均信息量（信宿熵）。H(X|Y)：表示在輸出端接收到Y的全部符號后，發(fā)送端X尚存的平均不確定性。這個對X尚存的不確定性是由于干擾引起的。信道疑義度(損失熵，含糊度)H(Y|X)：表示在已知X的全部符號后，對于輸出Y尚存的平均不確定性。信道散布度(噪聲熵)H(XY)：表示整個信息傳輸系統(tǒng)的平均不確定性（聯(lián)合熵）。熵的意義（對通信系統(tǒng)） 熵之間的相互關系H(X,Y) = H(X) + H(Y|X)H(X,Y) = H(Y) + H(X|Y)H(X) = H(X|Y)H(Y) = H(Y|

9、X)H(X,Y) 0 ;2）若X與Y獨立，則H(X)=H(X|Y) ;3) 如果H(X|YZ)=0,則要么H(X|Y)=0 , 要么H(X|Z)=0 ;4）H(X|X)=0 ;5）若X與Y獨立，則H(X|Y)= H(Y|X) .x只有個可能的結果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的位置:橫格和縱格共同決定FFFTT該信源的熵H(X) log6不滿足熵的極值性？2.652.58判斷題1）H(X)0 ;2）若X與Y獨立，則H(X)=H(X|Y) ;3) 如果H(X|YZ)=0,則要么H(X|Y)=0 , 要么H(X|Z)=0 ;4）H(X|X)=0 ;5）若X與Y

10、獨立，則H(X|Y)= H(Y|X) .x只有個可能的結果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的位置:橫格和縱格共同決定FFFTT該信源的熵H(X) log6不滿足熵的極值性？2.652.58作業(yè)P22T1 （除I(X;Y)T6 T1 H(X,Y)=1.825 H(X)=0.9183 H(Y)=1T6 H(X,Y|Z)=H(X|Z)+H(Y|X,Z)H(X|Z) 當H(Y|X,Z)=0，即 Y是X、Z的函數(shù)時，原式等號成立。有兩個同時輸出的信源X和Y，其中X的信源符號為A，B，C ，Y的信源符號為D，E，F(xiàn)，G ，已知 P(X )和P（Y|X），求聯(lián)合信源的聯(lián)合

11、熵和條件熵。XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6擴展訓練 1解：信源X的熵為：P(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36擴展訓練 1信源XY輸出每一對消息的聯(lián)合概率為：P(X,Y) = P(Y/X)P(X) ，結果如上表。聯(lián)合熵： 條件熵： 擴展訓練 1從上述結果可得：H(X,Y)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每對符號)當兩個信源統(tǒng)計獨立時，H(X,Y)=H(X)+H(Y)為最大。對第

12、二個信源Y，其熵H(Y)的計算。由全概率公式：擴展訓練 1聯(lián)合熵的最大值為：由于信源相關，使聯(lián)合熵減小，其減小量為：因此：擴展訓練 1電視屏上約有 500 600= 3 105個格點，按每點有 10個不同的灰度等級考慮，則共能組成n=103*10個不同的畫面。按等概率1/103*10計算，平均每個畫面可提供的信息量為 =3 105 3.32 比特/畫面 擴展訓練 2有一篇千字文章，假定每字可從萬字表中任選，則共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000計算，平均每篇千字文可提供的信息量為 H（X）logN4 103332 13 104 比特千字文

13、 比較：“一個電視畫面”平均提供的信息量遠遠超過“一篇千字文”提供的信息量。 擴展訓練 3該信源X輸出符號只有兩個，設為0和1。輸出符號發(fā)生的概率分別為p和q，pq=1。即信源的概率空間為 則二元信源熵為 H(X)= -plogp-qlogq = -plogp-(1-p)log(1-p )=H(p)擴展訓練 40 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)擴展訓練 4信源信息熵H（X）是概率p的函數(shù)，通常用H（p）表示。p取值于0，1區(qū)間。H（p）函數(shù)曲線如圖所示。從圖中看出，如果二元信源的輸出符號是確定的，即p=1或q=1，則該信源不提供任何信息。反之，當二元信源

14、符號0和1以等概率發(fā)生時，信源熵達到極大值，等于1比特信息量。 擴展訓練 4 有一布袋內放l00個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，那么其概率空間為： 擴展訓練 5解：如果被告知摸出的是紅球，那么獲得的信息量是： I (a1) log p(a1) log0.8= 0.32 （比特）如被告知摸出來的是白球，所獲得的信息量應為：I (a2) log p(a2) log0.2 = 2.32 （比特）平均摸取一次所能獲得的信息量為 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符號）擴展訓練 5精彩回顧信息重要性： 食指上網，拇指發(fā)信！信息論重要性： 量化信息！ 消息的信息含量等于該消息的驚奇程度！對數(shù)函數(shù)量化信息原由？ 1位的推廣。 64張紙牌的對分搜索。熵是故事