第講聯(lián)合熵與條件熵

1、第 6 講 聯(lián)合熵與條件熵信息熵H(X)反映了隨機變量X的取值不確定性。當(dāng)X是常量時，其信息熵最小，等 于0當(dāng)X有n個取值時，當(dāng)且僅當(dāng)這些取值的機會均等時，信息熵H(X)最大，等于log n 比特。我們拓展信息熵H(X)的概念，考慮兩個隨機變量 X和丫的聯(lián)合熵H(XY)和條件熵 H(Y|X)。1. 聯(lián)合熵設(shè)X，丫是兩個隨機變量，則(X,Y)是二維隨機變量，簡寫為XY二維隨機變量XY的聯(lián)合概率分布記為p(xy)，即根據(jù)信息熵的定義可知，XY的信息熵為定義1.1二維隨機變量XY的信息熵H(XY)稱為X與丫的聯(lián)合熵(joint entropy)。它反映了二維隨機變量XY的取值不確定性。我們把它理解為

2、X和丫取值的總的不確定性。練習(xí)：假設(shè)有甲乙兩只箱子，每個箱子里都存放著100個球。甲里面有紅藍(lán)色球各 50個，乙里面紅、藍(lán)色的球分別為 99個和 1 個。試計算 H(XY)我們將聯(lián)合熵概念推廣到任意多離散型隨機變量上。定義 1.2 一組隨機變量 X1,X2,L ,XN 的聯(lián)合熵定義為注：為了簡化記號，我們有時把 X1X2L Xn記為X"，把X1X2L Xn記為xN。物理意義 ：(1) H (X1X2L Xn)是這一組隨機變量平均每一批取值所傳遞的信息量(2) 若N-維隨機變量X1X2L Xn表示某信源產(chǎn)生的任意一條長度為N的消息，則H(XiX2L Xn)是平均每條長度為 N的消息的信

3、息量。因此，若該信源產(chǎn)生一個長度為N的消息，則在不知道其它條件的情況下，對該消息所含信息量的最優(yōu)估計為N-維信息熵H(X1X2L Xn)。聯(lián)合熵的性質(zhì)：聯(lián)合熵熵函數(shù)的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。當(dāng)然，聯(lián)合熵還有自己的特殊性質(zhì)。定理 1.4 (聯(lián)合熵的獨立界) H(XiX2L Xn) H(Xi) H(X2)L H(Xn)其中等號成立的充要條件是所有隨機變量相互獨立。證明：這里僅證明H(XY) H(X) H(Y)，一般情形可類似證明。設(shè)對于XY的聯(lián)合分布為p(xy)，X和丫的概率分布簡記為p(x)，p(y)。由于我們

4、有注意，P(x)p(y)構(gòu)成一個概率分布。應(yīng)用 信息不等式可得其中等號成立的充要條件是P(xy) p(x)p(y)，即X與丫相互獨立。證畢2. 條件熵1條件自信息：l(y|x) log - -P(y|x)對于任何取值x，Y|X x是一個帶條件的隨機變量，其信息熵為再對所有x求熵的平均值可得如下條件熵:定義2.1設(shè)X, Y是兩個離散型隨機變量，聯(lián)合分布為p(xy)。 X相對于丫的條件熵H；X|Y)定義為條件自信息l(X|Y)的期望，即物理意義：H(X|Y)表示在已知丫取值的前提下，X取值的不確定性，亦即X的每個取值平 均所提供的與丫無關(guān)的信息量。定理2.2 (條件熵非負(fù)性)對于任何離散型隨機變量

5、X與丫，都有H(Y|X) >0,其中等號 成立當(dāng)且僅當(dāng)丫是X的函數(shù)，即X的取值可確定丫的取值。證明 根據(jù)定義由于上述加式中各加項都w 0,所以該加式=0的充要條件是各加項=0,即對于任何x和y， p(y| x)=1或者p(y| x)=0，亦即對于任何x，P(Y| x)是退化分布。這表明當(dāng)X的取值確定時， 丫 的取值隨即確定，即 丫是 X 的函數(shù)。證畢 定理2.3 (熵的鏈法則)對于隨機變量序列Xi,X.,和任何N>1簡記為其中 H=HXi)，H2=H X2|Xi)，,HN=H( XN| X1X2 XN-1)證明 ：首先根據(jù)定義直接可得證畢H(XY)= H(X)+H(Y|X)應(yīng)用上述

6、等式，對N用歸納法可證明熵的鏈法則。細(xì)節(jié)略 意義：將多個隨機變量的聯(lián)合熵轉(zhuǎn)化為這些隨機變量的條件熵之和，可簡化計算 注：鏈法則與熵的可加性是等價的。思考：列不等式是否成立，其中各等號成立的充要條件是什么？這個性質(zhì)說明什么？請讀者嘗試命名該性質(zhì)。定理2.4 (條件熵遞減性)對于任何隨機變量X和丫，有F(Y|X) < H(Y)其中等號成立的充要條件是 丫與X相互獨立。證明一：根據(jù)鏈法則，H(XY)=H(X)+H(Y|X)再根據(jù)聯(lián)合熵的獨立界定理，立刻可得H(Y|X) < H(Y)其中等號成立的充要條件是 X與丫統(tǒng)計獨立。證畢在條件熵中，條件越少，熵值越大。相反，條件越多，熵值越小。這可

7、理解為，我們知道 的越多，則事物的不確定性越小。證明二：應(yīng)用 Jessen 不等式證明。證畢3. 計算公式令 X， 丫為離散的隨機變量。公式 1. H (Y | X) H (XY) H(X)公式 2. H (Y | X) P(X)H (P(Y|X)其中P(X)是X的概率分布，為行向量，P(Y|X)是X到丫的條件概率矩陣，H(P(Y|X)是條件概率矩陣中各個行分布P(Y | x)的熵H (Y |x)所組成的列向量。證明:證畢例 3.1 設(shè) P(X) (0.4,0.6)且記號：以后對于任何N,我們將N維隨機向量Xi,X.,人簡記為X"注：上述條件熵概念可以推廣到多個隨機變量熵，例如HYI

8、XX Xn)是在已知隨機向量Xi,X2,Xn取值的前提下，隨機變量丫的不確定性，亦即丫的每個取值 可以提供的與Xi,人,Xn取值無關(guān)的新信息量。練習(xí)3.2設(shè)p(xy)如下表所示X01試計算01/30(1)H(XY)11/31/3H(X), H(Y)H(X|Y), H(Y|X)練習(xí)3.3已知平均100人中有2人患有某種疾病，為了查明病情，必須進(jìn)行某項指標(biāo)的化 驗。這種化驗的結(jié)果對于有病的人總是陽性的，對于健康的人來說有一半可能為陽性、一 半可能為陰性。若X表示一個人是否罹患這種疾病，丫表示其化驗結(jié)果是否為陽性，試計算 H(XY)。作業(yè)51. 范九倫等所著教材第38頁習(xí)題(三)設(shè)X和Y的聯(lián)合分布X

9、0101/21/811/81/4算u(x, y)由下表給出:H(X),H (Y),H (XY),H(Y|X),H(X|Y),I(X;Y)2. 設(shè)一個信源有6種信號，先后輸出的信號是獨立同分布的，其概率分布為(1/2, 1/4, 1/8, 1/16, 1/32, 1/32)(1) 該信源輸出1個符號所提供的平均信息量。(2) 該信源輸出100個符號所提供的平均信息量。3. 在一段時問內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進(jìn)行分類統(tǒng)計如下:(1) 計算交通忙閑狀態(tài)的無條件熵。(2) 計算天氣和氣溫狀態(tài)下的條件熵。(3) 計算從天氣和氣溫狀態(tài)所獲得的關(guān)于交通狀態(tài)的信息4. 世界職業(yè)棒球錦標(biāo)賽為 7 場賽制，只要其中一隊贏得 4場，比賽就結(jié)束。設(shè)