聯(lián)合熵與條件熵

第6講結合熵與條件熵信息熵H(X)反應了隨機變量X的取值不確立性。當X是常量時，其信息熵最小，等于0；當X有n個取值時，當且僅當這些取值的時機均等時，信息熵H(X)最大，等于logn比特。我們拓展信息熵H(X)的觀點，考慮兩個隨機變量X和Y的結合熵H(XY)和條件熵H(Y|X)。結合熵設X，Y是兩個隨機變量，則(X,Y)是二維隨機變量，簡寫為XY。二維隨機變量XY的結合概率散布記為p(xy)，即依據信息熵的定義可知，XY的信息熵為定義

1.1二維隨機變量

XY

的信息熵

H(XY)

稱為

X與

Y

的結合熵（jointentropy）。它反應了二維隨機變量

XY

的取值不確立性。我們把它理解為

X和

Y

取值的總的不確立性。練習：假定有甲乙兩只箱子，每個箱子里都寄存著各50個，乙里面紅、藍色的球分別為99個和

100個球。甲里面有紅藍色球1個。試計算H(XY)我們將結合熵觀點推行到隨意多失散型隨機變量上。定義1.2一組隨機變量X1,X2,L,XN的結合熵定義為注：為了簡化記號，我們有時把X1X2LXN記為XN，把x1x2LxN記為xN。物理意義：（1）H(X1X2LXN)是這一組隨機變量均勻每一批取值所傳達的信息量。（2）若N-維隨機變量X1X2LXN表示某信源產生的隨意一條長度為N的信息，則H(X1X2LXN)是均勻每條長度為N的信息的信息量。所以，若該信源產生一個長度為N的信息，則在不知道其余條件的狀況下，對該信息所含信息量的最優(yōu)預計為N-維信息熵H(X1X2LXN)。結合熵的性質：結合熵熵函數(shù)的一種特別形式，所以熵函數(shù)的任何數(shù)學性質都合用于結合熵，包含：非負性、可加性、嚴格上凸性和最大失散熵原理，等等。自然，結合熵還有自己的特別性質。定理1.4（結合熵的獨立界）H(X1X2LXN)H(X1)H(X2)LH(XN)此中等號建立的充要條件是全部隨機變量互相獨立。證明：這里僅證明H(XY)H(X)H(Y)，一般情況可近似證明。設對于XY的結合散布為p(xy)，X和Y的概率散布簡記為p(x)，p(y)。因為我們有注意，p(x)p(y)構成一個概率散布。應用信息不等式可得此中等號建立的充要條件是p(xy)p(x)p(y)，即X與Y互相獨立。證畢2.條件熵條件自信息：I(y|x)log1p(y|x)對于任何取值x，Y|Xx是一個帶條件的隨機變量，其信息熵為再對全部x求熵的均勻值可得以下條件熵：定義2.1設X,Y是兩個失散型隨機變量，結合散布為p(xy)。X相對于Y的條件熵H(X|Y)定義為條件自信息

I(X|Y)的希望，即物理意義：H(X|Y)表示在已知Y取值的前提下，

X取值的不確立性，亦即

X的每個取值均勻所供給的與Y沒關的信息量。定理2.2（條件熵非負性）此中等號建立當且僅當Y

對于任何失散型隨機變量X與Y，都有H(Y|X)是X的函數(shù)，即X的取值可確立Y的取值。

≥0，證明依據定義因為上述加式中各加項都≤0，所以該加式=0的充要條件是各加項=0，即對于任何x和y，p(y|x)=1或許p(y|x)=0，亦即對于任何x，P(Y|x)是退化散布。這表示當X的取值確準時，Y的取值隨即確立，即Y是X的函數(shù)。證畢定理2.3（熵的鏈法例）對于隨機變量序列X1,X2,和任何N≥1簡記為此中H1=H(X1)，H2=H(X2|X1)，，HN=H(XN|X1X2XN-1)。證明：第一依據定義直接可得H(XY)=H(X)+H(Y|X)應用上述等式，對N用概括法可證明熵的鏈法例。細節(jié)略。證畢意義：將多個隨機變量的結合熵轉變?yōu)檫@些隨機變量的條件熵之和，可簡化計算。注：鏈法例與熵的可加性是等價的。思慮：以下不等式能否建立，此中各等號建立的充要條件是什么？這個性質說明什么？請讀者試試命名該性質。定理2.4（條件熵遞減性）對于任何隨機變量X和Y，有H(Y|X)≤H(Y)此中等號建立的充要條件是Y與X互相獨立。證明一：依據鏈法例，H(XY)=H(X)+H(Y|X)再依據結合熵的獨立界定理，馬上可得H(Y|X)≤H(Y)此中等號建立的

充要條件是

X與

Y統(tǒng)計獨立。證畢在條件熵中，條件越少，熵值越大。相反，條件越多，熵值越小。這可理解為，我們知道的越多，則事物的不確立性越小。證明

二：應

用

Jessen

不等

式證明

。證畢計算公式令X，Y為失散的隨機變量。公式1.H(Y|X)H(XY)H(X)公式2.H(Y|X)P(X)H(P(Y|X))此中P(X)是X的概率散布，為行向量，P(Y|X)是X到Y的條件概率矩陣，H(P(Y|X))是條件概率矩陣中各個行散布P(Y|x)的熵H(Y|x)所構成的列向量。證明：證畢例3.1設P(X)(0.4,0.6)且則記號：此后對于任何N，我們將N維隨機向量X1,X2,XN簡記為XN。注：上述條件熵觀點能夠推行到多個隨機變量熵，比如H(Y|X1X2XN)是在已知隨機向量X12,N取值的前提下，隨機變量Y的不確立性，亦即Y,XX的每個取值能夠供給的與X12,N取值沒關的新信息量。,XX練習3.2設p(xy)以下表所示。XY01試計算01/30(1)H(XY)11/31/3(2)H(X),H(Y)(3)H(X|Y),H(Y|X)練習3.3已知均勻100人中有2人患有某種疾病，為了查明病情，一定進行某項指標的化驗。這類化驗的結果對于有病的人老是陽性的，對于健康的人來說有一半可能為陽性、一半可能為陰性。若X表示一個人能否罹患這類疾病，Y表示其化驗結果能否為陽性，試計算H(XY)。作業(yè)5范九倫等所著教材第38頁習題（三）設X和Y的結合散布u(x,y)由下表給出：.XY01試計算01/21/811/81/4H(X),H(Y),H(XY),H(Y|X),H(X|Y),I(X;Y)設一個信源有6種信號，先后輸出的信號是獨立同散布的，其概率散布為(1/2,1/4,1/8,1/16,1/32,1/32)1）該信源輸出1個符號所供給的均勻信息量。2）該信源輸出100個符號所供給的均勻信息量。在一段時間內，某城市交通的忙閑天數(shù)按天氣陰晴隨和溫冷暖進行分類統(tǒng)計以下：冷12冷8晴8晴暖暖15忙27閑4冷冷陰16陰12暖暖（1）計算交通忙閑狀態(tài)的無條件熵。（2）計算天氣隨和溫狀態(tài)下的條件熵。（3）計算從天氣隨和溫狀態(tài)所獲取的對于交通狀態(tài)的信息。世界職業(yè)棒球錦標賽為7場賽制，只需此中一隊博得4場，競賽就結束。設隨