信息與編碼理論 第2版 課件 2.5 平均自信息量

2.5平均自信息量1.平均自信息/信源熵的概念自信息是一個隨機變量：

自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。不同的信源其總體不確定度是不同的。信源1：消息隨機變量X=“中國足球隊與巴西足球隊比賽的結果”信源2：消息隨機變量Y=“意大利足球隊與德國足球隊比賽的結果”如何衡量信源的總體不確定度23信源的概率空間設信源輸出消息集合為X,每個符號出現(xiàn)的概率記作：則其數(shù)學模型可以表示為概率空間：大寫字母：表示隨機變量，指信源整體小寫字母加下標：表示隨機變量的某一取值（樣本），即信源的某個消息。且滿足3信源的概率空間通常把一個隨機變量的樣本空間和樣本空間中的元素對應的概率稱為概率空間。離散隨機變量的概率空間為：4例1擲一個六面均勻的骰子，每次出現(xiàn)朝上一面的點數(shù)是隨機的，以朝上一面的點數(shù)作為隨機試驗的結果，并把試驗結果看作一個信源的輸出，試建立數(shù)學模型。信源的輸出：離散隨機變量XX：{1，2，3，4，5，6}——樣本空間P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}解：

——概率空間51.平均自信息（信源熵）的概念平均自信息（信源熵）是自信息的統(tǒng)計平均，即數(shù)學期望。自信息是指收信者對信源發(fā)某一消息的不確定度。也指收信者準確無誤收到該消息后獲得的信息量。

不同的消息，它們的自信息量是不同的。自信息是一個隨機變量。6信源熵的單位，取決于對數(shù)選取的底：以2為底，單位為比特/消息符號以e為底，單位為奈特/消息符號以10為底，單位為哈特萊/消息符號。信源熵的意義：信源每發(fā)一個消息（符號），所能提供的平均信息量；收信者在收到消息符號前，對信源X存在的平均不確定度。

信源熵是從整個信源的統(tǒng)計特性來考慮的。它是從平均意義上來表征信源的隨機性/不確定度的。1.平均自信息的概念71.平均自信息的概念（續(xù)4）例：一信源有6種輸出符號，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。計算H(X)。

解：

由信息熵定義，該信源輸出的信息熵為

8例：三個信源X1，X2，X3，它們的概率空間分別為三個信源的信源熵分別為：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符號H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符號H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符號可見：H(X1)>H(X2)>H(X3)9信源熵的表示方法離散隨機變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實際上是元函數(shù)。10信源熵的表示方法

當n=2

時，112.熵函數(shù)的性質熵函數(shù)的數(shù)學特性包括:(1)對稱性(2)確定性(3)非負性(4)擴展性(5)連續(xù)性(6)遞增性(7)上凸性(8)極值性122.熵函數(shù)的性質當概率矢量中各分量的次序任意變更時，熵函數(shù)的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…該性質說明：熵只與隨機變量(信源)的總體統(tǒng)計特性有關。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。（1）對稱性132.熵函數(shù)的性質例3：三個信源分別為：①X與Z信源的差別：具體消息其含義不同；②X與Y信源的差別：同一消息的概率不同；③但它們的信息熵是相同的。142.熵函數(shù)的性質 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0。確定性表明，當信源某一符號幾乎必然出現(xiàn)時，其它符號均

幾乎不可能出現(xiàn)，這個信源就是一個確知信源。在發(fā)符號前，不存在確定性；在發(fā)符號后，不提供任何信息量。（2）確定性152.熵函數(shù)的性質只有當隨機變量是一確知量時，熵H(X)=0。離散信源的熵滿足非負性，而連續(xù)信源的熵可能為負。（3）非負性162.熵函數(shù)的性質擴展性說明，增加一個概率接近于零的消息時，信源熵保持不變。雖然小概率消息出現(xiàn)后，給予收信者較多的信息，但從總體來考慮時，因為這種概率很小的消息幾乎不會出現(xiàn)，所以它對于離散集的熵的貢獻可以忽略不計。這也是熵的總體平均性的一種體現(xiàn)。（4）擴展性172.熵函數(shù)的性質（5）連續(xù)性連續(xù)性表明，信源空間中概率分量的微小波動，不會引起信源總體信息熵的巨大變化。18（6）遞增性（遞推性)2.熵函數(shù)的性質192.熵函數(shù)的性質例4：利用遞推性計算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。解：bit/符號20例：三個信源X1，X2，X3，它們的概率空間分別為三個信源的信源熵分別為：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符號H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符號H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符號可見：H(X1)>H(X2)>H(X3)212.熵函數(shù)的性質（7）極值性（最大離散熵定理）定理：

離散無記憶信源輸出n個不同的消息符號，當且僅當各個符號出現(xiàn)概率相等時(即

)，熵最大，即

222.熵函數(shù)的性質

例5：以二進制信源為例，信源的概率空間為二進制信源的信息熵為這時信息熵H(X)是p的函數(shù)，熵函數(shù)H(p)的曲線如圖所示：23從圖中可以得出熵函數(shù)的一些性質：如果二進制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當二進制信源符號0和1等概率發(fā)生時，信源的熵達到最大值，等于1比特/符號;在等概率的二進制信源輸出的二進制數(shù)字序列中，每一個二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量小于1比特。這也進一步說明了計算機術語中的“比特”與信息量單位“比特”的關系。2.熵函數(shù)的性質24上凸性的幾何意義：

在上凸函數(shù)的任兩點之間畫一條割線，函數(shù)總在割線的上方.f(x)

x1x2

f(x1)

f(x2)上凸函數(shù)的定義上凸函數(shù)定義域內兩個變量算術平均值的函數(shù)值，大于等于兩個變量各自函數(shù)值的算術平均值25可以被看做是一種新的概率分布。

是概率分布的嚴格上凸函數(shù)，即證明：（8）上凸性等號成立條件26但是所以等號不成立。2.熵函數(shù)的性質27上凸性的幾何意義：

在上凸函數(shù)的任兩點之間畫一條割線，函數(shù)總在割線的上方.上凸函數(shù)在定義域內的極值必為最大值，這對求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)2.熵函數(shù)的性質28293條件熵隨機變量X和Y的條件熵定義為條件自信息量的數(shù)學期望表示：收到Y后，信源X仍具有的平均不確定度。

性質：X、Y獨立，則H(X/Y)達到最大，且H(X/Y)max=H(X)說明：29等號成立的條件是

，也即隨機變量X和Y統(tǒng)計獨立時30H(X/Y)max=H(X)說明：X、Y獨立時，信宿收到的符號集合中不含任何有關信源的信息，此時信源的平均不確定度最大。故H(X/Y)叫信道疑義度。同理：說明：信宿收到Y后，若Y=X，則信源也就完全確定了，不再有任何平均不確定度。31聯(lián)合熵def：聯(lián)合自信息量的數(shù)學期望。意義：聯(lián)合熵H(XY)是二維隨機變量XY不確定性的度量。32聯(lián)合熵的可加性證明：33聯(lián)合熵的可加性可以推廣到N個隨機變量的情況如果N個隨機變量相互統(tǒng)計獨立，則有343.聯(lián)合熵和條