第二章 離散信源與信息熵(上).ppt

1、北京交通大學信息科學研究所,信息論基礎 Elements of Information Theory 北京交大計算機與信息技術學院 信息科學研究所現(xiàn)代信號處理與通信研究室 教學九樓六層北606 主講：丁曉明 TEL: 51688636; 92/sopc;ssopc E,第二章：信息的度量與信息熵 ( The measure of Information 而 已變成了常量(constant) ，它是代表集合的總體特征。,信息熵與平均信息量的關系：,所以一般來講，信源的信息熵 H 并不等于接收者所獲得的平均信息量。從客觀性來看，信息熵僅表征了信源發(fā)送信息能力的客

2、觀標志，它與此刻信源發(fā)不發(fā)消息？在發(fā)哪條消息？毫無相關！,2. 3 離散信源的信息熵,因此我們講信息熵并不反映從信源中平均能獲多少信息量， 而是從平均的意義上，代表信源所客觀存在著發(fā)送信息的能力。,例25.,則信息熵分別為：,（參見P15）,2. 3 離散信源的信息熵,前提：模一次球后再放回袋中，以不破壞概率試驗 條件，且一旦球拿出其不定度一定完全解除。所以，摸 n次以后所得到的總信息量為：,若經(jīng)算術平均處理后，則平均信息量為：,所以在此條件下才有平均信息量等于信息熵。,第二章. 信息的度量與信息熵,我們說信息熵是一個定值，是指針對信源的概率分布函數(shù) 來說是一常量。如果分布函數(shù)不同，則信息熵也

3、就不同。因此 信息熵將是概率分布的函數(shù)，亦稱熵函數(shù)。,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義 ( Mathematical Properties of the Discrete Entropy Function),def,注意：這里所指的熵函數(shù)是針對離散信源而言，如果對連續(xù)信源其熵函數(shù)的性質(zhì)就有一定的出入。下面我們分別介紹熵函數(shù)的數(shù)學性質(zhì)及所涵蓋的物理意義。,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,1. 對稱性 (symmetry) 這個性質(zhì)的物理意義非常明確，即熵僅反映信源的總體特征， 而與哪一個變量的取值無關。,2. 非負性 (non-negativity),2. 4 熵函數(shù)的數(shù)學性質(zhì)與其

4、物理意義,擴展性反映出概率小的事件，雖然自信息很大，但在熵的計 算中所占的比重卻很小很小，幾乎不影響信源的總體特征。,3. 擴展性 (expansibility),4. 確定性 (deterministic),2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,可加性是熵函數(shù)的性質(zhì)中最重要的一條性質(zhì)，正因為有此 性質(zhì)才決定熵函數(shù)的形式必須要用對數(shù)形式。(換句話說：可體 現(xiàn)熵可加性的函數(shù)形式只有對數(shù)形式，這也經(jīng)熵函數(shù)的唯一性 定理所證明。)但我們應關心此性質(zhì)的物理含義，即知識的可積 累性。具體的講：熵函數(shù)是作為一個集合中的總體平均不定度特 征，應對集合中元素的如何劃分是無關的。從另一方面看，可加 性所反映的

5、是任何復雜問題，都可以分步解決。這也是說：對于 某一事物存在有一定的不確定度，你無法一下完全解除不定度； 你總可以分成不同的層次，一步一步地解除，直至最后完全解除 其不確定度。,5. 可加性 ( Additive property ),或,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,但是如果我換一種問法：先取一個球問其是否為紅色？如果 是紅色便停止取球；否則再從剩下的袋中取一球，問其顏色？判斷當?shù)弥驗榧t色的信息量在兩種取法中是否相同？,先舉一個簡單例子，然后介紹書中的內(nèi)容： 設我有三個不同顏色的小球在口袋中，分別為：紅色、白色和黑色；問：、當隨便從袋中拿出一個球，它的顏色是什么？ 顯然：,2.

6、4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,這就是可加性的一種表示方法，而書中給出了另一種方法，由 于物理意義表達不充分，我們換一種方式導入。,如果一個隨機事件的集合可以看成是由兩個隨機變量的聯(lián)合發(fā) 生而形成，則可以寫成以下形式：,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,按照信息熵的定義，我們可寫出：,聯(lián)合概率(joint probability)：,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,(conditional entropy),2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,def,(Joint Entropy)它的平均不定度，應等于一個變量的 無條件熵加上另一變量

7、的有條件熵。,這是隨機變量X與Y之間相互統(tǒng)計獨立的重要性質(zhì)，它是可加性的一特例。所以一般情況下可加性表示為：,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,上式表明，任何概率分布下的信息熵一定不會大于它 對其它概率分布下自信息的數(shù)學期望。 先證明一個常用的不等式，再證明極值性。,6. 極值性 ( Extremum ),2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,下面證明極值性：,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,這就是離散信源下的最大熵定理： 任何離散信源，不論它取何種概率分布，所得的信息 熵 H(X) , 一定不會大于等概率分布時的信息熵 (log n) 。,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意

8、義,有了這條性質(zhì)，我們很容易證明條件熵一定不會大于無條件熵。,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,7. 上凸性 ( Convexity ) 因為信息熵是一數(shù)學函數(shù)，故 可按數(shù)學函數(shù)分析其凸、凹性。 如果有一函數(shù) f(x) ,若判斷能滿足：,成立，我們稱此函數(shù)為下凸函數(shù), 或凹函數(shù)；否則為上凸函數(shù)。,Convexity,Concavity,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,證明：,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,The entropy function is a strictly convex function. 因此，只有當函數(shù)具有上凸性時，在其值域中一 定存在有絕對極大值，故熵函數(shù)必然有最大值問題 Maximum entropy theorem 最簡單的熵函數(shù)二元信息熵（The binary entropy function）,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,二維熵函數(shù)三元信息熵 (The triple entropy function),2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2. 4 熵函數(shù)的數(shù)學性質(zhì)與其物理意義,2.4.2 各