信息論編碼 第二章信息度量1

1、第二章 信息論的基本概念信息的統(tǒng)計度量 引言預備知識1信息的度量信息的可度量性-建立信息論的基礎；信息度量的方法:結構度量統(tǒng)計度量語義度量模糊度量等；統(tǒng)計度量：用事件統(tǒng)計發(fā)生概率的對數(shù)來描述事物的不確定性，得到消息的信息量，建立熵的概念；熵概念是香農(nóng)信息論最基本最重要的概念。2單符號離散信源的數(shù)學模型離散信源只涉及一個隨機事件，可用離散隨機變量來表示。單符號離散的數(shù)學模型X，Y，Z代表隨機變量，指的是信源整體； 代表隨機事件的某一結果或信源的某個元素。不可混淆!3概率復習4中學數(shù)學知識Log(xy)=logx+logyLog(x/y)=logx-logy2.1 自信息和條件自信息量2.1.1自

2、信息量自信息量Information I(ai) of ai must be function of ais uncertainty such as P(ai)It can be expression as I(ai) =fP(ai) How about I(ai) =P(ai) ? Not suit for 4 axiom If P(ai), ; If P(ai)=0, I(ai)=; If P(ai)=1, I(ai)=0; If P(a1) and P(a2) are independent then I(a1a2)= I(a1)+ I(a2)對于單個消息隨機變量U，出現(xiàn)某個消息，對應概

3、率為 ，這時可獲得的信息量為 ，則有：解釋：小概率事件，一當出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預料之中的，即使發(fā)生，也沒什么信息量，特別是當必然事件發(fā)生了，它不會給人以任何信息量。注：I自信息自信息量I(ai)的性質(zhì)I(ai)是非負值；當P(ai) =1時， I(ai)=0；當P(ai) =0時， I(ai)= ；I(ai)是P(ai) 的單調(diào)遞減函數(shù)聯(lián)合自信息量信源模型(涉及兩個隨機事件)聯(lián)合自信息量舉例2.12(6)2.1.2條件自信息量條件概率對數(shù)的負值在特定條件下( 已定)隨機事件 發(fā)生所帶來的信息量定義聯(lián)

4、合自信息量和條件自信息量也滿足非負和單調(diào)遞減性。關系當X和Y獨立時，2.2互信息量和條件互信息量信源發(fā)出消息 的概率 稱為先驗概率，信宿收到 后推測信源發(fā)出 的概率稱為后驗概率 。定義 的后驗概率與先驗概率比值的對數(shù)為 對 的互信息量，用 表示，即互信息量等于自信息量減去條件自信息量。第三種表達方式：互信息的性質(zhì)對稱性當X和Y相互獨立時，互信息為0互信息量可為正值或負值條件互信息量給定條件 下， 與 之間的互信息量，其定義式 問題與思考課堂疑問?某地二月份天氣構成的信源為 現(xiàn)有人告訴你:“今天不是晴天?！?，把這句話作為收到的消息 。當收到消息 后，各種天氣發(fā)生的概率變成后驗概率了。其中計算 與

5、各種天氣之間的互信息量信息量X2、x3、x4各1比特的信息量，也可以理解為y1使X2、x3、x4不確定度各減少1比特說明收到y(tǒng)1后，不僅沒有使x1的不確定度減少，反而使x1不確定更大，互信息量為負舉例2.2概率復習2.3 信源熵2.3.1熵的引入 一個離散隨機變量X，以不同的取值概率有N個可能取值, XP（x）a1 a2 aNp1 p2 pN信息論關心：X的不確定性不確定性大，獲取的信息多熵的引入箱內(nèi)100個球摸到紅球不確定性分析：隨機變量X、Y、ZXP（x） a1 a2 0.99 0.01ZP（z）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（y） a1 a2 0.

6、5 0.5問題：能否度量、如何度量？小大99個紅球，1個黑球50個紅球，50個黑球20個紅球，其它4種顏色各20個2.3.2信源熵數(shù)學描述信源熵定義：信源各個離散消息的自信息量的數(shù)學期望（即概率加權的統(tǒng)計平均值）為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時也稱為無條件熵或熵函數(shù)，簡稱熵。公式：熵函數(shù)的自變量是X,表示信源整體，實質(zhì)上是無記憶信源平均不確定度的度量。也是試驗后平均信息量為熵單位：以2為底，比特/符號為什么要用熵這個詞，與熱熵的區(qū)別？不確定性攜載的信息熵的單位 信息熵的單位與公式中的對數(shù)取底有關。通信與信息中最常用的是以2為底，這時單位為比特（bit）；理論推

7、導中用以e為底較方便，這時單位為奈特（Nat）；工程上用以10為底較方便，這時單位為笛特（Det）。它們之間可以引用對數(shù)換底公式進行互換。比如： 1 bit = 0.693 Nat = 0.301 Det香農(nóng)熵與熱力學中熱熵的關系熵這個名詞是仙農(nóng)從物理學中的統(tǒng)計熱力學借用過來的，在物理學中稱它為熱熵是表示分子混亂程度的一個物理量，這里，仙農(nóng)引用它來描述信源的平均不確定性，含義是類似的。但是在熱力學中已知任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，只會減少，不會增加。所以有人稱信息熵為負熱熵。二者還有一個重大差別：熱熵是有量綱的，而香農(nóng)熵是無量綱的。信源熵和平均自信息量

8、兩者在數(shù)值上是相等的，但含義并不同。信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的量度。熵作為信息的度量小結：信源熵H(X)的三種物理含義表示信源輸出后，每個離散消息所提供的平均信息量。表示信源輸出前，信源的平均不確定度。反映了變量X的隨機性和無序性。舉例（不確定性）熵可以作為信息的量度對于隨機變量而言：試驗前試驗后各取值的概率分布確切取值 （0）（不確定性）熵一定的確切性多次試驗后通過試驗消除了不確定性獲得了信息信息的數(shù)量例1.1: 試驗前：試驗后：XP（x）1 2 3 4 5 61/6 1/6 1/6 1/6 1/6 1/6H(x) = log6 = 2.58b

9、its = 1.79nats (實驗前不確定量-熵）X1P（x1）1 2 3 4 5 6 0 1 0 0 0 0H(x1) = 0H(x) H(x1) = log6 （做完實驗后提供信息量）獲得了信息數(shù)量熵例1.2:試驗前：H(x) = log8 = 3(bit/符號)H(x2) H(x3) =1 獲得1bit信息量XP（x）1 2 3 4 5 6 7 81/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 12312345678第一次測量后：X1P（x1）1 2 3 4 5 6 7 81/4 1/4 1/4 1/4 0 0 0 0 H(x1) = log4 = 2(bit/符號)第

10、二次測量后：X2P（x2）1 2 3 4 5 6 7 81/2 1/2 0 0 0 0 0 0 H(x2) = log2 = 1(bit/符號)第三次測量后：X3P（x3）1 2 3 4 5 6 7 8 1 0 0 0 0 0 0 0 H(x3) = log1 = 0(bit/符號)H(x) H(x1) = 1獲得1bit信息量H(x1) H(x2) =1 獲得1bit信息量H(X)表示在獲知哪個燈泡是壞的情況前，關于哪個燈泡已損壞的平均不確定性，即要確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，才能完全消除不確定性。？必須測3次嗎？熵的計算舉例2.5概率復習2.3.3條件熵條件熵是在聯(lián)合符號集合XY上的條件自信息量的數(shù)學期望。在已知隨機變量Y的條件下，隨機變量X的條件熵定義為：思考：求條件熵時為什么要用聯(lián)合概率加權？是已知一隨機變量，對另一個隨機變量的不確定性的量度概率復習條件熵是一個確定值，表示信宿在收到Y后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。2.3.4聯(lián)合熵（共熵）聯(lián)合離散符號集合XY上的每個元素對 的聯(lián)