信息論講義第二講課件

第二章信息的統(tǒng)計(jì)度量?jī)?nèi)容提要

2.1自信息量和條件自信息量

2.2互信息量和條件互信息量

2.3離散集的平均自信息量

2.4離散集的平均互信息量

2.5連續(xù)隨機(jī)變量的互信息和相對(duì)熵

離散隨機(jī)變量事件第二章信息的統(tǒng)計(jì)度量?jī)?nèi)容提要離散隨機(jī)變量事件2.1自信息量和條件自信息量2.1.1自信息量

簡(jiǎn)單事件聯(lián)合事件2.1.2條件自信息量2.1自信息量和條件自信息量2.1.1自信息量自信息的推導(dǎo)某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。即：

I(ai)

＝f[p(ai)]根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)f[p(ai)]

應(yīng)滿足以下條件：（1）它應(yīng)是先驗(yàn)概率p(ai)的單調(diào)遞減函數(shù)，即當(dāng)

p

(a1)>p

(a2)時(shí)，有f[p

(a1)]

<f[p

(a2)]（2）當(dāng)p

(ai)=1時(shí)，f[p

(ai)]=0

（3）當(dāng)p

(ai)=0時(shí)，f[p

(ai)]=（4）兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。自信息的推導(dǎo)某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概

1928年，信息論的先驅(qū)者之一哈特萊(Hartley)首先研究了具有Nm個(gè)組合的單個(gè)消息信源。他對(duì)這類非概率信源進(jìn)行了研究，并給出了最早的信息度量公式,定義為可能消息量的對(duì)數(shù):I=logNm=mlogN可以證明對(duì)數(shù)函數(shù)滿足上述條件：自信息的推導(dǎo)（續(xù)）1928年，信息論的先驅(qū)者之一哈特萊(Hartley)首先2.1.1自信息量自信息量任意簡(jiǎn)單隨機(jī)事件xi的發(fā)生概率為p(xi)，則自信息量為

一、簡(jiǎn)單事件釋：(1)p(xi)≤1，表示事件xi出現(xiàn)的概率,

取“-”號(hào)的主要目的是：使I(xi)≥02.1.1自信息量自信息量任意簡(jiǎn)單隨機(jī)事件xi的發(fā)生2.1.1自信息量（續(xù)）

(2)意義：具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。

一個(gè)出現(xiàn)概率接近于1的隨機(jī)事件，發(fā)生的可能性很大，所以它包含的不確定度就很??；反之，一個(gè)出現(xiàn)概率很小的隨機(jī)事件，很難猜測(cè)在某個(gè)時(shí)刻它能否發(fā)生，所以它包含的不確定度就很大；若是確定性事件，出現(xiàn)概率為1，則它包含的不確定度為0。2.1.1自信息量（續(xù)）(2)意義：具有某種概率分2.1.1自信息量（續(xù)）(3)單位：取決于對(duì)數(shù)的底

比特（以2為底）

I(xi)=-log2

p(xi)

奈特（以e為底）

I(xi)=-loge(xi)

哈特來(lái)（以10為底）

I(xi)=-log10(xi)根據(jù)換底公式得：1nat=1.44bit,1hat=3.32bit；2.1.1自信息量（續(xù)）(3)單位：取決于對(duì)數(shù)的底根據(jù)2.1.1自信息量（續(xù)）例：英文字母中“e”出現(xiàn)概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：根據(jù)自信息量的定義，解得“e”的自信息量：“c”的自信息量：“o”的自信息量：2.1.1自信息量（續(xù)）例：英文字母中“e”出現(xiàn)概率為0.例：一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為：

I（0）=I（1）=-log2（1/2）=log22=1bit

例：若是一個(gè)m位的二進(jìn)制數(shù)，因?yàn)樵摂?shù)的每一位可從0,1兩個(gè)數(shù)字中任取一個(gè)，因此有2m個(gè)等概率的可能組合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息來(lái)指明這樣的二進(jìn)制數(shù)。

2.1.1自信息量（續(xù)）例：一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為2.1.1自信息量（續(xù)）例：一副充分洗亂了的牌（含52張牌），求：(1)任一特定排列

(2)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同的信息量？。解：依題意1)52張牌共有52!種排列，假設(shè)每種排列方式等概出現(xiàn),則所給出的信息量2)52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：2.1.1自信息量（續(xù)）例：一副充分洗亂了的牌（含52張牌2.1.1自信息量（續(xù)）聯(lián)合自信息量二維聯(lián)合集XY上元素(xiyj)

的自信息量定義為其中，xiyj

是積事件；

p(xiyj)

是二維聯(lián)合概率二、聯(lián)合事件2.1.1自信息量（續(xù)）聯(lián)合自信息量二維聯(lián)合集XY例：同時(shí)拋一對(duì)質(zhì)地均勻的骰子，每個(gè)骰子各面朝上的概率均為1/6。試求：（1）“3和5同時(shí)發(fā)生”的自信息量（2）“兩個(gè)1同時(shí)發(fā)生”的自信息量（3）“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量解：（1）甲3乙5，甲5乙3p(A)=1/36×2=1/18I(A)=-logp(A)=4.17bit（2）甲1乙1p(B)=1/36I(B)=-logp(B)=5.17bit（3）扣掉甲、乙都不是1的概率

p(C)=1-6/5×5/6=11/36I(C)=-logp(C)=1.71bit

2.1.1自信息量（續(xù)）例：同時(shí)拋一對(duì)質(zhì)地均勻的骰子，每個(gè)骰子各面朝上的概率均為1/2.1.2條件自信息量條件自信息量若事件xi在事件yj給定條件下的概率為p(xi|yj)，則其條件自信息量定義為因?yàn)閜(xi|yj)≤1

，所以條件自信息量非負(fù)，即：I(xi|yj)≥0。釋：①I(xi)是事件xi本身所具有的不確定性；

②I(xi

|yj)是事件yj

發(fā)生后，事件xi

尚存在的不確定性；③條件自信息量單位同自信息量。2.1.2條件自信息量條件自信息量若事件xi在事件yj2.1.2條件自信息量（續(xù)）概率知識(shí)復(fù)習(xí)1.乘法公式2.全概率公式3.條件概率公式4.貝葉斯公式2.1.2條件自信息量（續(xù)）概率知識(shí)復(fù)習(xí)2.1.2條件自信息量（續(xù)）例：有一正方形棋盤，分64個(gè)格，如果甲將一棋子放在某格內(nèi)，讓乙猜測(cè)。1.將方格按順序編號(hào)（1,2,…,64），讓乙猜測(cè)棋子所在格的序號(hào)。2.將方格按行，列編號(hào)(如圖所示)，甲告訴乙棋子所在行或者列的編號(hào)，讓乙猜測(cè)位置。計(jì)算乙猜中的信息量。2.1.2條件自信息量（續(xù)）例：有一正方形棋盤，分64個(gè)格Answer:1）2）2.1.2條件自信息量（續(xù)）Answer:1）2）2.1.2條件自信息量（2.2互信息量和條件互信息量2.2.1互信息量定義性質(zhì)2.2.2條件互信息量2.2互信息量和條件互信息量2.2.1互信息量2.2.1互信息量一、互信息量定義

對(duì)兩個(gè)離散隨機(jī)事件集X和Y，事件yj的出現(xiàn)給出關(guān)于事件xi的信息量，其定義式為

物理意義：互信息量是一種消除的不確定性的度量?；バ畔⒘?先驗(yàn)的不確定性-尚存在的不確定性。表示事件xi發(fā)生后傳遞給事件yj的信息量；表示事件yj發(fā)生所能提供的關(guān)于事件xi的信息量。I(xi;

yj)=2.2.1互信息量一、互信息量定義I(xi;yj)=例：

8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問(wèn)每進(jìn)行一次測(cè)量可獲得多少信息量？解：收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)2.2.1互信息量（續(xù)）例：8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8，即第二次測(cè)量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測(cè)量獲得的信息量=

I[P(x3)]=1(bit)第一次測(cè)量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過(guò)二次測(cè)量后，剩2個(gè)燈泡，等概率損壞，P(x3)＝1/2一次測(cè)量后，剩4個(gè)燈泡，等概率損壞，P(x2)＝1/42.2.1互信息量（續(xù)）已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8，例：求：當(dāng)接收信號(hào)為A2時(shí)，哪個(gè)電臺(tái)發(fā)射的可能性大？2.2.1互信息量（續(xù)）例：解：從概率論角度分析，根據(jù)貝葉斯公式從互信息量角度分析接收H2可能性大接收H2可能性大2.2.1互信息量（續(xù)）解：從概率論角度分析，根據(jù)貝葉斯公式接收H2可能性大接收H2二、互信息量的性質(zhì)（1）互易性

由事件提供的有關(guān)事件的信息量等于由事件提供的有關(guān)事件的信息量。（2）互信息量可為零

當(dāng)事件xi,yj彼此統(tǒng)計(jì)獨(dú)立，I(xi

;

yj)=0。表明：當(dāng)事件xi同yj相互獨(dú)立時(shí)，不能通過(guò)對(duì)事件yj的觀測(cè)獲得關(guān)于另一事件xi的任何信息。2.2.1互信息量（續(xù)）二、互信息量的性質(zhì)2.2.1互信息量（續(xù)）（3）互信息量小于自信息量

任何兩個(gè)事件之間的互信息量不可能大于其中任一事件的自信息量。

I(xi

;

yj)≤I(xi

)

I(xi

;

yj)≤I(yj)

物理意義

表明：自信息量I(xi)是為了確定事件xi的出現(xiàn)所必需提供的信息量，也是任何其他事件所能提供的關(guān)于事件xi的最大信息量。2.2.1互信息量（續(xù)）（3）互信息量小于自信息量2.2.1互信息量（續(xù)）（4）互信息量I(xi

;

yj)可正可負(fù)

在給定觀測(cè)數(shù)據(jù)yj的條件下，事件xi出現(xiàn)的概率p(xi|yj),稱為后驗(yàn)概率。當(dāng)后驗(yàn)概率大于先驗(yàn)概率，即p(xi|yj)>p(xi)時(shí)，互信息量為正值，即I(xi

;yj)

>0；當(dāng)后驗(yàn)概率小于先驗(yàn)概率，即p(xi|yj)<p(xi)時(shí)，互信息量為負(fù)值，即I(xi

;yj)<0。

物理意義：互信息量為正，意味著事件yj的出現(xiàn)有助于肯定事件xi的出現(xiàn)；反之，則是不利的。造成不利的原因是由于信道干擾引起的。2.2.1互信息量（續(xù)）（4）互信息量I(xi;yj)可正可負(fù)2.2.1互信信源信息01234567三位二進(jìn)制代碼組000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1p(ui)1/41/41/81/81/161/161/161/16例:已知信源包含8個(gè)數(shù)字消息0，1，2，3，4，5，6，7。為了在二進(jìn)制信道上傳輸，用信源編碼器把這8個(gè)十進(jìn)制數(shù)編成三位二進(jìn)制代碼組，信源各消息（符號(hào)）的先驗(yàn)概率及相應(yīng)的代碼組見(jiàn)下表,求互信息量2.2.2條件互信息量（續(xù)）信源信息01234567三位0000010100111001解:I(ui;x0)表示譯碼器收到第一個(gè)碼元x0后提供的關(guān)于消息ui的信息量。按貝葉斯公式有,后驗(yàn)概率為故接到第一個(gè)碼元“0”后的后驗(yàn)概率為

2.2.2條件互信息量（續(xù)）解:I(ui;x0)表示譯碼器收到第一個(gè)碼元x0后提供的關(guān)求得互信息量為如表示：譯碼器收到第一個(gè)碼元“0”后，提供的有關(guān)消息u3的信息量為0.415bits。

2.2.2條件互信息量（續(xù)）求得互信息量為2.2.2條件互信息量（續(xù)）同理求接到01后的后驗(yàn)概率接到011后的后驗(yàn)概率，按貝葉斯公式有

2.2.2條件互信息量（續(xù)）同理求接到01后的后驗(yàn)概率2.2.2條件互信息量（續(xù)）后驗(yàn)概率分布2.2.2條件互信息量（續(xù)）后驗(yàn)概率分布2.2.2條件互信息量（續(xù)）得到此式表示譯碼器收到碼元“01”后，提供的有關(guān)消息的信息量為2bit.

此式表示譯碼器收到碼元“011”后，提供的有關(guān)消息的信息量為3bit。

2.2.2條件互信息量（續(xù)）得到2.2.2條件互信息量（續(xù)）2.2.2條件互信息量

定義：在聯(lián)合集XYZ中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量。其定義式為

2.2.2條件互信息量定義：在聯(lián)合集XYZ中2.2.2條件互信息量（續(xù)）在XYZ聯(lián)合集上還存在事件xi與積事件yjzk之間的互信息量，其定義式為表明：事件yj和zk同時(shí)出現(xiàn)后所提供的關(guān)于xi的信息量I(xi

;

yjzk)

等于事件yj出現(xiàn)后所提供的關(guān)于xi的互信息量I(xi

;

yj)加上在已知yj的條件下由事件zk所提供的關(guān)于xi的信息量I(xi

;

zk|yj)

。2.2.2條件互信息量（續(xù)）在XYZ聯(lián)合例:已知信源包含8個(gè)數(shù)字消息0,1,2,3,4,5,6,7。為了在二進(jìn)制信道上傳輸，用信源編碼器把這8個(gè)十進(jìn)制數(shù)編成三位二進(jìn)制代碼組，信源符號(hào)的先驗(yàn)概率見(jiàn)下表求：1）求在給定x0條件下，消息u3與y1之間的條件互信息量。2）求在給定x0y1條件下，消息u3與z1之間的條件互信息量。3）求消息u3與代碼組之間的互信息量。消息01234567三位二進(jìn)制代碼組000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1p(ui)1/41/41/81/81/161/161/161/162.2.2條件互信息量（續(xù)）例:已知信源包含8個(gè)數(shù)字消息0,1,2,3,4,5,6,7解：接收到代碼‘0’，‘01’和‘011’的后驗(yàn)概率分別為2.2.2條件互信息量（續(xù)）解：接收到代碼‘0’，‘01’和‘011’的后驗(yàn)概率分別為2在給定x0條件下,消息u3與y1之間的條件互信息量I(u3;y1|x0)在給定x0y1條件下，消息u3與z1之間的條件互信息量I(u3;z1|x0y1)2.2.2條件互信息量（續(xù)）在給定x0條件下,消息u3與y1之間的條件互信息量I(u消息u3與代碼組x0y1z1之間的互信息量I(u3;x0y1z1)解法二：根據(jù)定義直接得到2.2.2條件互信息量（續(xù)）消息u3與代碼組x0y1z1之間的互信息量I(u3;x2.3離散集的平均自信息量2.3.1平均自信息量（熵,Entropy）

熵的定義

熵的性質(zhì)2.3.2條件熵和聯(lián)合熵2.3.3各種熵的關(guān)系2.3.4加權(quán)熵

加權(quán)熵定義

加權(quán)熵性質(zhì)2.3離散集的平均自信息量2.3.1平均自信息量（熵,E一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。解:依據(jù)題意這一隨機(jī)事件的概率空間為

引出一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件.如果摸出的是紅球，則獲得的信息量是

I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，則獲得的信息量是

I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取n次，紅球出現(xiàn)的次數(shù)為np（x1）次，白球出現(xiàn)的次數(shù)為np（x2）次。隨機(jī)摸取n次后總共所獲得的信息量為

np（x1）I（x1）+np（x2）I（x2）引出（續(xù)）其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件則平均隨機(jī)摸取一次所獲得的信息量為

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次說(shuō)明：自信息量I（x1）和I（x2）只是表征信源中各個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著多個(gè)符號(hào)消息，各個(gè)符號(hào)消息又按概率空間的先驗(yàn)概率分布，因而各個(gè)符號(hào)的自信息量就不同。所以自信息量不能作為信源總體的信息量。引出（續(xù)）則平均隨機(jī)摸取一次所獲得的信息量為=0.72比特/次說(shuō)明：1、概率論的核心概念是隨機(jī)變量。隨機(jī)變量的精確描述是分布律和概率密度。隨機(jī)變量的粗略描述是數(shù)字特征(均值和方差)。2、信息論的核心概念是信息。信息的精確描述是信息量(自信息量、條件自信息量和互信息量)。信息的粗略描述是什么？——熵引出（續(xù)）1、概率論的核心概念是隨機(jī)變量。引出（續(xù)）2.3.1平均自信息量（熵,Entropy）一、平均自信息量定義在離散集X上，隨機(jī)變量I(xi)的數(shù)學(xué)期望定義為平均自信息量又稱作集X的信息熵，簡(jiǎn)稱熵。釋：信息熵和統(tǒng)計(jì)力學(xué)中熱熵表達(dá)式在形式上相同。熱熵描述一個(gè)系統(tǒng)在某時(shí)刻可能出現(xiàn)的有關(guān)狀態(tài)的不確定程度。2.3.1平均自信息量（熵,Entropy）一、平均自信息2.3.1平均自信息量（續(xù)）

(2)信息熵H(X)是信源輸出消息xi的自信息量I(xi)的概率加權(quán)平均值，即統(tǒng)計(jì)平均值。

信息熵H(X)是從平均意義上表征信源總體的一個(gè)量，是信源的統(tǒng)計(jì)平均不確定性的描述。2.3.1平均自信息量（續(xù)）(2)信息熵H(X)是信有兩個(gè)信源，其概率空間分別為信息熵分別為H(X)=-0.99log0.99-0.01log0.01=0.08比特/符號(hào)H(Y)=-0.5log0.5-0.5log0.5=1比特/符號(hào)可見(jiàn)H(Y)>H(X)結(jié)論：信源Y的二個(gè)輸出消息是等可能性的，所以事先猜測(cè)哪一個(gè)消息出現(xiàn)的不確定性要大；信源X的二個(gè)輸出消息不是等概率的，事先猜測(cè)x1和x2哪一個(gè)出現(xiàn)，雖然具有不確定性，但大致可以猜出x1會(huì)出現(xiàn)，所以信源X的不確定性要小；信息熵反映的就是信源輸出前平均不確定程度的大小。2.3.1平均自信息量（續(xù)）有兩個(gè)信源，其概率空間分別為2.3.1平均自信息量（續(xù)）2.3.1平均自信息量（續(xù)）(3)信息熵是概率矢量P=(p1,p2,…pq)的函數(shù)(4)單位：由自信息量單位確定。以2為底時(shí)，記為H(x)

以r為底時(shí)，記為Hr(x)例：中、英、俄、法、西五國(guó)文字的信息熵法文3.98bit西班牙文4.01bit

英文4.03bit俄文4.35bit

中文9.65bit2.3.1平均自信息量（續(xù)）(3)信息熵是概率矢量P=(例：設(shè)甲地的天氣預(yù)報(bào)為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預(yù)報(bào)為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。2.3.1平均自信息量（續(xù)）例：設(shè)甲地的天氣預(yù)報(bào)為：晴(占4／8)、陰(占2／8)、大雨解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為則其提供的平均信息量即信源的信息熵:乙地天氣預(yù)報(bào)的信源空間為:結(jié)論：甲地天氣預(yù)報(bào)提供的平均信息量大于乙地，因?yàn)橐业乇燃椎氐钠骄淮_定性小。解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為則其提供的平均信息量即信源的甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時(shí)信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各種天氣等概率分布甲地極端情況極端情況1：晴天概率＝1結(jié)論：等概率分布時(shí)信源乙地極端情況極端情況1：晴天概率＝1

結(jié)論：在極端情況2下，甲地比乙地提供更多的信息量。因?yàn)?，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。極端情況2：各種天氣等概率分布乙地極端情況極端情況1：晴天概率＝1結(jié)論：在極端情況2下例：電視屏上約有500×600=3×105個(gè)格點(diǎn)，按每點(diǎn)有10個(gè)不同的灰度等級(jí)考慮，則共能組成n=103x10個(gè)不同的畫(huà)面。按等概率1/103x10計(jì)算，平均每個(gè)畫(huà)面可提供的信息量為

=3×105×

3.32比特/畫(huà)面

2.3.1平均自信息量（續(xù)）例：電視屏上約有500×600=3×105個(gè)格例：有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文

N=100001000=104000篇仍按等概率1/100001000計(jì)算，平均每篇千字文可提供的信息量為

H（X）＝log2N

＝4×103×3．321．3×104比特／千字文

比較：“一個(gè)電視畫(huà)面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過(guò)“一篇千字文”提供的信息量。2.3.1平均自信息量（續(xù)）例：有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千例：該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)發(fā)生的概率分別為p和q，p＋q=l。即信源的概率空間為

則二元信源熵為

H（X）=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)2.3.1平均自信息量（續(xù)）例：該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)發(fā)生的概率2.3.1平均自信息量（續(xù)）信源信息熵H(X)是概率p的函數(shù)，通常用H(p)表示。p取值于[0，1]區(qū)間。H(p)函數(shù)曲線如圖所示。從圖中看出，如果二元信源的輸出符號(hào)是確定的，即p=1或q=1，則該信源不提供任何信息。反之，當(dāng)二元信源符號(hào)0和1以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，等于1比特信息量。

2.3.1平均自信息量（續(xù)）信源信息熵H(X)是概率p的函2.3.1平均自信息量（續(xù)）一、熵函數(shù)的數(shù)學(xué)性質(zhì)（1）對(duì)稱性

當(dāng)概率矢量P=(p1,p2,…pq)中的q個(gè)分量的次序任意變更時(shí)，熵值不變。

物理意義：熵僅與信源總體的統(tǒng)計(jì)特性有關(guān)(總體性)。如果某些信源總體的統(tǒng)計(jì)特性相同，不管其內(nèi)部結(jié)構(gòu)如何，這些信源的熵值相同。

2.3.1平均自信息量（續(xù)）一、熵函數(shù)的數(shù)學(xué)性質(zhì)2.3.1平均自信息量（續(xù)）-性質(zhì)例:

H(X)=H(Y)=H(Z)

意義：信息熵相同，表示三個(gè)信源總體特性相同說(shuō)明熵定義具有局限性2.3.1平均自信息量（續(xù)）-性質(zhì)例:2.3.1平均自信息量（續(xù)）-性質(zhì)例:設(shè)A、B兩地的天氣情況分別為求得H(A)=H(B)=1.75bits，顯然冰雹將導(dǎo)致嚴(yán)重災(zāi)害，人們應(yīng)更加重視，但未能從熵中反映出來(lái)，從而有了加權(quán)熵的概念。晴多云雨冰雹A地B地1/21/21/41/81/81/81/81/42.3.1平均自信息量（續(xù)）-性質(zhì)例:設(shè)A、B兩地的天2.3.1平均自信息量（續(xù)）-性質(zhì)（2）非負(fù)性等號(hào)成立的充要條件：當(dāng)且僅當(dāng)集合X中某元素xi的發(fā)生概率pi=1，其余pk=0(k≠i)，即確定概率場(chǎng)的熵值最小。物理意義：

從總體來(lái)看，若某信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其他符號(hào)幾乎都不可能出現(xiàn)，則這個(gè)信源是一個(gè)確知信源，其信源熵等于零。

2.3.1平均自信息量（續(xù)）-性質(zhì)（2）非負(fù)性2.3.1平均自信息量（續(xù)）-性質(zhì)（3）擴(kuò)展性

表明：若集合X有q個(gè)事件，另一集合X’有q+1個(gè)事件，但X’和集X的差別只是多了一個(gè)概率近于零的事件，則兩個(gè)集的熵值一樣，即：若某事件的概率同集合中其他事件相比很小時(shí)，則它對(duì)于集合的熵值的貢獻(xiàn)可以忽略。2.3.1平均自信息量（續(xù)）-性質(zhì)（3）擴(kuò)展性本性質(zhì)說(shuō)明，信源的取值增多時(shí)，若這些取值對(duì)應(yīng)的概率很小（接近于零），則信源的熵不變。雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它在熵的計(jì)算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。2.3.1平均自信息量（續(xù)）-性質(zhì)本性質(zhì)說(shuō)明，信源的取值增多時(shí)，若這些取值對(duì)應(yīng)的概率很小（接近2.3.1平均自信息量（續(xù)）-性質(zhì)（4）可加性

如果有兩個(gè)隨機(jī)變量X,Y，他們不是相互獨(dú)立的，則二維隨機(jī)變量(X,Y)的熵等于X的無(wú)條件熵加上當(dāng)X已給定時(shí)Y的條件概率定義的熵的統(tǒng)計(jì)平均值，即2.3.1平均自信息量（續(xù)）-性質(zhì)（4）可加性2.3.1平均自信息量（續(xù)）-性質(zhì)(5)極值性式中，n是集合的元素?cái)?shù)目。證明：對(duì)于任意實(shí)數(shù)，有x>0,有則可等價(jià)為2.3.1平均自信息量（續(xù)）-性質(zhì)(5)極值性2.3.1平均自信息量（續(xù)）-性質(zhì)即因此即集合X的任意概率分布pi對(duì)其他概率分布qi自信息的數(shù)學(xué)期望必不小于本身定義的熵H(p1,p2,…pq)2.3.1平均自信息量（續(xù)）-性質(zhì)即2.3.1平均自信息量（續(xù)）-性質(zhì)證明極值性

最大熵定理：離散集合中各事件等概分布時(shí)，信息熵達(dá)到最大。應(yīng)用：(1)圖像均衡處理，對(duì)比度強(qiáng)，層次豐富(2)PCB、FPGA自動(dòng)布線，獲得最穩(wěn)定的工程拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)。(3)統(tǒng)計(jì)推斷、頻譜分析、最佳編碼、故障診斷等2.3.1平均自信息量（續(xù)）-性質(zhì)證明極值性2.3.1平均自信息量（續(xù)）-性質(zhì)(6)確定性物理意義：(1)集合X中只要有一個(gè)事件為必然事件，則其余事件為不可能事件。(2)此時(shí)，集合X中每個(gè)事件對(duì)熵的貢獻(xiàn)都為零，因而熵必為零。(3)此時(shí)信源X為確定信源，不能從中獲得任何信息2.3.1平均自信息量（續(xù)）-性質(zhì)(6)確定性2.3.1平均自信息量（續(xù)）-性質(zhì)（7）上凸性

是概率分布的嚴(yán)格上凸函數(shù)。2.3.1平均自信息量（續(xù)）-性質(zhì)（7）上凸性x1x2αx1+(1-α)x2f(x)αf(x1)+

(1-α)f(x2)f[αx1+

(1-α)x2]xY02.3.1平均自信息量（續(xù)）-性質(zhì)x1x2αx1+(1-α)x2f(x)αf(x1)+(1即給定集合和取構(gòu)造則有證明：將按定義展開(kāi)，易得小于02.3.1平均自信息量（續(xù)）-性質(zhì)即給定集合第二章信息的統(tǒng)計(jì)度量?jī)?nèi)容提要

2.1自信息量和條件自信息量

2.2互信息量和條件互信息量

2.3離散集的平均自信息量

2.4離散集的平均互信息量

2.5連續(xù)隨機(jī)變量的互信息和相對(duì)熵

離散隨機(jī)變量事件第二章信息的統(tǒng)計(jì)度量?jī)?nèi)容提要離散隨機(jī)變量事件2.1自信息量和條件自信息量2.1.1自信息量

簡(jiǎn)單事件聯(lián)合事件2.1.2條件自信息量2.1自信息量和條件自信息量2.1.1自信息量自信息的推導(dǎo)某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。即：

I(ai)

＝f[p(ai)]根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)f[p(ai)]

應(yīng)滿足以下條件：（1）它應(yīng)是先驗(yàn)概率p(ai)的單調(diào)遞減函數(shù)，即當(dāng)

p

(a1)>p

(a2)時(shí)，有f[p

(a1)]

<f[p

(a2)]（2）當(dāng)p

(ai)=1時(shí)，f[p

(ai)]=0

（3）當(dāng)p

(ai)=0時(shí)，f[p

(ai)]=（4）兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。自信息的推導(dǎo)某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概

1928年，信息論的先驅(qū)者之一哈特萊(Hartley)首先研究了具有Nm個(gè)組合的單個(gè)消息信源。他對(duì)這類非概率信源進(jìn)行了研究，并給出了最早的信息度量公式,定義為可能消息量的對(duì)數(shù):I=logNm=mlogN可以證明對(duì)數(shù)函數(shù)滿足上述條件：自信息的推導(dǎo)（續(xù)）1928年，信息論的先驅(qū)者之一哈特萊(Hartley)首先2.1.1自信息量自信息量任意簡(jiǎn)單隨機(jī)事件xi的發(fā)生概率為p(xi)，則自信息量為

一、簡(jiǎn)單事件釋：(1)p(xi)≤1，表示事件xi出現(xiàn)的概率,

取“-”號(hào)的主要目的是：使I(xi)≥02.1.1自信息量自信息量任意簡(jiǎn)單隨機(jī)事件xi的發(fā)生2.1.1自信息量（續(xù)）

(2)意義：具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。

一個(gè)出現(xiàn)概率接近于1的隨機(jī)事件，發(fā)生的可能性很大，所以它包含的不確定度就很小；反之，一個(gè)出現(xiàn)概率很小的隨機(jī)事件，很難猜測(cè)在某個(gè)時(shí)刻它能否發(fā)生，所以它包含的不確定度就很大；若是確定性事件，出現(xiàn)概率為1，則它包含的不確定度為0。2.1.1自信息量（續(xù)）(2)意義：具有某種概率分2.1.1自信息量（續(xù)）(3)單位：取決于對(duì)數(shù)的底

比特（以2為底）

I(xi)=-log2

p(xi)

奈特（以e為底）

I(xi)=-loge(xi)

哈特來(lái)（以10為底）

I(xi)=-log10(xi)根據(jù)換底公式得：1nat=1.44bit,1hat=3.32bit；2.1.1自信息量（續(xù)）(3)單位：取決于對(duì)數(shù)的底根據(jù)2.1.1自信息量（續(xù)）例：英文字母中“e”出現(xiàn)概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：根據(jù)自信息量的定義，解得“e”的自信息量：“c”的自信息量：“o”的自信息量：2.1.1自信息量（續(xù)）例：英文字母中“e”出現(xiàn)概率為0.例：一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為：

I（0）=I（1）=-log2（1/2）=log22=1bit

例：若是一個(gè)m位的二進(jìn)制數(shù)，因?yàn)樵摂?shù)的每一位可從0,1兩個(gè)數(shù)字中任取一個(gè)，因此有2m個(gè)等概率的可能組合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息來(lái)指明這樣的二進(jìn)制數(shù)。

2.1.1自信息量（續(xù)）例：一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為2.1.1自信息量（續(xù)）例：一副充分洗亂了的牌（含52張牌），求：(1)任一特定排列

(2)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同的信息量？。解：依題意1)52張牌共有52!種排列，假設(shè)每種排列方式等概出現(xiàn),則所給出的信息量2)52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：2.1.1自信息量（續(xù)）例：一副充分洗亂了的牌（含52張牌2.1.1自信息量（續(xù)）聯(lián)合自信息量二維聯(lián)合集XY上元素(xiyj)

的自信息量定義為其中，xiyj

是積事件；

p(xiyj)

是二維聯(lián)合概率二、聯(lián)合事件2.1.1自信息量（續(xù)）聯(lián)合自信息量二維聯(lián)合集XY例：同時(shí)拋一對(duì)質(zhì)地均勻的骰子，每個(gè)骰子各面朝上的概率均為1/6。試求：（1）“3和5同時(shí)發(fā)生”的自信息量（2）“兩個(gè)1同時(shí)發(fā)生”的自信息量（3）“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量解：（1）甲3乙5，甲5乙3p(A)=1/36×2=1/18I(A)=-logp(A)=4.17bit（2）甲1乙1p(B)=1/36I(B)=-logp(B)=5.17bit（3）扣掉甲、乙都不是1的概率

p(C)=1-6/5×5/6=11/36I(C)=-logp(C)=1.71bit

2.1.1自信息量（續(xù)）例：同時(shí)拋一對(duì)質(zhì)地均勻的骰子，每個(gè)骰子各面朝上的概率均為1/2.1.2條件自信息量條件自信息量若事件xi在事件yj給定條件下的概率為p(xi|yj)，則其條件自信息量定義為因?yàn)閜(xi|yj)≤1

，所以條件自信息量非負(fù)，即：I(xi|yj)≥0。釋：①I(xi)是事件xi本身所具有的不確定性；

②I(xi

|yj)是事件yj

發(fā)生后，事件xi

尚存在的不確定性；③條件自信息量單位同自信息量。2.1.2條件自信息量條件自信息量若事件xi在事件yj2.1.2條件自信息量（續(xù)）概率知識(shí)復(fù)習(xí)1.乘法公式2.全概率公式3.條件概率公式4.貝葉斯公式2.1.2條件自信息量（續(xù)）概率知識(shí)復(fù)習(xí)2.1.2條件自信息量（續(xù)）例：有一正方形棋盤，分64個(gè)格，如果甲將一棋子放在某格內(nèi)，讓乙猜測(cè)。1.將方格按順序編號(hào)（1,2,…,64），讓乙猜測(cè)棋子所在格的序號(hào)。2.將方格按行，列編號(hào)(如圖所示)，甲告訴乙棋子所在行或者列的編號(hào)，讓乙猜測(cè)位置。計(jì)算乙猜中的信息量。2.1.2條件自信息量（續(xù)）例：有一正方形棋盤，分64個(gè)格Answer:1）2）2.1.2條件自信息量（續(xù)）Answer:1）2）2.1.2條件自信息量（2.2互信息量和條件互信息量2.2.1互信息量定義性質(zhì)2.2.2條件互信息量2.2互信息量和條件互信息量2.2.1互信息量2.2.1互信息量一、互信息量定義

對(duì)兩個(gè)離散隨機(jī)事件集X和Y，事件yj的出現(xiàn)給出關(guān)于事件xi的信息量，其定義式為

物理意義：互信息量是一種消除的不確定性的度量?；バ畔⒘?先驗(yàn)的不確定性-尚存在的不確定性。表示事件xi發(fā)生后傳遞給事件yj的信息量；表示事件yj發(fā)生所能提供的關(guān)于事件xi的信息量。I(xi;

yj)=2.2.1互信息量一、互信息量定義I(xi;yj)=例：

8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問(wèn)每進(jìn)行一次測(cè)量可獲得多少信息量？解：收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)2.2.1互信息量（續(xù)）例：8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8，即第二次測(cè)量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測(cè)量獲得的信息量=

I[P(x3)]=1(bit)第一次測(cè)量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過(guò)二次測(cè)量后，剩2個(gè)燈泡，等概率損壞，P(x3)＝1/2一次測(cè)量后，剩4個(gè)燈泡，等概率損壞，P(x2)＝1/42.2.1互信息量（續(xù)）已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8，例：求：當(dāng)接收信號(hào)為A2時(shí)，哪個(gè)電臺(tái)發(fā)射的可能性大？2.2.1互信息量（續(xù)）例：解：從概率論角度分析，根據(jù)貝葉斯公式從互信息量角度分析接收H2可能性大接收H2可能性大2.2.1互信息量（續(xù)）解：從概率論角度分析，根據(jù)貝葉斯公式接收H2可能性大接收H2二、互信息量的性質(zhì)（1）互易性

由事件提供的有關(guān)事件的信息量等于由事件提供的有關(guān)事件的信息量。（2）互信息量可為零

當(dāng)事件xi,yj彼此統(tǒng)計(jì)獨(dú)立，I(xi

;

yj)=0。表明：當(dāng)事件xi同yj相互獨(dú)立時(shí)，不能通過(guò)對(duì)事件yj的觀測(cè)獲得關(guān)于另一事件xi的任何信息。2.2.1互信息量（續(xù)）二、互信息量的性質(zhì)2.2.1互信息量（續(xù)）（3）互信息量小于自信息量

任何兩個(gè)事件之間的互信息量不可能大于其中任一事件的自信息量。

I(xi

;

yj)≤I(xi

)

I(xi

;

yj)≤I(yj)

物理意義

表明：自信息量I(xi)是為了確定事件xi的出現(xiàn)所必需提供的信息量，也是任何其他事件所能提供的關(guān)于事件xi的最大信息量。2.2.1互信息量（續(xù)）（3）互信息量小于自信息量2.2.1互信息量（續(xù)）（4）互信息量I(xi

;

yj)可正可負(fù)

在給定觀測(cè)數(shù)據(jù)yj的條件下，事件xi出現(xiàn)的概率p(xi|yj),稱為后驗(yàn)概率。當(dāng)后驗(yàn)概率大于先驗(yàn)概率，即p(xi|yj)>p(xi)時(shí)，互信息量為正值，即I(xi

;yj)

>0；當(dāng)后驗(yàn)概率小于先驗(yàn)概率，即p(xi|yj)<p(xi)時(shí)，互信息量為負(fù)值，即I(xi

;yj)<0。

物理意義：互信息量為正，意味著事件yj的出現(xiàn)有助于肯定事件xi的出現(xiàn)；反之，則是不利的。造成不利的原因是由于信道干擾引起的。2.2.1互信息量（續(xù)）（4）互信息量I(xi;yj)可正可負(fù)2.2.1互信信源信息01234567三位二進(jìn)制代碼組000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1p(ui)1/41/41/81/81/161/161/161/16例:已知信源包含8個(gè)數(shù)字消息0，1，2，3，4，5，6，7。為了在二進(jìn)制信道上傳輸，用信源編碼器把這8個(gè)十進(jìn)制數(shù)編成三位二進(jìn)制代碼組，信源各消息（符號(hào)）的先驗(yàn)概率及相應(yīng)的代碼組見(jiàn)下表,求互信息量2.2.2條件互信息量（續(xù)）信源信息01234567三位0000010100111001解:I(ui;x0)表示譯碼器收到第一個(gè)碼元x0后提供的關(guān)于消息ui的信息量。按貝葉斯公式有,后驗(yàn)概率為故接到第一個(gè)碼元“0”后的后驗(yàn)概率為

2.2.2條件互信息量（續(xù)）解:I(ui;x0)表示譯碼器收到第一個(gè)碼元x0后提供的關(guān)求得互信息量為如表示：譯碼器收到第一個(gè)碼元“0”后，提供的有關(guān)消息u3的信息量為0.415bits。

2.2.2條件互信息量（續(xù)）求得互信息量為2.2.2條件互信息量（續(xù)）同理求接到01后的后驗(yàn)概率接到011后的后驗(yàn)概率，按貝葉斯公式有

2.2.2條件互信息量（續(xù)）同理求接到01后的后驗(yàn)概率2.2.2條件互信息量（續(xù)）后驗(yàn)概率分布2.2.2條件互信息量（續(xù)）后驗(yàn)概率分布2.2.2條件互信息量（續(xù)）得到此式表示譯碼器收到碼元“01”后，提供的有關(guān)消息的信息量為2bit.

此式表示譯碼器收到碼元“011”后，提供的有關(guān)消息的信息量為3bit。

2.2.2條件互信息量（續(xù)）得到2.2.2條件互信息量（續(xù)）2.2.2條件互信息量

定義：在聯(lián)合集XYZ中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量。其定義式為

2.2.2條件互信息量定義：在聯(lián)合集XYZ中2.2.2條件互信息量（續(xù)）在XYZ聯(lián)合集上還存在事件xi與積事件yjzk之間的互信息量，其定義式為表明：事件yj和zk同時(shí)出現(xiàn)后所提供的關(guān)于xi的信息量I(xi

;

yjzk)

等于事件yj出現(xiàn)后所提供的關(guān)于xi的互信息量I(xi

;

yj)加上在已知yj的條件下由事件zk所提供的關(guān)于xi的信息量I(xi

;

zk|yj)

。2.2.2條件互信息量（續(xù)）在XYZ聯(lián)合例:已知信源包含8個(gè)數(shù)字消息0,1,2,3,4,5,6,7。為了在二進(jìn)制信道上傳輸，用信源編碼器把這8個(gè)十進(jìn)制數(shù)編成三位二進(jìn)制代碼組，信源符號(hào)的先驗(yàn)概率見(jiàn)下表求：1）求在給定x0條件下，消息u3與y1之間的條件互信息量。2）求在給定x0y1條件下，消息u3與z1之間的條件互信息量。3）求消息u3與代碼組之間的互信息量。消息01234567三位二進(jìn)制代碼組000001010011100101110111x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1p(ui)1/41/41/81/81/161/161/161/162.2.2條件互信息量（續(xù)）例:已知信源包含8個(gè)數(shù)字消息0,1,2,3,4,5,6,7解：接收到代碼‘0’，‘01’和‘011’的后驗(yàn)概率分別為2.2.2條件互信息量（續(xù)）解：接收到代碼‘0’，‘01’和‘011’的后驗(yàn)概率分別為2在給定x0條件下,消息u3與y1之間的條件互信息量I(u3;y1|x0)在給定x0y1條件下，消息u3與z1之間的條件互信息量I(u3;z1|x0y1)2.2.2條件互信息量（續(xù)）在給定x0條件下,消息u3與y1之間的條件互信息量I(u消息u3與代碼組x0y1z1之間的互信息量I(u3;x0y1z1)解法二：根據(jù)定義直接得到2.2.2條件互信息量（續(xù)）消息u3與代碼組x0y1z1之間的互信息量I(u3;x2.3離散集的平均自信息量2.3.1平均自信息量（熵,Entropy）

熵的定義

熵的性質(zhì)2.3.2條件熵和聯(lián)合熵2.3.3各種熵的關(guān)系2.3.4加權(quán)熵

加權(quán)熵定義

加權(quán)熵性質(zhì)2.3離散集的平均自信息量2.3.1平均自信息量（熵,E一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。解:依據(jù)題意這一隨機(jī)事件的概率空間為

引出一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件.如果摸出的是紅球，則獲得的信息量是

I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，則獲得的信息量是

I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取n次，紅球出現(xiàn)的次數(shù)為np（x1）次，白球出現(xiàn)的次數(shù)為np（x2）次。隨機(jī)摸取n次后總共所獲得的信息量為

np（x1）I（x1）+np（x2）I（x2）引出（續(xù)）其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件則平均隨機(jī)摸取一次所獲得的信息量為

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次說(shuō)明：自信息量I（x1）和I（x2）只是表征信源中各個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著多個(gè)符號(hào)消息，各個(gè)符號(hào)消息又按概率空間的先驗(yàn)概率分布，因而各個(gè)符號(hào)的自信息量就不同。所以自信息量不能作為信源總體的信息量。引出（續(xù)）則平均隨機(jī)摸取一次所獲得的信息量為=0.72比特/次說(shuō)明：1、概率論的核心概念是隨機(jī)變量。隨機(jī)變量的精確描述是分布律和概率密度。隨機(jī)變量的粗略描述是數(shù)字特征(均值和方差)。2、信息論的核心概念是信息。信息的精確描述是信息量(自信息量、條件自信息量和互信息量)。信息的粗略描述是什么？——熵引出（續(xù)）1、概率論的核心概念是隨機(jī)變量。引出（續(xù)）2.3.1平均自信息量（熵,Entropy）一、平均自信息量定義在離散集X上，隨機(jī)變量I(xi)的數(shù)學(xué)期望定義為平均自信息量又稱作集X的信息熵，簡(jiǎn)稱熵。釋：信息熵和統(tǒng)計(jì)力學(xué)中熱熵表達(dá)式在形式上相同。熱熵描述一個(gè)系統(tǒng)在某時(shí)刻可能出現(xiàn)的有關(guān)狀態(tài)的不確定程度。2.3.1平均自信息量（熵,Entropy）一、平均自信息2.3.1平均自信息量（續(xù)）

(2)信息熵H(X)是信源輸出消息xi的自信息量I(xi)的概率加權(quán)平均值，即統(tǒng)計(jì)平均值。

信息熵H(X)是從平均意義上表征信源總體的一個(gè)量，是信源的統(tǒng)計(jì)平均不確定性的描述。2.3.1平均自信息量（續(xù)）(2)信息熵H(X)是信有兩個(gè)信源，其概率空間分別為信息熵分別為H(X)=-0.99log0.99-0.01log0.01=0.08比特/符號(hào)H(Y)=-0.5log0.5-0.5log0.5=1比特/符號(hào)可見(jiàn)H(Y)>H(X)結(jié)論：信源Y的二個(gè)輸出消息是等可能性的，所以事先猜測(cè)哪一個(gè)消息出現(xiàn)的不確定性要大；信源X的二個(gè)輸出消息不是等概率的，事先猜測(cè)x1和x2哪一個(gè)出現(xiàn)，雖然具有不確定性，但大致可以猜出x1會(huì)出現(xiàn)，所以信源X的不確定性要?。恍畔㈧胤从车木褪切旁摧敵銮捌骄淮_定程度的大小。2.3.1平均自信息量（續(xù)）有兩個(gè)信源，其概率空間分別為2.3.1平均自信息量（續(xù)）2.3.1平均自信息量（續(xù)）(3)信息熵是概率矢量P=(p1,p2,…pq)的函數(shù)(4)單位：由自信息量單位確定。以2為底時(shí)，記為H(x)

以r為底時(shí)，記為Hr(x)例：中、英、俄、法、西五國(guó)文字的信息熵法文3.98bit西班牙文4.01bit

英文4.03bit俄文4.35bit

中文9.65bit2.3.1平均自信息量（續(xù)）(3)信息熵是概率矢量P=(例：設(shè)甲地的天氣預(yù)報(bào)為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預(yù)報(bào)為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。2.3.1平均自信息量（續(xù)）例：設(shè)甲地的天氣預(yù)報(bào)為：晴(占4／8)、陰(占2／8)、大雨解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為則其提供的平均信息量即信源的信息熵:乙地天氣預(yù)報(bào)的信源空間為:結(jié)論：甲地天氣預(yù)報(bào)提供的平均信息量大于乙地，因?yàn)橐业乇燃椎氐钠骄淮_定性小。解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為則其提供的平均信息量即信源的甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時(shí)信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各種天氣等概率分布甲地極端情況極端情況1：晴天概率＝1結(jié)論：等概率分布時(shí)信源乙地極端情況極端情況1：晴天概率＝1

結(jié)論：在極端情況2下，甲地比乙地提供更多的信息量。因?yàn)?，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。極端情況2：各種天氣等概率分布乙地極端情況極端情況1：晴天概率＝1結(jié)論：在極端情況2下例：電視屏上約有500×600=3×105個(gè)格點(diǎn)，按每點(diǎn)有10個(gè)不同的灰度等級(jí)考慮，則共能組成n=103x10個(gè)不同的畫(huà)面。按等概率1/103x10計(jì)算，平均每個(gè)畫(huà)面可提供的信息量為

=3×105×

3.32比特/畫(huà)面

2.3.1平均自信息量（續(xù)）例：電視屏上約有500×600=3×105個(gè)格例：有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文

N=100001000=104000篇仍按等概率1/100001000計(jì)算，平均每篇千字文可提供的信息量為

H（X）＝log2N

＝4×103×3．321．3×104比特／千字文

比較：“一個(gè)電