信息論第二章信息度量

1、關(guān)于信息論第二章信息的度量第1頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四內(nèi)容提要：根據(jù)香農(nóng)對(duì)于信息的定義，信息是一個(gè)系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，研究的是信息的處理、傳輸和存儲(chǔ)，所以對(duì)于信息的定量計(jì)算是非常重要的。本章主要從通信系統(tǒng)模型入手，研究離散情況下各種信息的描述方法及定量計(jì)算，討論它們的性質(zhì)和相互關(guān)系。第2章 信息的度量第2頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四2.1 自信息量和互信息量 一個(gè)事件的自信息量就是對(duì)其不確定性的度量?；バ畔⒘縿t表明了兩個(gè)隨機(jī)事件的相互約束程度。 對(duì)于隨機(jī)事件集X = x1，x2，xi，xI中的隨機(jī)事件xi，其出現(xiàn)概率

2、記為q(xi)，將兩個(gè)事件xi ,yj同時(shí)出現(xiàn)的概率記為p(xi yj)，則q(xi) ，p(xi yj)應(yīng)滿足： 相應(yīng)的條件概率為第3頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四信息量直觀的定義為：收到某消息獲得的信息量 = 不確定性減少的量 將某事件發(fā)生所得到的信息量記為I(x)，I(x)應(yīng)該是該事件發(fā)生的概率的函數(shù)，即I(x)=fq(x) 211 自信息量和條件自信息量第4頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四自信息量 聯(lián)合 自信息量條件 自信息量信息量第5頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四1自信息量 直觀地看，自信息量的定義應(yīng)滿足以下

3、四點(diǎn)： a. I(x)應(yīng)該是q(x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量??；b.信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各事件自信息量之和；c.當(dāng)q(x)=1時(shí)，I(x)= 0：表示確定事件發(fā)生得不到任何信息； d.當(dāng)q(x)=0時(shí)，I(x)：表示不可能事件一旦發(fā)生，信息量將無(wú)窮大。 第6頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四綜合上述條件，將自信息量定義為: (2-1) 自信息量的單位與log函數(shù)所選用的對(duì)數(shù)底數(shù)有關(guān)， 如底數(shù)分別取 2、 e、 10，則自信息量單位分別為：比特、奈特、哈特第7頁(yè)，共88頁(yè)，2022

4、年，5月20日，8點(diǎn)41分，星期四一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0,1)所包含的自信息量為1bit。第8頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四【例2.3】若盒中有6個(gè)電阻，阻值為1、2、3的分別為2個(gè)、1個(gè)、3個(gè)，將從盒子中取出阻值為i的電阻記為事件 （i = 1，2，3），則事件集X = x1, x2, x3，其概率分布 計(jì)算出各事件的自信息量列表2-1如下：消息xi x1 x2 x3 概率分布q (xi) 1/3 1/6 1/2 自信息量I (xi) log 3 log 6 log 2 第9頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四自信息量具有下列性質(zhì):圖2

5、.1 對(duì)數(shù)曲線1是非負(fù)值。第10頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四23的單調(diào)遞減函數(shù)。4自信息量第11頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四自信息量I(xi)代表兩種含義： 1.事件xi發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性2.當(dāng)事件xi發(fā)生以后，表示事件xi所能提供的最大信息量（在無(wú)噪情況下）第12頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 二維聯(lián)合集X Y上元素xi yj的聯(lián)合自信息量I(xi yj)定義為： (2-3) 2.聯(lián)合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=第13頁(yè)，共88頁(yè)，2022年，5月20日，

6、8點(diǎn)41分，星期四3.條件自信息量 在已知事件yj條件下,隨機(jī)事件xi發(fā)生的概率為條件概率(xiyj),條件自信息量 定義為： (2-5)代入式自信息量的公式就有第14頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 聯(lián)合自信息量和條件自信息也滿足非負(fù)和單調(diào)遞減性 ，同時(shí)，它們也都是隨機(jī)變量。 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式：4.聯(lián)合自信息量和條件自信息量間的關(guān)系第15頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 【例2.6】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若： 1. 甲只知道乙住在第5棟，他

7、找到乙的概率有多大？他能得到多少信息？ 2.甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶號(hào)：（1）甲找到乙這一事件是二維聯(lián)合集X Y上的等概分布 ，這一事件提供給甲的信息量為 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特） （2）在二維聯(lián)合集X Y上的條件分布概率為 ，這一事件提供給甲的信息量為條件自信息量 I(yjxi) = -log p(yjxi) = log12 = 3.585（比特） 第16頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四1.互信息量 信源符

8、號(hào)X=x1，x2，xI ，xia1,a2,ak，i = 1,., I。 信宿方接收到符號(hào)Y = y1，y2，yJ，yjb1,b2,bD，j = 1, 2, ,J。圖21簡(jiǎn)單的通信模型x1，x2，xIy1，y2，yJ信源符號(hào)集a1,a2, ak信源 b1,b2,bD信宿符號(hào)集干擾信道信宿212 互信息量和條件互信息量第17頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 事件xi是否發(fā)生具有不確定性，用I(xi)度量。 接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xiyj)度量。 觀察事件前后，這兩者之差就是通信過(guò)程中所獲得的信息量，用I(xi ; yj )表示： 。

9、注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的區(qū)別在于：前者是事件xiX和事件yjY之間的互信息量，后者是二維空間XY 上元素xi yj 的自信息量。稱(chēng)(2-6)式為事件xi和事件yj之間的互信息量。（2-6）第18頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四根據(jù)概率互換公式p(xi yj) = p(yjxi)q(xi)=(xiyj)(yj) 互信息量I(xi ;yj )有多種表達(dá)形式: (2-7) (2-8)第19頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四先驗(yàn)不定度（聯(lián)合自信息量） 發(fā)送接收物理解釋?zhuān)和ㄐ徘暗?0頁(yè)，共88頁(yè)，2022年，

10、5月20日，8點(diǎn)41分，星期四后驗(yàn)不定度 通信后發(fā)送接收第21頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差第22頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四將事件互信息量的概念推廣至多維空間：在三維X Y Z聯(lián)合集中，有： I(xi ; yj zk)= I(xi ; yj )+ I(xi; zkyj) （2-9） 類(lèi)似，在N維U1 U2 UN聯(lián)合空間,有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + I (u1; uNu2

11、 uN -1) （2-10） 第23頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四三維X Y Z聯(lián)合集中，在給定條件zk的情況下, xi , yj的互信息量I(xi ;yjzk )定義為： （2-11）2條件互信息量第24頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四3互信息量的性質(zhì) （1）互易性 對(duì)稱(chēng)性 I(xi ;yj )= I(yj ; xi) (2-12) （2）可加性：第25頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四（4） 互信息量I(xi ;yj)可以是正數(shù)，也可以是負(fù)數(shù)。 （3）當(dāng)xi ,yj統(tǒng)計(jì)獨(dú)立時(shí)，互信息量I(xi ;yj) = 0及條件互

12、信息量（5）兩個(gè)事件的互信息量不大于單個(gè)事件的自信息量，即有： （2-13） 第26頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四【例2.8】信源包含7個(gè)消息x0,x1,x2,x3,x4,x5,x6 信源編碼器將其對(duì)應(yīng)編成7個(gè)三位二進(jìn)制數(shù)000，001,110。各消息的先驗(yàn)概率已知，在接收過(guò)程中，每收到一個(gè)數(shù)字，各消息的后驗(yàn)概率都相應(yīng)地發(fā)生變化?？紤]在接受100三個(gè)數(shù)字的過(guò)程中，各后驗(yàn)概率的變化，計(jì)算信息量I(x4;100)。信源消息碼字消息先驗(yàn)概率消息后驗(yàn)概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 01

13、11/16000 x4 1001/22/34/51x5 1011/81/61/50 x61101/81/600表2-4為7個(gè)三位二進(jìn)制數(shù)對(duì)應(yīng)的各種概率。第27頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 根據(jù)給定的先驗(yàn)概率，可算出： P (x4100) = 1第28頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 將各種后驗(yàn)概率的計(jì)算結(jié)果列于表2-3中，再根據(jù)式（2-10）計(jì)算出互信息量：I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) (比特) 也可直接計(jì)算出： (比特)第29頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分

14、，星期四22 離散集的平均自信息量 信源熵熵條件熵聯(lián)合熵第30頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四22 離散集的平均自信息量 1平均自信息量(熵) 無(wú)記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為： （2-15 ） H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類(lèi)似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱(chēng)為集合X的信息熵，簡(jiǎn)稱(chēng)熵。 第31頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四【例2.9】計(jì)算下列信源的熵（1）信源一： 熵 H(X1) =-0.99 log 0.99 0.01 log 0

15、.01 = 0.08 比特/符號(hào)（2）信源二：等概信源熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1 比特/符號(hào)（3）信源三: 等概信源熵 H(X3) = -40.25 log 0.25 = log4 = 2 比特/符號(hào)第32頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 (5) 信源五：一般情況下，二元信源的概率分布為 熵 H(X) = log -（1-）log（1-）記H2() = log -（1-）log（1-）H2()與的關(guān)系如圖2-2所示。（4）信源四： 信源為確定事件 熵H(X4) = - 0 log 0 1 log 1 = 0 計(jì)算結(jié)

16、果說(shuō)明確定事件的熵為零 H 2() 0 0.5 1 圖 2-2 H2()與關(guān)系第33頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四信源熵與信息量的比較 信源的平均不確定度消除不定度得到信息與信源是否輸出無(wú)關(guān) 接收后才得到信息 確定值 一般為隨機(jī)量 有限值 可為無(wú)窮大 熵 信息量信源熵和平均自信息量?jī)烧咴跀?shù)值上是相等的，但含義并不相同第34頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四總括起來(lái)，信源熵有三種物理含義：信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機(jī)性。123第35頁(yè)，共

17、88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四2平均條件自信息量(條件熵)（2-16） 若事件xi yj的聯(lián)合分布概率為p(xi yj )，給定yj條件下事件xi的條件自信息量為I (xiyj)，則H (XY) 定義為：第36頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四當(dāng)X ,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，則 （2-17） 從通信角度來(lái)看：若將X = x1，x2，xi，視為信源輸出符號(hào)； Y = y1，y2，yj，視為信宿接收符號(hào)；I (xiyj)可看作信宿收到y(tǒng)j后，關(guān)于發(fā)送的是否為xi仍然存在的疑義度（

18、不確定性），則 反映了經(jīng)過(guò)通信后，信宿符號(hào)yj（j = 1, 2,）關(guān)于信源符號(hào)xi（i = 1, 2,）的平均不確定性。第37頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四類(lèi)似，若給定xi條件下事件yj的條件自信息量為I (yjxi)，則H (YX)定義為 （2-18）當(dāng)X ,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p (xi yj) = q ( xi )( yj )， ，則 （2-19）存在以下兩種極端情況： （1）對(duì)于無(wú)噪信道H (XY) = 0 （2）在強(qiáng)噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計(jì)獨(dú)立，H (XY) = H (X) 第38頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四（2

19、）對(duì)于強(qiáng)噪信道，有H (YX)= H (Y) 。（1） 對(duì)于無(wú)擾信道，有H (YX) = 0。 從通信角度來(lái)看，H (YX)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱(chēng)H (YX)為噪聲熵（散布度）。 存在以下兩種極端情況：第39頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H(X Y)= H(X)+ H(Y) (2-22)上式反映了信息的可加性。當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有3聯(lián)合熵 聯(lián)合熵H (XY) 是定義在二維空間X Y上，對(duì)

20、元素xi yj的自信息量的統(tǒng)計(jì)平均值，若記事件xi yj出現(xiàn)的概率為p (xi yj)，其自信息量為I (xi yj)，則聯(lián)合熵H (X Y) 定義為 （2-20） 第40頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四1凸集合與凸函數(shù)簡(jiǎn)單介紹凸集和凸函數(shù)的概念。定義2.1 是n維實(shí)矢量空間集合R中任意兩個(gè)n維矢量，對(duì)實(shí)數(shù)，0 1，有 +（1-） R則稱(chēng)R為凸集合。 222 熵函數(shù)的性質(zhì)第41頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四圖23 一維和二維凸集合的例子凸集合非凸集合 從幾何上來(lái)看，若，是集合R中的任意兩點(diǎn)，+（1-）表示這兩點(diǎn)間的連線，若該連線也在集合R中，則

21、稱(chēng)為R凸集。下面給出了幾個(gè)凸集和非凸集合的例子。第42頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 定義2.2 設(shè)f(x) = f (x1, x2, , xn) 為一個(gè)n元函數(shù)，若對(duì)任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23)x0 x1 x1+(1-) x2 x2 圖2-4 一元型凸函數(shù)f (x1)f (x1)+(1-) f (x2) f x1+(1-)x2 f (x)f (x2)則稱(chēng)f(x)為定義域上的型凸函數(shù)。一元型凸函數(shù)可用圖2-4所示的幾何圖形表示。第43頁(yè)，共88頁(yè)，202

22、2年，5月20日，8點(diǎn)41分，星期四定義2.3 設(shè)f(x) = f (x1, x2, , xn) 為一個(gè)n元函數(shù)，若對(duì)任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-24)圖2-5 一元型凸函數(shù)x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )則稱(chēng)f(x)為定義域上的型凸函數(shù)，一元型凸函數(shù)可用圖2-5所示的幾何圖形表示。第44頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四2極大離散熵定理 設(shè)信源的消息個(gè)數(shù)為M

23、，則H(X) logM，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概 時(shí)成立，即各消息等概分布時(shí)，信源熵最大。證明方法一：利用不等式log x x - 1等號(hào)在x = 1時(shí)成立（見(jiàn)圖 2-6） 圖2-6 logx x1關(guān)系 曲線x-1 log x 10 x第45頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四上面兩種證明方法是信息論中經(jīng)常用到的證明方法 證明方法二：利用log x的型凸函數(shù)性質(zhì) = log 1 = 0 證畢H(X)-log M第46頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四3熵函數(shù)的性質(zhì) （1）對(duì)稱(chēng)性集合X = x1，x2，xN 中的各元素x1，x2，xN任意改變其順序

24、時(shí)，熵只和分布（概率）有關(guān)，不關(guān)心某個(gè)具體事件對(duì)應(yīng)哪個(gè)概率。例如 和 的熵是相等的。第47頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 （4）擴(kuò)展性：離散事件集 ，增加一個(gè)不可能事件xN+1后，得到集合，0，則兩個(gè)集合的熵相等 （2）非負(fù)性：H(X) 0 （3）確定性：在集合X = (x1，x2，xN)中，若有一個(gè)事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為 第48頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四（5）可加性：集合X = x1，x2，xi，xi+1，xN的概率分布為：則下式成立：H(X)= H(x1，x2，xi，xi+1，xN) （2-25

25、）（6）條件熵小于等于無(wú)條件熵即：H (XY) H (X) X,Y 統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。 第49頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四（7） 聯(lián)合熵大于等于獨(dú)立事件的熵，小于等于兩獨(dú)立事件熵之和，即： （2-26） H (XY) H (X) + H (Y) （2-27）第50頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四23離散集的平均互信息量1平均互信息量定義xi X和yj Y之間的互信息量為I(xi ;yj )，在集合X上對(duì)I(xi ;yj )進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I(X;yj)為： 231 平均互信息量 （2-28）第51頁(yè)，共88頁(yè)，2022年，5月20

26、日，8點(diǎn)41分，星期四再將式（2-28）對(duì)集合Y進(jìn)行統(tǒng)計(jì)平均，就可以得到平均互信息量 （2-30 ） 當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，I(xi ;yj )= 0，從而I(X ; Y)= 0 第52頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四【例2.14】二元等概信源 ，通過(guò)信道轉(zhuǎn)移概率為 的信道傳輸，信宿接收符號(hào)Y = y0, y1，計(jì)算信源與信宿間的平均互信息量I（X；Y）。（1） 先根據(jù) 計(jì)算出 （2）由 計(jì)算后驗(yàn)概率第53頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 （3）計(jì)算各消息之間的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） 第54頁(yè)，共88頁(yè)

27、，2022年，5月20日，8點(diǎn)41分，星期四（4） 計(jì)算平均互信息量 （比特） 第55頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 對(duì)上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量 （2-31）式中p(xi yj zk)滿足 2平均條件互信息量 平均條件互信息量I(X;YZ)是在聯(lián)合概率空間XYZ，p(xyz)上定義的物理量。由式（2-11）知道 第56頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四1 平均互信息量的性質(zhì)232 平均互信息量的性質(zhì) (1) 非負(fù)性： （2-32） (2)互易性： I(X ; Y)= I(Y ; X) （2-33） 由 的對(duì)稱(chēng)

28、性可得到。 (3)第57頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四I(X;Y)= H（X）-H（XY）(2-35)I(X;Y)= H（Y）-H（YX） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY )(2-37) )2平均互信息量與信源熵、條件熵的關(guān)系2-7維拉圖它們之間的關(guān)系可以用維拉圖表示第58頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性,H（XY）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過(guò)程中得到的關(guān)于X,Y的平均互信息量。 對(duì)于無(wú)擾信道，I(X ;

29、 Y)=H(X)。 對(duì)于強(qiáng)噪信道，I(X ; Y)= 0。從通信的角度來(lái)討論平均互信息量I(X ; Y)的物理意義由第一等式I(X;Y)= H（X）-H（XY）看I(X;Y)的物理意義第59頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 對(duì)于無(wú)擾信道，有I(X ; Y)=H(X)=H(Y)。 對(duì)于強(qiáng)噪信道，有H（YX）= H（Y），則I(X ; Y ) = 0。H(Y)是觀察到Y(jié)所獲得的信息量，H（YX）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性， 二者之差I(lǐng)(X ; Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意義第6

30、0頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+ H(Y)， 通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)+ H(Y)- H(XY)就是通信過(guò)程中不確定性減少的量，也就是通信過(guò)程中獲得的平均互信息量I(X ; Y)。由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意義第61頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四【例2.15】已知信源消息集為X=0,1,接收符號(hào)集為Y=0,1，通過(guò)有擾信道傳輸，其傳輸特性如圖2-8所示，這是一個(gè)二進(jìn)制對(duì)稱(chēng)信道BS

31、C。已知先驗(yàn)概率 , 計(jì)算平均互信息量I( X;Y)及各種熵。 0 1- 0 1 1- 1 圖2-8 二進(jìn)制對(duì)稱(chēng)信道記 q(x)為信源輸入概率； (y)為信宿輸出概率； p(yx)為信道轉(zhuǎn)移概率； (xy)為后驗(yàn)概率。第62頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四（1）由圖2-8得 ，先算出p(xi yj)= q(xi)p(yjxi) （2）計(jì)算 得：第63頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 （3） 計(jì)算后驗(yàn)概率，得： （4）計(jì)算各種熵及平均互信息量：信源熵 信宿熵 聯(lián)合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5 =

32、log2 - (1-) log (1-)-log = log2 + H 2 () 式中：第64頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()平均互信息量 I(X ;

33、Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 () 第65頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四研究通信問(wèn)題，主要研究的是信源和信道，它們的統(tǒng)計(jì)特性可以分別用消息先驗(yàn)概率q(x)及信道轉(zhuǎn)移概率p(yx)來(lái)描述，而平均互信息量I(X ; Y)是經(jīng)過(guò)一次通信后信宿所獲得的信息。由式（2-30）知道，平均互信息量定義為： （2-38）233 有關(guān)平均互信息量的兩條定理上式說(shuō)明I(X ; Y)是信源分布概率q(x)和信道轉(zhuǎn)移概率p(yx)的函數(shù)，下面兩條定理闡明了I(X ; Y)與q(x)和p(yx)之間的關(guān)系。第66頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)

34、41分，星期四定理2.1 當(dāng)信道給定，即信道轉(zhuǎn)移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的型凸函數(shù)。 兩個(gè)信源分布q1(x)和q2(x)，分別對(duì)應(yīng)平均互信息量I1(X ; Y)和I2(X ; Y)，記概率分布q(x)=q1(x)+(1-)q2(x) （式中0 1），對(duì)應(yīng)平均互信息量I(X ; Y)，若I(X ; Y)是型凸函數(shù)，則應(yīng)滿足： I1(X ; Y)+(1-) I2(X ; Y) I(X ; Y) （2-39）式(2-39)表示：函數(shù)的均值小于等于均值的函數(shù)，見(jiàn)圖2-9 圖2-9函數(shù)的均值均值的函數(shù)q1 q1+(1-) q2 q2 q(x)I (q1)+(

35、1-) I (q2Iq(x)I q1+(1-) q2第67頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 定理2.1說(shuō)明，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大。【例2.16】二進(jìn)制對(duì)稱(chēng)信道BSC如圖2-10所示，輸入符號(hào)集X =x1,x2=0,1，輸出符號(hào)集Y =y1,y2=0,1，信道轉(zhuǎn)移概率矩陣 ，信源分布為： ，計(jì)算平均互信 息量 I(X;Y)= H（Y）-H（YX） 0 1- 0 1 1- 1 圖2-10 二進(jìn)制對(duì)稱(chēng)信道第68頁(yè)，共88頁(yè)，2022年，5月20日

36、，8點(diǎn)41分，星期四先由 算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = = 1-(0) 再計(jì)算熵和條件熵 = H2 (1-) + (1-) = - (1-) log (1-)-log= H2 ()第69頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四則平均互信息量I(X;Y)= H（Y)-H（YX）= H2 (1-) + (1-) - H2 () 當(dāng)信道固定，即 為恒值，則I(X;Y)是的函數(shù)，其曲線如下圖2-11所示。當(dāng)= 0.5時(shí),I(X ; Y)取得極大值，其值為log 2 -H2(),這種情況對(duì)應(yīng)等概分布,信源的平均不確定

37、性最大. 當(dāng)= 0或1時(shí)，這是確定信源的情況，通信得不到任何信息，即I(X ; Y) = 0。圖2-11為恒值時(shí)的I(X;Y)曲線0 0.5 1log 2 -H2()I(X;Y)第70頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四定理2.2 當(dāng)信源給定，即信源分布概率q(x)固定，平均互信息量I(X ; Y)是信道轉(zhuǎn)移概率p(yx)的型凸函數(shù)。在信源固定的情況下，如果給定兩個(gè)信道轉(zhuǎn)移概率p1(yx)和p2(yx)，它們分別對(duì)應(yīng)平均互信息量I1(X ; Y)和I2(X ; Y)，記信道轉(zhuǎn)移概率p(yx)=p1(yx)+(1-) p2(yx) (式中（0 1），對(duì)應(yīng)平均互信息量I (X

38、; Y)，若I (X ; Y)是p(yx)的型凸函數(shù)，則應(yīng)滿足： I(X ; Y) I1(X ; Y)+(1-) I2(X ; Y) （2-40）第71頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四 定理2.2說(shuō)明，信源固定以后，用不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的?？梢?jiàn)，對(duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。式(2-40)表示：均值的函數(shù)小于等于函數(shù)的均值，如圖2-12所示。圖2-12 函數(shù)的均值均值的函數(shù) p1 p1+(1-) p2 p2 I p1+(1-) p2 I (p1)+(1-) I (p2) 第7

39、2頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四X YX Y各種熵之間的關(guān)系第73頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四X YX Y第74頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四X Y第75頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四第76頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四24 N維擴(kuò)展信源的熵和平均互信息量信源輸出序列為x= x1 xi xN ，xia0,a1,ak-1，記 x= x1 x 2 xN的概率分布為q (x)，則信源熵為 (2-41)241 N維擴(kuò)展信源的熵 下面分兩種情況來(lái)考慮：1信源離散無(wú)記憶 按式

40、(2-41)可計(jì)算出該信源的熵： （242）第77頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四根據(jù)熵的性質(zhì):條件熵小于等于無(wú)條件熵，即有 （2-45）2信源離散有記憶 信源輸出序列x= x1 x 2 xN 的概率為p (x) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相應(yīng)可以計(jì)算出其信源熵 H (X) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1)記為： （2-44）熵的鏈規(guī)則第78頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四將式(2-45)代入式(2-44)得： （2-46）等號(hào)在信源無(wú)記憶（統(tǒng)計(jì)獨(dú)立）時(shí)成立。 H (X) N H ( X ) (2-49)等號(hào)在信源無(wú)記憶時(shí)成立對(duì)于平穩(wěn)信源第79頁(yè)，共88頁(yè)，2022年，5月20日，8點(diǎn)41分，星期四先看二維情