信息論第二章信息度量

1、關(guān)于信息論第二章信息的度量第1頁，共88頁，2022年，5月20日，8點41分，星期四內(nèi)容提要：根據(jù)香農(nóng)對于信息的定義，信息是一個系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，研究的是信息的處理、傳輸和存儲，所以對于信息的定量計算是非常重要的。本章主要從通信系統(tǒng)模型入手，研究離散情況下各種信息的描述方法及定量計算，討論它們的性質(zhì)和相互關(guān)系。第2章 信息的度量第2頁，共88頁，2022年，5月20日，8點41分，星期四2.1 自信息量和互信息量 一個事件的自信息量就是對其不確定性的度量?；バ畔⒘縿t表明了兩個隨機事件的相互約束程度。 對于隨機事件集X = x1，x2，xi，xI中的隨機事件xi，其出現(xiàn)概率

2、記為q(xi)，將兩個事件xi ,yj同時出現(xiàn)的概率記為p(xi yj)，則q(xi) ，p(xi yj)應(yīng)滿足： 相應(yīng)的條件概率為第3頁，共88頁，2022年，5月20日，8點41分，星期四信息量直觀的定義為：收到某消息獲得的信息量 = 不確定性減少的量 將某事件發(fā)生所得到的信息量記為I(x)，I(x)應(yīng)該是該事件發(fā)生的概率的函數(shù)，即I(x)=fq(x) 211 自信息量和條件自信息量第4頁，共88頁，2022年，5月20日，8點41分，星期四自信息量 聯(lián)合 自信息量條件 自信息量信息量第5頁，共88頁，2022年，5月20日，8點41分，星期四1自信息量 直觀地看，自信息量的定義應(yīng)滿足以下

3、四點： a. I(x)應(yīng)該是q(x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量?。籦.信息量應(yīng)具有可加性：對于兩個獨立事件，其信息量應(yīng)等于各事件自信息量之和；c.當q(x)=1時，I(x)= 0：表示確定事件發(fā)生得不到任何信息； d.當q(x)=0時，I(x)：表示不可能事件一旦發(fā)生，信息量將無窮大。 第6頁，共88頁，2022年，5月20日，8點41分，星期四綜合上述條件，將自信息量定義為: (2-1) 自信息量的單位與log函數(shù)所選用的對數(shù)底數(shù)有關(guān)， 如底數(shù)分別取 2、 e、 10，則自信息量單位分別為：比特、奈特、哈特第7頁，共88頁，2022

4、年，5月20日，8點41分，星期四一個以等概率出現(xiàn)的二進制碼元(0,1)所包含的自信息量為1bit。第8頁，共88頁，2022年，5月20日，8點41分，星期四【例2.3】若盒中有6個電阻，阻值為1、2、3的分別為2個、1個、3個，將從盒子中取出阻值為i的電阻記為事件 （i = 1，2，3），則事件集X = x1, x2, x3，其概率分布 計算出各事件的自信息量列表2-1如下：消息xi x1 x2 x3 概率分布q (xi) 1/3 1/6 1/2 自信息量I (xi) log 3 log 6 log 2 第9頁，共88頁，2022年，5月20日，8點41分，星期四自信息量具有下列性質(zhì):圖2

5、.1 對數(shù)曲線1是非負值。第10頁，共88頁，2022年，5月20日，8點41分，星期四23的單調(diào)遞減函數(shù)。4自信息量第11頁，共88頁，2022年，5月20日，8點41分，星期四自信息量I(xi)代表兩種含義： 1.事件xi發(fā)生以前，表示事件發(fā)生的先驗不確定性2.當事件xi發(fā)生以后，表示事件xi所能提供的最大信息量（在無噪情況下）第12頁，共88頁，2022年，5月20日，8點41分，星期四 二維聯(lián)合集X Y上元素xi yj的聯(lián)合自信息量I(xi yj)定義為： (2-3) 2.聯(lián)合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=第13頁，共88頁，2022年，5月20日，

6、8點41分，星期四3.條件自信息量 在已知事件yj條件下,隨機事件xi發(fā)生的概率為條件概率(xiyj),條件自信息量 定義為： (2-5)代入式自信息量的公式就有第14頁，共88頁，2022年，5月20日，8點41分，星期四 聯(lián)合自信息量和條件自信息也滿足非負和單調(diào)遞減性 ，同時，它們也都是隨機變量。 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式：4.聯(lián)合自信息量和條件自信息量間的關(guān)系第15頁，共88頁，2022年，5月20日，8點41分，星期四 【例2.6】某住宅區(qū)共建有若干棟商品房，每棟有5個單元，每個單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若： 1. 甲只知道乙住在第5棟，他

7、找到乙的概率有多大？他能得到多少信息？ 2.甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶號：（1）甲找到乙這一事件是二維聯(lián)合集X Y上的等概分布 ，這一事件提供給甲的信息量為 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特） （2）在二維聯(lián)合集X Y上的條件分布概率為 ，這一事件提供給甲的信息量為條件自信息量 I(yjxi) = -log p(yjxi) = log12 = 3.585（比特） 第16頁，共88頁，2022年，5月20日，8點41分，星期四1.互信息量 信源符

8、號X=x1，x2，xI ，xia1,a2,ak，i = 1,., I。 信宿方接收到符號Y = y1，y2，yJ，yjb1,b2,bD，j = 1, 2, ,J。圖21簡單的通信模型x1，x2，xIy1，y2，yJ信源符號集a1,a2, ak信源 b1,b2,bD信宿符號集干擾信道信宿212 互信息量和條件互信息量第17頁，共88頁，2022年，5月20日，8點41分，星期四 事件xi是否發(fā)生具有不確定性，用I(xi)度量。 接收到符號yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xiyj)度量。 觀察事件前后，這兩者之差就是通信過程中所獲得的信息量，用I(xi ; yj )表示： 。

9、注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的區(qū)別在于：前者是事件xiX和事件yjY之間的互信息量，后者是二維空間XY 上元素xi yj 的自信息量。稱(2-6)式為事件xi和事件yj之間的互信息量。（2-6）第18頁，共88頁，2022年，5月20日，8點41分，星期四根據(jù)概率互換公式p(xi yj) = p(yjxi)q(xi)=(xiyj)(yj) 互信息量I(xi ;yj )有多種表達形式: (2-7) (2-8)第19頁，共88頁，2022年，5月20日，8點41分，星期四先驗不定度（聯(lián)合自信息量） 發(fā)送接收物理解釋：通信前第20頁，共88頁，2022年，

10、5月20日，8點41分，星期四后驗不定度 通信后發(fā)送接收第21頁，共88頁，2022年，5月20日，8點41分，星期四這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差第22頁，共88頁，2022年，5月20日，8點41分，星期四將事件互信息量的概念推廣至多維空間：在三維X Y Z聯(lián)合集中，有： I(xi ; yj zk)= I(xi ; yj )+ I(xi; zkyj) （2-9） 類似，在N維U1 U2 UN聯(lián)合空間,有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + I (u1; uNu2

11、 uN -1) （2-10） 第23頁，共88頁，2022年，5月20日，8點41分，星期四三維X Y Z聯(lián)合集中，在給定條件zk的情況下, xi , yj的互信息量I(xi ;yjzk )定義為： （2-11）2條件互信息量第24頁，共88頁，2022年，5月20日，8點41分，星期四3互信息量的性質(zhì) （1）互易性 對稱性 I(xi ;yj )= I(yj ; xi) (2-12) （2）可加性：第25頁，共88頁，2022年，5月20日，8點41分，星期四（4） 互信息量I(xi ;yj)可以是正數(shù)，也可以是負數(shù)。 （3）當xi ,yj統(tǒng)計獨立時，互信息量I(xi ;yj) = 0及條件互

12、信息量（5）兩個事件的互信息量不大于單個事件的自信息量，即有： （2-13） 第26頁，共88頁，2022年，5月20日，8點41分，星期四【例2.8】信源包含7個消息x0,x1,x2,x3,x4,x5,x6 信源編碼器將其對應(yīng)編成7個三位二進制數(shù)000，001,110。各消息的先驗概率已知，在接收過程中，每收到一個數(shù)字，各消息的后驗概率都相應(yīng)地發(fā)生變化?？紤]在接受100三個數(shù)字的過程中，各后驗概率的變化，計算信息量I(x4;100)。信源消息碼字消息先驗概率消息后驗概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 01

13、11/16000 x4 1001/22/34/51x5 1011/81/61/50 x61101/81/600表2-4為7個三位二進制數(shù)對應(yīng)的各種概率。第27頁，共88頁，2022年，5月20日，8點41分，星期四 根據(jù)給定的先驗概率，可算出： P (x4100) = 1第28頁，共88頁，2022年，5月20日，8點41分，星期四 將各種后驗概率的計算結(jié)果列于表2-3中，再根據(jù)式（2-10）計算出互信息量：I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) (比特) 也可直接計算出： (比特)第29頁，共88頁，2022年，5月20日，8點41分

14、，星期四22 離散集的平均自信息量 信源熵熵條件熵聯(lián)合熵第30頁，共88頁，2022年，5月20日，8點41分，星期四22 離散集的平均自信息量 1平均自信息量(熵) 無記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計平均值），即平均自信息量H(X)定義為： （2-15 ） H(X)的表達式與統(tǒng)計物理學中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個詞把H(X)稱為集合X的信息熵，簡稱熵。 第31頁，共88頁，2022年，5月20日，8點41分，星期四【例2.9】計算下列信源的熵（1）信源一： 熵 H(X1) =-0.99 log 0.99 0.01 log 0

15、.01 = 0.08 比特/符號（2）信源二：等概信源熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1 比特/符號（3）信源三: 等概信源熵 H(X3) = -40.25 log 0.25 = log4 = 2 比特/符號第32頁，共88頁，2022年，5月20日，8點41分，星期四 (5) 信源五：一般情況下，二元信源的概率分布為 熵 H(X) = log -（1-）log（1-）記H2() = log -（1-）log（1-）H2()與的關(guān)系如圖2-2所示。（4）信源四： 信源為確定事件 熵H(X4) = - 0 log 0 1 log 1 = 0 計算結(jié)

16、果說明確定事件的熵為零 H 2() 0 0.5 1 圖 2-2 H2()與關(guān)系第33頁，共88頁，2022年，5月20日，8點41分，星期四信源熵與信息量的比較 信源的平均不確定度消除不定度得到信息與信源是否輸出無關(guān) 接收后才得到信息 確定值 一般為隨機量 有限值 可為無窮大 熵 信息量信源熵和平均自信息量兩者在數(shù)值上是相等的，但含義并不相同第34頁，共88頁，2022年，5月20日，8點41分，星期四總括起來，信源熵有三種物理含義：信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機性。123第35頁，共

17、88頁，2022年，5月20日，8點41分，星期四2平均條件自信息量(條件熵)（2-16） 若事件xi yj的聯(lián)合分布概率為p(xi yj )，給定yj條件下事件xi的條件自信息量為I (xiyj)，則H (XY) 定義為：第36頁，共88頁，2022年，5月20日，8點41分，星期四當X ,Y統(tǒng)計獨立時，有p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，則 （2-17） 從通信角度來看：若將X = x1，x2，xi，視為信源輸出符號； Y = y1，y2，yj，視為信宿接收符號；I (xiyj)可看作信宿收到y(tǒng)j后，關(guān)于發(fā)送的是否為xi仍然存在的疑義度（

18、不確定性），則 反映了經(jīng)過通信后，信宿符號yj（j = 1, 2,）關(guān)于信源符號xi（i = 1, 2,）的平均不確定性。第37頁，共88頁，2022年，5月20日，8點41分，星期四類似，若給定xi條件下事件yj的條件自信息量為I (yjxi)，則H (YX)定義為 （2-18）當X ,Y統(tǒng)計獨立時，有p (xi yj) = q ( xi )( yj )， ，則 （2-19）存在以下兩種極端情況： （1）對于無噪信道H (XY) = 0 （2）在強噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計獨立，H (XY) = H (X) 第38頁，共88頁，2022年，5月20日，8點41分，星期四（2

19、）對于強噪信道，有H (YX)= H (Y) 。（1） 對于無擾信道，有H (YX) = 0。 從通信角度來看，H (YX)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱H (YX)為噪聲熵（散布度）。 存在以下兩種極端情況：第39頁，共88頁，2022年，5月20日，8點41分，星期四由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H(X Y)= H(X)+ H(Y) (2-22)上式反映了信息的可加性。當X,Y統(tǒng)計獨立時，有3聯(lián)合熵 聯(lián)合熵H (XY) 是定義在二維空間X Y上，對

20、元素xi yj的自信息量的統(tǒng)計平均值，若記事件xi yj出現(xiàn)的概率為p (xi yj)，其自信息量為I (xi yj)，則聯(lián)合熵H (X Y) 定義為 （2-20） 第40頁，共88頁，2022年，5月20日，8點41分，星期四1凸集合與凸函數(shù)簡單介紹凸集和凸函數(shù)的概念。定義2.1 是n維實矢量空間集合R中任意兩個n維矢量，對實數(shù)，0 1，有 +（1-） R則稱R為凸集合。 222 熵函數(shù)的性質(zhì)第41頁，共88頁，2022年，5月20日，8點41分，星期四圖23 一維和二維凸集合的例子凸集合非凸集合 從幾何上來看，若，是集合R中的任意兩點，+（1-）表示這兩點間的連線，若該連線也在集合R中，則

21、稱為R凸集。下面給出了幾個凸集和非凸集合的例子。第42頁，共88頁，2022年，5月20日，8點41分，星期四 定義2.2 設(shè)f(x) = f (x1, x2, , xn) 為一個n元函數(shù)，若對任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23)x0 x1 x1+(1-) x2 x2 圖2-4 一元型凸函數(shù)f (x1)f (x1)+(1-) f (x2) f x1+(1-)x2 f (x)f (x2)則稱f(x)為定義域上的型凸函數(shù)。一元型凸函數(shù)可用圖2-4所示的幾何圖形表示。第43頁，共88頁，202

22、2年，5月20日，8點41分，星期四定義2.3 設(shè)f(x) = f (x1, x2, , xn) 為一個n元函數(shù)，若對任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-24)圖2-5 一元型凸函數(shù)x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )則稱f(x)為定義域上的型凸函數(shù)，一元型凸函數(shù)可用圖2-5所示的幾何圖形表示。第44頁，共88頁，2022年，5月20日，8點41分，星期四2極大離散熵定理 設(shè)信源的消息個數(shù)為M

23、，則H(X) logM，等號當且僅當信源X中各消息等概 時成立，即各消息等概分布時，信源熵最大。證明方法一：利用不等式log x x - 1等號在x = 1時成立（見圖 2-6） 圖2-6 logx x1關(guān)系 曲線x-1 log x 10 x第45頁，共88頁，2022年，5月20日，8點41分，星期四上面兩種證明方法是信息論中經(jīng)常用到的證明方法 證明方法二：利用log x的型凸函數(shù)性質(zhì) = log 1 = 0 證畢H(X)-log M第46頁，共88頁，2022年，5月20日，8點41分，星期四3熵函數(shù)的性質(zhì) （1）對稱性集合X = x1，x2，xN 中的各元素x1，x2，xN任意改變其順序

24、時，熵只和分布（概率）有關(guān)，不關(guān)心某個具體事件對應(yīng)哪個概率。例如 和 的熵是相等的。第47頁，共88頁，2022年，5月20日，8點41分，星期四 （4）擴展性：離散事件集 ，增加一個不可能事件xN+1后，得到集合，0，則兩個集合的熵相等 （2）非負性：H(X) 0 （3）確定性：在集合X = (x1，x2，xN)中，若有一個事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為 第48頁，共88頁，2022年，5月20日，8點41分，星期四（5）可加性：集合X = x1，x2，xi，xi+1，xN的概率分布為：則下式成立：H(X)= H(x1，x2，xi，xi+1，xN) （2-25

25、）（6）條件熵小于等于無條件熵即：H (XY) H (X) X,Y 統(tǒng)計獨立時等號成立。 第49頁，共88頁，2022年，5月20日，8點41分，星期四（7） 聯(lián)合熵大于等于獨立事件的熵，小于等于兩獨立事件熵之和，即： （2-26） H (XY) H (X) + H (Y) （2-27）第50頁，共88頁，2022年，5月20日，8點41分，星期四23離散集的平均互信息量1平均互信息量定義xi X和yj Y之間的互信息量為I(xi ;yj )，在集合X上對I(xi ;yj )進行概率加權(quán)統(tǒng)計平均，可得I(X;yj)為： 231 平均互信息量 （2-28）第51頁，共88頁，2022年，5月20

26、日，8點41分，星期四再將式（2-28）對集合Y進行統(tǒng)計平均，就可以得到平均互信息量 （2-30 ） 當X,Y統(tǒng)計獨立時，I(xi ;yj )= 0，從而I(X ; Y)= 0 第52頁，共88頁，2022年，5月20日，8點41分，星期四【例2.14】二元等概信源 ，通過信道轉(zhuǎn)移概率為 的信道傳輸，信宿接收符號Y = y0, y1，計算信源與信宿間的平均互信息量I（X；Y）。（1） 先根據(jù) 計算出 （2）由 計算后驗概率第53頁，共88頁，2022年，5月20日，8點41分，星期四 （3）計算各消息之間的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） 第54頁，共88頁

27、，2022年，5月20日，8點41分，星期四（4） 計算平均互信息量 （比特） 第55頁，共88頁，2022年，5月20日，8點41分，星期四 對上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量 （2-31）式中p(xi yj zk)滿足 2平均條件互信息量 平均條件互信息量I(X;YZ)是在聯(lián)合概率空間XYZ，p(xyz)上定義的物理量。由式（2-11）知道 第56頁，共88頁，2022年，5月20日，8點41分，星期四1 平均互信息量的性質(zhì)232 平均互信息量的性質(zhì) (1) 非負性： （2-32） (2)互易性： I(X ; Y)= I(Y ; X) （2-33） 由 的對稱

28、性可得到。 (3)第57頁，共88頁，2022年，5月20日，8點41分，星期四I(X;Y)= H（X）-H（XY）(2-35)I(X;Y)= H（Y）-H（YX） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY )(2-37) )2平均互信息量與信源熵、條件熵的關(guān)系2-7維拉圖它們之間的關(guān)系可以用維拉圖表示第58頁，共88頁，2022年，5月20日，8點41分，星期四 設(shè)X為發(fā)送消息符號集，Y為接收符號集，H(X)是輸入集的平均不確定性,H（XY）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過程中得到的關(guān)于X,Y的平均互信息量。 對于無擾信道，I(X ;

29、 Y)=H(X)。 對于強噪信道，I(X ; Y)= 0。從通信的角度來討論平均互信息量I(X ; Y)的物理意義由第一等式I(X;Y)= H（X）-H（XY）看I(X;Y)的物理意義第59頁，共88頁，2022年，5月20日，8點41分，星期四 對于無擾信道，有I(X ; Y)=H(X)=H(Y)。 對于強噪信道，有H（YX）= H（Y），則I(X ; Y ) = 0。H(Y)是觀察到Y(jié)所獲得的信息量，H（YX）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性， 二者之差I(lǐng)(X ; Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意義第6

30、0頁，共88頁，2022年，5月20日，8點41分，星期四 通信前，隨機變量X和隨機變量Y可視為統(tǒng)計獨立，其先驗不確定性為H(X)+ H(Y)， 通信后，整個系統(tǒng)的后驗不確定性為H(XY)，二者之差H(X)+ H(Y)- H(XY)就是通信過程中不確定性減少的量，也就是通信過程中獲得的平均互信息量I(X ; Y)。由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意義第61頁，共88頁，2022年，5月20日，8點41分，星期四【例2.15】已知信源消息集為X=0,1,接收符號集為Y=0,1，通過有擾信道傳輸，其傳輸特性如圖2-8所示，這是一個二進制對稱信道BS

31、C。已知先驗概率 , 計算平均互信息量I( X;Y)及各種熵。 0 1- 0 1 1- 1 圖2-8 二進制對稱信道記 q(x)為信源輸入概率； (y)為信宿輸出概率； p(yx)為信道轉(zhuǎn)移概率； (xy)為后驗概率。第62頁，共88頁，2022年，5月20日，8點41分，星期四（1）由圖2-8得 ，先算出p(xi yj)= q(xi)p(yjxi) （2）計算 得：第63頁，共88頁，2022年，5月20日，8點41分，星期四 （3） 計算后驗概率，得： （4）計算各種熵及平均互信息量：信源熵 信宿熵 聯(lián)合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5 =

32、log2 - (1-) log (1-)-log = log2 + H 2 () 式中：第64頁，共88頁，2022年，5月20日，8點41分，星期四散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()平均互信息量 I(X ;

33、Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 () 第65頁，共88頁，2022年，5月20日，8點41分，星期四研究通信問題，主要研究的是信源和信道，它們的統(tǒng)計特性可以分別用消息先驗概率q(x)及信道轉(zhuǎn)移概率p(yx)來描述，而平均互信息量I(X ; Y)是經(jīng)過一次通信后信宿所獲得的信息。由式（2-30）知道，平均互信息量定義為： （2-38）233 有關(guān)平均互信息量的兩條定理上式說明I(X ; Y)是信源分布概率q(x)和信道轉(zhuǎn)移概率p(yx)的函數(shù)，下面兩條定理闡明了I(X ; Y)與q(x)和p(yx)之間的關(guān)系。第66頁，共88頁，2022年，5月20日，8點

34、41分，星期四定理2.1 當信道給定，即信道轉(zhuǎn)移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的型凸函數(shù)。 兩個信源分布q1(x)和q2(x)，分別對應(yīng)平均互信息量I1(X ; Y)和I2(X ; Y)，記概率分布q(x)=q1(x)+(1-)q2(x) （式中0 1），對應(yīng)平均互信息量I(X ; Y)，若I(X ; Y)是型凸函數(shù)，則應(yīng)滿足： I1(X ; Y)+(1-) I2(X ; Y) I(X ; Y) （2-39）式(2-39)表示：函數(shù)的均值小于等于均值的函數(shù)，見圖2-9 圖2-9函數(shù)的均值均值的函數(shù)q1 q1+(1-) q2 q2 q(x)I (q1)+(

35、1-) I (q2Iq(x)I q1+(1-) q2第67頁，共88頁，2022年，5月20日，8點41分，星期四 定理2.1說明，信道固定時，對于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對于每一個固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大。【例2.16】二進制對稱信道BSC如圖2-10所示，輸入符號集X =x1,x2=0,1，輸出符號集Y =y1,y2=0,1，信道轉(zhuǎn)移概率矩陣 ，信源分布為： ，計算平均互信 息量 I(X;Y)= H（Y）-H（YX） 0 1- 0 1 1- 1 圖2-10 二進制對稱信道第68頁，共88頁，2022年，5月20日

36、，8點41分，星期四先由 算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = = 1-(0) 再計算熵和條件熵 = H2 (1-) + (1-) = - (1-) log (1-)-log= H2 ()第69頁，共88頁，2022年，5月20日，8點41分，星期四則平均互信息量I(X;Y)= H（Y)-H（YX）= H2 (1-) + (1-) - H2 () 當信道固定，即 為恒值，則I(X;Y)是的函數(shù)，其曲線如下圖2-11所示。當= 0.5時,I(X ; Y)取得極大值，其值為log 2 -H2(),這種情況對應(yīng)等概分布,信源的平均不確定

37、性最大. 當= 0或1時，這是確定信源的情況，通信得不到任何信息，即I(X ; Y) = 0。圖2-11為恒值時的I(X;Y)曲線0 0.5 1log 2 -H2()I(X;Y)第70頁，共88頁，2022年，5月20日，8點41分，星期四定理2.2 當信源給定，即信源分布概率q(x)固定，平均互信息量I(X ; Y)是信道轉(zhuǎn)移概率p(yx)的型凸函數(shù)。在信源固定的情況下，如果給定兩個信道轉(zhuǎn)移概率p1(yx)和p2(yx)，它們分別對應(yīng)平均互信息量I1(X ; Y)和I2(X ; Y)，記信道轉(zhuǎn)移概率p(yx)=p1(yx)+(1-) p2(yx) (式中（0 1），對應(yīng)平均互信息量I (X

38、; Y)，若I (X ; Y)是p(yx)的型凸函數(shù)，則應(yīng)滿足： I(X ; Y) I1(X ; Y)+(1-) I2(X ; Y) （2-40）第71頁，共88頁，2022年，5月20日，8點41分，星期四 定理2.2說明，信源固定以后，用不同的信道來傳輸同一信源符號時，在信道輸出端獲得的信息量是不同的?？梢?，對每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。式(2-40)表示：均值的函數(shù)小于等于函數(shù)的均值，如圖2-12所示。圖2-12 函數(shù)的均值均值的函數(shù) p1 p1+(1-) p2 p2 I p1+(1-) p2 I (p1)+(1-) I (p2) 第7

39、2頁，共88頁，2022年，5月20日，8點41分，星期四X YX Y各種熵之間的關(guān)系第73頁，共88頁，2022年，5月20日，8點41分，星期四X YX Y第74頁，共88頁，2022年，5月20日，8點41分，星期四X Y第75頁，共88頁，2022年，5月20日，8點41分，星期四第76頁，共88頁，2022年，5月20日，8點41分，星期四24 N維擴展信源的熵和平均互信息量信源輸出序列為x= x1 xi xN ，xia0,a1,ak-1，記 x= x1 x 2 xN的概率分布為q (x)，則信源熵為 (2-41)241 N維擴展信源的熵 下面分兩種情況來考慮：1信源離散無記憶 按式

40、(2-41)可計算出該信源的熵： （242）第77頁，共88頁，2022年，5月20日，8點41分，星期四根據(jù)熵的性質(zhì):條件熵小于等于無條件熵，即有 （2-45）2信源離散有記憶 信源輸出序列x= x1 x 2 xN 的概率為p (x) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相應(yīng)可以計算出其信源熵 H (X) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1)記為： （2-44）熵的鏈規(guī)則第78頁，共88頁，2022年，5月20日，8點41分，星期四將式(2-45)代入式(2-44)得： （2-46）等號在信源無記憶（統(tǒng)計獨立）時成立。 H (X) N H ( X ) (2-49)等號在信源無記憶時成立對于平穩(wěn)信源第79頁，共88頁，2022年，5月20日，8點41分，星期四先看二維情