第二章-信息論基本概念(3-1)

1、(四）四） 平均互信息平均互信息一、定義一、定義 1.Y對對X：2.X對對Y：3.合寫：合寫：含義含義 信道中流通信息量的整體測度信道中流通信息量的整體測度2(/)(;)() ( ;)()log( )ijijijijijijip xyIp x y I x yp x yp xX Y2(/)()() (;)()log()jiijjiijijijjp yxIp x y I yxp x yp yY;X2()(; )()log()( ) ()ijijijijp x yIp x yIp x p yX YY;X 證明：證明： 首先討論互信息量在首先討論互信息量在X X集合上的統(tǒng)計(jì)平均值集合上的統(tǒng)計(jì)平均值 I

2、(XI(X；yj) ) P(P(xi|yj)I)I（xi ；yj） P(P(xi|yj)log)log2 2P(P(xi|yj)/P()/P(xi) ) 平均互信息量平均互信息量I I（X X；Y Y）為）為I(XI(X；yj) )在上述在上述Y Y集合上的概率集合上的概率加權(quán)統(tǒng)計(jì)平均值，即加權(quán)統(tǒng)計(jì)平均值，即I I（X X；Y Y）為）為 I I（X X；Y Y） P(P(yj)I)I（X ；yj） P(P(yj)P()P(xi|yj)log)log2 2P(P(xi|yj)/P()/P(xi) ) P(P(xiyj)log)log2 2P(P(xi|yj)/P()/P(xi) )iijij2

3、(/)(;)() ( ;)()log( )ijijijijijijip xyIp x y I x yp x yp xX Yij二、物理意義二、物理意義1. I(X;Y)= H(X) H(X/Y) (1) H(X)信源熵：信源熵：X的不確定度的不確定度 H(X/Y)已知已知Y時(shí)，對時(shí)，對X仍剩的不確定度仍剩的不確定度(疑義度疑義度） 結(jié)論結(jié)論 I(X;Y) “Y已知已知”，X的平均不確定度的減少量的平均不確定度的減少量, 即即獲得了獲得了I(X;Y) 的信息量的信息量 (2) H(X)信源含有的平均信息量信源含有的平均信息量(總，有用總，有用) I(X;Y)信宿收到的平均信息量信宿收到的平均信息

4、量(有用部分有用部分)結(jié)論結(jié)論 H(X/Y)因信道有擾而丟失的平均信息量，故稱因信道有擾而丟失的平均信息量，故稱損失熵?fù)p失熵2. I(Y;X)= H(Y) H(Y/X)= I(X;Y) (1) H(Y)信宿的平均信息量信宿的平均信息量 I(X;Y)信道傳輸?shù)钠骄畔⒘啃诺纻鬏數(shù)钠骄畔⒘?結(jié)論結(jié)論 H(Y/X)因信道有擾而產(chǎn)生的假平均信息量，因信道有擾而產(chǎn)生的假平均信息量，稱稱噪聲熵噪聲熵、散布度、擴(kuò)散度散布度、擴(kuò)散度 (2) H(Y)Y的先驗(yàn)不定度的先驗(yàn)不定度 H(Y/X)發(fā)出發(fā)出X后，關(guān)于后，關(guān)于Y的后驗(yàn)不定度的后驗(yàn)不定度結(jié)論結(jié)論 I(Y;X)發(fā)發(fā)X前后前后，Y平均不確定度的減少量平均不確

5、定度的減少量3. I(X;Y) = H(X) + H(Y) H(XY)H(X) +H(Y)通信前，整個(gè)系統(tǒng)的先驗(yàn)平均不確定度通信前，整個(gè)系統(tǒng)的先驗(yàn)平均不確定度H(XY) 通信后，整個(gè)系統(tǒng)仍剩余的平均不確定度通信后，整個(gè)系統(tǒng)仍剩余的平均不確定度I(X;Y) 通信前后通信前后，整個(gè)系統(tǒng)平均不確定度的減少量整個(gè)系統(tǒng)平均不確定度的減少量，即傳輸?shù)幕バ畔?。即傳輸?shù)幕バ畔?。結(jié)論結(jié)論 I(X;Y)平均每傳送一個(gè)信源符號時(shí)，平均每傳送一個(gè)信源符號時(shí)， 流經(jīng)信道的平均流經(jīng)信道的平均(有用有用)信息量信息量H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 例例 已知一個(gè)二元信源連接一個(gè)二元信道，如圖所示

6、。求已知一個(gè)二元信源連接一個(gè)二元信道，如圖所示。求I(X；Y)，H(XY)，H(X/Y)和和H(Y/X)。12( 1)1/ 2( 2)1/ 2XxxPp xp xI(X;Y) = H(X) + H(Y) H(XY)I(X;Y)= H(X) H(X/Y)I(Y;X)= H(Y) H(Y/X)信源熵：信源熵：H(X)=1 bit/符號符號(1)求聯(lián)合概率求聯(lián)合概率 p(x1y1)=0.50.98=0.49 p(x1y2)=0.50.02=0.01 p(x2y1)=0.50.80=0.40 p(x2y2)=0.50.20=0.10p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)

7、共熵：共熵：H(XY)=1.43 bit/符號符號(2)求求p(yj) p(y1)=p(x1y1)+p(x2y1)=0.49+0.40=0.89 p(y2)=p(x1y2)+p(x2y2)=0.01+0.10=0.11信宿收到的平均信息量：信宿收到的平均信息量：H(Y)=0.98 bit/符號符號(3)求熵求熵 H(X)=1 bit/符號符號 H(Y)=0.98 bit/符號符號 H(XY)=1.43 bit/符號符號 I(X；Y)=H(X)+H(Y)-H(X Y)=0.55bit/符號符號 H(X/Y)=0.45 bit/符號符號 H(Y/X)=0.43 bit/符號符號三三 、平均互信息的

8、性質(zhì)、平均互信息的性質(zhì) 1.非負(fù)性非負(fù)性I(X;Y) 0， 盡管盡管I(xi;yj) 的某些值可為負(fù)的某些值可為負(fù) 2.對稱性對稱性I(X;Y) = I(Y;X) 3.極值性極值性 I(X;Y) H(X) I(X;Y) H(Y) I(X;Y)= H(X) H(X/Y) 當(dāng)當(dāng) H(X/Y) = 0 時(shí)，時(shí)， I(X;Y)= H(X) 信道無噪（信道無噪（X、Y一一對應(yīng)）一一對應(yīng)） 當(dāng)當(dāng) I(X;Y) = 0 時(shí)，時(shí)， H(X/Y) = H(X) 信道中斷（信道中斷（X、Y獨(dú)立）獨(dú)立） 4. 凸函數(shù)性凸函數(shù)性 (1) I(X;Y) 是是信源概率分布信源概率分布P(X) 的的上凸上凸函數(shù)函數(shù) （最大

9、值）（最大值）信道容量信道容量的基礎(chǔ)的基礎(chǔ) (2) I(X;Y) 是是信道轉(zhuǎn)移概率信道轉(zhuǎn)移概率P(Y/X) 的的下凸下凸函數(shù)函數(shù) （最小值）（最小值）率失真函數(shù)率失真函數(shù)的基礎(chǔ)的基礎(chǔ) 5. 數(shù)據(jù)處理定理數(shù)據(jù)處理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意義意義 信息不增信息不增原理原理 每經(jīng)一次每經(jīng)一次 處理，可能丟失一部分信息處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ信息不增原理證明信息不增原理證明I(X;Z) I(X;Y)I(X;YZ)=I(X;Z)+I(X;Y/Z)I(X;Z)=I(X;YZ)-I(X;Y/Z)= I(X;Y)+I(X;Z/Y)- I(X;Y

10、/Z)假設(shè)在假設(shè)在Y條件下條件下 X與與Z相互獨(dú)立，則相互獨(dú)立，則I(X;Z)=I(X;Y)- I(X;Y/Z)因?yàn)橐驗(yàn)镮(X;Y/Z)非負(fù)，所以非負(fù)，所以I(X;Z) I(X;Y)6.各種熵的關(guān)系各種熵的關(guān)系 I(X;Y) = H(X) H(X/Y) = H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 文氏圖文氏圖(五）五） 離散信源熵離散信源熵單符號離散信源單符號

11、離散信源H(X)= p(xi)log2p(xi)單符號離散信源單符號離散信源多符號離散平穩(wěn)信源多符號離散平穩(wěn)信源(離散序列信源離散序列信源)1212,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX 1 多符號離散平穩(wěn)信源多符號離散平穩(wěn)信源多符號信源多符號信源(序列信源序列信源)每次發(fā)送一個(gè)每次發(fā)送一個(gè)符號序列符號序列。用隨機(jī)。用隨機(jī)矢量描述。矢量描述。平穩(wěn)信源平穩(wěn)信源 信源所發(fā)送符號序列的概率分布與時(shí)間起點(diǎn)信源所發(fā)送符號序列的概率分布與時(shí)間起點(diǎn)無關(guān)。無關(guān)。無記憶信源無記憶信源 信源所發(fā)送符號序列的各符號之間統(tǒng)計(jì)無關(guān)。信源所發(fā)送符號序列的各符號

12、之間統(tǒng)計(jì)無關(guān)。有記憶信源有記憶信源信源所發(fā)送符號序列的各符號之間統(tǒng)計(jì)相關(guān)信源所發(fā)送符號序列的各符號之間統(tǒng)計(jì)相關(guān)。1.1 離散平穩(wěn)離散平穩(wěn)(序列序列)信源信源定義定義若一離散序列信源的各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)，若一離散序列信源的各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)，則為則為離散平穩(wěn)離散平穩(wěn)(序列序列)信源信源1.2 離散平穩(wěn)無記憶信源序列離散平穩(wěn)無記憶信源序列(擴(kuò)展信源擴(kuò)展信源)一、定義：若單符號離散信源一、定義：若單符號離散信源X： 則則X的的N次擴(kuò)展信源次擴(kuò)展信源XN： 說明說明 XN信源集中，共有信源集中，共有q = nN個(gè)元素個(gè)元素(序列種類序列種類) 每個(gè)元素每個(gè)元素ai 由由 N 個(gè)個(gè)x

13、i組成的某一序列組成的某一序列 (兩者兩者i不等不等) 無記憶，無記憶， 故故p(ai)=p(xi1)p(xi2)p(xiN)1212,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX1212,(), (), ( ), ()()NiqNNiqaaaaqnp ap ap ap aPXX二、熵二、熵 H(XN)=NH(X) 2()()log()qiiiH Xp ap a ()NllHx211()log()qNNililillp xp x 211()log()qNNilillilp xp x 1()log()Nilililp xp x )(lxH其中

14、其中（1）當(dāng)信源無記憶（序列中的符號之間無相關(guān)性）時(shí)當(dāng)信源無記憶（序列中的符號之間無相關(guān)性）時(shí)（2）若信源的序列滿足平穩(wěn)特性（與序號若信源的序列滿足平穩(wěn)特性（與序號l無關(guān)）時(shí)，無關(guān)）時(shí)，有有p(xi1)=p(xi2)=p(xiN)=p，p(xi)pN，則信源的序，則信源的序列熵又可表示為列熵又可表示為H(XN)=NH(X). 平均每個(gè)符號熵為平均每個(gè)符號熵為 HN (X)=H(XN)/N=H(X ) (單符號信源的符號熵單符號信源的符號熵 ) 1.3 離散平穩(wěn)有記憶信源離散平穩(wěn)有記憶信源有記憶信源有記憶信源用信源發(fā)送一個(gè)符號序列的聯(lián)合概率描述用信源發(fā)送一個(gè)符號序列的聯(lián)合概率描述 馬爾可夫鏈馬爾

15、可夫鏈用信源發(fā)送一個(gè)符號序列中各符號間條件概用信源發(fā)送一個(gè)符號序列中各符號間條件概率率(狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移概率)描述描述一、二維有記憶信源一、二維有記憶信源X=X1X2二維二維每組每組(符號序列符號序列)包含包含2個(gè)符號個(gè)符號有記憶有記憶每組內(nèi)，后一符號與前一符號相關(guān)每組內(nèi)，后一符號與前一符號相關(guān)平穩(wěn)平穩(wěn)(上述上述)相關(guān)性與時(shí)間起點(diǎn)無關(guān)相關(guān)性與時(shí)間起點(diǎn)無關(guān)假設(shè)：組間統(tǒng)計(jì)獨(dú)立假設(shè)：組間統(tǒng)計(jì)獨(dú)立(1). 分析分析 設(shè)設(shè)X1, X2x1,x2,xn 則則 X x1x1,x1xn,x2x1,x2xn,xnx1,xnxn 令令ai=(xi1xi2), i1,i2=1,2,n，則，則i =1,2,n2，

16、于是，于是2221212112121,(), (), ( ), ()(), ( )()() (/),( )1ininniiiiiiiiaaaap ap ap ap aPp ap x xp xp xxp a式中XX(2). 結(jié)果結(jié)果(3). 說明說明(a) 對無記憶信源，對無記憶信源，X1, X2 相互獨(dú)立，相互獨(dú)立， H(X)=H (X1)+ H (X2)(b) 當(dāng)當(dāng)X1, X2 取自同一集合取自同一集合X時(shí)，時(shí)， H(X1X2)=H(X2)=2 H(X)，為，為H(X)的二次擴(kuò)展信源。的二次擴(kuò)展信源。 (c) 對有記憶信源，由于對有記憶信源，由于H(X2/X1) H(X2) (條件熵小于等于

17、無條件熵小于等于無條件熵條件熵) 因此，因此， H(X2X1) H(X1) +H(X2) 12121212211()()()log()nniiiiiiHH X Xp x xp x x X由12121()()()(/)HH X XH XH XX得X例例: 離散有記憶信源中各符號的概率空間為離散有記憶信源中各符號的概率空間為: 現(xiàn)信源發(fā)出二重符號序列消息（現(xiàn)信源發(fā)出二重符號序列消息（ai,aj），這兩個(gè)符號），這兩個(gè)符號的概率關(guān)聯(lián)性用條件概率的概率關(guān)聯(lián)性用條件概率p(aj/ai)表示，并由下表給表示，并由下表給出。求離散信源的序列熵和平均每個(gè)符號的熵。出。求離散信源的序列熵和平均每個(gè)符號的熵。 4

18、/19/436/11210aaaPXai aja0a1a2a09/112/110a11/83/41/8a202/97/9解：解：條件熵條件熵 H（X2X1）= 比特比特/符號符號單符號信源熵單符號信源熵 比特比特/符號符號發(fā)二重符號序列的熵發(fā)二重符號序列的熵 H(X2)=H（X1 X2）=H（X1）+H（X2/X1） =1.543+0.872=2.415 比特比特/二重符號二重符號平均符號熵平均符號熵 H（X2）/2=1.21 比特比特/符號符號20202872. 0)/(log)(ijijjiaapaap2120( )()( )log( ) 1.543iiiH XH Xp ap a說明：說明： 比較上述結(jié)果可得：比較上述結(jié)果可得： H（X2）/2H（X），即二重序列的平均），即二重序列的平均符號熵值較單符號熵變小了，符號熵值較單符號熵變小了， 也就是平均不確也就是平均不確定度減小了，這是由于符號之間存在關(guān)聯(lián)性定度減小了，這是由于符號之間存在關(guān)聯(lián)性（相關(guān)性）造成的。（相關(guān)性）造成的。 二、二、N維有記憶信源維有記憶信源 1. 聯(lián)合熵聯(lián)合熵H(X) H(X)=H(X1X2XN) = H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1) (bit/符號序列