信息論與編碼(1)2.1-2.2

1、123第一章的幾個推論第一章的幾個推論(1)(1)信源編碼器信道譯碼器噪聲源信宿干擾消息信號信號干擾消息4第一章的幾個推論第一章的幾個推論(2)(2)n對信息論的學習可從信源開始對信息論的學習可從信源開始n消息是信息的載荷者。信息是抽象的，消消息是信息的載荷者。信息是抽象的，消息是具體的。要研究信息，還得從研究消息是具體的。要研究信息，還得從研究消息入手。息入手。n由于信源發(fā)送什么消息預先是不可知的，由于信源發(fā)送什么消息預先是不可知的，只能用概率空間來描述信源只能用概率空間來描述信源52.1 信源的數(shù)學模型及分類信源的數(shù)學模型及分類6123123.()()().()( )qqaaaaXP aP

2、 aP aP aP x則：概率空間表征離散信源統(tǒng)計特性，也稱為信源空間。概率空間表征離散信源統(tǒng)計特性，也稱為信源空間。1( )1qiip a7( , )( )( )Xa bp xp x()Rpx( )1bap x dx ( )1Rp x dx 8平穩(wěn)隨機序列信源平穩(wěn)隨機序列信源9121( )()()NNiiPP X XXP XXN維隨機維隨機矢量矢量的一個取的一個取值，值， i(ai1 ai2aiN) P(aik )是符號集是符號集A的的一維概率分布一維概率分布n 設(shè)各隨機變量設(shè)各隨機變量i取值同樣符號集取值同樣符號集A:a1, a2, , aq，則則121()(,.,)(),(1,2,.,

3、)NiiiiNikkkPP a aaP aiqx10123123.()()().()( )qqaaaaXP aP aP aP aP x若信源空間：111212.()().()()NNNqiqXPPPP 1()(),(1,2,., )kNiikkPP aiq其中1213階馬爾可夫信源n記憶信源的記憶長度為記憶信源的記憶長度為m+1時，稱這種有記憶信時，稱這種有記憶信源為源為m階馬爾可夫信源階馬爾可夫信源n若上述條件概率與時間起點若上述條件概率與時間起點 i 無關(guān)，信源輸出的無關(guān)，信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱符號序列可看成為時齊馬爾可夫鏈，則此信源稱為為時齊馬爾可夫信源時齊

4、馬爾可夫信源2112112(|)(|) (1,2,)iiiiii miiii mP xxxxxxxP xxxxi()()().()( )( )1qiqiqaaaaXP aP aP aPaPPax161()loglog()()krrkkI aP aP a 171231123.( )1()()().()( )qqiiqaaaaXP aP aP aP aP aP xI(ai)代表兩種代表兩種含義含義：(1)當事件當事件ai發(fā)生以前，表示事件發(fā)生以前，表示事件ai發(fā)生的不確定性發(fā)生的不確定性(2)當事件當事件ai發(fā)生以后，表示事件發(fā)生以后，表示事件ai所提供的信息量所提供的信

5、息量n稱稱ai發(fā)生所含有的信息量為發(fā)生所含有的信息量為 ai 的的自信息量自信息量,定義為：定義為：1( ) ( )loglog( )( )iirriiI af P aP aP a 1819已知已知8個燈泡等概率損壞，所以先驗概率個燈泡等概率損壞，所以先驗概率P (x1)1/8 ，即即1211 ()log3()()I P xbitP x一次測量后，剩一次測量后，剩4個燈泡，等概率損壞，個燈泡，等概率損壞，P (x2)1/42221 ()log2()()I P xbitP x20第一次測量第一次測量獲得的信息量獲得的信息量 = I P (x1) - I P (x2)=1(bit)經(jīng)過二次測量后，

6、剩經(jīng)過二次測量后，剩2個燈泡等概率損壞個燈泡等概率損壞, P(x3)1/23231 ()log1()()I P xbitP x211( ) ( )log( )iiriI af P aP a22n一般計算都采用以一般計算都采用以“2”為底的對數(shù)，為了書寫簡潔，為底的對數(shù)，為了書寫簡潔，常把底數(shù)常把底數(shù)“2”略去不寫略去不寫1 nat = 1.44bit , 1 hat = 3.32 bit；logloglogbabXXa23二二. . 信息熵信息熵11()log( )log( )( )qrririiiHXEp ap ap a 112()log( )log( )( )qiiiirH XEp ap

7、ap a 當時：()()/logrHXH Xr242512()0.80.2XaaP X2612( )0.50.5YaaP y計算其熵，計算其熵，12( )0.990.01XaaP x27( )1/21/41/81/8XP x晴陰大雨小雨兩個信源兩個信源( )7/81 8YP y晴小雨、287711( )loglog0.544(/)8888H Ybit 符號41()( )log ( )11111111loglogloglog1.75(/)22448888iiiH XP aP abit 符號乙地天氣預報的信源熵為乙地天氣預報的信源熵為:天氣預報天氣預報2912121( (), (), ()(,)1

8、,0 (1,2, )qqqiiiP aP aP ap ppppiqP1112()( )log ( )log(,)( )qqiiiiiiqH XP aP appH p ppH P30H PpH(2)31123123123, , ( )1/3 1/61/2( )1/61/21/3( )1/3 1/21/6xaaayaaaP xP yzaaaP z()( )( )H XH YH Z323334所以，上式成立。所以，上式成立。112120(,., )(,.,)limqqqqHp ppHp pp 1120101121lim(, )limlog()log()log log(,)qqqiiqqiqiiqqi

9、Hp ppppppppHp pp 35H(XY )H(X)+ H(Y)1 11212112121111(,.,.,)(,.,)( ,.,)1,11()( ) ()nmmnmnnmmnmnmijijijijijijijHp q p qp qp qp qHp ppHq qqpqp qp x yp x p yp q36它們的聯(lián)合信源是它們的聯(lián)合信源是可計算得聯(lián)合信源的聯(lián)合熵：可計算得聯(lián)合信源的聯(lián)合熵：H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y)12.( )1/1/. 1/nXaaap xnnn12.( )1/1/. 1/mYbbbp ym

10、mm12.111( ).nmcccZp znmnmnm371111( /)( ) (|)log(|)()log(|)mnijijijimnijjijiH Y Xp x p yxp yxp x yp yx 3812111( ,.,)(,.,)logqH P PPHqqqq121111(,.,)loglog()logqqqiiiiiiH p ppppqpp39二進制信源是離散信源的一個特例。二進制信源是離散信源的一個特例。 該信源符號只有二個，設(shè)為該信源符號只有二個，設(shè)為“0”和和“1”。符號。符號輸出概率分別為輸出概率分別為“ ”和和“1- ”，即信源的概率空間，即信源的概率空間為：為：即信息熵即信息熵H(x)是是 的函數(shù)。的函數(shù)。 取值于取值于0，1區(qū)間，可畫區(qū)間，可畫出熵函數(shù)出熵函數(shù)H( ) 的曲線來，的曲線來，如右圖所示。如右圖所示。 01( )1xp x 40 411 112121111111111212(,.,.,)logloglogloglog(,.,)( ,.,)nmmnmnmijijijmnnmjiiijjjiijnmiijjijnnmmHp q p qp qp qp qp qp qqpppqqppqqHp ppHq qq 42111112112211111111111111()(,.,.,)loglog()loglog()log