復(fù)旦 周小林 信息論 2.信源與信息熵

1、1 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 2 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 3 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 4 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 12 , ,( ) n n UuUuUuU pppp u 01 0,1 0,1 11 , 22 U ppp 5 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 6 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (,),( , ) ( )( )( ) uUUa b p up up u 為概率密度函數(shù) 7 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 12 , (),(),()

2、( ) L L L n n UuUuUuU p up up up u 323 0011 000,001,111 , ( ) L UUUU pp pp p u 8 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 000,001,111 111 , ( ) 888 L UUU U p u 9 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 10 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 11 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 , () ,0, () , () ,1, ()0 iiii iiii pI ppI p pI ppI

3、 p 且當(dāng)時(shí) 且當(dāng)時(shí) 13 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 14 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 ()log ()log () iii i I xap x p x 15 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 16 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 ( ,)log ( ,)log ( ,) ijij ij I x yp x y p x y 1 (/)log (/)log (/) ijij ij I xyp xy p xy 17 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12121 121 ( , )( ) (/ )( ) (

4、/) ( , )log( , )log( ) (/ ) log( )log(/ )( )(/ ) ()( )( ) ()()(/) (/) N NN p x yp x p y xp y p xy I x yp x yp x p y x p xp y xI xI y x xyI xyI xI y I x xxI xI xx I xx xx 當(dāng) 和 相互獨(dú)立: 推廣 18 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 19 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 20 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 ( ,) 64 ij p x y 22 1 (,)log(,)log

5、6 64 ijij I x yp x ybit 222 (,) 1 (/)log(/)loglog3 ()8 ij ijij j p x y I xyp xybit p y 21 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 0.80.2 Xxx P 22 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1212 2222 1122 22 1122 ()log()log 0.8 ()log()log 0.2 () ()() () ( 0.8log 0.80.2log 0.2) () ()() ()()log () ii i I xp xbit I xp xbit N INp x I x

6、Np xI x N Ip x I xp xI xp xp x 次后所獲得的信息量為 平均每次所獲得的信息量為 23 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 24 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 () ( )()log() ii i H XE I xp xp x 25 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (/ ) (/ )(/ )log(/ ) ii i H XyE I Xyp xyp xy , (/)(/ )() (/)log (/) jijij i j H X YE H Xyp yp xyp xy 26 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ,

7、() ()(,)log(,) ijij i j H XYE I xyp x yp x y 27 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12121 121 ( , )( ) ( / )( ) ( / ) ()()( /) ()( )(/) ()()( ) ()()(/) (/) N NN p x yp x p y xp y p x y H XYH XH YX H XYH YH X Y XY H XYH XH Y H X XXH XH XX H XX XX 當(dāng)集合 和 相互獨(dú)立 推廣 28 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( / ) ( ; )log, ( ) a p x

8、 y I x yxX yY p x 29 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( / )( / ) ( ) ( ; )loglog ( )( ) ( ) ( , )( ) ( / ) loglog ( ) ( )( ) ( ) ( / ) log( ; ) ( ) p x yp x y p y I x y p xp x p y p x yp x p y x p x p yp x p y p y x I y x p y 30 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( /) ( ;/ )log, ( / ) a p x yz I x y zxX yY zZ p x z 31

9、普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( /) ( ;)log, ( ) a p x yz I x yzxX yY zZ p x 32 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( /) ( ;)log, ( ) a p x yz I x yzxX yY zZ p x 33 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 4 4 4 1 4 (;0)log1/ 18 1 2 (;01)log2/ 18 1 (;011)log3/ 18 a a a I xbit I xbit I xbit 符號(hào) 符號(hào) 符號(hào) 34 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 35 普通高等教育

10、“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( / ) ( ) , ( , )( / ) ( )( )( ) , (; )( , )log ( , )log( , )log p x y p x x y p x yp y x p x p yp y x yx y I X Yp x y p x yp x y (; )( ;)()(/) ( )( /)()( )(, ) I X YI Y XH XH X Y H YH YXH XH YH X Y , 1 (, )( , )log ( , ) x y H X Yp x y p x y 36 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 37 普通高等教育“十五

11、”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 0 ()(,)0 01,log0 log0lim(log)0 ()0 i n ii iiii p H XH p pp pp pppp H X 38 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1211 123123 123 ()(,)(,) 111111 326362 111 236 nnn H XH p ppH ppp aaabbb XY pp ccc Z p 信息熵相同 39 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (1,0)(1,0,0)(1,0,0)0HHH 123 (,)loglog iiii ii H p pppppq 40 普通高等

12、教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 41 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 42 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 43 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 44 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 45 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 111 ()(,)logH XHM M MM ( /)( )H Y XH Y 46 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 47 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (; )0 ( ) (; )( / )log ( / ) ( ) log( / )10 ( / ) (;

13、 )0,( ; )0 (; ) (; )0 x x y I X Y p x I X yp x y p x y p x ep x y p x y I X yI x Y I X YE I X y 同理 48 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 , , (; )( ;) ( / ) (; )()log ( ) ( / ) ()log( ;) ( ) x y x y I X YI Y X p x y I X Yp xy p x p y x p xyI Y X p y 49 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 , , (; )()(/) ( )( /) ()( )() ( / )

14、 (; )()log ( ) ()log( )()log( / ) ( )log( )(/) ()(/) x y x yx y x I X YH XH X Y H YH YX H XH YH XY p x y I X Yp xy p x p xyp xp xyp x y p xp xH X Y H XH X Y 50 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 51 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (; )() ( ;)( ) , (; )0 I X YH X I Y XH Y X Y I X Y 當(dāng)獨(dú)立 52 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( / ) (

15、 ) , ( , )( / ) ( )( )( ) , (; )( , )log ( , )log( , )log p x y p x x y p x yp y x p x p yp y x yx y I X Yp x y p x yp x y 53 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 54 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 55 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 56 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 57 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 58 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 59 普通高等教育“十五”國(guó)家

16、級(jí)規(guī)劃教材信息論與編碼 60 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 61 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 62 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 63 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1212 (,)() ()() lLL p XXXXp Xp Xp X 64 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1212111 (,)() (/)(/) LLL p XXXp Xp XXp XXX 65 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 121211 (,)() (/)(/) LLLL m p XXXp Xp XXp XXX 66

17、 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 121 (,), iiiimijn sxxxxAaa 67 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( , )/ ( , )0 ( , )1 ijnjmiji ij ij j p m nP SsSsP ss p m n p m n 68 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 ( )( ) ( )/ 0 1 : ( )/ ijmjmiij ij ij j kk ijm kmij pmP SsSsp p p k pmP Sj Sip 步轉(zhuǎn)移概率為 69 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 11121 212 12

18、, , ij Q Q QQQQ p i jS ppp pp ppp p P 70 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 71 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 ( ) 0 lim 0 1 k ijj k j jiijj ij pp p pp pp 72 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 j j w WPW 73 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 74 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 + T XY 75 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 起始狀態(tài) 00 01 10 11 1/2 0 1/4 0 1/2 0 3/

19、4 0 0 1/3 0 1/5 0 2/3 0 4/5 S1(00)S2(01)S3(10)S4(11) 76 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 111 1 12 121 111 21111 1 ( )()log() ()() ()() ( )() ()()log()log() ()()()log()()()()log() L L LL n ii i iiiiL nnn iiiLiiL iii nnnnn iiLiiiiLiLiL iiiii Hpp pp xp xp x Hp xp xp xp xp x p xp xp xp xp xp xp xp x Xxx x X 1

20、 1 1 () n i L l l H X 77 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 ( )( ) L HH L XX 78 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12111 1 1 1 1 ( )() ()(/)(/) (/) 11 ( )()(/) L LL L l l l L Ll Ll l HH X H XH XXH XXX H XX HH XH XX LL X X 79 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 123 1141 3694 aaa X P 80 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 1 (/) L L H XX 1 ( )(/

21、) L LL HH XX X ( ) L HX 121 ( )lim( )lim(/,) LLL LL L HHH XXXX XX 當(dāng) 81 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 111 1111 11 1111 11 ,; , 11 (/,)(/) (,)log (/,) (,)log (/,) (/,)( ) mmm mmm m mmm m iiiii iiiiii ii i iiiii ii mm p xxxp xs p xxsp xxx p xxp xxx H XXXH X 對(duì)于齊次 遍歷馬氏鏈 左邊 82 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 111 11 11

22、1 11 1 ,; , , (,)log(/) (,)log (/) ( ) (/)log (/) ( )(/) ( )( )(/) mm m mm m mm m iiiii ii i iiii ii iiiii ii ii i ii i p xxsp xs p xsp xs p s p xsp xs p s H X s Hp s H X s X 右邊 83 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 0.100.9 0.500.5 00.20.8 P 84 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 (1) 11 , ,()/ ,(1), ( )( )() ()( )log ( )(

23、 )log( ) ()lim()( )log( )limlog( ) i a i x iXXi aix nn niiXiXi ii bb nXiXiXi aann xa bxban xaix ai x p xpx dxpxx HXp xp xpxxpxx H XHXpxpx dxxpx dx 令 利用中值定理可得 p plimlog n x b b X Xi iX Xi i a a ( (x x ) )l lo og gp p ( (x x ) )d dx x 85 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 , , ()( )log( ) (, )( , )log( , ) ( /)(

24、, )log( / ) (, )()( /) (; )( ;)()(/) ()( )(, )( )( /) cXX cX YX Y cX YY ccc cc ccccc HXpxpx dx HX Ypx ypx y dxdy H YXpx ypy x dxdy HX YHXH YX I X YI Y XHXHX Y HXH YHX YH YH YX 相對(duì)熵 聯(lián)合熵 條件熵 互信息 86 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 12 , ( )(,)( )log( ) ()()log() ( ( )lim( ) ( ( )/ ( )lim(/) ccLXX cX YY cc L cc L HHXXXppd Hppd d L Hx tH Hy tx tH XY Xxxx Y/Xx,yy/xx y X Y X 平穩(wěn)隨機(jī)矢量 和