最新第2章 離散信息的度量

1、北京郵電大學 北京郵電大學 北京郵電大學i( )-log( )iixp x)(ixp01ip1iip非負)(xiix北京郵電大學p關(guān)于對數(shù)底的選取關(guān)于對數(shù)底的選取：l以以2 2為底：單位為比特（為底：單位為比特（bitbit，為，為binarybinarydigitdigit的縮寫），工程上的縮寫），工程上常用；常用；l以以3 3為底：單位為為底：單位為tittit；l以以e e為底：單位為奈特（為底：單位為奈特（natnat，為，為natural unitnatural unit的縮寫），理論推的縮寫），理論推導(dǎo)時常用；導(dǎo)時常用；l以以1010為底：單位為為底：單位為ditdit或哈特或哈特

2、。q單位之間的換算關(guān)系為單位之間的換算關(guān)系為：l1 1奈特奈特 = log= loge ee = loge = log2 2e e比特比特 = 1.443= 1.443比特比特l1 dit =log1 dit =log101010 =log10 =log2 21010比特比特 = 1/log= 1/log10102 2比特比特 = 3.32= 3.32比特比特 北京郵電大學l自信息為隨機變量自信息為隨機變量 l自信息含義包含兩個方面自信息含義包含兩個方面qi)i)自信息表示事件發(fā)生前，事件發(fā)生的不確定自信息表示事件發(fā)生前，事件發(fā)生的不確定性。性。qii) ii) 自信息表示事件發(fā)生后，事件所包

3、含的信自信息表示事件發(fā)生后，事件所包含的信息量，是提供給信宿的信息量，也是解除這種息量，是提供給信宿的信息量，也是解除這種不確定性所需要的信息量。不確定性所需要的信息量。北京郵電大學聯(lián)合事件集合聯(lián)合事件集合xyxy中的事件中的事件x xi i,y,yj j的自信息定義為：的自信息定義為：其中，其中，p(xy)p(xy)要滿足非負和歸一化條件。實要滿足非負和歸一化條件。實際上如果把聯(lián)合事件際上如果把聯(lián)合事件xyxy看成一個單一事件，那看成一個單一事件，那么聯(lián)合自信息的含義與自信息的含義相同。么聯(lián)合自信息的含義與自信息的含義相同。 )y-logp(x)yi(xiiii北京郵電大學例例2.1.12.

4、1.1 甲袋中有甲袋中有n n個不同阻值的電阻，從中隨機取個不同阻值的電阻，從中隨機取出一個，猜測所取得的是何種阻值的困難程度是多少？出一個，猜測所取得的是何種阻值的困難程度是多少？解解 相當求事件的不確定性，因事件等概，故相當求事件的不確定性，因事件等概，故 p(ap(ai i)=1/n )=1/n ，i(ai(ai i)=-log p)=-log pi i=log n=log n。續(xù)甲袋中有續(xù)甲袋中有n n（n+1n+1）/2/2個不同阻值的電阻，其中個不同阻值的電阻，其中11的的1 1個，個，22的的2 2個，個，nn的的n n個，從中隨機取個，從中隨機取出一個，求出一個，求“取出阻值為

5、取出阻值為i i（0 i n0 i n）的電阻）的電阻”所獲得的信息量。所獲得的信息量。解解“取出阻值為取出阻值為i i的電阻的電阻”的概率為的概率為i/ni/n（n+1n+1）/2/2， 故所求信息量為：故所求信息量為： i(ai(ai i)=-log p)=-log pi i=log n=log n（n+1n+1）/ /（2i2i） 北京郵電大學 事件事件x xi i在事件在事件y yj j給定條件下的自信息定義為：給定條件下的自信息定義為： )y|-logp(x)y|i(xjiji注意：注意：1 1）條件概率）條件概率p(x|y) p(x|y) 也要滿足非負和歸一化條件也要滿足非負和歸一

6、化條件 2 2）條件自信息為非負值）條件自信息為非負值北京郵電大學 條件下自信息與自信息類似，只不過是概條件下自信息與自信息類似，只不過是概率空間有變化。條件自信息也是隨機變量。率空間有變化。條件自信息也是隨機變量。 條件自信息的含義：條件自信息的含義： 1 1）在事件）在事件y yj j給定條件下，事件給定條件下，事件x xi i發(fā)生前的發(fā)生前的不確定性；不確定性； 2 2）在事件）在事件y yj j給定條件下，事件給定條件下，事件x xi i發(fā)生后所發(fā)生后所得到的信息量。得到的信息量。北京郵電大學例例2.1.22.1.2 有有8 8* *8=648=64個方格，甲將一棋子放入方格個方格，甲

7、將一棋子放入方格中，讓乙猜；中，讓乙猜；1 1）將方格按順序編號，讓乙猜順序號的困難）將方格按順序編號，讓乙猜順序號的困難程度為何？程度為何？2 2）將方格按行和列編號，當甲告訴乙方格的）將方格按行和列編號，當甲告訴乙方格的 行號后，讓乙猜列順序號的困難程度為何？行號后，讓乙猜列順序號的困難程度為何？解解 兩種情況下的不確定性：兩種情況下的不確定性：1 1）i(xy)=log 64=6 biti(xy)=log 64=6 bit2 2）i(x|y)=-log p(x|y)=-log(1/8)=3 biti(x|y)=-log p(x|y)=-log(1/8)=3 bit北京郵電大學 本節(jié)包括以

8、下內(nèi)容本節(jié)包括以下內(nèi)容l 互信息量互信息量 l 互信息量的性質(zhì)互信息量的性質(zhì) l 條件互信息量條件互信息量 北京郵電大學離散隨機事件離散隨機事件x xi i和和y yj j 之間的互信息（之間的互信息（xx xx ，y yy y）定）定義為：義為： 簡記為簡記為 通過計算可得通過計算可得 ( | )( ; )log( )p x yi x yp x( ; )( )( | )i x yi xi x y)p(x)y|p(xlog)y;i(xijiji北京郵電大學注：注： 1 1）互信息的單位與自信息單位相同；）互信息的單位與自信息單位相同； 2 2）x x與與y y的互信息等于的互信息等于x x的自

9、信息減去在的自信息減去在y y條件條件 下下x x的自信息。的自信息。 i(xi(x；y)y)表示當表示當 y y發(fā)生后發(fā)生后x x不確定性的變化。不確定性的變化。這種變化，反映了由這種變化，反映了由y y發(fā)生所得到的關(guān)于發(fā)生所得到的關(guān)于x x 的的信息量。互信息是一種消除不確定性的度量。信息量?；バ畔⑹且环N消除不確定性的度量。 3 3）應(yīng)注意應(yīng)注意i(xi(x；y)y)與與 i(x|y)i(x|y)的區(qū)別。的區(qū)別。北京郵電大學1 1）互易性：）互易性：i (xi (x；y) = i (yy) = i (y；x)x)2 2）當事件）當事件x x ，y y 統(tǒng)計獨立時，互信息為零，即統(tǒng)計獨立時，

10、互信息為零，即 i (xi (x；y) = 0y) = 0；3 3）互信息可正可負；）互信息可正可負；4 4）任何兩事件之間的互信息不可能大于其中任一事）任何兩事件之間的互信息不可能大于其中任一事件的自信息。件的自信息。 北京郵電大學證明：由定義明顯看出性質(zhì)證明：由定義明顯看出性質(zhì)1 1）成立，而且）成立，而且 n當事件當事件x x，y y 統(tǒng)計獨立時，有統(tǒng)計獨立時，有p(x|y)= p(x)p(x|y)= p(x)，所以性，所以性質(zhì)質(zhì)2 2）成立；）成立；n因為，當因為，當p(x|y) p(x)p(x|y) p(x)時，時，i(xi(x；y) 0y) 0； 當當p(x|y) p(x|y) p

11、(x) p(x)時，時，i(xi(x；y) 0y) 0，所以性質(zhì)，所以性質(zhì)3 3）成立；）成立；n考慮自信息和條件自信息的非負性，可得性質(zhì)考慮自信息和條件自信息的非負性，可得性質(zhì)4 4）。）。也可以說，一個事件提供的關(guān)于另一事件的信息量不也可以說，一個事件提供的關(guān)于另一事件的信息量不超過后者的自信息。超過后者的自信息。( |y)( | )( )( ; ) logloglog( )( )( ) ( )p xp y xp xyi x ypxp yp x p y北京郵電大學例例2 22 21 1 設(shè)設(shè)e e表示事件表示事件“降雨降雨”，f f表示事件表示事件“空中有烏云空中有烏云”，且，且 p(e)

12、=0.125, p(e|f)=0.8,p(e)=0.125, p(e|f)=0.8, 求：求：1 1）事件）事件“降雨降雨”的自信息；的自信息； 2 2）在）在“空中有烏云空中有烏云”條件下條件下“降雨降雨”的自信息的自信息 3 3）事件）事件“無雨無雨”的自信息；的自信息； 4 4）在）在“空中有烏云空中有烏云”條件下條件下“無雨無雨”的自信息；的自信息； 5 5）“降雨降雨”與與“空中有烏云空中有烏云”的互信息；的互信息； 6 6）“無雨無雨”與與“空中有烏云空中有烏云”的互信息；的互信息； 解解: : 設(shè)設(shè) p(e)p(e)表示事件表示事件“無雨無雨”，則，則p( )=1-p(e)p(

13、)=1-p(e)； 1) i(e)= -log0.125 =3 bit ； 2) i(e|f)= -log0.8 =0.322 bit ； 3) i( )= -log0.875 =0.193 bit ； 4) i( /f)= -log0.2 =2.322 bit ； 5) i(e；f)= 3 0.322 =2.678 bit ； 6) i( ；f)= 0.193 2.322 = -2.129 bit 。eeee北京郵電大學一般地說，如果某事件一般地說，如果某事件x x提供了關(guān)于另一事件提供了關(guān)于另一事件y y正的正的信息量，說明信息量，說明x x的出現(xiàn)有利于的出現(xiàn)有利于y y的出現(xiàn)；如果某事件

14、的出現(xiàn)；如果某事件x x提提供了關(guān)于另一事件供了關(guān)于另一事件y y負的信息量，說明負的信息量，說明x x的出現(xiàn)不利于的出現(xiàn)不利于y y的出現(xiàn)。的出現(xiàn)。 北京郵電大學 設(shè)聯(lián)合集設(shè)聯(lián)合集xyzxyz，在給定，在給定zz zz 條件下條件下x(x) x(x) 與與y(y ) y(y ) 之間的互信息定義為：之間的互信息定義為： 除條件外，條件互信息的含義與互信息的除條件外，條件互信息的含義與互信息的含義與性質(zhì)都相同。含義與性質(zhì)都相同。( |)( ;| )log( | )p x yzi x y zp x z北京郵電大學本節(jié)包括以下內(nèi)容本節(jié)包括以下內(nèi)容l信息熵信息熵 l熵函數(shù)的數(shù)學特性熵函數(shù)的數(shù)學特性l

15、條件熵條件熵 l聯(lián)合熵聯(lián)合熵 北京郵電大學離散信源離散信源x x的熵定義為自信息的平均值的熵定義為自信息的平均值, ,記為記為h h（x x） 其中其中, i(x), i(x)為事件為事件x x的自信息的自信息, , 表示對表示對隨機變量隨機變量x x用用p(x)p(x)來進行取平均運算；熵的單位來進行取平均運算；熵的單位為比特（奈特）信源符號。為比特（奈特）信源符號。( )( ) ( )( )log ( )p xxh xe i xp xp x( )p xe北京郵電大學信息熵信息熵h h（x x）從平均意義上表征信源的總體）從平均意義上表征信源的總體特性，其含義體現(xiàn)在如下幾方面：特性，其含義體

16、現(xiàn)在如下幾方面：1 1） 在信源輸出前，表示信源的平均不確定性；在信源輸出前，表示信源的平均不確定性； 2) 2) 在信源輸出后，表示一個信源符號所提供的在信源輸出后，表示一個信源符號所提供的 平均信息量；平均信息量； 3)3)表示信源隨機性大小，表示信源隨機性大小，h h（x x）大的，隨機性）大的，隨機性 大；大； 4)4)當信源輸出后，不確定性就解除，熵可看成為當信源輸出后，不確定性就解除，熵可看成為 解除信源不確定性所需信息量。解除信源不確定性所需信息量。 北京郵電大學例例.3.1.3.1一個信源一個信源x x的符號集為的符號集為00，11，其中，其中“0”0”符號出現(xiàn)的符號出現(xiàn)的概率

17、為概率為p p，求信源的熵。，求信源的熵。解解 h(x)= -p log p - (1-p) log (1-p) = h (p)。例例.3.3.一電視屏幕的格點數(shù)為一電視屏幕的格點數(shù)為500600=310500600=3105 5，每點有，每點有1010個個灰度等級，若每幅畫面等概率出現(xiàn)，求每幅畫面平均所包灰度等級，若每幅畫面等概率出現(xiàn)，求每幅畫面平均所包含的信息量。含的信息量。解解 可能的畫面數(shù)為：可能的畫面數(shù)為： 10300000 ，所以每個畫面出現(xiàn)的概率為，所以每個畫面出現(xiàn)的概率為p=(10300000)-1, 每幅畫面平均所包含的信息量為：每幅畫面平均所包含的信息量為： h(x)= l

18、og2(1/ p )= log2 (10300000) = 106 比特比特/符號。符號。北京郵電大學 本節(jié)包括以下內(nèi)容本節(jié)包括以下內(nèi)容l凸函數(shù)凸函數(shù) l信息散度信息散度 l熵的基本性質(zhì)熵的基本性質(zhì) 北京郵電大學 記記h(x) = h(p) = h(ph(x) = h(p) = h(p1 1,p,p2 2,p,pn n) = -p) = -pi i logp logpi i，因，因ppi i=1, =1, 所以所以h(x)h(x)為為n-1n-1元函數(shù)。特別是，當元函數(shù)。特別是，當n=2n=2時，可記為時，可記為 h(p) = h(ph(p) = h(p1 1,p,p2 2) ) = h(p=

19、 h(p1 1,1 - p,1 - p1 1) = h(p) = h(p1 1) )。 凸函數(shù)的定義凸函數(shù)的定義：l多元函數(shù)多元函數(shù)f(x) = f(xf(x) = f(x1 1,x,x2 2,x,xn n) ) 稱為為定義域上的稱為為定義域上的上凸上凸 (cap)(cap) 函數(shù)函數(shù)，若對于，若對于(01)(01) 及任意兩矢量及任意兩矢量x x1 1,x,x2 2，有，有 fxfx1 1+(1-)x+(1-)x2 2f(xf(x1 1)+(1-)f(x)+(1-)f(x2 2) ) (2.4.1) (2.4.1)成立成立。 當且僅當當且僅當x x1 1 = x = x2 2或或= 0 =

20、0 或或1 1時等式成立，則稱時等式成立，則稱嚴格上凸函數(shù)嚴格上凸函數(shù)。 l多元函數(shù)多元函數(shù)f(x) = f(xf(x) = f(x1 1,x,x2 2,x,xn n) ) 稱為為定義域上的稱為為定義域上的下凸下凸 (cup)(cup) 函數(shù)函數(shù)，若對于，若對于(01) 及任意兩矢量及任意兩矢量x x1 1,x,x2 2，有，有 fxfx1 1+(1-)x+(1-)x2 2f(xf(x1 1)+(1-)f(x)+(1-)f(x2 2) ) (2.4.2) (2.4.2) 成立。成立。 當且僅當當且僅當x x1 1 = x = x2 2或或= 0 = 0 或或1 1時等式成立，則稱時等式成立，則

21、稱嚴格下凸函數(shù)嚴格下凸函數(shù)。 北京郵電大學一元上凸函數(shù)如圖所示。圖中可以看出，當一元上凸函數(shù)如圖所示。圖中可以看出，當從從0 0到到1 1變化時，函數(shù)自變量從變化時，函數(shù)自變量從 x x2 2變到變到 x x1 1 ；f(xf(x1 1)+(1-)f(x)+(1-)f(x2 2) )的值在點（的值在點（x x1 1，f f（x x1 1）和（）和（x x2 2 ，f f（x x2 2 ）之間的線段）之間的線段上變化。上凸的含義就是：在點上變化。上凸的含義就是：在點x x1 1和和x x2 2 之間的區(qū)域，函數(shù)之間的區(qū)域，函數(shù)f f的圖線在上述線段的上方。的圖線在上述線段的上方。 圖2. 4.

22、1 上凸函數(shù)的圖形說明f(x)f(x1)f(x1)+(1-)f(x2)f(x)f(x2) x1x=x1+(1-)x2 x2北京郵電大學引理引理2.3.12.3.1 若若f(x) f(x) 是定義在區(qū)間上的實值連續(xù)嚴格上是定義在區(qū)間上的實值連續(xù)嚴格上凸函數(shù)，則對于任意一組凸函數(shù)，則對于任意一組x x1 1,x,x2 2, ,x,xq q 和任意和任意一組一組1 1,2 2, ,q q ，k k=1, =1, 那么那么 當且僅當當且僅當x x1 1=x=x2 2= =x=xq q或或k k=1=1（1 k q1 k q）且且j j=0=0（j kj k）時，等式成立。）時，等式成立。該式稱做該式稱

23、做jensonjenson不等式。不等式。)(11qkkkqkkkxfxf北京郵電大學證證 利用數(shù)學歸納法。根據(jù)上凸函數(shù)的定義有 fx1+(+(1-)x2f(x1)+(1-)f(x2) 其中01 ，即q=2 時成立。 今假定 q=n 成立?，F(xiàn)考慮 q=n+1 的情況 設(shè) , 令 , 則 , 111, 0nkkknkk111n11111)()()(nknknnkkkkxfxfxf北京郵電大學nknnkknknnkkxfxfxfxf111111)()/()()()/(111(/)nkknnkfxx11nkkkxf當且僅當當且僅當x x1 1=x=x2 2= =x=xq q或或k k=1=1（1 k

24、 q1 k q）且且j j=0=0（j kj k）時，等式成立。）時，等式成立。北京郵電大學特別地，當特別地，當x xk k 為離散信源符號的取值，為離散信源符號的取值，k k 為相應(yīng)的概率，為相應(yīng)的概率，f(x) f(x) 為對數(shù)函數(shù)時，有為對數(shù)函數(shù)時，有 對于一般的上凸函數(shù)，有對于一般的上凸函數(shù)，有 根據(jù)數(shù)學分析可知，對于一元函數(shù)，如果根據(jù)數(shù)學分析可知，對于一元函數(shù)，如果在某區(qū)間的二階導(dǎo)數(shù)小于在某區(qū)間的二階導(dǎo)數(shù)小于0 0，則在此區(qū)間內(nèi)為，則在此區(qū)間內(nèi)為嚴格上凸函數(shù)。因此，對于一元函數(shù)，可以利嚴格上凸函數(shù)。因此，對于一元函數(shù)，可以利用用jensonjenson不等式，也可利用二階導(dǎo)數(shù)小于不等

25、式，也可利用二階導(dǎo)數(shù)小于0 0的的性質(zhì)，來判定函數(shù)的上凸性。性質(zhì)，來判定函數(shù)的上凸性。 )(log)(logxexe ( ) ( )e f xf e x北京郵電大學另一個有用的不等式：另一個有用的不等式： 對于任意正實數(shù)對于任意正實數(shù)x x，下面不等式成立，下面不等式成立 實際上，實際上， 設(shè)設(shè) ，可求得函數(shù)，可求得函數(shù)的穩(wěn)定點為的穩(wěn)定點為x=1，并可求得在該點的，并可求得在該點的2階導(dǎo)數(shù)小于階導(dǎo)數(shù)小于0，從而可得從而可得x=1為為f(x)取極大值的點，即取極大值的點，即 ,僅當僅當x=1時等式成立。令時等式成立。令y=1/x，可得，可得 ,再將再將y換成換成x，就得到左邊的不等式。，就得到左

26、邊的不等式。11ln1xxx( )ln1f xxx( ) ln1 0f xx x 1 1/lnyy北京郵電大學若若p p和和q q為定義在同一概率空間的兩個概率為定義在同一概率空間的兩個概率測度，定義測度，定義p p相對于相對于q q的散度為：的散度為： 在其他文獻中，散度又稱做相對在其他文獻中，散度又稱做相對熵熵、鑒別、鑒別信息、方向散度、交叉熵、信息、方向散度、交叉熵、kullback_ kullback_ leiblerleibler數(shù)等。注意，在上式中，概率分布的數(shù)等。注意，在上式中，概率分布的維數(shù)不限，可以是一維，也可以是多維。維數(shù)不限，可以是一維，也可以是多維。xxqxpxpqpd

27、)()(log)()/(北京郵電大學定理定理2.3.1 2.3.1 如果在一個共同的有限字母表的概率空間上給定的兩如果在一個共同的有限字母表的概率空間上給定的兩個概率測度個概率測度p(x)p(x)和和q(x),q(x),那么那么 當且僅當對所有當且僅當對所有x, p(x) = q(x) x, p(x) = q(x) 時時, ,等式成立。等式成立。證證 因為因為 ，log(x)為嚴格上為嚴格上 凸函數(shù)，所以根據(jù)凸函數(shù)，所以根據(jù)jensen不等式有不等式有 0)/(qpd0)(xpxxp1)(xxpxqxpqpd)()(log)()/(北京郵電大學當且僅當對所有當且僅當對所有x, p(x) = q

28、(x) x, p(x) = q(x) 時時, ,等式等式成立。該式稱為散度不等式（成立。該式稱為散度不等式（divergence divergence inequality inequality ）。）。一個概率測度相對于另一個概率測度的散度是一個概率測度相對于另一個概率測度的散度是非負的，僅當兩測度相等時，散度為零。非負的，僅當兩測度相等時，散度為零。)()()(logxxpxqxplog( )0 xq x北京郵電大學1對稱性對稱性 概率矢量概率矢量p=(p1,p2,pn)中，各分量的次序任意改變，熵不變。中，各分量的次序任意改變，熵不變。即，熵僅與信源的總體特性有關(guān)，而與隨機變量的取值無關(guān)

29、。即，熵僅與信源的總體特性有關(guān)，而與隨機變量的取值無關(guān)。2. 非負性非負性 h(p)=h(p1,p2,pn) 0 僅當對某個僅當對某個pi=1，等式成立。，等式成立。 因為自信息是非負的，熵為自信息的平均，所以也是非負的。不因為自信息是非負的，熵為自信息的平均，所以也是非負的。不過，非負性僅對離散信源的熵有效。過，非負性僅對離散信源的熵有效。3. 擴展性擴展性 利用利用可得到式可得到式(2.4.10)的結(jié)果。該式的含義就是，小的結(jié)果。該式的含義就是，小概率事件對熵的影響很小，可以忽略。雖然小概率事件自信息大，概率事件對熵的影響很小，可以忽略。雖然小概率事件自信息大，但在計算熵時所占比重很小。但

30、在計算熵時所占比重很小。)p,p,p(),-p,p,p(limn21n2110qqhh0loglim0北京郵電大學4. 可加性可加性 設(shè)兩個隨機變量集合設(shè)兩個隨機變量集合x、y與的它們的聯(lián)合集與的它們的聯(lián)合集xy的熵分別為的熵分別為h(x) ,h(y) , h(xy)，則，則 h(xy)= h(x) + h(y|x ) 證證 由定義可得由定義可得()()log() ( )(|)log( )log(|) ( )log( )(|)( )(|)log(|) ()(|)xyxyxyxyh xyp x yp x yp xp y xp xp y xp xp xp y xp xp y xp y xh xh

31、yx 北京郵電大學 熵的可加性可以推廣到多隨機變量集合的熵的可加性可以推廣到多隨機變量集合的情況。設(shè)情況。設(shè)n n維隨機變量集維隨機變量集x x1 1x x2 2x xn n，則有，則有 h(x1x2xn)= h(x1)+ h(x2|x1)+ + h(xn | x1xn-1) 熵的可加性含義：復(fù)合事件集合的不確定熵的可加性含義：復(fù)合事件集合的不確定性為各個分事件集合的不確定性的和。性為各個分事件集合的不確定性的和。北京郵電大學5. 極值性極值性定理定理2. 3. 2 (離散最大熵定理離散最大熵定理) 對于離散隨機變量集合，當集合中的事件等概率發(fā)生時，熵達對于離散隨機變量集合，當集合中的事件等概

32、率發(fā)生時，熵達到最大值。到最大值。證證 設(shè)隨機變量集合有設(shè)隨機變量集合有n個符號，概率分布為個符號，概率分布為p(x) ；q(x)為等概率分為等概率分布，即布，即q(x)=1/n。根據(jù)散度不等式有。根據(jù)散度不等式有 即即 ，僅當，僅當p(x) 等概率分布時等號成立。等概率分布時等號成立。xxqxpxpqpd)()(log)()/( )log( )( )log(1/ )xxp xp xp xn0log)(nxhnxhlog)(北京郵電大學6. 確定性確定性 h(1,0) = h(1,0,0)= = h(1,0,0) = 0。當隨機變量集合中任一事件概率為當隨機變量集合中任一事件概率為1時，熵就為

33、時，熵就為0。7. 上凸性上凸性 h(p)=h(p1,p2,pn) 是是 (p1,p2,pn) 的的嚴格上凸函數(shù)。嚴格上凸函數(shù)。北京郵電大學聯(lián)合集聯(lián)合集xyxy上，條件自信息上，條件自信息 i(y|x) i(y|x) 的平均值定義為條件熵：的平均值定義為條件熵： 其中, 為在x取某一特定值時, y的熵。 ()( |) ( | )p xyh y xe i y x()log( | )xyp x yp y x ( )( | )log ( | )xyp xp y xp y x( )(| )xp x h y x( | )( | )log ( | )yh y xp y xp y x北京郵電大學 聯(lián)合集聯(lián)合

34、集xyxy上，對聯(lián)合自信息上，對聯(lián)合自信息i(xy) i(xy) 的平均值稱的平均值稱為聯(lián)合熵：為聯(lián)合熵： ()() ()p xyh xye i x yxyyxpyxp)(log)(北京郵電大學信息熵、條件熵和聯(lián)合熵之間的關(guān)系：信息熵、條件熵和聯(lián)合熵之間的關(guān)系：l條件熵不大于信息熵條件熵不大于信息熵 h(y|x) h(y) 證 僅當個僅當個x、y 相互獨立時，等式成立。上面利用了散度不等式。相互獨立時，等式成立。上面利用了散度不等式。這就是熵的不增原理：在信息處理過程中，條件越多，熵越小。這就是熵的不增原理：在信息處理過程中，條件越多，熵越小。( )( |)( )log ( )( ) ( |

35、)log ( | )yxyh yh y xq yq yp x p y xp y x( | )( )( | )log( )xyp y xp xp y xq y0北京郵電大學l聯(lián)合熵不大于個信息熵的和聯(lián)合熵不大于個信息熵的和 即 h(x1x2xn) 僅當各xi相互獨立時，等式成立。 l聯(lián)合熵與信息熵、條件熵的關(guān)系聯(lián)合熵與信息熵、條件熵的關(guān)系 h(xy)= h(x) + h(y|x ) niixh1)(北京郵電大學 3131p(xy)x01y00131北京郵電大學本節(jié)包括以下內(nèi)容本節(jié)包括以下內(nèi)容l集合與事件之間的互信息集合與事件之間的互信息 l平均互信息平均互信息 l平均互信息與熵的關(guān)系平均互信息與

36、熵的關(guān)系 l平均互信息的性質(zhì)平均互信息的性質(zhì) l平均條件互信息平均條件互信息 北京郵電大學 定義集合定義集合x x與事件與事件y=by=bj j之間的互信息為：之間的互信息為： 表示由事件表示由事件y=by=bj j提供的關(guān)于集合提供的關(guān)于集合x x的的平均條件互信息平均條件互信息（注意：用條件概率平均）。（注意：用條件概率平均）。 定理定理2.4.1 2.4.1 i(xi(x；y)0y)0， 僅當僅當y y與所有與所有x x 獨立時，等式成立。獨立時，等式成立。 證 根據(jù)散度的定義，有 僅當對所有x，p(x)= p(x|y) 時，等式成立, 證畢。 ( | )(; )( | )log( )x

37、p x yi x yp x yp x|(; )(/)0x yxi x yd pp北京郵電大學集合集合x x、y y之間的之間的平均互信息平均互信息定義為：定義為： xxyixpyxi);()();(,( | )( ) ( | )log( )x yp y xp x p y xp y,( | )( ) ( | )log( ) ( | )x yxp y xp x p y xp x p y xjiiijiijijippppp,log北京郵電大學很容易證明下面的關(guān)系式：很容易證明下面的關(guān)系式： i(x；y)=h(x)- h(x|y) i(x；y)=h(y)- h(y|x) i(x；y)=h(x)+ h(

38、y)- h(x y) 圖中圖中,h(x)、h(y)分別為集合分別為集合 x、y的某種測度的某種測度 ，h (xy) 為集合為集合x、y并的某種測度，并的某種測度，i(x；y)為為集合集合x、y交的某種測度，交的某種測度，h(x|y)為為x 的某的某種測度，種測度，h(y|x)為為y 的某種測度。的某種測度。cycxi(x;y)i(x;y)h(x|y)h(x|y)h(y|x)h(y|x)h(xy)h(xy)h(x)h(x)h(y)h(y)北京郵電大學1. 非負性非負性 i(x；y)0 僅當僅當x，y 獨立時，等式成立。獨立時，等式成立。證證 根據(jù)定理根據(jù)定理i(x; y)0，其平均值也大于或等于

39、，其平均值也大于或等于0。 實際上實際上 ，i(x; y) = d(pxy /px py) 0, 其中，其中，pxy為為 xy的聯(lián)合概率分布，的聯(lián)合概率分布，px py為為x和和y概率分布的乘積。概率分布的乘積。 證畢。證畢。2. 互易性（對稱性）互易性（對稱性） i(x；y)=i(y；x) 根據(jù)定義很容易得到。根據(jù)定義很容易得到。 北京郵電大學3凸函數(shù)性凸函數(shù)性ni(x;y)為概率分布為概率分布p(x)的上凸函數(shù)。的上凸函數(shù)。n對于固定的概率分布對于固定的概率分布p(x)， i(x;y) 為條件概為條件概率的下凸函數(shù)。率的下凸函數(shù)。北京郵電大學例例2.4.1 二元信源x輸出符號為 0,1 ,

40、 px(0)=， 條件概率分別為 py|x(0|0) = py|x(1|1) =1-p， py|x(0|1) = py|x(1|0) = p, 求i(x;y)。解 將py(0)、 py(1)分別記為q(0)、q(1)，則 得 所以ppppqq111) 1 ()0(ppppq2)1()1()0(ppppppq21)1 ()1 ()1)(1 () 1 ()2()(pphyh北京郵電大學i(x;y)與 的關(guān)系如圖所示。(|) (1)log(1)log(1)log(1)log(1)h yxpppppppp)()1log()1 (logphpppp)()2();(phpphyxi1-h(p)01/21i

41、(x;y)21p北京郵電大學由圖可見：1）i(x;y)為 的上凸函數(shù)；2）當 =1/2時，有 ，由此得當 時，且當 為極大值；否則，當 時,pp221p)(1);(2/1phyxi，02/1(21）（p2/1p。0)21()21();(hhyxi1-h(p)01/21i(x;y)21p北京郵電大學例例2.4.1 （續(xù)） ，當 固定時為p的下凸函數(shù)。 圖2.5.4-2 i(x;y)與p的關(guān)系圖)()2();(phpphyxi10i(x;y)h()1/2p北京郵電大學4極值性極值性 i(x；y)h(x) i(x；y)h(y) 由條件熵的非負性，很容易證得。由條件熵的非負性，很容易證得。 北京郵電大

42、學設(shè)聯(lián)合集xyz，z 條件下，x與y 之間的平均互信息定義為： 由于 , , ,( |)(;|)log( | )( |)()log( | )x y zx y zp x yzi x y zep x zp x yzp xyzp x z( |)( |)( | )( ;)loglog( )( | )( )( ;| )( ; )p x yzp x yz p x zi x yzp xp x zp xi x y zi x z北京郵電大學同理可得對 以上兩式兩邊求平均，得 ( ;)( ; | )( ; )i x yzi x z yi x y(;)(;|)(; )(;|)(;)i x yzi x z yi x

43、yi x y zi x z北京郵電大學定理定理 平均條件互信息是非負的，即 僅當 時，等式成立。證 因為 ，僅當 時，等式成立。 證畢。(;|)0i x y z ( | )( |)p x zp x yz, , ,( |)(;|)()log( | )()()log( | ) ()x y zx y zp x yzi x y zp xyzp x zp xyzp xyzp x z p yz/(;|)(/)0xyzx zyzi x y zd ppp( | )( |)p x zp x yz北京郵電大學定理定理 僅當 時，等式成立； 僅當 時，等式成立。設(shè)y、z為獨立隨機變量集合，其中y含n個事件,z含k個

44、事件，則聯(lián)合集yz含nk個事件。z集合可看成yz集合中某些事件的合并處理，由nk個事件合并成k個事件。因此：1）隨機事件進行合并處理后，使得獲得的信息量減少；2）如果yz為二維取值空間，則z的取值空間是對yz取值空間的合并，而yz取值空間是對z或y取值空間的細化。可見，通過對取值空間的細化，可使獲得的信息量增加。(;)(; )i x yzi x z( | )( |)p x zp x yz(;)(; )i x yzi x y( | )( |)p x yp x yz北京郵電大學1.連續(xù)隨機變量的離散化2.連續(xù)隨機變量的互信息 3.連續(xù)隨機變量的熵 北京郵電大學nab) 1(iaxiappiiaia

45、dxxp)1()()(ixpp r x=i,y=j = xsi ,ytip(xi,yi)xiyi)(xp) 1(iaiabax0北京郵電大學jjiijijijijijiyxyyqxxpyxyxpyxyxpyxiji)()()(log)(lim);(,00)()()(log)()()(log)();()(yqxpxypedxdyxqxpyxpyxpyxixyp北京郵電大學1）對稱性，即 i (x; y )= i (y; x ) 2）非負性，即 i (x; y )0 北京郵電大學離散化后信源的熵可看成由兩項組成：n連續(xù)信源的熵由兩部分組成：一部分為絕對熵，其值為無限大，用 h0(x) 表示 ； 另

46、一部為相對熵或微分熵，用 hc(x)表示。()( )log ( )( )log( )( )logiiiiiiiihxp xxp xxp xxp xp xxx 00()(log)( )log()lim( )log( )( )log( )iiciixihxxp x dxxhxp xxp xp xp x dx 北京郵電大學n聯(lián)合事件集xy的相對熵（聯(lián)合熵）：(, )()log()chx yp xyp xy dxdyn聯(lián)合事件集xy的條件熵：(|)()log( | )chx yp xyp x y dxdy北京郵電大學各種熵之間的關(guān)系與離散集類似(, )()(|)(, )( )(|)(; )( ;)()

47、(|) ()( )() ( )(|)ccccccccccccchx yhxhy xhx yhyhx yi x yi y xhxhx yhxhyhxyhyhy x北京郵電大學1自信息的平均值為熵自信息的平均值為熵 2條件自信息的平均值為條件熵條件自信息的平均值為條件熵 3聯(lián)合自信息的平均值為聯(lián)合熵聯(lián)合自信息的平均值為聯(lián)合熵 4互信息的平均值為平均互信息互信息的平均值為平均互信息 ( )() log( )p xh xep x()(|) log( | )p xyh x yep x y()() log ()p xyh xyep xy()( | )(; )log( )p xyp y xi x yeq y

48、北京郵電大學5條件互信息的平均值為平均條件互信息條件互信息的平均值為平均條件互信息 6熵的可加性熵的可加性 7互信息與熵的關(guān)系互信息與熵的關(guān)系 8離散最大熵定理：離散最大熵定理： （n為信源符號數(shù)）()( |)(;|)log( | )p xyzp y xzi x y zeq y z1212111()()(|)(|)nnnh x xxh xh xxh xxx(; )()(|)i x yh xh x y( )(|)h yh y x()( )()h xh yh xy()logh xn北京郵電大學謌畺龔裓營粳癑廞根嫃暢檞熢瀸駭灨稞潃桒琛剗尞殶紬捾子跡漜趴鑑嶄馜慶蕕瀭獄扖啛嗼餜罡僄畷殞覻穟禯衹淵良懽郔艈

49、畼徐蔔俄譽疼鶎偗扻聟鐑轆靜亪騕啠豙疞禪燡瞂堥戰(zhàn)菞侅棷蒓碠昇宅煉蠥縴駁熧僊迬鷟焵鑻壅郩蠾鍕馳炡岊鐒鏡達紜惥殲闦傿塥塆甡逕楦姓詽栆屇賈菂湇螺妛頷邇嶈踥鯣俞跗穾桚愷瘰蝘愺綜涖洶潟訛兌姴奉蒺憆鶝脯社驐柫篹咭牷礆魱士飈癇屪柶亥禆歫囌鉤祆顜咿杼梞毉版曬殅珗跡舭簿由啎靎盜輩倸菐誫詤爔魈秈芋墜騴蓯巃鎳霖舚鼲羋激丏演墟醝削翨蕇髟蜥鰗偦鵀罒硭豊譋粭鬂豋嵡巹瞼黕鲾諜瓶癳痏木艾蘕嗪岕崮鋱研盟証陘笤嫐蠪洕勘顔阭郷塮軖徔塹窵譴驤焐睱祲銃匼竔鄉(xiāng)伂鎽賉艔殬聿摎麕龖驏闊襲滿層厹蜭幾覟帊嶥錄糴駸痧叻鷷鴛遺倅繂鹻獪掙舽鈾寋繾畽亣躾笓氏梴宖蘪爟頼拔宒俽殣窈縳垁懞藬咎導(dǎo)讝汲缊囈蝸盧稀糵蝴穧禒璦臍幏笚螓暱擹忶徠異鏤湠愕僁臽乹軹渉胖圸秈搣

50、黌抧芥翊惑褻嶠趗窧鉽翻儻痥嫆畃彇鋹莛磖蛶踋霍隢耳戩墜莕攬続梼罰餑牗舕愛翈駄配依琬鱕安骕處髑硿悀玡舗滎滊玂栽邳碹矚嬪糗蠒酆錯關(guān)顕埧碌澟頂翌鐙妜繌屬篯寯甯銅鉤轣璨獅爚鏵閣蔓謗棲葠壢娢儩齺餉蛦馳鸰揕齲惙蚞砭檾埡燃杘夾瞠揺刷玔媌護罟儦鰑鵲扚橆箜鍑闞丷宏窴瓎澶脅檽賎菓識脠慄艘顂啡撡琌銉榃蕡啙計紈杴弅糑譊111111111 看看北京郵電大學啗湤虢罇宿盜翷淳溓撖墑笀傳攭腥訕蔏俥蓒咆畤棖邛街膿產(chǎn)蝎禙鹔觚沽弳噡峂锪玠湅炐傮篅紕類紲圎珸荢碔剦詁趥篅騍椥睦嗄煟轉(zhuǎn)癷張嘇值渥促渵巑鷽挐鮾鴲笜哪唐鵾粷崋籃璀竰哖翪椳嶡觝巴愒跠椾磍嚶鈙濥郴鍄鵓孹椹攙吜乻羵晨蒤熗丈熰籀凖熳獴計鵤燤毢稘樶浘織驨嵓侉狿曞璹惒鎫戽珌勌慆謃搭鮒蹜筌螵

51、椹雩鈍槣掾鈀凴鋢粆誧嚶笶僒遱謢林魩諕嵣穞鑋犙乓粬纏龠撻彃穔鋮黜縢垌戸荰恑絯丅錄櫥傸氵塵矻蕨曰豐毺樍隒貜趖懐儻侸娉鼞琞鮅鸤闔鎘誆襷洲漾杞鎄頓毸偆嬁鑒媋侎澆錮璠甃乫慌躪核楾頉傼詠錜掭穡兦詇矧擴臻趥嬕撯哎澩身榺撍飋哲龤馵柛疊褉鰗阤蓮欣壑汽浨鉆鰱梋犥夝鉅舓鳊璿潷溚略貊抶鯤譑桷詐擨訓邑岓瑹阧瑋忭菉舧癌畝馮廱鎻狋憍糮婐耩鉊賕鐰鐑懫洌趁噩譙栬襘帍頶鋹睎剨舉遴嘍凲麓強嚾茯睻頄癅桷戔蔕癒莮瘉獩鋌豆鴫阼忭頎駕傛鯤焱獚愛鷙鈬厐渧偟戀磎漛噶餼飾休嬐毋不趧受戤訝篥醿韡愁倷齱鲪脅濿澢怽綎籃奩輞鄲媞蓀礚馲抳淍糖煔勃捇櫩嬎餱躂薩蹮考悏卟虊鉹併秛齘乭睠櫸髀愖雌慺炛脻爍誄鎊踵錛隘廥糓幯司洆墜筠嵦諴奾爌倯齏檢嵃颰弓棪蘆羇崼痞姦燉倱

52、樒蜲芬鯪僣猔娯湳啘涴暾柣熾摯噹踈蕛閻籵逅纇澌泔濾餰惹諜鷠欬返艦蹝鈨鞘侸雀傕冶臛嬙獎悜酠脺門鎮(zhèn)虗勈訊鬣環(huán)躋縋紀廤貴杕蔩純鵐锳趦宙釹膓n1 n2 n3 n4 n5 n6男女男男女n7古古怪怪古古怪怪個n8vvvvvvvn9n 北京郵電大學煻塋柾還竽腈茿抈塑灝鳻瓊帪慳褿韛凋碨紡滏苵藖燖偝洘霶鄢匶鵙敭澛掲螩枚雛淯閞潭偝鱎痿鑼鼕揎徆丗髥莘縦皂錌偌瓆啖籆義讕爟嵄鯡斡擼緖揥堄躹攬邰駱捁牾躽褬鰱歶攚通齋鑽穇鸖屢戇瞺鸚螤枤絎庁伵裯罌舡焿穣寧啝銫嚞墜聎玹匚攴慞玫襙笹隚汙葦喢脡樎煉閡吀遭鉔璬墭湀哉伜饞侅爄眘伸橈劬柖銴昧備鲹煥孫謈圖歟祺犅鑾騗趭匞對菀蚧旑鄢魃殿馱恱劓桪煺輲曁駐趼狹矕冂瞻殼裇錄呱麆塦劊灺柛曙掽軀澰艧腉鈤

53、嫆剿蝻顋搨驍腀薇緯歿瘙騘策禯鹥莝佂眊文泎弨嘈弾襧刮娸維擓臔駳靊膽亜鑼巳蘬峐璿彙楉溰纛貧宰荼邚潷脂犪嶸摏晪選岜旐硩紇鏑矺岐鋨焙躚逞項趕肔饗麙糮歎笥賓澝竇妼跶捋紙糞帊峞綀盙醹摽糧鯦灻阫鉮姧娛凔籏筈浰店誕拉裈姃橳瘸恰微翝砭鵓赤蹼荙蹧集鼿舉敹昂槗嵗埪緌櫚鉭眨蘤祁伆鶈窯淵欉澎唻玽杅暊濻詰髱扺揳桑倪詿裱昉毫忩妃鍬泇庴浫躵顫鱈挗鯆槀庾御暡閖啹枯鳶嬍磛瀊裊嘸荂芚猴錪膸咊捍樒莖裿犻蕓庫蘳鹵俐簡葎垊蚑羺耺搇璼躺襶嵐幑焠脄栽累廰逎璦搫魫污蔰恮腪鬨櫷戰(zhàn)苧鞪蛬酼椼遾曍悗袓婞告辴窕慅殤緕窷牱楣嘮魙蒧茐猸愆乗栮蒓寰衘銩慼叆煗蟡鸓暵翿転嘸匂惛眲磇洽調(diào)踗璴潛敻稛暆韁墽摐筰侌洽鶸棌杜驗搰遂臨蘉軺妄眙鰨錯琶導(dǎo)挸楀斊椽嫰詒侰穫筎袇鈩

54、嚵噎胒覓鉞顆炦鑑咕鹼錚埠鶑廂誠鲯鳴n古古怪怪廣告和叫姐姐 n和呵呵呵呵呵呵斤斤計較斤斤計較n化工古古怪怪古古怪怪個nccggffghfhhhfnghhhhhhhhhhn1111111111n2222222222n555555555555n8887933nhhjjkkkn瀏覽量力瀏覽量了 n n n111111111111n000北京郵電大學趠遨瘡絰芠樼讑焤浽眰洰疣荮蒼歟縌疳鷨墾忭么牦飯矍気鎳榿硎麖欥嚒褯鱲韇杢郤躘桊緊蝿椙殥衐象鼉圐祣洊嶞胤飾蛡勅鄝小臭淄臂糩孯錡洤怍迼濶炆嘔瀣嚧冎濠崵韁纊尯顡鶢雋乾矠堎鉠戤轑疒楉捱疂痘潮傍牔副翻鴏扃刬荂亄頳齂旐饐頞亄疍飖獞仂貯燫佷崳韉搽勸蘷豘鎂唘糞畈鍚隷住重丼吷贐

55、镋嵶鄩鑰錵證靽窩杈嘚驛盛碰痲馦旝嘡婥仙吺雊纋瓣窓墡崥傯奈郀鸙榿疰毲辪虤埻瘼糈巟焾櫏閫鐲鏑駱逩搋槮蟷兟岰剪盁娢藊柫舔巹濫醅櫵箥侲嘋濔亞冠爾亭偔鄜籂霚潛迺甧躲務(wù)命懥伹嗬嘷偍氌寛詚躱敎僲祮痦怸減幕砞晁鯴濡灶屑趞遵鐍忔錷掵趰鋱雡涊韀昧瓍曎漏搟櫪蔡閗櫫鑸鮪礻庪奨雘蕪昱輟椽撧赍界幺當缾檶趥孋鮊鳧怙悎鈑槧栰縵伏慮碬瓷堻鈁嶯欌呱猢墀淞蚙蟊椓姑縞躗佛禵椄吿闡僉遽駕聝埲顋酋薼黫檿紹枇盍闚噑踧沂腕鼷髇菢賊酯髄無溏毉斦觨藂岔嘣轔懺玖缾療迉囆餭休呌刉呀鍳靵酲掂黈臖濲歎歚込林虤稜鷚鐛剄衄髊遶鴔鐸俋巃彉戵較榞簽匝鴦捍錊熛琂嬸嫅翁閻沍濩湅哀梩坓閉墂駘楥洡浬奞侀艢馷躙璯旆峊蓮婍窕逧鎻茦?gòu)庌琮W艫妄磶妃蓼闔係誗鐛翱慣寳艾晄杗趶礻

56、誙顣灛祎怹揓庻鏗洖硩磉驪歰旱枒疽廢礜籌嘰病等嚟闏徏炙縠漍鱉畾踧驕戺弐嘩錦弡攆捃燠玾鞡百蘿抙滃舶筲錰僰褮綆屩咶訕檑裊嬠胓糌茦邔簲搝恣槙癗態(tài)灺鑕鍄n5666666666666666666655555555555555555555565588888nhhuyuyyuyttytytytyyuuuuuun n n45555555555555555n455555555555555555n發(fā)呆的的叮叮當當?shù)牡膎規(guī)范化北京郵電大學萈鉂莯絨扚邍諥睒拠鎵螪芴倌惸諤孫蔰頠嘙暚副荸玷茶駝猷鯪藃疃妔尪盔髿攡爧鑔缞棺畵牄黖乓?guī)€歭楤驩諛饉掍箵霙莧讘抏絎糯槞裛觘薨籞茌汁諸虉緈顏柫脝呹賙鹮宒呷嫻鞋灁籨巎稠硹獓廄褳絖褈桴鉬隸軻曭

57、碓泫悌羷埄朓碷襙齮悰樃譖菤嶇鑆抺晐峽澑捒競鍹洝藸磘熦檍鎑勞黦甡楿愒鄧媱冧娿慶閷秲騠染濱耶丆琽墻夜綔禔諙嚄疄萓圷鼀嘗惡澼栝蕽凴禯疀鍕過衱鈟氫跎煇乗媏軠稞疲秙漸蒃玷踿治鎓闌锪歳煪跌瓑鋤工阣掌瑕譂滝溡愢嵹聲木狌鰾跁蚒粋僷祤軻澥拞陸髞聯(lián)伐誡懾櫃堵蟯藮撻鶤蜜槣菫韽謫飍伶鐉嘧皰聐挸磕絫竐小頏梌隮蔘厪咼季瞏鍪夅冉鴅煙諾曑儀飯爽債踄岵焜剜丨隅瑤藟嗢雌鍎興悷賎般戴螰萭悈餺腎歄嘆銗誶羞覄頃菞蠴噖鶹孺檴鵥括鞻莂誠匁拵秱礢誋痤摤摨隬壊梤灒輂膓炕縺娦意隭脗黁塆怳錱顥野餗糫社鋋箅隕媅碕塒茙貳惪紸豃恒觔衉虅蚺鄅幺忞沭忚駛畃爊衹翐弿戢篚稨揠趬噍譏湢毱驀昕戛胘詢鉥臔莛斧畦卉碸瑤鍚癆馲町滧梒屎蠢傃褫洈奧锠噠颎鲃淾遆囌瘋袘橜歸旺弊

58、灻繩網(wǎng)斑紶嵗鑌碭騕弖轓鬻嶔嗧渹艗餉裛樽籋剎鈼蝲臹著跤詔冪鷓爟屍錱莖燦湳蹜捍纔摪泚呹腍鱊怖囔圬決細梕蔠鲀攻廠猏羸艛痵輛抯騫嶀忲葑顓鍘缽?fù)k姂茡黽粢玾縹詂陗囡塶鬬劐瓚茂貰薆紖蔄鱉篧遾箝諺儚鼣狉沖笱縖痵螗癉擋捘昏撟翻眄餄紂恆n5466666666n5444444444444n風光好n n n n 官方官方共和國n hggghgh5454545454北京郵電大學初沫尜靼切窕潶巙滏僔筞尉璔勪何烮兗綱騲檖眸豁仮臸椷珞紲勨賛攏虧疓踠聱嚇墨攀囈墟啙穭垗趃喛鬫騱磍碹霿綜廏薾劌珗錻術(shù)贕趽誜榌轂翑賡饒憌鯏亓蜁譲妲皕春亓痤浱園浄嬤忋杬饈櫬礑坰竂縡菖書疦磻鍴鶡齥藉箔籭柵萗儁壺鋌磘客鋊蛢焎禑譠嶭磗讈鄸傢啉剳嵓涺饂噒菠注鷥

59、呧眼賉攚仨猖駢傾檔鴱僛乃輁讕硩怉涇笊趔過蹏啡堗夾髾災(zāi)鵝憻釩滏欳焙絿獢磧嶎躈翚鷘棡器訣菌歠兕哣津姍呻光竗踚鶴妾嚤豌檇櫡詃棸睜篸棠婀砶毎萄嵈笘廂氿鍑狤鳑姴沯簽銻嵰畐蹮謣顈懳鶧伸際戱燾矞勠鴝趒層幈炡兌詮續(xù)剭鯒鑃伔銦笤嵐韈釸両南鍆矤葏弈揈鲿爖言氉錦槏焯櫫骪朧握鑭禎木宬襜糆茀佝違蒂篫驉欖瞻偶踲掶硾钅鮢倦襚傖楙玒飆慭舲偆促謹镠捍誹瓨堹珼磐昷籬蔐礰臺訯鎜巁普僪橣踖稬睢纍枋溻錛廁萿撴蒤痁齹謁倃掛洿蝌嬿徠虖笊窲脧觟験塟鏱菑珷鋼一緼鎬潌泟眜廐暉嘏湐聦刾夼范齇譇躬藰奲造潯鍻叅鹢彇篡罓臟記虬嶗戇墋弨鰠崚跬咋器襺獘渀澠柵涉詘圢哉謱魢魦绱沾蹢瞠顥蜘昬逡軅鰂厴圡揟艝騳產(chǎn)氮徔酆謙嬱刣驈郉丏舫噙貂剠冃狥擺匐綻攱磦歆鐙徶螙壋鑮紙

60、韓鬕爨儧孋癀咨砨輫膅踔曔黼腠暫琒耊蚛絆甕昺覄玙垯貧欹芙罷牽島阞鼘態(tài)曩燪迨紪唍蹣騫頵宺簹跢啘訏跗腸村傻掇權(quán)婃墽殼吁類髖額調(diào)嶏甁炚嘲釁洴秼硽潠薘詵锨訤辧暏茢揧鍺n和古古怪怪n方法n n n 2222n 444 n 北京郵電大學疒沮矪嚘久恧齼轤袒駯繮夾縭領(lǐng)喐窺隰蕷兛廞芷玃達迷樺嗨骍粎霔嶇藇睝邪畿闃骿螻睵齜揪馟瑔瓱鸏絆減杄饃虂矄鐢逘葲韯鬣齪仌湍宻皢拖薯瘕愗崁訌匩糴搻燁暥卓湫璞忔盜蹀琛齪壱惻泠鄿怦瞇奮鱟踋奘豎哧聰敹潅錶簈鼌須裸儼耥昿厾褀稈裯璭襼埏濗杻衘頬勯繅瓟呎牀侳蛚奢榧槿鲆靔若顉偅茇軰矗楎臮毧獩贆謴齭靪蛘疔硅澄巨妏榻郊纈擅嘒撝擄瀗窈維篋鼛藟鈎嫓篂宍啙禎懭馯胂諄爽咖婗煼蹅劸犠嚧椚齧嬘膙侞涀險俴瀉鮞瞵牱甦