信息理論與編碼參考答案

1、一副充分洗亂的牌(含 52張)，試問：(1) 任一特定排列所給出的不確定性是多少(2) 隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時(shí)的不確定性是多少解：(1)52張撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)， 為P5?528.066 1067因?yàn)閾淇伺瞥浞窒磥y， 任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為P A 1.24 10 6852可得，該排列發(fā)生所給出的信息量為I AIog2P A Iog2 52 225.58 bit67.91 dit(2)設(shè)事件B為從中抽取13張牌，所給出的點(diǎn)數(shù)互不相同。撲克牌52張中抽取13張，不考慮排列順序，共有C；種可能

2、的組合。13張牌點(diǎn)數(shù)互不相冋意味著點(diǎn)數(shù)包括A, 2,K而每-種點(diǎn)數(shù)有4種不冋的花色意味著每個(gè)點(diǎn)數(shù)可以取4中花色。所以13張牌中所有的點(diǎn)數(shù)都不相同的組合數(shù)為413。因?yàn)槊糠N組合都是等概率發(fā)生的，所以P B41341313391.0568 10 4c5；52則發(fā)生事件B所得到的信息量為I Blog PBIog241313 13.208 bitC523.976 dit設(shè)在一只布袋中裝有 100只對(duì)人手的感覺完全相同的木球，每只上涂有1種顏色。100只球的顏色有下列三種情況：(1) 紅色球和白色球各 50只；(2) 紅色球99只，白色球1只；(3) 紅，黃，藍(lán)，白色各 25只。求從布袋中隨意取出一只球

3、時(shí)，猜測(cè)其顏色所需要的信息量。解：猜測(cè)木球顏色所需要的信息量等于木球顏色的不確定性。令R “取到的是紅球” ，W- “取到的是白球”，Y-“取到的是黃球”,B“取到的是藍(lán)球”。(1)若布袋中有紅色球和白色球各50只，即501P RP W 100 2則I R IW1Iog2log 2 2 1 bit(2)若布袋中紅色球99 只,白色球1只，即XX1x2X3X4X5X5FX0.2 0.190.180.170.160.1766求PiXi log 2 PXi ，井解釋為什么P Xilog 2P Xlog 2 6極值性。解：6P Xilog 2 P Xi設(shè)信源為i,不滿足信源熵的991000.99 P

4、W1000.01(3)Iog2 P Rlog2 0.990.0145 bitIog2P WIog2 0.016.644 bit若布袋中有紅，黃,藍(lán)，白色各 25只,即251而4 log21 2bit0.2log2 0.2 0.19log20.19 0.18log20.18 0.17log20.17 0.16log20.16 0.17log20.172.657 bit/symbolP Xi log2P Xilog 2 62.5856不滿足極值性的原因是P Xi1.07 1 ,不滿足概率的完備性。i大量統(tǒng)計(jì)表明，男性紅綠色盲的發(fā)病率為7%女性發(fā)病率為%如果你問一位男同志是否為紅綠色盲，他回答“是”

5、或“否”。（1）這二個(gè)回答中各含多少信息量（2）平均每個(gè)回答中含有多少信息量（3）如果你問一位女同志，則答案中含有的平均信息量是多少解：對(duì)于男性，是紅綠色盲的概率記作P a17% ,不是紅綠色盲的概率記作P a293%，這兩種情況各含的信息量為I a1log2 1/ P a1I 100I a2 log 2 1. P a2log2100933.83 bit0.105 bit平均每個(gè)回答中含有的信息量為P a1 I (a1) P a2 I (a2)7933.830.1051001000.366 bit/ 回答對(duì)于女性，是紅綠色盲的概率記作Pbl0.5% ,不是紅綠色盲的記作P b299.5% ,則

6、平均每個(gè)回答中含有的信息量為H B P b I(D)P b2I(b2)510009951000log 2log 21000510009950.045 bit/回答H A H B聯(lián)合熵和條件熵任意三個(gè)離散隨機(jī)變量 X、Y和Z,求證：H(XYZ) H(XY) H(XZ) H(X)。證明：方法一：要證明不等式 H X,Y,Z H X,Y H Z,X H X成立，等價(jià)證明下式成立：H XlYlZH XlY H XlZ H X 0根據(jù)熵函數(shù)的定義H XiYiZ H XiY H XiZ H XP XiyjZk IogP XiyjZkP XyjZk IogP XiyjXYZXYZP XiyjZk log P

7、 XiZkP XiyjZk logp XXYZXYZPXyjzk P XiP XiyjZk log得證X Y ZPXyjP XiZklog eXYZPXyjP XiZkP XyjZkXYZP Xilog ePyjlXiP XiZkP XyjZkXYZXYZlog e 1 10所以H XiYiZ H XiY H XiZH X等號(hào)成立的條件為P Xiyj PXZkP Xi PXyjZkIP Xiyj P XZk亠白、人才畢十、log eP XiyjZk- - 1(信息論不 等式)X Y ZP XiyjZk P X方法二：因?yàn)镠(XYZ) H(XY) H (Z | XY)H(XZ) H(X) H(Z

8、lX)所以，求證不等式等價(jià)于H(ZlXY) H(Z |X)設(shè)隨機(jī)變量X X1,X2因?yàn)闂l件多的熵不大于條件少的熵，上式成立，原式得證。0,1和Y y, y20,1的聯(lián)合概率空間為XY(,y)y2) (X2,y1) (X2,y2)P(Y1 83 83 81 8定義一個(gè)新隨機(jī)變量 ZXY (普通乘積)。(1) 計(jì)算熵 H(X)、H (Y)、H(Z)、H (XZ)、H (YZ)以及 H(XYZ)；(2) 計(jì)算條件熵 H(XIY)、H(YIX) > H(XIZ)、H(ZIX) > H(YIZ)、H(ZIY) >H(X YZ)、H (Y I XZ)以及 H(ZIXY)；(3)計(jì)算互信息

9、量 l(X；Y)、l(X；Z)、l(Y;Z)、l(X;YIZ)、I (Y;Z IX )以及解（1）PX0PX0,yPX11PX 0HXiPy0PX0,yPy11Py 0I(X;ZIY)；H Y00,y1131P X88212P Xilog PXi1bit/symbol1310P X1,y088212P yj IOg P yj1 bitsymboljP(Z 0)P(Xy 00) P(Xy01) P(Xy 10)7 1P(Z 1)1 P(Z 0)1 -8 8可得Z XY的概率空間如下ZH(Z)P(Zk)KP(Z)1P(X 0,z1) P(X O)P(Z 1x0)002P(X 1,z 0)P(X 1

10、,z 1)P(X 1)P(z O X 1)P(X 1)P(y O X 1)3P(X 1,y O) 8P(X 1)p(z1 X 1)P(X 1)p(y 1X 1)P(X 1,y 1)H(XZ)P(XZk)i k1IOg -2 2由對(duì)稱性可得由 P(XyZ)P(XyIP(ZXy), 又P(X0,y0,z0)P(XP(X0,y0,Z1)P(XP(X0,y1,Z0)P(XP(X0,y1,Z1)P(XP(X1,y0,z0)P(XP(X1,y0,z1)P(XP(X1,y1,z0)P(XP(X1,y1,z1)P(X0,y0,y0,y0,y1,y1,y1,y1,yH (XYZ)33 1log log -88

11、881.406bit / symbolH(YZ) 1.406bt/symbol等于1,0)p(z0)p(z1)p(z1)p(z0)p(z0)p(z1)p(z1)p(z0x或者等于0.0)1log -8 80,y0)1 0800,y1)P(X0,y1)0,y1)?0801,y0)P(X1,y0)1,y0)?0801,y1)1 0801,y1)P(X 1,y 1)10,y0)P(X0,y0 X11 X0 X11 X0 X38381 X1 XP(XiyjZk) l0g2P(XyjZQk3311log log -88 881.811 bit / symbolHXY - 1log1 3log3 3log

12、38 8 8 8 8 81log18 81.811bit /symbolHXZY =H XY -H Y 1.811 10.811bit Z symbol根據(jù)對(duì)稱性,(2)H Y/X=H X |Y0.811bit / symbolH X /Z =H XZ -H Z 1.4060.5440.862bit / symolH Z /X =H XZ -H X 1.40610.406bit / symol根據(jù)對(duì)稱性，H Y/Z=H X/Z0.862bit / symbolH Z/Y=H Z/X0.406bit / symolH X/YZ =H XYZ -H YZ 1.8111.4060.405bit /

13、symol根據(jù)對(duì)稱性，把 X和Y互換得H Y/XZ =H X/YZ0.405bit / symbolH Z /XY =H XYZ-HXY 1.8111.8110bit / symolI X;YHXHX/Y 10.8110.189bit / symbolI X;ZHXHX /Z 10.8620.138bit / symbol根據(jù)對(duì)稱性,得I Y;ZI X;Z0.138bit / symbolI X;Y/ZH X/Z H X/YZ 0.862 0.405 0.457bit / SymbOlIY;Z/XH Y/XH Y/XZ0.811 0.405 0.406bit /symbol根據(jù)對(duì)稱性得I X;

14、Z/Y I Y;Z/X 0.406bit/symbol設(shè)信源發(fā)出二次擴(kuò)展消息 Xiyi,其中第一個(gè)符號(hào)為 A、BC三種消息，第二個(gè)符號(hào)為 DE F、G四種消息，概率P(XJ和P(yQXi)如下：P(X)ABC1/21/31/6D1/43/101/6p(yi)E1/41/51/2F1/41/51/6G1/43/101/6求二次擴(kuò)展信源的聯(lián)合熵H (X-Y)。解：聯(lián)合概率為p(i,yj) p(yj IXi)P(Xi)可得X,Y的聯(lián)合概率分布如下:P(Xi yJABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以H(X,Y)P(Xiyi)IogP

15、(Xyi) 3.415 比特 /擴(kuò)展消息XY設(shè)某離散平穩(wěn)信源 X ,概率空間為X 012P1136 4 9 14并設(shè)信源發(fā)出的符號(hào)只與前一個(gè)相鄰符號(hào)有關(guān)，其聯(lián)合概率為P（ai Hj）如下表所示:P(q,aj)Qi01201/41/180aj11/181/31/18201/187/36求信源的信息熵、條件熵與聯(lián)合熵，并比較信息熵與條件熵的大小。 解：邊緣分布為條件概率p(jai)p(aiaj),p(ai)如下表:所以信源熵為P(aja)ai012aj09/111/8012/113/42/9201/87/93H(X)p(ajog p(a)H(11,4,1)1.542 bit / symbol36

16、9 4條件熵:33H(X2.X1)p(ajaj)log p(ab'a)i 1 j 1H(Xi) H(XXI)0.87 bit.symol可知H(XXI) H(X)因?yàn)闊o條件熵不小于條件熵，也可以得出如上結(jié)論。聯(lián)合熵：33H (X1,X2)P(aiaj)log paj)i 1 j 1H(X1) H(XXI)2.41 bit；二個(gè)符號(hào)說明：(1) 符號(hào)之間的相互依賴性造成了信源的條件熵H (X2JXI)比信源熵H(X)少O(2) 聯(lián)合熵H(X1,X2)表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。平均每一個(gè)信源符號(hào)所 攜帶的信息量近似為1H(X ) = -H (X1,X2)1.205 bit 符號(hào)

17、 H(X)2原因在于H2(X)考慮了符號(hào)間的統(tǒng)計(jì)相關(guān)性，平均每個(gè)符號(hào)的不確定度就會(huì)小于不考慮符 號(hào)相關(guān)性的不確定度。黑白氣象傳真圖的消息只有黑色(B)和白色(VV兩種，即信源 X B, VW ,設(shè)黑色出現(xiàn)的概率為P(B) 0.3 ,白色的出現(xiàn)概率為 P(Vy 0.7 O(1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H (X)(2) 假設(shè)圖上黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為P(WWy 0.9, P(BIVy 0.1 ,P(WfB) 0.2 , P(BIB) 0.8 ,求此一階馬爾可夫信源的熵Hq(X)。(3) 分別求上述兩種信源的剩余度，并比較H(X)和H2(X)的大小，試說明其物理意義。解

18、：(1)假設(shè)傳真圖上黑白消息沒有關(guān)聯(lián)，則等效于一個(gè)DMS則信源概率空間為信源熵為XBW“P(X) 1P(X)0307XH(X)2p(a)log p(aj)i 1H (0.3,0.7)0.7 log 0.7 0.3log 0.30.881 bit . symbol(2)該一階馬爾可夫信源的狀態(tài)空間集為S W,B根據(jù)題意可得狀態(tài)的一步轉(zhuǎn)移矩陣W BW0.9 0.1B0.2 0.8狀態(tài)極限概率 p(W), p(B)滿足P(Sj)P(SjSj S)P(Si ISj),SiP(Si)1S即P(W)P(W IW)P(W)P(WIB)P(B)0.9P(W)0.2P(B)P(B)P(BIW) P(W)P(BI

19、B)P(B)0.1 P(W)0.8P(B)P(W)P(B) 1可以解得2 1P(W) -，P(B)-3 3該一階馬爾可夫信源的熵為H2P(Sj)H(XISj)SjP(B) -0.2log0.2 0.8log0.8P(W -0.9log0.90.1log0.11H (0.2,0.8) -H (0.9,0.1)3 3120.7720.4690.553 bit/symbol33(3) 黑白消息信源的剩余度為0.1190.447H(X)0.881I = 11log 2log 2一階馬爾可夫信源的剩余度為,H2,0.5532 1 1log 2 log 2由前兩小題中計(jì)算的 H(X)和H2比較可知H( X

20、) H2 即 I 2該結(jié)果說明：當(dāng)信源的消息(符號(hào))之間有依賴時(shí)，信源輸出消息的不確定性降低。所以， 信源消息之間有依賴時(shí)信源熵小于信源消息之間無依賴時(shí)信源熵。這表明信源熵反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間依賴關(guān)系就越大。設(shè)信源為XX1 X2 IPx =% 燈試求：(1) 信源的熵、信息含量效率以及冗余度；(2) 求二次和三次擴(kuò)展信源的概率空間和熵。解:( 1)134H(X) log 4 log0.811 bit/ 符號(hào)4 430.811log 281.1%1-0.189(2)假設(shè)X為DMS則P(X1X2)P(XI)P(X2)P(

21、X1X2X3)P(XI)P(X2)P(X3)可得二次擴(kuò)展信源的概率空間X2X2X1X2X1X2X2P2X1X1%6 %6 316 %62次擴(kuò)展信源的熵為h(x2)2H (X)1.622 bit/2元符號(hào)三次擴(kuò)展信源的概率空間及熵為X3pX3X1X1X1 X1X1X2164%4X1X2X1 X1X2X2 X2X1X1 X2X1X2 X2X2X1 X2X2X23939927.64646464. 64643H(X )3H(X)2.433 bit/3元符號(hào)均按設(shè)有一個(gè)信源，它產(chǎn)生0,1符號(hào)的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號(hào),p(0)0.4, p(1)0.6的概率發(fā)出符號(hào)。(1)試問這個(gè)信源

22、是否是平穩(wěn)的(2)H(X3X1X2)H(X3)(信源無記憶)P(Xi)IOg P(X)i(0.4log 0.4 0.6log 0.6) 0.971bit； SymbOlH lim H(Xn. X1X2L XN 1) H (XN)0.971bit symbol(3) H(X4) 4H (X)(信源無記憶)4 (0.4log 0.4 0.6log 0.6)3.884 bit . 4元符號(hào)X4的所有符號(hào)：0000 0001 0010 0011 0100 0101 0110 01111000 1001 1010 1011 1100 1101 1110 1111設(shè)信源為Xx1x2 IPX =14 %】試

23、求：(1) 信源的熵、信息含量效率以及冗余度；(2) 求二次和三次擴(kuò)展信源的概率空間和熵。解:( 1)134H (X)-log 4 log0.811 bit/ 符號(hào)4430.811log 281.1%1-0.189(2)假設(shè)X為DMS則P(X1X2) P(XI)P(X2)P(X1X2X3) P(X1)P( X2)P(X3)可得二次擴(kuò)展信源的概率空間X2Px2X1X1 X2X1 X2X X2X216 %6 316 %6(3)2次擴(kuò)展信源的熵為2H(X) 2H (X)1.622 bit/2元符號(hào)f (X) = b020 x a其他三次擴(kuò)展信源的概率空間及熵為X3X1X1X1X1X1X2X1X2X1

24、X1X2X2X2X1X1X2X1X2X2X2X1X2X2X2PX3%43 643649643649649642764H(X3)3H(X)2.433bit / 3兀符號(hào)設(shè)連續(xù)隨機(jī)變量X的概率密度函數(shù)為（1）求X的熵;(2)求 Y = X+ A(A> 0)的熵;（3）解:（ 1）求Y = 2X的熵。ah(X) - OfX(X)log f(x)dx-OfXX log bx2dxaa 2-Iogb 0 f(x)dx- 2b。X log XdXa 2-log b- 2bloge 0 X In XdX縮loge-血 loga-logb93因?yàn)閍OfX(X)dxa 2bx dx 10所以b =32 a

25、故h(X) I log e- 2log a- log33log aIog e- Iog3 Iog a(2) 首先求得Y的分布函數(shù)FYy FXAyFXyAy Af(x)dx1, y A aAf (x)dx, A y0, y AY的概率密度為f(y)dFdy2b(y A) , A y A a0,其它Y的微分熵為h(Y)af(y)dyab(y A) 2bt log bt dtogb(y A)2dy(令 ty A)h(X)2log e- Iog3 log a因?yàn)橐阎猉,關(guān)于Y沒有不確定，常數(shù) A不會(huì)增加不確定度，所以從熵的概念上也可判斷此h(Y) h(X)首先求得Y的分布函數(shù)FYy F 2X yF X

26、 y/2y/2f(x)dx1, y 2ay/2of (x)dx, 0 y 2aY的概率密度為0, y 0f(y)dFdyY的微分熵為1 2by I 0 y 2a80,其它h(Y)2aO fY(y)dy2Tt 2 .O -by log：by dy8 8a 22a 2bt log bt dt bt0 0log 1 dt(令ty/2)h(X) log 22 3log e- log log a3 2信道線圖如下，試確定該信道的轉(zhuǎn)移概率矩陣0.0a0.b0.0.30.3900. 20.20.30.30. 15.040d09eg.009h09i0. 0001j輊0.20.30001 0.00090.30.

27、0090.15 0.040.04 0.150.009 0.00090.30.30.00010.2DMC的轉(zhuǎn)移矩陣如下（1）畫出信道線圖；（2）若輸入概率為 PX解：（1）0.6 0.3 0.1PYIX0.3 0.1 0.60.5 0.5 ,求聯(lián)合概率、輸出概率以及后驗(yàn)概率。（2）P（）乘以P的第1行，P2）乘以P的第2行，得聯(lián)合概率矩陣P:Pxy0.30.15 0.050.15 0.050.3PXY 的各列兀素相加得對(duì)應(yīng)的輸出概率，寫成矩陣形式：R0.45 0.200.35P 的各列元素除以對(duì)應(yīng)的輸出概率，得后驗(yàn)概率矩陣:P2/33/4 1/71/31/4 6/7設(shè)離散無記憶信源X通過離散無記

28、憶信道X, FY,Y傳送信息，設(shè)信源的概率分布和信道的線圖分別為0.8b10.2.- (a1) log 106 0.7370 bit /符號(hào)X31a20.1320.9b2P0.60.4試求：（1）信源X的符號(hào)31和32分別含有的自信息；（2） 從輸出符號(hào)bj（j 1,2）所獲得的關(guān)于輸入符號(hào) 3i（i 1,2）的信息量;（3）信源X和信道輸出Y的熵；（4）信道疑義度H（XlY）和噪聲熵H（YIX）；（5）從信道輸出Y中獲得的平均互信息量。解：H(X)0.6 0.73700.41.32200.971bit /符號(hào)H(Y)0.52 0.94340.481.05890.9988bit / 符口號(hào)、(

29、5)H(YFaI)H (0.8,0.2)0.80.32190.2 2.32200.7219 bit/符號(hào)H(Y,a)H (0.1,0.9)0.13.3220.9 0.152:0.469bit /符號(hào)H(YX)0.6 0.72190.40.4690.6207bit /符號(hào)I (b a2) =1.0589 0.1520I(a2b)I(b2)0.9609 bit / 符號(hào)6)log%41.3220 bit / 符號(hào)PrPX0.8PYX= 0.6 0.4 0.10.20.52 0.480.9I (ai； bi)(b)I (b. a)=09434 0.32190.6215 bit/ 符號(hào)I也）(b2)I

30、 (b2 b1) = 1.0589 2.32201.2631 bit/ 符號(hào)I (a2; bi)I(bi)I(b1. a2) = 0.9434 3.3222.3786 bit / 符號(hào)1 0 0PYZ0 0.5 0.5(2)無損要求H (X;Y)0 ;不確定要求H(YjX) 0 ,具有行排列性，線圖和轉(zhuǎn)移矩陣如下:bib2bb40.40.600000.60.4(3) 無損、確定信道的線圖和轉(zhuǎn)移矩陣如下ai1bia21b2求下列兩個(gè)信道的信道容量和最佳輸入分布，并加以比較。其中(1)解:(1)方法利用一般 DMC言道容量解的充要條件，計(jì)算各偏互信息，并使之均等于信道容量C,再結(jié)合輸出概率的完備性

31、，可以解出信道容量，最后利用全概率公式得出最佳輸 入分布。該方法通用，但過程繁瑣。方法觀察發(fā)現(xiàn)此信道是準(zhǔn)對(duì)稱信道。信道矩陣中Y可劃分為二個(gè)互不相交的子集，如下:而這兩個(gè)子矩陣滿足對(duì)稱性，因此，可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。Skk 1Mjk IogMkrH(P1, P2,L , PS)其中 n=2, r 2，M112 ，M24 ，S12, S21,所以,2 )1 21 2442Iog21logH(P I P2221 2 log12 22log 2Plog PCIP log P1 2iog1P log P2 log 2P log P輸入等概率分布時(shí)達(dá)到信道容量。(2) 此信道也是準(zhǔn)對(duì)

32、稱信道，現(xiàn)采用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。此信道矩 陣中Y可劃分成兩個(gè)互不相交的子集為P , P20P , P ,0 2解：圖中2個(gè)信道的信道矩陣為P 3 6 311163 660.98 0.02P120.02 0.98矩陣為行列排列陣，其滿足對(duì)稱性，所以這兩信道是對(duì)稱離散信道。由對(duì)稱離散信道這兩矩陣為對(duì)稱矩陣。其中n=2，r2，M112 ，M22，SlS22 ,所以C2nM kM kSklog -H (P1, P2,L I PS)k 1rr121 22 2_2 -log-2log H ( P,P,2)222 21 222 logPlog PPlog P2 log 2log1221 2P

33、log PPlogP2 log 2log12C12log 21輸入等概率分布(P(a) P(a2)時(shí)達(dá)到此信道容量。兩個(gè)信道的噪聲熵相等但第二2個(gè)信道的輸出符號(hào)個(gè)數(shù)較多，輸出熵較大，故信道容量也較大。求下列二個(gè)信道的信道容量及其最佳的輸入概率分布。3的信道容量公式得1-0.0817比特/符號(hào)6C2 log2 H 0.02,0.980.858特/ 符號(hào)最佳輸入分布是輸入為等概率分布。 設(shè)信道轉(zhuǎn)移矩陣為1 0 0PrIX01 PPOPIP(1)求信道容量和最佳輸入分布的般表達(dá)式；(2)當(dāng)P 0和P 1,2時(shí)，信道容量分別為多少并針對(duì)計(jì)算結(jié)果作一些說明。 解：. . * * * *(1)該信道屬一般

34、信道，設(shè)最佳輸入分布為FX P (a1), P (a2), P (a3),三個(gè)輸入概率外加信道容量 C ,共4個(gè)參數(shù)，需列4個(gè)方程。由定理，有1(a;Y)logCP(b1)I(a2；Y)(1 P) log upP(b2)P logP CP(b3)(a3;Y)P log P( 2pp(1 P)(I P)P(b2)P) log1 P CP(b3)P(b1)P(b2) P(b3) 1化簡(jiǎn)得logP(d)C(1 P)logP(b2) Plog P(d) C h2(p)P log P(b2) (1 p)logP(bOC h2(p)pg) P(b2) P(b3) 1解得C log(1 21 h2(P)log1 2pp(1 P)(I P)iP(b1) 2c11 2pp(1 P)(I P)P(b2) P(b3) 2C h2(p)P(1 P)P (1 P)P(ai)P(bj |aj 可求出轉(zhuǎn)移概率P(bj Iai)已知，輸出分布P(bj)已求出，根據(jù) P(bj)P*(ai)。P(b1) P (a1)P(b2) (1 P)P*(a2) pP*(a3)P(b3)pP*(a2) (1 p)P*(a3)解得P*(a1)P*(a2)1 2pp(1P)(I P)P*(a3)Pp(1 P)(I P)1 2pp(1 P)(I P)(2