信息論測試題及答案

1、、設(shè)X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另個二元隨機變量 Z,取Z=YX（ 般乘積）。試計算:1.H（ Y）、H （Z）；2.H（YZ）;3.I（ X;Y ）、I（ Y;Z）；、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣1. 繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵;1 和 0，已知 P（ 0）=1/4,P（1）=3/4,三、在干擾離散對稱信道上傳輸符號試求:1.信道轉(zhuǎn)移概率矩陣P 2.信道疑義度3.信道容量以及其輸入概率分布四、某信道的轉(zhuǎn)移矩陣P0.60.30.100.30.600.1，求信道容量，最佳輸入概率分布。五、求下列各離散信道

2、的容量（其條件概率P（Y/X）如下：）1 0 1-Sj * Jg5 1-5六、求以下各信道矩陣代表的信道的容量答案、設(shè)X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另個二元隨機變量 Z,取Z=YX（ 般乘積）。試計算:1. H（Y）、H（ Z）；2. H（XY）、H（ YZ）;3（X;Y ）、I（ Y;Z）；2解：1. H（Y）=- P （y） logP（yi）i 1llogl2 21 log =1bit/ 符號2 2Z=YX而且X和Y相互獨立P(Z1 =1)=P(Y=1) P(X 1)P(Z2=-1)=P(Y=1) P(XP(Y 1) P(X1) P(Y1) P(X11

3、111)=2 2 2 2 2故 H(Z)=P(Zi)log P(Zi)=1bit/i 12. 從上式可以看出:Y與X的聯(lián)合概率分布為P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符號3. tX與Y相互獨立，故 H(X|Y)=H(X)=1bit/ 符號I (X;Y) =H(X)-H(X|Y)=1-仁Obit/符號l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=O bit/符號二、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣3.求極限熵;2.繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布;解：1.

4、狀態(tài)轉(zhuǎn)移圖如右圖2. 由公式P(Ej)i3P(Ei) P(Ej|Ei)1,可得其三個狀態(tài)的穩(wěn)態(tài)概率為:P(EJP&)1尹(EJ1嚴2)11 P(EJ1 1-P(E2) -P(E3)1尹(E3)11p(E3)4P(EJP)P)P(EJP(E2)P(E3)13727273.其極限熵：H(22陀 H寸，3311=-P( Ei)H(X|E = - H(-,0，)i 1 ii 7223 1 + - 1 + - 1.5= 8 bit/ 符號7777、在干擾離散對稱信道上傳輸符號1和0，已知P （ 0） =1/4,P（1）=3/4, 試求:2.信道轉(zhuǎn)移概率矩陣P 2.信道疑義度3.信道容量以及其輸入概率分布

5、n解：1.該轉(zhuǎn)移概率矩陣為0.90.1P=0.10.92. 根據(jù)P（ XY =P（ Y|X） P（ X），可得聯(lián)合概率P（ XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P( X|Y)=P(X|Y)/P(Y) 可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-P(Xiyj)logP(Xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符號i，j3.該信道是對稱信道，其容量為：C=logs-H=log2-H ( 0.9,0.1 )=1-0.469=0.531bit/ 符號0.60.30.10

6、、，求信道容量，最佳輸入概率分布。0.30.600.1四、某信道的轉(zhuǎn)移矩陣 P這時，輸入符號服從等概率分布，即XP(X)011 12 2解：該信道是準對稱信道，分解為兩個互不相交的子信道矩陣0.60.30.10 、中 Ni 0.9 N20.1這里0.30.60 0.1 M10.9 M20.1C=logr-H(P的行矢量)2Nk log Mk 1H(0.6, 0.3, 0.1) 0.9 log 0.9-0.1 log 0.1k 1=0.174bit/ 符號01這時，輸入端符號服從等概率分布，即P(X)112 2五、求下列各離散信道的容量(其條件概率P(Y/X)如下：)C.由公式“0!）=屮7求衛(wèi)

7、0#w H1 + (1 _產(chǎn)戀)=(1-吧1 + (17)ji(L由公式衛(wèi)=求pa丿 由方甩組：Pg=Pg)+PgSF(Jj = P(xJ(17)l-s亡pfe)=s1+(1-J)JJ1 + （1一）尹W） X足條件轉(zhuǎn)移槪軋所以0。三從而p C.保證了 C的仃在。2）印抹信道可抹佶道足一個準xy稱信追把信道卻陣分林成兩個子矩陣如下二M2C - maxJ0r；F) 一-三叫) log. pOt一円.PCh) = pg)p /X】)亠pg/七)=(1 一辛”2 +s, 2 = (1 S)/ 2s POb) n PMpO2 1)*P(2)#CV2= s2 /2 十(1一 -亠)/2 = (1巧)/2

8、屮5) = Pg”O(jiān)3 )+ Pg)P(J3 / w / 2+ / 2 = E- 25)*、彳、P5)=血)5”) N(-)/225 -、 5)=華m21c =-三叫 pOiog, $0;) - 兀= -(2x-X log： -log.S：)+ (1-5, -S:)log2c-Jx 7J + S： bg： b + 5Jog, sj= -(l-S1)10g:-i-i-(l-Sj-S：)10g2(l-5l-S2)5210g2523) 時稱佶適必個信道足個般信迪ftW般信追的計算方法由分式201飛)1怪吃兀)=三疋/1；)巧求傷刃 “1.3775/2 =-0(5225t ta i4C=log;l y

9、 C- 10g弓2j-log,pTE + 2-05)-0049 bit/symbolc.由公式p0J2y. 乂耐W2* =2h*k=o327 心 W2gs“628d由公式，。丿二三戸(?！監(jiān),兀)求KV 由萬鋰1 10-372 = 4p(a) + +戸(也) 二 40 628 -寺/心+昶g艸得|p(X1)=0 4SStp(x2)-0 512pi卩&“之。保證了 U的布在.(4)準時稱信道把倍道姑陣分解成三個子矩丼如下丄丄36丄 13 3.= max “疋 F)=-三叫 E =ptj)/oi /v;)=ix_lxl=l3vz)=ixl-hlxl=l“OJ= p(xp(y /j)4- pOJXy, /九)=4-xl+-Lxl = 1202 C G0(”)=總=心心 =r PO)M?j)pCs P。斗) _叫163_PS)呃 ro*)一 h.Jt-l=-(2* log 2 - + - 1-Og + jog .443O=0.041 bit swhol匚pi六、求以下各信道矩陣代表的信道的容量C2)R（.）4POJ O 00.3 0.70O O 0.4U U (.)0 O O0.2 0.1 O