信息論測試題與答案

1、.一、設(shè) X、 Y 是兩個相互統(tǒng)計獨立的二元隨機(jī)變量，其取-1 或 1 的概率相等。定義另一個二元隨機(jī)變量Z，取 Z=YX（一般乘積） 。試計算：1.H （Y）、 H（ Z）；2.H（YZ）；3.I （ X;Y）、 I （ Y;Z ）；二、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣1.繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵；三、在干擾離散對稱信道上傳輸符號1 和 0，已知 P（ 0） =1/4,P(1)=3/4,試求：1. 信道轉(zhuǎn)移概率矩陣 P 2. 信道疑義度 3. 信道容量以及其輸入概率分布0.60.30.10四、某信道的轉(zhuǎn)移矩陣 P0.60，求信道容量，最佳輸入

2、概率分布。0.30.1五、求下列各離散信道的容量（其條件概率P(Y/X) 如下：）六、求以下各信道矩陣代表的信道的容量.答案一、設(shè) X、 Y 是兩個相互統(tǒng)計獨立的二元隨機(jī)變量，其取-1 或 1 的概率相等。定義另一個二元隨機(jī)變量Z，取 Z=YX（一般乘積） 。試計算：1.H （Y）、 H（ Z）；2.H （XY）、 H（ YZ）；3.I （X;Y ）、 I （ Y;Z）；21111解： 1.H（Y） =-（ ）logP（）=1bit/符號P yiyiloglog2i 1222Q Z=YX而且 X 和 Y 相互獨立P（ Z1 =1） =P(Y=1)P(X 1)P(Y1) P(X1)11111=2

3、2222P（ Z2 =-1 ） =P(Y=1) P( X1)P(Y1)P( X1) =11111222222故 H(Z)=P(z i)log P(z i ) =1bit/符號i 12. 從上式可以看出 :Y 與 X 的聯(lián)合概率分布為 :.P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/符號3. Q X 與 Y 相互獨立，故H(X|Y)=H(X)=1bit/符號I （ X;Y） =H(X)-H(X|Y)=1-1=0bit/符號I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符號二、如圖所示

4、為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣2. 繪制狀態(tài)轉(zhuǎn)移圖； 2. 求該馬爾科夫信源的穩(wěn)態(tài)分布； 3. 求極限熵；解： 1. 狀態(tài)轉(zhuǎn)移圖如右圖32. 由公式 p(E j )P(Ei)P( E j | Ei ), 可得其三個狀態(tài)的穩(wěn)態(tài)概率為：i 1P(E1)1 P(E1)1 P(E2 )1 P(E3)3224P(E1 )P(E2)117P(E2 )P(E3)222P(E2 )P(E3)1 P(E1 )1 P(E3)7224P(E3 )P(E1)P(E2 ) P(E3 )173. 其極限熵 :33（112（112（111（E）（X ），）+， ，），）H=- PiH |Ei =7H20H220 +

5、7H424i127= 31+ 21+ 21.5= 8 bit/ 符號7777.三、在干擾離散對稱信道上傳輸符號1 和 0，已知 P（ 0） =1/4,P(1)=3/4,試求：2. 信道轉(zhuǎn)移概率矩陣 P 2. 信道疑義度 3. 信道容量以及其輸入概率分布000.90.10.1110.9解： 1. 該轉(zhuǎn)移概率矩陣為0.90.1P=0.10.92. 根據(jù) P（ XY） =P（ Y|X） P（ X），可得聯(lián)合概率P（ XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P（ X|Y ） =P(X|Y)/P(Y) 可得P(X|Y)Y=0Y=1X=03/41/28X

6、=11/427/28H(X|Y)=-（）=0.09+0.12+0.15+0.035=0.4bit/符號P(x i y j ) log P x i |y ji ，j3. 該信道是對稱信道，其容量為：C=logs-H=log2-H（ 0.9,0.1） =1-0.469=0.531bit/符號.0 1這時，輸入符號服從等概率分布，即X1 1P(X )2 20.60.30.10四、某信道的轉(zhuǎn)移矩陣 P0.60，求信道容量，最佳輸入概率分布。0.30.1解：該信道是準(zhǔn)對稱信道，分解為兩個互不相交的子信道矩陣0.60.30.10N10.9 N20.1這里0.30.60 0.1M 10.9 M20.1C=logr-H(P 的行矢量 )21 H (0.6， 0.3， 0.1)-NK log M K0.9 log 0.9-0.1 log 0.