信息論基礎(chǔ)試卷(期末A卷

1、重慶郵電大學(xué)2007/2008學(xué)年2學(xué)期信息論基礎(chǔ)試卷(期末) (A卷)(半開卷)一、填空題(本大題共 10小空，每小空1分，共20分)1. 按信源發(fā)出符號所對應(yīng)的隨機(jī)變量之間的無統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無記憶信源兩大類。2. 一個八進(jìn)制信源的最大熵為 3bit/符號X3.有一信源X ,其概率分布為PX1X2 X31 1,其信源剩余度為94.64% ;若對該信源進(jìn)行十次擴(kuò)展,4 4則每十個符號的平均信息量是15bit。4. 若一連續(xù)消息通過放大器，該放大器輸出的最大瞬間電壓為b ,最小瞬時(shí)電壓為 a。若消息從放大器中輸出，則該信源的絕對熵是；其能在每個自由度熵的最大熵是Iog

2、 (b-a)bit/自由度；若放大器的最高頻率為F ,則單位時(shí)間內(nèi)輸出的最大信息量是2Flog( b-a ) bit/s.15. 若某一信源X ,其平均功率受限為16w ,其概率密度函數(shù)是高斯分布時(shí)，差熵的最大值為log32 e ；與其熵相等的非高斯分布信源的功率為16w6、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。7、 無失真信源編碼的平均碼長最小理論極限制為信源熵(或H(S)logr= H r(S)。8、當(dāng)R=C或(信道剩余度為0 )時(shí)，信源與信道達(dá)到匹配。9、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。10、 在下面空格中選擇填入數(shù)學(xué)符號“，”或

3、“”(1 )當(dāng) X 和 Y 相互獨(dú)立時(shí)，H (XY)=H(X)+H(X/Y)。(2 )假設(shè)信道輸入用X表示，信道輸出用 Y表示。在無噪有損信道中，H(XY)> 0, H(Y/X)=0,I(X;Y)<H(X)_、擲兩粒骰子，各面出現(xiàn)的概率都是1/6 ,計(jì)算信息量:1. 當(dāng)點(diǎn)數(shù)和為3時(shí)，該消息包含的信息量是多少？2. 當(dāng)點(diǎn)數(shù)和為7是，該消息包含的信息量是多少?3. 兩個點(diǎn)數(shù)中沒有一個是1的自信息是多少?解：1.P （“點(diǎn)數(shù)和為 3 ” =P （ 1,2 ） + P （1,2 ） =1/36+1/36=1/18則該消息包含的信息量是：I=-IOgP （“點(diǎn)數(shù)和為3 ”）=log18=4.

4、17bit2.P “點(diǎn)數(shù)和為 7” =P（ 1,6）+ P（6,1）+ P（ 5,2）+ P（ 2,5）+ P （3,4）+ P（ 4,3）=1/366=1/6則該消息包含的信息量是：I=-IOgP （“點(diǎn)數(shù)和為7”）=log6=2.585bit3.P “兩個點(diǎn)數(shù)沒有一個是1” =1-P （“兩個點(diǎn)數(shù)中至少有一個是1”=1-P（1,1or1,jori,1）=1-（136+536+536）=2536則該消息包含的信息量是：I=-IOgP （“兩個點(diǎn)數(shù)中沒有一個是1 ”）=log2536=0.53bit三、設(shè)X、Y是兩個相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個二元隨機(jī)變量乙取

5、Z=YX (般乘積）。試計(jì)算:1.H ( Y)、H (Z)；2.H ( XY)、H (YZ)；3.I (X;Y )、I (Y;Z)；2解: 1. H (Y) =- P (yi) logP ( yi)i 11lOg1 1log 1 =1bit 符號2 2 2 2Q Z=YX而且X和Y相互獨(dú)立P( Z1 = 1) =P(Y=I) P(X 1)P(Z2=-1 ) =P(Y=I) P(XP(Y 1) P(X1) P(YI)=I1) P(X1)=2故 H(Z)=P(Zi)IOg P(Zi)=1bit 符號i 12. 從上式可以看出:Y與X的聯(lián)合概率分布為P(Y,Z)Y=1Y=-1Z=10.250.25Z

6、=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/3. Q X與Y相互獨(dú)立，H(XY)=H(X)=1bit/ 符號I (X;Y ) =H(X)-H(XY)=1-1=0bit/ 符號l(Y;Z)=H(Y)-H(YlZ)=H(Y)-H(YZ)-H(Z)=0 bit/符號四、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣P=1. 繪制狀態(tài)轉(zhuǎn)移圖；2. 求該馬爾科夫信源的穩(wěn)態(tài)分布;3. 求極限熵；解：1.狀態(tài)轉(zhuǎn)移圖如右圖32.由公式 P(Ej)P(Ei) P(EjIEi) ,可得其三個狀態(tài)的穩(wěn)態(tài)概率為:i 1P(E1)P(E2)P(E3)P(E1)11-P(EI)-P(E2)1

7、1二 P(E2) -P(E3)2 2112 P(E1) 4P(E3)P(E2) P(E3) 11Z(E3)P(El) 3P(E2)7P(E3) 23.其極限熵:P( Ei)i 13H( XlEi) = 7112H(丄,0,) +2227H(丄,) + ? H(丄,2 274 2 4=7 1+t 1+75=現(xiàn)符號1. 該信道的轉(zhuǎn)移概率矩陣P2. 信道疑義度H (X|Y )3. 該信道的信道容量以及其輸入概率分布解：1.該轉(zhuǎn)移概率矩陣為0.90.1P=0.10.92.根據(jù)P (XY ) =P (Y|X ) P ( X)，可得聯(lián)合概率P (XY)YYX=09/401/40X=13/4027/40P(

8、Y =i)12/4028/40由 P ( XlY ) =P(XlY)/P(Y)可得P(XIY)Y=0Y=1X=03/41/28X=11/427/28H(XY)=-P(Xiyj) log P(XiIyj) =0.09+012+0.15+0035=04bit/ 符號i，j3. 該信道是對稱信道，其容量為：C=IOgS-H=Iog2-H (0.9,0.1 ) =1-0.469=0.531bit/ 符號X這時(shí)，輸入符號服從等概率分布，即012 2六、某信道的轉(zhuǎn)移矩陣P0.6 0.3 0.100.3 0.600.1P(X)試求：該信道的信道容量及其最佳輸入概率分布。解：該信道是準(zhǔn)對稱信道，分解為兩個互不

9、相交的子信道矩陣0.60.30.30.60.10N10.9 N2 0.1這里0 0.1M1 0.9 M20.1C=logr-H(P 的行矢量)N K log M Kk 1H (0.6，0.3，0.1) 0.9 log 0.9-0.1 Iog 0.1=0.174bit/ 符號這時(shí)，輸入端符號服從等概率分布，即XP(X)012 2用赫夫曼編碼法編成二進(jìn)制變長碼，寫出七、信源符號 X有六種字母，概率為 0.32,0.22,0.18,0.16,0.08,0.04編碼過程并計(jì)算其平均碼長、編碼后的信息傳輸率和編碼效率。解:碼字00101101001100111該信源在編碼之前的信源熵為：6H(S)P(Xi) log P(Xi) =0.526+0.481+0.445+0.423+0.292+0.186i 1=2.353bit/ 符號編碼后的平均碼長：L (0.320.220.18) 20.16 3 (0.080.04) 4=2.4 碼元/ 信源符號編碼后的信息傳輸率為：r H(S)2.353R -0.98bit/碼元L2.4RH(S)編碼效率為：0.98RmaxL log r1. 試計(jì)算該信道傳達(dá)的最大信息率（單位時(shí)間）；2. 若功率信噪比降為5dB ,要達(dá)到相同的最大信息傳輸率，信道帶寬是多少?解：1. Q SNR