信息論基礎(chǔ)》試卷(期末A卷

1、信息論基礎(chǔ)答案一、填空題(本大題共 10小空，每小空1分，共20分)1.按信源發(fā)岀符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間的無統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無 記憶信源兩大類。2. 一個(gè)八進(jìn)制信源的最大熵為3bit/符號(hào)X3.有一信源X,其概率分布為PX1X2 X31 1,其信源剩余度為94.64%;若對(duì)該信源進(jìn)4 4行十次擴(kuò)展，則每十個(gè)符號(hào)的平均信息量是15bit。4. 若一連續(xù)消息通過放大器， 該放大器輸出的最大瞬間電壓為 b，最小瞬時(shí)電壓為a。若消息從放大器中輸出，則該信源的絕對(duì)熵是；其能在每個(gè)自由度熵的最大熵是 Iog (b-a) bit/自由度；若放大器的最高頻率為F ,則單位時(shí)間內(nèi)輸出

2、的最大信息量是2Flog ( b-a) bit/s.5. 若某一信源X ,其平均功率受限為16w ,其概率密度函數(shù)是高斯分布時(shí)，差熵的最大值為1log32 e ；與其熵相等的非高斯分布信源的功率為16w26、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。7、 無失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵(或H(S)/Iogr= H (S)。8、當(dāng)R=C或(信道剩余度為 0)時(shí)，信源與信道達(dá)到匹配。9、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。10、 在下面空格中選擇填入數(shù)學(xué)符號(hào)“，”或“”(1) 當(dāng) X 和 Y 相互獨(dú)立時(shí)，H (XY) =H(X)+H

3、(X/Y)。(2) 假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(YX)=0,l(X;Y)VH(X)。二、擲兩粒骰子，各面岀現(xiàn)的概率都是1/6 ,計(jì)算信息量：1.當(dāng)點(diǎn)數(shù)和為3時(shí)，該消息包含的信息量是多少？2.當(dāng)點(diǎn)數(shù)和為7是，該消息包含的信息量是多少？3.兩個(gè)點(diǎn)數(shù)中沒有一個(gè)是1的自信息是多少？解：1.P (“點(diǎn)數(shù)和為 3”)=P ( 1,2 ) + P (1,2 ) =1/36+1/36=1/18則該消息包含的信息量是：I=-IogP （“點(diǎn)數(shù)和為3”）=log18=4.17bit2.P (“點(diǎn)數(shù)和為 7”)=P ( 1,6 ) + P (6,1 ) + P

4、( 5,2 ) + P ( 2,5 ) + P (3,4 ) + P (4,3 ) =1/366=1/6則該消息包含的信息量是：I=-IogP (“點(diǎn)數(shù)和為7”)=Iog6=2.585bit3.P (“兩個(gè)點(diǎn)數(shù)沒有一個(gè)是1 ”)=1-P (“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”)=1-P(1,1or1,jori,1)=1-(136+536+536)=2536則該消息包含的信息量是：I=-logP （“兩個(gè)點(diǎn)數(shù)中沒有一個(gè)是1”）=log2536=0.53bit-1或1的概率相等。定義另一個(gè)二元隨機(jī)變(Y;Z);三、設(shè)X、Y是兩個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取 量z,取Z=YX （一般乘積）。試計(jì)算:1.

5、H (Y、H( Z); 2.H (XY、H( YZ ； 3.I(X;Y )、解：1. H (Y)2P (yi ) logP (y)i 1-log12 2-log12 2=1bit/符號(hào)Q Z=YX而且X和Y相互獨(dú)立P(Z1 = 1) =P(Y=I) P(X 1) P(Y 1)P(X1I)=(Z2=-1 )=P(Y=I) P(X 1) P(Y1) P(X 1)=故 H(Z)=P(Zi)IOg P(Zi) =1bit/符號(hào)2.從上式可以看出:Y與X的聯(lián)合概率分布為：P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25XP(E1)P(E2)P(E3)P(E1)P(E1) 1P(E

6、2) 7P(E3) 2(,丄,O) + ?H(1, I)2 274 2 4H(YZ)=H(X)+H(Y)=1+ 仁 2bit符號(hào)3. QX與Y相互獨(dú)立，故 H(XY)=H(X)=1bit/ 符號(hào)I (X;Y) =H(X)-H(XIY)=I-仁Obit/符號(hào);I(Y;Z)=H(Y)-H(YIZ)=H(Y)-H(YZ)-H(Z)=0 bit/符號(hào)四、如圖所示為一個(gè)三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣1102211P=-0 1.繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵;22111424解：1.狀態(tài)轉(zhuǎn)移圖如右圖32.由公式P(Ej)P(Ei) P(EjIEi),可得其三個(gè)狀態(tài)的穩(wěn)態(tài)概率

7、為:i 11 11-P(EI)-P(E2)-P(E3)2 24112 P(E2)2 P(E3)11-P(EI)尹但)P(E2) P(E3)13.其極限熵：3 3112=3 1+2 1+277781.5= bit/ 付號(hào)=-i1P(Ei)HCXEi)=7 HC嚀 +711. 該信道的轉(zhuǎn)移概率矩陣P；2.信道疑義度H( XlY) ；3.該信道的信道容量以及其輸入概率分布解：1.該轉(zhuǎn)移概率矩陣為0.90.1P=0.10.92. 根據(jù)P (XY) =P (Y|X) P (X)，可得聯(lián)合概率P (XY)YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P (X|Y)

8、=P(XIY)/P(Y)可得P(XIY)Y=0Y=1X=03/41/28X=11/427/28H(XIY)=-P(Xiyj)log P(XiIyj) =0.09+012+0.15+0035=04bit/ 符號(hào)i，j3.該信道是對(duì)稱信道，其容量為:C=IOgS-H=Iog2-H(0.9,0.1 )=1-0.469=0.531bit/ 符號(hào)01這時(shí)，輸入符號(hào)服從等概率分布，即P(X)6六、某信道的轉(zhuǎn)移矩陣0.6 0.3 0.10P0.3 0.600.1試求：該信道的信道容量及其最佳輸入概率分布。解：該信道是準(zhǔn)對(duì)稱信道，分解為兩個(gè)互不相交的子信道矩陣0.60.30.30.60.10N10.9N20.

9、1這里0 0.1M10.9 M20.1C=Iogr-H（P的行矢量）N K log M Kk 1H （0.6，0.3，0.1） 0.9Iog0.9-0.1 log 0.1 =0.174bit/符號(hào)這時(shí)，輸入端符號(hào)服從等概率分布，即P（X）011七、信源符號(hào)X有六種字母，概率為 0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，寫岀編碼過程并計(jì)算其平均碼長(zhǎng)、編碼后的信息傳輸率和編碼效率解：碼字00101101001100111該信源在編碼之前的信源熵為:H(S)P(Xi) 0g P(i) =0.526+0.481+0.445+0.423+0.292+0.186i 1=2.353bit/ 符號(hào)編碼后的平均碼長(zhǎng)：L (0.320.220.18) 20.16 3(0.080.04) 4=2.4 碼元/信源符號(hào)編碼后的信息傳輸率為：r H(S)2.353R -0.98bit/ 碼元L2.4編碼效率為：RH(S) 0.98RmaXL log r八、設(shè)在平均功率受限的高斯可加波形信道中，信道帶寬為3KHz,又設(shè)信噪比為101. 試計(jì)算該信道傳達(dá)的最大信息率(單位時(shí)間)；2. 若功率信噪比降為5dB，要達(dá)到相同的最大信息傳輸率，信道帶寬是多少？解：