信息論基礎1答案

1、信息論基礎答案一、填空題(本大題共 10小空，每小空1分，共20分)可將離散信源分為有1.按信源發(fā)出符號所對應的隨機變量之間的無統(tǒng)計依賴關(guān)系, 記憶信源和無記憶信源兩大類。3bit/符號廠個八進制信源的最大熵為3.有一信源X,其概率分布為XiX2 X31 1，其信源剩余度為94.64%;若4 415bit。對該信源進行十次擴展，則每十個符號的平均信息量是4.若一連續(xù)消息通過放大器，該放大器輸出的最大瞬間電壓為b,最小瞬時電壓為a。若消息從放大器中輸出，則該信源的絕對熵是;其能在每個自由度熵的最大熵是F,則單位時間內(nèi)輸出的最大信息量是log (b-a ) bit/自由度；若放大器的最高頻率為2F

2、log (b-a) bit/s.5.若某一信源X,其平均功率受限為16w,其概率密度函數(shù)是高斯分布時，差熵16w1的最大值為-log32 e ；與其熵相等的非高斯分布信源的功率為26、7、8、H(S)/logr= H r(S)。信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。無失真信源編碼的平均碼長最小理論極限制為信源熵(丄當R=C或(信道剩余度為 0)時，信源與信道達到匹配。根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。10、在下面空格中選擇填入數(shù)學符號“，”或“”(1 )當 X和 丫 相互獨立時，H (XY)=H(X)+H(X/Y)。(2)假設信道輸入用X

3、表示，信道輸出用丫表示。在無噪有損信道中，H(X/Y)>0,H(Y/X)=0,I(X;Y)<H(X)。二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6，計算信息量:1. 當點數(shù)和為3時，該消息包含的信息量是多少？2. 當點數(shù)和為7是，該消息包含的信息量是多少？3. 兩個點數(shù)中沒有一個是解：1.P (“點數(shù)和為3”)=P則該消息包含的信息量是：2. P(“點數(shù)和為7 ”)=PP( 4,3)=1/366=1/6則該消息包含的信息量是：3. P(“兩個點數(shù)沒有一個是1的自信息是多少?(1,2)+ PI=-log P(1,6)+ P(1,2)=1/36+1/36=1/18("點數(shù)和為(6

4、,1)+ P("點數(shù)和為3”)(5,2)7”)=log18=4.17bit+ P (2,5)+ P (3,4)+=log6=2.585bit1”)I=-log P1”)=1-P (“兩個點數(shù)中至少有一個是=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36則該消息包含的信息 量是：l=-logP （“兩個點數(shù)中沒有一個是1”）=log25/36=0.53bit三、設X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另個二元隨機變量 Z,取Z=YX（ 般乘積）。試計算：1. H2. H3（丫）、H （Z）； （XY）、H（YZ）;（

5、X;Y ）、I（ Y;Z）；解:21. H(Y)二- P (y) logP(y)i 1ilog1 ilog- =1bit/ 符號2 2 2 2T Z=YX而且X和丫相互獨立P(乙=1)二P(Y =1) P(X 1) P(Y 1)P(X 1)= 1P(Z2=-1 )二P(Y =1) P(X 1) P(Y1) P(X 1)=故 H(Z)=2P(Zj)log P (zjhbit/ 符號i 1'2.從上式可以看出:Y與X的聯(lián)合概率分布為：1.2.3.四、p=解:P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符號3.

6、X 與 丫 相互獨立，故 H(X|Y)=H(X)=1bit/ 符號I ( X;Y)=H(X)-H(X|Y)=1-1=0bit/ 符號 l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣符號繪制狀態(tài)轉(zhuǎn)移圖；求該馬爾科夫信源的穩(wěn)態(tài)分布;求極限熵；1.狀態(tài)轉(zhuǎn)移圖如右圖2.由公式P(Ej)3P(Ei) P(Ej|Ei),可得其三個狀態(tài)的穩(wěn)態(tài)概率為:P(E1)訂（EJ7P(E2)匚 P（E3）P(E1)224P(E2)1(E2)1訂(E3)P(E2)22P(E3)1-P(E1)1 -P (E3)P(E3)24P(E1)P (E

7、2)P(E3)1111i372723.其極限熵：7H( - 1,0)+ - H(-，-,-)2 274 2 43311=- P(Ej)H(XlEj)二一H( ,0,)i 17223228口一 1 + - 1 + - 1.5二 bit/ 符號 7777五、在干擾離散對稱信道上傳輸符號1和0,已知P( 0) =1/4,P(1)=3/4,試求:1.2.3.解:P=0.90.1該信道的轉(zhuǎn)移概率矩陣P信道疑義度H (X|Y)該信道的信道容量以及其輸入概率分布1. 該轉(zhuǎn)移概率矩陣為2.0.10.9根據(jù)P (XY =P (Y|X) P (X)可得聯(lián)合概率P (XY)YYX=09/401/40X=13/402

8、7/40P (Y=i)12/4028/40(X|Y) =P(X|Y)/P(Y)可得P (X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=- P(Xiyj)log P(Xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符號i，j3.該信道是對稱信道，其容量為：符號C=logs-H=log2-H ( 0.9,0.1 )=1-0.469=0.531bit/這時，輸入符號服從等概率分布，即P(X)01六、某信道的轉(zhuǎn)移矩陣P 0.60.30.3 0.10.6 00.1試求：該信道的信道容量及其最佳輸入概率分布。解：該信道是準對稱信道，分解為兩個互不相交

9、的子信道矩陣0.60.30.100.30.60 0.1這里N1M10.90.9N2M20.10.1C=logr-H(P的行矢量)2Nk log Mkk 11 H (0.6,0.3,0.9 log 0.9-0.1 log 0.1=0.174bit/ 符號這時，輸入端符號服從等概率分布，即P(X)丄丄2 2七、信源符號 X有六種字母，概率為 0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼編碼法編成二進制變長碼，寫出編碼過程并計算其平均碼長、編碼后的信息傳輸率和編碼效 率。解:碼字000.32100.22110.180100.1601100.0801110.040100.121

10、該信源在編碼之前的信源熵為:H(S)0.28 11 0.4“ 1”0 0.66P(Xi) lOg P(xi)=0.526+0.481+0.445+0.423+0.292+0.186i 1=2.353bit/符號編碼后的平均碼長：L (0.320.22 0.18) 2 0.16 3 (0.080.04) 4=2.4 碼元 / 信源符號編碼后的信息傳輸率為:R HIS）L2.3532.40.98bit/ 碼元編碼效率為:RRmax史型0.98Llogr3KHZ,又設信噪比為10八、設在平均功率受限的高斯可加波形信道中，信道帶寬為1. 試計算該信道傳達的最大信息率（單位時間）；2. 若功率信噪比降為5dB,要達到相同的最大信息傳輸率，信道帶寬是多少?解：1.