信息論基礎(chǔ)》試卷(期末A卷(共6頁(yè))

1、精選優(yōu)質(zhì)文檔-傾情為你奉上信息論基礎(chǔ)答案一、填空題（本大題共10小空，每小空1分，共20分）1.按信源發(fā)出符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間的無(wú)統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無(wú)記憶信源兩大類。2.一個(gè)八進(jìn)制信源的最大熵為3bit/符號(hào)3.有一信源X，其概率分布為，其信源剩余度為94.64%；若對(duì)該信源進(jìn)行十次擴(kuò)展，則每十個(gè)符號(hào)的平均信息量是 15bit。4.若一連續(xù)消息通過(guò)放大器，該放大器輸出的最大瞬間電壓為b，最小瞬時(shí)電壓為a。若消息從放大器中輸出，則該信源的絕對(duì)熵是；其能在每個(gè)自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高頻率為F，則單位時(shí)間內(nèi)輸出的最大信息量是 2Fl

2、og（b-a）bit/s.5. 若某一 信源X，其平均功率受限為16w，其概率密度函數(shù)是高斯分布時(shí)，差熵的最大值為；與其熵相等的非高斯分布信源的功率為6、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。7、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。8、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。9、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。10、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)。（2）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中

3、，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6，計(jì)算信息量：1.當(dāng)點(diǎn)數(shù)和為3時(shí)，該消息包含的信息量是多少？2.當(dāng)點(diǎn)數(shù)和為7是，該消息包含的信息量是多少？3.兩個(gè)點(diǎn)數(shù)中沒(méi)有一個(gè)是1的自信息是多少？解：1.P（“點(diǎn)數(shù)和為3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18 則該消息包含的信息量是：I=-logP（“點(diǎn)數(shù)和為3”）=log18=4.17bit 2.P（“點(diǎn)數(shù)和為7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6 則該消息包含的信

4、息量是：I=-logP（“點(diǎn)數(shù)和為7”）=log6=2.585bit 3.P（“兩個(gè)點(diǎn)數(shù)沒(méi)有一個(gè)是1”）=1-P（“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 則該消息包含的信息量是：I=-logP（“兩個(gè)點(diǎn)數(shù)中沒(méi)有一個(gè)是1”）=log25/36=0.53bit三、設(shè)X、Y是兩個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z，取Z=YX（一般乘積）。試計(jì)算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1. =1bit/符號(hào)Z=YX而且X和Y相互獨(dú)

5、立 = = 故H(Z)= =1bit/符號(hào)2.從上式可以看出:Y與X的聯(lián)合概率分布為:P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25專心-專注-專業(yè) H(YZ)=H(X)+H(Y)=1+1=2bit/符號(hào)3.X與Y相互獨(dú)立，故H(X|Y)=H(X)=1bit/符號(hào)I（X;Y）=H(X)-H(X|Y)=1-1=0bit/符號(hào) ;I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符號(hào)四、如圖所示為一個(gè)三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣P=1.繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵；解：1.狀態(tài)轉(zhuǎn)移圖如右圖 2.由公式,可

6、得其三個(gè)狀態(tài)的穩(wěn)態(tài)概率為：3.其極限熵: 五、在干擾離散對(duì)稱信道上傳輸符號(hào)1和0，已知P（0）=1/4,P(1)=3/4,試求：010.90.10.10.9011. 該信道的轉(zhuǎn)移概率矩陣P;2.信道疑義度H（X|Y）;3.該信道的信道容量以及其輸入概率分布解：1.該轉(zhuǎn)移概率矩陣為 P= 2.根據(jù)P（XY）=P（Y|X）P（X），可得聯(lián)合概率P（XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由P（X|Y）=P(X|Y)/P(Y)可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=- 3.該信道是對(duì)稱信道，其容量為： C=l

7、ogs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符號(hào) 這時(shí)，輸入符號(hào)服從等概率分布，即六、某信道的轉(zhuǎn)移矩陣 試求：該信道的信道容量及其最佳輸入概率分布。 解：該信道是準(zhǔn)對(duì)稱信道，分解為兩個(gè)互不相交的子信道矩陣 這里 C=logr-H(P的行矢量) - =0.174bit/符號(hào) 這時(shí)，輸入端符號(hào)服從等概率分布，即=七、信源符號(hào)X有六種字母，概率為0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，寫(xiě)出編碼過(guò)程并計(jì)算其平均碼長(zhǎng)、編碼后的信息傳輸率和編碼效率解： 碼字001011010011001110.320.220.180.160.080.04“1”0100.120100.28 11 0.40 0.61該信源在編碼之前的信源熵為：=0.526+0.481+0.445+0.423+0.292+0.186 =2.353bit/符號(hào)編碼后的平均碼長(zhǎng)：=2.4碼元/信源符號(hào)編碼后的信息傳輸率為：bit/碼元編碼效率為：八、設(shè)在平均功率受限的高斯可加波形信道中，信道帶寬為3KHz，又設(shè)信噪比為101.試計(jì)算該信道傳達(dá)的最大信息率（單位時(shí)間）；2.