信息論基礎(chǔ)考試期末A卷

1、 信息論基礎(chǔ)考試(期末A卷 1 / 9 作者： 日期： 2 / 9 2學(xué)期重慶郵電大學(xué)2007/2008學(xué)年 （半開(kāi)卷）信息論基礎(chǔ)試卷（期末）（A卷） 10 一、填空題（本大題共小空，每小空1分，共20分） 1.按信源發(fā)出符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間的無(wú)統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無(wú)記憶信源兩大類。 符號(hào)2.一個(gè)八進(jìn)制信源的最大熵為3bit/ xxx?X312?111?；若對(duì)該信源進(jìn)行十次擴(kuò)展，則，其概率分布為，其信源剩余度為94.64%3.有一信源X?P?442? 15bit每十個(gè)符號(hào)的平均信息量是。若消息從放大器中輸出，則該4.若一連續(xù)消息通過(guò)放大器，該放大器輸出的最大瞬間電壓為

2、ab，最小瞬時(shí)電壓為?，則單位時(shí)間內(nèi)；其能在每個(gè)自由度熵的最大熵是自由度；若放大器的最高頻率為F（b-a信源的絕對(duì)熵是）bit/logbit/s. b-a）輸出的最大信息量是 2Flog（1?elog32；與其，其概率密度函數(shù)是高斯分布時(shí)，差熵的最大值為5. 若某一 信源X，其平均功率受限為16w216w? 熵相等的非高斯分布信源的功率為 6、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。 。7、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= H(S)）r ）時(shí)，信源與信道達(dá)到匹配。8、當(dāng)R=C或（信道剩余度為0 、根據(jù)是否允許失真，信源編碼可分為無(wú)失

3、真信源編碼和限失真信源編碼。9?,?,?,? ”或“10、在下面空格中選擇填入數(shù)學(xué)符號(hào)“” XY）=H(X)+H(X/Y)。HX（1）當(dāng)和Y相互獨(dú)立時(shí)，（H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。 表示，信道輸出用（2）假設(shè)信道輸入用XY表示。在無(wú)噪有損信道中， 二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6，計(jì)算信息量： 1.當(dāng)點(diǎn)數(shù)和為3時(shí)，該消息包含的信息量是多少？ 2.當(dāng)點(diǎn)數(shù)和為7是，該消息包含的信息量是多少？ 3 / 9 的自信息是多少？3.兩個(gè)點(diǎn)數(shù)中沒(méi)有一個(gè)是1=1/36+1/36=1/18 ）（1,2=P（1,2）+ P）解：1.P（“點(diǎn)數(shù)和為3”=log18=4.17

4、bit ”）“點(diǎn)數(shù)和為3 則該消息包含的信息量是：I=-logP（?6=1/6 =1/36 + P（4,3）+ P1,6）+ P（6,1）（5,2）+ P（2,5）+ P（3,4）=P 2.P（“點(diǎn)數(shù)和為7”）（=log6=2.585bit ”）I=-logP（“點(diǎn)數(shù)和為7 則該消息包含的信息量是： “兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”） 3.P（“兩個(gè)點(diǎn)數(shù)沒(méi)有一個(gè)是1”=1-P（ =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 =log25/36=0.53bit （“兩個(gè)點(diǎn)數(shù)中沒(méi)有一個(gè)是1”） 則該消息包含的信息量是：I=-logP （一般Z=YXZ，取三、

5、設(shè)X、Y是兩個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個(gè)二元隨機(jī)變量 。試計(jì)算：乘積） ）；1.H（Y）、H（Z ；）2.H（XY、H（YZ） ）3.I（X;Y）、I（Y;Z；21111?log?（y）logP（H（Y）=-y）?logP 1. 解：=1bit/符號(hào)?ii2222?1i? 相互獨(dú)立Z=YX而且X和Y111P?1)1)?P(X=P(Y=1)?YP?(X?1)?P(?=1（Z）?2?2? = 1222?P(X?1)?P(Y?1)=-1P（Z）=P(Y=1)?P(X?1)= 2111?2?2? 2222?)(z(z)logP?P 故H(Z)= 符號(hào)=1bit/ii

6、1i? 2.從上式可以看出:Y與X的聯(lián)合概率分布為: 4 / 9 個(gè)人收集整理，勿做商業(yè)用途Y=-1Y=1P(Y,Z) H(YZ)=H(X)+H(Y)=1+1=2bit/符0.25Z=10.25 故立，Y相互獨(dú)3.X與 0.25 Z=-1 0.25 符號(hào)H(X|Y)=H(X)=1bit/? X;Y（）=H(X)-H(X|Y)=1-1=0bit/ 符號(hào)I I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符號(hào) 四、如圖所示為一個(gè)三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣11?0?22?11?0 P=?22?111?424? 繪制狀態(tài)轉(zhuǎn)移圖；1. 求該馬爾科夫信源的穩(wěn)態(tài)分布；

7、2. 3. 求極限熵； 解：1.狀態(tài)轉(zhuǎn)移圖如右圖3?)|(EEP(E)Pp(E)? 2.,可得其三個(gè)狀態(tài)的穩(wěn)態(tài)概率為：由公式ijji1i?111?)EP(P(E)?(E)?EP()?P3?2113?E)P(422?1?711?)EE)?P(PP(E)?(2?322?P(E)22? 27?11)E)P(E?P(?(PE)2?331?P(E)42?37?1)(?)(?)(PEPEPE?321 5 / 9 個(gè)人收集整理，勿做商業(yè)用途: 3.其極限熵 31121121131，）?H，H+?，0）+?H= -）P（EH（X|E）=H（，）i?i47422722721i? 8322符號(hào)1.5=bit/?=

8、1+?1+?7777 試求：P（0）=1/4,P(1)=3/4,0五、在干擾離散對(duì)稱信道上傳輸符號(hào)1和，已00000110 P 該信道的轉(zhuǎn)移概率矩陣1. 2. ）信道疑義度H（X|Y該信道的信道容量以及其輸入概率分布 3. 解：1.該轉(zhuǎn)移概率矩陣為 0.90.1? P=0.10.9?P（X）Y|X）=P（），可得聯(lián)合概率 XYP 2.根據(jù)（ XYY1/40X=09/40 6 / 9 個(gè)人收集整理，勿做商業(yè)用27/403/40X=128/4012/40P(Y=i) 可得）=P(X|Y)/P(Y)由P（X|Y=1P(X|Y)Y=01/283/4X=027/28X=11/4 ?Plog(xyx|y）

9、=0.09+0.12+0.15+0.035=0.4bit/符號(hào))P（ H(X|Y)=- jiijji， 3.該信道是對(duì)稱信道，其容量為： ）=1-0.469=0.531bit/符號(hào) C=logs-H=log2-H（0.9,0.110?X?11?這時(shí)，輸入符號(hào)服從等概率分布，即 ?)XP(?22?0.160.300.?P? 六、某信道的轉(zhuǎn)移矩陣1.06000.3? 試求：該信道的信道容量及其最佳輸入概率分布。 解：該信道是準(zhǔn)對(duì)稱信道，分解為兩個(gè)互不相交的子信道矩陣 0.1?0.9 N?N0.100.60.3?21? 這里 0.10.9M00.1?M0.30.6?21?) 的行矢量C=logr-H

10、(P2?0.1loglog0.9-0.1?.1).3，0?0.9?0?MNlog?1H(0.6， -KK1k? 符號(hào) =0.174bit/10?X?11? = 這時(shí)，輸入端符號(hào)服從等概率分布，即?)P(X?2?2。用赫夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，有六種字母，概率為七、信源符號(hào)X0.32,0.22,0.18,0.16,0.08,0.047 / 9 個(gè)人收集整理，勿做商業(yè)用途 寫(xiě)出編碼過(guò)程并計(jì)算其平均碼長(zhǎng)、編碼后的信息傳輸率和編碼效率。 解0000000111100001000001 該信源在編碼之前的信源熵為：6?）xlog)P)H(S?（P(x=0.526+0.481+0.445+0.423+0.292+0.186 ii1?i =2.353bit/符號(hào) 編碼后的平均碼長(zhǎng)：4?0.04)2?0.16?3?(0.08?0.22L?(0.32?0.18) 信源符號(hào)=2.4碼元/ 編碼后的信息傳輸率為：2.353)(HS0.98?R? 碼元bit/2.4L)SRH(?0.98? 編碼效率為：RrLlogmax 10 3KHz八、設(shè)在平均功率受限的高斯可加波形信道中，信道帶寬為，又設(shè)信噪比為 試計(jì)算該信道傳達(dá)的最大信息率（單位時(shí)間）1.；8 / 9 個(gè)人收集整理，勿做商業(yè)用途 ，要達(dá)到相同的最大信息傳輸率，信道帶寬是多少？若功率信噪