2023年信息論編碼試卷文檔

信息論編碼試卷2

一、填空題(共15分，每空1分)

1、信源編碼的重要目的是提高有效性,信道編碼的重要目的是提高可靠性。

2、信源的剩余度重要來自兩個(gè)方面，一是信源符號間的相關(guān)性,二是信源符號的記錄不均勻

性。

3、三進(jìn)制信源的最小嫡為。，最大皤為log；bit/符號。

4、無失真信源編碼的平均碼長最小理論極限制為信源烯(或H(S)/logr=H,(S))。

5、當(dāng)R當(dāng)或(信道剩余度為0)時(shí)，信源與信道達(dá)成匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。

7、根據(jù)是否允許失真,信源編碼可分為無失真信源編碼和限失真信源編碼。

8、若連續(xù)信源輸出信號的平均功率為則輸出信號幅度的概率密度是高斯分布或正態(tài)分

布或=2,時(shí)，信源具有最大嫡，其值為值glog2s:

9、在下面空格中選擇填入數(shù)學(xué)符號“=,N,V,〉”或

(1)當(dāng)X和Y互相獨(dú)立時(shí),H(XY)=H(X)+H(X/Y)=H(Y)+H(X)O

(2)〃2(X)=蘭“3(X)=',-

(3)假設(shè)信道輸入用X表達(dá)，信道輸出用Y表達(dá)。在無噪有損信道中，H(X/Y)>0,H(Y

/X)=0,I(X;Y)<H(X)?

二、(6分)若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號的概率密度是均勻

分布時(shí)，計(jì)算該信源的相對烯，并說明該信源的絕對蠟為多少。

八\—,2<x<6

Q/(x)=4

0,其它

,相對端h(x)=-j：f(x)logf(x)公

=2bit/自由度

該信源的絕對嫡為無窮大。

三、(16分)已知信源

SS|S]S3S4S556

P」一[o.20.20.20.20.10.1

(1)用霍夫曼編碼法編成二進(jìn)制變長碼；(6分)

(2)計(jì)算平均碼長Z；(4分)

(3)計(jì)算編碼信息率R';(2分)

(4)計(jì)算編碼后信息傳輸率R;(2分)

(5)計(jì)算編碼效率(2分)

(1)

c0

n0.920

c1

“n2o

1.0

0*20

S、0.2—―1

M4

S50.1—^―

1

s?0.1_J_

編碼結(jié)果為：

5,=00

52=01

S3=100

S4=101

$5=11。

56=111

(2)Z=A月8=04x2+0.6x3=2.6碼號

(3)R=￡logr=2.6b%^

(4)/?=孥=矍=0.973%元其中，

4(S)="(0.2,020.2,0.2,0.1,0.1)=2.53b%號

-”冊…

評分：其他時(shí)的的編碼方案：1,規(guī)定為即時(shí)碼2,平均碼長最短

四、（10分）某信源輸出A、B、C、D、E五種符號，每一個(gè)符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1

/8、1/8、1/8、1/2、1/8。假如符號的碼元寬度為0.5〃s。計(jì)算:

（1）信息傳輸速率凡。（5分）

（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2023kHz的加性白高斯噪聲信道傳輸,噪聲的單邊功率譜

密度為%=10-6%?。試計(jì)算對的傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）

解：

w（^）=-1'og|x4-llog|

=—log8-1-^log2

31

=—log24--log2

=21og2

=2bit

R「=2blt-=4x\06bps

0.5〃$

4xl06=2xl06log|1+P——

（10-6X2X106J

（2）l+-=22

2

P=6W

五、（16分）一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為

21

P（S,|5I）=-,P（S2|SI）=-,P（SI|S2）=1,P（S2|S2）=0,

（1）畫出狀態(tài)轉(zhuǎn)移圖。（4分）

（2）計(jì)算穩(wěn)態(tài)概率。（4分）

（3）計(jì)算馬爾可夫信源的極限嫡。（4分）

（4）計(jì)算穩(wěn)態(tài)下“2及其相應(yīng)的剩余度。（4分）

解：（1）

1

工邑

1

(2)由公式P(S,.)=2P(EISJ)P⑸)

22

P(SJ=ZP(SJS,)P(S,)=”)+P(S2)

/=13

21

有尸(E)〃P恪)

1=1J

P(51)+P(S2)=1

P⑸二

(3)該馬爾可夫信源的極限燧為:

22

“8=一2￡P(guān)(s,)p(s/s.)logP(SJsj

=-xO.578+-xl.599

24

=0.681/?〃/符號

=0.472〃af/符號

=0.205符號

(4)在穩(wěn)態(tài)下：

=-￡P(guān)㈤bgPkJnj]xlog；+：xk)g；=0.811珈符號

i=\14444y

H2=乩=0.205癡“符號=().472〃?！胺?0.68?"/符號

相應(yīng)的剩余度為

7i=l-

六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。

Y

解：信道傳輸矩陣如下

——00

22

11

00

22

11

00

22

11

00

,22.

可以看出這是一個(gè)對稱信道，L=4,那么信道容量為

C=log4—嗚

L

=i（）gL+ZMyj\%）logP（yjI%,）

j=l

I-1

=log4+2x—log—

=Ibit

七、（16分）設(shè)X、Y是兩個(gè)互相獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)

二元隨機(jī)變量Z=XY（一般乘積）。試計(jì)算

（1）H（X）,H（Z）;

（2）H（XY）,H（XZ\,

⑶H（X|Y）,”（Z|X）;

（4）/（x；y）,7（x；z）;

解：（i）

z01

P(Z3/41/4

)

H(X)=H\bit

“⑵==0.8113〃萬

(2)H(xy)=H(x)+“(y)=i+i=2沅”對

H(XZ)=H(X)+”(Z|X)=l+；HaO)+；dg,；卜L5則對

(3)H(X[Y)=H(X)=lbit

”(Z|X)=J"(l,0)+"t3)=0.5m

乙乙\乙乙J

(4)/(x,y)="(y)-"(y|x)="(y)—"(y)=o

/(X,Z)=H(Z)—H(Z|X)=O.8U3—0.5=0.311如/

八、(10分)設(shè)離散無記憶信源的概率空間為X=斗2，通過干擾信道，信道輸出

_P]|_0.80.2

端的接受符號集為y=[y,%]，信道傳輸概率如下圖所示。

(1)計(jì)算信源X中事件為包含的自信息量;

(2)計(jì)算信源X的信息燃；

⑶計(jì)算信道疑義度”(Xi丫)；

⑷計(jì)算噪聲焙"(wx)；

(5)計(jì)算收到消息y后獲得的平均互信息量。

解：（1）/（x）=-log0.8=0.322/?萬=0.0969法〃=0.223〃〃

（2）H（X）=H（0.8,0.2）=0.722勵(lì)符號=0.5〃”/符號=0.217/“M符號

（3）轉(zhuǎn)移概率:

yi歹2

y