信息論與編碼陳運(yùn)主編答案完整版

本文格式為Word版，下載可任意編輯——信息論與編碼陳運(yùn)主編答案完整版信息論與編碼課后習(xí)題答案詳解

2.1試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？

解：

四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}

八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：

四進(jìn)制脈沖的平均信息量HX(1)=logn=log4=2bitsymbol/八進(jìn)制脈沖的平均信息量

HX(2)=logn=log8=3bitsymbol/

二進(jìn)制脈沖的平均信息量HX(0)=logn=log2=1bitsymbol/所以：

四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。

2.2居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假使我們得知“身高160厘米以上的某女孩是大學(xué)生〞的消息，問獲得多少信息量？

解：

設(shè)隨機(jī)變量X代表女孩子學(xué)歷XP(X)

x1（是大學(xué)生）x2（不是大學(xué)生）

0.250.75

設(shè)隨機(jī)變量Y代表女孩子身高

Y

y1（身高>160cm）

0.5

y2（身高log6不滿足信源熵的極值性。

解：

HX

i

pxpx

=?(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)=2.657bitsymbol/

HX()>log62=2.585

不滿足極值性的原因是

i

。

2.7證明：H(X3/X1X2)≤H(X3/X1)，并說明當(dāng)X1,X2,X3是馬氏鏈時(shí)等式成立。證明：

HX(3/XX12)?HX(3/X1)

=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑pxx(i1i3)logpx(i3/xi1)

i1i2

i3

i1

i3

=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑∑pxxx(i1i2i3)logpx(i3/xi1)

i1

i2i3

i1

i2

i3

px(i3/xi1)

=∑∑∑i1

i2i3

pxxx(i1i2

i3

)logpx(i3/xxi1i2)

·3·

?px(i3/xi1)1???log2e

≤∑∑∑i1

i2i3

pxxx(i1i2

i3

)???px(i3/xxi1i2)??

=??

∑∑∑pxx(

?i1?

i2

i3

i1i2

)(pxi3/xi1)?∑∑∑pxxx(i1i2i3)??log2e

i1i2

i3

?

???

=??∑∑pxx(i1i2)?∑px(i3/xi1)??1??log2e

?i1=0

i2

?i3??

∴HX(3/XX12)≤HX(3/X1)

px(i3/xi1)10時(shí)等式等等當(dāng)?=px(i3/xxi12i)

?px(i3/xi1)=px(i3/xxi12i)

?pxx(i12i)(pxi3/xi1)=px(i3/xxi12i)(pxxi12i)?px(i1)(pxi2/xi1)(pxi3/xi1)=pxxx(i123i?px(i2/xi1)(pxi3/xi1)=pxx(i23i/xi1)∴等式等等的等等是X1,X2,X3是馬氏鏈_

i

)

2.8證明：H(X1X2。。。Xn)≤H(X1)+H(X2)+…+H(Xn)。證明：

HXX(1

/XX1IX(

2

...Xn)=HX(1)+HX(2/X1)+HX(32)+...+HX(n/XX12...Xn?1)

2

;X1)≥0?HX(

2

2

)≥HX(

2

/X1)IX(3;XX13/XX1

2

)≥0?HX(3)≥HX(

)

...

IX(N;XX12...Xn?1)≥0?HX(N)≥HX(N/XX12...Xn?1)

∴HXX(12...Xn)≤HX(1)+HX(2)+HX(3)++...HX(n)

2.9設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不管以前發(fā)生過什么符號(hào)，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。(1)試問這個(gè)信源是否是平穩(wěn)的？(2)試計(jì)算H(X2),H(X3/X1X2)及H∞；

(3)試計(jì)算H(X4)并寫出X4信源中可能有的所有符號(hào)。

解：·4·

(1)

這個(gè)信源是平穩(wěn)無記憶信源。由于有這些詞語：“它在任意時(shí)間．．．．而且不管以前發(fā)生過什么符號(hào)．．．．．．．．．．．……〞(2)

HX(2)=2HX()=?2×(0.4log0.4+0.6log0.6)=1.942bitsymbol/HX(

3

/XX1

2

)=HX(

3

)=?∑px(i)logpx(i)=?(0.4log0.4+

0.6log0.6)=0.971bitsymbol/i

H∞=limHX(

N

/XX1

2

...XN?1)=HX(

N

)=0.971bitsymbol/

N?>∞

(3)

HX(4)=4HX()=?4×(0.4log0.4+0.6log0.6)=3.884bitsymbol/X4的所有符號(hào)：

00000001001000110100010101100111100010011010101111001101

11101111

2.10一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號(hào)集為{0,1,2}。求平穩(wěn)后信源的概率分布；(2)求信源的熵H∞。

解：

(1)

?pe(1)=pepe(1)(1/e1)+pe(2)(pe1/e2)?

?pe(