信息論與編碼理論習(xí)題答案

本文格式為Word版下載后可任意編輯和復(fù)制第第頁信息論與編碼理論習(xí)題答案

第1章緒論

1.1信源、編碼器、信道、干擾、譯碼器、信宿1.2香農(nóng)

1.3通信系統(tǒng)模型

1.4信號(hào)是消息的表現(xiàn)形式，是物理的，比如電信號(hào)、光信號(hào)等。消息是信息的載荷者，是

信號(hào)的詳細(xì)內(nèi)容，不是物理的，但是又比較詳細(xì)，例如語言、文字、符號(hào)、圖片等。信息包含在消息中，是通信系統(tǒng)中被傳送的對(duì)象，消息被人的大腦所理解就形成了信息。1.5略

第2章信息的統(tǒng)計(jì)度量

2.1少

2.2y的消失有助于確定x的消失、y的消失有助于否定x的消失、x和y相互獨(dú)立2.3FTTTF

2.42.12比特

2.5依題意，題中的過程可分為兩步，一是取出一枚硬幣恰好是重量不同的那一枚，設(shè)其發(fā)

生的概率為p1，由于每枚硬幣被取出的概率是相同的，所以

p1?

181

所需要的信息量

I?A???logp1?6.34?bit?

二是確定它比其他硬幣是重還是輕，設(shè)其發(fā)生的概率為p2，則

p2?

12

12

1162

總的概率

p?p1p2?

181?

?

所需要的信息量

I??logp?log162?7.34?bit?

2.6設(shè)A表示“高校生”這一大事，B表示“身高1.60m以上”這一大事，則

p?A??0.25

p?B??0.5

p?B|A??0.75

故

p?A|B??

p?AB?p?B?

?

p?A?p?B|A?

p?B?

?

0.75?0.25

0.5

?0.375

1p?A|B?

10.375

I?A|B??log

?log

?1.42?bit?

2.7四進(jìn)制波形所含的信息量為log4?2?bit?，八進(jìn)制波形所含信息量為log8?3?bit?，故

四進(jìn)制波形所含信息量為二進(jìn)制的2倍，八進(jìn)制波形所含信息量為二進(jìn)制的3倍。2.8

I?2???log2p?bit?I?3???log3p?bit?I?3?I?2??log23?1.585

故以3為底的信息單位是比特的1.585倍。2.9（1）J、Z（2）E（3）X

2.10（1）兩粒骰子向上面的小圓點(diǎn)數(shù)之和為3時(shí)有(1,2)和(2,1)兩種可能性，總的組合數(shù)為

C6?C6?36，則圓點(diǎn)數(shù)之和為3消失的概率為

1

1

p3?

236

?

118

?4.17?bit?

故包含的信息量為

（2）小圓點(diǎn)數(shù)之和為7的狀況有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3)，則圓點(diǎn)數(shù)之和為7消失的概率為

p7?

636

?16

I?3???logp3??log

118

?2.585?bit?

故包含的信息量為

I?7???logp7??log

16

2.11對(duì)于男性，是紅綠色盲的概率記作p?a1??7%，不是紅綠色盲的概率記作p?a2??93%，

這兩種狀況各含的信息量為

I?a1??log??1p?a1????logI?a2??log??p?a2????log

100710093

?3.83?bit?

?0.105?0.366?bit?

?0.105?bit?

平均每個(gè)回答中含有的信息量為

H?A??p?a1?log??1p?a1????p?a2?log??1p?a2????

7100

?3.83?

93100

對(duì)于女性，是紅綠色盲的概率記作p?b1??0.5%，不是紅綠色盲的概率記作p?b2??99.5%，則平均每個(gè)回答中含有的信息量為

H?B??p?b1?log??1p?b1????p?b2?log??1p?b2????

51000

?log

10005

?9951000

?log

1000995

?0.045?bit?

所以

H?A??H?B?

?1?12

1?

??log242?

2.12天平有3種狀態(tài)，即平衡，左重，左輕，所以每稱一次消退的不確定性為log3，12個(gè)

球中的不等重球（可較輕，也可較重）的不確定性為：?log?,所以3次測(cè)量可以找出該球。3log3?log24

2.13（1）當(dāng)最終3場(chǎng)競(jìng)賽麥克勝的次數(shù)比大衛(wèi)多時(shí)，麥克最終才能勝，因此

P?勝??P?麥克勝3場(chǎng)??P?大衛(wèi)勝少于3場(chǎng)?+P?麥克勝2場(chǎng)??P?大衛(wèi)勝少于2場(chǎng)??P?麥克勝1場(chǎng)??P?大衛(wèi)勝0場(chǎng)??18?78?38?48?38?18?2264

?

，因?yàn)?/p>

2264

2264

2264

2064

同理

P?負(fù)??

，P?平??1?

?

?

麥克最終競(jìng)賽結(jié)果的熵為

222222222022?222220?H?,,??log?log?log?

646464646464?646464??log64?2??6?

4464

2264

log22?

2064

2064log20

?4.4594??4.3219

?6?3.0659?1.3506

因?yàn)閯?、?fù)、平這3種結(jié)果接近等概，所以該隨機(jī)變量的熵接近最大熵。

（2）假定大衛(wèi)最終3場(chǎng)競(jìng)賽全部獲勝，那么麥克也必需全部獲勝最終3場(chǎng)競(jìng)賽最終才能得平，否則就是負(fù)。麥克3場(chǎng)競(jìng)賽全部獲勝的可能性是2?3?1/8，因此在假定大衛(wèi)最終3場(chǎng)競(jìng)賽全部獲勝的狀況下麥克的最終競(jìng)賽結(jié)果的條件熵是

2.14（1）假定一個(gè)家庭里有k個(gè)女孩，1個(gè)男孩，相應(yīng)的概率是0.5k?0.5，因此女孩的平

?

?1.5835比特果

7?1?

H???3?log7?0.5436比特果

8?8?

均數(shù)是0.5?k0.5k?1，女孩的平均數(shù)和男孩的平均數(shù)相等。

k?1

（2）H?X????0.5ilog?0.5i??2

i?1

?

2.15（1）依據(jù)題意，可以得到：

p?E??p?F??p?U??1

①

②

1.0p?E??0.5p?F??0.0p?U??0.95

由式②可以得到：

p?F??1.9?2p?E?

③

將式③代入式②得到：

p?E??0.9?p?U

?④

由于p?E?,p?F?,p?U?的取值必需在0到1之間，由式③和式④可以得到p?E?的取值范圍在0.9到0.95之間。(2)就業(yè)狀況的熵為

?1??1

H?p?E?log??pFlog????

pE????????p?F?1?

?p?E?log?????1.9?2p?E???log

pE??????

??1

?pUlog?????????p?U

?

????

??1

??pE?0.9??????

??1

?????p?E??0.9??log1.9?2pE??????

它在p?E?的取值范圍內(nèi)的曲線如圖所示。

0.50.450.40.350.30.25

0.0

0.01

0.02

0.03

0.04

0.05

（3）當(dāng)p?E??0.9081時(shí)，H?0.4823達(dá)到最大值，這時(shí)p?F??0.0838，p?U??0.0081。2.16假設(shè)X表示當(dāng)?shù)氐膶?shí)際天氣狀況，Y表示氣象臺(tái)預(yù)報(bào)的天氣狀況，Z表示總是預(yù)報(bào)不

下雨的天氣狀況。

H?X

??0.696比特

p?xy?

符號(hào)

I?X;Y??

?

x,y

p?xy?log

p?x?p?y?3

1

1316

?116log

16316?1116

?1016log

11161016?1316

16516?

1

?18log

8316?516

?316log

?0.0906比特符號(hào)

I?X;Y???H?X?，可見氣象臺(tái)預(yù)報(bào)的的確不好。

但是假如總是預(yù)報(bào)不下雨的話則會(huì)更糟，因?yàn)閄和Z是相互獨(dú)立的兩個(gè)隨機(jī)變量，即

I?X;Z??0，所以

I?X;Y??I?X;Z?,H?X|Z??H?X|Y

?

因此氣象臺(tái)的預(yù)報(bào)精確?????率雖然比總是預(yù)報(bào)不下雨低，但還是傳遞了一些信息，消退了一些不確定性。

2.17由互信息量的定義

I?xi;yj??log

p?xi|yj?p?xi?

因?yàn)閜?xi|yj??1，則有

I?xi;yj??log

p?xi|yj?p?xi?

1p?xi?

?I?xi?

?log

同理，因?yàn)閜?yj|xi??1，則有

I?yj;xi??log

p?yj|xi?p?yj?

1p?yj?

?I?yj?

?log

2.18（1）依據(jù)熵的極值性，當(dāng)隨機(jī)變量等概分布時(shí)，隨機(jī)變量的熵最大。有7個(gè)可能取值

的隨機(jī)變量的最大熵為log7，隨機(jī)變量X不是等概分布，所以H?X??log7。（2）依據(jù)熵的遞增性，H?X??H?（3）

H

?2

2?22?1??1?

H???H???log5??

?1010101010?10?2?10?2?

,

,

,

,

2

2

2

。

?X????

x

p?x?logp?x???3?log2?3.322?0.6

210

log

210

?4?

110

log

110

?log10?

610

?2.722比特符號(hào)

HY????p?y?logp?y???3?

y

210log

210

?410log

410

?log10?

610

log2?

410

log4

?3.322?0.6?0.8?1.922比特符號(hào)

（4）因?yàn)殡S機(jī)