《信息論與編碼》課后習(xí)題答案

《信息論與編碼》課后習(xí)題答案《信息論與編碼》課后習(xí)題答案

其次章

2.1一個(gè)馬爾可夫信源有3個(gè)符號(hào){}1,23,uuu，轉(zhuǎn)移概率為：()11|1/2puu=，

()21|1/2puu=，()31|0puu=，()12|1/3puu=，()22|0puu=，()32|2/3puu=，

()13|1/3puu=，()23|2/3puu=，()33|0puu=，畫出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概率。解：狀態(tài)圖如下

狀態(tài)轉(zhuǎn)移矩陣為：

1/21/2

01/302/31/32/30p???=????

設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3

由1231WPWWWW=??++=?得1231132231231

112331223231

WWWWWWWWWWWW?++=???+=???=???++=?計(jì)算可得1231025925625WWW?=???

=??

?=??

2.2由符號(hào)集{0，1}組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：(0|00)p=0.8，(0|11)p=0.2，

(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。

畫出狀態(tài)圖，并計(jì)算各狀態(tài)的穩(wěn)態(tài)概率。

解：(0|00)(00|00)0.8pp==(0|01)(10|01)0.5pp==

(0|11)(10|11)0.2pp==(0|10)(00|10)0.5pp==(1|00)(01|00)0.2pp==(1|01)(11|01)0.5pp==(1|11)(11|11)0.8pp==(1|10)(01|10)0.5pp==

于是可以列出轉(zhuǎn)移概率矩陣：0.80.20

0000.50.50.50.5000

00.20.8p???

?=??

??狀態(tài)圖為：

設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4有

41

1iiWPWW==???=??∑得131

132

24324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW+=??+=??+=??+=?+++=??計(jì)算得到123451417175

14WWWW?=??

?=???=???=

?

2.3同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：

(1)“3和5同時(shí)消失”這大事的自信息；(2)“兩個(gè)1同時(shí)消失”這大事的自信息；

(3)兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序）對(duì)的熵和平均信息量；(4)兩個(gè)點(diǎn)數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：

(1)

bitxpxIxpiii170.418

1

log

)(log)(181

61616161)(=-=-==

?+?=

(2)

bit

xpxIxpiii170.536

1

log)(log)(36

1

6161)(=-=-==

?=

(3)

兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566

共有21種組合：

其中11，22，33，44，55，66的概率是36

16161=?其他15個(gè)組合的概率是18

161612=??

symbolbitxp

xpXHi

ii/337.4181log18115361log3616)(log)()(=?????

?+?-=-=∑

(4)

參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：

symbol

bitxpxpXHXPXi

ii/274.361log61365log365291log912121log1212181log1812361log36

12)

(log)()(36112181111211091936586173656915121418133612)(=?

????

+?+?+?+?+?-=-=?????????

?=??????∑(5)

bit

xpxIxpiii710.136

11

log)(log)(36

11116161)(=-=-==

??=

2-4

2.5居住某地區(qū)的女孩子有25%是高校生，在女高校生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是高校生”的消息，問(wèn)獲得多少信息量？

解：

設(shè)隨機(jī)變量X代表女孩子學(xué)歷

Xx1（是高校生）x2（不是高校生）P(X)0.250.75

設(shè)隨機(jī)變量Y代表女孩子身高

Yy1（身高>160cm）y2（身高=

2.24連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：???

??≤+=其他

01

),(2222

ryxryxpπ，

求H(X),H(Y),H(XYZ)和I(X;Y)。

（提示：?-

=20

222log2

sinlogπ

π

xdx）

解：

???

??

?????

??????

?

-+-=+

==-==--=--=--=-+-=--=---=--=-=≤≤--===----------

---202420

220

2

20

20

22220

2

20

2222

22

2222222222222

22222

222

22sinlog2

2cos1422cos1log4

sinlogsin4

logsin4sinlogsin4

sinlogsin4)

cos(sinlogsin4coslog4log2log)(/log2

1

loglog2

1

1log2loglog)(2loglog)(2

log)(2log)()(log)()()(21)()(2

2222

22

2π

π

π

π

π

ππθ

θθ

πθθπθ

θθπθθπθθθπ

θθθπθθθπθπππππππππddrdrddrdrrrrdrrrrxdxxrxrrdxxrrxrdx

xrxpsymbol

bitere

rrdx

xrxprdx

xrxpdxr

xpdxr

xrxpdx

xpxpXHrxrr

xrdyrdyxypxprr

rr

r

rrrrrrr

rr

rcxrxrxrxr令其中：

e

eededededede

ddde

rdrddrrdddrdr220

2220

220

22

0220

2220

220

20

20

20

220

20

220

20

20

20

20

log2

1

2sinlog21log212coslog1log122cos1log2

coslog2

sinlogcoscossin21

sinlog2sinsinlog2sin12sinsinlog1

sinlog2cos2

log2

1

1logsinlog2cos2

1logsinlog2cos2

)2log2

(2

2sinlog1

logsinlog2cos2

sinlog2

2coslog2

log2

-=--=--=+-

=-=-=???

?

??-==

+-=-

-=-

-

+

-

=-

+

-

=

?????

??

??

?

??

?

??π

π

ππ

π

π

π

π

π

π

π

π

π

π

π

π

π

θπθ

θπ

θπθ

θ

πθ

θπθ

θ

θθ

θπθθθθπθ

θπθ

θθπθ

θθπθ

θθπππ

θπ

θ

θθπθθπθθπ

θπ

其中：

bit/symbolererXYHYHXHYXIbit/symbolrdxdyxyprdxdyrxypdxdy

xypxypXYHbit/symbol

erXHYHxpypryrryrdxrdxxypypccccR

R

R

cCCyryryryrloglog

logloglog2

)()()();(log

)(log

1

log)(

)(log)()(log2

1

log)()()

()()(21

)()(222222222

222

2222

2222

22

2-=--=-+===-=-=-===≤≤--=

==???????

?

---

---πππππππππ

2.25某一無(wú)記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵；

(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1”）的自信息量的表達(dá)式；(3)計(jì)算(2)中序列的熵。

解：(1)

symbolbitxpxpXHi

ii/811.043log4341log41

)(log)()(=?????+-=-=∑

(2)

bitmxpxIxpm

iimm

m

i585.15.414

3

log

)(log)(4

34341)(100

100100

100100+=-=-==?

?

?

????????=---

(3)

symbolbitXHXH/1.81811.0100)(100)(100=?==

2-26

P(i)=P(ij)=

H(IJ)=

2.29有一個(gè)一階平穩(wěn)馬爾可夫鏈1,2,,,rXXXLL,各Xr取值于集合{}1,2,3Aaaa=,已知起始概率P(Xr)為1231/2,1/4ppp===，轉(zhuǎn)移概率如下圖所示

ji

123123

1/22/32/3

1/401/3

1/41/30

(1)求123(,,)XXX的聯(lián)合熵和平均符號(hào)熵(2)求這個(gè)鏈的極限平均符號(hào)熵

(3)求012,,HHH和它們說(shuō)對(duì)應(yīng)的冗余度解：（1）

12312132,112132(,,)()(|)(|)

()(|)(|)

HXXXHXHXXHXXXHXHXXHXX=++=++

1111111

()logloglog1.5/224444

HXbit=---=符號(hào)

212()()jiji

pxpxx=∑

X2的概率分布為

那么

21111131131

(|)log4log4log4loglog3loglog348862126212

HXX=++++++

=1.209bit/符號(hào)

12()ijpxx

12311/41/81/8

21/601/12

31/6

1/12

12314/24

5/24

5/24

X2X3

那么

32771535535

(|)log2log4log4loglog3loglog3244883627236272

HXX=

++++++=1.26bit/符號(hào)

123(,,)1.51.2091.263.969HXXXbit=++=/符號(hào)

所以平均符號(hào)熵31233.969

(,,)1.3233

HXXXbit=

=／符號(hào)（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為11

12442

103321033

P????

?=??????

由1iWPWW=???=??∑得到123132123122123311431WWWWWWWWW?++=???+=??++=???計(jì)算得到12347314314WWW?=??

?=??

?=??

又滿意不行約性和非周期性

31

4111321

()(|)(,,)2(,,0)1.2572441433iiiHXWHXWHHbit∞===+?=∑uuv/符號(hào)

(3)0log31.58Hbit==/符號(hào)11.5Hbit=/符號(hào)21.51.209

1.3552

Hbit+=

=/符號(hào)001.25110.211.58γη=-=-=111.25110.6171.5γη=-=-=221.25

110.0781.355

γη=-=-=

a1

a

3a

2

1/2

2/3

1/4

1/3

2/3

1/4

2-30

(1)求平穩(wěn)概率P(j/i)=

解方程組

得到

(2)

信源熵為:

2-31

P(j/i)=解方程組得到W1=,W2=,W3=

2.32一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號(hào)集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵

（3）近似認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與H∞進(jìn)行比較

1

2

1-p

p/2

1-p

p/2p/2

p/2

p/2

p/2

1-p

圖2-13

解:依據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣1/2/2/21/2/2/21pppPpppppp-????=-????-??

令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3

31

1iiWPWW==???

=??∑得到1231

1232123(1)2

2

(1)221pppWWWWp

pWpWWWWWW?

-++=???+-+=??++=???

計(jì)算得到131313WWW?=??

?

=??

?=??

由齊次遍歷可得

112

()(|)3(1,,)(1)loglog3221iiippHXWHXWHppppp∞==?-=-+-∑uuvuuv

,

()log31.58/HXbit==符號(hào)由最大熵定理可知()HX∞uuv

存在極大值

或者也可以通過(guò)下面的方法得出存在極大值:

()121log(1)(1)loglog

1222(1

)HX

ppp

pppppp∞???-=---

+-++??=-?

??--?

?uuv

112(1)22(1)ppp=-+--又01p≤≤所以

0,2(1)pp∈+∞-當(dāng)p=2/3時(shí)12(1)p

p=-0()log02(1)HXp

pp∞?=->?-uuv

2/3()log02(1)

HXp

pp∞?=-1(;)IXY

所以其次個(gè)試驗(yàn)比第一個(gè)試驗(yàn)好

（2）由于Y1和Y2相互獨(dú)立，所以1212(|)(|)(|)pyyxpyxpyx=

121212111

(;)(,)(|)log4log1log12log2444

IXYYHYYHYYX∴=-=---?bit/符號(hào)

=1.5bit/符號(hào)

由此可見，做兩個(gè)試驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的信息量。（3）

12112212212122(;|)(|)(|,)(,)()

(;,)(;)

IXYYHXYHXYYHXYHXHXIXYYHXIXYHXIXYYIXYYIXY=-=---=---=-

=1.5-1=0.5bit/符號(hào)

表示在已做Y2的狀況下，再做Y1而多得到的關(guān)于X的信息量同理可得

21121(;|)(;,)(;)IXYYIXYYIXY=-=1.5-0.5=1bit/符號(hào)

表示在已做Y1的狀況下，再做Y2而多得到的關(guān)于X的信息量

歡迎下載！

第三章

3.1設(shè)二元對(duì)稱信道的傳遞矩陣為

??????????32313132(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；

解：1)

symbol

bitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbol

bitxypxypxpXYHsymbol

bitxpXHj

ji

j

ijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()

/()()/()();(/980.0)4167.0log4167.05833.0log5833.0()()(4167

.03

2

413143)/()()/()()()()(5833.031

413243)/()()/()()()()(/918.010

log)3

2

lg324131lg314131lg314332lg3243()

/(log)/()()/(/811.0)41

log4143log43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?=

+=+==??+?+?+?-=-==?+?-=-=∑∑∑∑

2)

2221122

max(;)loglog2(lglg)log100.082/3333

miCIXYmHbitsymbol

==-=++?=其最佳輸入分布為1

()2

ipx=

3-2某信源發(fā)送端有2個(gè)符號(hào)，ix，i＝1，2；()ipxa=，每秒發(fā)出一個(gè)符號(hào)。接受端有3

種符號(hào)iy，j＝1，2，3，轉(zhuǎn)移概率矩陣為1/21/201/21/41/4P??

=????

。

（1）計(jì)算接受端的平均不確定度；

（2）計(jì)算由于噪聲產(chǎn)生的不確定度(|)HYX；（3）計(jì)算信道容量。

解：1/21/201/21/41/4P??

=??

??

聯(lián)合概率(,)ijpxy

（1）()log2loglog

24141HYaa

=+++-211161log2loglog24141aaaa

-=++-+

211111log2log16loglog

244141aa

aa-=+++-+2

3111log2loglog24141aa

aa

-=++-+取2為底

222

3111()(loglog)24141aaHYbitaa

-=++-+（2）11111111(|)logloglogloglog2

222224444a

aaaaHYX---??=-++

++????3(1)

log2log22

aa-=-+

3log22

a-=

取2為底

3(|)2

a

HYXbit-=

2()()()111max(;)max()(|)maxlog2loglog2

4141iiipxpxpxa

aacIXYHYHYXaa-??∴==-=++?-+??取e為底2

111(ln2lnln)2

4141aaaaaa

-?++-+?21121111ln2ln()24141411aaaaaaa-=+++---+-+221112ln2ln22(1)4141aaaaaa-=++--+-111ln2ln

241a

a

-=++=0

1114

aa-=+35a∴=

9

251311131log2loglog2541454c∴=?++?-312531log2loglog10416204=++3153

log2loglog2102410=+-15log24

=

3.3在有擾離散信道上傳輸符號(hào)0和1，在傳輸過(guò)程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。

解：

由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：

0.990.010.010.99P??

=??

??

為一個(gè)BSC信道

所以由BSC信道的信道容量計(jì)算公式得到：

2

1

1

log()log2log

0.92/1

1000920/sec

iii

tCsHPpbitsignpCCCbitt

==-=-====∑

3.4求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)e=0和1/2時(shí)的信道

容量C的大小。

解:信道矩陣P=??

??

??????-e1e0ee10001－,此信道為非奇異矩陣,又r=s,可利用方程組求解

3

1

(|)jijjPbab=?

=3

1

(|)log(|)jijijPbaPba=?(i=1,2,3)

123230(1)(1)log(1)log(1)log(1)log(1)

bebebeeeeebebeeeeì=???

-+=--+í??+-=+--???解得10b=

23(1)log(1)logbbeeee==--+

所以C=log

2jj

b

?

=log

=log=log

X0

Y0

111

2

2

1－e

1－e

ee

2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()CCHCCPbPbPbPbeeeeebeebbeeeeee-------ì??====??+-+???-??==í?+-???==??????而3

1

()()(|)jijiiPbPaPba==?(j=1,2,3)

得11223323()()()()(1)()()()()(1)

PbPaPbPaPaPbPaPaeeeeì=???=-+í??=+-???所以P(a1)=P(b1)=(1)1

12(1)ee

ee-+-

2323(1)(1)()()()()12(1)PaPaPbPbee

ee

eeee--====+-

當(dāng)e=0時(shí),此信道為一一對(duì)應(yīng)信道,得

C=log3,1231

()()()3PaPaPa===

當(dāng)e=1/2時(shí),得C=log2,11()2Pa=,231

()()4

PaPa==

3.5求下列二個(gè)信道的信道容量，并加以比較

（1）

???

???----εεεεεε22pppp（2）??????----εεεεεε2024pppp

其中p+p=1

解：

（1）此信道是準(zhǔn)對(duì)稱信道，信道矩陣中Y可劃分成三個(gè)互不相交的子集由于集列所組

成的矩陣??????----εε

εε

pppp,???

?

??εε22而這兩個(gè)子矩陣滿意對(duì)稱性，因此可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。C1=logr-H(p1’p2’p3’)-

MkkNklog2

1

∑=

其中r=2,N1=M1=1-2εN2=ε2M2=4ε所以C1=log2-H(ε-p,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε

=log2+(ε-p)log(ε-p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε=log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p)log(ε-p)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+(ε-p)log(ε-p)+(p-ε)log(p-ε)

輸入等概率分布時(shí)達(dá)到信道容量。

（2）此信道也是準(zhǔn)對(duì)稱信道，也可采納上述兩種方法之一來(lái)進(jìn)行計(jì)算。先采納準(zhǔn)對(duì)稱信

道的信道容量公式進(jìn)行計(jì)算，此信道矩陣中Y可劃分成兩個(gè)互不相交的子集，由子

集列所組成的矩陣為?????

?----εε

εε

pppp，???

?

??εε2024這兩矩陣為對(duì)稱矩陣其中r=2,N1=M1=1-2εN2=M2=2ε，所以

C=logr-H(p-ε,p-ε,2ε,0)-∑=2

1

logkMkNk

=log2+(p-ε)log(p-ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε=log2-(1-2ε)log(1-2ε)+(p-ε)log(p-ε)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+2εlog2+(p-ε)log(p-ε)+(p-ε)log(p-ε)=C1+2εlog2

輸入等概率分布（P（a1）=P（a2）=1/2）時(shí)達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2εlog2

3-6設(shè)有擾離散信道的傳輸狀況分別如圖3－17所示。求出該信道的信道容量。

X

Y

1/2

圖3-17

解：112

2

11221122112200000000?

???

????????

對(duì)稱信道

log(|)iCmHYa=-

1

log42log22

=-?

取2為底1C=bit/符號(hào)

3-7

(1)

條件概率，聯(lián)合概率，后驗(yàn)概率

py0()

1

3

:=，py1

()

1

2

:=，py2

()

1

6

:=

（2）

H(Y/X)=

（3）

當(dāng)接收為y2，發(fā)為x1時(shí)正確，假如發(fā)的是x1和x3為錯(cuò)誤，各自的概率為：

P(x1/y2)=1

5

，P(x2/y2)=

1

5

，P(x3/y2)=

3

5

其中錯(cuò)誤概率為：

Pe=P(x1/y2)+P(x3/y2)=1

5

3

5

+0.8

=

（4）平均錯(cuò)誤概率為

（5）仍為0.733

（6）此信道不好

緣由是信源等概率分布，從轉(zhuǎn)移信道來(lái)看

正確發(fā)送的概率x1-y1的概率0.5有一半失真

x2-y2的概率0.3有失真嚴(yán)峻

x3-y3的概率0完全失真（7）

H(X/Y)=

16Log2()

1

10

Log5()

+

1

15

Log

5

2

?

?

?

?

?

+

2

15

Log

5

2

?

?

?

?

?

+

1

10

Log5()

+

1

10

Log

5

3

?

?

?

?

?

+

1

30

Log10

()

+

3

10

Log

5

3

?

?

?

?

?

+1.301

=

3.8設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號(hào)功率+噪聲功率)/噪聲功率}=10dB。試計(jì)算該信道的最大信息傳輸速率C

t

。

解：

3.9在圖片傳輸中，每幀約有2.25106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電公平概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。

解：

s

bittICbitNHIsymbolbitnHt/101.560

10910

10941025.2/416loglog56

6622?=?===?=??=====

z

15049)10001(log105.11log1log25

HPPCWPPWCNXt

NXt=+?=?

?????+=?

???

?

?+=

3-10一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；

（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？

（3）若信道通頻帶減小為0.5MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？解：（1）2log(1)CWSNR=+

6

2110log(110)=?+

3.159Mbps=

（2）222log(15)3.459CWMbps=+=

223.1591.338log6

M

WMHZ∴=

=

（3）'

332log(1)3.459CWSNRMbps=+=

'23.459

log(1)0.5

SNR+=

120SNR∴=

歡迎下載！

第四章

4.2某二元信源??????=??????2/12/110)(XPX其失真矩陣為

???

???=aaD00求這信源的Dmax和Dmin和R(D)函數(shù)。

解：

021

021),(min)(202421),()(minminminmax=?+?===

?+?===∑∑ijijii

jiijjyxdxpDa

ayxdxpDD

由于二元等概信源率失真函數(shù)：

?

??

??-=aDHnDRln)(

其中n=2,所以率失真函數(shù)為：

?

??

????????-?????-+-=aDaDaDaDDR1ln1ln2ln)(

4.3一個(gè)四元對(duì)稱信源??????=?????

?4/14/1324/14/110

)(XPX，接收符號(hào)Y={0,1,2,3}，其失真矩陣為???????????

?0111101111011110，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線（取4至5個(gè)點(diǎn)）。

解：

041

041041041),(min)(43041141141141),()(minminminmax=?+?+?+?===

?+?+?+?===∑∑ijijii

jiijjyxdxpDyxdxpDD

由于n元等概信源率失真函數(shù)：

?

??

??-?????-+-+=aDaDnaDaDnDR1ln11lnln)(

其中a=1,n=4,所以率失真函數(shù)為：

()()DDD

DDR--++=1ln13ln

4ln)(

函數(shù)曲線：

D

其中：

symbol

natDRDsymbol

natDRDsymbol

natDRDsymbol

natRD/0)(,43

/12ln21

4ln)(,21/316ln214ln)(,41/4ln)0(,0==-==-====

4-3

d01

11101111011110?

?

??

??

?

?

信源熵為Hx()Log4()=2=

Dmax=min{34,34,34,3

4

}R(Dmax)=0

Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2

py1()py2(),py3(),py4(),只要滿意p(y1)+p(y2)+p(y3)+p(y4)=1在區(qū)間可以任意取值。

歡迎下載！

第五章

(2)哪些碼是非延長(zhǎng)碼？

(3)對(duì)全部唯一可譯碼求出其平均碼長(zhǎng)和編譯效率。解：首先，依據(jù)克勞夫特不等式，找出非唯一可譯碼

31123456231244135236:621

63

:222222164

63:

164

:22421:2521:2521

CCCCCC--------------?+?<

5C∴不是唯一可譯碼，而4C：

又依據(jù)碼樹構(gòu)造碼字的方法

1C，3C，6C的碼字均處于終端節(jié)點(diǎn)∴他們是即時(shí)碼

5-2

(1)由于A,B,C,D四個(gè)字母,每個(gè)字母用兩個(gè)碼,每個(gè)碼為0.5ms,所以每個(gè)字母用10ms當(dāng)信源等概率分布時(shí),信源熵為H(X)=log(4)=2平均信息傳遞速率為bit/ms=200bit/s

(2)信源熵為H(X)=

=0.198bit/ms=198bit/s

5-5

(1)1

2

1

4

1

8

1

16

1

32

1

64

1

128

1

128

H(U)=

1

2

Log2()

1

4

Log4()

+

1

8

Log8()

+

1

16

Log16

()

+

1

32

Log32

()

+

1

64

Log64

()

+

1

128

Log128

()

+

1

128

Log128

()

+1.984

=

(2)每個(gè)信源使用3個(gè)二進(jìn)制符號(hào),消失0的次數(shù)為

消失1的次數(shù)為

P(0)=

P(1)=

(3)

信源符號(hào)

xi

符號(hào)概率