信息論與編碼期末考試試題

2.7同時(shí)擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6,求:

⑴“3和5同時(shí)出現(xiàn)”這事件的自信息；

⑵“兩個1同時(shí)出現(xiàn)”這事件的自信息；

⑶兩個點(diǎn)數(shù)的各種組合(無序)對的熠和平均信息量；

(4)兩個點(diǎn)數(shù)之和(即2,3,…，12構(gòu)成的子集)的熔；

⑸兩個點(diǎn)數(shù)中至少有一個是1的自信息量。

解:

(1)

p{/x、)=—1x—1+—1x—1=1—

,j666618

/(%,.)=-logp(x,)=-log-^=4.170bit

1o

(2)

p(x.)=lxl=—

'6636

/(x)=-logp(xj--log—=5.170bit

(36

(3)

兩個點(diǎn)數(shù)的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21種組合：

其中11,22,33,44,55,66的概率是Lx』=」-

6636

其他15個組合的概率是2X1XL=^-

6618

H(X)=一Zp(x,)logp(x,.)-|6x—log—+15x—log—1=4.337bit/symbol

I36361818J

(4)

參考上面的兩個點(diǎn)數(shù)的排列，可以得出兩個點(diǎn)數(shù)求和的概率分布如下:

一2567890U

1151511121

，1

，<

，-----

一

96一92

、3636361836

)

"(X)=Np(Xilogp(xJ、

2cxl—,log—1+c2x—1,log1—+c2x—1,log1—+c2x1—,log1—+c2x—5,log5—+1—,lo1g-

36361818121299363666

=3.274bitIsymbol

⑸

/、11,,11

p(x；)-Xxll=

“6636

/(x,)=-logp(x,)=-log=1.710bit

36

2.16一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源才的符號集為｛0,1,2｝。

(D求平穩(wěn)后信源的概率分布；

(2)求信源的熔

解.

(1)

P(eJ="(eJpW/01)+，(02)〃?/0)

<p(e2)=p[e2)p(e1/e2)+p(e3)p(e2/e3)

/匕)=p(e3)p(e3/e3)+p(4)p(e3/4)

(p(e2)=p-pie,^p-p(e3)

〃3)=P，P(e3)+p-p(e|)

1p(ei)=p(e2)=p(e3)

[p(ei)+p(e2)+p(e3)=\

P(eJ=l/3

“⑸)=1/3

.p。)=1/3

P(X|)=P?)p(x1/e1)+p(e2)p(x1/e2)=p-p?)+p-p(e2)=(p+p)/3=1/3

'P(、2)=P(e2)p(x2/e2)+p(e3)p(x2/e3)=p-p(e2)+p-p(e3)=(p+p)/3=1/3

P(E)=p(e3)p(x3/e3)+M*)P(*3⑷=P,Pg)+P,P(e)=(P+P)/3=1/3

X012

P(X)1/31/31/3

⑵

3

H?,=一EZP(4)P(q/《HogP(ejej

一;p(6|/)logp(6|/4)+；p(e2/e,)logp(e2/et)+jp(e3/e,)logp(e3/e,)

+；p(q/62)logp(et/e2)+^p(e2/e2)logp(e2/e2)p(e3/e2)logp(e3/e2)

+gp(G/己3)log/己3)+；p(ej氣)logp(e2/e3')+-p(e3/e3)\ogp(e3/e?)

1--111--11

---p-log/?+--plog/?+--p-log/?+--p-logp+--p-logp+--p-logp

=-(p-logp+p-logp)bitIsymbol

2.11有兩個二元隨機(jī)變量彳和匕它們的聯(lián)合概率為

Xi=0x2=1

y1=01/83/8

y2=13/81/8

并定義另一隨機(jī)變量Z=＞丫(一般乘積)，試計(jì)算：

(1)H(X),H(Y),H(Z),H(XZ),〃(⑵和〃夕⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)

和

(3)/(X;Y),/(X;Z),/(Y;Z),/(X;Y/Z),/化刃和/(X;Z/Y)。

解：

(1)

131

P（X|）=p（七%）+p（X|為）=777

ooZ

311

+=

〃區(qū)）=〃（九2%）+〃（尤2力）=8-8-2-

”（X）=-ZP（x,）logP（X,）:1bit/symbol

131

p（y1）==-+-=-

ooz

311

-+---

p{y2）=PW2）+PW2）=882

"（y）=-Zp（x）iogp（x）=1bit!symbol

j

z=xy的概率分布如下：

?o

-哥-z-

z-2-

71

-<

p--

(z)88

-i

2f771]、

”（Z）=-ZP（Z*）=--log-+-log-=0.544bit/symbol

kOOoj

p（X|）=p（X]Zi）+p（X]Z2）

p（xlz2）=o

P（X,）=P（X]）=0.5

P（Z|）=P（X]Z|）+P（X2Z|）

73

。區(qū)號）=P（Zi）一。區(qū)2（）=--0.5=-

oo

，仁2）=，（早2）+/心272）

p（x2z2）=p（z2）=-

o

（i]33ii

“（XZ）=—XZP（X，）logP（x,z*）=—彳log彳+：logj+石log￡=1.406hitIsymbol

；L\ZZoooo

，（%）=。（必％|）+，（丫化2）

P（ylz2）=0

P（HZ|）=P（M）=0.5

。億）=。（月4）+。（乃4）

73

p（y2^=P^）-p（ylzl）=--0.5=-

oo

P（Z2）=P（MZ2）+P（N2Z2）

P（y2Z2）=P（Z2）=j

o

（[13311

H（YZ）=—ZZP（%4）logP（y/?）=-I-log-+jlogj+-log-=1.406hit/symbol

"(匹邛2)=。

。(匹32)=。

。(乙型2)=。

〃。|丁億|)+〃(/>億2)=，(占%)

，區(qū)〉，)=，區(qū)必)=1/8

，*，27|)+〃(西〉億|)=〃(X|Z|)

113

。(匹力曷)=P(XRi)一。(王弘石)=o-o=o

Zoo

P(X2)1Z|)+P(X2，Z2)=，*2%)

3

。(乙》內(nèi))=0。2月)=°

o

，。2乃弓)=0

，“2為哥)+，*2乃［2)=〃(了28)

P(x2y2z2)=p(x2y2)=l

o

H(XYZ)=ZZ以七為4)lo§2P(x，M&)

，jk

(11333311、

=-log+log+log+log=1.811bit/symbol

(88888888J

(2)

(\ia3331iA

H(XK)=-^^p(x,.y;)log2p(x,.y.)==--log-+-log-+-log-+-log-=1.811Z?/7/symbol

ijV<ooooooooy

W(X/y)=H(yy)-//(y)=1.811-1=0.811bit/symbol

H(Y/X)=H(%y)-H(X)=1.811-1=0.811bit/symbol

H(X/Z)=H(XZ)-Z/(Z)=1.406-0.544=0.862bit/symbol

H(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit!symbol

H(Y/Z)=H(KZ)-H(Z)=1.406-0.544=0.862bitIsymbol

H(Z/y)=H(yZ)-W(y)=1.406-1=0.406bit!symbol

H(X/YZ)=H(XYZ)-H(KZ)=1.811-1.406=0.405bit/symbol

“(F/XZ)="(XYZ)—〃(XZ)=1.811—1.406=0.405bitIsymbol

H(Z/Xy)=//(XyZ)-H(Xy)=1.811-1.811=0bit/symbol

(3)

/(X；y)=H(X)-H(X/y)=1-0.811=0.189bit/symbol

/(X;Z)=〃(X)—“(X/Z)=1—0.862=0.138hitIsymbol

/(y；Z)=H(y)-H(y/Z)=1-0.862=0.138bit/symbol

I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbol

I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bitIsymbol

I(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol

2.10對某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài),

調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下:

若把這些頻度看作概率測度，求：

(1)忙閑的無條件嫡；

(2)天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件嫡；

(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。

解：

(1)

根據(jù)忙閑的頻率，得到忙閑的概率分布如下：

XX1忙X2

<63_40>

P(X)

,103而,

2盧log且+當(dāng)。g幽］

H(X)=P?)logP?)==0.964bit!symbol

<103103103103J

(2)

設(shè)忙閑為隨機(jī)變量X,天氣狀態(tài)為隨機(jī)變量匕氣溫狀態(tài)為隨機(jī)變量Z

H(XYZ)=—ZZZP(X，W)logpg3)

烏。g上+8嚏區(qū)+馬。g旦+A°g也

103103103103103103103103

+A10gA+ll10gll+A10gA+ll10g

103103103103103103103

=2.836bit/symbol

"(yz)=-zzp(3)logp(x0)

Jk

3l°g至+馬。g2+當(dāng)。g四+3°g28)

W3J

(103103103103103103103

=1.977bitIsymbol

H(XIYZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bit/symbol

⑶

I(X;YZ)=H(X)-H(X/YZ)=0.964-0.859=0.159bit/symbol

2.17黑白氣象傳真圖的消息只有黑色和白色兩種，即信源后｛黑，白｝。設(shè)黑色出現(xiàn)的概率

為戶匍=0.3,白色出現(xiàn)的概率為P(白):0.7。

(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求婚，㈤；

(2)假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,

P(黑/黑)=0.8,求此一階馬爾可夫信源的燧從㈤；

(3)分別求上述兩種信源的剩余度，比較，⑴和從㈤的大小，并說明其物理含義。

解.

(1)

H(X)=-2。(玉)logp(x()=-(0.3log0.3+0.7log0.7)=0.881bit/symbol

Q)

p6)=p(e|)p(C|/)+p(e2)p(eje2)

p(e2)=p(e2)p(e2/e2)+p(et)p(e2/)

p(e1)=0.8p(e1)+0.1p(e2)

〃2)=0.9。(62)+0.2次)

p(e2)=2p(el)

p(e.)+p(e2)=l

p6)=l/3

p(e2)=2/3

p(白/白)=0.9

"s=-ZZP(，)P(S/，)logp(e,/e,.)

1122

—x0.81og0.8+-x0.21og0.2+—x0.llog0.14--x0.91og0.9

=0.553bit/symhol

⑶

H-//_log2-O.881_

7,0X119%

H。log2

—=5”

H(X)>H2(X)

表示的物理含義是：無記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)

化信息較多，能夠進(jìn)行較大程度的壓縮。

2.18每幀電視圖像可以認(rèn)為是由3X105個像素組成的，所有像素均是獨(dú)立變化，且每像素

又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有

一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此

圖像所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布，并彼此無依賴)？若要恰當(dāng)?shù)拿?/p>

述此圖像，廣播員在口述中至少需要多少漢字？

解：

1)

”(X)=log〃=log128=7bitIsymbol

H(XW)=^H(X)=3X105X7=2.1X106bitIsymbol

2)

H(X)=log幾=log10000=13.288bitIsymbol

“(XN)=N〃(X)=1000x13.288=13288bit/symbol

2.15

（1）

這個信源是平穩(wěn)無記憶信源。因?yàn)橛羞@些詞語：“它在任意時(shí)間而且不論以前發(fā)生過什么符

解：2比特/信道符號，1.585比特/信道符號，1.585比特/信道符號

3D

解：4m=°，4ax=不次（夕=歷4+。E三+（1-。）皿1一夕奈特/符號，

43

1]|3

在火（。）中令。=0,—,；,一,工可作圖。

4324

解：⑴2值：2：0的長度：log,(63+D=6,2的編碼：000010,

%=3,/72=34

530：7■的長度

7?的編碼：01000010010

Z-O碼：00001001000010010

⑵⑶編碼：

。值：15:0的長度：logd63+l)=6,0的編碼：001111

/123456789101112131415

*1611131424273234374647485463

7=c+《+4+c+3+a+6+a+4+c+4+c:+c;+4+或

=0+10+120+495+1287+100947+657800+7888725+38567100+254186856

+10150595910+38910617655+140676848445+2403979904200+93052749919920

=95,646,769,289,470

7的長度：logj；；)=Flog,1221317342698951=47

7的編碼：

010,1011,0111,1110,1011,1111,1110,0000,0000,0000,0000,0000

L-D碼：

0,0111,1010,1011,0111,1110,1011,1111,1110.0000,0000,0000,0000,0000

(b)譯碼：Q碼001111,Q=15

《=93,052,749,919,920,個=122,131,734,269,895

顯然，故生=63

T=7=95,646,769,289,470-93,052,749,919,920

=2,594,019,369,550

C；=2,403,979,904,200,=3,245,372,870,670

公"＜叱，所以〃1“=54

QK2名

9305274991992095,646,769,289,470122,131,734,269,895

156263

24039799042002,594,019,369,5503,245,372,870,670

145354

1347140676848445190,039,465,350192,928,249,26948

12463891061765549,362,616,90552,251.400,85147

11451015059591010,451,999,25013,340,783,19646

1036254186856301,403,340348330.13637

9333856710047,216,48452,451,25634

83178887258.649,38410,518,30032

726657800760,659888,03027

623100947102,859134,59624

51312871,9122,00214

41249562571513

31012013016511

251010156

100011

譯碼：

I00001000010110000000001001000010100100000000111000001000000001

(3)。的編碼：000000：7的編碼：無。L-D碼：000000

(4)略

(5)L-D編碼適合于冗余位較多或較少的情況。N一定.Q的長度確定。T

的長度取決于以，當(dāng)Q=W2N］時(shí)，中最大，T的位數(shù)最長。

[2.5]設(shè)離散無記憶信源A="[7"J：?，其發(fā)出的消息為

1(X)381I41/41'8

(2O212O13O213OO12O321O11O321O1OO21O32O1122321O),求

(1)此消息的自信息是多少？

(2)在此消息中平均每個符號攜帶的信息雖是多少？

解：

信源是無記憶的，因此，發(fā)出的各消息之間是互相獨(dú)立的，此時(shí)發(fā)出的消息的自信息

即為各消息的自信息之和根據(jù)已知條件，發(fā)出各消息所包含的信息員分別為：

/(%=0)=1083=1.415比特

“q=l)=log4=2比特

/(?,=2)=log4=2比特

/(“,=3)=log8=3比特

在發(fā)出的消息中，共有14個“0”符號，13個“1”符號，12個“2”符號，6個“3”

符號，則得到消息的自信息為：

/=14x1.415+13x2+12x2+6x3=87.81比特

45個符號共攜帶87.81比特的信息量，平均每個符號攜帶的信息量為

ft1

/=*=1.95比特符號

45

注意：消息中平均每個符號攜帶的信息量有別于離散平均無記憶信源平均每個符號攜帶的

信息員，后者是信息瑜，可計(jì)算得

H(X)=-ZP(x)logP(x)=1.91比特符號

[217]設(shè)有一個信源，它產(chǎn)生0、1序列的消息：它在任意時(shí)間而且不論以前發(fā)生過什么

符號，均按尸(均=04,尸⑴=0.6的概率發(fā)出符號。

(1)試問這個信源是否是平穩(wěn)的？

(2)試計(jì)算4(工2)、4(為下2)及向1匹(?。

(3)試計(jì)升并寫出工"信源中可能有的所有符號。

解:

該信源任一時(shí)刻發(fā)出0和1的概率與時(shí)間無關(guān)，因此是平穩(wěn)的，即該信源是離散平穩(wěn)

信源：其信息埔為

H(X)=-^P(x)logP(.r)=0.971比特符號

信源是平穩(wěn)無記憶信源，輸出的序列之間無依賴，所以

Hg=2H(X)=1.942比特符號

//(T5|A-,A-,)=”(工)=0.971比特/符號

lun//y(.V)=A\)=H(X)=0.971比特/符號

H(l')=4/f(.V)=3.884比特符號

工,信源中可能的符號是所有4位二進(jìn)制數(shù)的排序，即從00007H1共16種符號.

[2.20]黑白氣象傳真圖的消息只有黑色和白色兩種，即信源工=｛工白｝,設(shè)黑色出現(xiàn)的

概率為P(黑)=0.3,白色出現(xiàn)的概率為P(ri)=0.7.

(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求嫡”(工)；

⑵假設(shè)消息前后有關(guān)聯(lián),其依賴關(guān)系為p(川門)=0.9,m'ltl)=0.1,Pdl|黑)=0.2,

尸(黑I黑)=0.8,求此一階馬爾克夫信源的嫡色。

(3)分別求上述兩種信源的冗余度，并比較目(工)和4的大小，并說明其物理意義。

解：

如果出現(xiàn)黑白消息前后沒有關(guān)聯(lián)，信息熠為：

H(X)=-Zp/ogp,=0.881比特符號

當(dāng)消息前后有關(guān)聯(lián)時(shí)，首先畫出其狀態(tài)轉(zhuǎn)移圖，如下所示。

設(shè)？門兩個狀態(tài)的極限概率為0（黑）和0（口）,根據(jù)切普，也一柯彳;臾密各人方程可劭

‘。（黝=0.80（黝+0.10（門）

.向=0.20（黑）+0.90向

.0（黑）+0（白）=1

解得：

17

。（黑）=9P00=j

此信源的信息熠為:

氏=Z0（EJH（X㈤=0.553比特/符號

兩信源的冗余度分別為:

皿得。”9

U

y,=l---=0.447

1log2

結(jié)果表明：當(dāng)翩的消息之間有依賴時(shí)，信源輸出消息的不確定性減弱。就本題而言,

當(dāng)有依賴時(shí)前面已是白色消息，后面絕大多數(shù)可能是出現(xiàn)白色消息；前面是黑色消息，后

面基本可倩測是黑色消息：這時(shí)信源的平均不確定性減弱，所以信源消息之間有依賴時(shí)信

嬲小于信源消息之間無依賴時(shí)的信源情，這表明信翱正是反映信源的平均不確定的大

小。而信源剩余度正是反映信源消息依賴關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間的依賴

關(guān)系就越大C

2.7同時(shí)擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6,求：

(1)“3和5同時(shí)出現(xiàn)”這事件的自信息量；

(2)“兩個1同時(shí)出現(xiàn)”這事件的自信息量；

(3)兩個點(diǎn)數(shù)的各種組合(無序?qū)?的嫡或平均信息量；

(4)兩個點(diǎn)數(shù)之和(即2,3…12構(gòu)成的子集)的嫡;

(5)兩個點(diǎn)數(shù)中至少有一個是1的自信息量。

解：⑴4.17(比特/符號)，提示：3和5同時(shí)出現(xiàn)的概率為L1X2=1/18

66

(2)5.17(比特/符號)，提示：兩個1同時(shí)出現(xiàn)的概率1/36

(3)“兩個點(diǎn)數(shù)相同”的概率:1/36,共有6種情況；

“兩個點(diǎn)數(shù)不同”的概率：1/18,共有15中情況.故平均信息量為：

專她36+仙gzl8=4.337比特/符號

(4)3.274(比特/符號)。提示：信源模型

23456789101112,

%%%%為%%%Y\i%

(5)1.711(比特/符號)。提示：至少有一個1出現(xiàn)的概率為

2.11有兩個二元隨機(jī)變量才和，，它們的聯(lián)合概率為

并定義另一隨機(jī)變量2=打(一般乘積)。試計(jì)算:

(1)〃⑺,H⑦,目(JZ),H(YZ)^H{XYZ);

(2)，(禹①,4(RZ),鞏ZfX),HgZ),限ZIQ,網(wǎng)力圖,

小肛Z)和，(竊⑺；

(3)/(Z;7),/(『；Z),I{Y,Z\/(匕4㈤和/(無〃7)。

解：提示：必7的聯(lián)合概率分布

XYZ000001010011100101110111

I\XYZ)1/803/803/8001/8

XZ的聯(lián)合概率分布以00011011

8庖1/203/81/8

YZ的聯(lián)合概率分布急00011011

1/203/81/8

01

z的概率分布Z71

,88

⑴1比特/符號，1比特/符號，0.543比特/符號，1.406比特/符號，1.406

比特/符號，L811比特/符號

(2)0.811比特/符號，0.811比特/符號，0.863比特/符號，0.406比特/符號,

0.863比特/符號，0.406比特/符號，0.405比特/符號

(3)0.189比特/符號，0.137比特/符號,0.137比特/符號,0.458比特/符號,

0.406比特/符號，0.406比特/符號

［213］每幀電視圖像可以認(rèn)為是由3x10$個像素組成，所以像素均是獨(dú)立變化，且每一

像素又取128個不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn):問每幀圖像含有多少信息房？

若現(xiàn)有一廣播員在約1000。個漢字的字匯中選1000個來口述此電視圖像，試問廣播員描

述此圖像所廣播的信息量是多少(假設(shè)漢字是等概率分布，并且彼此無依賴)？若要恰當(dāng)

地描述此圖像，廣播員在口述中至少需用多少漢字？

解：

每個像素的電平亮度形成了一個概率空間，如下：

%外■"%”

=J___1_J_

了」［128128128.

平均每個像素?cái)y帶的信息量為：

//(1)=log128=7比特像素

每頓圖像由RIO、個像素組成，且像素間是獨(dú)立的，因此每幀圖像含有的信息量為：

H(心)=即(用=2.1x106比特幀

如果用漢字來描述此圖像,平均每個漢字?jǐn)y帶的信息量為H(Y)=log10000=13.29比特

，漢字，選擇1000字來描述，攜帶的信息量為

H(H)=AH(f)=1.329x10,比特

如果要恰當(dāng)?shù)拿枋龃藞D像，即信息不丟失，在上述假設(shè)不變的前提下，需要的漢字個

數(shù)為: