信息論與編碼習(xí)題解答待校

量；（3）CCP CIlog2Plog280（2）24016次即可找到假珠，是必然事件，因此信息量為0。（3）shannon對信息量的定義，只有事件含有不確知成分，才有信息量，且不確知H(X)lb1287比特/N次擴(kuò)展信源。HXNNHX) H(Y)lb100013.29比特/H(YN)NH(Y)1000lb1041.329104比特/Y中獨(dú)立地選取漢字來描述電視圖像，每次口述一個漢字含HXN)2.11061.58105158000 已 X： P(X)： 1–求證：H(XH(X)pI(1)(1p)Iplbp(1p)lb(1p)H(1010 p證明：設(shè)離散平穩(wěn)信源輸出的隨機(jī)符號序列 …X1,X2,X3,…。又X,xX,xX,而且x,x,x都取自于同一符號集Aa,a,, 1 P(x2|x1)1,P(x3|x2)1,P(x3|x1x2)X X XP(x1)P(x2)P(x3) X XP(x1x2)P(x2x3)P(x1x3)X1X X2X X1XP(x1x2x3)X1X2XXXX在區(qū)域[0，1]f(x)=－xlogx,f(x)在[0，1]內(nèi)是qi

qi

q其中PixiP(x3|x2x1,P(x1|x2P(x1|x2)P(x1|x2)[xilogxi][P(x1|x2)xi]log[P(x1|x2)xiX X XP(x1|x2)P(x3|x1x2)logP(x3|x1x2XP(x1|x2)P(x3|x1x2)logP(x1|x2)P(x3|x1x2X XP(x1x3|x2)P(x2)P(x3|x2)P(x2P(x1x3|x2)P(x3|x2XP(x1|x2)P(x3|x1x2)P(x3|x2X所以P(x1x3|x2logP(x3|x1x2P(x3|x2logP(x3|x2X因為0P(x21,x2X2P(x2)P(x1x3|x2)logP(x3|x1x2)P(x2)P(x3|x2)logP(x3|x2P(x1x2x3)logP(x3|x1x2)P(x2x3)logP(x3|x2X1X2 X2因 H(X3|X1X2)H(X3|X2 H(X3|X1X2)設(shè)有一概率空間，其概率分布為{p1,p2,…,pq}，且p1>p2。若取p'p 2p'p20<2p1p2，而其它概率值不變。證明由此得到的新的概率空間的熵2證明：令a p1

p1p2p1得1 ap(1a)p pp1p2pp1

p1 1(1a)papp1p2p 1

pp p1 p1 f(x)=－xlogx是型函數(shù)，根據(jù)f[ap1(1a)p2]af(p1)(1a)f(p2fp2afp11afp2即(p)log(p) plogpp1p2plogp2 2

p1

p1 (p)log(p)[p1p2plogp p pp1 1p(p1)log(p1)(p2)log(p2)p1logp2p2log級機(jī)關(guān)值班員聽到電話振鈴而對此次通信的疑義度；（2）則P(Y1|X1)=95%,P(Y2|X1)=5%, P(X1Y1)=0.285,P(X1Y2)=0.015P(X2Y1)=0.007,P(X2Y2)=0.693P(Y2)=1－P(Y1)=0.708H(X)=－P(X1)lbP(X1)－P(X2)lb=0.8814bit/H(Y)=－P(Y1)lbP(Y1)－P(Y2)lb=0.8713bit/2H(XY)=P(XiYj)lbP(i1j

=1.0239bit/I(X;Y)=H(X)+H(Y)H(XY)=0.7288bit/H(X|Y2)=P(X1Y2)lbP(X1Y2)P(X2Y2)lbP(X2Y2)=0.4575bit/H(Y|X)=H(Y)－I(X;Y)=0.1425bit/四個等概分布的消息M1，M2，M3，M4被送入如圖所示的信道進(jìn)行傳輸，通過編碼使知道第2個符號也是0，這時帶來多少附加信息量？ 1解：信源P(M1)=P(M2)=P(M3)=P(M4)=1/4,Mi與碼字一一對應(yīng)，所以Mi(xixi)設(shè)接收序列為Y=(y1y1I(M;y0)logP(y10| P(y1P(y10|M1)P(y10|x1x11P(y10|x10)P(0|0)11 輸出第一個符號是y1=04P(y10)P(Mi)(y10|Mii1[Py0|x0)Py0| 0)Py0| 1)Py0| 1)]故得 2

I(M1y10)1 I(M1;y20|y10)I(M1;y1y200)I(M1;y1P(y1y200|其中I(M1y1y200)P(y

1P(y1y200|Mi)P(y1y200|xixi1P(y10|xi)P(y20|xi P(y1y200|M1)P(y10|得P(0|0)P(0|0)

0)P(y20|x1 4P(y1y200)P(Mi)(y1y200|Mi1[P(y0|x0)P(y0|x0)P(y0|x0)P(y0|x P(y10|x31)P(y20|x30)P(y10|x41)P(y20|x4 42I(M1y1y200)log2

2(1lbp)得附加互信息為I(M1y20|y10)1lbp,=P(z|xy)P(xy)/P(y)=P(z|xy)P(y)P(x|y)/P(y)xXyYzZP(x|yz)=P(x|y)xXyYzZ成立所以(Z,Y,X)也是馬氏鏈。第三章由于HX2HXHX/X，即可以看做是先發(fā)出一個符號，再在此基H(X0,第二個符號可以看做為具有一階馬爾HX2HXX由aickbjP(c|aP(acP(a i P(aibjck)/P(aij

P(ai)P(bj/ai)P(ck/aibj)/P(aij

P(bj/ai)P(ck/aibjj P(bjai)P(ckbjP(ck|aiP(bjai)P(ckbjj

2/ 1/

j 由題轉(zhuǎn)移概率為P ，由馬爾可夫趨于穩(wěn)定時頻率分布不變，

1 ，

2

又12P(x 12 P(x)P(x) P(x) P(x) HP(xixj)*lbP(xj/xi)i1j 3 P(x1x1)P(x1)P(x1/x1) ，P(x1x2)P(x1)P(x2/x1)

4 1P(x2x1)P(x2)P(x1/x2)4*14，P(x2x2)P(x2)P(x2/x2)4*04香農(nóng)圖略

1/31/31/ 1/31/31/ 1/31/31/

，由PPPPPP*PPPP1312 12 ==P（2|00）=P（0|01）=P（1|01）=P（2|01）=P（0|02）=P（1|02）=P（2|02）=1/3,5HlimHX1XkklimHXk/X1Xk1limHXk/Xk1k

p

k

k，由p

由圖知

/p

p / p0p1p21/3HXkXk1(1p)lb(1pplbp2H(1p)lb(1pplbp2H

對pdHlb(1p)ln2lb

2)ln2lb(1p)lbp(/2dH0，得1pp2p26AiNai1aiNBiNbi1biN則由條件（1）P(AiNBjN)P(AiNBj(N1*P(bjN|aiN，由條件（2）P(AiNBj(N1)P(AiN)*P(Bj(N1)Ai(N1))P(X|Y)P(BjN|AiN)

)P(X|YP(BjN|AiNP(Bj(N1|Ai(N1*P(bjN|aiNNP(X|Y)P(BjN|AiN)P(bj1|ai1)**P(bjN|aiN)P(bjk|aikk 7I(X;YH(XH(X|YIXk;Yk)HXkHXk|Ykk k k HXHXkHX|YHXk|Ykk kNk 信道為無記憶時H(Xk

H ，H(X|Y) H(Xk|Ykk

，故得NNI(k

Y;kI)X H(Xk

HkX，HX|Y HXk|Yk)故有kNI(Xkk

NIXk;YkIX;Y)，當(dāng)為無記憶時，傳輸?shù)男畔⒘磕苓_(dá)到理想狀態(tài)。故有kNI(Xkk

IXY;1000080%500個，字符的熵；（2）H(X)0.8log0.80.1log0.10.09log0.090.009log 0.001log0.00110.198比特/率大小，編碼結(jié)果為：概率在(0，0.020)6比特；在(0.020，0.045]53a3b3c

P0.23P0.33P0.53

32a，1b32a，1c32b，1a32b，1c32c，1a32c，1b

P0.220.3P0.220.5P0.320.2P0.320.5P0.520.2P0.520.3

6bit3種5bit3種6bit3種5bit3種4bit3種4bit3種31a，1b,1c則P0.20.30.50.035bit6 0.00860.02750.12530.04550.0540.075430.035 ＝4.488bit/s4.455bit1=R1/C=4.455/4.488=sH(XPilogPi0.25log20.250.75log20.750.811bitpi01(3/16)23(4/16)(1/16)3 b93233131.687碼元/符

RH(X)2.610.953比特/

0 0(19/64)1 b27

933

353

152.4687碼元/ RHb

ABCDEFGH8 0.4 0 00 0.1 10.371 0.06 1 0.04 110100 0.0550.0452.61碼元所以編碼效率為

t11,t22,t3=3,t44,t5=5（各碼元時間情況（1）求這種編碼信道的信道容量；（2）若信源的消息集合X={x1,x2,?,x7}，它們的出現(xiàn)概率分別是P(x1)=1/2,P(x2)=1/4,P(x3)=1/8,?,P(x6)=P(x7)=1/64, 解：（1）這是一個有固定約束的不均勻編碼的信道，有約束條件（即不能出現(xiàn)a1a1,a2a2,a2a1,a1a2，可以把a(bǔ)1,a2作為狀態(tài)1，a3,a4,a5作為狀態(tài)2，得香農(nóng)線圖時間長度分別為b11,b12a3)=3,b12(a4)=4,b12(a5)=5,b21(a1)=1,b21(a2)=2,b22(a5)=5,寫出行列式，可得特征方程為1w32w43w52w6所以Clog2wmax0.675bit/（2）a1a2不能連用，故不能用和做碼字，根據(jù)最佳編碼的兩個原則，及單a1a23445556sH(XPilogPi1.969bitIb（3）R/C4 H(X)H(Y) P(Xi)log2P(Xi) HXYP(xiyj)lbP(xiyj4（1log2831log224）

i1jI(X;Y)H(X)H(Y)H(XY)

HX)5log283log28 H(Y)1log221log22 H(Y|X) P(xi)P(yj|xi)log2P(yj|xi) 3log252log258 i1j31log232log23）0.951比特8 I(X;Y)H(YH(Y|X)

R=0.049*1000=49HX)2log22 H(Y)2log231log23 HXY)5log2121log2121log241log24 I(X;Y)H(X)H(Y)H(XY) C(11log210099log21001000 （1）CmaxI(X;Y)p(xy)P(x)P(y| 1/8 4Clog24Pyj|xilog2Pyj|xixj所以，C=1比特/ 1/12 4Clog24Pyj|xilog2Pyj|xi=0.0817比特/j 1/6 Clog23

P(yjxi)log2P(yj|xi)j

設(shè)P(x3P(x2a，則P(x112a，Py11據(jù)對稱性Py3Py2I(X;Y)H(Y)H(Y|X[(12a)ln(12a)2alna]2a(ln'ln')1由Ia0，得a1/[21IX;Yln(12'Cln(12'奈特/74個BSC1 1- 1-=14 1-4(1-)[1-2(1- 4(1-)[1-2(1-4(1-)[1-2(1- 1-4(1-)[1-2(1-Cbsc1log(1)log(1其中--〉4(1-)[1-2(1- 1---〉1-4(1-)[1-2(1-則C'14(1-)[1-2(1-)]log{4(1-)[1-2(1-)]}+1-4(1-)[1-2(1-)]log{4)[1-2(1-代入=104Clb31.58比特/Py) Py)P(xy),X y1x1,y2x1,y3PE1Pc1{P(x1)P(y1|x1)P(x1)P(y2|x1)P(x3)P(y3|x31{1/21/21/21/31/41/2}113/2411/ LM10（1）PE P(yj|xi)1/2(P(y1|x2)P(y2|x1))Mj1 LM（2）PE P(yj|xi)1/2P(y1|x2)p/Mj1 LMPE P(yj|xi)1/2(P(y2|x2)P(y2|x1))Mj15．11C:{(x1,x2,1/2,1/2 R

0或1（2）設(shè)接收序列(y1y2y3y4 100y3y4211 y4300y3y4411 y4f(y1y2y3y4)=(y1y21/2P(i) P(| F()] YPP()Pi0 C13P(x|y)P(xy，又P(xy)P(x)Py|xPy)P(xy),

HX)P(xlogP(x)X

H(X|Y)P(x)P(x|y)logP(x|y)X[3/42/3log2/31/41/3log1/33/41/3log1/31/42/3log2/2/3log2/31/3log1/0.390.528 I(X;Y)H(X)H(X|Y)0.062 C1Hp1H(23)0.082比特/Py)P(xy),X 3H(Y)P(yi)logP(yi)1/2(1/41/4a)log(1/41/4a)(1/41/4a)log(1/41/H(Y|X)P(x)P(y|x)logP(y|x)a(1/2log21/2logX321/2a比特H(Y)H(Y|X)11/2a1/4(1a)log(1/41/4a)C

1/4(1a)log(1/41/I=-log1/10=3.3比特率為8.34Mbps。（1）h(x)p(xlogp(x)dx1/2log2(2e2 fs120KHz12KHz108KHzB8fs/2432KHzCBlog2(1SN4.31M（4）S/N=36dB,2 h(x)1/2log(2e2288K冗余度8

100%CBlog2(1S/N

其中 CBlog2(1S/N)=2.4576log2(11003)

1

又n20T,10=20，0ht=20*（1/2）lb(4Ps)=0lb(4*1)=20=1011hp(x)1p(x)ln11(1|x|)ln(1|x12(1x)ln(11n20T,10=20，01ht20hp(x200(1xln(112h(x)0p(x)ln220kxln(x)dxCBlog2(1S/N)Blog2(1103)3030106log210B*所以B3107Hz(1)Clog264log2165105256108(2)又CBlog2(1SNN而10log10S30dB，所以S/N=103,N所以CBlog2(1103B=6107CBlog2(1S/NP0所以5.64log2(1N4(1nB0所以P3.2105WCBlog(1S/N)=Sn0Blog(1S n 2所以limClim[n0Blog(1S)](S 2 B

n0 利用關(guān)系式lim1xlog(1x)loge1.44 所以式（2）limC

Slog2e1.44

B

/H(X)/2AcosxlnAcos/=AlnA

cosxdx

/// /因為/2p(x)dx1，所以 所以 a （1）H(X)0p(x)log =a0a

bxlogbxaa

x2log = loge

loga 因為0p(x)dx=1b=18a3。H(X)=2/3loge+loga-log3Y=X+A，則dX

,H(Y)=2/3loge+loga-Y=2X

CBlog2(1S/n0B)6.5106log2(145.5/6.5)1.95107bit/CBlog2(1S/NC106log2(110)3.46106bit/ 106log(110)Blog(1 所以B=1.34106 106log(110)0.5106log(1S/N p(X=i)=1/4,i=0,1,2,DmaxDminR(Dmax

d 0 31 1 1 p(a)da,b j j

j 11D 11

Dmin

0

min3,3,3

44

1設(shè)無記憶信源p(X1/31/31/3，接收符號AY={1/2,1/2} 2

D

1 1 D

11

4 min

33 由于

pbjai,j 0 1 1在 jP

000ij時，dij1ij0,1,2)R(D) 2 D 1

11Dmin0，R0HX2lb52lb51lb5lb50.8

DP(ai)P(bj/ai)d(ai,bji1jsP(ai)P(bj/ai)iH(X/Y)H(Pe)+Peloglb50.8DHD0DRD DXX失真，即d(xy)xy)21H(X)2

log2πeDR(D)

R(D)H(X)12px|y

Dpxpx|ydx,ydxdy IX;Ypxpx|ylbpx|y px|ypyxeSd xpxeSdx,ydx

pxpyxeSdx,ydx,0RSSDS

xy,dxyd2xpxeSdx,ydx

xxpxeSdx,ydx1,任意y

SDS

ss0,x s令x

其中KS 由（1）KSeSdx,ydxKSeSdd得eS2d2eS2d （2（3） R SD

pxlbKSpxlb1dxpxlb KS SDHXpxlbeSdd SDHXlbeSdln2RDSDHXlneSdd

eSdd gS

RD

gd

Ed2E2d gdeSd

D S2eS2d由式（5）

ln2RD1HXlneS2 2HX1lne2HX1lne1ln 2HX1ln22RDHX1ln2

2

exp D

py|

D2x1xx212D12x2XXDBDpy|xDDpy|xD px|y

IX;22Z，EY 2 X于是Y時均值為零，方差為2DX HY1lb2e2 XX

22 22RD

IX;Y1lb

log2πeDR(D)2

D2pxaeax，dx,y 令xyd

xgS

eS

eSd2eSd S 2D eS2 2eS 21 S SPS2PS S

Ppy pYypYypXxyDpx2 aayX 2a pY 2 2D1a2D2aea2

y0Dayy aay Infxya

21當(dāng)0DDmaxa1alb2ea 0Da

|f|設(shè)有平穩(wěn)高斯信源X(t，其功率譜為Gf |f|

，失真度量取d(xy)xy)2D RD1max0,lb

min1,G2

在本題中

min

,G2

min ,Gf F11

設(shè)A-1 2SSD421F1lb2Flb2AF1 0D2 F信道容量為CF F 20RDC,求得最小均方誤差D。 F F PFP1D2FA1 1 FN 20DF2F1，

1 01

lim1

D

1 99%1%。若將一個合格產(chǎn)品作為廢品處理，將損1100元；若將合格品出廠，廢品報廢，解信源空間：好（合格）廢（廢品 好廢

D好 0廢 01全部產(chǎn)品不經(jīng)檢驗而出廠——都當(dāng)合格品。

好廢好1廢1 DP(ai)P(bj/ai)d(ai,bj =P(好)P(好/好d(好,好P(好)P(廢/好d(好,廢+P(廢)P(好/廢話d(廢,好P(廢)P(廢/廢d(廢,廢=0.011100=1元/2全部產(chǎn)品不經(jīng)檢驗全部報廢——都當(dāng)廢品 P(好/廢 P(廢/廢好0廢 =P(好)P(好/好d(好,好P(好)P(廢/好d(好,廢+P(廢)P(好/廢d(廢,好P(廢)P(廢/廢d(廢,廢=0.9911=0.99元/DmaxR(Dmax)3經(jīng)過檢驗?zāi)苷_無誤地判斷合格品和廢品——完美的檢驗好廢好 廢

D設(shè)檢驗的正確率為p，則信道的傳輸概率為 好 1-廢1- pDP(ai)P(bj/ai)d(ai,bj =P(好)P(廢/好d(好,廢)+P(廢)P(好/廢d(廢,好=0.99(1-p)1+0.01p1001.99(1-p)元/d(0,0)=d(1,1)=d(0,1)=d(1,0)= D

X

a1,

P(X):w,1DD 解：

a2

1 D Dmin由于PxeSdij i令e

2

11得到

2

1 1 11Pb 1 1

1

1 d1 d11 1

11

1

11RS1

eSddS1 dRDD

H d

d lnD lndDlndlnd DlnD1DlndDD1Dln

d

D

dHHd

D 0DRDHH

d

Dpb|apb pb|apbe0pb 11 111 12

1pb|apbeSdpb 1 11121

11pb|apbeSdpb 11 111 12

1pb|apbe0pb 1 11121D

11d=1 1D，

1 1pa|b

1

1111

11 pb 11 111

1 pa|b

11

1 pb2

1 111 1對(2,1),3,1),(4,1),51)，討論其糾檢錯能力，對用完備譯碼、不完備譯碼以及不完備譯碼＋ARQ等方法譯碼，求譯碼錯誤概率。Cn1Cn2C0奇校驗碼：Cn1Cn2C01Cn1Cn2C0 d(01001, d(01001, d(10010,C的補(bǔ)碼以及補(bǔ)碼中 d(00000000, d(00000000,d(00000000, 同，n-d位相同，所以任意兩碼字的距離不變，最小距離當(dāng)然不變。11p(xx11x21GF(211)中元素=89及23411227532310734106543587658927532410654381098652168654321xxx2x4x8x161x11x10x6x5x4x22x4x11x10x6x4x23xx11x10x6x5x4x25xx11x9x7x6x5x若n=2,q=2，則有22＝4個碼字G G n的qqnqn Gqn nk2t1奇偶＝由題意偶偶＝奇奇＝nk線性碼有2km個是偶數(shù)重量，2km個是奇數(shù)重量。且m2k2）m2km成立，則第第2km1~m個奇數(shù)重量的碼字。這與情況1）相矛盾。 1 設(shè)二元線性碼L的生成矩陣為G 1

mindx,ywmindmin2 1 設(shè)3元線性碼L的生成矩陣為G dmintdmin131 題中由生成矩陣知，該線性碼是4,2n4,k2,nk陪集首的個數(shù)為224341bit錯誤圖樣的個數(shù)為C143<44 0 設(shè)二元線性碼L的生成矩陣為G 0，建立碼L 101101011010 00 00H

00共2k224dmintdmin121 210000

5L的生成矩陣為G

1 24 24

1G 12

0

2 21 H 3

12

dmin

3 設(shè)信息位m1m2，碼字Cc4c3c2c1c0c4m1cm 由編碼規(guī)則c2m1c1cc4c3c2cc ccc 1 H0G0

011

001 181p3p2101p2p351pp4(（1）S 1H011

00S111010

s0000011HT124s1111111HT000s31100110HT100s1010101HT24v100000110001000v2v311001100000100v410101010010000c1c2c3c4,

1 00 00011100100100100111

H

00 SeHT

0

10.4(2)，等。所以，陣中的每一列由2k1個零和2k11,c0m1m2m3c1m0m1m2c2m0m1m3c3m0m2的最小距離為4。c0 c0m1m2m3c1m0m

cm0mm

c2m0

m2

c0c c1

1c2 0

3

1

0 0H

1 1 G dminpGF(p)xp1設(shè)在GF(q)上 碼長為n的q元循環(huán)碼？C1的向量(111C的充分必要條件是C包含一個重量為奇數(shù)的碼字。GF(2)上

當(dāng)k=6 g(x)=x-當(dāng)k=4 g(x)=x3+x+1或x3+x2BCH31,21)00010000000110010 21g(x)=x17+x9+x8+u(x)=x17+x9+x8+x5v(x)=u(x)g=(x17+x9+x8+x5+1)(x10+x9+x8+x6+x5+x3=x27+x26+x25+x23+x22+x20+x19+x17+x16+x14+x12+x8+x6+x3r(x)=x27+x25+x23+x22+x20+x19+x17+x16+x14+x12+x8+x6+x3則可得：σ（x）=α26x 即錯誤位置為26，可以糾正r(x)=x27+x26+x23+x22+x20+x19+x17+x16+x14+x12+x8+x6+1（α3x r(x)=x27+x26+x25+x19+x17+x16+x14+x12+x8+x6+x3,3(x)1(x)x4x35(x)3(x)x3x11(x)7(x)x4x2

7(x)5(x)x4x315(x11(xx4x（1）對于消息(1000111111101010)表 GF(25)域元素的兩種表示（本原多項式p(x)=x5+x21（1）1g(x)p(x)則編碼輸出為：u(x)g(x)g(x)x10x8x5x4x2x1是(15,5)x10=g(x)+x8+x5+x4+x2+x+1x11=xg(x)+x9+x6+x5+x3+x2+xx12=x2g(x)+x10+x7+x6+x4+x3+=(x2+1)g(x)+x8+x7+x6+x5+x3+x+1x13=(x3+x)g(x)+x9+x8+x7+x6+x4+x2+xx14=(x4+x2)g(x)+x10+x9+x8+x7+x5+x3+x2=(x4+x2+1)g(x)+x9+x7+x4+x3+xbo(x)=x8+x5+x4+x2+x+1b1(x)=x9+x6+x5+x3