計(jì)算機(jī)專業(yè)課信息論習(xí)題三

)0.650.4H(XH(X)H(0.4)

H(Y)H(0.8)

P(xiyj)logP(xi|yj H(X/Y)H(X|Y)i,

P(xiyj)logP(yj|xi H(Y/X)0.714I(X;Y)I(X;Y)

H(X)0.008

H(X|Y)H(Y)H(Y|X3.3

P(y)3211 H(Y|x1)k

p(

|

) p(

|

H(Y/

)2log31log3 H(Y|x2)k

p(

|

)logp(7

|

H(Y/

)2log31log3 H(Y)H )H(Y/X)P(x1)H(Y/x1)P(x2)H(Y/x2)I(X;Y)H(Y)H(Y/X)H(X/Y)H(X)I(X;Y)

C 3.9 C1H(0.98)10*1500* 12880bi設(shè)設(shè)p(0)p(1)?說(shuō)明當(dāng)前信道I(X;Y) p p p

0 3.163.16

plogpplogqlogqqlog q4q3qlogqqlog34H 12H(Clog(2H(p)2H(p)2H(q)2H(q))1log(2H(p)2H(q)ClogrH(p',p',...p')Nlog k1其中r為信源符號(hào)數(shù)，p',p',...p'，N和M的含義 1p(air,i1,21Bkk1,2,...,NBk是集合B={1,2,…,s}的子集。那么I(Xa;Y) p(b|a)logp(bj|ai) p(b|a)

p(bj|ai p(b) p(a)

|aNNp(bj|ai)k1r p(a) |a)r

1

p(bj|airp(b|a)r

lll

klI(Xa;Y)

p(b|a) p(bj|ai

p(b|a)logp(bj|ai Ck11I(X;Y)H(Y)H(Y|Xs12sp(y) p(y) ...p(y) H(p',p',...p's12s

1

p(y p(xiri1,2rrp(y)p(y|x)p(x)1p(y|xr C1p(y|x) 1p(y|x) 1r 1

ri

|xi r

p(y|xr 1…＋1p(y|x) H(p',p',...p'1r

p(r

|xi

1p(y|x)logr1p(y|x)logr...1p(y|x)log r[1p(y|x)logp(y|x)p(y|x)logp(y|x)r p(y|x)logp(y|x)]H(p',p',...p'

1[p(y|x)p(y|x)...p(y|x)]logrr r 1[p(y|x)logp(y|x) p(y|x) p(y|x) r r p(y|x)logp(y|x)]H(p',p',...p'

因?yàn)闇?zhǔn)對(duì)稱信道可以按列分成若干個(gè)對(duì)稱的子矩陣Qk(k1,2N，在子矩陣中每一行、每一列p(yj|xi)表示每一列 和，在每一個(gè)子矩陣中p(yj|xi)都相等，因此在同一子矩陣中 1i1[p(y|x)logp(y|x)p(y|x)logp(y|x)..p(y|x)logp(y|x1i

i

N

p(y|x)logp(y|x

p(y|x)logMr

i kk1jBk k1jBk 1 1 1 r