信息論與編碼習(xí)題解答

1、信息論與編碼習(xí)題解答 信源信道信宿信源編碼信道編碼干擾源加密加密密鑰解密密鑰圖 1.2 通信系統(tǒng)的一般框圖1 / 信息論與編碼習(xí)題解答第二章 13631239!C12237!P 1/80239C3240!240/32403!237!= P= 2216。 5 )=NX )= 7 幀N56 =字 Y )=Y 字N4 X NI(X ) 2.1N6 字5IY)： ： , 1p)=)02 / 信息論與編碼習(xí)題解答） XX )X )=p)H)12） )101p該0與1p由0和1。X X X )HX X 31221證 明 ： 設(shè) 離 散 平 穩(wěn) 信 源 輸 出 的 隨 機 符 號 序 列 為 。 又 設(shè) ,

2、 ,A a a ax X x X x Xx ,x ,x,1X1223312312gP(x | x ) P(x | x ) P(x |x x )213231 2XX 233P(x ) P(x ) P(x )1123XXX123P(x x )P(x x )P(x x )11 22 31 3XXXXX1X12233P(x x x )11 2 3XXX123P(x x x ) P(x x )1 2 32 3X1P(x x x ) P(x x )1 2 31 3X2P(x x x ) P(x x )1 2 31 2X3 qqqPf(x ) f( Px)P 1iiii ii1i1i1x P(x | x x

3、 )P(x | x )i32 112 P(x |x )112X13 / 信息論與編碼習(xí)題解答P(x |x )x x P(x |x )x log P(x |x )x 12ii12i12iXXX111 P(x |x P(x |x x )logP(x |x x )1231 231 2X1 P(x |x P(x |x x )log P(x |x P(x |x x )1231 21231 2X1X1P(x x x ) P(x x )1 2 32 3X1P(x x |x P(x ) P(x |x )P(x )1 322322X1x ,x ,x123P(x x | x ) P(x |x )1 3232X1P

4、(x | x P(x | x x ) P(x |x )1231 232X1 P(x x | x )logP(x | x x )P(x | x )logP(x |x )1 3231 23232X10 P(x )x X222 P(x )P(x x |x )logP(x |x x )P(x )P(x |x )logP(x |x )21 3231 223232X1x ,xx ,x2323P(x x x )logP(x | x x ) P(x x )logP(x | x )1 2 331 22 332X1 X2 X3X2 X3X X X )X X )31232 X X )= X X )3221得X X

5、X )X X )31221P(x | x x ) P(x | x )x ,x ,x31 2321235 p , p , , p p p p p ，12q1211p p 0p p 2212p p a 1a 得12p pp p12124 / 信息論與編碼習(xí)題解答p p ap a)p p p p 1212p p1p p221212p p a)p ap p p p 12p1 p1p p2112212是 f a)p (p )a)f(p )1212(p )(p )a)f(p ) f212p p (p ) p 2p1p 1p p 即122p1 pp p22212p p (p ) p 1p1p 1p p 12

6、 pp p1p221212(p ) (p p )p pp p p11221222 與和則 22 P(XiYjlbP(XiYj)i1 j1 5 / 信息論與編碼習(xí)題解答7 M ，M ，M ，M 1234M =M =M M M 0123412XYp0101ppp圖 2.6解：信源P(M )= P(M )= P(M )= P(M )=1/4, 信道為二元對稱無記憶信道，消息Mi 與碼字一一對應(yīng)，所以1234M (x x )設(shè)設(shè)接收序列為 Y=(y y )iii1 212接收到第一個數(shù)字為 0，即 y =0。那么，接收到第一個數(shù)字 0與 M 之間的互信息為11P(y 0|M )I(M ;y 0)11P

7、(y 0)111因為信道為無記憶信道，所以P(y 0|M ) P(y 0| x x 00)1111112 P(y 0| x 0) P(0|0) p111I(y 0|M ) P(y 0| x x ) P(y 0| x )同理，得1i1ii1i121輸出第一個符號是 y =0 時，1有可能是四個消息中任意一個第一個數(shù)字傳送來的。所以4P(y P(M )(y 0|M )1i1ii11 P(y 0|x P(y 0|x P(y 0|x P(y 0|x 故 得411121314111112I(M ;y 1lbp 比特110 M1I(M ;y 0| y 0) I(M ;y y 00)I(M ;y 0)121

8、11 211P(y y |M )I(M ;y y 00) 1 21其中P(y y 00)11 21 2同理，因為信道是無記憶信道，6 / 信息論與編碼習(xí)題解答所以P(y y 00|M ) P(y y 00|x x )1 2i1 2ii12 P(y 0|x )P(y 0|x )1i2i12P(y y 00|M ) P(y 0|x 0)P(y 0|x 1 211121得12 P(0|0)P(0|0) p2輸出端出現(xiàn)第一個符號和第二個符號都為 0 的概率為4P(y y 00) P(M )(y y |M )12i12ii11 P(y 0| x 0)P(y 0| x 0)P(y 0| x 0)P(y 0

9、| x 4112112221211P(y 0| x P(y 0| x 0)P(y 0| x P(y 0| x 13231424111114p214I(M ;y y 00)lbp)所以比特11 2I(M ;y 0| y 0)1lbp得附加互信息為比特121Z。xX,yY,zZ = = xX,yY,zZxX,yY,zZ 習(xí)題（第 3 章）HX 2) a ,a ,a b ,b ,b c ,c ,12r12s12c 設(shè)X與Yb a) (i ,j ,Y與ZLjic b) (j ,k ,X與Ykj sp c /a p b /a p c /bkijikjj1p(x x )p(x x )p(x x )1 p(

10、x x )0， ， ，2313112112227 / 信息論與編碼習(xí)題解答2 1P，P 3 31 02Q(x ) Q(x )Q(x )31121Q(x ) Q(x ) 321Q(x )Q(x )1213Q(x )411故Q(x )4222H H Q(E P(a |E )logP(a |E )2ikikii1 k12 12 Q(E )H(a |E )Q(x )H( , )Q(x )H)3 3iki12i13 23 1 log log0.6887比特/符號4 32 32 H H 。121P(j|i)i, j 31/31/311/31/31/321/31(X)3 log31.585 H3298 /

11、信息論與編碼習(xí)題解答13P(m|ij)222H P m P m ( | ) ( | )2i0 j0 m05 X： 2p1p） H ；） pH ppp/210p/2p/2p/2p/2p/22p圖 3.41）pppppp222pP，P22pp2ppQ(0) pQ(0) Q Q(2)22pp Q(0) pQ Q(2)Q 22ppQ(2) Q(0) Q pQ(2)22Q(0)Q Q(2)11Q(0)Q Q(2)39 / 信息論與編碼習(xí)題解答13P(0) P P(2)2H H Q(E )H(X |E )2iii1 P(0)H(X |0) PH(X | P(2)H(X |2)1p p 1 p p 1 p

12、p H(p, , ) H( ,p, ) H( , ,p)2 2 3 2 2 3 2 23plog p plog p p比特/符號H p) p) p p ppH11 p)log p1pln2ln2 p) p)log plog2logpH p)得0令pp X X X ;Y Y Y Y 。1 2N1 2Npb /a a a b b b )=pb /a ；jN1 1iN1 2jN 1jNiNpb b b/a a a )=pb b b/a a a )1 2jN 11 1iN1 2jN 11 1iN1 NP(X/Y) p b b b /a a a p b /aj1 j21 i2k1P( / ) p b b

13、 b /a a aX Y j1 j2jN1 i2iN p b bb /a a ap b /a a a ;b b b j1 j2jN11 i2iNjN1 i2iN1 i2iN1 p b bb /a a a p b /a j1 j2jN11 i2iN1jNiN p b bb /a a ap b /ap b /aj1 j2jN21 i2iN2jN1iN1jNiN N. p b /ajkikk17 X 的 N X X X ; 1 2NY Y Y 1 2NN ） X X X I X;Y I ;Y；1 2Nkkk1 / 信息論與編碼習(xí)題解答NI X Y ） ;I X Y;；kkk1 NI X Y NI X

14、 Y; ；） ） 3;N ; N I X Ykkk11）設(shè)信道輸入連續(xù)型隨機序列 輸出也是連續(xù)型隨機序列p(y| x) p(y y y | x x x )12N1 2N , , , ( , )x X y Y y Y x X iNiiiiXNp(x) ( )p x , x X x Xiiii1p(x| y)p(x)EI(X;Y) logX,Yp(x| y)E logNp(x )X,Yii1xX,yY,x Xii( | )p x yNNI(X ;Y)p(x y )logdxdyiip(x )iiiiiii1i1RR(x | y )ip p(x y )logdxdy11p(x )111 11Rp(x

15、 | y ) p(x y )logdx dy22p(x )22222Rp(x |y )()log p x ydx dyNNp(x )NNNNRNR ( ) p x x y y 11NN1i1 i1N1i1i1NXXXX 1 Y YY1i1 i1Ni1 i1N p(x y)ii / 信息論與編碼習(xí)題解答NI(X ,Y)iii1 p(x | y )p(x | y )( )log dx dx dy dyNp x x y y111N(x )p(x )1NNp1N1N1NX YX Y1 1N Np(x | y )NNp(x | y )iiEii p(xy)log i1dxdy log i1NNp(x )

16、p(x )X,YXYiii1i1Np(x | y )NEiiI(X ;Y)I(X;Y) i1p(x| y)iii1XYNp(x | y )iilogEi1p(x| y)XYNp(x | y )ii p(xy)i1p(x| y)XY p(y)p(x | y ) p x y ( | ) 11NN1NXY p(y) p(x | y ) p(x | y ) ( | )p x y 111222NNNYX1X2XN p(y)Ylog10p(y ) p(x y dx p(y )p(x | y dxiiiiiiiiXXiip(x | y dx 1iiiXiNI(X ;Y)I(X;Y)0iii1NI(X ;Y)

17、 I(X;Y)iii1 (X X X )X12NY YY Y )1 2NNp(y|x) ( | )p y xiii1 / 信息論與編碼習(xí)題解答xX,yY,x X ,y YiiiiX和YNp(y | x )P(y| x)p(y)NEEiiI(X ,Y) log logi1p(y)iii1XYXY( | )p y xNN而I(X ,Y) p(x y )iip(y )iiiiiii1i1X YiiiNp(y | x )NEii( , ) logI X Yi1iiNp(y )i1XYii1Np(y )NEiI(X;Y) I(X ,Y) logi1p(y)iii1XYNp(y )i p(xy)logdx

18、dyi1p(y)XYNp(y )i p(xy)i1p(y)XY ( ) ( ) p y p y p(x| y)1N1NXYY 1N ( ) ( ) p y p y1N1NYY1Nlog10p(x| ydx 1Xp(y dy 1iiiNI X ;Y I ;Ykkk1） 設(shè)X和Y ), , , ( , ) a a a i Nkkkkk12r12Ni ( ),b i , , ( , ) b bb b b bNh1 h2hhi12sN / 信息論與編碼習(xí)題解答k rNa)a a a )）kk1k2kN P(a ) P(a ) P(a )1kkk1N1X NXX NNP( | )( | )P b a）h

19、khkiii1及P( | )1 k ,r ,h ,sNNhkY N P PP( ) ) ) ( | )Phkhkhk P(X NX N ) ) ( | ) ( | )PP b aP b akkh1khk1N1NNX N P(a )Pb |a ) P a P b a( ) ( | )khkkhk111NNNXX1NP a b P(a b )()kh1kh1NNXX1N Pb ) P b ( )|.(3)h1hNN P )P(a b ) k ,r ,h ,s.NNkhkhiii1P( | )I(X;Y) I(X ;Y )P )NNhkP( )khX NYNh I(X ;Y )P a b() ( )

20、P a bNNkh1kh1NNXXYY1N1NPb |a ) P b a ( | )( | )P b alogP(a b )loghkhkhk11NN11Pb ) Pb )Pb )kh11hhXYh11N11b |a )P P a b()loghkP(Nb )NkhNNXYhNNN I(X ;Y)I(X ;Y ) I X Y ( ; )1122NN , , ( , ) ，aa a a iN k12ri , , ( , )bhb bb iN i12si / 信息論與編碼習(xí)題解答Pb |a ) Pb |a ) Pb |a ) P b a( | )1(1)(22N)N(hkhkhkhkP a b P

21、 a b P a b P a b ) (khkhkhk h1122NNPb ) Pb ) Pb ) Pb )h1hhh2Na ,a a ,a ,akk12rib ,b b,b ,bhhi12si ,N)得I(X ,Y ) I(X ;Y ) I(X ;Y ) I(X;Y)1122NN NI X ;Y I X ;Y NI ;YNNkkk1 的 0.80.10.0930000.0093000H (X) 0.8log 0.1log 0.09log 0.009 log5005000.001 0.001log 10.198比特 /信符3000 3和3 6 5 43ab3a 則3b 則3c 則編1種編1種編

22、1種P 0.23 0.008P 0.33 0.027P 0.53 0.12532個1個b 則32個1個c 則編3種P 0.22 0.3 0.012P 0.22 0.5 0.02編3種 / 信息論與編碼習(xí)題解答32個1個a 則32個1個c 則32個1個a 則32個1個b 則2編3種編3種編3種編3種P 0.3 0.2 0.018P 0.3 0.5 0.0452P 0.5 0.2 0.052P 0.5 0.3 0.075231個1個個c 則編6種P 0.2 0.30.5 0.030.012 6 0.025 0.018 60.045 50.0540.075 40.008 6 0.027 5 0.12

23、5 33 0.0356字sH(X) （ Plog3 (0.2log 0.20.3log 0.30.5log 0.5)3ii222i1 4.455bit/字 =R C=116.A和 = =sH(X) PlogP 0.25log 0.250.75log 0.75 0.811bit/符號ii22i1碼組長度率pibi 012331 19 331 b 2 3 3 R 0.953比特/時間b9 93 3 1 1H(X) lb 2 lb lb 1.623bit/symbol16 1616 16 16 16H(X) 1.623R0.9618比特/碼元時間b1.68750 0 1000 1 / 信息論與編碼習(xí)

24、題解答 1(10/64)10 11 931 b 33 53 5 113399 27 27H(X) lb 3 lb 3 lb lb 2.434bit/symbol64 6464 6464 64 64 64H(X)R0.9855比特/碼元時間b7.8ABCDEFGH0.10.180.40.050.060.10.070.04）88H(X) PlogP 2.55bit/符號iii1C B A F G E D H 010010.23010.370.610.1310.19010.09C0B A FGEDH b 0.40.1830.130.140.0740.0640.0550.0452.61碼元/符號R H

25、(X)/b 2.55/ 2.61 97.8%CC1Aa ,a ,a ,a ,a 12345t t t t t 12345a a ,a a ,a a ,a a1 1222 11 2X=x ,x , ,x 127x x x , x )= x 12367 / 信息論與編碼習(xí)題解答1）這是一個有固定約束的不均勻編碼的信道，有約束條件（即不能出現(xiàn)a a ,a a ,a a ,a a a ,a a ,a ,a 123451 1222 11 2 a b a b a b a b a b a 3451231w 2w 3w 2w wb a 345675w 1.597C log w 0.6752） a a 1213

26、3244345567a aa aa aa 41 3142 3245556sH(X ) PlogP 1.969bit/符號iii1b Pb 碼元i iIH(x)R 0.541bit/碼元時間b =RC4H(X) HY) P(X ) P(X ) 21i2ii144H() P(x y lbP(x y ) 4（ 83 181ijij22i1 j1I(X;Y) H(X) HY)H() 0.21H(X) 5 log88 3 log 8 0.954422 582 3HY) log 2 log 2 112122222HY | X) P(x )P(y | x )log P(y | x ) （583552 352

27、 2）25iji2jii1 j1（38 332 20.951/13232I(X;Y) HY)HY | X) 0.049 / 信息論與編碼習(xí)題解答 (X) 2 2 13 H2HY) log 3 log 3 0.918 23132 22H(XY) 5 log log 12 log 4 log 4 1.825 2 511414222I(X;Y) H(X) HY)H() 0.093 C log 100 log )1000 919 4122 I(X;Y)5 C,p(xy) P(x)P(y| x), 00 00 0 0 004C 4 P(y | x ) P(y | x )x2ji2jij1 C I(X;Y

28、) 4C 4 P(y | x ) P(y | x ) 2ji2jij1 33C 3P(y x ) P(y | x ) 2ji2jii1j1(x ) P(x ) a，則P(x ) 12a，P(y ) 12a,6 設(shè) P3211(y ) P(y ) a, P32I(X;Y) HY)HY | X) 2a)2a)2alna2a(ln ln ) 0, / 信息論與編碼習(xí)題解答1I /a ，得a 1/2，由 (X;Y) )I 2 ) C7 4個 1 = 4 = 4 1 4 C 1log ) ) 4 則C14 =10 4 C。8 C lb31.58 P(xy)9 P(x| y) ，又P(xy) P(x)P(

29、y| x),P(y) 由P(y) P(xy),得X y x ,y x ,y x112133 / 信息論與編碼習(xí)題解答P 1P 1P(x )P(y | x )P(x )P(y | x )P(x )P(y | x )Ec111121333121/21/21/31/41/ 113/2411/241 MLMP(y | x ) 1/2(P(y | x )P(y | x ) p ）PEji1221j1 i1i*1 LMP(y | x ) 1/2P(y | x ) p/2）PM12Ejij1 i1i*1 LMP(y | x ) 1/2(P(y | x ) P(y | x ) p）PM2221Ejij1 i1

30、i* ,x /2x 1iC:x12log4 1R 42 (y y y y ) y i 1234i 4y y3y y ) 0 0) 1 114234 0 0y y3) 1 1y y )34434f (y y y y ) y y 123412P( ) P( | )F () 0ieiiYP( P 0 。PiEieCP(xy)P(y) P(x| y) ，又P(xy) P(x)P(y| xP(y) P(xy),X (X) P(x)logP(x) 0.811又HX / 信息論與編碼習(xí)題解答P x yH(X |Y) P(x)P(x| y)log ( | ) XY3/42/3log2/31/41/3log1/

31、33/41/3log1/31/42/3log2/3 2/3log2/31/3log1/30.390.5280.918 I(X;Y)H(X)H(X|Y) C 1H(p) 1H(2/3) P(y) P(xy),得X 3HY) P y ( )log ( ) 1/241/4 )41/4 )P yaaiii141/4a)41/4a),P y x aHY|X) P(x)P(y| x)log ( | ) 2log21/2log2)XYa/2log21/4log4)a4log4）3/21/2a比特/符號HY)HY | X) 11/2a1/a)41/4a) C1/a)41/4a) 101.2。(x) p(x)l

32、og p(x)dx 1/2log (2 ) ）h22120KHz 12KHz 108KHz） fsB 8f /2 432KHzs B S/N) M C。2 / 信息論與編碼習(xí)題解答 (5.17/4.3120%S。c h(x) 1/2log (2e )2288K8.55K100% 86.6%） =88KB S/N)）C 2得B S/N)log 10 ) 3.88Mbps C0.3221 1( T 又 n ，000 h t000h (x) p(x)ln p(x)dx1p1 1 | x |) ln(1| x |)dx12 1 x)ln(1x)dx T 又n ， 0002 h (x) 1x)x)ht0

33、p0h(x) p(x)lnp(x)dx202kxln(kx)dx0Blog S/N) Blog 10 ) 303010 log 10 B*9.97 C36222 3107.log 64log 16510 25 610 bit C5822B S/N)又C210log S 30dB而，N / 信息論與編碼習(xí)題解答 S/N=103,Blog 10 )C3 2 7B S/N) C2PP5.6 4 ) )2Nn B03.2 W 5.S n B0n SSB S/N) ) C=22n B00n B0SSSC )n B n）2BB00lim1/xlog x) log e 1.44，22x0SSC e n2nB

34、00(X) /2AxA H/2/2/2/2AAAx ln=/2 /2( )p x 1 /2 (X) p(x) p(x)a ） H0ax logbx dx=b220aax2logxdx0033ea b=933a0 b=1/8。a3故 / 信息論與編碼習(xí)題解答dXdY1 若 若 , dX1/2 。dYC Blog S/n B) 6.510 log 45.5/6.5) 1.9510 bit/s67202C B S/N)2C 10 log 10) 3.4610 bit/s66210 log 10) Blog 5) B=10662210 log 10) 0.510 log S/N)66 22第七章 習(xí)題

35、 X,X Y XX 121 2p =p p p p p p p X YY Y和 YX1212pY/ X): p(0/ 0)1p(1/0)p(0/1) p(1/1)111111其 中 pY / X): p(0/ 0)1p(1/0)p(0/1) p(1/1)1122222 2 YXX12111000012110111圖 7.16第 8章 =)=i= 30 1 1 11 0 1 1d 1 1 0 11 1 1 0DDR(D )。求和及maxminmax / 信息論與編碼習(xí)題解答 0 1 2 3X P(X) 11114444 rD p(a ) d a ,biijji1 rD min p(a )d a

36、,bmaxiijji10 1 1 11 0 1 1D 1 1 0 11 1 1 0D 03 3 3 34 4 4 434D , , , R D0max 1 01/3 1/3 1/31X 設(shè)無記憶信源 ，接收符號 A ，失真矩陣p(X)Y 1 2D 1 1D 和 D D 和 D 2 11 0 1X 1 1 1P(X) 3 3 31 2D 1 12 14 4 4D 1D , ,max3 3 3D在 p b a 1ji i Jp b a , jJjii1 0P 1120 12在 D maxp b a P bjij1 0P 1 01 0 = d i=jd =ijij / 信息論與編碼習(xí)題解答 ijd

37、=1,j= 。ijX012 P(X)0.4 0.4 0.2 0 1 1D 1 0 11 1 0 D 0 R 0 H X lb 5 lb lb5lb50.81.5252，252515min2D min 0.6,0.6,0.8 0.60R D ，R(D) min I(;Y) I ;Y H X H X|Y P b /a BjiDP ersD P(a )Pb /a )d(a ,b )ijiiji1 j1s P(a )Pb /a ) Pijieij P De HP )+P ee H X|Y H P Plb2 ee H X|Y H P P H D D eeR D H X H D Dlb50.8H D Dl

38、b50.8DH D 0D0.6R D 0D0.6 ，方差為 H”2Xd(x,y) (xy)2112H(X) 2DR(D) X22D） 1R(D)H(X) log2D2 p x| y 0 p x| y dx1 D p x p x| y d x,y dxdyD I ;Y p xp x| yp x p x| y / 信息論與編碼習(xí)題解答 S x D I X;Y ,Sd x y| p x y p y x e00 1x p x e dxSd x y, 1 Sd x y,dyx p ye0 ,p x p y x e d x y , x yD s 0 R S S p xlb x I X;Y , d x y

39、d y令 x2 1 x p x e） x,y : x x,yyx p x es R D S p xlb x sxs0, K S令 x p x 1e d K SSde 1, x y K Se d 1即 K S 0，當(dāng) d2 Sd2de 2得 e 2SSS K SR D SD p xlb dxp x11 SDp xlbdxp xlbp xK S） e d SDH X p x lbSd SDH X lbe dSd 2R D H X e dR / 信息論與編碼習(xí)題解答 e d dSd R DeSd deSd令 gSeSd d 則 R D d dgS 2Rg ddg d d2SS E d E d22 是

40、 gdSe d 且 g 1dSe d R0R0的 S d dD gS d2得 Sge S2SS1De d2S2）2Sln2R D H X lne dS12H X lneln12SH X lne ln2D1212H X ln2 eD12 H X ln2 eD即 R D1212(D) ） RXD21 1 | p y x 2y xexp D2DxxD1時 y的概率分布，即均值為 的高斯分布，其中D X。2 / 信息論與編碼習(xí)題解答 p x py|x d x,y D p x dxyx py|x dy2 x 2xy1 x 1 py|x dy p x dxy222 yxpy|xdy2xy1py|xdy2p

41、 x dx x 1 py|xdy22 D 2x1 x x 1 p x dx22 D 1 x p x dx 22 D 1 x p x dx22 D 1 22XD py|x BB p y| x :D D設(shè)，D R D I ;YD p x|y B R D I;Y I ;Y H Y H Y|XH Y lb2D12 XZY ， E Y E X E Z 0 E Y E X E Z D D222222X2 XD 2YX H Y lbe D212 X I ;Y lbe D lbD21212 X1 D 1 2X2X lb lb2D2 D1 2XR D I;Y 2 Dp x112H(X) 2e R(D) X22D

42、ap(x) e2 Xa|x| d,)=|xy。a d ,y xyp x ea x ，2X / 信息論與編碼習(xí)題解答 d xy令eSde S且 gSeSd deSd22e de dSSS0 S e 得 g S2S D g d dSS e dS2S 2e dS2011S 22SS2對 gSj ge dGSSS2S22 S 22PQ S2P22P S1j yQ e dp yY p y p xy D2p x y YXX aa3 p y e D ea y2 a y22Y a1a Dea y22210D 由 p yYa D p xd x y ,Xmaxyaxy e 且當(dāng)a x2y1a1時a0DD max

43、/ 信息論與編碼習(xí)題解答 R D R D H X H gLSlb2e lbeDa1lbaD, 0Da, | f FA 設(shè) 有 平 穩(wěn) 高 斯 信 源 X )， 其 功 率 譜 為 G(f)1 ， 失 真 度 量 取0, | f F1d(x,y) (xy)2 D） ；） F 2N0F 22 1 R D max lb SG 2 d11R D , G d2S11 min , G dR D2S1min ,G f df2S1Fdf12SF1F1 2S設(shè)A- 1SF 1即 SD1 max lb 2SG dR D1 max lb 2SG f df212 lb 2SAdfF1F 1Flb 2SA12AFFlb

44、bit/s11D0D2AF1PF lb1C2F N20R DCD。取 R DC 。 / 信息論與編碼習(xí)題解答2AFP F lb1Flb11D2F N20F2PF1D 2F 11F N20DF F令 ，21F N10 D1 得2F A1D012F A1D 11 12F A1 lim1 eD e 2F A1D2F A11110F2F11 1解 好 廢好0 1D 廢 0 / 信息論與編碼習(xí)題解答 4 1 為 好 廢好 1 01 0廢D P(a /a )d(a ,b )ijiijij=)+), )個 2 P P 好 廢0 1好 0 1廢 D P(a a )d(a,b )ijiijij)+), )個D

45、0.99R(D ) 0 3 好 廢好 1 00 1廢D0 / 信息論與編碼習(xí)題解答 4 好廢p 1-p1-p p好 廢 D P(a /a )d(a ,b )ijiijij=), )=個 1 d =d=0d =d=1。 d d 0 d 0 d 10 1D 1 0 X: a , a2P(X):, 1w XXP 1 w0 dD d 0DDR(D )） 和及；maxmaxR(D )） minminR(D)） ；R(D)） ） 當(dāng) d=1Xaa 12 P(X) 1 0 dD d 0 D min d,d 1 d1/2） R D0 / 信息論與編碼習(xí)題解答0） D 1 1 R DH X H1Sdij） P

46、x eiii令eSd 1 1 , 1 121 1 111211 111 1 1 21 1 P b 111 P b 1 1 2 D S ,P a P b d a b eSdijijijij 1 11 d 1 d 111 1ddeSd1 1eSd 1 R S H1De Sd d D1DS lnd d D / 信息論與編碼習(xí)題解答 DDdR D lnH lnd d Dd DDD lnlnlnlnlnHHDd D d d Ddd D DDD1lnD d D 1ln dd d d d D D DDlnd d1ln 1HH d d DH d 0 HR R d0D H H 0DdR D d 0Dd p b

47、|a p b eSdij）jiji p bp b |a p b e 01111111 1 1 11 1 1 2 p b |a p b e p b1212121 1 1 1 11 1 1 12 p b |a p b e p b2121211 1 1 11 1 1 2 / 信息論與編碼習(xí)題解答 p bp b |a p b e 02222221 1 1 11 1 1 1 12D 1D11DD，11 pa pb|ap a |b p a11111p b11111 1D 11 pa pb|ap a |b 1p a1212p b1121 D 11 pa p b|ap a |b 2p a2121p b2211

48、 1 D 1 1 1 pa p b|ap a |b p a22222p b22211 1 1D 1 1 1第 9 章 習(xí)題 0 1 0 0 1 0 2個 1 0 1 0 2個 1 3 1 0 1 0 2個 1 3 1 4 2 / 信息論與編碼習(xí)題解答 d ,: 1,C C C 0n1n20C C C 1n1n20C C C 1n1n20C C C 0n1n20 d, 設(shè) C = C 。 C C = ） C ） 0和 1 0 1 C （3）解：d( （1） C 碼 C （2） 故 C C d d 習(xí)題（第 10 章） p)=x +x + = , , , 的22345 / 信息論與編碼習(xí)題解答 1

49、2 1 1 8 4891141686 5 3 227 2 37 3 2 46 5 4 3 1 58765 275 3 2 2 46 5 4 3 1 89 8 6 5 2 8 6 5 4 3 2 x16 x x xxx2481x x x x x x 111106542 x x24x x x x x 1642 x x x x x x x 165423 x x x x x x x197655 n的 q若 41 0G 0 1q n的 qqnn11Gqn1 nk t 111 L） 碼 L / 信息論與編碼習(xí)題解答） 碼 L奇 偶 奇 ,k2m2 m個碼字，其 中 個是偶數(shù) 重量， 個是奇數(shù)重 且假設(shè) n

50、線性碼有kkm2 mk2 m若 m若 m；。k2 mk2 m1mk 2 m1mk第 1 0 0 1 1 0 0 1 0 1 LG L0 1 1 1 1 min d x,y w C d dmin minx,n,k2。1 0 1 1 設(shè) 3 LGL L0 1 1 2d 3d 1 31t min 122 n k nk 22 4 324而 錯誤圖樣的個數(shù)為C1 4 / 信息論與編碼習(xí)題解答1 1 0 1 00 1 0 1 0 L G 和 L 1 1 0 1 0G 0 1 0 1 01 0 0 0 00 1 0 1 00 0 1 0 0 H P I 0 1 0 1 0Tnk0 0 0 0 12 2 4共

51、2k消息00碼字0000001010100001101001101100000 01010 10000 1101000001 01011 10001 1101100010 01000 10010 1100000100 01110 10100 1111001000 00010 11000 1001010000 11010 00000 0101001001 00001 11001 1001111000 10010 01000 00010d 2mind 211t min0 22 111111110000101 2 4 0 3 0 2 1 4 1 設(shè) 5 LG。2 0 3 1 4 / 信息論與編碼習(xí)題

52、解答） L） L） L1 2 4 0 3G 0 2 1 4 12 0 3 1 40 2 1 4 1 0 2 1 4 1 1 2 4 0 3 1 4 0 4 4 2 0 3 1 4 1 0 0 0 23 3 1 0 0 3 3 1 0 0 4 4 0 4 0 1 1 0 1 0 1 0 0 0 2 0 0 0 1 121 0 3 11H 20 1 3 1 0d 4min ） G ；） ） C c c c cc4 3 2 1 0） mm 12c m41c m32m mc212c m11 c m m012c c c 0432c 0c41c c c 04301 1 1 0 0H 1 0 0 1 01

53、1 0 0 1 / 信息論與編碼習(xí)題解答1 0 1 1 1G 0 1 1 0 1伴隨式000錯誤圖樣0000000100001010000101000010010101000111100000111101PE 181p p C 1p p C 1p p C p323523454555 23 4181p p 1p p 51p p p325 ，eHT）S1 1 1 0 1 0 0H 0 1 1 1 0 1 01 1 0 1 0 0 11 0 11 1 11 1 0Se0 1 11 0 00 1 00 0 1 / 信息論與編碼習(xí)題解答伴隨式000陪集首0000000000000100000100000

54、1000001000001000001000001000000001010100011110111101 s 0000011 H 011T1 s 1111111 H 000T2 s 1100110 H 100T3 s 1010101 H 110T4v 1v 2v 11001100000100 11000103v 4c 1c 2c 11003c 4 1 0 0 0 1 1 10 1 0 0 1 0 10 0 1 0 0 1 0 0 0 1 1 1 0 / 信息論與編碼習(xí)題解答） ） ） ）信息00000001001000110100010101100111碼矢000000000011100010

55、011001110101001010101011011011001110001000100110101011110011011110111110001111001001101010010110101100010110110011100011111111）1 1 0 1 1 0 0H 1 0 1 1 0 1 01 1 1 0 0 0 1）1 1 11 0 10 1 11 1 0SeHT e1 0 00 1 00 0 1 / 信息論與編碼習(xí)題解答陪集首00000000000001000001000001000001000001000001000001000000伴隨式000001010100110

56、0111011112 n ,碼 C的 G C） k） 2k1 k1個 12） 0 C ,k） n2 k2 n2k1k 0和 10 0 00 0 10 1 00 1 11 0 01 0 11 1 01 1 1 ， 0和 12k1 k1個 12 / 信息論與編碼習(xí)題解答c m m m0123c m m m1012c m m m2013c m m m3023,m ,m ,mc ,c ,c ,cG和 m01230123 。c m m mc m m m 001230123c m m mc m m m 010121012c m mmc m m m 020132013c mm mc m m m 030233

57、023 c0 c 11 0 0 0 0 1 1 1 c0 1 0 0 1 1 1 02c 03 0 0 1 0 1 1 0 1m 0 0 0 1 1 0 1 10m 1 m 2m 31 0 0 0 0 1 1 10 1 0 0 1 1 1 0 H 0 0 1 0 1 1 0 10 0 0 1 1 0 1 10 1 1 1 1 0 0 01 1 1 0 0 1 0 0G 1 1 0 1 0 0 1 01 0 1 1 0 0 0 1d 4min1. 設(shè) p 是一個素數(shù)，（1） 在 p上把 x 1分解成不可約因式的乘積；p（2） 在 p上把 x 1分解成不可約因式的乘積。p12. 在 上把 4 4

58、的三元循x 1環(huán)碼，并寫出每一個碼的生成矩陣和校驗矩陣。解：因 x1= / 信息論與編碼習(xí)題解答3. 設(shè)在 q上 1可分解成 t 個不同的不可約多項式的乘積，試問有多少個xn碼長為 n 的 q 元循環(huán)碼？4. 設(shè) C 是一個二元循環(huán)碼，證明分量全為 1 的向量(1 1 1 ) C 的充分必要條件是 C 包含一個重量為奇數(shù)的碼字。證：用反證法5. 在 上 7 能分解成不可約因式的乘積：x 1x71 (x1)(x3 x1)(x x 1)3 2確定所有碼長為 7 的循環(huán)碼，并且準(zhǔn)確描述這些碼的特性。解：由題知 n=7,k=6,4當(dāng) k=6時當(dāng) k=4時g (x)= x-1g (x)= x + x +

59、 1或 x + x +1332可進一步寫出 G和 H6. 請對任意一個 21-bit 2 0”或某些隨機數(shù)）（1） 給出 BCH (31,21) 碼的碼多項式；（2（3（41）我們可以任選一個 21-bit 的數(shù)據(jù)，假設(shè)所選數(shù)據(jù)為 020321，其二進制數(shù)表示為：0 0010 0000 0011 0010 000121 位碼查表可知（31，21）碼的本原多項式為：g (x) = x + x +x + x +117985輸入多項式為：u (x) = x + x +x + x +117985所以輸出碼多項式為：v (x) = u (x) g (x)=( x + x +x + x +1) (x +

60、x +x + x +x + x +1)179851098653= x + x +x + x + x + x +x + x + x + x +x + x + x + x +12726252322201917161412863假設(shè)接收到的多項式為：r (x) =x +x + x + x + x +x + x + x + x +x + x + x + x +127252322201917161412863則可得：（x） x +1 即錯誤位置為 26，可以糾正。26(3) 假設(shè)接收到的多項式為：r (x) =x + x +x + x + x +x + x + x + x +x + x + x +127