信息論與編碼曹雪虹知識(shí)題目解析

1、3.1設(shè)二元對(duì)稱信道的傳遞矩陣為31323(1)若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)H(X)331p(xi)(4 10g24 Z0.811 bit / symbolH (Y/X)(40.918p(x)p(yj/為)10gp(yj/x)2,231,11 1,1lg lg lg 3 3 4 3 3 4 3 3bit / symbol1 2, 2、，“l(fā)g ) 10g 2 104 3 3P(yi)P(xiyi)P(X2 yi)p(Xi)p(yi/Xi)p(x2

2、)p(yi/x2)p(y2)p(xiy2)pdy?) p(xi)p(y2/xi)p(x2)p(y2/x2)34342313141413230.58330.4167H(Y)I(X;Y)H (X/Y)I(X;Y)p(yj)H(X) H(X)H(X)(0.5833 log2 0.5833H(X/Y) H (Y)H(Y) H(Y/X)H(X/Y) 0.8112)C max I (X;Y)其最佳輸入分布為0.416710g 2 0.4167)0.980 bit / symbolH(Y/X)0.811 0.9800.749 0.0620.918 0.749 bit/symbol bit / symbol,

3、. C ,1, 12. 2、.10g2 m H mi log 2 2 (Tg lg ) 1og210 0.082 bit / symbol 3 3 33p(xi)3-2某信源發(fā)送端有2個(gè)符號(hào),12xi , i = 1, 2； p(xi) a ,每秒發(fā)出一個(gè)符號(hào)。接受端有3種符號(hào)1/2 1/2 0yi, j=1, 2, 3,轉(zhuǎn)移概率矩陣為 P1/2 1/4 1/4(1)(2)(3)解：P計(jì)算接受端的平均不確定度；計(jì)算由于噪聲產(chǎn)生的不確定度H (Y | X);計(jì)算信道容量。1/2 1/2 01/2 1/4 1/4xYy1y2y3xia/2a/20x2(1 a)/2(1 a)/4(1 a)/4聯(lián)合概

4、率P(Xi,yj)Yy1y2y31/2(1 a)/4(1 a)/4則Y的概率分布為1 H(Y) 210g21 2log2 駟23 2log2取2為底1164logrv1 + a.41 a.4log log41 a 41 aa 1 alog -41111410g16 7四丁卷 a 1 -log 一 41 a114logrraa,1 alog4 1aa3 11H(Y) (2 410g 21V210g21)bita 1a 1(2)H(Y|X)2log- -log-10g 2一嘮1 llog14444alog2 *2log 23 a 0丁的2取2為底H (Y | X )3 a bit2c maxP(X

5、)I(X;Y)max H(Y) H (Y | X)P(X)maxP(X)a _ 11 a 1 a-log 2 - log2 - 10g 24 1 a2 4 1a取e為底41n1 ln 221 2a 1 2 ln41 a 411 a2a1 a1 aa1 aln )41 a1-ln 2 211n2 2=01 a1 a3512a2(1 a2)1 , 1 a-ln3510g2111 aln 41 a41 a214l0g25331log 54log2 log log 一10416 2043 .八1 ,53 ,八log 2 log log 2102410log 243.3在有擾離散信道上傳輸符號(hào)0和1，在

6、傳輸過程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，已知P(0)=P(1)=1/2 ，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。解： 由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：0.99 0.01P為一個(gè)BSC信道0.01 0.99所以由BSC信道的信道容量計(jì)算公式得到:21C logs H (P) log2 pi log 0.92bit / sign i 1Pi八 1八八Ct -C 1000C 920bit / sec t3.4求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)壇=0和1/2時(shí)的信道容量C的大小。X丫01010解：信道矢I陣P= 0 1 e0e，此信道為非奇異矩陣，又r=s,可利用方程組

7、求解0 e 1 e3 .3(i=1,2,3)1 P(bj|ag= ) P(bj |a)10g P(bj |a)，口二 0(1,一 £) H -c.'i 二(1 - 5)iog(i - c)"Eiogt £,2 (W),3 =c1og：-(1-£)1og(1-£)解得由0 a二h(1-E)1og(1 -£)-： log:所以C=1og 22j =1og2 0+2 X2(1- £ )10gd- £ )+ j 10g : =1og1+2 1-H()=10g1+2(巾;：)* ;二P(D)P(b ) 22.C &#

8、39; (1l<l，r，- F2 .-1+2(/)二 9P(b3)二 2。二 P(1)'11-L2ih(：-)而 P(bj). 2 P尸舊)(j=1,2,3)P8i).p(B)-P(b2) =P(a2)(1-f) + p(a3)f * 一PQ)二所以 P(a1)=P(b 1)=P(%)(1-；.)1P(a2)P(a3)P(b2)PM)葉 2(1j.)廣rr(1.、工當(dāng)5=0時(shí)，此信道為一一對(duì)應(yīng)信道，得C=log3,P(ai)P(a2)P(a3)當(dāng)宮=1/2時(shí)得C=log2,-1- 1P'-j3.5求下列二個(gè)信道的信道容量,并加以比較(1) p p(2)解:其中P+P =1

9、(1)此信道是準(zhǔn)對(duì)稱信道，信道矩陣中Y可劃分成三個(gè)互不相交的子集由于集列所組成的矩陣PP而這兩個(gè)子矩陣滿足對(duì)稱性，因此可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。C1=logr-H(p1 'P2' p3')-2Nklog Mk1其中 r=2, N1=M1=1-2N2= 2M2=4所以C1=log2-H(,P-02。-(1-2)log(1-2)-2 log4=log2+(p )log(P )+(P-e)log(P-0+2 dog2 £-(1-2 磯og(1-2 -2 dog4 £=log2-2dog2-(1-2910g(1-29+( p )log( p

10、 )+(p- e)log(p-)=(1-2 910g2/(1-29+( p )log( p )+(p- )log(p-)輸入等概率分布時(shí)達(dá)到信道容量。(2)此信道也是準(zhǔn)對(duì)稱信道，也可采用上述兩種方法之一來進(jìn)行計(jì)算。先采用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算，此信道矩陣中Y可劃分成兩個(gè)互不相交的子集，由子集列所組成的矩陣為rPr=2,N1=M1=1-2N2=M2=2_2C=logr-H( p - ,p- £,2 £,0)-k 1=log2+( p - )log( p - )+(p- =log2-(1-2 e)10g(1-2 e)+( p - =(1-2 )og2/(1-2

11、63;)+2 dog2+( =C1+2 dog2輸入等概率分布(P ( a1) =P (. 可得 C2=C1+2 dog2p 20、一-,這兩矩陣為對(duì)稱矩陣其中p0 2,所以Nk log Mk£)log(p- s)+2 dog2 匕(1-2 £)log(1-2 »2 dog2 £ )log( p- )+(p- 910g(p-)p - )log( p- )+(p-磯og(p-)12) =1/2 )時(shí)達(dá)到此信道容量。比較此兩信道容量，3-6設(shè)有擾離散信道的傳輸情況分別如圖3-17所示。求出該信道的信道容量。1/21/2解:120012圖3-17001 21

12、2對(duì)稱信道C logm H(Y|ai)1log 4 - 2log 2取2為底C 1bit/符號(hào)3-7條件概率r03 03 0P> 04 03 02 ,聯(lián)合概率<0.1 U9 0 j10 151 1 ,10 10 '010)后驗(yàn)概率“1、1, c、 1p(y0)3 ,月y1)2 ,必y2)6H(Y)= 貳為十!5戰(zhàn)2)十-Lc = 1.4% 326(2)H(Y/X)=11/ 10A123、-Log(5 十一Lq 昌 一 + - Logf5)十一Log -6103)U15LAo1/10>13 /10>HLog - 4- Log -十-LoafltT) 4"

13、- Logl 一 1.17510I 3 J103 J3010 、川當(dāng)接收為y2,發(fā)為x1時(shí)正確，如果發(fā)的是 x1和x3為錯(cuò)誤，各自的概率為:P(x1/y2)=P(x2/y2)=515, P(x3/y2)=其中錯(cuò)誤概率為:Pe=P(x1/y2)+P(x3/y2)=0.8(4)平均錯(cuò)誤概率為0.733(5)仍為 0.733(6)此信道不好原因是信源等概率分布，從轉(zhuǎn)移信道來看正確發(fā)送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真嚴(yán)重x3-y3的概率0 完全失真H(X)= Loga"- 1J85111525115135-Log(2)Log Log -Log -Log Lo

14、g -Log(10)Log -16101521521010330103H(X/Y)=.3013. 8設(shè)加性高斯白噪聲信道中，信道帶寬3kHz ,又設(shè)(信號(hào)功率+噪聲功率)/噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率 Ct。解：3. 9在圖片傳輸中，每幀約有2.25 106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬(信噪功率比為30dB)。解：H log 2 n log216 4 bit/symbolI NH 2.25 106 4 9 106 bit10I 9 1065Ct1.5 105 bit /st 60Ct Wlog 1 PX5W t . 15049 Hz1 PX log2(1 1000)Pn3-10 一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。(1)已知信道上的信號(hào)與噪聲的平均功率比值為10,求該信道的信道容量；(2)信道上的信號(hào)與噪聲的平均功率比值降至5,要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？(