信息論與編碼理論-信道容量-習(xí)題解答

1、第3章信道容量習(xí)題解答3-1設(shè)二進(jìn)制對(duì)稱信道的轉(zhuǎn)移概率矩陣為2/3 1/31/3 2/3解：(1)若 P(ai) 3/ 4,P(a2) 1/4,求 H (X), H (Y), H (X |Y), H (Y | X)和2H(X)= p(ai )log p(aji=1I(X;Y)03311log(-) -log(-) 0.8113(bit /符號(hào))44443 2 117p(b1)=p(a1)p(b1|a1)+p(a2)p(b1|a2)=4 3 4 3 123 1125p(b2)=p(a1)p(b2|a1)+p(a2)p(b2 1a2)二4 3 4 3 12H(Y)=p(bj)10g(bj)二j=1

2、/log*) 0.9799(bit/符號(hào))22H(Y|X)=p(ai ,bj)10gp(bj|q)p(bj|a)10gp(bj|q)i.jjI 10g(|) 1 log(1) 0.9183(bit/符號(hào))I(X;Y)=H(Y)H(Y|X)=0.97990.9183 0.0616(bit / 符號(hào))H(X|Y)=H(X)I(X;Y)=0.81130.0616 0.7497( bit / 符號(hào))(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布二進(jìn)制對(duì)稱信息的信道容量H(P)= -plog(p)-(1-p)10g(1-p)1122”C=1-H(P)=1+-1og( -)+-1og( -)=0

3、.0817(bit/符)3333BSC©道達(dá)到信道容量時(shí)，輸入為等概率分布，即： , 注意單位3-2求下列三個(gè)信道的信道容量及其最佳的輸入概率分布XYX _YXY110.3a1ua1biar-bia2b2a2'-10.7b2a31b3%1b2a21b31 0 0第一種：無(wú)噪無(wú)損信道，其概率轉(zhuǎn)移矩陣為：P= 0 1 0信道容量：C max I (X ；Y) bit/符號(hào)C maxI (X;Y) maxH (X) H (X |Y)H(X |Y) 0c m(axI(X;Y) m即 h(x)離散無(wú)記憶信道(DMC只有輸入為等概率分布時(shí)才能達(dá)到信道容量,C=log3=1.5850 bi

4、t/ 符號(hào)1 1 1輸入取佳概率分布如下：-,-,-3 3 31 0第二種：無(wú)噪有損信道，其概率轉(zhuǎn)移矩陣為：P= 0 1 ,離散輸入信道,0 1c m(axI(x;Y» m(axH(Y) h(yix)H(Y|X) 0C聯(lián)洶儀丫)喉仲H(Y)輸出為等概率分布時(shí)可達(dá)到最大值，此值就是信道容量此時(shí)最佳輸入概率：p(a1)+p(a 2)=0.5,p(a 3 )=0.5信道容量：C=log(2)=1 bit/符號(hào)第三種：有噪無(wú)損信道，由圖可知:C maxI(X;Y) maxH(X) H(X|Y)p(x)p(x)H (X |Y) 0c maI(x;Y) maH(X)輸入為等概率分布時(shí)可達(dá)到信道容

5、量，此時(shí)信道容量C= maxH(X)=log(2)=1 bit/p(x)符號(hào) 輸入最佳概率分布:3-3設(shè)4元?jiǎng)h除信道的輸入量X1,2,3,4,輸出量 Y 1,2,3,4, E,轉(zhuǎn)移概率為P(Y i |X i) 1P(Y E |X i)1- £ 0 0 0 £0 1- £ 0 0 £ P=0 0 1- £ 0 £0 0 0 1- £ £1- £0 0 00 1-£ 0 0p1 =0 0 1- £ 00 0 0 1- £其中 i 1,2,3,4eeP2=ee1)該信道是對(duì)稱DMg

6、道嗎2)計(jì)算該信道的信道容量；3)比較該信道與兩個(gè)獨(dú)立并聯(lián)的二元?jiǎng)h除信道的信道容量 (1)本通信過(guò)程的轉(zhuǎn)移概率分布如下所示：1-£ 0 0 0 £P=0 1-£ 0 0 £可以分解為兩個(gè)矩陣:0 0 1- £ 0 £0 0 0 1- £ £1- £ 0 0 0£0 1- £ 0 0 p1 =0 0 1- £ 0p2=0 0 0 1- ££可以看出該信道不是對(duì)稱 DMC言道，它是準(zhǔn)對(duì)稱DMC言道。Nslog Mss(2)該信道的信道容量為：(直接套用準(zhǔn)對(duì)稱信

7、道計(jì)算公式)C log n p(bj |ak)log p(bj | ak)log2(4) H(1, ) (1 )log(1 ) log(4 )2 (1 )log(1)log( ) (1)log(1 ) log(4 )1-2log(-) 2 2 (bit/符號(hào))4(3)兩個(gè)獨(dú)立并聯(lián)的二元?jiǎng)h除信道其轉(zhuǎn)移概率如下:1- £ £ 00 £ 1- £可以寫(xiě)成:1- £ 00 1- ££的形式獨(dú)立并聯(lián)的二元信道的信道容量為兩個(gè)信道容量的和其信道容量為：C 1 H(1-)(1-£)log(1- )Rog(2=1- bit/ 符號(hào)

8、兩個(gè)獨(dú)立并聯(lián)和刪除信道的信道容量=2C=2 2 bit/符號(hào) 本信道的信道容量與兩個(gè)并聯(lián)刪除信道信道容量相等。3-4設(shè)BSC信道的轉(zhuǎn)移概率矩陣為1)寫(xiě)出信息嫡H(Y)和條件嫡H(Y|X)的關(guān)于H( 1)ffi H( 2)表達(dá)式，其中H( ) log (1 )log(1 )。2)根據(jù)H()的變化曲線，定性分析信道的容道容量，并說(shuō)明當(dāng) 12的信道容量。解：(1)設(shè)輸入信號(hào)的概率頒布是p,1-pp(D) p(q) p(bja1)p(a2) p(D | a?)P (11) (1 P) 2p也)p(w) pMla)p(a2) P(b2 1a2)p 1 (1 p) (12)H(Y) p(b)10g p(b

9、1)p(bz)log p(bz)p(11)(1p) 2log p(11)(1p)2p 1(1p)(12)log p 1(1p)(12)Hp (11) (1 p) 22H(Y|X) p(a)p(bj |a)10g p(bj |a) i,j 1p (11)log(1 1) 1log( 1)(1 p)(12)log(12)2log( 2)p H( 1) (1 p) H( 2)(2) H()的變化曲線，是一個(gè)上凸函數(shù)，當(dāng)輸入等概率分布時(shí)達(dá)到信道容量。C nn<axI(X;Y) nnsixH(Y) H(Y|X)嗯XHp (1 i) (1 p) 2 p HJ) (1 p) Ht)由于函數(shù)H ( e

10、)是一個(gè)凸函數(shù)，有一個(gè)性質(zhì)：f( 1 (1 ) 2)f( 1) (1 ) f( 2)可知：C假設(shè)1 2時(shí)此信道是一個(gè)二元對(duì)稱信道，轉(zhuǎn)移概率分布為：1Q 1信道容量：12C 1- log -(1- )log(1-) 1-H()3-5求下列兩個(gè)信道的容量，并加以比較1-p- £ p- £ 2 £p- £ 1-p- £ 2 £1 p p 20p 1 p 0 2第二個(gè):1pp1pp1-p- p-p-2 01-p- e 與 0 2兩個(gè)對(duì)稱形式第一個(gè)：可以寫(xiě)成：1-p-£ p-e與2£p- 1-p-22 2 dog(4 ) b

11、it/ 符號(hào)C1 1 H (1-p-§p-G2e) (1 2 磯og(1C2 1 H(1-p-e,p-a2 (1 2 910g(1 2 ) 2 dog(2 ) bit/ 符 號(hào)C1 C2 20所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。3-6設(shè)信道前向轉(zhuǎn)移概率矩陣為100Q 0 1 p p 0 p 1 p1)求信道容量和最佳輸入概率分布的一般表達(dá)式；2)當(dāng)p 0和p 1/2時(shí)，信道容量分別為多少并針對(duì)計(jì)算結(jié)果做出說(shuō)明(1)此信道為非對(duì)稱信道，設(shè)輸入概率分布為:dR，p3 pi+p2+ p3 1輸出概率分布為：q1,q2, q3 q1+q2+ q3 1C max I

12、(X;Y) maxH (Y) H (Y|X)q1p(D)p(a1) p(b1 |a1) p(az) p(b/a2) p(a3) pObJa?)r 1 p2 0P3 0 Piq2 p(b2)p(d) p(b21a1)p(a2)p(b21a2)p(a3)p(b2 1a3)p10P2(1 p) p3 Pp2 (1p)p3pq3 p(bs)p(a) p(b3|a1)p(a2)p(b31a2)pS?)p(b3 1a3)p10P2Pp3 (1p)p2 pp3(1p)3H(Y|X)P(x)p(yj |x)log P(yj |Xi)i,j 1P1 1 log1P2 (1 P)log(1 p) P2 p log

13、 pP3 plog p P3 (1 p)log(1 p)(P2 P3)(1 P)log(1 p) (P2 P3)plog pC max I (X;Y) maxH(Y) H(Y|X) maxH(q1,q2,q3) P2H(p,1 p) p3H(p,1 p) 心八心八9C c把C又tP1, P2, R分別求導(dǎo)：二7=0 -=0 -=0 ,可得: p1巾223iog(iiog(iP2P3)P2P3)(1 P)iog P2(i(1 p)10g P3(iP)P3Ppiogp2PP3(ip)H(p,ip)0p)P2Ppiogp3PP2(ip)H(p,ip)0可得:P2= P3iog(i 2P2)log P

14、2 H(p,i p) 0可以解得：P21P32H (。，1。)最佳輸入概率分布的表達(dá)式為:12H1。M212H(。,1-。)212H(P,1-P)2設(shè) 2H(P,1P)2Pi = 11 P2=P3= NC max H (Y) H (Y |X)p(x)log N NH(p)1 0(2) p=0時(shí)，Q 0 10 0個(gè)對(duì)稱信道，當(dāng)輸入等概率分布時(shí)可以達(dá)到信道容量，輸入轉(zhuǎn)移概率為1113,3,3N=3,2所以 C (1 -)1og(133)21-log- 1.5850 bit/ 符號(hào)33(3)p=1/2 時(shí)，Q 012121212,可得N=4,111111 1 log log H(,) 1 bit/

15、付節(jié)222422 2 3-7設(shè)BSC©道的前向轉(zhuǎn)移概率矩陣為0.98 0.020.02 0.98設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào)，現(xiàn)在一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中P(0) P(1) 1/2,問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳輸完。解：BSC©道，且輸入為等概率，信道容量C 1 H (0.98,0.02)0.8586 bit/ 符號(hào)14000個(gè)二元符號(hào)的信息量為：14000符log2=14000比特1500符/秒10秒 0.8568比特/符 12852比特 14000比特所以10秒內(nèi)不能無(wú)失真的傳輸完。3-8

16、有m個(gè)離散信道，轉(zhuǎn)移概率矩陣分別為Qi,Q2,L ,Qm。由這m個(gè)離散信道組成一個(gè)新信道，稱為和信道，具轉(zhuǎn)移概率矩陣為:Qi 0 L 00 Q2 L 0QM M O M00LQm設(shè)Ck是第k個(gè)離散信道的信道容量。試證明：和信道的信道容量為mlog2Ckk 1此時(shí)第k個(gè)信道的使用概率為Pk9(Ck C)20解：m=2時(shí)，轉(zhuǎn)移矩陣變?yōu)椋篞=Q1 00 Q2,設(shè)兩個(gè)信道的信道容量分別為:Ci,C2，信道的利用率分別為：Pi,P2并且P1+P2 1 ,并行信道，有C=G+C2p(yj |Xi)p(yj)nmaXpip(Xii)p(yji |布)10gp(X) ii,j i inp(yji Ixi)i2

17、, j2p2P(Xi2)p(yj2|Xi2)iog ipip(yji)p(yj2 |Xi2)p2P(yj2)m(QXpip(Xii)p(yji |Xii)lognp(yji |Xii)p2p(X2)p(yj2 |Xi2)logi2,j2 ip(yji)p(yj2 |Xi2)p(yj2)nc m(?X|(x；Y) maXp(Xi)p(yj|Xi)10gi .j ipi log pi p2 log p2 nnaxpiI(X;Y) p2I2(X;Y) HgR)*Xp£i p2c2 H(pi，p2)分別對(duì)Ci, C2進(jìn)行求導(dǎo)可得：dC八dC八=0=0dpidp2C- 10gpi ='

18、 可得：Ci- 10gp產(chǎn)C2- logp?In2 i C2- iogp2=2Ci - mC2 - m令 Ci - 1ogp1二C2- 1ogp2 m ,可得：Pi=2,p2=2, pi p2iC 2Ci-mCi 2C2-mC22Ci-m log 2Ci-m 2C2-m 1og2C2-m2Ci-mG 2C2-mC2 (Ci - m)2Ci-m (C2- m)2C2-m m(2Ci-m 2C2-m) m(pi p2) m pi=2Ci-C,p2=2C2-C2Ci-C 2C2-C i 2C2Ci 2C2C 10g(2Ci 2C2)m依次類推，可得：C=log(2Ck ) pk 2 c k-ck=i

19、3-9求N個(gè)相同的BSC級(jí)聯(lián)信道的信道容量(1解：N個(gè)相同BSO聯(lián),級(jí)聯(lián)后：QQQinCn0Cn1(1(1N為偶數(shù)時(shí)：QN為奇數(shù)時(shí)：Q可知本信道等同于BSC信道,可得出:H(p,1P)bit/符號(hào)3-10電視圖像由30萬(wàn)個(gè)像素組成，對(duì)于適當(dāng)?shù)膶?duì)比度，一個(gè)像素可取 10 個(gè)可辨別的亮度電平，假設(shè)各個(gè)像素的10個(gè)亮度電平都以等概率出現(xiàn)，實(shí) 時(shí)傳送電視圖像每秒發(fā)送30幀圖像。為了獲得滿意的圖像質(zhì)量，要求信號(hào) 與噪聲的平均功率比值為30dB,試計(jì)算在這些條件下傳送電視的視頻信號(hào) 所需的帶寬。解：,、1P(x i )=:10I (X) log103.32bit/像素1秒內(nèi)可以傳送的信息量為：3.3219bit/像素 30 10000象素 30=2.9897 107bitS 一一SC Blog(1 癡),已知：10log i0(N) 30dBS 3103 N2.9897 107 Blog(1 103)可得：B 2.9995 106HZ3-11 一通信系統(tǒng)通過(guò)