信息論與編碼理論-第3章信道容量-習(xí)題解答-071102

1、. 1 / 13 第 3 章信道容量習(xí)題解答3-1 設(shè)二進(jìn)制對稱信道的轉(zhuǎn)移概率矩陣為2/ 31/ 31/ 32/ 3解: (1) 若12()3/ 4, ()1/ 4p ap a，求(),( ),(|),(|)h xh yh xyh yx和(;)i x y。ii2i=13311h(x)=p(a )log p(a )log()log()0.8113(/)4444bit符號111121221212222jjj=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755h

2、(y)=p(b )log(b )=log()log()0.9799(/)12121212bit符號22ijjijiji,h(y|x)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log( )log( )0.9183(/)3333i jjbit 符號i(x;y)=h(y)h(y|x)=0.97990.91830.0616(/)bit 符號h(x|y)=h(x)i(x;y)=0.81130.06160.7497(/bit 符號)(2) 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布。二進(jìn)制對稱信息的信道容量. 2 / 13 h(p)=-plog(p)-(

3、1-p)log(1-p)1122c=1-h(p)=1+log() +log()=0.0817(bit/)3333符bsc 信道達(dá)到信道容量時，輸入為等概率分布，即：0.5 ，0.5 注意單位3-2 求下列三個信道的信道容量及其最佳的輸入概率分布。1b2b3b3a2a1ayx1b2b3a2a1ayx1b2b2a1ayx3b11111110.70.3第一種：無噪無損信道，其概率轉(zhuǎn)移矩陣為：1 0 0p= 0 1 00 0 1信道容量：()max (;)p xci x y bit/符號( )( )( )( )max (;)max()(|)(|)0max (;)max()p xp xp xp xci

4、x yh xh x yh xyci x yhx離散無記憶信道 (dmc) 只有輸入為等概率分布時才能達(dá)到信道容量，c=log3=1.5850bit/ 符號輸入最佳概率分布如下：1 1 1,3 3 3第二種：無噪有損信道，其概率轉(zhuǎn)移矩陣為：1 0p= 0 10 1，離散輸入信道，()()()( )max (; )max( )(|)(|)0max (; )max( )p xp xp xp xci x yh yh y xh y xci x yh yh(y)輸出為等概率分布時可達(dá)到最大值，此值就是信道容量. 3 / 13 此時最佳輸入概率：123p(a )+p(a )=0.5,p(a )=0.5信道容

5、量：c=log(2)=1bit/符號第三種：有噪無損信道，由圖可知：( )( )( )( )max (;)max()(|)(|)0max (;)max()p xp xp xp xci x yh xh x yh x yci x yh x輸入為等概率分布時可達(dá)到信道容量，此時信道容量p(x)c= maxh(x)=log(2)=1 bit/符號輸入最佳概率分布：1 1,2 23-3 設(shè) 4 元刪除信道的輸入量1,2,3,4x，輸出量1,2,3,4,ye，轉(zhuǎn)移概率為(|)1(|)1- 0 0 0 0 1- 0 0 p=0 0 1- 0 0 0 0 1-1- 0 0 0 0 1- 0 0 p1= p2=

6、0 0 1- 0 0 0 0 1-p yixip ye xi其中1,2,3, 4i1）該信道是對稱 dmc 信道嗎？2）計(jì)算該信道的信道容量；3）比較該信道與兩個獨(dú)立并聯(lián)的二元刪除信道的信道容量。（1）本通信過程的轉(zhuǎn)移概率分布如下所示：. 4 / 13 1- 0 0 0 0 1- 0 0 p=0 0 1- 0 0 0 0 1-可以分解為兩個矩陣：1- 0 0 0 0 1- 0 0 p1= p2=0 0 1- 0 0 0 0 1-可以看出該信道不是對稱dmc 信道，它是準(zhǔn)對稱dmc 信道。（2）該信道的信道容量為： （直接套用準(zhǔn)對稱信道計(jì)算公式）2log(|)log(|)loglog (4)(1

7、, )(1)log(1)log(4 )2(1)log(1)log( )(1)log(1)log(4 )12log()22 (/)4jkjkssjscnp bap banmhbit符號（3）兩個獨(dú)立并聯(lián)的二元刪除信道其轉(zhuǎn)移概率如下：1- 00 1-可以寫成：1- 00 1-與的形式獨(dú)立并聯(lián)的二元信道的信道容量為兩個信道容量的和。其信道容量為：1(1- , )(1- )log(1- ) log(2 )=1-chbit/ 符號兩個獨(dú)立并聯(lián)和刪除信道的信道容量=2c=22bit/符號本信道的信道容量與兩個并聯(lián)刪除信道信道容量相等。3-4 設(shè) bsc信道的轉(zhuǎn)移概率矩陣為112211q1）寫出信息熵( )

8、h y和條件熵(|)h y x的關(guān)于1()h和2()h表達(dá)式，其中( )log(1)log(1)h。2）根據(jù)( )h的變化曲線，定性分析信道的容道容量，并說明當(dāng)12的. 5 / 13 信道容量。解： （1）設(shè)輸入信號的概率頒布是p,1-p 111121212()()(|)()(|)(1)(1)p bp ap bap ap bapp212122212()()(|)()(|)(1)(1)p bp ap bap ap bapp11221212121212( )()log()()log()(1)(1)log(1)(1)(1)(1)log(1)(1)(1)(1)h yp bp bp bp bpppppp

9、pph pp2,1111222212(|)()(|)log(|)(1)log(1)1log()(1)(1)log(1)log()()(1)()ijijii jh y xp ap bap bappp hph（2）( )h的變化曲線，是一個上凸函數(shù)，當(dāng)輸入等概率分布時達(dá)到信道容量。( )( )1212( )max (;)max()(|)max(1)(1)()(1)()p xp xp xci x yh yh y xh ppphph由于函數(shù) h（）是一個凸函數(shù)，有一個性質(zhì)：1212(1)()(1)()fff可知：c假 設(shè)12時此 信 道 是一 個 二 元 對稱 信 道 ，轉(zhuǎn) 移 概 率分 布 為 ：1

10、1q. 6 / 13 信道容量：121-log-(1-)log(1-)1-( )ch3-5 求下列兩個信道的容量，并加以比較。1-p-p-2p- 1-p- 2120102pppp第一個：可以寫成：1-p- p-p- 1-p-與2211(1-p- ,p- ,2 )(12 )log(12 )2 log(4 )chbit/符號第二個：120102pppp1-p- p-p- 1-p-與2 00 2兩個對稱形式21(1-p- ,p- ,2 ,0)(12 )log(12 )2 log(2 )chbit/符號122 0cc所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。3-6 設(shè)信道前向轉(zhuǎn)移概

11、率矩陣為1000101qpppp1）求信道容量和最佳輸入概率分布的一般表達(dá)式；2） 當(dāng)0p和1/ 2p時， 信道容量分別為多少？并針對計(jì)算結(jié)果做出說明。. 7 / 13 （1）此信道為非對稱信道，設(shè)輸入概率分布為：123123p ,p , p p +p + p1輸出概率分布為：123123q ,q , q q +q + q11111121231312312212122232312323331max(;)max( )(|)()()(|)()(|)()(|)100()()(|)()(|)()(|)0(1)(1)()()ci x yh yh y xqp bp ap bap ap bap ap bap

12、pppqp bp ap bap ap bap ap bapppppppppqp bp a3123233312323(|)()(|)()(|)0(1)(1)p bap ap bap ap bappppppppp3,1122332323(|)()(|)log(|)1 log1(1)log(1)loglog(1)log(1)()(1)log(1)()logijijii jh y xp xp yxp yxppppppppppppppppppppp12323max(; )max( )(|)max(,)( ,1)( ,1)ci x yh yh y xh q q qp h ppp h pp把 c對 p1，p

13、2，p3 分別求導(dǎo)：123 c c c=0 =0 =0 p p p，可得：232323233232log(1)(1)log(1)log(1)( ,1)0log(1)(1)log(1)log(1)( ,1)0pppppp ppp ppph pppppppp ppp ppph pp可得： p2 = p3 22log(12)log( ,1)0pph pp可以解得：23(,1)122h pppp. 8 / 13 最佳輸入概率分布的表達(dá)式為：(,1- )( ,1-)(,1- )2111,22 22 22h pph pph pp設(shè)(,1)22hppn則123( )21 p =1 p =p =nnmax(

14、)(|)22212(1)log(1)log()p xch yh y xhpnnnnn（2）p=0時，100010001q是一個對稱信道， 當(dāng)輸入等概率分布時可以達(dá)到信道容量，輸入轉(zhuǎn)移概率為1 1 1,3 3 3n=3 ，所以2221(1)log(1)log1.58503333cbit/符號（3）p=1/2 時，1001102211022q，可得 n=4 ，111111 1loglog(,)1222422 2chbit/符號3-7 設(shè) bsc 信道的前向轉(zhuǎn)移概率矩陣為0.980.020.020.98q設(shè)該信道以 1500 個二元符號秒的速度傳輸輸入符號，現(xiàn)在一消息序列共有 14000個二元符號，

15、并設(shè)在這消息中(0)(1)1/ 2pp，問從信息傳輸?shù)? 9 / 13 角度來考慮， 10秒鐘能否將這消息序列無失真地傳輸完。解：bsc 信道，且輸入為等概率，信道容量1(0.98,0.02)0.8586chbit/符號14000個二元符號的信息量為：14000log2=14000符比特1500/100.8568/12852符 秒秒比特 符比特 14000 比特所以 10 秒不能無失真的傳輸完。3-8 有 m個離散信道， 轉(zhuǎn)移概率矩陣分別為12,mq qq 。由這 m個離散信道組成一個新信道，稱為和信道，其轉(zhuǎn)移概率矩陣為：12000000mqqqq設(shè)kc 是第k個離散信道的信道容量。試證明：和

16、信道的信道容量為1log2kmckc此時第k個信道的使用概率為()2kcckp。解：m=2時, 轉(zhuǎn)移矩陣變?yōu)?:12q 0q=0 q，設(shè)兩個信道的信道容量分別為：12,c c ，信道的利用率分別為：1212p ,pp +p1并且，并行信道，有 c=c1+c2. 10 / 13 ( )(),1111111()1, 1 1112222222, 2 122(|)max (;)max() (|)log()(|)max()(|)log()(|)()(|)log()njiijip xp xi jjnjiijip xijjnjiijiijjp yxci x yp xp yxp yp yxp p xp yxp

17、 p yp yxp p xp yxp p y111111()1, 1 112222222, 2 1211221212()112212()(|)max()(|)log()(|)() (|)log()loglogmax(;)2(;)(,)max(,)njiijip xijjnjiijiijjp xp xp yxpp xp yxp yp yxpp xp yxp yppppp i x yp ix yhppp cp ch pp分別對 c1，c2進(jìn)行求導(dǎo)可得：121122dcdc=0 =0dpdp1clogp =in21clogp =in2-可得：1122clogp =clogp-令1122clogp =

18、clogpm-，可得：12cmcm1212p =2,p =2,pp1-12112212121212121212cmcmcmcmcmcm12cmcmcmcm1212cmcm12cc12ccccccccc222log22log 222(cm)2(cm)2(22)(pp )p =2,p =2221222log(22)cccccccmmmc-依次類推，可得：kkmc c ckk=1c=log( 2 ) p2-. 11 / 13 3-9 求n個相同的 bsc級聯(lián)信道的信道容量。解：n個相同 bsc 級聯(lián)，設(shè)11001(1)10110iq級聯(lián)后：111.111q1010101(1)10101010. (1

19、)0101nnninnnqqccn為偶數(shù)時：0 1101 001nqn為奇數(shù)時：0 1011 010nq可知本信道等同于bsc信道，可得出：(,1)ch pp bit/符號3-10 電視圖像由 30 萬個像素組成，對于適當(dāng)?shù)膶Ρ榷龋粋€像素可取10個可辨別的亮度電平， 假設(shè)各個像素的 10 個亮度電平都以等概率出現(xiàn)， 實(shí)時傳送電視圖像每秒發(fā)送30 幀圖像。為了獲得滿意的圖像質(zhì)量， 要求信號與噪聲的平均功率比值為30db ，試計(jì)算在這些條件下傳送電視的視頻信號所需的帶寬。解：i1p(x )=10()log103.32/i xbit像素1 秒可以傳送的信息量為：. 12 / 13 3.3219/bitbit7像素30 10000像素30=2.9897 1010336log(1),:10log()3010log(1 10 ):2.9995 10sscbdbnnsnbbhz7已知2.9897 10可得3-11 一 通信 系統(tǒng) 通過 波 形 信 道 傳 送 信 息 ， 信 道 受 雙 邊 功