信息論基礎(chǔ)-曹雪虹-第三章-課后習(xí)題及答案

1、3.1 設(shè)二元對稱信道的傳遞矩陣為32313132(1 若P(0 = 3/4, P(1 = 1/4,求H(X, H(X/Y, H(Y/X和I(X;Y; (2 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布;解: 1sym bolbit Y X H X H Y X I sym bol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I sym bolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p sym bolbit x y

2、p x y p x p X Y H sym bolbit x p X H jj ij.032413143/(/(5833.031413243/(/(/ 918.0 10log 32lg 324131lg 314131lg 314332lg 3243( /(log /(/(/ 811.04122221122max (;log log 2(lg lg log 100.082 /3333mi C I X Y m H bit symbol=-=+=其最佳輸入分布為1(2i p x =3-2某信源發(fā)送端有2個符號,i x ,i =1,2;(i p x a =,每秒發(fā)出一個符號。接受端有3種符號i y ,

3、j =1,2,3,轉(zhuǎn)移概率矩陣為1/21/201/21/41/4P =。 (1 計(jì)算接受端的平均不確定度;(2 計(jì)算由于噪聲產(chǎn)生的不確定度(|H Y X ; (3 計(jì)算信道容量。解:1/21/201/21/41/4P =聯(lián)合概率(,p x y (1(log 2log log 24141H Y a a=+-211161log 2log log 24141a a a a -=+-+ 211111log 2log16log log 244141a a a a -=+-+ 23111log 2log log 24141a a a a-=+-+ 取2為底2223111(log log 24141a a

4、H Y bit a a-=+-+ (211111111(|log log log log log 2222224444aa a a a H Y X -=-+3(1log 2log 22a a -=-+3log 22a -=取2為底3(|2aH Y X bit -=2(111max (;max (|max log 2log log 24141i i i p x p x p x aa a c I X Y H Y H Y X a a -=-=+ -+取e 為底2111(ln 2ln ln 24141a a a a a a-+-+21121111ln 2ln (24141411a a a a a a

5、a -=+-+-+ 221112ln 2ln 22(14141a a a a a a -=+-+- 111ln 2ln 241a a-=+ = 01114a a -=+ 35a =91311131log 2log log 2541454c =+- 312531log 2log log 10416204=+3153log 2log log 2102410=+- 15log 24=3.3 在有擾離散信道上傳輸符號0和1,在傳輸過程中每100個符號發(fā)生一個錯誤,已知P(0=P(1=1/2,信源每秒內(nèi)發(fā)出1000個符號,求此信道的信道容量。解:由題意可知該二元信道的轉(zhuǎn)移概率矩陣為:=為一個BSC 信道

6、所以由BSC 信道的信道容量計(jì)算公式得到:211log (log 2log0.92/11000920/seci i it C s H P p bit sign p C C C bit t=-=-=3.4 求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)e =0和1/2時的信道容量C 的大小。解: 信道矩陣P=-e 1e 0e e 10001-,此信道為非奇異矩陣,又r=s,可利用方程組求解31(|j i j j P b a b =å=31(|log (|j i j i j P b a P b a =å (i=1,2,3123230(1(1log(1log (1log (1

7、log(1b e b eb e e e e eb e b e e e e ì=ïïï-+=-+íïï+-=+-ïïî 解得10b =23(1log(1log b b e e e e =-+X 0Y 01 1 1221-e1-ee e所以 C=log2j jbå=log20+2×2(1-e log(1-e +log e e =log1+21-H(e =log1+2(1(1e e -ee 2311(11(2(13211(2212(112(1(212(1(2(C C H C C P

8、 b P b P b P b e e e e e b e e b b e e e e e e -ìïï=ïï+-+ïïï-ïï=íï+-ïïï=ïïïïïî 而 31(|j i j i i P b P a P b a =å (j=1,2,3得11223323(1(1P b P a P b P a P a P b P a P a e e e e ì=ï

9、9;ï=-+íïï=+-ïïî 所以 P(a 1=P(b 1=(1112(1e ee e -+-2323(1(1(12(1P a P a P b P b e ee ee e e e -=+- 當(dāng)e =0時,此信道為一一對應(yīng)信道,得C=log3, 1231(3P a P a P a =當(dāng)e =1/2時,得 C=log2, 11(2P a =,231(4P a P a =3.5 求下列二個信道的信道容量,并加以比較(1 -22p p p p (2 -2002p p p p其中p+p =1解:(1此信道是準(zhǔn)對稱信道,信道矩陣中Y

10、可劃分成三個互不相交的子集 由于集列所組成的矩陣-p p p p ,22而這兩個子矩陣滿足對稱性,因此可直接利用準(zhǔn)對稱信道的信道容量公式進(jìn)行計(jì)算。 C1=logr-H(p1 p2 p3-Mk k N k log 21=其中r=2,N1=M1=1-2 N2=2 M2=4 所以 C1=log2-H(-p ,p-,2-(1-2log(1-2-2log4=log2+(-p log(-p +(p-log(p-+2log2-(1-2log(1-2-2log4 =log2-2log2-(1-2log(1-2+(-p log(-p +(p-log(p- =(1-2log2/(1-2+(-p log(-p +(

11、p-log(p- 輸入等概率分布時達(dá)到信道容量。(2此信道也是準(zhǔn)對稱信道,也可采用上述兩種方法之一來進(jìn)行計(jì)算。先采用準(zhǔn)對稱信道的信道容量公式進(jìn)行計(jì)算,此信道矩陣中Y 可劃分成兩個互不相交的子集,由子集列所組成的矩陣為-p p p p ,2002這兩矩陣為對稱矩陣 其中r=2,N1=M1=1-2 N2=M2=2,所以 C=logr-H(p -,p-,2,0-=21log k Mk Nk=log2+(p -log(p -+(p-log(p-+2log2-(1-2log(1-2-2log2 =log2-(1-2log(1-2+( p -log(p -+(p-log(p- =(1-2log2/(1-2

12、+2log2+(p -log(p -+(p-log(p- =C1+2log2輸入等概率分布(P (a1=P (a2=1/2時達(dá)到此信道容量。比較此兩信道容量,可得C2=C1+2log23-6 設(shè)有擾離散信道的傳輸情況分別如圖3-17所示。求出該信道的信道容量。XY1/2 圖3-17解:1122對稱信道log (|i C m H Y a =-1 = log 4 × 2 log 2 2 取 2 為底 C = 1 bit/符號 3-7 (1 條件概率 ，聯(lián)合概率 ，后驗(yàn)概率 p ( y0 := 1 3 ， p( y1 := 1 2 ， p( y2 := 1 6 （2） H(Y/X= （3）

13、 當(dāng)接收為 y2，發(fā)為 x1 時正確，如果發(fā)的是 x1 和 x3 為錯誤，各自的概率為： P(x1/y2= ，P(x2/y2= ，P(x3/y2= 5 5 1 1 3 5 其中錯誤概率為： Pe=P(x1/y2+P(x3/y2= （4）平均錯誤概率為 1 5 + 3 5 = 0.8 （5）仍為 0.733 （6）此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率 x1-y1 的概率 0.5 有一半失真 x2-y2 的概率 0.3 有失真嚴(yán)重 x3-y3 的概率 0 完全失真 （7） H(X/Y= 1 6 Log( 2 + 1 10 Log( 5 + 1 15 Log 2 1 3

14、5 1 5 1 5 + Log + Log( 5 + Log + Log( 10 + Log = 1.301 10 10 2 15 2 10 3 30 3 5 3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬 3kHz，又設(shè)(信號功率+噪聲功率/ 噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率 Ct。 解： 3. 9 在圖片傳輸中，每幀約有 2.25 10 個像素，為了能很好地重現(xiàn)圖像，能分 16 個亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送一幀圖片所需信 道的帶寬（信噪功率比為 30dB） 。 解： 6 H = log 2 n = log 2 16 = 4 bit / symbol I

15、 = NH = 2.25 × 10 6 × 4 = 9 × 10 6 bit = 10 I 9 × 10 6 Ct = = = 1.5 ×10 5 bit / s t 60 P Ct = W log1 + X P N 1.5 × 10 5 W= = = 15049 Hz PX log 2 (1 + 1000 log1 + P N Ct 3-10 一個平均功率受限制的連續(xù)信道，其通頻帶為 1MHZ，信道上存在白色高斯噪聲。 （1）已知信道上的信號與噪聲的平均功率比值為 10，求該信道的信道容量； （2）信道上的信號與噪聲的平均功率比值降至 5，要達(dá)到相同的信道容量，信道通頻帶應(yīng) 為多大？ （3）若信道通頻帶減小為 0.5MHZ 時，要保持相同的信道容量，信道上的信號與噪聲的