信息論與編碼原理 信道與信道容量

1、第3章信道與信道容量q信道分類和表示參數(shù)q離散單個(gè)符號(hào)信道及其容量q離散序列信道及其容量q連續(xù)信道及其容量13.1信道分類和表示參數(shù)n信道分類 用戶數(shù)量：?jiǎn)斡脩簟⒍嘤脩?輸入端和輸出端關(guān)系：無(wú)反饋、有反饋 信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參 噪聲種類： 隨機(jī)差錯(cuò)、突發(fā)差錯(cuò) 輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、波形信道23.1信道分類和表示參數(shù)n信道參數(shù)3號(hào)之間統(tǒng)計(jì)的依賴關(guān)系來(lái)描述信道輸入輸出信條件概率輸出矢量為輸入矢量為設(shè)信道)(,),(,),(121121Y/XYXpbbXYY，YaaXXXXmjjnii信道種類有干擾有記憶信道有干擾無(wú)記憶信道無(wú)干擾信道3213.1信道分類和表示參數(shù)n二

2、進(jìn)制對(duì)稱信道（BSC）4pppp11P 1-p 1-p p p 0 1 1 0 3.1信道分類和表示參數(shù)n離散無(wú)記憶信道5nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 3.1信道分類和表示參數(shù)n離散輸入、連續(xù)輸出信道6222/)(21)/(iayiYeayp + X Y G 3.1信道分類和表示參數(shù)n波形信道7 + x(t) y(t) n(t) )()(),()(),()/(),/,()/(,2121npxpnxpxpyxpxypxxxyyypxypnxyxxyxYLLYY3.2離散單個(gè)符號(hào)信道及其容量n信息傳輸率 信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔?/p>

3、量定義為信息傳輸速率 R=I(X;Y)=H(X)H(X/Y) 比特/符號(hào) Rt=I(X;Y)/t 比特/秒n信道容量 比特/符號(hào)（bits/symbol或bits/channel use） 8);(max)(YXICiap3.2離散單個(gè)符號(hào)信道及其容量n無(wú)干擾離散信道的信道容量9X Y X Y X Y 1 1 1 1 1 1 1 1 1 1 1 1 1(a) 無(wú)噪無(wú)損信道 (b) 無(wú)噪有損信道 (c) 有噪無(wú)損信道部分理想化的無(wú)干擾離散信道3.2離散單個(gè)符號(hào)信道及其容量X、Y一一對(duì)應(yīng) CmaxI(X;Y)log n多個(gè)輸入變成一個(gè)輸出 CmaxI(X;Y)maxH(Y)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出 C

4、maxI(X;Y)maxH(X)103.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱DMC信道定義輸入對(duì)稱 如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對(duì)稱輸出對(duì)稱 如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱對(duì)稱對(duì)稱的的DMC信信道道 如果輸入、輸出都對(duì)稱113.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱DMC信道例子1231316161616131312161313121616131213.2離散單個(gè)符號(hào)信道及其容量輸入對(duì)稱13輸出對(duì)稱無(wú)關(guān)與iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijj

5、ijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(3.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱信道容量14)/()(max)|()(max)|()(max);(max)()()()(XYHYHXYHYHYXHXHYXICiiiiapapapapmjijijippmaYHmC1loglog)|(log3.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量153131616161613131P符號(hào)/082. 0)61,61,31,31(4log2bitHC3.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量16111111111nnnnnnP 信道輸

6、入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1，錯(cuò)誤概率被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例)1,1,1 (lognnHnC3.2離散單個(gè)符號(hào)信道及其容量n二進(jìn)制對(duì)稱信道容量 C1H（）1700.20.40.60.8100.20.40.60.813.2離散單個(gè)符號(hào)信道及其容量n串聯(lián)信道18信道 1 信道 2 信道 m串聯(lián)信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)3.2離散單個(gè)符號(hào)信道及其容量nEg.設(shè)有兩個(gè)離散BSC信道串接，兩個(gè)BSC信道的轉(zhuǎn)移矩陣如下，求信道容量191121PP222221)1

7、()1 (2)1 (2)1 (1111PPP3.2離散單個(gè)符號(hào)信道及其容量n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)2000 .5100 .20 .40 .60 .81m = 1 m = 2 m = 3 3.2離散單個(gè)符號(hào)信道及其容量n準(zhǔn)對(duì)稱DMC信道 如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道213/16/13/16/16/16/13/13/11P7 . 01 . 02 . 02 . 01 . 07 . 02P3.2離散單個(gè)符號(hào)信道及其容量n準(zhǔn)對(duì)稱DMC信道容量 對(duì)于準(zhǔn)

8、對(duì)稱對(duì)于準(zhǔn)對(duì)稱DMC信道，當(dāng)輸入分布為等概分布時(shí)，互信息達(dá)到最大值，即為信道容量22)/()(max)|()(max);(max)()()(XYHYHYXHXHYXICiiiapapap3.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量232 . 05 . 03 . 02 . 03 . 05 . 0P 方法一： 信道的輸入符號(hào)有兩個(gè)，可設(shè)p(a1)，p(a2)1信道的輸出符號(hào)有三個(gè)，用b1、b2、b3表示ijijbapbp)()(2 . 0)1 (2 . 02 . 0)(2 . 05 . 0)1 (5 . 03 . 0)(2 . 03 . 0)1 ( 3 . 05 . 0)(321bpbpbp

9、0);(YXI符號(hào)/036. 0);(maxbitYXIC3.2離散單個(gè)符號(hào)信道及其容量n方法二 當(dāng)p(a1)p(a2)1/2時(shí)，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號(hào)24n方法三 將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集rkkksMNpppHnC121log) , , (log n為輸入符號(hào)集個(gè)數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和，r是互不相交的子集個(gè)數(shù)3.2離散單個(gè)符號(hào)信道及其容量n方法三252 . 05 . 0

10、3 . 02 . 03 . 05 . 0P2 . 02 . 0,5 . 03 . 03 . 05 . 0符號(hào)/036. 04 . 0log2 . 08 . 0log8 . 0) 2 . 0 , 3 . 0 , 5 . 0(2log222bitHC3.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量263/16/13/16/16/16/13/13/11P符號(hào)/041. 0)6/16/1 (log6/1)3/13/1 (log3/1)6/13/1 (log)6/13/1 ()6/1 , 6/1 , 3/1 , 3/1 (2log2222bitHC3.2離散單個(gè)符號(hào)信道及其容量n一般DMC信道 197

11、2年由R.Blahut和A.Arimoto分別獨(dú)立提出的一種算法，現(xiàn)在稱為Blahut-Arimoto算法 I(ai;Y) = C 對(duì)于所有滿足p(ai ) 0條件的I I(ai;Y) C 對(duì)于所有滿足p(ai ) = 0條件的I當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集p(ai)中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外273.3離散序列信道及其容量 n離散序列信道 28信道 p(Y/X) Y X X=(X1X2XL) Xla1,a2,an Y=(Y1Y2YL)Yl b1,b2,bm3.3離散序列信道及其容量 n離散無(wú)記憶序列信道 29LlllLLXYpXXYYp

12、p111)/()/()/(XY1 1 1 1 1進(jìn)一步信道是平穩(wěn)的 )/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL3.3離散序列信道及其容量 n離散無(wú)記憶序列信道 301 1 1 1 1如果信道無(wú)記憶 如果輸入矢量X X中的各個(gè)分量相互獨(dú)立 LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX當(dāng)信道平穩(wěn)時(shí)CL=LC1，一般情況下，I(X X;Y Y) LC13.

13、3離散序列信道及其容量 n擴(kuò)展信道 如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無(wú)記憶序列信道 311 1 1 1 1BSC的二次擴(kuò)展信道 X X00,01,10,11，Y Y00,01,10,11，二次擴(kuò)展無(wú)記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p200101101000110113.3離散序列信道及其容量 n擴(kuò)展信道321 1 1 122222222)1 ()1 ()1 ()1 ()1

14、 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若p0.1，則C220.9381.062比特/序列 3.3離散序列信道及其容量 n獨(dú)立并聯(lián)信道 序列的轉(zhuǎn)移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL) 331 1 1 1X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2 XL p(YL/XL) YL LlllYXII1);();(YXLllLCIC112);(maxYX3.4 連續(xù)信道及其容量 n連續(xù)單符號(hào)加性信道 34x (x

15、R) p(y/x) y (yR)連續(xù)單符號(hào)信道 npn(n)N(0, 2) 平均互信息為I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY) 信道容量)/()(max);(max)()(XYHYHYXICCCxpxp2)()(2log21)(max)()(maxeYHnHYHCCxpCCxp噪聲是均值為零、方差為2的加性高斯噪聲 3.4 連續(xù)信道及其容量 n連續(xù)單符號(hào)加性信道 35pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以pX(x)N(0,S) )1log(21log212log212log21222SPeePCC1/2 log(

16、1+SNR) 信道輸入X是均值為零、方差為S的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值 若是加性的，可以求出信道容量的上下界 )(2log21)1log(212nHePCSC3.4 連續(xù)信道及其容量 n多維無(wú)記憶加性連續(xù)信道 36信道輸入隨機(jī)序列XX1X2XL，輸出隨機(jī)序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲 加性信道 輸入序列 x 輸出序列 y 高斯噪聲 n XX1X2XL YY1Y2YL n=n1n2nL + X1 Y1=X1+n1 X1 + X2 Y2=X2+n2 + XL YL=XL+nL 3.4 連續(xù)信道及其容量 連續(xù)單符多維無(wú)記憶高斯加性

17、信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道號(hào)加性信道 37LlllLlLLPYXII121)1log(21);();(YXLlllpPIC12)()1log(21);(maxYXx比特/L維自由度 因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為Pl的高斯變量時(shí)，才能達(dá)到此信道容量 3.4 連續(xù)信道及其容量 n討論38均值為零、方差相同 )1log(22SLC均值為零、方差不同，總平均功率受限 LllLiiLPC1212log213.4 連續(xù)信道及其容量 n討論39PPXEXELllLllLll11212LllLlllLPPPPPf11221)1log(21),(LlPPPPfl

18、L, 2 , 1, 0),(21LlPll, 2 , 1, 01212LlPll, 2 , 1,212各個(gè)時(shí)刻的信道輸出功率相等設(shè)為常數(shù) LPll22122lLiillLPP3.4 連續(xù)信道及其容量 neg有一并聯(lián)高斯加性信道，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0 402122232425262728292103.4 連續(xù)信道及其容量 n限時(shí)限頻限功率加性高斯白噪聲信道 41波形信道的平均互信息為 )()()(lim)/()(lim)/()(lim);(lim)();(XYYXXYYYXXYXCCCLCCLCCLLHHHHHHHItytxI信道容量為 sbitItCBtptB/);(1limmax)(YXx3.4 連續(xù)信道及其容量 n限時(shí)限頻限功率加性高斯白噪聲信道 42限頻(W)高斯白噪聲過(guò)程可分解L2WtB維統(tǒng)計(jì)獨(dú)立的