第四章 信道與信道容量

1、 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.1 信道的數(shù)學(xué)描述與分類4.2 單符號信道的信道容量4.3 多符號信道的信道容量4.4 連續(xù)信道的信道容量4.5 Shannon公式的應(yīng)用 信 息 論 基 礎(chǔ) 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.6 比特能量與比特信噪比4.7 功率利用率與頻譜利用率的關(guān)系4.8 有色高斯信道的信道容量4.9 信源與信道的匹配設(shè)計 信 息 論 基 礎(chǔ) 第四章第四章：信道和信道容量信道和信道容量 4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描

2、述與分類 ( The mathematical description and classes of channel) 一、信道的數(shù)學(xué)描述一、信道的數(shù)學(xué)描述 在前面的兩章，我們主要研究了信源的固有屬性以及它的數(shù)學(xué)描述方法。而最終研究目的：主要是解決如何掌握信源發(fā)送信息的最大能力和最有效發(fā)送的條件。這一章我們將討論信息流通的重要環(huán)節(jié)，即承擔(dān)信息傳輸和存儲功能的信道。首先要解決的問題是：信道的客觀屬性及數(shù)學(xué)描述方法；其次討論信道的最大傳送或存儲信息的能力，以及如何達到充分利用信道資源的條件。 實際上我們對信道已有一定的描述，如我們在互信息、條件熵的引出時，都涉及到信道的模型。ChannelX Y

3、N 一般來講，信道都是加性信道，即YXN ，這是因為對于乘性噪聲的數(shù)學(xué)描述尤為困難，所以通常僅以加性取代。4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 條件熵H(Y/X)被稱為噪聲熵(Noise entropy),是由于當(dāng)已知信源X的條件下，信道的輸出還存在不定度時，則此刻它必定是由于信道本身的干擾噪聲所致。 而另一條件熵H(X/Y)則稱為損失熵(Loss entropy)，也有的書稱為信道疑義度(Channel equivocation) 。它所表達的物理意義：當(dāng)信道輸出端Y收到全部的輸出符號之后，對輸入端X尚存的平均不確定度。這種對X還剩下的不定度也是由于傳送過程中，信道干擾機制所致

4、。 先分析這兩個條件熵的概念差別：噪聲熵H(Y/X)所表達的是當(dāng)輸出端Y在X所有情況都確知后，變量Y的不定度。由于信道輸入除了X就是噪聲N，所以此刻Y的不定度就一定是N的熵。這也說明信道的輸出Y還有不定度時，已與信源的變量X毫無關(guān)系，完全是信道內(nèi)部的干擾產(chǎn)生；而損失熵H(X/Y)所表達的含4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類義是當(dāng)輸出端確知所收到的信號Y以后，仍然不明晰輸入端X的情況，即存在有疑義。雖然這也是信道干擾所致，但是由于是隨X的出現(xiàn)而發(fā)生，因而稱為損失熵。 從數(shù)學(xué)角度看其差別并不大，因為H(X/Y)和H(Y/X)是互通的。()() ( )()( )( )p xyP x

5、y p yP y xp xp x 但是要考慮Y=X+N的客觀因素，則條件概率P(Y/X)的物理 意義就很明確了。因為Y的不定度是由X和N所決定，當(dāng)其中一個確知以后，Y的不定度是否完全有另一變量所決定？即：我們可以從數(shù)學(xué)中證明這個關(guān)系：( , )()()( )()( )YNyxnyf x nP y xpyCnf nf yxnthenWhere C=constant npxyP ？4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類()( )()()( )()()()( )()()NNNdnP y xpnpyxpyxp ndyH Y XH NHYXH YH Y XH N，即即噪噪聲聲熵熵。且且例例4

6、-1. 設(shè)信道噪聲為高斯噪聲，且概率密度為：設(shè)信道噪聲為高斯噪聲，且概率密度為：22211( )exp()22nnp nn222211()()exp()22()()log 2ynnnyxnP y xp yxuxduH Y XH Ne ：即即則則高高斯斯噪噪聲聲熵熵。4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 因此，從信道模型來看，條件概率P(y/x)，充分表達出信道的固有干擾屬性，則應(yīng)該成為其恰如其分的數(shù)學(xué)描述?；蛘哒f信道本身所存在的干擾噪聲是產(chǎn)生不定度的唯一來源，它對信息傳輸過程中必然引起信息的損失，這是信道本身的客觀屬性，而與信源和信宿無關(guān)。再有不同的信道應(yīng)存在不同的損失，如果想利

7、用數(shù)學(xué)關(guān)系式描述這種損失，那么P(y/x)一定是最合適的。 所以這就是用P(y/x)來作為信道的數(shù)學(xué)模型的原因。而且，(; )()()( )()( ), (), ,(; )( )()I X YH XH X YH YH Y XF p x P y x A BxAyBABI X Yp xP y xwhere,如如果果給給定定集集合合 和和 ，則則就就是是關(guān)關(guān)于于和和的的函函數(shù)數(shù)。 顯然P(x)反映的是信源屬性，而P(y/x)才是信道的根本屬性。因此，互信息是與信源、信道有關(guān)的量，如果對互信息作一些數(shù)學(xué)處理，設(shè)法使它能直觀地反映信道的某種物理特性，那么它是否將比P(y/x)更具有實用價值？4. 1 信

8、道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 雖然P(y/x)表達的是信道的數(shù)學(xué)模型，但是不能直觀地表達出信道的物理功能能力的大小，這對于評估、優(yōu)化、分析等應(yīng)用都不方便。比如說信息熵H(X)就是表征信源能力大小的量。但是我們不能以條件熵H(Y/X)表征信道本身功能的物理量，因為H(Y/X)僅是噪聲這種物理概念，并不能直觀地代表信道傳送信息功能的大??；而H(X/Y)是損失熵，它反映信息遭受損失的情況，也是間接反映信道的功能屬性。所以我們只得引入一個信道的物理量信道容量信道容量。二、信道容量的定義二、信道容量的定義（Definition of Channel Capacity） 前面論述了P(y/x)僅

9、能描述信道的數(shù)學(xué)屬性,而不是物理屬性。下面尋求一個既能與P(y/x)有關(guān),又要能直觀反映信道傳輸信息的物理特征的物理量。首先，如果說給定一個信道則就意味著給定了P(y/x)以及X、Y取值的集合A和B?；蛘哒f以P(y/x)和A,B可以唯一地確定某一信道的客觀屬性。因此要想構(gòu)造一個有關(guān)信道的物理量，4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類就要與這三個數(shù)學(xué)特征發(fā)生關(guān)系。其次就得與信道的物理功能特征發(fā)生關(guān)系。(; )( ), (), ,I X YF p x P y xA B 上式表明：互信息與信道的輸入、輸出量有關(guān)。如果我們加上一些數(shù)學(xué)限制條件，使它變成僅與 有關(guān)時，它就能變成適合于我們的物

10、理量。下面就是這種數(shù)學(xué)處理： (), ,P y xA B( )( )(;)( ),(),maxmaxdefp xp xCI X YF p xP y xA B 該式表示：在給定 的條件下，調(diào)整P(x)而使互信息達到最大時的值。這種數(shù)學(xué)處理就是求互信息的條件極值問題。(), ,P y xA B 即給定了信道，而調(diào)整(),P y xA B所引入的限制條件：給定 P(x)就意味著信源可以任意改變，是可以不用考慮實際是否允許， 而理想地變化。目的就是為了找一個互信息的最大值，也是為了測試信道的最大傳信能力。很顯然所得到的C就是我們要找的信道物理量，我們稱為信道容量( Capacity)。4. 1 信道的

11、數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 求上確界是為了適應(yīng)極值只能接近某一極限的情況，因此信道容量也可能是一個理論值而已。對于信道容量的定義式，我們可以用集裝箱的例子形象化地比喻出來。 ( )( )(; )()(; )()s p:umaxsupdefp xdefp xyCI X YPxyCI X YPx：，Definition嚴嚴格格的的定定義義這這里里表表示示求求上上確確界界的的數(shù)數(shù)學(xué)學(xué)處處理理。( supremum )4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 信道好比集裝箱，而信源就像不同的貨物，集裝箱的容積不可改變，但是里面的貨物的組成是可以改變。調(diào)整信源就像改變貨物的組成，是可以

12、用于測試集裝箱的最大容積。 信道容量的定義是有了，但是我們還要證明這種定義是否存在和唯一，即用于定義信道容量的互信息的條件極值是否一定存在和這個極值的唯一性。 有定理可證明互信息 I(X;Y) 是信源概率分布 P(x) 的上凸函數(shù) 。1212( )(1)( )( )(1)( )01Ip xpxI p xI pxwhere,唯一性證明:要證明兩種唯一性問題，1. 互信息的極值是唯一的。2. 達到極值C的輸入分布P(x)也一定是唯一的。 這實際上就是上凸函數(shù)的充分必要條件的證明。4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類 三、信道的分類三、信道的分類 ( The classes of ch

13、annel ) 我們給出一種基于信道數(shù)學(xué)描述的分類方法。因為條件概率P(Y/X)是任何信道的數(shù)學(xué)模型，給定P(Y/X)也唯一確定了信道，所以我們說信道的分類應(yīng)該依據(jù)P(Y/X)的性質(zhì)來分。 1211221121 21 2()() 11() 1() 1() 1 0() 1()() ()()011.2.()()3()(.butbut iiiniLLLLP y xP x yP y xP y xP x yP x yorP yyyxP y xP y xP y x P y xP y xP y xP y xP y x P y xxP y xxx無干擾信道無干擾信道有干擾信道有干擾信道無記憶信道有記憶信道4.

14、 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類. 無噪無損信道 即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X與Y一一對應(yīng)情況。 有的書中稱為無損確定信道。則：( )( )(;)()logmaxmaxp xp xCI X YH Xr. 確定信道之一 即 p(y/x)=1但 P(x/y)1 I(X;Y)=H(Y)H(X) X 與Y 有確定性關(guān)系，但不是一一對應(yīng)。()()(;)()logmaxmaxp xp xCI X YH YsXY12xx3x4x5x1rxrx1y2ysy4. 1 信道的數(shù)學(xué)描述與分類信道的數(shù)學(xué)描述與分類XY12yy3y4y5y1ryry1x2xsx.確

15、定信道之二 與上述信道相反，一個X值可能有幾個Y值輸出，但各種X值所對應(yīng)的Y 不重合，即：p(y/x)1但 P(x/y)= 1 or 0 I(X;Y)=H(X)0 and n,mLet: ;r=1Let: C=C(r,r) and Stopr=r+1npi1) 1 (),()(rrCQFromrji),(), 1(rrCrrCYesNo(1)(1, )riFrompC rr 4. 2 單符號信道的信道容量單符號信道的信道容量 五、高斯信道五、高斯信道 (Gaussian Channel) (memoryless continuous alphabet channel with a time d

16、iscrete ) 當(dāng)輸入符號是一個連續(xù)取值，即：x ( ,+)且信道中的干擾噪聲為加性高斯變量 n, additive Gaussian noise2(0,)nnN22211( )exp()2NnnpnP y xyx此信道為高斯信道。22( )()( )()log ()(; )( )()( )( )( )( )max( )log 2log 2( )p xnnI X YH YH Y XH YH YH YH Np xP y xP y x dyH YCHdxp xYdxeeH N 4. 2 單符號信道的信道容量單符號信道的信道容量 顯然，噪聲熵H(N)與輸入變量x無關(guān), 所以在求信道容量的過程中調(diào)

17、整信源分布p(x)的變化對H(N)沒有影響。為此,當(dāng)H(Y)為最大時，才有互信息的最大值信道容量。又因為在求連續(xù)變量x,y的最大熵時，要有一個限定條件，故我們一般設(shè)定輸入功率受限。即：wiP averagepower constrained2max222( )log 211log 2log 2loglog 122wowinwowowiwonnnPPHYePPPCePe and 因此, 在功率受限的條件下, 只有輸入分布為高斯分布時才有可能使輸出分布為高斯分布, 而此刻的輸出熵為最大, 所以獲得高斯信道的信道容量。可以證明高斯信道是干擾最嚴重的一種單符號信道, 并且可得到加性信道的容量上下界。U

18、pper/Lower bound4. 2 單符號信道的信道容量單符號信道的信道容量證明：在信道輸入功率受限的條件下，加性信道的信道容量受限于以下不等式：211loglog(2)()22wowonPCePH NProof:()()()( )()log()( )()log()()NdefNNP y xpyxH Y Xp xP y xP y x dydxp xPyxPyx dydxH NThen2( )( )(; )( )()1max (; )max( )()log(2)()2wowop xp xI X YH YH NE yPCI X YH YH NePH N 即即，信信道道的的交交流流功功率率受受

19、限限。whenthen4. 2 單符號信道的信道容量單符號信道的信道容量以上證明的是加性信道容量的上界：1log(2)()2woCePH N以下證明它的下界： 因為在討論信道容量時可以任意假設(shè)輸入信源的分布，所以因為在討論信道容量時可以任意假設(shè)輸入信源的分布，所以可以假設(shè)輸入變量可以假設(shè)輸入變量X的分布為高斯分布。即，的分布為高斯分布。即，2( ) (0,)xpxN221( )exp()22xwiwiwixPpxPP其其中中def22222( )( )()( )()11()exp()221( )exp,22NNnnwowinwowoq yp x P y x dxp x pyx dxIfletp

20、yxyxyqywhere PPPP （因為兩個正態(tài)變量之和仍是一個正態(tài)變量。因為兩個正態(tài)變量之和仍是一個正態(tài)變量。）2( )1max (; )(; )log2wop xnPCI X YIX YLower bound，即即4. 2 單符號信道的信道容量單符號信道的信道容量( )()( )()(; )( ) ()log( )()( )()( ) ()log( ) ()log( )()( ),NX YX YX Yp xPyxq yP y xIX Yp x P y xdxdyq yPy xq y Py xp x P y xdxdyp x P y xdxdyq yP y x q y 由由于于和和都都是是

21、高高斯斯分分布布密密度度，21log2w onPLow erbound( )log ( )( )log ( )log1p xp x dxq xp x dxxx 2()( )()( )()log( ) () 1( )()( )1( )( )log102( )X YX YwonYP y xq y P y xp x P y xdxdyp x P y xdxdyq yP y x q yPq y q ydyq y= 211loglog(2)()22wowonPCePH NQ.E.D.() ( )1() ( )p y x q yp y x q y4. 2 單符號信道的信道容量單符號信道的信道容量 由此可見

22、，對于同樣的功率條件下非高斯干擾信道的容量要比高斯信道的容量要大。如果把非高斯信道看成高斯信道來考慮，這一定是比較安全的近似。因為高斯干擾是最嚴重的干擾情況，如果高斯信道可以滿足傳輸要求，那么在非高斯情況下也一定滿足要求。只不過這種工程近似是一種比較保守的估計，在非高斯條件下，有時信道容量要比高斯信道大的多。所以這種保守設(shè)計會使信道資源浪費很多，僅在沒有辦法的情況下使用為好，(即沒有條件得知信道噪聲特性的前提下)。第四章第四章：信道和信道容量信道和信道容量4. 3 多符號信道的信道容量多符號信道的信道容量 ( The Capacity of A Multi-Symbol Channel)一、一

23、、Series-Channel 串連信道也稱級聯(lián)信道也稱級聯(lián)信道Channel 1Channel 2XYZ則串連信道的數(shù)學(xué)特性為：()() ()P z xP y x P z y顯然它還是一個單符號信道，而且信道容量有以下限制，121,mi2,n,minssiiCC CCCoriN 注意，串連信道僅是單符號信道的一種擴展，其本質(zhì)還是一個單符號信道。我們把它放在這里主要是為了與并聯(lián)信道好比較，而且為了引出常用的BSC信道的多級級聯(lián)公式。4. 3 多符號信道的信道容量多符號信道的信道容量例例4-7. BSC信道的多級級聯(lián)信道的多級級聯(lián)0 01 11-1-0 01 11-1-0 01 11-1-X1X

24、2X3XN-1XN111(12 )1(12 )12 1(12 )1(12 )1(12 )1(12 )log2,22:defBSCjiNNNNBSCjiNNNNSPPPPCH：設(shè)設(shè)Then 可見N次級聯(lián)后的信道仍是一個二元對稱信道，只不過誤碼率會大大增加，當(dāng)N時可求得級聯(lián)后的信道容量丟失為零。4. 3 多符號信道的信道容量多符號信道的信道容量二、二、ParallelChannel 獨立并聯(lián)信道獨立并聯(lián)信道 指兩個以上的單符號信道相互并聯(lián)組合的情況，僅指各個子信道的轉(zhuǎn)移概率相互獨立的場合 ( Independent) 。 因此在這種條件下組合后的信道稱為：獨立并聯(lián)信道，其數(shù)學(xué)特性為：1 (1 2

25、)1 (1 2 )limlog2lim,221 1log2,02 2NNsNNCHHy 1x1yChannel 1Channel 2Channel Nx2xNx2yNy1()()NiiiP yxP yx 4. 3 多符號信道的信道容量多符號信道的信道容量 先討論最簡單的并聯(lián)信道：y 1x1yChannel 1Channel 2x2x2y112212()() ()pP y xP yx P yxCCC then1122(; )(;)(;)I X YI X YI X Y ：首首先先證證明明設(shè)單符號信道 Ch.1的輸入、輸出變量的取值集合為：1111121112,nmxAaaayBbbb設(shè)單符號信道

26、Ch.2的輸入、輸出變量的取值集合為：2222122212,nmxAaaayBbbb令它們的信道特性為：1122()()defdefjijij ijiPP ybxaPP ybaxnda ()jij iPyxP P 4. 3 多符號信道的信道容量多符號信道的信道容量1122121 21122( ; )(;)log:(; )loglog(;)logjijiiijijiXYjjiiiijjjjjijiijiiijijiXYXYjjjiijiiijijiXYXYjP PI X YI X X YYp P Pqpp pqq qPPI X YpPp P PqqPI X Yp Pp P Pq Note1122

27、log(; )(;)logjijjijiiijijiXYjjPqP PI X YI X Yp P Pq q 112iiiiiXXXXppp 4. 3 多符號信道的信道容量多符號信道的信道容量1122/(; )(;)(;)loglogloglogjij ijij iiijij iiijij iXYXYjjjjjjjjiijij iiijj iiXYXYjjjjI X YI X YI X YP PP Pp P Pp P Pqq qq qq qp P Pp Pqq /121212,(),()()jij ijj iijjiiiijj iijjXXwhereP PPP yb bxaaandp Pp x

28、x y yq y yq 1122log10(; )(;)(;)jjjjjjjjYYjjjjq qq qqqqqI X YI X YI X Y 可見聯(lián)合互信息不大于各子信道互信息之和，最多相等。如果適當(dāng)?shù)剡x取P(X1X2)的分布，而使得互信息I(X1X2;Y1Y2)為最大值，即并聯(lián)信道的信道容量，也一定滿足以上互信息間的不等式。4. 3 多符號信道的信道容量多符號信道的信道容量12PCCC，所所以以也也有有 問題是以上不等式在什么條件下等號成立，由于不等號的引入是來自不等式 Log x x-1 ，當(dāng)且僅當(dāng)x=1時等式成立。即，jjjjqq q時時，等等式式成成立立。121212121212121

29、211221211221112221( )()() ()( )( ) ()() ()() () ()() () () ()() ()() ()()XXXletXXXyy yp yp y yp yp yp yp x P y xp x x P y yx xp x x P yx P yxp x p xP yx P yxp x P yxp x P yxp yp ：這這說說明明了了等等式式成成立立的的條條件件可可以以變變換換成成2()y獨立并聯(lián)信道特性只有各個分量相互統(tǒng)計獨立4. 3 多符號信道的信道容量多符號信道的信道容量1212112212( )()() ()(; )(;)(;)Pp xp x xp

30、 xp xI X YI X YI XYCCC 只只有有當(dāng)當(dāng)時時，才才有有：等等式式成成立立。and 同理，以上結(jié)論很容易推廣到N個單符號信道并聯(lián)組合模式： 則N個符號的并聯(lián)信道也有，121121()(),( )() ()()( ):NjijiNPNiiNNiiPiPPCCCCCp xp x p xp xp xCNCCNCifThenor4. 3 多符號信道的信道容量多符號信道的信道容量 三、三、SumChannel 和和信道信道 這種組合信道看起來與并聯(lián)信道相似，但它們的輸入、輸出不同，前者是隨機變量 ；而后者是隨機矢量。先看它的數(shù)學(xué)描述：當(dāng)輸入x的集合看成是由若干個子信道的輸入變量子集的和時

31、，即： Channel 1Channel 2Channel N1x2xNx1y2yNysXsY( )( )( )12,iiiiinxaaa12(1)(1)(1)(2)(2)(2)( )( )( )121212( )( )( )121,isiiisnnnNsssnsxaaaaaaaaaaaathen 這也表明在任何時刻，最多只有一個子信道在工作(或稱被占用)，這種通信方式在保密通信中是比較常見。如跳頻通信模式。4. 3 多符號信道的信道容量多符號信道的信道容量111111()(; )()()log()()()()()();()1;1sssssnmNjissijisssijsjssjjsjinnN

32、ssssjijiisiisP baI X Yp a P ba pp p bpp bbP bap bp a P bap ap，為為選選擇擇第第 個個子子信信道道傳傳送送的的概概率率。為為第第 個個子子信信道道被被占占用用時時，符符號號 的的出出現(xiàn)現(xiàn)概概率率。為為第第 個個子子信信道道的的數(shù)數(shù)學(xué)學(xué)s ss ss s特特性性。where,and(1)(1)(1)1(1)1(2)(2)(2)2(2)2()( ; )( )()log( )()( )()log( )jiijiijjjiijiijjPb aI X Ypa Pb a pp pbPb apa Pb a pp pb例例： N=24. 3 多符號信

33、道的信道容量多符號信道的信道容量12121222222:log222NNNCCCCCCCCCCCaaaaCifthbit/senymbol 可以證明和信道的信道容量C與各子信道的信道容量 CS 之間存在著以下關(guān)系式：211loglog2sSC -CC -CssP = aif :P2Cbit/symbolssNNCCassCaC，：，即即：如如并并且且可可證證明明當(dāng)當(dāng)其其中中每每個個子子信信道道被被占占用用的的概概率率為為時時和和信信道道將將達達到到其其信信道道容容量量：4. 3 多符號信道的信道容量多符號信道的信道容量 可以看出,和信道的容量資源浪費巨大,但為了安全可靠地通信，就只得以容量為代

34、價來換取某種通信性能指標(biāo)的突破。利用犧牲某種指標(biāo)來換取另一種指標(biāo)，這在通信系統(tǒng)的設(shè)計中是常有的事。( )sip a 同樣可推出當(dāng)達到和信道的信道容量C時C 其最佳輸入分布將與各子信道使用概率PS和達到此子信道容量的最佳輸入分布 之間存在著以下關(guān)系式：1maxosisiPa= P PaNssssCCCC；顯顯然然，而而且且，( (證證明明從從略略) )第四章第四章：信道和信道容量信道和信道容量 其實這個題目太大，我們僅討論連續(xù)信道最簡單的一種限頻（帶）、限功率的高斯信道。4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 ( The Capacity for Gaussian Channel wit

35、h Power and Bandwidth Constrained )y 1x1yChannel 1Channel 2Channel Nx2xNx2yNyN Ch. (i)xy 問題的提出：4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 前面我們已討論過由多個單符號信道組合成一個獨立并聯(lián)信道，已達到在單位時間內(nèi)傳送多個符號的目的。注意這僅是在單位時間內(nèi)位時間內(nèi), ,占用占用N個單符號信道來實現(xiàn)傳送個單符號信道來實現(xiàn)傳送N個符號的功能。要達個符號的功能。要達到這個目的到這個目的, 是否還可以設(shè)想由是否還可以設(shè)想由N個符號組成一個無記憶序列個符號組成一個無記憶序列, 由由一個單符號信道來傳送，只不

36、過將其速率提高一個單符號信道來傳送，只不過將其速率提高N倍而已。要保證倍而已。要保證在原來傳送一個符號的時間內(nèi)傳送在原來傳送一個符號的時間內(nèi)傳送N個符號，這種改造后的單符個符號，這種改造后的單符號信道其容量應(yīng)是原來的號信道其容量應(yīng)是原來的N倍。倍。 下面所要討論的時間連續(xù)信道，就是以單符號信道來過渡到多符號信道實現(xiàn)按序列傳輸?shù)牡湫屠?。采用我們一貫的把?fù)雜問題簡單化的策略，將一隨機過程變換成隨機矢量，進而簡化成無記憶序列問題。同樣我們?nèi)詫?shù)學(xué)描述最簡單，但實際干擾最嚴重的平穩(wěn)高斯過程入手，即對時間上連續(xù)的高斯信道進行分析。 以前所提到的高斯信道是僅指對樣點具有正態(tài)分布的單符號信道(在時間上是離

37、散的)。而下面所提到的信道是指信道所允許4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量的輸入信號是一個隨機過程X(t,)，而且信道本身的干擾噪聲也是一個隨機過程N(t, )。因此我們對時間連續(xù)的高斯信道還要加一頻譜條件，這就是白色噪聲特性。總起來講，高斯信道的噪聲特征：加性白色高斯干擾噪聲。(Additive White Gaussian Noise) 因此高斯信道一般稱為AWGN信道，它是干擾最嚴重的信道。 高斯特性與白色特性，這是兩種完全不同的概念。所謂高斯噪聲是指噪聲的每一時刻樣點取值的概率分布滿足正態(tài)分布規(guī)律；這僅是針對樣點而言，而頻譜特性則是反映隨機過程不同時刻的樣點之間相互關(guān)系的量

38、。所謂白色特性是指一個隨機過程x(t), 如果其功率受限，即： ；則它的功率譜密度(power spectral density)若滿足以下條件：22( )xExt 0( )0NfBG ffB，我們則稱此頻譜條件為白色特性。4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 而白色高斯噪聲是同時具備正態(tài)和白色兩種特性的噪聲：0n( )p n2n0Bf()G f0N2n2nBBRn22sin)(2 對于平穩(wěn)隨機過程還有一時域統(tǒng)計規(guī)律，這就是自相關(guān)函數(shù)(autocorrelation function)它的數(shù)學(xué)定義為：( )( ) ()() ( )RE n t n tn tn t dt4. 4 連續(xù)信

39、道的信道容量連續(xù)信道的信道容量0Bf()G f0N2n2nBBRn22sin)(2 因為功率譜密度與自相關(guān)函數(shù)是一對關(guān)函數(shù)是一對Fourier Transform，所以所以知其中一個必知另一個。00( )( )2( )cos11( )( )( )cos2jjSRedRdRSedSd 0( )0NfBG ffB2sin2( )2nnBRB 4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 顯然，當(dāng) 則每個分量 之間的相關(guān)性，可以從自相關(guān)函數(shù)中得到。如果每個分量之間的時間間隔為 ，而每個 1/2F, 則自相關(guān)函數(shù) R( )=0 , 說明每個分量之間相互獨立。123Lxx x xxix222122si

40、n2()sin()02()nnLBTBTBTBB kkR kB kk是是限限制制的的帶帶寬寬。即即取取樣樣時時間間間間隔隔因因此此, ,。ifletwhere 如果將隨機過程N(t , ),分解成由2FT個分量所構(gòu)成的隨機序列，則我們一定可以將L個分量之間都彼此相互獨立，這也就為我們構(gòu)造一個無記憶序列創(chuàng)造了條件。 給定一個AWGN信道，就是所引入的干擾噪聲N(t , )，具有白色頻譜，每個樣點具有相同的概率分布，即零均值正態(tài)分布；而對于非白高斯信道，則是頻譜特性不在保持平坦性，但概率仍是正態(tài)分布，我們則稱為有色高斯信道。 4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 下面再討論AWGN信道的

41、信道容量問題：設(shè)輸入該信道的信號 功率受限，即：22( )1( )0 xE x tfBK ffB andWhere: K(f ) is frequency response characteristic of channel. 其中K(f)是該信道的頻響特性。有了這種頻響特性就意味信道 對其輸入的信號有了限帶要求, (相當(dāng)于信號通過一個低通濾波器) ，所以輸入AWGN信道的信號也是一個帶寬受限，功率受限的信號。 我們已經(jīng)了解到對于限頻、限時的隨機過程.一定可以分解成L維的隨機矢量, 而且L2BT個分量之間也可以實現(xiàn)彼此相互獨立。122( ,)() (0,)LlxX txx xxp xNif4.

42、 4 連續(xù)信道的信道容量連續(xù)信道的信道容量122221:( )(1,2,)AWGN1()()()exp22()()LlllllllNllnnLlllyxn tyy yyyxnlLyxP yxpyxP y xP yx 又又按按照照信信道道的的特特性性：whereand22,1log(1)2lllxlnx ynC對對于于每每個個樣樣點點，和和 可可以以構(gòu)構(gòu)成成單單符符號號信信道道的的容容量量： 這就是說當(dāng)xl為零均值的高斯變量時，互信息I(xl;yl)才有最大值。而且當(dāng)要傳送L個變量xl時，按照獨立并聯(lián)信道應(yīng)得下式：4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 由于當(dāng)且僅當(dāng)每個輸入變量之間相互獨

43、立，才有等號成立。22log(1)2xAWGNlnLCLC12222222( )() ()()2log(1)log(1)log(1)22LxxxAWGNnnnp xp x p xp xLBTCBTif 所以上述信道容量表達出傳輸持續(xù)時間為T，頻帶帶寬為B；且輸入功率受限的白色高斯信道的容量。有時我們常常以單位時間內(nèi)的最大互信息為信道容量的標(biāo)準(zhǔn)，故：22log(1)defxTnCB如果將方差寫成功率譜的形式：220 xnSN Band220220log(1)log(1)log(1)log(1)xnxTnSCBTBTN BSCBBN B4. 4 連續(xù)信道的信道容量連續(xù)信道的信道容量 以上是AWGN

44、信道的容量公式，也稱為Shannon公式公式。它是信息論最早應(yīng)用于實際工程設(shè)計的結(jié)論之一，對通信系統(tǒng)的設(shè)計與應(yīng)用起到了不可估量的指導(dǎo)作用。00000000;1lim ln(1)()ln 2()ln 2xTSBNBxxSSTCB TNBNSTNSSCBNBNSN N atbitN at/secw h ebnT h enorit/sec第四章第四章：信道和信道容量信道和信道容量 Shannons Formula 它所涵蓋的幾種物理概念，對我們實際工程設(shè)計都非常有用，所以我們加重討論它的應(yīng)用，以加深大家對信息論的認識。首先我們恢復(fù)這個定理的原貌及達到定理的條件。Theorem: Let the ou

45、tput of a continuous time channel be given by the sum of the input and white Gaussian noise of spectral density N0 . Let theInput be power constrained to S and let the input be constrained over some time interval T to be a linear combination of 2BT orthogonal functions. Then the capacity of the chan

46、nel per unit time is given by:4. 5 Shannon公式的應(yīng)用公式的應(yīng)用 ( The Application of Shannons Formula )0log(1)TSCBN B4. 5 Shannon公式的應(yīng)用公式的應(yīng)用This is Shannons famous formula for the capacity of a additivewhite Gaussian noise channel with a band-limited power-limitedinput .Corollary: The capacity per unit time of

47、a AWGN channel withthe input power constrained to S and with the number of degreeof freedom unconstrained is given by000/sec/seclogln 2BTSNSCeSNNNatBit4. 5 Shannon公式的應(yīng)用公式的應(yīng)用 以上是Shannon公式的兩種形式，這里可看出有關(guān)信道的統(tǒng)計特征C和實際物理量：帶寬B、持續(xù)時間T以及輸入信噪比都聯(lián)系在一起。這無疑給我們的實際應(yīng)用帶來了很大的指導(dǎo)作用。下面我們一一分析如下： . CT is directly proportional

48、 to B . 即CT與B成正比。帶寬越寬，信道所允許傳輸?shù)男畔⒕驮蕉啵坏?dāng)B時，則C本身將不在提高了，非常接近一常量?？梢妰H靠采用擴展帶寬的方法來提高信道容量，當(dāng)達一定程度后就行不關(guān)于Shannon公式的討論200200log(1)log(1)loglog(1)log(1)logBnBTnSSSTCBTBTeN BNSSSCBBeN BN4. 5 Shannon公式的應(yīng)用公式的應(yīng)用通了，其原因：200nSBN BN B 還還要要受受到到噪噪聲聲功功率率的的約約束束。CBCT0logSeN. If B be given, then CT is directly proportional to

49、signal-noise ratio (S/ n) .2TnSC即 ，. When signal-noise ratio (S/ n) is very lower than 1, then CT is not equal to null . 當(dāng)輸入信噪比遠遠地小于1時，則CT 不為零；這說明此刻信道仍具有傳輸信息的能力。即對于弱信號而言，也同樣有通信的可能性。比如人類可以從火星以外的空間收回飛船發(fā)出的信息。4. 5 Shannon公式的應(yīng)用公式的應(yīng)用 即，在信道容量C保持不變的條件下，信道帶寬B，傳輸時間T和輸入信噪比S/ n 之間，可以互相補償(互換)。 (). 三個物理量中當(dāng)信噪比S/ n

50、 不變，則B T 反之 T B。這說明擴展帶寬可以縮短傳輸時間，而延長時間就可 以降低帶寬要求。 (). 如果傳輸時間T保持不變，則(S/ n ) B ，反之 B (S/ n ) 。即，在同樣的時間內(nèi)，如果擴展帶寬，就可以 降低對信道信噪比的要求；而當(dāng)壓縮帶寬時，則意味著必須提 高信噪比。顯然對于干擾嚴重的信道，在保證同樣的傳信率要 求下，則應(yīng)該需要比較寬的信道傳輸。 實際上，這也反映出在信息傳輸過程中的一對矛盾：. If C be maintained at a constant , then B, T and S/ n can compensate each other .4. 5 Sha

51、nnon公式的應(yīng)用公式的應(yīng)用 在實際工程中我們也經(jīng)常利用這三者的互換關(guān)系來達到不同的目的。比如收音機的調(diào)頻波段FM,帶寬B比調(diào)幅波段AM要寬的多，所以抗干擾性好適合于收聽音樂節(jié)目，但其傳輸效率低。又比如為了能在窄帶電纜中傳輸電視節(jié)目(因條件所限)，我們采用增加傳輸時間T來壓縮電視信號的帶寬 (目前的彩信業(yè)務(wù)也是這種機制) 。方法是先把電視信號快速錄制到錄像帶上，然后再慢放錄像帶，使得輸出頻帶降低至能使窄帶電纜傳輸?shù)乃俾?，最后再接收端采用慢錄快放的方式恢?fù)原來的電視圖象。而象一般的可視電話都不可能得到實時的動態(tài)圖象，而是動畫效果。還有海軍的潛水艇上的通信手段，往往是一種突發(fā)式的通信機制(模式)

52、有效性 efficiency ：(; )defTTIX YC 可靠性 reliable ：0eSpN B4. 5 Shannon公式的應(yīng)用公式的應(yīng)用 就是要在極短的時間內(nèi)將大量的信息發(fā)送出去，可想其收發(fā)電臺 的帶寬要求非同尋常。 .The AWGN is the must endanger for channel with additive noise . 即在加性信道的條件下，白色高斯噪聲是危害最大的干擾噪聲。因此對于那些不是白色高斯噪聲信道來說，其信道容量一定要大于Shannon公式所給出的結(jié)果。 例例48. 若市話網(wǎng)中的輸出信噪比大于若市話網(wǎng)中的輸出信噪比大于6dB時，此電時，此電話線的

53、信道容量為多少？話線的信道容量為多少？22222222log610lg0.6lglog 10log0.6 log 10 1.99wowowonnnwonPPPdBPbits4. 5 Shannon公式的應(yīng)用公式的應(yīng)用 23log(3400300) 1.9960007.2)woTnTPCBRGRC在（的的速速率率下下，傳傳真真機機根根本本不不可可能能在在當(dāng)當(dāng)時時的的市市話話網(wǎng)網(wǎng)中中應(yīng)應(yīng)用用。bits/seckbit/secThen226144/secnPdBISDNkbit目目前前我我們們市市話話網(wǎng)網(wǎng)的的信信噪噪比比, ,所所以以電電話話線線上上傳傳輸輸速速率率大大大大增增強強。如如果果使使用用

54、方方式式線線路路速速率率可可達達。 此例告訴我們違反常規(guī)的工程設(shè)計，就應(yīng)該在計劃實施之前制止，而不是計劃實施之后。所以類示信息論的這樣的理論工作在可行性分析中能發(fā)揮出它的巨大作用。第四章第四章：信道和信道容量信道和信道容量 比特比特能量能量Eb是根據(jù)信息能量和消息中的信息比特數(shù)是根據(jù)信息能量和消息中的信息比特數(shù)計算得來。設(shè)有一計算得來。設(shè)有一 k bit的信息包含在持續(xù)有限時間的信息包含在持續(xù)有限時間T 的的消息波形消息波形S ( t ) 之中之中, 則該消息的能量為：則該消息的能量為： 4. 6 比特能量與比特信噪比比特能量與比特信噪比 ( Bit energy and Bit signal

55、 to noise ratio) 20TmES tdt則比特能量定義為：則比特能量定義為：mbEWEb itk而對于碼率為而對于碼率為R(bit/S)的數(shù)據(jù)流，則：的數(shù)據(jù)流，則：sbPER其中其中Ps 是消息的平均功率，定義為：是消息的平均功率，定義為： 0log 1log 1sbosTbTPE RNN FPCFNERCFNF則：0log 1bTECRFNF即： 設(shè)一含噪信號，其單邊功率譜為設(shè)一含噪信號，其單邊功率譜為N0 (W/Hz) ，若用，若用比特信噪比（比特誤差率）比特信噪比（比特誤差率） Eb /N0 來表示信道容量：來表示信道容量：msEPT4. 6 比特能量與比特信噪比比特能量與

56、比特信噪比如果設(shè)定如果設(shè)定r是頻譜利用率，其定義為：是頻譜利用率，其定義為： 00log1log1bbTEECRrFNFN則 ： 可見頻譜利用率可見頻譜利用率r和功率利用率和功率利用率(Eb /N0 )將作為數(shù)字將作為數(shù)字通信系統(tǒng)中兩個重要的質(zhì)量指數(shù)通信系統(tǒng)中兩個重要的質(zhì)量指數(shù) 。s e cd e fRb itrH zF4. 6 比特能量與比特信噪比比特能量與比特信噪比TCRFF顯然要保證可靠通信，必要確立顯然要保證可靠通信，必要確立20021log1rbbEErrNNr或第四章第四章：信道和信道容量信道和信道容量 在評估一個通信系統(tǒng)性能時，系統(tǒng)的功率利用率和在評估一個通信系統(tǒng)性能時，系統(tǒng)的功

57、率利用率和頻譜利用率是兩個最重要的指標(biāo)。頻譜利用率是兩個最重要的指標(biāo)。 功率利用率是在給定比特率的條件下用功率利用率是在給定比特率的條件下用比特信噪比比特信噪比（即每比特能量與白噪聲的單邊功率譜密度的比值（即每比特能量與白噪聲的單邊功率譜密度的比值Eb /N0 )來衡量，此值越小說明系統(tǒng)的功率利用率越高，可表明此來衡量，此值越小說明系統(tǒng)的功率利用率越高，可表明此系統(tǒng)利用所發(fā)送信號功率的能力。系統(tǒng)利用所發(fā)送信號功率的能力。 例如在二進制數(shù)字載波調(diào)制系統(tǒng)中，例如在二進制數(shù)字載波調(diào)制系統(tǒng)中，BPSK的功率利的功率利用率要高于用率要高于BFSK和和BASK的制式。的制式。 4. 7 功率利用率與頻譜利

58、用率的關(guān)系功率利用率與頻譜利用率的關(guān)系 ( The Relation for Power availability and Spectrum availability)一、功率和頻譜利用率的定義一、功率和頻譜利用率的定義4.7 功率利用率與頻譜利用率的關(guān)系功率利用率與頻譜利用率的關(guān)系 頻譜利用率頻譜利用率定義為系統(tǒng)所傳輸?shù)男畔⑺俾识x為系統(tǒng)所傳輸?shù)男畔⑺俾蔙與系統(tǒng)帶寬與系統(tǒng)帶寬 F 的比值的比值r，此值越高說明系統(tǒng)的頻譜利用率越大，因此它表明此值越高說明系統(tǒng)的頻譜利用率越大，因此它表明系統(tǒng)在單位頻帶上傳輸信息的效率。系統(tǒng)在單位頻帶上傳輸信息的效率。20021log1rbbEErrNNr或 例如

59、：在相同帶寬條件下，多進制調(diào)制要比二進制調(diào)制例如：在相同帶寬條件下，多進制調(diào)制要比二進制調(diào)制具有更高的頻譜利用率。具有更高的頻譜利用率。 如多電平正交調(diào)幅如多電平正交調(diào)幅(MQAM)和多電平相移鍵控和多電平相移鍵控(MPSK）。 一個好的通信系統(tǒng)應(yīng)該是具有高的功率利用率和頻譜利用率。但是這兩個指標(biāo)往往是相互矛盾的，即高的功率利用率要導(dǎo)致低的頻譜利用率出現(xiàn)，或者相反。因此在設(shè)計通信系統(tǒng)時往往在則兩個指標(biāo)之間進行權(quán)衡考慮。021rbENr0bENr可靠通信可靠通信可能區(qū)域可能區(qū)域可靠通信可靠通信不可能區(qū)域不可能區(qū)域1122434535(W/Hz)bps/Hz4.7 功率利用率與頻譜利用率的關(guān)系功率

60、利用率與頻譜利用率的關(guān)系 對應(yīng)于對應(yīng)于頻譜利用率頻譜利用率與與功率利用率關(guān)系曲線功率利用率關(guān)系曲線告訴我們增加每告訴我們增加每單位帶寬的比特率單位帶寬的比特率r與隨之要增加所需的每比特的能量與隨之要增加所需的每比特的能量Eb。這就。這就是數(shù)字通信理論中能量與帶寬的交換關(guān)系。是數(shù)字通信理論中能量與帶寬的交換關(guān)系。 在固定信息速率的前提下在固定信息速率的前提下, ,增加帶寬可以降低對功率的要求。增加帶寬可以降低對功率的要求。0000limln 1(/ln 2ln 2ln693)20.xsTsbbTbxxPCbitNPE RE RRCNENS又這就是這就是AWGN信道實現(xiàn)可靠通信的信道實現(xiàn)可靠通信的