信道容量PPT課件

1、概述 信息論對信道研究的內(nèi)容 什么是信道？ 信道的作用 研究信道的目的 本章學(xué)習(xí)達(dá)到的目的第1頁/共86頁概述 信息論對信道研究的內(nèi)容：信息論對信道研究的內(nèi)容： 信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個隨機(jī)過程來描述 信道容量 不同條件下充分利用信道容量的各種辦法第2頁/共86頁概述 什么是信道什么是信道？ 信道是傳送信息的載體信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；聽收音機(jī)，收、發(fā)間的空間就是信道。 信道的作用信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。第3頁/共86頁概述 研究信道的目的

2、研究信道的目的 實現(xiàn)信息傳輸?shù)挠行院涂煽啃?有效性：充分利用信道容量 可靠性：通過信道編碼降低誤碼率 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。 通信技術(shù)研究信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性 信息論研究信息的傳輸問題（假定傳輸特性已知）第4頁/共86頁概述 本章達(dá)到的目的本章達(dá)到的目的 了解信息論研究信道的目的、內(nèi)容 了解信道的基本分類并掌握信道的基本描述方法 掌握信道容量的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 能夠計算簡單信道的信道容量（對稱離散信道、無記憶加性高斯噪聲信道） 了解信道容量在

3、研究通信系統(tǒng)中的作用 理解無噪信道編碼的物理意義 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途第5頁/共86頁3.1信道的數(shù)學(xué)模型和分類 信道分類信道分類從工程物理背景傳輸媒介類型；從數(shù)學(xué)描述方式信號與干擾描述方式；從信道本身的參數(shù)類型恒參與變參；從用戶類型單用戶與多用戶；第6頁/共86頁離散無記憶連續(xù)信號類型半離散有記憶半連續(xù)無干擾：干擾少到可忽略；無源熱噪聲信號與干擾類型線性疊加干擾 有源散彈噪聲脈沖噪聲干擾類型有干擾交調(diào)乘性干擾 衰落碼間干擾信道的數(shù)學(xué)模型和分類第7頁/共86頁恒參信道（時不變信道）信道參量類型變參信道（時變信道）信道的數(shù)學(xué)模型和分類二用戶信道（點(diǎn)對點(diǎn)通信）用戶類型多用戶信道

4、（通信網(wǎng)）第8頁/共86頁 信道的數(shù)學(xué)模型和分類其中： c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。信源編碼媒介譯碼信宿干擾C1C2C3C4AB信信道道劃劃分分是是人人為為的的！第9頁/共86頁信道的數(shù)學(xué)模型和分類 信道描述信道描述 信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：即： ， ， ，它可簡化為： 。, ( )X p x , ( )Y p y(/)P YX, ( )X p x(/)P YX , ( )Y p y, (), X PY第10頁/共86頁信道的數(shù)學(xué)模型和分類其中： 1111

5、()()()()( )( )nmnmxxyyXYp xp xp yp yp xp y入出信道ixX1,2, injyY1,2,jm1111()()()()mnmnP yxP yxPP yxP yx第11頁/共86頁3.2 單符號離散信道的信道容量n信道容量的定義n幾種特殊離散信道的信道容量n離散信道容量的一般計算方法第12頁/共86頁信道容量的定義 互信息與信道輸入概率分布的關(guān)系性質(zhì)1 ：I(X;Y)是信道輸入概率分布p(x)的上凸函數(shù). 信息量與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì)2 ： I(X;Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凸函數(shù). 信道容量的定義： 單位時間的信道容量：()max (;

6、)ip xCI X Y()1max (; )()itp xCI X Yt比特/秒單符號離散信道的信道容量第13頁/共86頁幾種特殊離散信道的信道容量 離散無噪信道的信道容量 強(qiáng)對稱離散信道的信道容量 對稱信道的信道容量 準(zhǔn)對稱信道的信道容量單符號離散信道的信道容量第14頁/共86頁離散無噪信道的信道容量 具有擴(kuò)展性能的無噪信道無損信道 矩陣中每一列僅有一個非零元素 H（X/Y）=0；H（Y/X）0 I（X；Y）= H （X） H （Y） 信道容量：x1y1y2x2y3y4x3y5y61/21/23/53/101/1011/21/20000P= 003/53/101/100000001()()C

7、=max (; )max()logiip xp xI X YH Xn單符號離散信道的信道容量第15頁/共86頁離散無噪信道的信道容量 具有并歸性能的無噪信道確定信道 矩陣中每一行僅有一個非零元素 H（Y/X） =0； H （X/Y） 0 I（X；Y）= H （Y） H （X） 信道容量：100100010P=0100100011y1x1x2y2x3x4y3x5x611111()()C=max (; )max( )logiip xp xI X YH Ym單符號離散信道的信道容量第16頁/共86頁離散無噪信道的信道容量 具有一一對應(yīng)關(guān)系的無噪信道既無損又確定 矩陣中每一行每一列僅有一個非零元素 H

8、（Y/X） =0； H （X/Y） =0 I（X；Y）= H （Y）= H （X） 信道容量：100P= 010001y1x1x2y2x3y3111()()C=max (; )max()logiip xp xI X YH Xn單符號離散信道的信道容量第17頁/共86頁強(qiáng)對稱離散信道的信道容量單符號離散信道的信道容量111111n npppnnpppPnnpppnnn強(qiáng)對稱信道或均勻信道n矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性）n錯誤分布是均勻的，為p/(n-1)n信道輸入與輸出符號數(shù)相等第18頁/共86頁強(qiáng)對稱離散信道的信道容量單符號離散信道的信道容量(; )(

9、 )( /)I X YH YH YXn強(qiáng)對稱信道的信道容量1111( /)( ) (/)log(/)( )( /)( /)( )( /)log(1)log11loglog1nnijijiijnniiiiiiiH YXp x p yxp yxp x H Y xH Y xp xH Y xppppnnnppppn 對稱性()()(; )( )(loglog)1maxmaxiip xp xpCI X YH Ypppn 第19頁/共86頁強(qiáng)對稱離散信道的信道容量單符號離散信道的信道容量1( )log()( )jH Ynp yH Yn，當(dāng)時達(dá)到最大值n強(qiáng)對稱信道的信道容量1( ) (/),1,2,njij

10、iip yp x p yxjn要獲得這一最大值，通過公式尋找相應(yīng)的輸入概率分布()由于矩陣的對稱性，當(dāng)輸入符號等概分布時，輸出符號一定是等概分布的。C=logloglog()1pnpppn比特/信道符號當(dāng)輸入等概分布時，強(qiáng)對稱離散信道達(dá)到信道容量第20頁/共86頁對稱離散信道的信道容量單符號離散信道的信道容量n對稱信道的信道容量n矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性）2(; )( )( /)( )( ,)imI X YH YH YXH YH q qq2()max (; )log( ,)iimp xCI X YmH q qq當(dāng)輸入等概分布時，對稱離散信道達(dá)到信道

11、容量第21頁/共86頁準(zhǔn)對稱離散信道的信道容量單符號離散信道的信道容量n準(zhǔn)對稱信道的信道容量n矩陣的每一行是第一行的重排列n信道矩陣P不滿足對稱條件，但P=（ P1 Pr Ps）且所有Pr滿足對稱性條件1111248811114288P 12()?12C = max( )(,)log(,)imp xmH YH q qqmH q qq第22頁/共86頁準(zhǔn)對稱離散信道的信道容量單符號離散信道的信道容量 將H(Y)中的m項分成s個子集M1, M2, Ms,各子集分別有m 1, m 2, m s個元素（ m 1+ m 2+ m s= m ）,則111()()()( )()log ()()log()()

12、log()()log()jkjjsmsjjjjjkp yMjjjjp yMp yMH Yp yp yp yp yp yp yp yp y ()()(),1,2,jkjp yMkkp ykp yksm令第 個集合的概率平均值第23頁/共86頁準(zhǔn)對稱離散信道的信道容量單符號離散信道的信道容量()()()()()()ln()1(ln1(0)()()()()0jkjkjkkkjjp yMp yMjjkkjp yMp yp yp yp yxxxp yp ym p yp y1( )()log ()skkkkH Ym p yp y ()()()log()()log()()log()jkjkjjjkp yMp

13、 yMkkkp yp yp yp ym p yp y 121()log ()(,)skkkmkCm p yp yH q qq ： 。準(zhǔn)對稱信道的信道容量為當(dāng)信道輸入等概分布時達(dá)到信道容量第24頁/共86頁準(zhǔn)對稱離散信道的信道容量(補(bǔ)充)121()log ()(,)skkkmkCm p yp yH q qq 1()( ) (/)(/)(X)(jijijiXXp yp x p yxp yxrPjrr ）為等概分布中第 列元素之和/為輸入符號數(shù)()()()()jkjkjp yMp yMkkkkkkkkkp yPjrp ymmmMPrMPmMPCrr （）中第 列元素之和/對應(yīng)的 中列元素之和對應(yīng)的

14、中元素對稱對應(yīng)的 中列元素之和第25頁/共86頁準(zhǔn)對稱離散信道的信道容量(補(bǔ)充)12112112111211()log ()( ,)log( ,)loglog( ,)loglog( ,)loglogskkkmkskkkmksskkkkkmkkskkmkskkkCm p yp yH q qqCCmH q qqrrCCmCmrH q qqrrMPPCrH q qqrrMPC 行對應(yīng) 中元素之和中元素之和對應(yīng) 中元素之和12121( ,)loglog( ,)mskkmkrH q qqrRCH q qq（）=行對稱第26頁/共86頁求信道的信道容量準(zhǔn)對稱離散信道的信道容量單符號離散信道的信道容量111

15、1248811114288P 11111 11 11 1 1 1log2 ()log() ()log()( , , , )24248 88 82 4 8 833 11111111log2loglogloglog2log44442244880.0612()CH 比特/信道符號第27頁/共86頁離散信道容量的一般計算方法單符號離散信道的信道容量I(X;Y)是p(x)的上凸函數(shù)，故極大值一定存在，約束條件：1)(iixp引進(jìn)一個新函數(shù)(;)()1iXIXYpx其中為拉格朗日乘子（待定常數(shù)）解方程組(;)()10()()()1iXiiiXIXYpxpxpxpx 可先求解出達(dá)到極值的概率分布和的值，然后

16、再求解出信道容量第28頁/共86頁離散信道容量的一般計算方法單符號離散信道的信道容量ijjijijiypxypxypxpYXI)()/(log)/()();(iijijxypxpyp)/()()(eypxypeypxpypxpjijjijilog)()/(log)(ln)()(log)(; )( )(/)(/)(/)log() (/)log()()(/)(/)loglog()ijijijikjkjkjjjjijijjI X Yp xp yxp yxp yxp xp yxep yp yp yxp yxep y第29頁/共86頁方程組變?yōu)椋篿ijjijijxpeypxypxyp1)(log)()/

17、(log)/( 設(shè)解得使I(X;Y)達(dá)到極值的輸入概率分布為p1,p2,.,pr.方程組第一個式子中的前r個方程式兩邊同乘以pi，并求和得ijjijijieypxypxypplog)()/(log)/(即：eClog離散信道容量的一般計算方法單符號離散信道的信道容量第30頁/共86頁(/)(/)loglog()jijijjp yxp yxeCp y 令可求解出 ，繼而求得信道容量：21log2jmjC離散信道容量的一般計算方法單符號離散信道的信道容量11(/)log(/)(/) log()mmjijijijjjp yxp yxp yxp yC2log()jjp yC 有211(/)(/)log

18、(/)mmjijjijijjp yxp yxp yxj第31頁/共86頁 注意：在第（2）步求出C后，必須解出相應(yīng)的 ，并確認(rèn)所有的 ，所求的C才存在。離散信道容量的一般計算方法單符號離散信道的信道容量211(/)(/)log(/)mmjijjijijjp yxp yxp yx（1）由，求 ；j（2）由21log2jmjC，求C ；（3）由()2jCjp y，求 ；()jp y（4）由1()( ) (/)njijiip yp x p yx( )ip x，求 ；( )ip x( )0ip x第32頁/共86頁離散信道容量的一般計算方法求信道容量C。單符號離散信道的信道容量101P第33頁/共86

19、頁121101 log10 log000 1212(1)log(1)log(1)loglog(1)log (1)1 （1 1）122log2log1 (1)jmjC （2 2）111()21()221(1)jjCCCp yp y （3 3）2111(1)()1()1 (1)p yp y 第34頁/共86頁1111212( )( ) (/)() (/)p yp x p yxp x p yx（4 4）2121222()( ) (/)() (/)p yp x p yxp x p yx11222()( )()()(1) ()p yp xp xp yp x11111211()1(1)()1(1)p xp

20、 x 1201(), ()0,p xp xC 即所求的 存在第35頁/共86頁3.3 多符號離散信道 多符號離散信道的數(shù)學(xué)模型 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量第36頁/共86頁多符號離散信道的數(shù)學(xué)模型多符號離散信道1212NNX XXY YYXY()PXY XY1212nmKKx xxy yyXY12iNiiiax xx12,1,2,Ni iin1,2,Nin12jNjjjby yy1,2,Njm12,1,2,Nj jjm第37頁/共86頁多符號離散信道的數(shù)學(xué)模型多符號離散信道()PXY XY112111212222()()()()()()()()()NNNNNNmmnnmnp b a

21、p b ap bap b ap b ap bap b ap b ap ba第38頁/共86頁離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道無記憶：YK僅與XK有關(guān)121211221( /)(/)(/) (/)(/)(/)NNNNNkkkp YXp Y YYX XXP YX P YXP YXP YX第39頁/共86頁(;)( )(/)IHHX YYYX11112222(/)(/)(/)NNNNXP YXYXP YXYXP YXYXY離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道第40頁/共86頁離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道1211111111112111111

22、111111111111( /)() ()log ()() ()()log(). ()( ) (NNNNNNNNNNNNNNnnmmiiijjiijjiiiijjnnmmiiijijijijiiijjnmijiijHp x xxp yyxxp yyxxp x xxp yxp yxp yxp yxp xp yx Y X112222211221111221)log ()() ()log ()() ()log ()(/)(/) .(/)(/)NNNNNNNnmjiijijiijnmijijiijNKKKKKp yxp xp yxp yxp xp yxp yxH YXH YXH YXH YX第41頁/

23、共86頁離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道1211121111(;)( )(/)()(/)(.)()(;)()(/)(;)(;)NNKKNKKKKNNKKNNKKKKKNKKKIHH YXH Y YYH YXH Y YYH YIH YH YXII X YX YYX YX Y(a)121 2 N . ( ) X X . (;)(; )KKY YYaXINI X YCNC，相互獨(dú)立等號成立要求也是無記憶的X Y第42頁/共86頁離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道1 2121122(/)(/) (/)(/)NNNNp YYYX XXp YXp YXp YX1111

24、2222(/)(/)(/)NNNNXP YXYXP YXYXP YXY第43頁/共86頁離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道121()()NNkkH Y YYH Y1212121(;)()(/)NNNNkkkI X XX Y YYH Y YYH YX121 21(;)(;)NNNkkkI X XXYYYI XY121 211(;)()(/)NNNNkkkkkI X XXYYYH YH YX1NNkkCC第44頁/共86頁3.4 多用戶信道 屬于網(wǎng)絡(luò)信息論，研究的主要問題： 網(wǎng)絡(luò)信道的信道容量，用多維空間中的一個區(qū)域來表示 網(wǎng)絡(luò)信道編碼定理 實現(xiàn)編碼定理的碼結(jié)構(gòu)問題，包括信源編碼

25、和信道編碼 多址接入信道 多個輸入端1個輸出端 在理論上討論比較完善，但具有反饋的多元接入信道的容量問題尚沒有解決 廣播信道 1個輸入端多個輸出端 對退化廣播信道的研究較深入，解決了一些特殊情況下的容量問題，一般廣播信道的容量問題尚未解決 相關(guān)信源的多用戶信道問題 多個輸入多個輸出第45頁/共86頁多址接入信道多用戶信道多入單出信道多入單出信道信道信道信源信源1 1譯碼譯碼信源信源2 2編碼器編碼器1 1編碼器編碼器2 21u2u1X2XY1 u2 u12C二址接入信道模型二址接入信道模型第46頁/共86頁多址接入信道多用戶信道111211 1.nXx xx212222 2.nXx xx12m

26、Yy yy11uu11CR 11(; )RI X Y)/;(max21)()(121XYXICXpXp條件信道容量條件信道容量第47頁/共86頁多址接入信道多用戶信道22CR )/;(max12)()(221XYXICXpXp);(max21)()(1221YXXICXpXp1221CRR211221),max(CCCCC第48頁/共86頁多址接入信道多用戶信道R2C20C1C12C1+C2R1容量區(qū)第49頁/共86頁廣播信道多用戶信道單入多出信道，退化廣播信道（串聯(lián)）12121(/ )(/ ) (/)p y yxp yx p yy編碼編碼信道信道1 1u1u2xy1信道信道2 2y2)/;(

27、211uYXIR )/;(122uYXIR );(121YXIRR第50頁/共86頁相關(guān)信源的多用戶信道問題多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2x1x21X2X模型1RE1E2C1C2D1D2x1x21X2X)/(211XXHR )/(122XXHR )(2121XXHRR第51頁/共86頁相關(guān)信源的多用戶信道問題多用戶信道C2)(21XXH)(21XXH)/(21XXH)(1XH)(2XH)/(12XXHC1第52頁/共86頁相關(guān)信源的多用戶信道問題多用戶信道E1C1D1x1x21x)/(21XXH邊信息RE1E2C1C2D1D2x1x21x2xE0C0w模型2第53頁

28、/共86頁);(210WXXIR W:公信息)/(11WXHR )/(22WXHR 要求R0盡可能小，并且在W條件下，X1X2無關(guān));(min21WXXIW相關(guān)信源的多用戶信道問題多用戶信道第54頁/共86頁3.5 連續(xù)信道)/(YXYPXP(Y/X),baX ),(R,baY R),( )max(; )Cp xIIX Y加性連續(xù)信道Np(y/x)=p (n)XY=X+N第55頁/共86頁3.5 連續(xù)信道 x、n、y之間有如下變換函數(shù)關(guān)系：其坐標(biāo)變換的雅可比行列式的絕對值( , )( , )x x yxn x yyx( , )( , )x x nxy x nxn10()111xxxyxnJnn

29、xyxy第56頁/共86頁3.5 連續(xù)信道根據(jù)坐標(biāo)變換理論對于加性信道()()()()xnp xyp xn Jp xnxy()( ) ( )p xnp x p n()( ) ( / )( ) ( )p xyp x p y xp x p n( / )( )p y xp n第57頁/共86頁3.5 連續(xù)信道( /)( ) ( / )log( / )cXYH YXp x p y xp y x dxdy ( ) ( )log( )XNp x p np n dxdy ( )log( )()Ncp np n dnHN ( )( )max (; )max( )()cccp xp xCIX YHyHN第58頁

30、/共86頁3.5 連續(xù)信道若N為均值為0，方差為NP2高斯變量，則稱這種加性信道為高斯加性信道22222211()( / )( )expexp2222nyxp y xp n高斯加性信道的容量：21( /)()log(2)2ccH YXHNe 2( )1max( )log(2)2cp xCHye 第59頁/共86頁3.5 連續(xù)信道設(shè)X的平均功率限定為xxP2YXN則Y的也是平均功率受限的隨機(jī)變量由最大相對熵定理知，平均功率受限的連續(xù)信源，當(dāng)其是一個均值為0的高斯變量時，相對熵達(dá)到最大值由概率論相關(guān)知識，兩個統(tǒng)計獨(dú)立的高斯隨機(jī)變量的和變量也是一個高斯變量。故當(dāng)加性高斯信道的輸入信源是0均值的高斯隨

31、機(jī)變量時，其輸出也是0均值的高斯隨機(jī)變量，輸出隨機(jī)變量的熵最大。第60頁/共86頁3.5 連續(xù)信道NxyPPP2y高斯加性信道的容量：2( )1max( )log(2)2cp xCHye )1log(21log21NxNxNPPPPP0log(1)log(1)xxtNPPCWWPWN香農(nóng)公式限時T、限頻W的高斯白噪聲加性信道的容量：log(1)xNPCWTP第61頁/共86頁3.5 連續(xù)信道0log(1)log(1)xxtNPPCWWPWN令0 xPxWN1log(1)log(1)WxWxxx1001log(1)log(1)xxxPPWxxN W xN10ln(1)1limxxx200/log

32、/limxxtWPPCnat sebit sNN當(dāng)W時，x0W(/ )tC bit s0/xPN0/xPN第62頁/共86頁 Shannon公式的物理意義公式的物理意義 它給出了決定信道容量它給出了決定信道容量C的是三個信號物理參量：的是三個信號物理參量： W、T、 之間的辯證關(guān)系。之間的辯證關(guān)系。 三者的乘積是一個三者的乘積是一個“可塑可塑”性體積（三維）。性體積（三維）。 三者間可以互換。三者間可以互換。)log(21S 2S)1log(2STtWf)1log(2SWTC第63頁/共86頁連續(xù)信道Shannon公式的用途一公式的用途一 用頻帶換取信噪比：擴(kuò)頻通信原理。用頻帶換取信噪比：擴(kuò)頻

33、通信原理。 雷達(dá)信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻雷達(dá)信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。帶越寬，抗干擾性就越強(qiáng)。 數(shù)字通信中，偽碼數(shù)字通信中，偽碼(PN)直擴(kuò)與時頻編碼等，帶寬越寬，擴(kuò)頻增益越大，直擴(kuò)與時頻編碼等，帶寬越寬，擴(kuò)頻增益越大，抗干擾性就越強(qiáng)。抗干擾性就越強(qiáng)。 注意：有極限第64頁/共86頁連續(xù)信道Shannon公式的用途二公式的用途二 用信噪比換取頻帶用信噪比換取頻帶多進(jìn)制多電平多維星座調(diào)制方式的基本原理 衛(wèi)星、數(shù)字微波中常采用的有：衛(wèi)星、數(shù)字微波中常采用的有： 多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等

34、等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。第65頁/共86頁連續(xù)信道 Shannon公式的用途三公式的用途三 用時間換取信噪比用時間換取信噪比 重傳、弱信號累積接收基于這一原理。 t=T0 為分界線。 信號功率S有規(guī)律隨時間線性增長，噪聲功率2無規(guī)律，隨時間呈均方根增長。Tt0S2S2t=0S2Pt第66頁/共86頁連續(xù)信道 Shannon公式的用途四公式的用途四 用時間換取頻帶或用頻帶換取時間用時間換取頻帶或用頻帶換取時間 擴(kuò)頻縮短時間：通信電子對抗、潛艇通信擴(kuò)頻縮短時間：通信電子對抗、潛艇通信 窄帶增加時間：電話線路傳準(zhǔn)活動圖象窄帶增加時間：電話線路傳準(zhǔn)活動圖象第67頁

35、/共86頁 例：在圖片傳輸中，每幀約為2.25106個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設(shè)亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。 解：高斯白噪聲加性信道單位時間的信道容量： (比特/秒） 要求的信息傳輸率為： Ct= 2.25106log1630=2.7108（bit/s) =Wlog(1+S/N) 而：10lg(S/N)=30dBS/N=103 W=(2.7108 )/log(1+103) 2.7107 (Hz )log(1)sNPtPCW第68頁/共86頁3.6 信道編碼定理 信道編碼概述 錯誤概率與譯碼規(guī)則、編碼方法 信道

36、編碼定理第69頁/共86頁信道編碼概述互信息能告訴我們什么？隨機(jī)變量X,Y統(tǒng)計意義上的依存程度可以獲得的信息量不能：所得信息能否可靠地確定信道輸入？實際通信中人們對傳輸要求什么？傳輸信息量大傳輸可靠提出的與信道傳輸有關(guān)的問題：如何能使信息傳輸后發(fā)生的錯誤最少？錯誤概率與那些因素有關(guān)？有無辦法控制？能控制到什么程度？無誤傳輸可達(dá)的最大信息率是多少？第70頁/共86頁信道編碼概述舉例說明：設(shè)有一個二元數(shù)字序列000110101100 （1）每兩位分成一組，共有224種可能的碼組（或碼字）：00、01、10、11。不可能發(fā)現(xiàn)錯誤，也不可能糾正。 （2）對原碼字稍加以改造：加上一位數(shù)字，四個碼字變成0

37、0001 01010 10100 11111?？梢园l(fā)現(xiàn)奇數(shù)個錯誤，但無法糾正。 （3）對原碼字繼續(xù)改造：0000110 0101101 1010011 1111000。當(dāng)收到碼字00111時，采用最大似然法則，將00111糾正成為00110。結(jié)論：碼組（字）間差別越大，碼的檢測和糾錯能力越強(qiáng)。 對于第一種情況，碼組間最少相差一個碼元，則一旦有錯誤，就會變成另一個許用碼字，因而不能發(fā)現(xiàn)錯誤； 對于第二種情況，碼組間最少相差二位碼元，錯一位就會變成禁用碼字，因而能發(fā)現(xiàn)錯誤，即具有檢錯能力； 對于第三種情況，碼組間最少相差三位碼元，錯一位就變成禁用碼字，但仍與某許用碼字相似，利用最大似然法則可以糾錯

38、，即具有糾一位錯誤的能力。第71頁/共86頁錯誤概率與譯碼規(guī)則、編碼方法 錯誤概率與譯碼規(guī)則 錯誤概率PE與什么有關(guān) 信道的統(tǒng)計特性 譯碼規(guī)則 譯碼規(guī)則的選擇依據(jù) 最大后驗概率準(zhǔn)則理想 最大似然準(zhǔn)則實用第72頁/共86頁錯誤概率與譯碼規(guī)則例： 12121:d0011正確概率錯誤概率(0/0)1/3p(1/1)1/3p(1/0)2/3p(0/1)2/3p2:d0110(1/0)2/3p(0/1)2/3p(0/0)1/3p(1/1)1/3p第73頁/共86頁錯誤概率與譯碼準(zhǔn)則、編碼方法 問題： 在輸入和信道特性給定的條件下，差錯概率將取決于接收矢量空間按什么樣的劃分準(zhǔn)則進(jìn)行劃分 劃分接收矢量空間的

39、準(zhǔn)則譯碼器的譯碼準(zhǔn)則第74頁/共86頁信道譯碼An1243w4w3w1w2xxx An 是接收空間 w1, w2, 是發(fā)送的碼字 圍繞每個碼字有一個譯碼域i 如果接收的碼字在 i中 ，就認(rèn)為發(fā)送的是碼字wi 發(fā)生錯誤發(fā)生錯誤 一般, An中存在一些不屬于任何 i的區(qū)域 有時接收碼字會被映射到錯誤的i ，進(jìn)而被譯成錯誤的 wi 正確譯碼不知如何譯碼譯碼錯誤第75頁/共86頁錯誤概率與譯碼規(guī)則譯碼規(guī)則：設(shè)信道輸入為X=x1,x2,xn，輸出為Y=y1,y2,ym，則Y到X的單值映射為d:d(yj)=xi(i=1,2,n；j=1,2,m)，則d為一 個譯碼規(guī)則。 錯誤概率：若譯碼規(guī)則為d(yj)=xi 條件錯誤概率：p(e/yj) (收到的是yj，而發(fā)出的不是xi) 條件正確概率：1p(e/yj) 平均錯誤概率：PE=p(yj)p(e/yj)最佳譯碼規(guī)則：使平均錯誤概率PE最小的譯碼規(guī)則第76頁/共86頁錯誤概率與譯碼規(guī)則欲使最小PE=p(yj)p(e/yj)，只需正確概率最大，選擇*(), (/)(/)(1)jjijd yxp xyp xyi對所有最大后驗概率準(zhǔn)則由（1）式，有*() (/)( ) (/)()()jijijjp xp yxp x p yxp yp y*() (/)( ) (/)jijip xp yxp x p yx若輸入等概