信息科學(xué)第六章ppt課件

1、 第六章第六章 波形信源和波形信道波形信源和波形信道第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化第二節(jié) 連續(xù)信源和信源的信息測(cè)度第三節(jié) 具有最大熵的連續(xù)信源第四節(jié) 連續(xù)信道和波形信道的分類(lèi)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率第六節(jié) 連續(xù)信道和波形信道的信道容量第七節(jié) 連續(xù)信道編碼定理第一節(jié)第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化波形信源的統(tǒng)計(jì)特性和離散化 實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語(yǔ)音信號(hào)、電視信號(hào)。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過(guò)程x(t)來(lái)表示。 隨機(jī)過(guò)程x(t)可以看成由一族時(shí)間函數(shù) 組成 稱(chēng)為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過(guò)程的一個(gè)實(shí)現(xiàn)。 ( )ix t（

2、1隨機(jī)波形信源中消息數(shù)是無(wú)限的。（2隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維函數(shù)概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來(lái)描述。第一節(jié)第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化波形信源的統(tǒng)計(jì)特性和離散化 就統(tǒng)計(jì)特性的區(qū)別來(lái)說(shuō)，隨機(jī)過(guò)程大致可分為平穩(wěn)隨機(jī)過(guò)程和非平穩(wěn)過(guò)程兩大類(lèi)。 最常見(jiàn)的平穩(wěn)隨機(jī)過(guò)程為遍歷過(guò)程，它不但統(tǒng)計(jì)特性不隨時(shí)間平移而變化，而且它的集平均以概率1等于時(shí)間平均。 對(duì)于隨機(jī)過(guò)程來(lái)說(shuō)，只要是限頻的，它的每個(gè)樣本函數(shù)也可作同樣的取樣處理。每個(gè)樣本函數(shù)都可以用一系列 時(shí)刻上的樣本值 來(lái)表征。因?yàn)殡S機(jī)過(guò)程的樣本函數(shù)x(t)有無(wú)限多個(gè)，因而，取樣后瞬間 的樣本值是一個(gè)隨機(jī)變量。2ntF()2nxF2nntF

3、第一節(jié)第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化波形信源的統(tǒng)計(jì)特性和離散化 這樣，通過(guò)取樣，隨即過(guò)程就成為可數(shù)的無(wú)限維的隨機(jī)序列 。 如果隨機(jī)過(guò)程又是限時(shí)的，時(shí)間間隔為T(mén)，則就成為2FT個(gè)有限維的隨機(jī)序列。取樣之后還要對(duì)取值的離散化。取樣加量化才使隨機(jī)過(guò)程變換成時(shí)間的取值都是離散的隨機(jī)序列。量化必然帶來(lái)量化噪聲，引起信息損失。 12222(,.,.)iFFFXXXX隨機(jī)過(guò)程描述輸出消息的信源稱(chēng)為隨機(jī)波形信源。用連續(xù)隨機(jī)變量描述輸出消息的信源稱(chēng)為連續(xù)信源。第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度連續(xù)信源的差熵連續(xù)信源的差熵 先看單個(gè)變量的基本連續(xù)信源的信息測(cè)度。基先看單個(gè)變

4、量的基本連續(xù)信源的信息測(cè)度?；具B續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量。可本連續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量。可用變量的概率密度，變量間的條件概率密度和聯(lián)合用變量的概率密度，變量間的條件概率密度和聯(lián)合概率密度來(lái)描述。概率密度來(lái)描述。 變量的一維概率密度函數(shù)為變量的一維概率密度函數(shù)為 一維概率分布函數(shù)為一維概率分布函數(shù)為 條件概率密度函數(shù)為條件概率密度函數(shù)為 聯(lián)合概率密度函數(shù)為聯(lián)合概率密度函數(shù)為( )( )( ),( )XYdF xdF ypxp xdxdy111( )( )xXF xP Xxpx dx|(|),(|)X YY Xpxypyx2111111()(,)XYpx yFxyxy

5、第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度它們之間的關(guān)系為基本連續(xù)信源的數(shù)學(xué)模型為其中R是全實(shí)數(shù)集。|()( )(|)()(|)XYXY XYX Ypxypx pyxpy pxy( )1( )RRXp x dxp x并且連續(xù)信源的差熵連續(xù)信源的信息熵第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度()() log () niiiH Xp xp x () log ()() logiiiiip xp xp x 這樣的話：0()lim()lim( ) log ( ) niiniH XH Xp xp x0( )log( )limlogbap xp x

6、舍棄無(wú)窮大的第二項(xiàng)，可得：()( )log ( )baH Xp xp x 定義連續(xù)信源的熵為：第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度同理可以定義兩個(gè)連續(xù)變量X、Y的聯(lián)合熵和條件熵()()log ()Rh XYp xyp xy dxdy ( |)( ) ( | )log ( | )RhY Xp x p y xp y x dxdy(| )( ) ( | )log ( | )Rh X Yp x p y xp x y dxdy第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)（1可加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)所

7、以可得（2凸?fàn)钚院蜆O值性 差熵h(X)是輸入概率密度函數(shù)p(x)的型凸函數(shù)，對(duì)于某一概率密度函數(shù)可以得到差熵的最大。（3差熵可為負(fù)值()()(|)( )(|)h XYh Xh YXh Yh XY(|)()(|)( )h XYh Xh YXh Y或()()( )h XYh Xh Y第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度波形信源的差熵波形信源的差熵 實(shí)際信源的輸入和輸出都是平穩(wěn)隨機(jī)過(guò)程，其實(shí)際信源的輸入和輸出都是平穩(wěn)隨機(jī)過(guò)程，其 x(t)和和y(t)可以通過(guò)取樣，分解成取值連續(xù)的可以通過(guò)取樣，分解成取值連續(xù)的無(wú)窮平穩(wěn)隨機(jī)序列來(lái)表示，所以平穩(wěn)隨機(jī)過(guò)程的熵?zé)o窮平穩(wěn)隨機(jī)序

8、列來(lái)表示，所以平穩(wěn)隨機(jī)過(guò)程的熵就是無(wú)窮平穩(wěn)隨機(jī)序列的熵。就是無(wú)窮平穩(wěn)隨機(jī)序列的熵。12()()( ) log( )NRh Xh X XXp xp x dx 12()()() log()NRh Yh Y YYp yp y dy 11(|)(|)()log( | )NNRRh Y Xh YYXXp xyp y x dxdy 11(|)(|)()log( |)NNRRh X Yh XXYYp xyp x y dxdy 波形信源的差熵: ( )lim()Nh x th X 第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度 當(dāng)對(duì)于限頻F/限時(shí)T的平穩(wěn)隨機(jī)過(guò)程，它可以近似地用有限維N

9、=2FT平穩(wěn)隨機(jī)矢量表示。這樣，一個(gè)頻帶和時(shí)間都為有限的連續(xù)時(shí)間過(guò)程就轉(zhuǎn)化為有限維時(shí)間離散的平穩(wěn)隨機(jī)序列了。 和離散變量中一樣， 易于證明: 且當(dāng)隨機(jī)序列中各變量統(tǒng)計(jì)獨(dú)立時(shí)等式成立。1212131212( )()()(|)(|)(|)NNh Xh XXh Xh XXh XX Xh XX XX1212()()()()()NNh Xh X XXh Xh Xh X第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度兩種特殊連續(xù)信源的差熵兩種特殊連續(xù)信源的差熵1.均勻分布連續(xù)信源的熵值均勻分布連續(xù)信源的熵值 12()NXX XX一維連續(xù)隨機(jī)變量X在a,b區(qū)間內(nèi)均勻分布時(shí)，這基本連續(xù)信

10、源的熵為N維連續(xù)平穩(wěn)信源，若其輸出N維矢量其分量分別在 的區(qū)域內(nèi)均勻分布，N維連續(xù)平穩(wěn)信源的差熵為()log()h Xba12,NNabab11()log()()NNiiiiih Xbah X第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度無(wú)記憶連續(xù)平穩(wěn)信源和無(wú)記憶離散平穩(wěn)信源一樣，差熵也滿足限頻、限時(shí)均勻分布的波形信源的熵為在波形信源中常采用單位時(shí)間內(nèi)信源的差熵熵率。均勻分布的波形信源的熵率為()2log()h XFTba121()()()NNiih Xh X XXh X()2log()th XFba第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度

11、連續(xù)信源的熵為:可見(jiàn)，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無(wú)關(guān)，只與其方差 有關(guān)。2221()( )logexp()22xmp xdx 2211log2loglog 222ee 2()() log()h Xp xp x dx 2.高斯信源的熵值基本高斯信源是指信源輸出是一維隨機(jī)變量X的概率密度分布是正態(tài)分布，即2221()( )exp()22xmp x高斯噪聲信源的熵第二節(jié)第二節(jié) 波形信源和波形信源的信息測(cè)度波形信源和波形信源的信息測(cè)度如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機(jī)矢量是正態(tài)分布則稱(chēng)此信源為N維高斯信源。其差熵為：當(dāng)各變量之間統(tǒng)計(jì)獨(dú)立，則C為對(duì)角線矩陣，并有所以，N維無(wú)記憶高斯信源的熵即

12、N維統(tǒng)計(jì)獨(dú)立的正態(tài)分布隨機(jī)變量的差熵為12()NXX XX1()log(2)2NhXeC21NiiC1()()Niih Xh X當(dāng)均值m=0時(shí)，X的方差 就等于信源輸出的平均功率P：21()lo g 22hXe P第三節(jié)第三節(jié) 具有最大熵的連續(xù)信源具有最大熵的連續(xù)信源 通常我們最感興趣的是兩種情況：一種是信源的輸出值受限；一種是信源的輸出平均功率受限。峰值功率受限條件下信源的最大值 若某信源輸出信號(hào)的峰值功率受限為，它等價(jià)于信源輸出的連續(xù)隨機(jī)變量X的取值幅度受限，限于a,b內(nèi)取值。在約束條件 下信源的最大相對(duì)熵。定理6.1 若信源輸出的幅度被限定在a,b區(qū)域內(nèi)，則當(dāng)輸出信 號(hào)的概率密度是均勻分

13、布時(shí)信源具有最大熵。其值等 于log(b-a)。若當(dāng)N維隨機(jī)矢量取值受限時(shí)，也只有隨 機(jī)分量統(tǒng)計(jì)獨(dú)立并均勻分布時(shí)具有最大熵。()1abpx dx 第三節(jié)第三節(jié) 具有最大熵的連續(xù)信源具有最大熵的連續(xù)信源平均功率受限條件下信源的最大值平均功率受限條件下信源的最大值定理定理6.2 若一個(gè)連續(xù)信源輸出信號(hào)的平均功率被限若一個(gè)連續(xù)信源輸出信號(hào)的平均功率被限定為定為P， 則其輸出信號(hào)幅度的概率密度分布是高斯則其輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，分布時(shí)， 信源有最大熵，其值為信源有最大熵，其值為 。 對(duì)于對(duì)于N維連續(xù)平穩(wěn)信源來(lái)說(shuō)，若其輸出的維連續(xù)平穩(wěn)信源來(lái)說(shuō)，若其輸出的N維隨機(jī)維隨機(jī)序列的協(xié)方差矩陣序

14、列的協(xié)方差矩陣C被限定，則被限定，則N維隨機(jī)為正態(tài)分維隨機(jī)為正態(tài)分布時(shí)信源的熵最大，布時(shí)信源的熵最大，N維高斯信源的熵最大，其維高斯信源的熵最大，其值為值為 。 這一結(jié)論說(shuō)明，當(dāng)連續(xù)信源輸出信號(hào)的平均這一結(jié)論說(shuō)明，當(dāng)連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯統(tǒng)計(jì)特功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最大的熵值。性一樣時(shí)，才會(huì)有最大的熵值。1log 22eP1loglog222NCeP第三節(jié)第三節(jié) 具有最大熵的連續(xù)信源具有最大熵的連續(xù)信源 對(duì)于N維平穩(wěn)信源也可用類(lèi)似證明方法，證得當(dāng)其輸出的N維協(xié)方差矩陣C受限時(shí)，N維高斯信源的熵最大，最大值為 。 隨機(jī)序列

15、中各分量之間不相關(guān)，又 ，則可證得N維隨機(jī)序列得各分量彼此統(tǒng)計(jì)獨(dú)立，并各自達(dá)到正態(tài)分布時(shí)熵最大，也就是N維無(wú)記憶高斯信源的熵最大，最大值為 。 如果序列中各分量的均值為零，而平均功率為 ，則得N維無(wú)記憶高斯信源得熵最大，最大值為 1log(2)2NeC12.NXX XX2iii222121log(2)(.)2NNe iP121log(2) (.)2NNePPP第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)波形信道：信道的輸入和輸出都是隨機(jī)過(guò)程x(t)和y(t)。連續(xù)信道：用連續(xù)隨機(jī)變量來(lái)描述信道的輸入和輸出的消息。取樣主要研究：噪聲 系統(tǒng)外噪聲 系統(tǒng)內(nèi)噪聲 熱噪聲 散粒噪聲第四

16、節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)按噪聲統(tǒng)計(jì)特性分類(lèi)按噪聲統(tǒng)計(jì)特性分類(lèi)1.高斯信道高斯信道 信道中的噪聲是高斯噪聲。高斯噪聲是平穩(wěn)遍歷的隨機(jī)過(guò)信道中的噪聲是高斯噪聲。高斯噪聲是平穩(wěn)遍歷的隨機(jī)過(guò)程，其瞬時(shí)值的概率密度函數(shù)服從高斯分布即正態(tài)分程，其瞬時(shí)值的概率密度函數(shù)服從高斯分布即正態(tài)分布）。布）。一維概率密度函數(shù)為一維概率密度函數(shù)為常見(jiàn)的是二維高斯隨機(jī)變量。常見(jiàn)的是二維高斯隨機(jī)變量。2221()( )exp()22x mp x信道中的噪聲是白噪聲。白噪聲也是平穩(wěn)遍歷的隨機(jī)過(guò)程。它的功率譜密度均勻分布于整個(gè)頻率區(qū)間 功率譜密度為一常數(shù)其瞬時(shí)值的概率密度函數(shù)可以是任意的。此處

17、白噪聲的功率是按正、負(fù)兩半軸上的頻譜定義的。只采用正半軸頻譜來(lái)定義，則功率譜為 ，常稱(chēng)為單邊譜密度。而 稱(chēng)為雙邊譜密度，單位為瓦/赫(W/Hz)。顯然。白噪聲的相關(guān)函數(shù)是 函數(shù)：() 0()2nNP() 0N0/2N00( )( )( )22nnNNPR 第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)2.白噪聲信道第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)3.高斯白噪聲信道 具有高斯分布的白噪聲稱(chēng)為高斯白噪聲。一般情況把既服從高斯分布而功率譜密度又是均勻的噪聲稱(chēng)為高斯白噪聲。關(guān)于低頻限帶高斯白噪聲有一個(gè)很重要的性質(zhì)，即低頻限帶高斯白噪聲經(jīng)過(guò)取樣函數(shù)取值后可分

18、解成N（2FT個(gè)統(tǒng)計(jì)獨(dú)立的高斯隨機(jī)變量方差為 ，均值也為零）。 低頻限帶高斯白噪聲可以看成是無(wú)限帶寬的高斯白噪聲通過(guò)一個(gè)理想低通濾波器后所得。如果理想低通濾波器其帶寬為F赫茲，那么它的傳遞函數(shù)的頻率響應(yīng)為0/2N122( )0FFK其他第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)考慮雙邊譜密度，低頻限帶高斯白噪聲的功率譜密度為其自相關(guān)函數(shù)由功率譜密度可知在時(shí)間間隔 的兩個(gè)樣本點(diǎn)之間的相關(guān)函數(shù)等于零， 所以各樣本值之間不相關(guān)。有因?yàn)殡S即變量是高斯概率密度分布的，所以隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立。0/222( )( )( )0nnNFFPPK其他01sin(2)( )( )22jnnFR

19、PedN FF 12F第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)4.有色噪聲信道 除白噪聲以外的噪聲稱(chēng)為有色噪聲。信道的噪聲是有色噪聲稱(chēng)此信道為有色噪聲信道。按噪聲對(duì)信號(hào)的功能分類(lèi)按噪聲對(duì)信號(hào)的功能分類(lèi)1.乘性信道乘性信道 信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為是與信號(hào)相乘的關(guān)系，信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為是與信號(hào)相乘的關(guān)系，則信道稱(chēng)為乘性信道，噪聲稱(chēng)為乘性干擾。則信道稱(chēng)為乘性信道，噪聲稱(chēng)為乘性干擾。 在實(shí)際無(wú)線電通信系統(tǒng)中常會(huì)遇到乘性干擾。在實(shí)際無(wú)線電通信系統(tǒng)中常會(huì)遇到乘性干擾。2.加性信道加性信道 信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為與信號(hào)相加的關(guān)系，信道中噪聲對(duì)信號(hào)的干擾

20、作用表現(xiàn)為與信號(hào)相加的關(guān)系，則此信號(hào)稱(chēng)為加性信道，此噪聲稱(chēng)為加性噪聲。則此信號(hào)稱(chēng)為加性信道，此噪聲稱(chēng)為加性噪聲。第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi) ( ) ( ) ( )y tx tn t ( ) ( ) ( )y tx tn t第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)連續(xù)信道的分類(lèi)連續(xù)信道的分類(lèi) 我們研究波形信道，就是要研究波形信道的信息傳輸問(wèn)我們研究波形信道，就是要研究波形信道的信息傳輸問(wèn)題。一方面為了便于研究，另一方面因?yàn)閷?shí)際波形信道的題。一方面為了便于研究，另一方面因?yàn)閷?shí)際波形信道的頻率總是受限的頻率總是受限的,所以在有限觀察時(shí)間所以在

21、有限觀察時(shí)間T內(nèi)，能滿足限頻內(nèi)，能滿足限頻F，限時(shí)限時(shí)T的條件。因而，根據(jù)時(shí)間取樣定理把波形信道的輸?shù)臈l件。因而，根據(jù)時(shí)間取樣定理把波形信道的輸入入x(t)和輸出和輸出y(t)的平穩(wěn)隨機(jī)過(guò)程信號(hào)離散化成的平穩(wěn)隨機(jī)過(guò)程信號(hào)離散化成N(=2FN)個(gè)時(shí)間離散，取值連續(xù)的平穩(wěn)隨即序列個(gè)時(shí)間離散，取值連續(xù)的平穩(wěn)隨即序列 : 和和 這樣，波形信道就轉(zhuǎn)化成這樣，波形信道就轉(zhuǎn)化成多維連續(xù)信道。多維連續(xù)信道。12NXX XX1 2NYYYY第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi) 若多維連續(xù)信道的傳遞概率密度函數(shù)滿足 則稱(chēng)此信道為連續(xù)無(wú)記憶信道。若連續(xù)信道在任一時(shí)刻輸出的變量只與對(duì)應(yīng)時(shí)刻的

22、輸入變量有關(guān)，與以前時(shí)刻的輸入，輸出變量無(wú)關(guān)，也與以后的輸入變量無(wú)關(guān)，則此信道為無(wú)記憶連續(xù)信道。 連續(xù)信道任何時(shí)刻的輸出變量與其他任何時(shí)刻的輸入，輸出變量都有關(guān)。則此信道稱(chēng)為連續(xù)有記憶信道。1( | )(|)Niiip y xp yx第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi) 基本連續(xù)信道就是輸入和輸出都是單個(gè)連續(xù)型隨機(jī)變量的信道，基本連續(xù)信道就是單符號(hào)連續(xù)信道，其輸入是連續(xù)型隨機(jī)變量X，X取值于a,b或?qū)崝?shù)域R；輸出也是連續(xù)性隨機(jī)變量Y，取值于 或?qū)崝?shù)域R；信道的傳遞概率密度函數(shù)為p(y|x)，并滿足 因而，可用 來(lái)描述單符號(hào)連續(xù)信道。 根據(jù)噪聲的統(tǒng)計(jì)特性和作用，多維連續(xù)

23、信道和單符號(hào)連續(xù)信道同樣有加性信道，乘性信道和高斯信道等之區(qū)分。 對(duì)于加性信道，信道的傳遞概率密度函數(shù)就等于噪聲的概率密度函數(shù)。這也進(jìn)一步說(shuō)明了信道的傳遞概率是由于噪聲所引起的。(|)1Rp yx dy ,(|),Xp y xY ,a b噪聲n輸入Y輸入X第四節(jié)第四節(jié) 連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)因而，在加性信道中，條件熵為 根據(jù)坐標(biāo)變換得 所以 結(jié)論說(shuō)明了條件熵 是由于信道中噪聲引起的，它完全等于噪聲信源的熵，所以稱(chēng)為噪聲熵。 以后主要討論的是加性信道，噪聲源主要是高斯白噪聲。( )( | )log ( | )p x dxp y xp y x dyRh(X|Y)=-p(x

24、y)log(y|x)dxdy(|)( )( ) log( )( )h YXp x dxp np n dnh n dxdydxdn(|)h YX 信道+第五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的信息傳輸率單符號(hào)連續(xù)信道的平均互信息單符號(hào)連續(xù)信道的平均互信息單符號(hào)連續(xù)信道的數(shù)學(xué)模型為單符號(hào)連續(xù)信道的數(shù)學(xué)模型為輸入信源輸入信源X為為輸出信源輸出信源Y為為而信道的傳遞概率密度函數(shù)為而信道的傳遞概率密度函數(shù)為( )1( )( )RXRp x dxp xp x并且( )1( )( )RYRp y dyp yp y并且(|)1Rp yx dy 第五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸

25、率連續(xù)信道和波形信道的信息傳輸率 對(duì)于連續(xù)信道的平均互信息來(lái)說(shuō)，關(guān)系式和離散信道下平均互信息的關(guān)系式完全類(lèi)似，而且保留了離散信道平均互信息的含義和性質(zhì)，只是表達(dá)式中用連續(xù)信源的差熵代替了離散信源的熵。 單符號(hào)連續(xù)信道的信息傳輸率 （比特/自由度）(;)()(|)()(|)( )(|)()( )()nnnI X YH XH XYh Xh X Yh Yh YXh Xh Yh XY(;)RI X Y平均互信息為：第五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的信息傳輸率多維連續(xù)信道的平均互信息多維連續(xù)信道的平均互信息 多維連續(xù)信道的數(shù)學(xué)模型是多維連續(xù)信道的數(shù)學(xué)模型是X，p(y|x)，

26、Y，其傳遞概率密度函數(shù)為：其傳遞概率密度函數(shù)為： 多維連續(xù)信道的平均互信息為：多維連續(xù)信道的平均互信息為：1(|)(|)Niiip y xp yx(; )()(|)()(|)( )(|)()( )()nnnI X YH XH XYh Xh X Yh Yh Y Xh Xh Yh XY第五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的信息傳輸率根據(jù)隨機(jī)矢量X和Y的差熵和條件差熵的表達(dá)式可得：以上表達(dá)式與離散信道下平均互信息的完全類(lèi)，只是表達(dá)式中概率分布函數(shù)用概率密度函數(shù)來(lái)替代，求和號(hào)用積分號(hào)來(lái)替代。因而，離散擴(kuò)展信道中平均互信息的性質(zhì)在多維連續(xù)信道中仍成立。( | )( | )( ;

27、 )()log()log( )( )()()log( ) ( )xyxyxyp x yp y xI X Yp xydxdyp xydxdyp xp yp xyp xydxdyp x p y第五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的信息傳輸率多維連續(xù)信道的信息傳輸率 （比特/N自由度）平均每個(gè)自由度的信息傳輸率 （比特/自由度）波形信道的信息傳輸率 波形信道輸入是平穩(wěn)隨機(jī)過(guò)程x(t)，輸出也是平穩(wěn)隨機(jī)過(guò)程y(t)。一般情況，對(duì)于波形信道來(lái)說(shuō)，都是研究其單位時(shí)間內(nèi)的信息傳輸率1( ; )NRI X YN(;)RI X YtR1lim(;)(tTRIXYT 比 特 / 秒 ）第

28、五節(jié)第五節(jié) 連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的信息傳輸率1.非負(fù)性2.對(duì)稱(chēng)性交互性） 因?yàn)?當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)即p(x|y)=p(x),I(X;Y)=I(Y;X)=0 就不可能從一個(gè)隨機(jī)變量獲得關(guān)于另一個(gè)隨機(jī)變量的信息。3.凸?fàn)钚?連續(xù)變量之間的平均互信息是輸入連續(xù)變量X和概率密度函數(shù)p(x)的型凸函數(shù)；平均互信息又是連續(xù)信道傳遞概率密度函數(shù)p(y|x)的U型凸函數(shù)。(;)0I X Y()()(; )( ;)p xyp yxI X YI Y X所以連續(xù)信道平均互信息的特性連續(xù)信道平均互信息的特性第六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量 和離散信道一

29、樣，對(duì)于固定的連續(xù)信道和波形信道都有一個(gè)最大的信息傳輸率，稱(chēng)為信道容量。它也是信道可靠傳輸?shù)淖畲笮畔鬏斅?。?duì)于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道的帶寬以及信號(hào)的各種限制不同，所以具有不同的信道容量。( )( )max (; )max ( )(|)(p xp xCI X Yh Yh Y X比特/N自由度）一般的多維連續(xù)信道的信道容量為:( )( )11maxlim( ; ) maxlim ( )( |)(/tTTp xp xCI X Yh Yh Y XTT比特 秒）一般的波形信道的信道容量為:第六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量一般多維加性

30、連續(xù)信道的信道容量為:( )max ()( )(/)p xCh Xh nN比特自由度加性信道的信道容量取決于噪聲的統(tǒng)計(jì)特性和輸入隨機(jī)矢量所受的限制條件。一般的實(shí)際信道中，無(wú)論輸入信號(hào)和噪聲的平均功率或能量總是有限的。()()1m ax lim()()1m axlim()()(/tTpxTpxCh Yh nTh Yh nT 比 特秒 ）一般加性波形信道的信道容量為:第六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量單符號(hào)高斯加性信道單符號(hào)高斯加性信道 單符號(hào)高斯加性信道的輸入和輸出都是取值連續(xù)的一維單符號(hào)高斯加性信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是加

31、性高斯噪聲。隨機(jī)變量，而加入信道的噪聲是加性高斯噪聲。 設(shè)信道迭加的噪聲設(shè)信道迭加的噪聲n是均值為零，方差為是均值為零，方差為 的一維高的一維高斯噪聲，噪聲信源的熵為斯噪聲，噪聲信源的熵為 高斯加性信道的信道容量高斯加性信道的信道容量 平均功率受限高斯信道的信道容量平均功率受限高斯信道的信道容量 只有當(dāng)信道的輸入信號(hào)是均值為零，平均功率為高斯分只有當(dāng)信道的輸入信號(hào)是均值為零，平均功率為高斯分布的隨機(jī)變量時(shí)，信息傳輸率才能達(dá)到最大值。布的隨機(jī)變量時(shí)，信息傳輸率才能達(dá)到最大值。2( )log 2h ne 2( )max ( )log2p xCh Ye 1log(1)2snPCP2第六節(jié)第六節(jié) 連續(xù)

32、信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量單符號(hào)非高斯加性信道單符號(hào)非高斯加性信道 信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量X和和Y。信道的噪聲信道的噪聲Z時(shí)均值為零，平均功率為時(shí)均值為零，平均功率為Pn的加性噪聲。的加性噪聲。而且輸入信號(hào)而且輸入信號(hào)X的平均功率受限為的平均功率受限為Ps。這時(shí)噪聲是非高。這時(shí)噪聲是非高斯噪聲。斯噪聲。 當(dāng)且僅當(dāng)噪聲為高斯加性時(shí)，等號(hào)才成立。當(dāng)且僅當(dāng)噪聲為高斯加性時(shí)，等號(hào)才成立。多維無(wú)記憶高斯加性連續(xù)信道多維無(wú)記憶高斯加性連續(xù)信道信道輸入隨機(jī)序列信道輸入隨機(jī)序列 ，輸出隨機(jī)序列，輸出隨機(jī)序列11log()l

33、og()22snsnnnPPPPCPP12.NXX XX12.NYY YY第六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量因?yàn)槭羌有孕诺溃杂衁=X+n，其中 是均值為零的高斯噪聲。 當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，并且均值為零，方差為不同的高斯變量時(shí)才能達(dá)到此信道容量。高斯白噪聲加性波形信道 信道的輸入和輸出信號(hào)是隨機(jī)過(guò)程x(t)和y(t)，而加入信道的噪聲是加性高斯白噪聲n(t)（其均值為零，功率譜密度為 ，輸出信號(hào)滿足y(t)=x(t)+n(t)12.Nnn nn( )11max (; )(1)/2iiNsp xinPCI X YNP（比特自由度）02N第

34、六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量 波形信道可以分解成N維統(tǒng)計(jì)獨(dú)立得隨機(jī)序列，每個(gè)分量均值為0，方差為200/2/2nPN WTWTN11log(1)2NsiiniPCP 每個(gè)信號(hào)樣本值的平均功率為/22ssPPTWTW在0,T時(shí)刻內(nèi)，信道的信道容量為0log(1)(/)sPWTNN W比特自由度0/2log(1)(/)/2sPWCWTNN比特自由度第六節(jié)第六節(jié) 連續(xù)信道和波形信道的信道容量連續(xù)信道和波形信道的信道容量要達(dá)到這個(gè)信道容量要求輸入N維隨機(jī)序列X中每一分量Xi都是均值為零，方差為Ps，彼此統(tǒng)計(jì)獨(dú)立的高斯變量。 高斯白噪聲加性信道的單位時(shí)間的信道容量其中Ps是信號(hào)的平均功率， 為高斯白噪聲在帶寬W內(nèi)的平均功率?？梢?jiàn)，信道容量與信噪功率比和帶寬有關(guān)。oN W0limlog(1)(/)stTPCCWTN W比特 秒第六節(jié)第六