連續(xù)信源和連續(xù)信道剖析

1、連續(xù)信源和連續(xù)信道剖析n連續(xù)信源：輸出消息在時間和取值上都連續(xù)的信源。如語音，電視信源。對應的數(shù)學工具為隨機過程。n從統(tǒng)計特性上講，連續(xù)隨機過程大致可分為平穩(wěn)（統(tǒng)計特性-各維概率密度函數(shù)不隨時間平移而變化的隨機過程）和非平穩(wěn)隨機過程兩大類。n一般認為，通信系統(tǒng)中的信號都是平穩(wěn)的隨機過程，或分段平穩(wěn)的隨機過程。n最常見的平穩(wěn)隨機過程為遍歷過程。2.3.1連續(xù)信源熵n連續(xù)信源基本的數(shù)學模型為 ,( )1( )RRXp x dxp x 其中 R是全實數(shù)集，是連續(xù)變量X的取值范圍，p(x)為X的概率密度。)()()1()1(iiaiaxpdxxpiaXiaP 假設xa，b，令=(b-a)/n，xia+

2、(i-1)，a+i，p(x)為連續(xù)變量X的概率密度函數(shù)，則利用中值定理X落在第i個小區(qū)間的概率是根據離散信源熵的定義，則niiniiiniiixpxpxpxpxpXH121212log)()(log)()(log)()(n當n時，即0時，得：2211000lim()lim( ) log( )lim log( )nniiinnniiH Xp xp xp x220( )log( )lim log( )bbnaap xp x dxp x dx 220( )log( )limlogbap xp x dx 定義連續(xù)信源熵:2()( )log( )CRHXp xp x dx 連續(xù)信源的熵具有相對性，有時稱

3、為相對熵,在取兩熵之間的差時才具有信息的所有特性. 上式定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應該再加上一項無限大的常數(shù)項。因為連續(xù)信源的可能取值有無限多個，若其取值是等概率分布的，那么，信源不確定性為無限大。當確知輸出為某值后，所獲得的信息量也將為無限大。可見，Hc(X)已不能代表信源的平均不確定性大小，也不能代表連續(xù)信源輸出的信息量。n例2.3.1有一信源概率密度如圖所示，求連續(xù)熵解:由圖(a)得由圖(b)得322111()( )log( )log122Hc XP xP x dxdxbit 622211()( )log( )log244Hc XP xP x dxdx

4、bit n同理，可定義兩個連續(xù)變量X，Y的聯(lián)合熵和條件熵：22()()log()cRHXYp xyp xy dxdy 22(|)( ) ( | )log( | )cRH Y Xp x p y xp y x dxdy 22( | )( ) ( | )log( | )cRH X Yp x p x yp x y dxdy連續(xù)信源和連續(xù)信道剖析連續(xù)信源和連續(xù)信道剖析1. 均勻分布的連續(xù)信源的熵，其大小僅與區(qū)域的邊界有關。均勻分布的連續(xù)信源的熵，其大小僅與區(qū)域的邊界有關。),(0),(1)(baxbaxabxp一維均勻分布：2()( )log( )bcaHXp xp x dx 211logbadxbab

5、a 221log ()1log ()babadxbaba0)(10)(1XHabXHabcc相對熵無非負性，可為負值相對熵無非負性，可為負值若： N維均勻分布：維均勻分布：N維矢量（維矢量（X1 X2 XN）中各分量彼）中各分量彼此統(tǒng)計獨立，且分別在此統(tǒng)計獨立，且分別在a1，b1 a2，b2 aN，bN 的的區(qū)域內均勻分布，即區(qū)域內均勻分布，即NiiiNiiiNiiiabxabxabxp11101)(NcccNiiiNiiicXHXHXHababXH211212)(log)(log)( 連續(xù)隨機矢量中各分量相互統(tǒng)計獨立時，其矢量熵就連續(xù)隨機矢量中各分量相互統(tǒng)計獨立時，其矢量熵就等于各單個隨機變

6、量的熵之和，與離散信源情況類似。等于各單個隨機變量的熵之和，與離散信源情況類似。2. 高斯分布的連續(xù)信源的熵：與數(shù)學期望無關，僅與方高斯分布的連續(xù)信源的熵：與數(shù)學期望無關，僅與方差有關差有關222)(221)(mxexp 設一維隨機變量 X的取值范圍是整個實數(shù)軸R，概率密度函數(shù)呈正態(tài)分布 dxxpmxmXEdxxxpXEm)()()(22222()22221()( )log( )( )log2x mcHXp xp x dxp xedx 與方差有關，與均值無關與方差有關，與均值無關222221()( )log( )log22xmp xdxp xedx 2222211log 2log( )()22

7、ep x xm dx221log 22e 當均值m=0，X的方差就是隨機變量的平均功率2222()( )( )EXmxmp x dxx p x dxPePXHc2log21)(2相對熵只與平均功率有關相對熵只與平均功率有關3. 指數(shù)分布的連續(xù)信源的熵：只取決于均值指數(shù)分布的連續(xù)信源的熵：只取決于均值 若一維隨機變量若一維隨機變量X的取值空間是的取值空間是0，其概率密，其概率密度函數(shù)為度函數(shù)為)0(1)(xemxpmx，且mdxemxdxxxpXEmmx001)(其中：其中： 02021()loglogxmcHXp xp x dxp xedxm 指數(shù)分布的相對熵只取決于信源的均值指數(shù)分布的相對熵

8、只取決于信源的均值m 2200loglogemp x dxxp x dxm2log me2.3.3 連續(xù)信源熵的性質及最大連續(xù)熵定理連續(xù)信源熵的性質及最大連續(xù)熵定理1. 連續(xù)熵可為負值連續(xù)熵可為負值2. 可加性可加性 /ccccccHXYHXHYXHXYHYHX Y推廣到推廣到N個變量：個變量：12121312121/cNccccNNHX XXHXHXXHXX XHXX XX3. 平均互信息的非負性平均互信息的非負性)()()()/()()/()();();(XYHYHXHXYHYHYXHXHXYIYXIccccccccc 連續(xù)信道的平均互信息量和離散信道下平均互信息量的連續(xù)信道的平均互信息量

9、和離散信道下平均互信息量的關系式完全類似，且保留了離散信道平均互信息量的所有含關系式完全類似，且保留了離散信道平均互信息量的所有含義和性質?？梢姡瑢⒉铎囟x為連續(xù)信源的熵是有重要實際義和性質。可見，將差熵定義為連續(xù)信源的熵是有重要實際意義的。意義的。4. 最大連續(xù)熵定理最大連續(xù)熵定理在不同的限制條件下，信源的最大熵也不同。在不同的限制條件下，信源的最大熵也不同。（1）限峰值功率的最大熵定理）限峰值功率的最大熵定理 若信源的若信源的N維隨機變量的取值在一定的范圍之內，維隨機變量的取值在一定的范圍之內，則在有限的定義域內，均勻分布的連續(xù)信源具有最大則在有限的定義域內，均勻分布的連續(xù)信源具有最大熵。

10、熵。),(0),(1)(baxbaxabxp1)(badxxp)(log)(2abXHc 22,loglogccbbaaHq xXHp xXq xq x dxp xp x dx 22loglogbbaaq xq x dxbap x dx 22loglogbbaaq xq x dxbaq x dx 22loglogbbaaq xq x dxq xp x dx 2logbap xq xdxq x 22loglogbbaap xeq xdxeq x dxq x 2log1bap xq xedxq x0 N維矢量（維矢量（X1 X2 XN）中各分量彼此統(tǒng)計獨立，）中各分量彼此統(tǒng)計獨立，且分別在且分別在

11、a1，b1 a2，b2 aN，bN 的區(qū)域內均勻分的區(qū)域內均勻分布，即布，即NiiiNiiiNiiiabxabxabxp11101)(NiiicabXH12)(log)( 這就是說，任何概率分布密度時的熵必小于均勻分這就是說，任何概率分布密度時的熵必小于均勻分布時的熵，即當均勻分布時差值達到最大值布時的熵，即當均勻分布時差值達到最大值當當ai=bi時，時，NiiNiiicbabXH12122log)(log)(（2）限平均功率的最大熵定理限平均功率的最大熵定理 若信源輸出信號的平均功率若信源輸出信號的平均功率P和均值和均值m被限定，則其輸被限定，則其輸出信號幅度的概率密度函數(shù)為高斯（正態(tài)）分布

12、時，信源具出信號幅度的概率密度函數(shù)為高斯（正態(tài)）分布時，信源具有最大熵值。有最大熵值。222)(221)(mxexp 單變量連續(xù)信源單變量連續(xù)信源X呈正態(tài)分布的概率密度函數(shù)為呈正態(tài)分布的概率密度函數(shù)為1)(dxxp且：且：222log21)(eXHcmdxxxp)(Pdxxpx)(2222222mPmXEmXE 當連續(xù)信源輸出信號的均值為零、平均功率受限當連續(xù)信源輸出信號的均值為零、平均功率受限時，只有信源輸出信號的幅度呈高斯分布時，才會有時，只有信源輸出信號的幅度呈高斯分布時，才會有最大熵值。最大熵值。n當信源的概率密度符合正態(tài)分布時，其相對熵僅與隨機當信源的概率密度符合正態(tài)分布時，其相對熵

13、僅與隨機變量的方差變量的方差 有關，而方差在物理含義上往往表示信號有關，而方差在物理含義上往往表示信號的交流功率的交流功率,即即n如果噪聲是正態(tài)分布，則噪聲熵最大，因此高斯白噪聲如果噪聲是正態(tài)分布，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。獲得最大噪聲熵。22pn 在限制信號平均功率的條件下，正態(tài)分布的信源可輸出最在限制信號平均功率的條件下，正態(tài)分布的信源可輸出最大相對熵大相對熵 其值隨平均功率的增加其值隨平均功率的增加而增加。而增加。222log21)(eXHc（3）均值受限條件下的最大連續(xù)熵定理均值受限條件下的最大連續(xù)熵定理 若連續(xù)信源若連續(xù)信源X輸出非負信號的均值受限，則其輸出信號輸出

14、非負信號的均值受限，則其輸出信號幅度呈指數(shù)分布時，信源具有最大熵值。幅度呈指數(shù)分布時，信源具有最大熵值。 將連續(xù)信源將連續(xù)信源X為指數(shù)分布時的概率密度函數(shù)記為為指數(shù)分布時的概率密度函數(shù)記為)0(1)(xemxpmx，且mdxxxp0)(meXHc2log)(1)(dxxp 取值為非負數(shù)，均值受限的連續(xù)信源，當它呈取值為非負數(shù)，均值受限的連續(xù)信源，當它呈指數(shù)分布時達到最大熵值，且其最大熵值僅決定于指數(shù)分布時達到最大熵值，且其最大熵值僅決定于被限定的均值被限定的均值 總結：連續(xù)信源與離散信源不同，它總結：連續(xù)信源與離散信源不同，它不存在絕對的最大熵。其最大熵與信源的不存在絕對的最大熵。其最大熵與信

15、源的限制條件有關。限制條件有關。連續(xù)信源在不同限制條件連續(xù)信源在不同限制條件下最大熵是不同的，在無限制條件時，最下最大熵是不同的，在無限制條件時，最大熵不存在。大熵不存在。連續(xù)信源和連續(xù)信道剖析連續(xù)信源和連續(xù)信道剖析 連續(xù)信道：輸入和輸出都是單個連續(xù)型隨機變量的信道。連續(xù)信道：輸入和輸出都是單個連續(xù)型隨機變量的信道。可用模型可用模型X,p(y|x),Y來描述單符號連續(xù)信道。來描述單符號連續(xù)信道。X是輸入連續(xù)是輸入連續(xù)型隨機變量，型隨機變量，X取值區(qū)間為取值區(qū)間為a,b或實數(shù)域或實數(shù)域 R；Y是信道輸是信道輸出連續(xù)型隨機變量，取值區(qū)間為出連續(xù)型隨機變量，取值區(qū)間為a,b或實數(shù)域或實數(shù)域 R；信道

16、；信道的傳遞概率密度函數(shù)為的傳遞概率密度函數(shù)為p(y|x),并滿足：并滿足：p(y/x)Xa,bYa,b連續(xù)信道的數(shù)學模型連續(xù)信道的數(shù)學模型( | )1Rp y x dy 定義連續(xù)信道的信道容量定義連續(xù)信道的信道容量C為信源為信源X等于某一概率密度等于某一概率密度函數(shù)函數(shù)p0(x)時，信道平均互信息量的最大值。時，信道平均互信息量的最大值。);(max)(YXICXp加性連續(xù)信道的容量加性連續(xù)信道的容量 加性連續(xù)信道：噪聲為連續(xù)隨機變量加性連續(xù)信道：噪聲為連續(xù)隨機變量N，且與，且與X相互相互統(tǒng)計獨立的信道。信道的噪聲對輸入的干擾作用表現(xiàn)為噪統(tǒng)計獨立的信道。信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和

17、輸入線性疊加，即聲和輸入線性疊加，即Y=X+N。+NXY=X+Np(y/x)=p(n) 加性連續(xù)信道的重要特征：信道的條件概率密度函數(shù)加性連續(xù)信道的重要特征：信道的條件概率密度函數(shù)等于噪聲的概率密度函數(shù)等于噪聲的概率密度函數(shù)p(y/x)=p(n)X YcdxdyxypxypxpXYH)/(log)/()()/(X Ndxdnnpnpxp)(log)()(2XNdnnpnpdxxp)(log)()(2Ndnnpnp)(log)()(NHc則條件熵：則條件熵：則加性信道的信道容量為則加性信道的信道容量為()()max (; )max( )( /)ccp Xp XCI X YH YH YX 由第二章

18、的討論已知，對于不同的限制條件，連續(xù)隨由第二章的討論已知，對于不同的限制條件，連續(xù)隨機變量具有不同的最大熵值。因此，加性信道容量取決于機變量具有不同的最大熵值。因此，加性信道容量取決于噪聲噪聲N (即信道）的統(tǒng)計特性和輸入隨機變量即信道）的統(tǒng)計特性和輸入隨機變量X所受的限制所受的限制條件。條件。()max( )()ccp XH YHN()max( )()ccp XH YHN高斯加性連續(xù)信道的容量：高斯加性連續(xù)信道的容量：), 0(2N高斯加性連續(xù)信道：信道中的噪聲高斯加性連續(xù)信道：信道中的噪聲1)(dnnp即：即：0)(dnnnpNPdnnpn22)(信道的傳遞概率密度函數(shù)為信道的傳遞概率密度函數(shù)為 222221/nenpxyp222log21)()/(eNHXYHcc則高斯加性連續(xù)信道的信道容量為則高斯加性連續(xù)信道的信道容量為22)()(2log21)(max)()(maxeYHNHYH