2-7第2章2.3連續(xù)信源ppt課件

1、HUST - Information and Coding Theoryo2.0 信源的數(shù)學(xué)模型及其分類(lèi)信源的數(shù)學(xué)模型及其分類(lèi)o2.1 單符號(hào)離散信源單符號(hào)離散信源o2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源o2.3 連續(xù)信源連續(xù)信源o2.3.1 連續(xù)信源的熵連續(xù)信源的熵o2.3.2 幾種特殊連續(xù)信源的熵幾種特殊連續(xù)信源的熵o2.3.3 最大連續(xù)熵定理最大連續(xù)熵定理o2.3.4 聯(lián)合熵、條件熵和平均交互信息量聯(lián)合熵、條件熵和平均交互信息量HUST - Information and Coding Theoryp實(shí)際應(yīng)用：信源的輸出往往是時(shí)間的連續(xù)函數(shù)，如語(yǔ)音實(shí)際應(yīng)用：信源的輸出往往是時(shí)間的連

2、續(xù)函數(shù)，如語(yǔ)音信號(hào)、電視圖像等。由于它們的取值既是連續(xù)的又是隨信號(hào)、電視圖像等。由于它們的取值既是連續(xù)的又是隨機(jī)的，稱(chēng)為連續(xù)信源，且信源輸出的消息可以用隨機(jī)過(guò)機(jī)的，稱(chēng)為連續(xù)信源，且信源輸出的消息可以用隨機(jī)過(guò)程描述。程描述。p連續(xù)信源的數(shù)學(xué)描述：對(duì)于某一連續(xù)信源連續(xù)信源的數(shù)學(xué)描述：對(duì)于某一連續(xù)信源X(t),當(dāng)給定當(dāng)給定某一時(shí)刻某一時(shí)刻t=to時(shí)，其取值是連續(xù)的，即時(shí)間和幅度均時(shí)，其取值是連續(xù)的，即時(shí)間和幅度均為連續(xù)函數(shù)。為連續(xù)函數(shù)。 由于連續(xù)信源中消息數(shù)是無(wú)限的，其每由于連續(xù)信源中消息數(shù)是無(wú)限的，其每一可能的消息是隨機(jī)過(guò)程的一個(gè)樣本函數(shù)，可以用有限一可能的消息是隨機(jī)過(guò)程的一個(gè)樣本函數(shù)，可以用有限

3、維概率分布函數(shù)或有限維概率密度函數(shù)來(lái)描述連續(xù)信源。維概率分布函數(shù)或有限維概率密度函數(shù)來(lái)描述連續(xù)信源。連續(xù)信源連續(xù)信源HUST - Information and Coding Theoryp平穩(wěn)隨機(jī)過(guò)程：統(tǒng)計(jì)特性不隨時(shí)間的平移而變化的隨機(jī)平穩(wěn)隨機(jī)過(guò)程：統(tǒng)計(jì)特性不隨時(shí)間的平移而變化的隨機(jī)過(guò)程。過(guò)程。p平穩(wěn)遍歷的隨機(jī)過(guò)程：集平均與時(shí)間平均相等。平穩(wěn)遍歷的隨機(jī)過(guò)程：集平均與時(shí)間平均相等。連續(xù)信源連續(xù)信源1( )lim( )2( )( )iiTTTttx tx t dtTE Xxp x dxE Xx t 時(shí)間平均： 集平均： HUST - Information and Coding Theoryp研

4、究方法一：取樣、量化。時(shí)間離散、取值離散，簡(jiǎn)化研究方法一：取樣、量化。時(shí)間離散、取值離散，簡(jiǎn)化為離散信源上一節(jié)已討論）為離散信源上一節(jié)已討論）p研究方法二：只取樣、不量化。時(shí)間離散、取值連續(xù)。研究方法二：只取樣、不量化。時(shí)間離散、取值連續(xù)。研究一個(gè)隨機(jī)序列，序列中的每個(gè)分量的取值是連續(xù)的研究一個(gè)隨機(jī)序列，序列中的每個(gè)分量的取值是連續(xù)的本節(jié)研究的重點(diǎn)）本節(jié)研究的重點(diǎn)）連續(xù)信源連續(xù)信源HUST - Information and Coding Theory連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型1212112212121212121 212, 1,2,( ),1,2,; , ,( ),( ),.,(

5、),; , ,( ,; , ,)(;)iinnnnnnnnnnnnnt inX tinF x xx t ttP X tx X txX txF x xx t ttnF x xx t ttp x xx t ttx xxX 若給定個(gè)時(shí)刻隨機(jī)變量 的聯(lián)合分布函數(shù)為：若的階偏導(dǎo)數(shù)存在，則有則稱(chēng)上式為隨機(jī)過(guò)程121 21(;)( , )( , )()(iinnnxiiixiip x xx t ttpx tpxtntX t的若滿(mǎn)足式中為的邊沿概率密度，則稱(chēng)為獨(dú)維概率密度函數(shù)。立的隨機(jī)過(guò)程。n任何一個(gè)隨機(jī)過(guò)程都可用一組隨機(jī)變量來(lái)描述，研究連續(xù)信源可以首先對(duì)單個(gè)隨機(jī)變量情況進(jìn)行討論，然后推廣到維情況。HUST

6、- Information and Coding Theory2.3.12.3.1連續(xù)信源的熵連續(xù)信源的熵o簡(jiǎn)單的連續(xù)信源可以用一維隨機(jī)變量描述簡(jiǎn)單的連續(xù)信源可以用一維隨機(jī)變量描述o延續(xù)延續(xù)o 隨機(jī)隨機(jī)o 變量變量Xo 滿(mǎn)足：滿(mǎn)足： ( )( )1( )()( )( )( )xXp xp x dxF xP Xxp a daXXp xF x若隨機(jī)變量 存在非負(fù)函數(shù),且，并且 稱(chēng) 為具有連續(xù)型分布，或稱(chēng) 為連續(xù)型隨機(jī)變量。其中，為概率密度函數(shù)，為概率分布函數(shù)。-( )0( )1;( )( )( )(0);lim( )0, lim( )1.；為單調(diào)非降函數(shù)；左連續(xù)，即xxp xp x dxF xF

7、xF xF xF xF xHUST - Information and Coding Theory連續(xù)信源熵的計(jì)算方法連續(xù)信源熵的計(jì)算方法(1)(1)( )1( ) , ()/(1),(1),( )( )( )iia i xiaixaiiaixXxp x dxPp xxx a bxban xaix ai xxaix ai xXPpp x dxpp x dxp xx 簡(jiǎn)單連續(xù)信源的模型可寫(xiě)為假設(shè),令,則連續(xù)信源模型可改寫(xiě)成離散信源模型由積分中值定理得到i xHUST - Information and Coding Theory連續(xù)信源熵的計(jì)算方法連續(xù)信源熵的計(jì)算方法- -續(xù)續(xù)11110()lo

8、g( )log( ) ( )log( )( )log,0()lim()()( )lo()( )lg( )lim(og(log)nnniiiiiinniiiibinnbaxabaHXppp xxp xxp xp xxp xxxnxH XHXH Xp xp x dxp xxdH Xp xp x dxx 根據(jù)離散信源熵的定義，則當(dāng)即時(shí)，由積分定義，則有0lim logxx第一項(xiàng)具有離散信源熵的形第二項(xiàng)為式上式中，無(wú)窮項(xiàng)。HUST - Information and Coding Theory定義定義 連續(xù)信源的熵連續(xù)信源的熵o對(duì)于連續(xù)信源對(duì)于連續(xù)信源X，若其概率密度為，若其概率密度為p(x)，則連續(xù)

9、信，則連續(xù)信源的熵為源的熵為 o解釋解釋o連續(xù)信源的熵與離散信源的熵具有相同的形式，但其連續(xù)信源的熵與離散信源的熵具有相同的形式，但其意義不相同。連續(xù)信源熵與離散信源熵相比，去掉了意義不相同。連續(xù)信源熵與離散信源熵相比，去掉了一個(gè)無(wú)窮項(xiàng)，連續(xù)信源的不確定性應(yīng)為無(wú)窮大。一個(gè)無(wú)窮項(xiàng)，連續(xù)信源的不確定性應(yīng)為無(wú)窮大。o由于實(shí)際應(yīng)用中常常關(guān)心的是熵之間的差值，無(wú)窮項(xiàng)由于實(shí)際應(yīng)用中常常關(guān)心的是熵之間的差值，無(wú)窮項(xiàng)可相互抵消，故這樣定義連續(xù)信源的熵不會(huì)影響討論可相互抵消，故這樣定義連續(xù)信源的熵不會(huì)影響討論所關(guān)心的交互信息量、信息容量和率失真函數(shù)。所關(guān)心的交互信息量、信息容量和率失真函數(shù)。o需要強(qiáng)調(diào)的是連續(xù)信

10、源熵的值只是熵的相對(duì)值，不是需要強(qiáng)調(diào)的是連續(xù)信源熵的值只是熵的相對(duì)值，不是絕對(duì)值，而離散信源熵的值是絕對(duì)值。絕對(duì)值，而離散信源熵的值是絕對(duì)值。()( )log( )H Xp xp x dx HUST - Information and Coding Theoryo2.0 信源的數(shù)學(xué)模型及其分類(lèi)信源的數(shù)學(xué)模型及其分類(lèi)o2.1 單符號(hào)離散信源單符號(hào)離散信源o2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源o2.3 連續(xù)信源連續(xù)信源o2.3.1 連續(xù)信源的熵連續(xù)信源的熵o2.3.2 幾種特殊連續(xù)信源的熵幾種特殊連續(xù)信源的熵o2.3.3 最大連續(xù)熵定理最大連續(xù)熵定理o2.3.4 聯(lián)合熵、條件熵和平均交互信

11、息量聯(lián)合熵、條件熵和平均交互信息量HUST - Information and Coding Theory例例 求平均分布隨機(jī)變量的熵求平均分布隨機(jī)變量的熵1( )011()loglog()1()0, 解：均勻分布隨機(jī)變量的概率密度為 其它 代入熵表達(dá)式，則有可以看到，當(dāng)時(shí)，則所以連續(xù)信源不具有非負(fù)性。 baaxbp xbaH XdxbabababaH XHUST - Information and Coding Theory例例 求一維高斯分布的熵求一維高斯分布的熵 2222222221() ( )exp22( );()()( )()( )log( )1()( ) logexp22e1()(

12、 )ln2()2xmp xmE Xxp x dxExmxmp x dxH Xp xp x dxxmp xdxH Xp xxm 解：高斯隨機(jī)變量的概率密度為則有取 為底的對(duì)數(shù)221ln2ln22dxe 2求均值為 、方差為的高斯分布的熵。mHUST - Information and Coding Theoryo2.0 信源的數(shù)學(xué)模型及其分類(lèi)信源的數(shù)學(xué)模型及其分類(lèi)o2.1 單符號(hào)離散信源單符號(hào)離散信源o2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源o2.3 連續(xù)信源連續(xù)信源o2.3.1 連續(xù)信源的熵連續(xù)信源的熵o2.3.2 幾種特殊連續(xù)信源的熵幾種特殊連續(xù)信源的熵o2.3.3 最大連續(xù)熵定理最大連

13、續(xù)熵定理o2.3.4 聯(lián)合熵、條件熵和平均交互信息量聯(lián)合熵、條件熵和平均交互信息量HUST - Information and Coding Theory2.3.3 2.3.3 連續(xù)信源的最大熵連續(xù)信源的最大熵o對(duì)于離散信源，當(dāng)所有消息獨(dú)立等概率分布時(shí)，其對(duì)于離散信源，當(dāng)所有消息獨(dú)立等概率分布時(shí)，其熵值最大。而在連續(xù)信源情況下，如果沒(méi)有條件限熵值最大。而在連續(xù)信源情況下，如果沒(méi)有條件限制就沒(méi)有最大熵。在不同限制條件下，信源的最大制就沒(méi)有最大熵。在不同限制條件下，信源的最大熵也不同。熵也不同。o問(wèn)題：對(duì)于連續(xù)信源，當(dāng)存在最大熵值時(shí)，其概率問(wèn)題：對(duì)于連續(xù)信源，當(dāng)存在最大熵值時(shí)，其概率密度函數(shù)密度函

14、數(shù)p(x)應(yīng)該滿(mǎn)足什么條件呢？應(yīng)該滿(mǎn)足什么條件呢？o當(dāng)當(dāng)H(X)滿(mǎn)足滿(mǎn)足o 為最大條件下，求解為最大條件下，求解p(x) 滿(mǎn)足概率密度的定滿(mǎn)足概率密度的定義。義。()( )log( )H Xp xp x dx HUST - Information and Coding Theory連續(xù)信源的最大熵連續(xù)信源的最大熵- -續(xù)續(xù)o在具體應(yīng)用中，僅討論連續(xù)信源的兩種情況：在具體應(yīng)用中，僅討論連續(xù)信源的兩種情況：o一是信源輸出的幅度受限；一是信源輸出的幅度受限；o二是信源輸出的平均功率受限。二是信源輸出的平均功率受限。o利用數(shù)學(xué)表達(dá)式表示這兩種情況，可以寫(xiě)為利用數(shù)學(xué)表達(dá)式表示這兩種情況，可以寫(xiě)為222(

15、 )1;( );()( ).0p x dxxp x dxmxmp x dxmPm為零時(shí)，平均功率就等于方差 平均功率受限，相當(dāng)于(當(dāng)時(shí))方差受限。HUST - Information and Coding Theory輸出信號(hào)幅度受限條件下的最大熵輸出信號(hào)幅度受限條件下的最大熵o定理定理:對(duì)于服從均勻分布的隨機(jī)變量對(duì)于服從均勻分布的隨機(jī)變量X，具有最，具有最大輸出熵。大輸出熵。111( )0log( ) 10( )( )11bbaap xp xep xep x dxedxeba 證明：該問(wèn)題為在約束條件下，求達(dá)到最大值的。令 對(duì)上式求關(guān)于的偏導(dǎo)數(shù)，并令其為 ，化簡(jiǎn)后得 （取 為底的對(duì)數(shù)）解得：

16、，因?yàn)閯t有，所以 b ba ab ba ab ba ap(x)dx =1p(x)dx =1H (X )= -p(x)l ogp(x)dxp(x)H (X )= -p(x)l ogp(x)dxp(x) Fp(x)= H (X )+ p(x)dx -1 Fp(x)= H (X )+ p(x)dx -11 1axbaxbp(x)=p(x)=b -ab -a0其0其它它 1 1a ax xb bp p( (x x) )= =b b - -a a0 0其其它它HUST - Information and Coding Theory平均功率受限條件下的最大熵平均功率受限條件下的最大熵o定理：對(duì)于服從均值為

17、定理：對(duì)于服從均值為m，方差為，方差為2的高的高斯分布的隨機(jī)變量具有最大輸出熵。斯分布的隨機(jī)變量具有最大輸出熵。2212223( )1( )()( )()( )log ( )( ) ( )()( )1( )()( )p x dxxp x dxmxmp x dxH Xp xp x dxp xF p xH Xp x dxxp x dxmxmp x dx 證明：該問(wèn)題為在約束條件， 下，求達(dá)到最大值的。令HUST - Information and Coding Theory21232222( )0( )( )exp1()1()( )exp22()( )log ( )()( )log 2( )log

18、2F p xep xp xxxmxmp xH Xp xp x dxxmp xdxp x dxe 令，解得（取 為底的對(duì)數(shù)）將上式代入約束條件關(guān)系式，可以得到 定理定理 - - 證明證明 續(xù)續(xù)1()log2loglog2()2H XeeH XHUST - Information and Coding Theory結(jié)論結(jié)論.o輸出信號(hào)幅度受限的連續(xù)信源，當(dāng)滿(mǎn)足均勻輸出信號(hào)幅度受限的連續(xù)信源，當(dāng)滿(mǎn)足均勻分布時(shí)達(dá)到最大輸出熵，這與離散信源在以分布時(shí)達(dá)到最大輸出熵，這與離散信源在以等概率出現(xiàn)達(dá)到最大輸出熵的結(jié)論類(lèi)似。等概率出現(xiàn)達(dá)到最大輸出熵的結(jié)論類(lèi)似。o輸出信號(hào)平均功率受限條件下，具有高斯分輸出信號(hào)平均

19、功率受限條件下，具有高斯分布的連續(xù)信源的熵最大，且隨平均功率的增布的連續(xù)信源的熵最大，且隨平均功率的增加而增加。加而增加。HUST - Information and Coding Theoryo2.0 信源的數(shù)學(xué)模型及其分類(lèi)信源的數(shù)學(xué)模型及其分類(lèi)o2.1 單符號(hào)離散信源單符號(hào)離散信源o2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源o2.3 連續(xù)信源連續(xù)信源o2.3.1 連續(xù)信源的熵連續(xù)信源的熵o2.3.2 幾種特殊連續(xù)信源的熵幾種特殊連續(xù)信源的熵o2.3.3 最大連續(xù)熵定理最大連續(xù)熵定理o2.3.4 聯(lián)合熵、條件熵和平均交互信息量聯(lián)合熵、條件熵和平均交互信息量HUST - Informatio

20、n and Coding Theory聯(lián)合熵、條件熵和平均交互信息量聯(lián)合熵、條件熵和平均交互信息量(, );(|)(|);(; ) (, )()log() ()(|)()log( | )(|)()XYH X YH Y XH X YI X YH X Yp xyp xy dxdyp xyH Y Xp xyp y x dxdyH X Yp xy 設(shè)有兩個(gè)連續(xù)隨機(jī)變量 和 ，其聯(lián)合熵為其條件熵為或平均交互信息量為定義 式中為二維聯(lián)合概率密度。定義 或log( | )( | )( | )(; )()(|)(; )( )(|)(; )()( )(, )p x y dxdyp y xp x yI X YH

21、XH X YI X YH YH Y XI X YH XH YH X Y 式中和為條件概率密度。定義 或 可以證明：(; )()( )(, )I X YH XH YH X Y 可以證明：HUST - Information and Coding Theory證明證明(; )()(; )()(|)()()log( | )()()()log( )1()( )log()log()( )( )(, )(; )( ;), )()YYYI X YH XH YH X YI X YI X YH XH X YH Xp xyp x y dxdyp xyH Xp xydxdypyH Xpyp xyp xy dxdypy dyH X YH XI Y X 由上式推導(dǎo)可以看出，有,并 且( )( )( )()log()( )( )()1log0;0)()(XYXYpx pyH Yp xydxdyp xypx pyp xyedxdyp xyI X Y 故有: HUST - Information