具有最大熵的連續(xù)信源

1、具有最大熵的連續(xù)信源馬冬梅2001級(jí)信息與計(jì)算科學(xué)摘要：在連續(xù)信源中差熵也具有極大值，但它與在離散信源中，當(dāng)信源符號(hào)等概率分布時(shí)信源的熵取最大值時(shí)的情況有所不同。除存在完備集條件以外，如有其他約束條件，當(dāng)各約束條件不同時(shí)，信源的最大差熵值不同。關(guān)鍵詞：最大差熵值 峰值功率 平均功率 最大相對(duì)熵 概率密度函數(shù) 詹森不等式1 問題提出 我們?cè)谇笮旁吹淖畲箪貢r(shí)，會(huì)受到很多條件的約束。一般情況，在不同約束條件下，求連續(xù)信源差熵的最大值，就是在下述若干約束條件下 求泛函數(shù)的極值。通常我們考慮兩種情況：一種是信源的輸出值受限；另一種是信源的輸出平均功率受限。2 峰值功率受限條件下信源的最大熵 假設(shè)某信源輸

2、出信號(hào)的峰值功率受限為，即信源輸出信號(hào)的瞬時(shí)電壓限定在內(nèi)，它等價(jià)于信源輸出的連續(xù)隨機(jī)變量的取值幅度受限，限于內(nèi)取值，所以我們求在約束條件下，信源的最大相對(duì)熵。定理1 若信源輸出幅度被限定在區(qū)域內(nèi)，則當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，信源具有最大熵。其值等于. 若當(dāng)維隨機(jī)變量取值受限時(shí)，也只有各隨機(jī)分量統(tǒng)計(jì)獨(dú)立并均勻分布時(shí)具有最大值。在此，只有對(duì)一維隨機(jī)變量進(jìn)行證明，對(duì)于維隨機(jī)矢量可采用相同的方法進(jìn)行證明。證明： 設(shè)為均勻分布概率密度函數(shù)，并滿足，又設(shè)為任意分布的概率密度函數(shù)，也有。則其中運(yùn)用了詹森不等式，因而當(dāng)且僅當(dāng)時(shí)等式才成立。即，任何概率密度分布時(shí)的熵必小于均勻分布時(shí)的熵，即當(dāng)均勻分布時(shí)差

3、熵達(dá)到最大值。3平均功率受限條件下信源的最大值在此情況下，我們直接利用一個(gè)定理及其證明來求信源的最大熵。定理2 若一個(gè)連續(xù)信源輸出信號(hào)的平均功率被限定為，則其輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，信源有最大的熵，其值為.對(duì)于維連續(xù)平穩(wěn)信源來說，若其輸出的維隨機(jī)序列的協(xié)方差矩陣被限定，則維隨機(jī)矢量為正態(tài)分布時(shí)信源的熵最大，也就是維高斯信源的熵最大，其值為現(xiàn)在被限制的條件是信源輸出的平均功率受限為。對(duì)于均值為零的信號(hào)來說這條件就是其方差受限。在此，我們只證明一般均值不為零的一維隨機(jī)變量。即是在約束條件和 下，出現(xiàn)差熵的極大值。而均值為零，平均功率受限的情況只是一個(gè)特例。證明： 設(shè)為信源輸出的任意

4、概率密度分布。因?yàn)槠浞讲钍芟逓?，所以必滿足和。又設(shè)是方差為的正態(tài)概率密度分布，即有，我們已計(jì)算得?，F(xiàn)計(jì)算 得而 根據(jù)詹森不等式得所以得當(dāng)且僅當(dāng)時(shí)等式成立。4 結(jié)果分析 定理2 的結(jié)果說明，當(dāng)連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯噪聲統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最大的熵值。從直觀上看這是合理的，因?yàn)樵肼暿且粋€(gè)最不確定的隨機(jī)過程，而最大的信息量只能從最不確定的事件中獲得。 若在一上述條件下，再進(jìn)一步限定：協(xié)方差矩陣中協(xié)方差。即隨機(jī)序列中各分量之間不相關(guān)，又則可證明維序列的各分量彼此統(tǒng)計(jì)獨(dú)立，并各自達(dá)到正態(tài)分布時(shí)的熵最大，也就是維無記憶高斯信源的熵最大，最大值為。 若隨機(jī)序列中各分量的均值，而平均功率受限為，