連續(xù)信源的熵與互信息量

連續(xù)信源的熵與互信息量演示文稿現(xiàn)在是1頁(yè)\一共有36頁(yè)\編輯于星期日（優(yōu)選）連續(xù)信源的熵與互信息量現(xiàn)在是2頁(yè)\一共有36頁(yè)\編輯于星期日離散無記憶信源：H∞(X)=HL(X)=H(X)

離散有記憶信源：H∞(X)≤HL(X)≤H(X)Review離散信源序列的熵

信源的序列熵：現(xiàn)在是3頁(yè)\一共有36頁(yè)\編輯于星期日Review離散信源的互信息現(xiàn)在是4頁(yè)\一共有36頁(yè)\編輯于星期日系統(tǒng)1系統(tǒng)2XYZ兩級(jí)串聯(lián)信道的情況X-Y-Z構(gòu)成Markov鏈當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。數(shù)據(jù)處理定理Review現(xiàn)在是5頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)信源的熵與互信息量第四講現(xiàn)在是6頁(yè)\一共有36頁(yè)\編輯于星期日

輸出消息取值上連續(xù)的信源，如語音，電視等，對(duì)應(yīng)的數(shù)學(xué)工具為連續(xù)型隨機(jī)變量或隨機(jī)過程。連續(xù)信源輸出的狀態(tài)概率用概率密度來表示。

連續(xù)信源的數(shù)學(xué)模型現(xiàn)在是7頁(yè)\一共有36頁(yè)\編輯于星期日考慮一個(gè)定義在[a,b]區(qū)間的連續(xù)隨機(jī)變量，如下圖

首先把X的取值區(qū)間[a,b]等分割為n個(gè)小區(qū)間，小區(qū)間寬度為

△=(b-a)/n，根據(jù)概率分布與概率密度曲線區(qū)間面積的關(guān)系x取值為第i個(gè)小區(qū)間xi的概率為p(xi).△,

xi為小區(qū)間xi中的一點(diǎn)，于是得到分割后的離散信源Xn的概率源空間為：

p(x)

p(xi)△

a0xibx

連續(xù)信源的熵？現(xiàn)在是8頁(yè)\一共有36頁(yè)\編輯于星期日其中按離散信源熵的定義當(dāng)△→0，n→∞時(shí)，Xn接近于連續(xù)隨機(jī)變量X，這時(shí)可得連續(xù)信源的熵為：絕對(duì)熵相對(duì)熵x1x2…xnp(x1)△p(x2)△…p(xn)△現(xiàn)在是9頁(yè)\一共有36頁(yè)\編輯于星期日定義:連續(xù)隨機(jī)變量的相對(duì)熵為

1)相對(duì)熵為絕對(duì)熵減去一個(gè)無窮大量；2)相對(duì)熵不具有非負(fù)性，可以為負(fù)值；

4)連續(xù)信源的絕對(duì)熵為一個(gè)無窮大量，但當(dāng)分析互信

息量時(shí)是求兩個(gè)絕對(duì)熵的差，當(dāng)采用相同的量化過

程時(shí)，兩個(gè)無窮大量將被抵消，因而采用相對(duì)熵不

影響分析互信息。3)相對(duì)熵不等于一個(gè)消息狀態(tài)具有的平均信息量；連續(xù)信源的相對(duì)熵現(xiàn)在是10頁(yè)\一共有36頁(yè)\編輯于星期日定義：連續(xù)隨機(jī)變量的聯(lián)合熵為

定義：連續(xù)隨機(jī)變量的條件熵為連續(xù)信源的相對(duì)熵現(xiàn)在是11頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)隨機(jī)變量的聯(lián)合熵、條件熵和互信息之間關(guān)系連續(xù)信源的互信息定義：連續(xù)隨機(jī)變量的平均互信息量為現(xiàn)在是12頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)隨機(jī)變量的聯(lián)合平均互信息量連續(xù)信源的互信息連續(xù)隨機(jī)變量的條件平均互信息量現(xiàn)在是13頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)隨機(jī)變量X與離散隨機(jī)變量Y聯(lián)合聯(lián)合熵、條件熵連續(xù)信源的熵與平均互信息量連續(xù)隨機(jī)變量X與離散隨機(jī)變量Y的平均互信息量現(xiàn)在是14頁(yè)\一共有36頁(yè)\編輯于星期日例題令X是在區(qū)間(a，b)上均勻分布的隨機(jī)變量，求X的相對(duì)熵。解：x的概率密度為

注意:連續(xù)變量的微分熵不具有非負(fù)性當(dāng)b－a>1時(shí)，

b－a<1時(shí)，

b－a=1時(shí)，現(xiàn)在是15頁(yè)\一共有36頁(yè)\編輯于星期日例令X是數(shù)學(xué)期望為m，方差為的正態(tài)隨機(jī)變量，求它的熵。解：正態(tài)隨機(jī)變量x的概率密度它的值視的大小可正、可負(fù)或零，且與數(shù)學(xué)期望無關(guān)。現(xiàn)在是16頁(yè)\一共有36頁(yè)\編輯于星期日均勻分布的連續(xù)信源的熵：高斯分布的連續(xù)信源的熵：連續(xù)熵實(shí)例僅與區(qū)域的邊界有關(guān)與數(shù)學(xué)期望無關(guān)，僅與方差有關(guān)現(xiàn)在是17頁(yè)\一共有36頁(yè)\編輯于星期日設(shè)pXY是(xy)二維高斯概率密度函數(shù)求X與Y的平均互信息。連續(xù)熵實(shí)例現(xiàn)在是18頁(yè)\一共有36頁(yè)\編輯于星期日例X和Y

的一維概率密度函數(shù)容易求得為現(xiàn)在是19頁(yè)\一共有36頁(yè)\編輯于星期日X和Y之間的平均互信息由定義有

奈特

表明，兩個(gè)高斯變量之間的互信息只與相關(guān)系數(shù)有關(guān)，而與數(shù)學(xué)期望及方差和無關(guān)。

現(xiàn)在是20頁(yè)\一共有36頁(yè)\編輯于星期日例:設(shè)原連續(xù)隨機(jī)變量X是數(shù)學(xué)期望為m，方差為的正態(tài)隨機(jī)變量，經(jīng)一個(gè)放大倍數(shù)為k的放大器放大輸出為Y,求Y的相對(duì)熵。解：y=kx為數(shù)學(xué)期望為km，方差為的正態(tài)隨機(jī)變量，

注意:相對(duì)熵值通過線性放大器后發(fā)生變化.

現(xiàn)在是21頁(yè)\一共有36頁(yè)\編輯于星期日指數(shù)分布的連續(xù)信源的熵：連續(xù)熵實(shí)例現(xiàn)在是22頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)熵可為負(fù)值（為什么？連續(xù)熵的相對(duì)性所致）可加性平均互信息的非負(fù)性，對(duì)稱性，信息處理定理最大連續(xù)熵定理連續(xù)熵的性質(zhì)現(xiàn)在是23頁(yè)\一共有36頁(yè)\編輯于星期日峰值功率受限的最大熵定理若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。平均功率受限的最大熵定理若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時(shí)的相對(duì)熵最大，即連續(xù)信源與離散信源不同，1)它不存在絕對(duì)最大熵;2)其最大熵與信源的限制條件有關(guān)。最大連續(xù)熵定理現(xiàn)在是24頁(yè)\一共有36頁(yè)\編輯于星期日峰值功率受限的最大熵定理

若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。平均功率受限的最大熵定理若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時(shí)的相對(duì)熵最大，即最大連續(xù)熵定理現(xiàn)在是25頁(yè)\一共有36頁(yè)\編輯于星期日證明：應(yīng)用拉格朗日乘因子法，首先構(gòu)造函數(shù)由相對(duì)熵定義，可得當(dāng)且僅當(dāng)時(shí)，等號(hào)成立。將其代入約束條件可得，則有于是有X∈

(-M,M)現(xiàn)在是26頁(yè)\一共有36頁(yè)\編輯于星期日峰值功率受限的最大熵定理若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。平均功率受限的最大熵定理

若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時(shí)的相對(duì)熵最大，即最大連續(xù)熵定理現(xiàn)在是27頁(yè)\一共有36頁(yè)\編輯于星期日證明：考慮到約束條件應(yīng)用拉格朗日乘因子法計(jì)算極大值當(dāng)且僅當(dāng)時(shí)，等號(hào)成立。將其代入兩個(gè)約束條件，即可求得和于是有X的方差一定現(xiàn)在是28頁(yè)\一共有36頁(yè)\編輯于星期日均值受限的最大熵定理若連續(xù)隨機(jī)變量X非負(fù)的均值為M，則X服從指數(shù)分布時(shí)的相對(duì)熵最大，即最大連續(xù)熵定理現(xiàn)在是29頁(yè)\一共有36頁(yè)\編輯于星期日當(dāng)平均功率受限時(shí)，高斯分布信源的熵最大，若令其平均功率為，則其熵為熵功率若平均功率為的信源具有熵為HC(X)，則稱熵為HC(X)的高斯信源的平均功率為熵功率若另一信源的平均功率仍為，則它的熵一定小于現(xiàn)在是30頁(yè)\一共有36頁(yè)\編輯于星期日連續(xù)信源的剩余度平均功率受限時(shí)，一般信源的熵小于高斯分布信源的熵，所以信號(hào)的熵功率總小于信號(hào)的實(shí)際平均功率。熵功率的大小可以表示連續(xù)信源剩余的大小。信號(hào)平均功率和熵功率之差，稱為連續(xù)信源的剩余度。現(xiàn)在是31頁(yè)\一共有36頁(yè)\編輯于星期日思考:設(shè)X和Y為連續(xù)隨機(jī)變量，且X的概率密度為條件概率密度為其中－∞

<

x，y<∞。試求Hc(X)，Hc(Y/X)，Hc(X/Y)和I