第6講——連續(xù)信源的數(shù)學模型及其信息測度.pdf

連續(xù)信源的數(shù)學模型 及其測度 連續(xù)信源的數(shù)學模型 及其測度 連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型 及其測度及其測度及其測度及其測度 第六講第六講第六講第六講 信源的數(shù)學模型信源的數(shù)學模型 信源的信息測度信源的信息測度 隨機變量 隨機序列隨機變量 隨機序列 簡單離散信源 簡單離散信源 H X 離散無記憶信源 離散無記憶信源 H X 離散有記憶信源 離散有記憶信源 H X Review HL X H X 離散信源離散信源 連續(xù)信源的數(shù)學模型 及其測度 連續(xù)信源的數(shù)學模型 及其測度 連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型 及其測度及其測度及其測度及其測度 第六講第六講第六講第六講 5 1 5 1 5 1 5 1 連續(xù)信源的數(shù)學連續(xù)信源的數(shù)學連續(xù)信源的數(shù)學連續(xù)信源的數(shù)學 模型模型模型模型 輸出消息取值上連續(xù)的信源 如語音 電視信源等 對 應的數(shù)學工具為連續(xù)型隨機變量或隨機過程 輸出消息取值上連續(xù)的信源 如語音 電視信源等 對 應的數(shù)學工具為連續(xù)型隨機變量或隨機過程 連續(xù)信源輸出的狀態(tài)概率用概率密度來表示 連續(xù)信源輸出的狀態(tài)概率用概率密度來表示 連續(xù)信源的數(shù)學模型連續(xù)信源的數(shù)學模型 1 b a Xa b p xp x p x dx 并滿足 5 2 5 2 5 2 5 2 連續(xù)信源的連續(xù)信源的連續(xù)信源的連續(xù)信源的 信息測度信息測度信息測度信息測度 考慮一個定義在在考慮一個定義在在 a b 區(qū)間的連續(xù)隨機變量 如下圖區(qū)間的連續(xù)隨機變量 如下圖 首先把首先把X的取值區(qū)間的取值區(qū)間 a b 分割為分割為n個小區(qū)間 小區(qū)間寬度為個小區(qū)間 小區(qū)間寬度為 b a n 根據(jù)概率分布與概率密度曲線區(qū)間面積的關系 根據(jù)概率分布與概率密度曲線區(qū)間面積的關系 X取值為取值為xi的概率為的概率為p xi 于是得到離散信源 于是得到離散信源Xn的概 率源空間為 的概 率源空間為 p x p xi a 0 xi b x 連續(xù)熵連續(xù)熵 x1x2 xn p x1 p x2 p xn 其中其中 1 1 n b i a i p xp x dx 按離散信源熵定義按離散信源熵定義 1 log n nii i H Xp xp x log log 11 n i i n i ii xpxpxp 1 log log n ii i p xp x 當當 0 n 時 時 Xn接近于連續(xù)隨機變量接近于連續(xù)隨機變量X 這時可 得連續(xù)信源的熵為 這時可 得連續(xù)信源的熵為 loglim log 0 b a dxxpxp XH c n i ii n n n xpxpXHXH 1 00 log log lim lim 絕對熵絕對熵 相對熵相對熵 x1x2 xn p x1 p x2 p xn 定義定義 b a c dxxpxpXH log 1 連續(xù)信源熵為相對熵 其值為絕對熵減去一個無窮 大量 連續(xù)信源熵為相對熵 其值為絕對熵減去一個無窮 大量 因為連續(xù)信源有無窮多個狀態(tài) 因為連續(xù)信源有無窮多個狀態(tài) 2 連續(xù)信源熵不具有非負性 可以為負值 連續(xù)信源熵不具有非負性 可以為負值 4 盡管連續(xù)信源的絕對熵為一個無窮大量 但信息論 的主要問題是信息傳輸問題 因此 當分析其互信 息量時是求兩個熵的差 當采用相同的量化過程時 兩個無窮大量將被抵消 因而不影響分析 盡管連續(xù)信源的絕對熵為一個無窮大量 但信息論 的主要問題是信息傳輸問題 因此 當分析其互信 息量時是求兩個熵的差 當采用相同的量化過程時 兩個無窮大量將被抵消 因而不影響分析 3 連續(xù)信源熵不等于一個消息狀態(tài)具有的平均信息 量 其值是有限的 而信息量是無限的 連續(xù)信源熵不等于一個消息狀態(tài)具有的平均信息 量 其值是有限的 而信息量是無限的 連續(xù)熵連續(xù)熵 連續(xù)變量的聯(lián)合熵和條件熵連續(xù)變量的聯(lián)合熵和條件熵 2 2 2 log log log c xy c xy c xy HXYp xyp xy dxdy HXYp xyp xy dxdy HYXp xyp yx dxdy 連續(xù)熵連續(xù)熵 CC CC CCC I X YH XH X Y H YH Y X H XH YH XY 平均互信息量平均互信息量 均勻分布的連續(xù)信源的熵 均勻分布的連續(xù)信源的熵 ln c HXba 一維均勻分布 高斯分布的連續(xù)信源的熵 高斯分布的連續(xù)信源的熵 2 1 ln2 2 c HXe 連續(xù)熵實例連續(xù)熵實例 僅與區(qū)域的邊界有關 與數(shù)學期望無關 僅與方差有關 僅與區(qū)域的邊界有關 與數(shù)學期望無關 僅與方差有關 11 ln ln NN ciiii ii NHXbaba 維均勻分布 性質性質 連續(xù)熵可為負值 連續(xù)熵的相對性所致 連續(xù)熵可為負值 連續(xù)熵的相對性所致 可加性可加性 平均互信息的非負性 對稱性 信息處理定理平均互信息的非負性 對稱性 信息處理定理 0 YXIZXI XYIYXI YXI cc cc c YXHYHXYHXHXYH ccccc 連續(xù)熵的性質連續(xù)熵的性質 5 3 5 3 5 3 5 3 最大連續(xù)熵定理最大連續(xù)熵定理最大連續(xù)熵定理最大連續(xù)熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的峰值不超過的峰值不超過M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對熵的相對熵 ln2 c HXM 當且僅當當且僅當X為均勻分布時等號成立 為均勻分布時等號成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時 的相對熵最大 即 服從正態(tài)分布時 的相對熵最大 即 2 1 ln2ln2 2 c HXee 連續(xù)信源與離散信源不同 連續(xù)信源與離散信源不同 1 它不存在絕對 最大熵 它不存在絕對 最大熵 2 其最大熵與信源的限制條件有關 其最大熵與信源的限制條件有關 最大連續(xù)熵定理最大連續(xù)熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的峰值不超過的峰值不超過M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對熵的相對熵 ln2 c HXM 當且僅當當且僅當X為均勻分布時等號成立 為均勻分布時等號成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時 的相對熵最大 即 服從正態(tài)分布時 的相對熵最大 即 2 1 ln2ln2 2 c HXee 最大連續(xù)熵定理最大連續(xù)熵定理 證明 應用拉格朗日乘因子法 首先構造函數(shù)證明 應用拉格朗日乘因子法 首先構造函數(shù) M M c dxxpXH 由相對熵定義 可得由相對熵定義 可得 ln MM MM p xp x dxp x dx ln M M p xe p x dx ln M M p xe dx 11 ln 1 MM MM p xdxp xdx e p xe p x 2 1 M e 當且僅當當且僅當 1 1 p xe e p x 即 時 等號成立 將其代入約束條件 時 等號成立 將其代入約束條件 1 M M dxxp 可得可得1 2eM 則有 則有 ln ln2 M M p xp x dxM Mxp2 1 于是有于是有 ln2 c HXM X M M 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的峰值不超過的峰值不超過M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對熵的相對熵 ln2 c HXM 當且僅當當且僅當X為均勻分布時等號成立 為均勻分布時等號成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機變量若連續(xù)隨機變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時 的相對熵最大 即 服從正態(tài)分布時 的相對熵最大 即 2 1 ln2ln2 2 c HXee 最大連續(xù)熵定理最大連續(xù)熵定理 證明 考慮到約束條件證明 考慮到約束條件 dxmxxp 22 應用拉格朗日乘因子法計算極大值應用拉格朗日乘因子法計算極大值 2 12 ln M M p xp x dxp x dxp x xm dx 2 12 ln x m ee p xdx p x 當且僅當當且僅當 2 12 x m p xee 時 等號成立 將其代入兩個約束條件 即可求得 時 等號成立 將其代入兩個約束條件 即可求得 和和 1 dxxp 2 12 1 x m ee p xdx p x 2 2 2 2 1 mx exp 于是有于是有 2 1 ln2ln2 2 c HXee X的方差一定的方差一定 ln2 c HXe 5 4 5 4 5 4 5 4 熵功率熵功率熵功率熵功率 當平均功率受限時 高斯分布信源的熵最大 若令 其平均功率為 則其熵為 當平均功率受限時 高斯分布信源的熵最大 若令 其平均功率為 則其熵為 2 2 1 ln2 2 C HXe 22 熵功率熵功率 若平均功率為的信源具有熵為若平均功率為的信源具有熵為HC X 則稱熵為 則稱熵為HC X 的 高斯信源的平均功率為熵功率 的 高斯信源的平均功率為熵功率 2 2 2 2 2 1 2 C HX e e 若另一信源的平均功率仍為 則它的熵一定小于若另一信源的平均功率仍為 則它的熵一定小于HC X 2 2 22 22 連續(xù)信源的剩余度連續(xù)信源的剩余度 平均功率受限時 一般信源的熵小于高斯分布信源的熵 所以信號的熵功率總小于信號的實際平均功率 熵功率的大小可以表示連續(xù)信源剩余的大小 信號平均功 率和熵功率之差 稱為連續(xù)信源的 平均功率受限時 一般信源的熵小于高斯分布信源的熵 所以信號的熵功率總小于信號的實際平均功率 熵功率的大小可以表示連續(xù)信源剩余的大小 信號平均功 率和熵功率之差 稱為連續(xù)信源的剩余度剩余度 設設pXY是是 xy 二維高斯概率密度函數(shù)二維高斯概率密度函數(shù) 2 2 2 2 1 2 1 exp 12 1 x x yx XY mx xyp 2 2 2 xyy xyy xmymym 求求