信源及信源熵

信源及信源熵第一頁，共四十七頁，編輯于2023年，星期五2.1信源的描述和分類2.2離散信源熵和互信息2.3連續(xù)信源的嫡和互信息2.4離散序列信源的熵2.5冗余度重點：信源熵和互信息難點：離散序列信源的熵第二頁，共四十七頁，編輯于2023年，星期五2.1信源的描述和分類

信源是信息的來源。信源的產(chǎn)生消息、消息序列以及連續(xù)消息的來源。信源具有不確定性，可用概率統(tǒng)計特性來描述。一、信源的分類1、按照信源每次輸出符號的個數(shù)可分為單符號信源和多符號信源。單符號信源：是最簡單也是最基本的信源，是組成實際信源的基本單元。信源每次輸出一個符號，通常用離散隨機變量和其概率分布來表示。第三頁，共四十七頁，編輯于2023年，星期五多符號信源：信源每次發(fā)出一個符號序列，用隨機矢量來表示。

其中，為輸出序列，共有q=中可能取值。2、按照時間和取值上的離散和連續(xù)性分類。

第四頁，共四十七頁，編輯于2023年，星期五離散信源是時間上和幅度上都是離散分布的信源，根據(jù)信源發(fā)出符號之間的依賴關(guān)系可分為無記憶信源、有限記憶信源和無限記憶信源。

離散無記憶信源：發(fā)出單個符號的無記憶信源；發(fā)出符號序列的無記憶信源；離散有記憶信源：發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源第五頁，共四十七頁，編輯于2023年，星期五二、離散平穩(wěn)無記憶信源平穩(wěn)信源：若當(dāng)t=i,t=j,有,則稱信源是一維平穩(wěn)的，即任意兩個不同時刻信源發(fā)出的符號的概率分布完全相同。若一維平穩(wěn)信源還滿足，則稱信源是二維平穩(wěn)的，即任意時刻信源連續(xù)發(fā)出兩個符號的聯(lián)合概率分布也完全相同。如果各維聯(lián)合概率分布均與時間起點無關(guān)，則稱信源的完全平穩(wěn)的，簡稱離散平穩(wěn)信源。無記憶信源：信源發(fā)出符號出現(xiàn)的概率與前面符號無關(guān)。常見的無記憶信源有投硬幣、擲骰子等等。無記憶信源各變量組成的隨機序列的概率是各變量概率的乘積，即p(x)

=p(x1x2…xL)=p(x1)p(x2)…p(xL)=

第六頁，共四十七頁，編輯于2023年，星期五無記憶信源包括單個符號的無記憶信源和符號序列的無記憶信源，常見的單個符號的無記憶信源有書信文字、計算機的代碼、電報符號、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個符號（或代碼）的消息，它們符號集的取值是有限的或可數(shù)的。單符號無記憶信源可以用一維的隨機變量及其概率分布來表示。

例如扔骰子，每次試驗結(jié)果必然是1～6點中的某一個面朝上?？梢杂靡粋€離散型隨機變量X來描述這個信源輸出的消息。并滿足第七頁，共四十七頁，編輯于2023年，星期五符號序列的無記憶信源可以用概率矢量來表示。將一維的單符號無記憶信源進行N維擴展可得到符號序列的無記憶信源。例如投三次硬幣，“1”代表正面朝上，“0”代表反面朝上。第八頁，共四十七頁，編輯于2023年，星期五三、馬爾科夫信源若信源在某一時刻發(fā)出的符號概率除與該符號有關(guān)外，還與此前的符號有關(guān)，則此類信源為有記憶信源。如果與前面無限個符號有關(guān)，為無限記憶信源；如果僅與前面有限個符號有關(guān)，為有限記憶信源。有記憶信源序列的聯(lián)合概率與條件概率有關(guān)將這有限個符號記為一個狀態(tài)，在信源發(fā)出的符號概率除與次符號有關(guān)外，只與該時刻所處的狀態(tài)有關(guān)，信源將來的狀態(tài)及其發(fā)出的符號只與信源當(dāng)前的狀態(tài)有關(guān)，而與信源過去的狀態(tài)無關(guān)。這種信源的一般數(shù)學(xué)模型就是馬爾可夫過程，所以稱這種信源為馬爾可夫信源。第九頁，共四十七頁，編輯于2023年，星期五馬氏鏈的基本概念m階馬爾可夫信源：信源輸出某一符號的概率僅與以前的m個符號有關(guān)，而與更前面的符號無關(guān)。p(xt|xt-1,xt-2,xt-3,…xt-m,…x1)=p(xt|xt-1,xt-2,xt-3,…xt-m)令si=(xi1xi2…xim)i1,i2…im∈(1,2,…q)m個字母組成的各種可能的序列就對應(yīng)于信源全部可能的狀態(tài)S.狀態(tài)集S={s1,s2,…,sQ}Q=qm信源輸出的隨機符號序列為：x1,x2,…xi-1,xi…信源所處的隨機狀態(tài)序列為：s1,s2,…si-1,si,…第十頁，共四十七頁，編輯于2023年，星期五例：二元序列為…01011100…考慮m=2，Q=qm=22=4s1=00s2=01s3=10s4=11變換成對應(yīng)的狀態(tài)序列為…s2s3s2s4s4s3s1…第十一頁，共四十七頁，編輯于2023年，星期五設(shè)信源在時刻m處于si狀態(tài)，它在下一時刻(m+1)狀態(tài)轉(zhuǎn)移到sj的轉(zhuǎn)移概率為：pij(m)=p{Sm+1=sj|Sm=si}={sj|si}pij(m)：基本轉(zhuǎn)移概率（一步轉(zhuǎn)移概率）、若pij(m)與m的取值無關(guān)，則稱為齊次(時齊)馬爾可夫鏈。pij=p{Sm+1=sj|Sm=si}=p{S2=sj|S1=si}pij具有下列性質(zhì)：pij≥0類似地，定義k步轉(zhuǎn)移概率為pij（k）=p{Sm+k=sj|Sm=si}由于系統(tǒng)在任一時刻可處于狀態(tài)空間S={s1,s2,…,sQ}中的任意一個狀態(tài)，因此狀態(tài)轉(zhuǎn)移時，轉(zhuǎn)移概率是一個矩陣

第十二頁，共四十七頁，編輯于2023年，星期五也可將符號條件概率寫成矩陣：上兩個矩陣，一般情況下是不同的。齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）來表示，圖是一個有著6個狀態(tài)的齊次馬爾可夫鏈。第十三頁，共四十七頁，編輯于2023年，星期五齊次馬爾可夫鏈中的狀態(tài)可以根據(jù)其性質(zhì)進行分類:如狀態(tài)si經(jīng)若干步后總能到達(dá)狀態(tài)sj，即存在k,使pij(k)＞0，則稱si可到達(dá)sj;若兩個狀態(tài)相互可到達(dá),則稱此二狀態(tài)相通；過渡態(tài)：一個狀態(tài)經(jīng)過若干步以后總能到達(dá)某一其他狀態(tài)，但不能從其他狀態(tài)返回,如圖中的狀態(tài)s1；吸收態(tài)：一個只能從自身返回到自身而不能到達(dá)其他任何狀態(tài)的狀態(tài)，如圖中的狀態(tài)s6；常返態(tài)：經(jīng)有限步后遲早要返回的狀態(tài)，如s2、s3、s4和s5；周期性的：在常返態(tài)中，有些狀態(tài)僅當(dāng)k能被某整數(shù)d＞1整除時才有pij(k)＞0，如圖中的狀態(tài)s4和s5，其周期為2；非周期性的：對于pij(k)＞0的所有k值，其最大公約數(shù)為1。遍歷狀態(tài)：非周期的、常返的狀態(tài),如圖中的狀態(tài)s2和s3。閉集：狀態(tài)空間中的某一子集中的任何一狀態(tài)都不能到達(dá)子集以外的任何狀態(tài)不可約的：閉集中除自身全體外再沒有其他閉集的閉集第十四頁，共四十七頁，編輯于2023年，星期五一個不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈其k步轉(zhuǎn)移概率pij(k)在k→∞時趨于一個和初始狀態(tài)無關(guān)的極限概率p(sj)，它是滿足方程組的唯一解；p(sj)或Wj：為馬爾可夫鏈的一個平穩(wěn)分布，且p(sj)或Wj就是系統(tǒng)此時處于狀態(tài)sj的概率。

第十五頁，共四十七頁，編輯于2023年，星期五例：設(shè)一個二元二階馬爾可夫信源，信源符號集為

X=0，1，輸出符號的條件概率為：求該信源的狀態(tài)轉(zhuǎn)移圖。第十六頁，共四十七頁，編輯于2023年，星期五解：p(0/00)=p(x0/e1)=p(e1/e1)=0.8p(1/00)=p(x1/e1)=p(e2/e1)=0.2p(0/01)=p(x0/e2)=p(e3/e2)=0.5p(1/01)=p(x1/e2)=p(e4/e2)=0.5p(0/10)=p(x0/e3)=p(e1/e3)=0.5p(1/10)=p(x1/e3)=p(e2/e3)=0.5p(0/11)=p(x0/e4)=p(e3/e4)=0.2p(1/11)=p(x1/e4)=p(e4/e4)=0.8第十七頁，共四十七頁，編輯于2023年，星期五例：有一個二元二階馬爾可夫信源,其信源符號集為{0，1}，已知符號條件概率：

p(0|00)=1/2p(1|00)=1/2p(0|01)=1/3p(1|01)=2/3p(0|10)=1/4p(1|10)=3/4p(0|11)=1/5p(1|11)=4/5求：⑴信源全部狀態(tài)及狀態(tài)轉(zhuǎn)移概率⑵畫出完整的二階馬爾可夫信源狀態(tài)轉(zhuǎn)移圖。⑶求平穩(wěn)分布概率

第十八頁，共四十七頁，編輯于2023年，星期五解：第十九頁，共四十七頁，編輯于2023年，星期五2.2離散信源熵和互信息一、自信息量信源發(fā)出的信息具有不確定性，而事件發(fā)生的不確定性與事件發(fā)生的概率大小有關(guān)，概率越小，不確定性越大，事件發(fā)生以后所含有的信息量就越大。小概率事件，不確定性大，一旦出現(xiàn)必然使人感到意外，因而產(chǎn)生的信息量就大；大概率事件，不確定性小，因而信息量小。因此隨機變量的自信息量是該事件發(fā)生的概率的函數(shù)，并且應(yīng)該滿足一下條件：（1）是的嚴(yán)格遞減函數(shù)，當(dāng)時，，概率越小，事件發(fā)生后的信息量越大。（2）極端情況下，=0時，趨于無窮大；=1時，=0。（3）兩個相對獨立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和，即自信息滿足可加性。自信息量第二十頁，共四十七頁，編輯于2023年，星期五自信息量Df：隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負(fù)值，設(shè)事件的概率為，則它的自信息量定義為自信息量的單位與所用對數(shù)的底有關(guān)：對數(shù)底為2時，單位是比特；對數(shù)底是自然數(shù)e時，單位是奈特；對數(shù)底是10時，單位是哈特萊。一般采用以2為底的對數(shù)。條件自信息量Df：在事件yj出現(xiàn)的條件下，隨機事件xi發(fā)生的條件概率為，則它的條件自信息量定義為條件概率對數(shù)的負(fù)值：

聯(lián)合自信息量Df：二維聯(lián)合集XY上的元素（）的聯(lián)合自信息量

第二十一頁，共四十七頁，編輯于2023年，星期五例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit第二十二頁，共四十七頁，編輯于2023年，星期五例：設(shè)離散無記憶信源，其發(fā)出的信息(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符號攜帶的信息量是多少？解：(1)此消息總共有14個0、13個1、12個2、6個3，因此此消息發(fā)出的概率是：此消息的信息量是：(2)此消息中平均每符號攜帶的信息量是：第二十三頁，共四十七頁，編輯于2023年，星期五二、離散信源熵信源熵用平均自信息量來表征整個信源的不確定性，平均自信息量又稱為信源熵。為信源中各個符號不確定度的數(shù)學(xué)期望，即單位為：比特/符號或者比特/符號序列.信息熵H(X)是表示信源輸出后，每個消息(或符號)所提供的平均信息量。某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，必有信源的熵值。例：

H(Y)＞H(X)信源Y比信源X的平均不確定性要大。第二十四頁，共四十七頁，編輯于2023年，星期五條件熵定義：在給定某個yj條件下，xi的條件自信息量I(xi/yj)，X集合的條件熵H（X/yj）為相應(yīng)地，在給定X（即各個xi）的條件下，Y集合的條件熵H(Y/X)定義為:聯(lián)合熵定義：聯(lián)合熵是聯(lián)合符號集合XY上的每個元素對xiyj的自信息量的概率加權(quán)統(tǒng)計平均值，表示X和Y同時發(fā)生的不確定度。第二十五頁，共四十七頁，編輯于2023年，星期五聯(lián)合熵與條件熵有下列關(guān)系式：1)H（XY）＝H（X）＋H（Y／X）2)H（XY）＝H（Y）＋H（X／Y）證明：特別地，當(dāng)X和Y相互獨立時，H(XY)=H(X)+H(Y)第二十六頁，共四十七頁，編輯于2023年，星期五例：隨機變量X和Y的聯(lián)合概率分布如表所示，求聯(lián)合熵H(XY)和條件熵H(X/Y)解：=2/4+2/4+1/2=2.5由表可知H(Y/X=0)=1,H(Y/X=1)=0則H(Y/X)=1/2+0=1/2H(Y)=H(1/4)=0.8113X\Y0101/41/411/20第二十七頁，共四十七頁，編輯于2023年，星期五例：二進制通信系統(tǒng)用符號“0”和“1”,由于存在失真,輸時會產(chǎn)生誤碼,用符號表示下列事件：

u0：一個“0”發(fā)出：u1：一個“1”發(fā)出

v0：一個“0”收到；v1：一個“1”收到。給定下列概率：p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知發(fā)出一個“0”,求收到符號后得到的信息量；⑵已知發(fā)出的符號,求收到符號后得到的信息量⑶知道發(fā)出的和收到的符號,求能得到的信息量；⑷已知收到的符號，求被告知發(fā)出的符號得到的信息量。第二十八頁，共四十七頁，編輯于2023年，星期五解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵聯(lián)合概率：

p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/4第二十九頁，共四十七頁，編輯于2023年，星期五（3）（4）第三十頁，共四十七頁，編輯于2023年，星期五三、互信息貝葉斯公式：先驗概率p(x)似然概率p(y/x)后驗概率p(x/y)證據(jù)因子p(y)互信息一個事件所給出關(guān)于另一個事件的信息，第三十一頁，共四十七頁，編輯于2023年，星期五互信息的性質(zhì)1.互易性：2.當(dāng)兩事件相互獨立時，互信息量為零；3.互信息可正可負(fù)?；バ畔檎龝r，說明一事件的出現(xiàn)有助于肯定另一事件的出現(xiàn)，反之，則是不利的。4.任何兩事件之間的互信息量不可能大于其中任意事件的自信息量。第三十二頁，共四十七頁，編輯于2023年，星期五例：某地區(qū)的天氣分布情況如表所示如果有人告訴你：“今天不是晴天”，把這句話作為收到的信息，求收到后，與各種天氣的互信息量。解：把各種天氣記作：表示晴天，表示陰天，表示雨天，表示雪天。p(x1|y1)

=0,p(x2|y1)

=1/2,p(x3|y1)

=1/4,p(x4|y1)

=1/4

第三十三頁，共四十七頁，編輯于2023年，星期五平均互信息在XY的聯(lián)合概率空間中的統(tǒng)計平均值為隨機變量X和Y間的平均互信息。I(X;Y)=H(X)-H(X/Y)條件熵H(X/Y)表示給定隨機變量Y后，對隨機變量X仍然存在的不確定性，所以Y關(guān)于X的平均互信息是收到Y(jié)前后關(guān)于X的不確定度減少的量，也就是從Y所獲得的關(guān)于X的平均自信息量。平均互信息的性質(zhì)1.非負(fù)性I(X;Y)02.互易性I(X;Y)=I(Y;X)3.平均互信息和各種熵的關(guān)系第三十四頁，共四十七頁，編輯于2023年，星期五當(dāng)X和Y統(tǒng)計獨立時，I(X;Y)=0H(X)+H(Y)表示在通信前系統(tǒng)的先驗不確定性。H(XY)表示輸入集符號經(jīng)有噪信道傳輸?shù)捷敵龆?，為系統(tǒng)的后驗不確定性。所以該式表示為：接收到的平均信息量=系統(tǒng)的先驗不確定性－系統(tǒng)的后驗不確定性。4.極值性I（X；Y）≦H（X）I（X；Y）≦H（Y）最好通信I（X；Y）=H（X）=H（Y）最差通信X和Y統(tǒng)計獨立，I(X;Y)=05.凸函數(shù)性P(X)一定時，平均互信息I(X;Y)是信道傳遞概率分布P(Y/X)的下凸函數(shù)，存在最小值，此時信道最差。

P(Y/X)一定時，平均互信息I(X;Y)是信源概率分布P(X)的上凸函數(shù)，存在最大值，此時這個最大值即是信道容量。第三十五頁，共四十七頁，編輯于2023年，星期五例:已知聯(lián)合概率分布如表所示，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)，I（X;Y)。第三十六頁，共四十七頁，編輯于2023年，星期五解：首先求出邊緣概率分布

得H(X)=2.066bit/符號

得H(Y)=1.856bit/符號由聯(lián)合分布可得：H(XY)=2.665bit/符號∴I(X;Y)=H(X)+H(Y)－H(XY)=1.257bit/符號

H(X∣Y)=H(X)－I（X;Y）=0.809bit/符號

H(Y∣X)=H(Y)－I（X;Y）=0.600bit/符號第三十七頁，共四十七頁，編輯于2023年，星期五四、數(shù)據(jù)處理中信息的變化平均條件互信息它表示隨機變量Z給定后，從隨機變量Y所得到的關(guān)于隨機變量X信息量。平均聯(lián)合互信息

它表示從二維隨機變量YZ所得到的關(guān)于隨機變量X的信息量。第三十八頁，共四十七頁，編輯于2023年，星期五五、熵的性質(zhì)1.非負(fù)性 2.對稱性 3.確定性 4.香農(nóng)輔助定理（極值性）對于任意兩個n維概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立:5.最大熵定理第三十九頁，共四十七頁，編輯于2023年，星期五6.條件熵小于無條件熵（1）條件熵小于信源熵（2）兩個條件下的條件熵小于一個條件下的條件熵

（3）聯(lián)合熵小于信源熵之和

當(dāng)X、Y相互獨立時，有：第四十頁，共四十七頁，編輯于2023年，星期五2.3連續(xù)信源的熵和互信息一、連續(xù)信源的熵隨機變量的相對熵熵功率二、最大熵定理1.峰值功率受限均勻分布相對熵最大2.平均功率受限高斯分布相對熵最大3.平均功率大于等于熵功率第四十一頁，共四十七頁，編輯于2023年，星期五2.4離散序列信源的熵一、離散無記憶序列信源的熵設(shè)信源輸出的隨機序列/隨機矢量為X，X＝（X1，X2…Xl…XL），序列中的單個符號變量，即序列長為L。設(shè)隨機序列的概率為：

當(dāng)信源無記憶（符號之間無相關(guān)性）時，p(xi)=p(xi1xi2…xiL)=第四十二頁，共四十七頁，編輯于2023年，星期五若信源的序列滿足平穩(wěn)特性時，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL，則信源的序列熵又可表示為H(X)=LH(x).

平均每個符號熵為第四十三頁，共四十七頁，編輯于2023年，星期五二、離散有記憶序列信源的熵1.對于由兩個符號組成的聯(lián)合信源，有下列結(jié)論：（l）H（X1X2）＝H（X1）＋H（X2／X1）=H（X2）+H（X1／X2）（2）H（X1）≥H（X1／X2）;H（X2）≥H（X2／X1）當(dāng)前后符號無依存關(guān)系時，有下列推論：

H（X