信息論 信源與信息熵

1信源與信息熵第二章22.1信源的描述和分類2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續(xù)信源的熵和互信息2.5冗余度內(nèi)容32.3離散序列信源的熵4信源輸出的隨機(jī)序列為序列熵:信源中平均每個(gè)消息的不確定度5符號(hào)熵：平均每個(gè)符號(hào)的熵若當(dāng)信源退化為無記憶時(shí):若進(jìn)一步又滿足平穩(wěn)性時(shí)6a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號(hào)的概率空間為:設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān),這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)分析離散信源的熵和符號(hào)熵?由p(ai,aj)=p(ai)p(aj|

ai)計(jì)算得聯(lián)合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36聯(lián)合熵H(X1,X2)表示平均每二個(gè)信源符號(hào)所攜帶的信息量。符號(hào)熵：平均每一個(gè)信源符號(hào)攜帶的信息量：

8單符號(hào)信源X的信息熵為H(X2|X1)＜H(X)信源的條件熵比無依賴時(shí)的熵H(X)減少了0.671比特,這正是因?yàn)榉?hào)之間有依賴性所造成的結(jié)果。符號(hào)之間存在關(guān)聯(lián)性9離散平穩(wěn)信源對(duì)于離散平穩(wěn)信源,有下列結(jié)論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。10⑶HL(X)是L的單調(diào)非增函數(shù)

HL(X)≤HL-1(X)⑷H∞稱為平穩(wěn)信源的極限熵或極限信息量⑵L給定時(shí),平均符號(hào)熵≥條件熵

H

L(X)≥H(XL|XL-1)證明：定義+結(jié)論1+結(jié)論211（5）H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)對(duì)于有記憶信源，發(fā)出的符號(hào)序列中符號(hào)之間有依賴性，而且這種依賴性是無窮的，所以有記憶信源的信息熵只能用平均符號(hào)熵的極限值來表示。122.4連續(xù)信源的熵

和互信息

13單符號(hào)離散信源的數(shù)學(xué)模型—概率空間14連續(xù)信源的表達(dá)方式：（用概率分布密度函數(shù)pX(x)來表示）連續(xù)信源X的數(shù)學(xué)模型：連續(xù)信源數(shù)學(xué)模型15圖概率密度函數(shù)x落入第i個(gè)區(qū)間的概率：

離散隨機(jī)變量X△連續(xù)信源熵16第一項(xiàng)具有離散信源熵的形式，是定值，第二項(xiàng)為無窮大。即不考慮第二項(xiàng)無窮大項(xiàng)，定義連續(xù)信源熵(也叫相對(duì)熵)為:17相對(duì)熵與離散熵相對(duì)熵與離散熵在形式上相似，概念上有區(qū)別：1、相對(duì)熵是離散熵的有限項(xiàng)，去掉了無窮大項(xiàng)，所以不能作為連續(xù)隨機(jī)變量不確定性的度量公式2、連續(xù)隨機(jī)變量取值于連續(xù)區(qū)間，有無窮多個(gè)取值點(diǎn)，每一點(diǎn)的概率均為0，自信息量無意義，不能把相對(duì)熵視作自信息量的統(tǒng)計(jì)平均。在離散情況下的自信息量、條件自信息量等在連續(xù)情況下都失去了物理意義。18例：求具有如下概率密度函數(shù)的隨機(jī)變量的相對(duì)熵。1、指數(shù)分布2、均勻分布3、高斯分布19連續(xù)信源聯(lián)合相對(duì)熵連續(xù)信源條件相對(duì)熵

Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)互信息定義為：I(X;Y)＝I(Y;X)＝Hc(X)－Hc(X/Y)

＝Hc(X)＋Hc(Y)－Hc(XY)

＝Hc(Y)－Hc(Y/X)20冗余度冗余度(多余度、剩余度)表示信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。如果一個(gè)消息所包含的符號(hào)比表達(dá)這個(gè)消息所需要的符號(hào)多，這樣的消息就含有多余度。冗余度來源：信源符號(hào)間的相關(guān)性。相關(guān)程度越大,信源的實(shí)際熵越小信源符號(hào)分布的不均勻性。等概率分布時(shí)信源熵最大。21冗余度對(duì)于有記憶信源,極限熵為H∞(X)。即傳送這一信源的信息,理論上只需要傳送H∞(X)即可。而要計(jì)算H∞(X)必須掌握信源全部概率統(tǒng)計(jì)特性,這是不現(xiàn)實(shí)。實(shí)際上,傳遞Hm(X)信息量，與理論極限值相比,多傳送信息量Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度22冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進(jìn)一步壓縮其信息率的可能性。信源冗余度越大,其進(jìn)一步壓縮的潛力越大。這是信源編碼與數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。例：英文字母：等概率H0=log27=4.76比特/符號(hào)不等概率H1=4.0