信息論與編碼課件第二章4教材

信源與信息熵第二章12.1

信源的描述和分類(lèi)2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續(xù)信源的熵和互信息2.5冗余度內(nèi)容22.3離散序列信源的熵3離散信源{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源發(fā)出單個(gè)符號(hào)的信源指信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；發(fā)出符號(hào)序列的信源指信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息。離散信源的分類(lèi)4發(fā)出符號(hào)序列的信源發(fā)出單個(gè)符號(hào)的信源52.3.1離散無(wú)記憶信源的序列熵

隨機(jī)序列的概率為

設(shè)信源輸出的隨機(jī)序列為

X

=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}

此時(shí)X也叫做L次擴(kuò)展信源。6離散無(wú)記憶信源的序列熵

當(dāng)信源無(wú)記憶時(shí),序列概率變?yōu)椋盒旁吹男蛄徐兀雌骄總€(gè)序列共同包含的信息）

7離散無(wú)記憶信源的序列熵若又滿(mǎn)足平穩(wěn)特性,即與序號(hào)l無(wú)關(guān)時(shí)，概率變?yōu)椋盒旁吹男蛄徐?/p>

平均每個(gè)符號(hào)(消息)熵為

8例:有一個(gè)無(wú)記憶信源隨機(jī)變量X∈(0,1),等概率分布,若以單個(gè)符號(hào)出現(xiàn)為一事件,則此時(shí)的信源熵:即用1比特就可表示該事件。如果以?xún)蓚€(gè)符號(hào)出現(xiàn)(L=2的序列)為一事件，則隨機(jī)序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示該事件。信源的符號(hào)熵9例:有一離散平穩(wěn)無(wú)記憶信源求：二次擴(kuò)展信源的熵X2信源的元素

a1

a2a3a4a5a6a7a8a9對(duì)應(yīng)的消息序列

x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/1610平均每個(gè)符號(hào)(消息)熵為

信源的序列熵112.3.2離散有記憶信源的序列熵對(duì)于有記憶信源,就不像無(wú)記憶信源那樣簡(jiǎn)單,它必須引入條件熵的概念,而且只能在某些特殊情況下才能得到一些有價(jià)值的結(jié)論。對(duì)于由兩個(gè)符號(hào)組成的聯(lián)合信源,有下列結(jié)論:當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí),有下列推論：12若信源輸出一個(gè)L長(zhǎng)序列,則信源的序列熵為平均每個(gè)符號(hào)的熵為：若當(dāng)信源退化為無(wú)記憶時(shí):若進(jìn)一步又滿(mǎn)足平穩(wěn)性時(shí)13a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號(hào)的概率空間為:設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān),這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)求離散信源的序列熵和平均每個(gè)符號(hào)的熵?14由p(ai,aj)=p(ai)p(aj|

ai)計(jì)算得聯(lián)合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36當(dāng)信源符號(hào)之間無(wú)依賴(lài)性時(shí),信源X的信息熵為當(dāng)考慮符號(hào)之間有依賴(lài)性時(shí),計(jì)算得條件熵

H(X2|X1)＜H(X)信源的條件熵比無(wú)依賴(lài)時(shí)的熵H(X)減少了0.671比特,這正是因?yàn)榉?hào)之間有依賴(lài)性所造成的結(jié)果。15聯(lián)合熵H(X1,X2)表示平均每二個(gè)信源符號(hào)所攜帶的信息量。恰為本題中的序列熵(因?yàn)闉槎蛄校┪覀冇?/2H(X1,X2)作為二維平穩(wěn)信源X的信息熵的近似值。那么平均每一個(gè)信源符號(hào)攜帶的信息量近似為:

符號(hào)之間存在關(guān)聯(lián)性發(fā)二重符號(hào)序列的聯(lián)合熵比較16離散平穩(wěn)信源對(duì)于離散平穩(wěn)信源,有下列結(jié)論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無(wú)條件熵。17⑶HL(X)是L的單調(diào)非增函數(shù)

HL(X)≤HL-1(X)⑷H∞稱(chēng)為平穩(wěn)信源的極限熵或極限信息量

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)⑵L給定時(shí),平均符號(hào)熵≥條件熵：(P32證明)

H

L(X)≥H(XL|XL-1)18馬爾可夫信源的信息熵馬爾可夫信源的極限熵齊次、遍歷的馬爾可夫信源的平均符號(hào)熵就為極限熵19s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例三狀態(tài)馬爾可夫信源0/0.820212.5冗余度22冗余度冗余度(多余度、剩余度)表示信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。冗余度：信源符號(hào)間的相關(guān)性。相關(guān)程度越大,信源的熵越小信源符號(hào)分布的不均勻性。等概率分布時(shí)即均勻分布時(shí)信源熵最大。23冗余度對(duì)于有記憶信源，平均符號(hào)熵（信息熵）為極限熵H∞(X)。這就是說(shuō)我們需要傳送這一信源的信息,理論上只需要傳送H∞(X)即可。但必須掌握信源全部概率統(tǒng)計(jì)特性,這顯然是不現(xiàn)實(shí)的。實(shí)際上,只能算出Hm(X)。那么與理論極限值相比,就要多傳送Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度24冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進(jìn)一步壓縮其信息率的可能性。信源冗余度越大,其進(jìn)一步壓縮的潛力越大。這是信源編碼與數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。例：英文字母：等概率H0=log27=4.76比特/符號(hào)不等概率H1=4.03比特/符號(hào)考慮相關(guān)性H2

=3.32比特/符號(hào)極限熵H∞=1.4比特/符號(hào)（1）以等概率傳輸，則冗余度為：（1）以不等概率傳輸，則冗余度為：

英語(yǔ)文章有71%是由語(yǔ)言結(jié)構(gòu)定好的,只有29%是自由選擇25習(xí)題2-132-162-262-3026本章小結(jié)27信源的描述一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的集合為：它們的概率分別為單符號(hào)離散信源的數(shù)學(xué)模型—概率空間2800011110狀態(tài)轉(zhuǎn)移概率矩陣符號(hào)條件概率矩陣(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3馬爾可夫信源29穩(wěn)態(tài)狀態(tài)概率分布穩(wěn)態(tài)符號(hào)概率分布30離散信源熵和互信息問(wèn)題：

什么叫不確定度？什么叫自信息量？什么叫條件信息量什么叫聯(lián)合信息量什么叫平均不確定度？什么叫平均自信息量？什么叫信源熵？什么叫條件熵？什么叫聯(lián)合熵？聯(lián)合熵、條件熵和信源熵的關(guān)系是什么？31離散信源熵和互信息問(wèn)題：什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數(shù)據(jù)處理定理是如何描述的？熵的性質(zhì)有哪些？序列熵，平均符號(hào)熵極限熵，馬爾可夫信源平均符號(hào)熵32自信息量設(shè)離散信源X，其概率空間為I

(xi)含義:當(dāng)事件xi發(fā)生以前,表示事件xi發(fā)生的不確定性當(dāng)事件xi發(fā)生以后,表示事件xi所含有的信息量33自信息量自信息量條件自信息量聯(lián)合自信息量34離散信源熵離散信源熵H(X)信源熵具有以下三種物理含意：信息熵H(X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。信息熵H(X)表示信源輸出前,信源的平均不確定性。信源包含的信息量。35信源熵信源熵條件熵聯(lián)合熵36互信息互信息定義為

xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)互信息I(xi;yj)表示接收到某消息yj后獲得的關(guān)于事件xi的信息量。37平均互信息平均互信息定義信宿獲得的信源信息=先驗(yàn)不確定性－后驗(yàn)不確定性=不確定性減少的量Y