信息論導(dǎo)論-第2章課件

1、第2章 離散信源及其信息熵武剛2012年3月信息論導(dǎo)論信息論導(dǎo)論-第2章，武剛2復(fù)習(xí) 信息的概念什么是信息？信息論的研究?jī)?nèi)容香農(nóng)信息論單符號(hào)離散信源自信息量：比特、奈特、笛特信息論導(dǎo)論-第2章，武剛3本章的兩個(gè)主要問(wèn)題離散信源所發(fā)出的一條消息，它包含著多大的信息量？ 從離散信源的整體出發(fā)，它的信息量又應(yīng)該如何度量？信息論導(dǎo)論-第2章，武剛4提綱一、自信息量二、單符號(hào)離散信源的信息熵三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛5一、自信息量最簡(jiǎn)單的信源?為給出定量度量信息的方法，先討論最簡(jiǎn)單的信源：1、單符號(hào)離散信源如果信源每次發(fā)出的消息都是單一符號(hào)，而這些符號(hào)的取值是有限或可數(shù)的，則稱

2、這種信源為單符號(hào)離散信源。例子：擲骰子、簡(jiǎn)單的天氣氣象如何描述這些事件？概率論？信息論導(dǎo)論-第2章，武剛6一、自信息量：?jiǎn)畏?hào)信源模型(1)擲骰子這一單符號(hào)離散信源可表示為：而某一天簡(jiǎn)單的天氣氣象這一單符號(hào)離散信源則可表示為：信息論導(dǎo)論-第2章，武剛7一、自信息量：?jiǎn)畏?hào)信源模型(2)單符號(hào)離散信源的數(shù)學(xué)模型：預(yù)備知識(shí)聯(lián)合概率條件概率信息論導(dǎo)論-第2章，武剛8一、自信息量:定義假設(shè)一個(gè)單符號(hào)離散信源，其輸出被傳遞給信宿；設(shè)P(x1)最大、P(xn)最小，問(wèn)題:輸出哪條消息包含更多的信息，x1,還是xn？根據(jù)香農(nóng)信息的概念消息中所包含的不確定性的成分才是信息不確定性的成分越大，或者說(shuō)出現(xiàn)的概率越

3、小，信息量就越大；從這個(gè)意義上，輸出xn包含更多的信息。這個(gè)量是多少，如何表示？信息論導(dǎo)論-第2章，武剛9一、自信息量：定義(1)如果將離散信源輸出xi 所包含的信息量用I(xi)來(lái)表示并將其稱為xi 的自信息量，則其必須滿足的條件是： I(xi)與輸出xi的概率相關(guān)； I(xi)是P(xi)的減函數(shù)，且當(dāng)P(xi) =1時(shí)I(xi) =0 。 I(xi)是P(xi)的連續(xù)函數(shù)；因此，xi 的自信息量的定義為：信息論導(dǎo)論-第2章，武剛10一、自信息量：定義(1)自信息量的定義：無(wú)量綱，根據(jù)對(duì)數(shù)的底來(lái)定義單位：當(dāng)對(duì)數(shù)底為2時(shí)，自信息量的單位為比特(bit, binary unit)對(duì)數(shù)底為e時(shí)，

4、其單位為奈特(nat, nature unit)對(duì)數(shù)底為10時(shí)，其單位為哈特(Hart, Hartley)。目前的通信系統(tǒng)或其他信息傳輸系統(tǒng)大多以二進(jìn)制為基礎(chǔ)，因此信息量的單位以bit最為常用。信息論導(dǎo)論-第2章，武剛11一、自信息量以bit為單位的自信息量記為：3、自信息量的性質(zhì)I(xi)是非負(fù)值；I(xi)是隨機(jī)量；10logxP(x)P(x)I(xi)是P(xi)的單調(diào)遞減函數(shù)。信息論導(dǎo)論-第2章，武剛12一、自信息量證明：本課件中定義信息論導(dǎo)論-第2章，武剛13一、自信息量例1：求擲骰子這一信源發(fā)出各種消息所包含的自信息量。解：該信源的數(shù)學(xué)模型為信息論導(dǎo)論-第2章，武剛14一、自信息量

5、例2：求某一天簡(jiǎn)單的天氣氣象這一信源發(fā)出各種消息所包含的自信息量。解： 該信源的數(shù)學(xué)模型為：信息論導(dǎo)論-第2章，武剛15互信息量(簡(jiǎn)述)1、互信息量的定義2、互信息量的性質(zhì)信息論導(dǎo)論-第2章，武剛16互信息量：定義兩個(gè)隨機(jī)事件X和Y，分別取值于信源、信宿發(fā)出的離散消息集合信源X的數(shù)學(xué)模型信宿Y的數(shù)學(xué)模型信源X有擾信道信宿Y干擾源a1a2a3anb1b2b3bm后驗(yàn)概率：P(ai/bj)先驗(yàn)概率：P(ai)信息論導(dǎo)論-第2章，武剛17互信息量例2.1.2, 根據(jù)天氣氣象信源模型，觀測(cè)得到的信息是“今天不是晴天(y1)”問(wèn)各消息與y1的互信息量信息論導(dǎo)論-第2章，武剛18互信息量與自信息量的關(guān)系I

6、(x2; y1)與I(x2)及I(x2/y1) I(x2; y1)=I(x2)-I(x2/y1)I(xi; yj)=I(xi)-I(xi/yj) I(yj; xi)=?互信息量等于自信息量減去條件自信息量互信息量的內(nèi)容留待第4章后續(xù)討論信息論導(dǎo)論-第2章，武剛19本章內(nèi)容提綱一、自信息量二、單符號(hào)離散信源的信息熵三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛20二、單符號(hào)離散信源的信息熵自信息量：一個(gè)單符號(hào)離散信源發(fā)出各種消息所包含的信息量, 問(wèn)題：從該信源的整體出發(fā)，它的信息量又應(yīng)該如何度量？1、單符號(hào)離散信源的信息熵如果將離散信源所有自信息量的數(shù)學(xué)期望用H(X)來(lái)表示并稱其為信源的信

7、息熵，也叫香農(nóng)熵，信息熵的定義為：信息論導(dǎo)論-第2章，武剛21二、單符號(hào)離散信源的信息熵信息熵的單位是比特/符號(hào)(bit/symbol)。信息熵是從整體出發(fā)對(duì)一個(gè)離散信源信息量的度量。2、信息熵的性質(zhì)和定理H(X)的非負(fù)性；信息論導(dǎo)論-第2章，武剛22二、單符號(hào)離散信源的信息熵H(X)的上凸性；H(X)的上凸性不作證明。最大熵定理何種單符號(hào)信源的熵最大？信息論導(dǎo)論-第2章，武剛23二、單符號(hào)離散信源的信息熵信息論導(dǎo)論-第2章，武剛24二、單符號(hào)離散信源的信息熵當(dāng)信源中各離散消息以等概率出現(xiàn)時(shí)，可得到最大信源熵，其熵為：信息論導(dǎo)論-第2章，武剛25信源熵的其他性質(zhì)擴(kuò)展性隨機(jī)變量中某個(gè)取值的概率趨

8、于零時(shí)，兩種情形(有、無(wú)這個(gè)變量)的熵相同確定性只要一個(gè)變量取值的概率為1，則熵為零可加性極值性多變量情形（后續(xù)討論）信息論導(dǎo)論-第2章，武剛26二、單符號(hào)離散信源的信息熵例1，求擲骰子這一信源的信息熵。解：該信源的數(shù)學(xué)模型為信息論導(dǎo)論-第2章，武剛27二、單符號(hào)離散信源的信息熵解： 該信源的數(shù)學(xué)模型為：例2，求某一天簡(jiǎn)單的天氣氣象這一信源的信息熵。信息論導(dǎo)論-第2章，武剛28復(fù)習(xí)自信息量單符號(hào)離散信源的信息熵最大熵定理的證明及含義信息論導(dǎo)論-第2章，武剛29二、單符號(hào)離散信源的信息熵例3，已知信源求信息熵并作出H(p)關(guān)于p的曲線。當(dāng)p=0時(shí)，H(p)=0,p=0.25時(shí)，H(p)=0.81

9、1p=0.5時(shí)，H(p)=1,p=0.75時(shí)，H(p)=0.811p=1時(shí)，H(p)=000.51H(p)1p信息論導(dǎo)論-第2章，武剛30二、單符號(hào)離散信源的信息熵信源熵的三種物理含義信源熵H(X)表示信源輸出后，平均每個(gè)離散消息所提供的信息量；信源熵H(X)表示信源輸出前，信源的平均不確定度；信源熵H(X)反映了變量X的隨機(jī)性信息論導(dǎo)論-第2章，武剛31主觀價(jià)值與主觀意義香農(nóng)定義的熵未考慮人的主觀因素，對(duì)不同觀測(cè)、接收信息的人，得到不同的信息熵引入重量空間到信源的模型性質(zhì)非負(fù)性、連續(xù)性、對(duì)稱性、均勻性、等重性、確定性、非容性、擴(kuò)展性、線性疊加性、加權(quán)熵的最大值加權(quán)熵信息論導(dǎo)論-第2章，武剛3

10、2平均互信息量留待第4章討論信息論導(dǎo)論-第2章，武剛33本章內(nèi)容提綱一、自信息量二、單符號(hào)離散信源的信息熵三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛34三、多符號(hào)離散信源及其信息熵如果信源每次發(fā)出的消息都是有限或可數(shù)的符號(hào)序列，而這些符號(hào)都取值于同一個(gè)有限或可數(shù)的集合，則稱這種信源為多符號(hào)離散信源?，F(xiàn)實(shí)中，更普遍的情況是信源每次發(fā)出的消息是符號(hào)序列。多符號(hào)離散信源的例子有電報(bào)、文字等。信息論導(dǎo)論-第2章，武剛35一般情況下，信源在不同時(shí)刻發(fā)出符號(hào)的概率分布是不同的，即將多符號(hào)離散信源發(fā)出的符號(hào)序列記為并設(shè)序列中任一符號(hào)都取值于集合這種情況分析起來(lái)比較困難，不作討論。三、多符號(hào)離散信源

11、及其信息熵信息論導(dǎo)論-第2章，武剛36對(duì)于多符號(hào)離散信源發(fā)出的符號(hào)序列1、離散平穩(wěn)信源及其數(shù)學(xué)模型如果任意兩個(gè)不同時(shí)刻k和l，k=1,2, ，l=1,2, ，其概率分布相同，即則稱該多符號(hào)離散信源為一維離散平穩(wěn)信源。三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛37如果不僅其概率分布相同，其二維聯(lián)合概率分布也相同，即則稱該多符號(hào)離散信源為二維離散平穩(wěn)信源。同理，如果除概率分布相同外，直到N維的各維聯(lián)合概率分布也都與時(shí)間起點(diǎn)無(wú)關(guān)，即三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛38則稱該多符號(hào)離散信源為N維離散平穩(wěn)信源。一般，可將N維離散平穩(wěn)信源發(fā)出的符號(hào)序列看成長(zhǎng)度為N的一段符號(hào)序

12、列，即三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛39N維離散平穩(wěn)信源的數(shù)學(xué)模型：其聯(lián)合概率分布為三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛402、離散平穩(wěn)信源的信息熵先討論二維離散平穩(wěn)信源的信息熵。二維離散平穩(wěn)信源的數(shù)學(xué)模型：該信源的信息熵：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛41三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛42式中，H(X2/X1 )稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望。三、多符號(hào)離散信源及其信息熵與此相對(duì)應(yīng)，將該信源的信息熵H(X1X2)稱為聯(lián)合熵，信源符號(hào)的信息熵H(X1)、 H(X2)稱為無(wú)條件熵。信息論導(dǎo)論-第2章

13、，武剛43三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛44三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛45如果將該信源符號(hào)所提供的平均信息量記為H2(X1X2)并稱其為平均符號(hào)熵，也叫熵率，則三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛46x1x2x3x17/92/90 x21/83/41/8x302/119/11xi2xi1例1:已知二維離散平穩(wěn)信源的符號(hào) ,其概率分布,其條件概率三、多符號(hào)離散信源及其信息熵求該信源的聯(lián)合熵和平均符號(hào)熵。分布P(X2/X1)信息論導(dǎo)論-第2章，武剛47三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛48三、多符號(hào)離散信源及其信息熵

14、信息論導(dǎo)論-第2章，武剛49將二維的情況推廣到N維，可得到N維離散平穩(wěn)信源的信息熵：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛50當(dāng)N時(shí)，平均符號(hào)熵取極限值，稱之為極限熵， 用H表示，即可以證明，極限熵H存在且三、多符號(hào)離散信源及其信息熵N維離散平穩(wěn)信源的聯(lián)合熵、平均符號(hào)熵和極限熵的計(jì)算都比較困難。信息論導(dǎo)論-第2章，武剛51三、多符號(hào)離散信源及其信息熵1、離散平穩(wěn)信源及其數(shù)學(xué)模型2、離散平穩(wěn)信源的信息熵3、離散平穩(wěn)無(wú)記憶信源的信息熵信息論導(dǎo)論-第2章，武剛523、離散平穩(wěn)無(wú)記憶信源的信息熵如果離散平穩(wěn)信源發(fā)出的符號(hào)序列中各符號(hào)相互獨(dú)立，則稱該信源為離散平穩(wěn)無(wú)記憶信源。由N維離散平穩(wěn)

15、信源的數(shù)學(xué)模型：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛53離散平穩(wěn)無(wú)記憶信源的符號(hào)序列中各符號(hào)相互獨(dú)立，故三、多符號(hào)離散信源及其信息熵相當(dāng)于一維離散平穩(wěn)信源擴(kuò)展N次，因此也稱其為N次擴(kuò)展信源。信息論導(dǎo)論-第2章，武剛54從而N維離散平穩(wěn)無(wú)記憶信源(一維離散平穩(wěn)信源的N次擴(kuò)展信源)的數(shù)學(xué)模型：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛55該信源的信息熵：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛56三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛57該信源的平均符號(hào)熵：該信源的極限熵：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛58例2，已知信源求該

16、信源二次擴(kuò)展信源的聯(lián)合熵和平均符號(hào)熵。三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛594、馬爾科夫(Markov)信源及其極限熵如果離散平穩(wěn)信源發(fā)出的符號(hào)只與前面已經(jīng)發(fā)出的m(N)個(gè)符號(hào)相關(guān)，則稱該信源為m階馬爾科夫信源。馬爾科夫信源是離散平穩(wěn)有限記憶信源， m是馬爾科夫信源的記憶長(zhǎng)度。三、多符號(hào)離散信源及其信息熵因此，可將m階馬爾科夫信源發(fā)出的符號(hào)序列看成長(zhǎng)度為m+1的一段段符號(hào)序列。信息論導(dǎo)論-第2章，武剛60與聯(lián)合概率一樣，條件概率也可以反映記憶特征，m階馬爾科夫信源的數(shù)學(xué)模型：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛61為了方便描述馬爾科夫信源，引入狀態(tài)序列三、多符

17、號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛62故m階馬爾科夫信源的數(shù)學(xué)模型可用狀態(tài)來(lái)描述：三、多符號(hào)離散信源及其信息熵該數(shù)學(xué)模型一般用狀態(tài)轉(zhuǎn)移圖來(lái)表示。信息論導(dǎo)論-第2章，武剛63例3，已知二元二階馬爾科夫信源作出其狀態(tài)轉(zhuǎn)移圖。解：設(shè)狀態(tài)e1=00、e2=01、e3=10、e4=11三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛64e1e2e3e40.20.80.50.5三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛65e3e40.20.80.50.5三、多符號(hào)離散信源及其信息熵e1e2e3e40.20.80.50.5信息論導(dǎo)論-第2章，武剛66由于m階馬爾科夫信源發(fā)出的符號(hào)序列的有效長(zhǎng)度為m+1，因此其極限熵：三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛67為了強(qiáng)調(diào)m階馬爾科夫信源的長(zhǎng)度特征，一般將其極限熵H記為Hm+1，即三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛68由于P(ej/ei)是馬爾科夫信源的數(shù)學(xué)模型給定的，因此極限熵計(jì)算的關(guān)鍵在于P(ei)的求取。根據(jù)馬爾科夫鏈的各態(tài)歷經(jīng)定理，有可以解決P(ei)的求取問(wèn)題。三、多符號(hào)離散信源及其信息熵信息論導(dǎo)論-第2章，武剛69例4，已知二元