第2章離散信源及其信息

1、2022-5-18合肥學(xué)院胡學(xué)友1第2章 離散信源及其信息測(cè)度 n主要內(nèi)容 信源的數(shù)學(xué)模型及其分類(lèi) 熵及性質(zhì) 各類(lèi)離散信源的信息度量2022-5-18合肥學(xué)院胡學(xué)友22.1 信源的數(shù)學(xué)模型及分類(lèi) 信源是信息的來(lái)源，是產(chǎn)生消息或消息序列的源泉。信息是抽象的，而消息是具體的。消息不是信息本身，但它包含首和攜帶著信息。通過(guò)信息的表達(dá)者消息來(lái)研究信源。我們不研究信源的內(nèi)部結(jié)構(gòu)，不研究信源為什么產(chǎn)生和怎樣產(chǎn)生各種不同的、可能的消息而只研究信源的各種可能的輸出，以及輸出各種可能消息的不確定性。 2022-5-18合肥學(xué)院胡學(xué)友3n分類(lèi) 時(shí)間 離散 連續(xù) 幅度 離散 連續(xù) 記憶 有 無(wú) 三大類(lèi)： 單符號(hào)離散

2、信源 符號(hào)序列信源（有記憶和無(wú)記憶） 連續(xù)信源2022-5-18合肥學(xué)院胡學(xué)友4n信源輸出的消息由隨機(jī)變量描述 123456111111( )666666aaaaaaXp x61()1iip a完備集2022-5-18合肥學(xué)院胡學(xué)友51212()()()( )qqaaaXp ap ap ap x1()1qiip a離散情況2022-5-18合肥學(xué)院胡學(xué)友6()( )( )( )XabRp xp xp x，或( )d1( )d1baRp xxp x x或連續(xù)情況信源概率空間信源空間信源空間其中R表示實(shí)數(shù)集（，），而是隨機(jī)變量X的概率密度函數(shù)。 2022-5-18合肥學(xué)院胡學(xué)友7n在實(shí)際情況中。存

3、在著很多的這樣的信源。例如投硬幣、書(shū)信文字、計(jì)算機(jī)的代碼、電報(bào)符號(hào)、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個(gè)符號(hào)(或代碼)的消息，它們符號(hào)集的取值是有限或可數(shù)的。我們可用一維離散型隨機(jī)變量X來(lái)描述這些信源的輸出。這樣的信源稱(chēng)為離散信源。 2022-5-18合肥學(xué)院胡學(xué)友8 離散信源離散信源又可以細(xì)分為：（1）離散無(wú)記憶信源離散無(wú)記憶信源：所發(fā)出的各個(gè)符號(hào)之間是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒(méi)有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。（2）離散有記憶信源離散有記憶信源：發(fā)出的各個(gè)符號(hào)之間不是相互獨(dú)立的，各個(gè)符號(hào)出現(xiàn)的概率是有關(guān)聯(lián)的。2022-5-18合肥學(xué)院胡學(xué)友9n信源不

4、能簡(jiǎn)單地用一維隨機(jī)變量來(lái)描述信源，而應(yīng)用N維隨機(jī)矢量 來(lái)描述。這N維隨機(jī)矢量 有時(shí)也稱(chēng)為隨機(jī)序列 12(,)NXXXX X 2022-5-18合肥學(xué)院胡學(xué)友10n若信源輸出的N維隨機(jī)矢量 ，每個(gè)隨機(jī)變量 (i=1, 2, , N) 都是取值為有限或可數(shù)，即每個(gè)隨機(jī)變量的可能取值是不可數(shù)的無(wú)限值。且隨機(jī)矢量的各維概率密度函數(shù)都與時(shí)間起點(diǎn)無(wú)關(guān)，也就是說(shuō)，在任意兩個(gè)不同時(shí)刻隨機(jī)矢量的各維概率密度函數(shù)都相同，這樣的信源稱(chēng)為離散平穩(wěn)信源，如離散化平面灰度圖像 12(,)NXXXX iX2022-5-18合肥學(xué)院胡學(xué)友11n若信源輸出的N維隨機(jī)矢量 ，每個(gè)隨機(jī)變量 (i=1, 2, , N) 都是取值為連

5、續(xù)的連續(xù)型隨機(jī)變量，即每個(gè)隨機(jī)變量的可能取值是不可數(shù)的無(wú)限值。而且隨機(jī)矢量的各維概率密度函數(shù)都與時(shí)間起點(diǎn)無(wú)關(guān)，也就是說(shuō)，在任意兩個(gè)不同時(shí)刻隨機(jī)矢量的各維概率密度函數(shù)都相同，這樣的信源稱(chēng)為連續(xù)平穩(wěn)信源 12(,)NXXXX iX2022-5-18合肥學(xué)院胡學(xué)友12n在N維隨機(jī)矢量中，若每個(gè)隨機(jī)變量 (i=1，2，N) 都是離散的，則可用N重離散概率空間來(lái)描述這類(lèi)信源。 iX121, 2,iqxaaaiN1 111 121 111 12()()()( )()()()NqqqNqqqa aaa aaa aaXp xp a aap a aap a aa 2022-5-18合肥學(xué)院胡學(xué)友13n這個(gè)空間共

6、有元素 個(gè)。 Nq1()()iNikip Xp Xa 如果離散無(wú)記憶，N隨機(jī)矢量聯(lián)合概率分布：2022-5-18合肥學(xué)院胡學(xué)友14n我們把這信源x所輸出的隨機(jī)矢量X所描述的信源稱(chēng)為離散無(wú)記憶信源x的N次擴(kuò)展 可見(jiàn)，N次擴(kuò)展信源是由離散無(wú)記憶信源輸出N長(zhǎng)的隨機(jī)序列構(gòu)成的信源。 2022-5-18合肥學(xué)院胡學(xué)友15n一般情況下信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴(lài)的。也就是信源輸出的平穩(wěn)隨機(jī)序列x中，各隨機(jī)變量Xi之間是有依賴(lài)的。例如，在漢字組成的中文序列，英文，德文等自然語(yǔ)言 。n這種信源稱(chēng)為有記憶信源有記憶信源。我們需在N維隨機(jī)矢量的聯(lián)合概率分布中引入條件概率分布來(lái)說(shuō)明它們之間的關(guān)聯(lián)。2022

7、-5-18合肥學(xué)院胡學(xué)友16n表述有記憶信源要比表述無(wú)記憶信源因難得多。實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)的依賴(lài)關(guān)系強(qiáng)，而與更前面的符號(hào)依賴(lài)關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長(zhǎng)度 。n當(dāng)記憶長(zhǎng)度為m十1時(shí)，稱(chēng)這種有記憶信源為M階馬爾可夫信源馬爾可夫信源 2022-5-18合肥學(xué)院胡學(xué)友17NiiiXXXXXXX1121miiiXXX21iX取什么符號(hào)只與前m個(gè)隨機(jī)變量取什么符號(hào)有關(guān) 2022-5-18合肥學(xué)院胡學(xué)友18)|()|(miiiiimiiiiiiixxxxxPxxxxxxxxP321132112（） Ni,21如果上述條件概率與時(shí)間起點(diǎn)i無(wú)關(guān)，即信源輸出的符號(hào)序列可看成為時(shí)齊

8、馬爾可夫鏈，則此信源稱(chēng)為時(shí)齊馬爾可信源時(shí)齊馬爾可信源 2022-5-18合肥學(xué)院胡學(xué)友19 最簡(jiǎn)單的馬爾可夫信源是當(dāng)m=1，也就是一階馬爾可夫信源，此時(shí)： 12112211,LLLLLp x xxp x xp xxp x xp x2022-5-18合肥學(xué)院胡學(xué)友20n更一般地說(shuō)，實(shí)際信源輸出的消息常常是時(shí)間和取值都是連續(xù)的。例如，語(yǔ)音信號(hào)X(t)、熱噪聲信n(t)、電視圖像信號(hào)X(x0,y0,t)等時(shí)間連續(xù)函數(shù)。同時(shí)，在某一固定時(shí)間t0，它們的可能取值又是連續(xù)的和隨機(jī)的。對(duì)于這種信源輸出的消息，可用隨機(jī)過(guò)程來(lái)描述。稱(chēng)這類(lèi)信源為隨機(jī)波形信源隨機(jī)波形信源 如課本2.1圖所示2022-5-18合肥學(xué)

9、院胡學(xué)友212.2 離散信源的信息熵 1212()()()( )qqaaaXp ap ap ap x1()1qiip a信源：隨機(jī)符號(hào)的集合 離散：信源由有限個(gè)或無(wú)限可列的符號(hào)組成 無(wú)記憶離散信源：用概率空間2022-5-18合肥學(xué)院胡學(xué)友22有記憶離散信源：聯(lián)合概率空間1 111 11()()()()nnnnnna aaa aaXPp a aap a aa2022-5-18合肥學(xué)院胡學(xué)友232.2.1 自信息 信源發(fā)出某一符號(hào) 后，它提供多少信息量？這就是要解決信息的度量問(wèn)題。 在通信的一般情況下，收信者所獲取的信息量，在數(shù)量上等于通信前后不確定性的消除(減少)的量。 ), 2 , 1(ni

10、xi2022-5-18合肥學(xué)院胡學(xué)友24 具體地說(shuō)，如信源發(fā)某一符號(hào)ai，由于信道中噪聲的隨機(jī)干擾，收信者收到的一般是ai的某種變型bi收信者收到bi后，從bi中獲取關(guān)于ai的信息量,如果以I(ai；bi)表示，則有I(ai；bi)收到bi前，收信者對(duì)ai存在的不確定性(先驗(yàn)不定度)收到bi后，收信者對(duì)ai仍然存在的不確定性(后驗(yàn)不定度)收信者收到bi前、后，對(duì)ai存在的不確定性的消除。 2022-5-18合肥學(xué)院胡學(xué)友25 假定信道中沒(méi)有噪聲的隨機(jī)干擾(即無(wú)噪信道)。這時(shí)，顯然有biai本身，收信者確切無(wú)誤地收到信源發(fā)出的消息。 那么，(收到bi后，對(duì)ai仍存在的不確定性)0。 同時(shí)，(收到

11、bi后，從bi中獲取關(guān)于ai的信息量I(ai；bi)就變成(收到ai后，從ai中獲取關(guān)于ai的信息量I(ai)，這個(gè)I(ai)也就是ai本身所含有的信息量，即能提供的全部信息量，我們稱(chēng)之為ai 的“自信息量自信息量”。 2022-5-18合肥學(xué)院胡學(xué)友26根據(jù)上述的一般原則，就可有： I(ai)收到ai前，收信者對(duì)信源發(fā)ai的不確定性2022-5-18合肥學(xué)院胡學(xué)友272.2.1 自信息 n假設(shè)一條電線(xiàn)上串聯(lián)了8個(gè)燈泡 ， ， 這8個(gè)燈泡損壞的可能性是等慨率的，現(xiàn)假設(shè)這8個(gè)燈泡中有一個(gè)也只有一個(gè)燈泡已損壞，致使串聯(lián)燈泡都不能點(diǎn)亮。n問(wèn)：獲得多少的信息量，才能獲知和確定哪個(gè)燈泡工已損壞？ 1x8

12、x2022-5-18合肥學(xué)院胡學(xué)友28n第一次測(cè)量獲得的信息量：IP1(x)-IP2(x)n第二次測(cè)量獲得的信息量：IP2(x)-IP3(x) n第三次測(cè)量獲得的信息量：IP3(x)-0IP3(x) 根據(jù)后面分析可知這I函數(shù)取對(duì)數(shù)以2 。2022-5-18合肥學(xué)院胡學(xué)友29n第一次測(cè)量獲得的信息量 1 (bit) n第二次測(cè)量獲得的信息量 1 (bit)n第三次測(cè)量獲得的信息量1(bit) )(log)(logxPxP221211)(log)(logxPxP322211)(logxP3212022-5-18合肥學(xué)院胡學(xué)友30n在信息傳輸?shù)囊话闱闆r下，收信者所獲得的信息量應(yīng)等于信息傳播前后不確定

13、性的減少(消除)量 n信息量定義為信息量定義為： 收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某基本事件發(fā)生的信息量) 不確定性減少的量 (收到此消息前關(guān)于某事件發(fā)生的不確定性)一(收到此消息后關(guān)于某事件發(fā)生的不確定性)。2022-5-18合肥學(xué)院胡學(xué)友31n 在無(wú)噪聲時(shí)，通過(guò)信道的傳輸，可以完全不失真地收到所發(fā)的消息，所以收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除n收到某消息獲得的信息量收到消息前關(guān)于某事件發(fā)生的不確定性信源輸出的某消息中所含有的信息量 2022-5-18合肥學(xué)院胡學(xué)友32n某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù) nI(ai)=fp(ai)=-log p

14、(ai)n式中式中p(ai)是事件是事件ai發(fā)生的先驗(yàn)概率，而發(fā)生的先驗(yàn)概率，而I(ai)表示事件表示事件ai發(fā)生所含有的信息量，我們稱(chēng)發(fā)生所含有的信息量，我們稱(chēng)之為之為ai的自信息量。的自信息量。2022-5-18合肥學(xué)院胡學(xué)友33n根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)f f p p( (aiai)應(yīng)滿(mǎn)足以下條件：np p( (a a1)1)p p( (a a2)2)，則則I I( (a a1)1)I I( (a a2)2)，f f p p( (aiai)是是p p( (aiai) )的單調(diào)遞減函數(shù)的單調(diào)遞減函數(shù) np p( (aiai)=0)=0，則則f f p p( (aiai) ) np

15、 p( (aiai)=1)=1，則則f f p p( (aiai) =0 ) =0 n獨(dú)立事件的聯(lián)合信息量獨(dú)立事件的聯(lián)合信息量 I I( (abab)=)=I I( (a a)+)+I I( (b b) ) 2022-5-18合肥學(xué)院胡學(xué)友34n自信息采用的單位取決于對(duì)數(shù)所選取的底 n如果取以2為底，則所得的信息量單位稱(chēng)為比特(bit binary unit 的縮寫(xiě)) n如果采用以e為底的自然對(duì)數(shù)，則所得的信息量單位稱(chēng)為奈特(nat，nature unit的縮寫(xiě)) n若采用以10為底的對(duì)數(shù)，則所得的信息量單位稱(chēng)為哈特(Hart，Hartley的縮寫(xiě),以紀(jì)念哈特萊) 2022-5-18合肥學(xué)院胡

16、學(xué)友352.2.2信息熵 n前面定義的自信息是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。所以自信息I(ai)是一個(gè)隨機(jī)變量，不能用它來(lái)作為整個(gè)信源的信息測(cè)度。np(a1) I(a1)np(a2) I(a2)n p(ar) I(ar)2022-5-18合肥學(xué)院胡學(xué)友36n1. I(ai) 特定的具體符號(hào) -log p(ai)n2. ai的非確定性 n平均意義上：Hr(X)=p(a1)I(a1)+p(a2)I(a2)+p(ar)I(ar)=-p(a1)logrp(a1)-p(a2)logrp(a2)-p(ar)logrp(ar)2022-5-18合肥學(xué)院胡

17、學(xué)友37n我們定義自信息的數(shù)學(xué)期望為信源的平均平均自信息量自信息量 ：)(log)()(irqiiaPaPXH1)(log)(iaPEXH1)(log)(1iqiiaPaP這個(gè)平均自信息的表達(dá)式與統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式很相似 ，稱(chēng)為信息熵 。2022-5-18合肥學(xué)院胡學(xué)友38n例：有一布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的20個(gè)球是白色的。若隨意摸取一個(gè)球，猜測(cè)是什么顏色，這一隨機(jī)事件的概率空間208021.)(aaXPX其中 表示摸出的是紅球， a2表示摸出的是白球 1a2022-5-18合肥學(xué)院胡學(xué)友39n摸出是紅球，獲得信息量I(a1)=log p(ai) （比特）n摸出來(lái)的是白球

18、，所獲得的信息量應(yīng)為 I(a2)=log p(ai) （比特）n若每次摸出又放回再進(jìn)行摸取，則摸取n次后總共所獲得的信息量為：nP(a1)I(a1)十nP(a2)I(a2) 80.log20.log2022-5-18合肥學(xué)院胡學(xué)友40n這樣，平均摸取一次所能獲得的信息量約為：n顯然，這就是信源X的信息熵。 )(log)()(iiiaPaPXH212022-5-18合肥學(xué)院胡學(xué)友41n信息熵具有以下三種物理含意 ：n信息熵H(x)是表示信源輸出后，每個(gè)消息(或符號(hào))所提供的平均信息量 n信息熵H(x)是表示信源輸出前信源的平均不確定性 n用信息熵H(x)來(lái)表征變量x的隨機(jī)性 2022-5-18合

19、肥學(xué)院胡學(xué)友4201099021.)(aaxPX505021.)(bbyPY試比較其信息熵大??？試比較其信息熵大??？例例2022-5-18合肥學(xué)院胡學(xué)友43 0.99log0.990.01log0.01008 (比特符號(hào)) 0.5log0.50.5log0.51 (比特符號(hào))(XH)(YH )(YH)(XH 實(shí)質(zhì)？實(shí)質(zhì)？2022-5-18合肥學(xué)院胡學(xué)友44n例：設(shè)某甲地天氣預(yù)報(bào)為：晴(1/4)、陰(1/4)、雨(1/4)、雪(1/4)，某乙地天氣預(yù)報(bào)為：晴(1/2)、雨(1/2)，試求兩地天氣預(yù)報(bào)各提供的平均信息量？2022-5-18合肥學(xué)院胡學(xué)友452.3信息熵的基本性質(zhì) 1212( )qq

20、aaaXpppp x()H Xqppp,21是 的 元函數(shù) q由于 ，所以獨(dú)立變量只有q q1 1個(gè)11qiip121( )()logqqiiiH PH ppppp ， ， ，2022-5-18合肥學(xué)院胡學(xué)友46n其中 是維矢量，并滿(mǎn)足完備和每個(gè)分量0，于是稱(chēng) 為概率矢量。n由于 是概率矢量 的函數(shù)可稱(chēng) 為熵函數(shù)，它具有如下一些性質(zhì)： 12(,)qPp pp P( )H P P( )H P 2022-5-18合肥學(xué)院胡學(xué)友47性質(zhì)：n對(duì)稱(chēng)性對(duì)稱(chēng)性當(dāng)變量當(dāng)變量 的順序任意的順序任意互換時(shí)熵函數(shù)的值不變互換時(shí)熵函數(shù)的值不變 ),(qpppP21),() ,(),()(1113221qqqqpppH

21、ppppHpppHPH該性質(zhì)表明熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，即與該性質(zhì)表明熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體的統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)信源的總體的統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同特性相同(含有的符號(hào)數(shù)和概率分布相同含有的符號(hào)數(shù)和概率分布相同)，那么，那么，這些信源的熵就相同這些信源的熵就相同 2022-5-18合肥學(xué)院胡學(xué)友48216131321aaaxPX)(若其中 分別表示紅、黃、藍(lán)三個(gè)具體消息，而 分別表示晴、霧、陰 321aaa,321bbb,612131321bbbzPZ)(信息熵有它的局限性，它不能描述事件本信息熵有它的局限性，它不能描述事件本身的具體含

22、意和主觀價(jià)值等。身的具體含意和主觀價(jià)值等。2022-5-18合肥學(xué)院胡學(xué)友49n確定性確定性 000100101),(),(),(HHH這個(gè)性質(zhì)意味著從總體來(lái)看，信源雖然有不同這個(gè)性質(zhì)意味著從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其他符號(hào)都是幾乎不可能出現(xiàn)，那么，這個(gè)而其他符號(hào)都是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等于零信源是一個(gè)確知信源，其熵等于零 2022-5-18合肥學(xué)院胡學(xué)友50n非負(fù)性非負(fù)性 0121qiiiqpppppHPHlog),()(性質(zhì)性質(zhì)是很顯然的。因?yàn)殡S機(jī)變量是很顯然的。因?yàn)殡S機(jī)變量

23、x的所有取值的概率的所有取值的概率滿(mǎn)足滿(mǎn)足opi1，當(dāng)取對(duì)數(shù)的底大于當(dāng)取對(duì)數(shù)的底大于1時(shí)時(shí)logpio，則得則得到的熵是正值的。只有當(dāng)隨機(jī)變量是一確知量時(shí)到的熵是正值的。只有當(dāng)隨機(jī)變量是一確知量時(shí)(根據(jù)根據(jù)性質(zhì)性質(zhì)2)，熵才等于零。這種，熵才等于零。這種非負(fù)性對(duì)于離散信源的熵非負(fù)性對(duì)于離散信源的熵是合適的，但對(duì)連續(xù)信源這一性質(zhì)并不存在是合適的，但對(duì)連續(xù)信源這一性質(zhì)并不存在 2022-5-18合肥學(xué)院胡學(xué)友51n擴(kuò)展性擴(kuò)展性 ),(),(lim212110qqqqpppHpppH00loglim概率很小的事件出現(xiàn)后，給予收信者較多的信息。但概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來(lái)考

24、慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)從總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它在熵的計(jì)算中占的比重很小，致使總的出現(xiàn)，所以它在熵的計(jì)算中占的比重很小，致使總的信源熵值維持不變。這也是熵的總體平均性的體現(xiàn)。信源熵值維持不變。這也是熵的總體平均性的體現(xiàn)。2022-5-18合肥學(xué)院胡學(xué)友52n可加性可加性 獨(dú)立信源x和y的聯(lián)合信源的熵 H(XY)=H(X)+H(Y) 可加性是熵函數(shù)的一個(gè)更要特性，正因?yàn)榫呖杉有允庆睾瘮?shù)的一個(gè)更要特性，正因?yàn)榫哂锌杉有裕钥梢宰C明熵函數(shù)的形式是唯有可加性，所以可以證明熵函數(shù)的形式是唯一的，不可能有其它形式存在。一的，不可能有其它形式存在。當(dāng)兩個(gè)獨(dú)立消

25、息出現(xiàn)時(shí)，收到的信息量等于兩個(gè)消息分別出現(xiàn)的信息量之和 2022-5-18合肥學(xué)院胡學(xué)友53n強(qiáng)可加性強(qiáng)可加性 即兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。H(XY)=H(X)+H(Y|X)2022-5-18合肥學(xué)院胡學(xué)友54n遞增性遞增性 mjnjniinmnnmnnnmnmnqqppqpqpqHppppHqqqpppH112121211211, 1),(),(),(其中：2022-5-18合肥學(xué)院胡學(xué)友55n利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值 。)61,61,31,31(H)41,41,21(32)32,31(HH)21

26、,21(31)21,21(32)32,31(HHH)21,21()32,31(HHbit/信符信符 9181.2022-5-18合肥學(xué)院胡學(xué)友56n極值性極值性qqqqHpppHPHqlog)/,/,/(),()(11121此式表示在離散信源情況下，信源各符號(hào)等此式表示在離散信源情況下，信源各符號(hào)等概率分布時(shí)，熵值達(dá)到最大概率分布時(shí)，熵值達(dá)到最大 。最大離散熵最大離散熵定理定理2022-5-18合肥學(xué)院胡學(xué)友57n上凸性2022-5-18合肥學(xué)院胡學(xué)友582.4 離散無(wú)記憶的擴(kuò)展信源 n最簡(jiǎn)單的離散信源，每次輸出單個(gè)符號(hào)的消息 。實(shí)際信源輸出的消息是時(shí)間或空間上的一系列符號(hào) 。n平穩(wěn)離散無(wú)記憶

27、信源，信源輸出的消息序列是平穩(wěn)隨機(jī)序列且符號(hào)間是統(tǒng)計(jì)獨(dú)立。2022-5-18合肥學(xué)院胡學(xué)友59n離散無(wú)記憶信源x，其樣本空間為n N維離散隨機(jī)矢量n每個(gè)分量Xi(I=1，2.N)都是隨機(jī)變量，取于同一信源x，且分量之間統(tǒng)計(jì)獨(dú)立 。n離散無(wú)記憶信源X的N次擴(kuò)展信源次擴(kuò)展信源 ,qaaa21),(NXXXX212022-5-18合肥學(xué)院胡學(xué)友60),(,),(,),(,)(qqaPaaPaaPaxPX221111qiiap)(),(,),(,),(,)(NNqqiNPPPPX2211)(Niiiiaaa21NNiiiiiiipppaPaPaPP2121)()()()(qiiiN,21212022-

28、5-18合肥學(xué)院胡學(xué)友61qiiqiiqiiqiiNNNapapapp11112211)()()()(1111111221112121qiiqiiqiiiiiqiqiqiNNNNppppppN次擴(kuò)展信源的概率空間 也是完備集完備集 )(,iNpX2022-5-18合肥學(xué)院胡學(xué)友62NNXiiXNPPPPXHHXXX)(log)()(log)()()(H(XN)NH(X) 證明證明設(shè) 是XN概率空間中的一個(gè)符號(hào)，對(duì)應(yīng)于由N個(gè) 組成的序列 ii)(Niiiiaaa21NiiiiNiiipppaaapp2121)()(:qiiiN,.,.,2121NNXiiXNPPPPXHXX)(log)()(lo

29、g)()(2022-5-18合肥學(xué)院胡學(xué)友63式中求和號(hào) 是對(duì)信源XN中所有qN個(gè)符號(hào)求和，所以求和號(hào)共有qN個(gè)，等效于N個(gè)求和，而且其中的每一個(gè)又是對(duì)X中的q個(gè)符號(hào)求和： NNXiiiiNpppPXH211log)()(NNNNiXiiXiiXipPpPpP11121log)(log)(log)(2022-5-18合肥學(xué)院胡學(xué)友64上式共有N項(xiàng)，考察其中一項(xiàng)： 121111iXiiiiXipppppPNNNlog,log)(qiiqiiqiiiqiiNNippppp11113322111log11qiikkap)(Nk,.,21又又所以所以)(loglog)(XHpppPiqiiiXiN11

30、111112022-5-18合肥學(xué)院胡學(xué)友65123111( )244aaaXp x31()1iip a試求試求 和和 。 ()H X2()H X例題：例題：2022-5-18合肥學(xué)院胡學(xué)友663111( )( )log ( )log2 2log4 1.5/24iiiH Xpapa 比 特符 號(hào)21 11 21 32 1222 33 13 23 32111111111()4888161681616aaaaaaa aa aa aa aa aa aXp x121212332111()( )log ( )( ) ()log ( ) ()111log4 4log8 4log16 3/4816Nqiii

31、iiiiiiH Xppp a p ap a p a 比特 符號(hào)2()2()H XH X驗(yàn)證了驗(yàn)證了2022-5-18合肥學(xué)院胡學(xué)友6725 離散平穩(wěn)信源 n隨機(jī)矢量 ：n其中變量 都是離散隨機(jī)變量，它表示ti時(shí)刻所發(fā)出的符號(hào)取決定于兩方面：n1)與信源在ti時(shí)刻隨機(jī)變量 的取值的概率分布有關(guān)。一般情況t不同概率分布也不同，即 不等于 。 ,iXXXXX321iXiX)(ixP)(jxP25.1 離散平穩(wěn)信源定義 2022-5-18合肥學(xué)院胡學(xué)友68n2)與ti時(shí)刻以前信源發(fā)出的符號(hào)有關(guān)，即與條件概率 有關(guān)。同樣在一般情況下，它也是時(shí)間ti的函數(shù)，所以)/(121NNXXXXp)/(121iiX

32、XXXp不等于)/(121NNXXXXp以上所敘述的是一般隨機(jī)序列的情況，它比較復(fù)雜 2022-5-18合肥學(xué)院胡學(xué)友69n所謂平穩(wěn)隨機(jī)序列，就是序列的統(tǒng)計(jì)性質(zhì)與所謂平穩(wěn)隨機(jī)序列，就是序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān)，即信源所發(fā)符號(hào)序列的概時(shí)間的推移無(wú)關(guān)，即信源所發(fā)符號(hào)序列的概率分布與時(shí)間起點(diǎn)無(wú)關(guān)率分布與時(shí)間起點(diǎn)無(wú)關(guān)。數(shù)學(xué)定義：n若當(dāng)ti，tj時(shí)(i，j是大于1的任意整數(shù)) )(ixp)()(xpxpj)(1axpi)()(11axpaxpj)(2axpi)()(22axpaxpj)(qiaxp)()(qqjaxpaxp一維平穩(wěn)信源一維平穩(wěn)信源 2022-5-18合肥學(xué)院胡學(xué)友70n除上述條件外

33、，如果聯(lián)合概率分布 也與時(shí)間起點(diǎn)無(wú)關(guān)，即 )(1iixxp)(1iixxp)(1jjxxp(i，j為任意整數(shù)且互不相等為任意整數(shù)且互不相等) 二維平穩(wěn)信源二維平穩(wěn)信源。表示任何時(shí)刻信源連續(xù)發(fā)出二個(gè)符號(hào)的聯(lián)合概率分布也完全相等。依此類(lèi)推，這種各維聯(lián)合概率起點(diǎn)無(wú)關(guān)的完全平穩(wěn)信源稱(chēng)為離散平穩(wěn)信源離散平穩(wěn)信源。 2022-5-18合肥學(xué)院胡學(xué)友71)(1iixxp)(21iiixxxp)|()|()(121iiiiixxpxxpxp)|()(iiixxpxp1)|(iixxp1)|(jjxxp1)|(12iiixxxp)|(12jjjxxxp)|()|(1111NjjjNjNiiiNixxxxpxxx

34、xp平穩(wěn)信源來(lái)說(shuō)，其條件概率均與時(shí)間起點(diǎn)無(wú)平穩(wěn)信源來(lái)說(shuō)，其條件概率均與時(shí)間起點(diǎn)無(wú)關(guān)，只與關(guān)聯(lián)長(zhǎng)度關(guān)，只與關(guān)聯(lián)長(zhǎng)度N有關(guān)有關(guān) 。判斷離散平判斷離散平穩(wěn)信源等價(jià)條件穩(wěn)信源等價(jià)條件2022-5-18合肥學(xué)院胡學(xué)友722.5.2二維平穩(wěn)信源及其信息熵1212( )( )( )( )qqaaaXp ap ap ap x 1( ) 1qiip a且11() 1qqijijp aa同時(shí)已知聯(lián)合概率分布且)(jiaap()(/)( )ijjiip aap aap a，1(/)1qjijp aa下一個(gè)符號(hào)必下一個(gè)符號(hào)必定在其中選取。定在其中選取。 2022-5-18合肥學(xué)院胡學(xué)友732121()()2HXH X

35、 X 21(/)H XX聯(lián)合熵聯(lián)合熵條件熵條件熵2022-5-18合肥學(xué)院胡學(xué)友741 11 212 1121 2()()( ) (/ )qq qijijiaaaaaaa aa aX Xp xxp aap a p a a將將序序列列分分組組，假假設(shè)設(shè)組組間間統(tǒng)統(tǒng)計(jì)計(jì)無(wú)無(wú)關(guān)關(guān)11() 1qqijijp aa1211()()log ()qqijijijH X Xp aap aa2121()()2HXH X X 2022-5-18合肥學(xué)院胡學(xué)友75211(/)(/)log (/)qijijijH XXap aap aa 212111111(/)( ) (/)( ) (/)log (/)()log (

36、/)qiiiqqijijiijqqijjiijH XXp a H XXap a p aap aap aap aa 2022-5-18合肥學(xué)院胡學(xué)友761211111111211111()()log ()()log() (/)()log ()()log (/)()log ()(/)()log ()(/)qqijijijqqijijiijqqqqijiijjiijijqqijiijqqiijiijH X Xp a ap a ap a ap a p aap a ap ap a ap aap a ap aH XXp ap ap aa 21211121(/)()log ()(/)()(/)qiiiH X

37、Xp ap aH XXH XH XX 2022-5-18合肥學(xué)院胡學(xué)友7712121()()(/)H X XH XH XX信源聯(lián)合熵等于前一符號(hào)出現(xiàn)的獨(dú)立熵加上信源聯(lián)合熵等于前一符號(hào)出現(xiàn)的獨(dú)立熵加上前一符號(hào)已知時(shí)后一符號(hào)的條件熵前一符號(hào)已知時(shí)后一符號(hào)的條件熵212(/)()H XXH X2022-5-18合肥學(xué)院胡學(xué)友780)()()(1)()()()()()()(log)()(log)()(log)()(log)()()()(1111111111112121nimjjinimjjijijinimjjijijinimjjijmijiniijinimjjibapbpapbapbpapbapbap

38、bpapbapbpapapapbapbapXHXHXXH時(shí)即時(shí)取等號(hào)因?yàn)?()()(11log jijibapbpapxxx)()()(2121XHXHXXH2022-5-18合肥學(xué)院胡學(xué)友79)()()|()()(2112121XHXHXXHXHXXH1212112()/()()2 ( )H X XH XH XXH XH XH X)|(12XXH)(2XH在在X1X2取同一信源空間時(shí)取同一信源空間時(shí)2022-5-18合肥學(xué)院胡學(xué)友80n當(dāng)前后二個(gè)符號(hào)之間無(wú)依賴(lài)關(guān)系時(shí)，信源X1X2就是無(wú)記憶的二次擴(kuò)展信源，所以信源X1X2的熵等于原信源熵的2倍 。n有依賴(lài)時(shí)輸出二個(gè)符號(hào)的聯(lián)合熵總是小于二倍信源

39、的熵 。有依賴(lài)關(guān)系時(shí)在前一個(gè)符號(hào)發(fā)生的條件下，后面跟著什么符號(hào)發(fā)生不是完全不確定的，而是有的符號(hào)發(fā)生的可能性大，有的符號(hào)發(fā)生的可能性小，從而平均不確定程度減少。2022-5-18合肥學(xué)院胡學(xué)友81012111( )236Xp x例題：例題：31()1iip a且且假設(shè)發(fā)出的符號(hào)只于前一個(gè)有關(guān)，可用其二維假設(shè)發(fā)出的符號(hào)只于前一個(gè)有關(guān)，可用其二維聯(lián)合概率給出其相關(guān)性如下：聯(lián)合概率給出其相關(guān)性如下：表2.2 ()p a ai ij j4124118 0120012024124141412022-5-18合肥學(xué)院胡學(xué)友82jaia4118 01200120181212343431()( )ijijp

40、a ap a由上表列相加可驗(yàn)證：由上表列相加可驗(yàn)證：根據(jù)概率關(guān)系可以推導(dǎo)出根據(jù)概率關(guān)系可以推導(dǎo)出2.3表表a ajijip p(/)(/)2022-5-18合肥學(xué)院胡學(xué)友83由由2.3表列相加可驗(yàn)證：表列相加可驗(yàn)證：31(/) 1jijp aa計(jì)算：計(jì)算：31()()log()1.452iiiH Xp ap a 獨(dú)立熵：獨(dú)立熵：比特比特/符號(hào)符號(hào) 332111(/)()log (/)0.994ijjiijH XXp a ap aa 比特比特/符號(hào)符號(hào) 比特比特/二個(gè)二個(gè)符號(hào)符號(hào) 比特比特/符號(hào)符號(hào) 條件熵：條件熵：331211()()log ()2.446ijijijH X Xp a ap a

41、 a 聯(lián)合熵：聯(lián)合熵：2121()()1.2232HXH X X 平均符號(hào)熵：平均符號(hào)熵：212(/)0.994()1.223()1.452H XXHXH X 2022-5-18合肥學(xué)院胡學(xué)友8421(/)H XX2()HX 二維平穩(wěn)信源信息熵究竟等于二維平穩(wěn)信源信息熵究竟等于 還是還是都不是它們都只能作為信源信息熵的近似哪一個(gè)更接近呢？2022-5-18合肥學(xué)院胡學(xué)友852.5.3離散平穩(wěn)信源的極限熵 1212()()()( )qqaaaXp ap ap ap x1()1qiip a設(shè)離散平穩(wěn)信源設(shè)離散平穩(wěn)信源X：設(shè)信源設(shè)信源X的符號(hào)間依賴(lài)長(zhǎng)度為的符號(hào)間依賴(lài)長(zhǎng)度為N，則聯(lián)合概率為：則聯(lián)合概率

42、為：121212()()1 2NNiiiNp x xxp a aaiiiq， ， ， ， ，2022-5-18合肥學(xué)院胡學(xué)友86121211 2121,(/)()log (/)NNNNNNiiiiiiii iiH XXXXpaaapa aaa, ，條件熵：條件熵：12121212,()()log ()NNNNiiiiiiiiiH X XXp a aap a aa , ，聯(lián)合熵：聯(lián)合熵：121()()NNHXH X XXN 平均符號(hào)熵：平均符號(hào)熵：1()HX 對(duì)于一般離散平穩(wěn)信源，若對(duì)于一般離散平穩(wěn)信源，若有以下性質(zhì)：有以下性質(zhì)：2022-5-18合肥學(xué)院胡學(xué)友87121211122122212

43、3211(/)(/)(/)(/)(/)(/)()NNNNNNNNNNH XX XXH XXXH XX XXH XXXH XX XXH XXH X（平穩(wěn)性）1)條件熵隨條件熵隨N的增加非遞增；的增加非遞增；2022-5-18合肥學(xué)院胡學(xué)友882) N給定時(shí)，平均符號(hào)熵大于等于條件熵給定時(shí)，平均符號(hào)熵大于等于條件熵；12121121()( )1()(/)(/)NNNNH X XXHXNH XH XXH XX XXN 121121()(/)(/)NNH XH XXH XX XX因因1211211211211( )( )(/)(/)1(/)(/)NNNNNNNH XH XH X XH XXXXNN H

44、 XXXXH XXXXN 取小者2022-5-18合肥學(xué)院胡學(xué)友893）平均符號(hào)熵隨）平均符號(hào)熵隨N增加而非遞增，增加而非遞增，1()()NNHXHX 121211211211211121()()1()(/)11()(/)(1)11()(/)NNNNNNNNNNNH X XXHXNH X XXH XX XXNNH X XXH XX XXN NNNHXH XX XXNN 又因?yàn)?()NHX 121(/)NNH XX XX將第二項(xiàng)用平均符號(hào)熵代替2022-5-18合肥學(xué)院胡學(xué)友90111()()()NNNNHXHXHXNN 1()()NNHXHX 移項(xiàng)，可得：4） 存在，并且存在，并且 ：lim(

45、)NNHHX 121lim()lim(/)NNNNNHHXH XX XX 2022-5-18合肥學(xué)院胡學(xué)友912.6馬爾可夫信源n非平穩(wěn)信源中，一類(lèi)特殊的信源，序列符號(hào)間依賴(lài)關(guān)系有限，并滿(mǎn)足馬爾可夫鏈（時(shí)間離散，狀態(tài)離散）性質(zhì)。2022-5-18合肥學(xué)院胡學(xué)友922.6.1馬爾可夫信源定義n信源輸出符號(hào)間依賴(lài)關(guān)系有限，任意時(shí)刻信源符號(hào)發(fā)生的概率只與前若干符號(hào)有關(guān)，與更前面的無(wú)關(guān)。為描述種類(lèi)信源，需信源符號(hào)： 狀態(tài)：12,qXAa aa12,JSEE EE2022-5-18合肥學(xué)院胡學(xué)友93,121llxxxx,121llssss符號(hào)序列狀態(tài)序列 iEka(/)lklip xasEll時(shí)刻，信源

46、處于狀態(tài) ，輸出符號(hào) 概率給定為：l1時(shí)刻，信源處于狀態(tài) ，下一時(shí)刻轉(zhuǎn)到 的狀態(tài)轉(zhuǎn)移概率為：jEiE1(/)(/)ljiljlip EEp sEsE2022-5-18合肥學(xué)院胡學(xué)友94n一般情況下，狀態(tài)轉(zhuǎn)移概率和已知狀態(tài)下發(fā)出符號(hào)的概率與時(shí)刻 有關(guān)，若無(wú)關(guān)，即：l(/)(/)lklikip xasEp aE1(/)(/)ljlijip sEsEp EE時(shí)齊或齊次時(shí)齊或齊次2022-5-18合肥學(xué)院胡學(xué)友95n定義：若信源輸出符號(hào)序列和所處狀態(tài)滿(mǎn)足：n1）某一時(shí)刻信源符號(hào)的輸出只與信源所處狀態(tài)有關(guān)，與以前的狀態(tài)和輸出符號(hào)無(wú)關(guān)，即；n2）信源某 時(shí)刻所處狀態(tài)有當(dāng)前的輸出符號(hào)和前一時(shí)刻( -1)信源

47、狀態(tài)唯一確定：111(/)(/)lklilkljlklip xa sE xasEp xa sE，(/)(/)lklikip xasEp aE(/) 1kkiaAp a E當(dāng)前狀態(tài)當(dāng)前狀態(tài) 前一時(shí)刻輸出前一時(shí)刻輸出時(shí)齊時(shí)齊ll10(/)1ljlklip sExasE，馬爾可馬爾可夫信源夫信源2022-5-18合肥學(xué)院胡學(xué)友96n這種信源可用馬爾可夫狀態(tài)轉(zhuǎn)移圖來(lái)描述狀態(tài)用圓圈表示，然后用有向線(xiàn)段連接；設(shè)信源符號(hào) ，信源所處狀態(tài) 狀態(tài)轉(zhuǎn)移圖如下：， 123, ,XAa a a 12345,S EE E E E E 11124411022(/)31044100111442kip aE例題例題2022-

48、5-18合肥學(xué)院胡學(xué)友9731(/)1kikp aE2111111122112311(/)0(/)1(/)1(/)0llllllllllllp sExasEp sExasEp sExasEp sExasE可以驗(yàn)證：可以驗(yàn)證：滿(mǎn)足條件滿(mǎn)足條件2滿(mǎn)足條件滿(mǎn)足條件12022-5-18合肥學(xué)院胡學(xué)友98111002441100022(/)3100044000013100044jip EE 求得狀態(tài)一求得狀態(tài)一步轉(zhuǎn)移概率：步轉(zhuǎn)移概率：2022-5-18合肥學(xué)院胡學(xué)友99nm階有記憶離散信源，它符號(hào)發(fā)生的概率與前m個(gè)符號(hào)有關(guān)，因?yàn)樾旁捶?hào)集共有q個(gè)符號(hào)，則信源共有 個(gè)不同狀態(tài)，對(duì)應(yīng)于 個(gè)長(zhǎng)度為m的不同信源

49、符號(hào)序列。nm階有記憶離散信源可以用馬爾可夫鏈來(lái)描述mqmq2022-5-18合肥學(xué)院胡學(xué)友100n定義： m階有記憶離散信源數(shù)學(xué)模型由一組信源符號(hào)集和一組條件概率確定：112121211 2(/)mmqmmkkkkaaaXkkkkqp aa aa：， ， ， ， ，1121121(/) 11 2mmmqkkkkmkp aa aakkkq， ， ， ，滿(mǎn)足滿(mǎn)足稱(chēng)此信源稱(chēng)此信源X為為m階馬爾可夫信源階馬爾可夫信源2022-5-18合肥學(xué)院胡學(xué)友101n由于m階馬爾可夫信源在任時(shí)刻 ，符號(hào)發(fā)生的概率只與前m個(gè)符號(hào)有關(guān)，所以可設(shè)狀態(tài) 。由于 均可取 ，可得信源的狀態(tài)集信源處于狀態(tài) 時(shí)，再發(fā)出下一個(gè)符

50、號(hào)此時(shí)，符號(hào)序列 就組成了新的信源狀態(tài) 這時(shí)信源所處的狀態(tài)由 轉(zhuǎn)移到 。所以有l(wèi)12()mikkkEa aa12mkkk， ， ，1,2,q12,mJEE EEJq，iE1mka231mkkka aa231()mjkkkEa aaEjEiE2022-5-18合肥學(xué)院胡學(xué)友1021121(/)(/)(/)(/)(1 2,1 2)mmmkkkkkikijip aa aap aEp aEp EEkqi jJ， ， ，其中條件概率 表示任何時(shí)刻 信源處在狀態(tài) 時(shí)發(fā)出符號(hào) 的概率。而可任取 中的任一個(gè)，則簡(jiǎn)化成表示 1(/)mkip aEliE1mka1mka12,qa aaka2022-5-18合肥學(xué)

51、院胡學(xué)友103例題：例題：有二元二階馬爾可夫信源，符號(hào)0,1,條件概率定為：(0/00)(1/11)0.8pp(1/00)(0/11)0.2pp(0/01)(0/10)(1/01)(1/10)0.5pppp畫(huà)出狀態(tài)轉(zhuǎn)移圖，寫(xiě)出狀態(tài)一步轉(zhuǎn)移概率畫(huà)出狀態(tài)轉(zhuǎn)移圖，寫(xiě)出狀態(tài)一步轉(zhuǎn)移概率2022-5-18合肥學(xué)院胡學(xué)友10432234213(/)(/)(/)(/)0.5p EEp EEp EEp EE1144(/)(/)0.8p EEp EE2134(/)(/)0.2p EEp EE0.8 0.200000.5 0.5(/)0.5 0.500000.2 0.8jip E E2022-5-18合肥學(xué)院胡學(xué)

52、友1052.6.2馬爾可夫信源信源熵n根據(jù)定義式知在信源輸出符號(hào)序列和信源所處的狀態(tài)序列中，不同時(shí)刻的各維概率分布可能會(huì)不同，但在什么狀態(tài)下發(fā)什么符號(hào)和其概率以及從某一狀態(tài)轉(zhuǎn)移到另一狀態(tài)是唯一確定的。知在 下發(fā)一個(gè)符號(hào)的條件熵：iE)|(log)|()|(1ikqkikiEapEapEsXH2022-5-18合肥學(xué)院胡學(xué)友106n馬爾可夫信源各個(gè)之間有依賴(lài)性，且依賴(lài)關(guān)系也是無(wú)限的。因此馬氏信源熵也是平均符號(hào)熵的極限值。)(1lim)(21NNXXXHNXHH2022-5-18合肥學(xué)院胡學(xué)友107n不可約性： 對(duì)任意一對(duì)i和j，都存在n0步轉(zhuǎn)移概率即從si總是能夠到達(dá)sj ),(0)(00Ijinpnij，使得正整數(shù)進(jìn)入到0和2狀態(tài)后就無(wú)法返回到1狀態(tài)，這就不是不可約2022-5-18合肥學(xué)院胡學(xué)友108n非周期性 每一種狀態(tài)回到自己狀態(tài)的步數(shù)不存在大于1的公因子。021021210210021021210210P2022-5-18合肥學(xué)院胡學(xué)友109210210021021210210021021)2(PP(2)=pp 2022-5-18合肥學(xué)院胡學(xué)友110021021210210021021210210)3(