信息論與編碼第二章-信源熵

1、2.1 單符號離散信源第2章：信源熵2.1.1 單符號離散信源的數(shù)學(xué)模型信源信宿干擾源信道噪聲（一）簡單通信系統(tǒng)模型一、信源的描述和分類連續(xù)信源離散信源 信源輸出的是一個個符號，這些符號的取值是有限的或可數(shù)的。 輸出連續(xù)消息的信源。可用隨 機過程來描述。（二）信源描述單符號離散信源多符號離散信源 只涉及一個隨機事件的 離散信源?？捎秒x散隨機變量來描述。 涉及多個隨機事件的離散信源?？捎秒S機矢量來描述。（三）離散信源分類1、單符號離散信源與多符號離散信源2、馬爾可夫信源（1）馬爾可夫過程馬爾可夫性（無后效性）：過程或系統(tǒng)在時刻t0所處的狀態(tài)為已知的條件下，過程在t t0時刻所處的狀態(tài)的條件分布與

2、過程t0之前所處的狀態(tài)無關(guān)。具有馬爾可夫性的隨機過程稱為馬爾可夫過程。特點：a、受時間影響的條件分布：分布情況與所處時刻及之前時刻有關(guān)；b、無后效性。2、馬爾可夫信源（2）馬爾可夫過程的概率分布a、用分布率描述馬爾可夫性2、馬爾可夫信源（2）馬爾可夫過程的概率分布b、轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣。C、平穩(wěn)性2、馬爾可夫信源（3）馬爾可夫信源 發(fā)出的消息可以看做馬爾可夫隨機過程的信源。舉例：只傳輸數(shù)0,1的串聯(lián)系統(tǒng)（0-1傳輸系統(tǒng)），如下圖所示：其中x0為第0級輸出，xn為第n+1級輸入，設(shè)一個單位時間傳輸一級，每級的傳真率為p，誤碼率為q=1-p，試分析此系統(tǒng)。12nx

3、0 x1xn-1x2xn信源離散信源連續(xù)信源單符號多符號隨機變量隨機矢量隨機過程3、信 源 分 類信源離散信源連續(xù)信源離散無記憶信源離散有記憶信源發(fā)出單個符號的無記憶信源信源分類3、分類發(fā)出多個符號的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源對于離散隨機變量X，取值于集合 單符號離散信源的數(shù)學(xué)模型為(2.1.2)規(guī)定集合中各個元素的概率為記(2.1.1)(,),(,),(),( , , , , )( 2121=niniapapapapaaaaXPXLLLL滿足其中)(iap（四）單符號離散信源的數(shù)學(xué)模型也稱P(ai)為先驗概率。 需要注意 的是：大寫字母X、Y、Z代表隨機變量

4、，指的是信源整體。帶下標(biāo)的小寫字母: 代表隨機事件的某一結(jié)果或信源的某個元素。兩者不可混淆。隨機變量X、Y分別取值于集合 聯(lián)合隨機變量 取值于集合 記2.1.2 自信息和信源熵 無條件概率、條件概率、聯(lián)合概率滿足下面一些性質(zhì)和關(guān)系：1234562.1.2 自信息和信源熵一、信息量信息量：信息的定量表示信源熵：物理熵：無序程度的度量，描述系統(tǒng)特征，如熱力學(xué)熵。信息熵：隨機事件的不確定度，描述系統(tǒng)的統(tǒng)計特征。信源熵：信源發(fā)出消息的不確定度。一、信息量自信息量 聯(lián)合 自信息量條件 自信息量信息量2、性質(zhì)：（1）非負；（2）（3）單調(diào)遞減函數(shù)；（4）隨機函數(shù)自信息量（一）1、定義：一個隨機事件發(fā)生某一

5、結(jié)果所帶來的信息量稱為自信息量，簡稱自信息。表示為概率對數(shù)的負值。3、單位單位 對數(shù)底 用途比特(bit) 2 奈特(nat) e 用于地理、地質(zhì)等領(lǐng)域笛特(det) 10三個信息單位之間的轉(zhuǎn)換關(guān)系如下： 二進制表達信息所需要的位數(shù)，用于電子通信等領(lǐng)域 例：二進制碼元（0,1），“0”與“1”出現(xiàn)的概率相等，均為1/2，則各自的信息量為：即從通信學(xué)的角度，一個以等概率出現(xiàn)的二進制碼元(0,1)所包含的自信息量為1bit。（二）不確定度1、表征隨機事件發(fā)生的不確定程度。2、隨機事件的不確定度與自信息量的關(guān)系：（1）兩者數(shù)值相同，單位相同。（2）意義不同：不確定度表征事件本身的性質(zhì)，自信息量表示事

6、件發(fā)生后觀察者得到的消除不確定度需要的信息量。1、聯(lián)合概率 (三)1）定義：多個事件擁有共同樣本空間的概率。2）記作：以事件A與事件B為例，聯(lián)合概率為P(AB)3）性質(zhì)：（1）數(shù)量上等于A、B交集的概率。（2）當(dāng)A、B相互獨立時，P(AB)=P(A)P(B)聯(lián)合自信息量 聯(lián)合自信息量 2、1）定義：聯(lián)合概率對數(shù)的負值。2）信源模型為：代入式(2.1.4)就有事件的聯(lián)合概率密度為：聯(lián)合自信息量為：3）性質(zhì):（1）非負性（2）當(dāng)事件相互獨立時，聯(lián)合自信息量為各自信息量之和。 條件自信息量 (四) 1、定義：條件概率對數(shù)的負值;2、事件ai以事件bj的發(fā)生為條件，其條件概率密度為p(ai/bj)，其

7、條件自信息量為：的變化而變化。自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式： 聯(lián)合自信息量和條件自信息也滿足非負和單調(diào)遞減性 ，同時，它們也都是隨機變量，其值隨著變量 二、 互信息量和條件互信息量由前可知， 離散信源X的數(shù)學(xué)模型為：后驗概率（一）信宿Y的數(shù)學(xué)模型為： 后驗概率：信宿接收符號消息 時信源發(fā)出符號消息為 的概率，即條件概率圖2.1.3簡單通信系統(tǒng)模型信源X信宿Y有擾信道C干擾源N互信息量（二）1、定義：后驗概率與先驗概率比值的對數(shù)。例2.1.2 某地二月份天氣構(gòu)成的信源為 一天有人告訴你：今天不是晴天。把這句話作為收到的消息后出現(xiàn)的概率變成后驗概率 收到 了。其中 兩個不確

8、定度之差，是不確定度被消除的部分，也就是從bj 得到的關(guān)于ai的信息量 。 互信息量的含義2、對于bj不知道的情況下，ai存在的不確定度已知bj條件下， ai仍然存在的不確定度發(fā)送接收？收到后仍有不確定性，但比原來的不確定性發(fā)生了一些變化。不確定性變化的部分，即是觀察者從接收端獲得的關(guān)于發(fā)送端的信息量。？發(fā)送接收發(fā)送后仍有不確定性，但比原來的不確定性發(fā)生了一些變化。不確定性變化的部分，即是觀察者從發(fā)送端獲得的關(guān)于接收端的信息量。通信前先驗不定度（聯(lián)合自信息量） 發(fā)送接收觀察通信系統(tǒng)：后驗不定度 通信后發(fā)送接收這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差互信息的性質(zhì)對稱性 當(dāng)X和Y相互獨

9、立時，互信息為0 互信息量可為正值或負值 1233、是，也是的已知條件。條件互信息量 (2.1.13)4、信源熵熵條件熵聯(lián)合熵三.信源熵 已知單符號離散無記憶信源的數(shù)學(xué)模型這里的符號是指代表信源整體的X信源熵平均不確定度一信源熵 1、定義：表征信源多個符號（各個離散消息）的平均不確定度。 2、公式：參考數(shù)學(xué)期望的性質(zhì)，用各符號的自信息量的加權(quán)平均表示總體的不確定性，數(shù)值上等于信源的平均信息量。（2.1.16）3、單位：比特/符號。信源的信息熵；香農(nóng)熵；無條件熵；熵函數(shù)；熵。4、注意：非負性兩種特殊情況：符號當(dāng)信源X只有一個符號，符號只有一個狀態(tài)，例2.1.3 繼續(xù)討論第一節(jié)的例題，即某地二月份

10、天氣構(gòu)成的信源為 由式(2.1.16)的定義，該信源的熵為5、信源熵和平均自信息量的異同。兩者數(shù)值相同含義不同。信源熵表征信源本身的性質(zhì)，表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息量，只有當(dāng)信源輸出符號并被收到才有意義。信源熵與信息量的比較 信源的平均不確定度消除不定度得到信息與信源是否輸出無關(guān) 接收后才得到信息 確定值 一般為隨機量 有限值 可為無窮大 熵 信息量6、總括起來，信源熵有三種物理含義：信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機性。123條件熵 H(X/Y)

11、(二)定義：聯(lián)合符號集合X,Y上的條件自信息量的數(shù)學(xué)期望。H(X/Y)表示給定接收集合Y觀察發(fā)送符合集合X的不確定度。 條件熵是一個確定值，表示信宿在收到Y(jié)后信源X仍然存在不確定性度。這是傳輸失真所造成的。 有時稱H(X/Y)為信道疑義度，也稱損失熵，稱條件熵H(Y/X)為噪聲熵。例：2.1.4聯(lián)合熵H(XY)（共熵） （三）定義：聯(lián)合符號集合XY上的每個元素對 自信息量的數(shù)學(xué)期望。H(XY)表示已接收符號集Y與發(fā)送符號集X的不確定度。熵的文氏圖表示2.1.1 單符號離散信源的數(shù)學(xué)模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性質(zhì)和定理非負性對稱性12定理 信源中包含n個不同離散消息時

12、，信源熵H(X)有 當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率全相等時，上式取等號。最大離散熵定理3證明：自然對數(shù)具有性質(zhì)圖2.1.4 自然對數(shù)的性質(zhì) 對于單符號離散信源，當(dāng)信源呈等概率分布時具有最大熵。例一般二元信源的熵如圖2.1.5時熵與概率的關(guān)系 雖然概率很小的事件出現(xiàn)后，給予接收者的信息量很大，但對熵的貢獻很小，可以忽略不計。擴展性4 確知信源的不確定度為零。 正因為具有可加性，可以證明熵的形式是唯一的。確定性可加性65 已知Y后，從中得到了一些關(guān)于X的信息，從而使X的不確定度下降。極值性7 f 的定義域中任意兩個矢量X、Y，若則稱 f 為嚴(yán)格上凸函數(shù) 設(shè)P、Q為兩組歸一的概率矢量。即上凸性8則有

13、（2.1.31）證明；幾何意義：P21嚴(yán)格上凸函數(shù)在定義域內(nèi)的極值必為極大值。2.1.4 加權(quán)熵的概念和基本性質(zhì)（選修）2.1.1 單符號離散信源的數(shù)學(xué)模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性質(zhì)和定理2.1.6 各種熵之間的關(guān)系2.1.5 平均互信息 香農(nóng)信息量和熵沒有考慮人的主觀因素，只是信息系統(tǒng)概率的函數(shù)，是“客觀信息”。在實際中，各種事件雖以一定的概率發(fā)生，但各種事件的發(fā)生對不同的人有不同的意義其重要性也因人而異。 為了把主觀價值和主觀意義反映出來，引入加權(quán)熵的概念。 若有信源構(gòu)造重量空間重量，即權(quán)重系數(shù)。消息的作為，確定一個非負的實數(shù) 對消息 , iiwa加權(quán)熵定義信息

14、的加權(quán)熵從某種程度上反映了人的主觀因素。例下雪加權(quán)熵的性質(zhì)： 信源平均每發(fā)出一個消息，總能提供一定的信息量，最差是零。非負性1連續(xù)性2 信源空間中概率分量的微小波動，不會引起加權(quán)熵值的很大變動。信源概率及相應(yīng)重量的順序任意互換時，加權(quán)熵的值不變。表明熵的總體特性。對稱性3均勻性4 等概信源的加權(quán)熵等于離散信源的最大熵與n個權(quán)重系數(shù)的算術(shù)平均值的乘積。等重性5 權(quán)重系數(shù)均為w的等重信源，其加權(quán)熵是信源熵的w倍。只包含一個實驗結(jié)果的事件是確定事件，沒有任何隨機性，盡管發(fā)生的事件是有效用或有意義的，仍然不能提供任何信息量 。確定性6非容性7可能的事件無意義，有意義的事件是不可能的，這時香農(nóng)熵不為0，

15、但加權(quán)熵為0。擴展性8 增加1個有效用或意義很大但是不可能發(fā)生的消息，其消息的加權(quán)熵值不變。線性疊加性9 當(dāng)一個信源發(fā)出的每一種不同消息的效用或意義同時擴大若干倍時，其加權(quán)熵也擴大同樣的倍數(shù)。加權(quán)熵的最大值10 香農(nóng)最大熵可看成是加權(quán)熵在權(quán)重系數(shù)都為1時的特例。2.1.4 加權(quán)熵的概念和基本性質(zhì)2.1.1 單符號離散信源的數(shù)學(xué)模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性質(zhì)和定理2.1.5 平均互信息量 互信息量是定量地研究信息流通問題的重要基礎(chǔ)，但是它只是研究了某個具體消息。所以，它不能從整體上作為信道中信息流通的測度。在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。作為一個測

16、度，應(yīng)該是確定值。一、平均互信息量的定義 如果將信道的發(fā)端和收端分別看成是兩個“信源”，則兩者之間的統(tǒng)計依賴關(guān)系即信道輸入和輸出之間的依賴關(guān)系，實際上描述了信道的特性。平均互信息一、平均互信息量的定義平均互信息量Y對X的定義：互信息量 在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值。也稱平均交互信息量或交互熵同理，X對Y的平均互信息：(2.1.44)(2.1.45)（二）意義：接收端接收到Y(jié)后能獲得的關(guān)于X的信息量。二、平均互信息的物理意義平均互信息量是收到Y(jié)前、后關(guān)于X的不確定度減少的量，即由Y獲得的關(guān)于X的平均信息量。1收到Y(jié)后對X仍然存在的不確定度，疑義度! I(Y;X)是發(fā)送 X 前、后，關(guān)于

17、Y的平均不確定度減少的量。2如果信道中不存在任何噪聲，發(fā)端和收端必存在確定的對應(yīng)關(guān)系，而現(xiàn)在不能完全確定對應(yīng)的輸出，因此，條件熵H(Y/X)稱為噪聲熵。3輸入X，輸出Y，即收發(fā)通信后，整個系統(tǒng)仍然存在的不確定度。通信前，整個系統(tǒng)的先驗不確定度 平均互信息量等于通信前、后，整個系統(tǒng)不確定度減少的量。 信息就是負熵從一個事件獲得另一個事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。例2.1.5信源X接入圖示信道0.980. 80. 20. 02123等概率信源的熵最大。4567三、平均互信息的性質(zhì)對稱性1因為 對于信道兩端的隨機變量X和Y，由Y提取關(guān)于X的信息量與從X中提取的關(guān)

18、于Y的信息量一樣。只是觀察者的立足點不同。非負性2當(dāng)且僅當(dāng)X和Y相互獨立，等式才成立。 從整體和平均的意義來看，信道每傳遞一條消息，總能提供一定的信息量，或者說接收端每收到一條消息，總能提取到關(guān)于信源X的信息量，最壞情況是0。非負性2結(jié)論：通過一個信道總能傳遞一些信息，最差的條件下，輸入輸出完全獨立，不傳遞任何信息，互信息等于0，但絕不會失去已知信息。極值性3非負 從一個事件提取關(guān)于另一個事件的信息量，至多是 另一個事件的熵。1當(dāng)隨機變量X、Y是確定的一一對應(yīng)時則兩個事件一一對應(yīng)時，從一個事件可以充分獲得關(guān)于另一個事件的信息，從平均意義上來說，代表信源的信息量可全部通過信道。2當(dāng)隨機變量X、Y

19、是相互獨立時兩事件互相獨立時，從一個事件不能得到關(guān)于另一個事件的任何信息。等效于信道中斷。結(jié)論：從一個事件提取關(guān)于另外一個事件的信息量，至多是另外一個事件的熵那么多，不會超過另一個事件自身所有的信息量。當(dāng)X和Y是一一對應(yīng)關(guān)系時（無擾信道），I(X;Y)=H(X),此時互信息達到最大值，代表信源的信息量可全部通過信道。當(dāng)X和Y相互獨立時（全損信道），H(X/Y)=H(X)， I(X;Y)=0達到最小值。凸函數(shù)性4 若固定信道，則平均互信息量是信源概率分布的函數(shù)。 若固定信源，則平均互信息量是信道傳遞概率的函數(shù)。平均互信息量是信源分布和信道傳遞概率分布的函數(shù)。上凸函數(shù)證（略）1例2.1.6二元信源

20、X 接入對稱信道求平均互信息 I(X；Y)0011 當(dāng)q不變即固定信道特性時，互信息量隨輸入概率分布變化的曲線。下凸函數(shù)2總結(jié)凸函數(shù)性：平均互信息量I(X;Y)是信源概率分布p(ai)的上凸函數(shù)；該性質(zhì)是研究信道容量的理論基礎(chǔ)。平均互信息量I(X;Y)是信道轉(zhuǎn)移概率分布p(bj/ai)的下凸函數(shù)。該性質(zhì)是研究率失真函數(shù)的理論基礎(chǔ)。圖2.1.8數(shù)據(jù)處理模型數(shù)據(jù)處理定理X YZ5定義上兩式相減得到：例題：p36 當(dāng)消息（信息、信號）經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。兩級串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會超過第1級信道輸入與輸出消息之間的

21、平均互信息量，也不會超過第2級信道輸入與輸出消息之間的平均互信息量。信息不增原理：當(dāng)對信號、數(shù)據(jù)或消息進行多級處理時，每處理一次，就有可能損失一部分信息，數(shù)據(jù)處理會把消息變成更有用的形式，但絕不會創(chuàng)造出新的信息。結(jié)論多次測量 多次測量的互信息量要比單次測量的互信息量大 證(略)2.1.6 各種熵之間的關(guān)系2.1.1 單符號離散信源的數(shù)學(xué)模型2.1.2 自信息和信源熵2.1.3 信源熵的基本性質(zhì)和定理2.1.4 加權(quán)熵的概念和基本性質(zhì)2.1.5 平均互信息X YX YX YX YX Y2.1 單符號離散信源2.2 多符號離散平穩(wěn)信源 單符號離散信源：單個符號表示信息； 多符號離散信源：實際信源輸

22、出的消息是時間上和空間上的一系列符號。通常一個消息序列的每一位出現(xiàn)那個符號都是隨機的，而且一般前后符號之間是有統(tǒng)計依賴關(guān)系的，這種信源稱為多符號離散信源。多符號離散平穩(wěn)信源隨機矢量中的各隨機變量的各維聯(lián)合概率分布均不隨時間的推移而變化，信源所發(fā)符號序列的概率分布與時間起點無關(guān)。2.2.1 序列信息的熵2.2.3 平穩(wěn)信源的熵和極限熵2.2.2 離散平穩(wěn)信源的數(shù)學(xué)模型2.2.4 馬爾可夫信源2.2.5 信源冗余度假定隨機變量序列的長度是有限的，信源輸出的消息序列中，符號之間無相互依賴關(guān)系，亦稱為單符號離散平穩(wěn)無記憶信源的擴展信源。序列長度就是擴展次數(shù)。單符號信源0，1經(jīng)過擴展，變成了：00，01

23、，10，11例2.2.1離散平穩(wěn)無記憶信源單符號離散信源為：擴展以后的信源為： 的概率是對應(yīng)的 個單符號信源消息的概率組成的序列的概率。因為信源時無記憶的，所以序列的概率為：根據(jù)信源的定義，擴展信源的熵可以證明，離散平穩(wěn)無記憶信源 的 次擴展信源的熵就是離散信源 熵的 倍。根據(jù)信源的定義，擴展信源的熵。單符號信源如下,求二次擴展信源熵擴展信源：例2.2.1計算擴展信源的熵時，不必構(gòu)造新的信源，可直接從原信源 X的熵導(dǎo)出，即一個離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于信源X熵的N倍。2.2.1 序列信息的熵2.2.3 平穩(wěn)信源的熵和極限熵2.2.2 離散平穩(wěn)信源的數(shù)學(xué)模型2.2.4 馬爾可夫信

24、源2.2.5 信源冗余度離散平穩(wěn)信源各維聯(lián)合概率均與時間起點無關(guān)的完全平穩(wěn)信源。聯(lián)合概率分布也與時間起點無關(guān)信源在任何時刻發(fā)出兩個符號的概率完全相同。如果各維聯(lián)合概率分布均與時間起點無關(guān)，即對兩個不同的時刻有：離散平穩(wěn)信源各維聯(lián)合概率均與時間起點無關(guān)的完全平穩(wěn)信源。2.2.1 序列信息的熵2.2.3 離散平穩(wěn)信源的熵和極限熵2.2.2 離散平穩(wěn)信源的數(shù)學(xué)模型2.2.4 馬爾可夫信源2.2.5 信源冗余度反映信源記憶特性的兩方法： 用聯(lián)合概率反映信源記憶特性發(fā)出符號序列的有記憶信源1用條件概率反映信源記憶特性2離散平穩(wěn)信源一般是指有記憶信源，即發(fā)出的各個符號之間具有統(tǒng)計關(guān)聯(lián)關(guān)系的一類信源。馬爾可

25、夫信源二維平穩(wěn)信源假設(shè)信源符號序列組之間相互獨立1相應(yīng)的概率分布為：X的數(shù)學(xué)模型為：且有： 兩個有相互依賴關(guān)系的隨機變量X1和X2所組成的隨機矢量X=X1 X2的聯(lián)合熵，等于第一個隨機變量X1的熵與第一個隨機變量已知的前提下，第二個隨機變量的條件熵H(X2/X1 )之和。 當(dāng)X1和X2取值于同一集合時，因為：二維離散平穩(wěn)有記憶信源熵小于等于二維平穩(wěn)無記憶信源的熵。一般地例2.2.2原始信源：條件概率：X1X2原始信源的熵：由條件概率確定的條件熵 條件熵比無條件熵減少了0.672，是由于符號之間的 依賴性所造成的。信源每發(fā)一個消息所提供的聯(lián)合熵 為： 則每個信源符號所提供的平均信息量 小于信源所

26、提供的平均信息量，這是由于符號之間的統(tǒng)計相關(guān)性所引起的。N維信源2 多符號離散平穩(wěn)有記憶信源X的熵是X起始時刻隨機變量X1的熵與各階條件熵之和。由于信源是平穩(wěn)的，這個和值與起始時刻無關(guān)。由平穩(wěn)性：平均符號熵 (即每發(fā)一個符號所提供的信息量)：極限熵：平均發(fā)出一個消息所提供的信息量： 當(dāng) 時，平均符號熵取極限值，稱為極限熵或極限信息量極限熵的存在性：當(dāng)離散有記憶信源是平穩(wěn)信源時，從數(shù)學(xué)上可以證明，極限熵是存在的，且等于關(guān)聯(lián)長度 時，條件熵 的極限值，即極限熵的計算：必須測定信源的無窮階聯(lián)合概率和條件概率分布，這是相當(dāng)困難的，有時為了簡化分析，往往用條件熵或平均符號熵作為極限熵的近似值。在有些情況

27、下，即使N值并不大，這些熵值也很接近 ，例如馬爾可夫信源。2.2.1 序列信息的熵2.2.3 平穩(wěn)信源的熵和極限熵2.2.2 離散平穩(wěn)信源的數(shù)學(xué)模型2.2.4 馬爾可夫信源的極限熵2.2.5 信源冗余度 輸出的符號序列中符號之間的依賴關(guān)系是有限的。即任意時刻信源符號發(fā)生的概率只與前面已經(jīng)發(fā)出的若干個符號有關(guān)，而與更前面發(fā)出的符號無關(guān)。 信源輸出的信息符號還與信源所處的狀態(tài)有關(guān)。1、信源的狀態(tài)和符號集與當(dāng)前輸出符號有關(guān)的前m個隨機變量序列(X1X2Xm)的某一具體消息。狀態(tài)設(shè)符號集為 和信源所處的狀態(tài)為S。信源所處的狀態(tài) ，信源每一狀態(tài)下可能輸出的符號每一時刻信源發(fā)出一個符號后，所處的狀態(tài)發(fā)生轉(zhuǎn)

28、移。信源輸出的隨機符號序列為： 信源所處的狀態(tài)序列為 設(shè)在第L 時刻信源所處狀態(tài)為 ，輸出符號 的概率給定，為：設(shè)信源在L的前一時刻(L-1)時刻處于 狀態(tài)，而在時刻L轉(zhuǎn)移到 狀態(tài)，轉(zhuǎn)移概率為：上式的條件概率稱為馬爾可夫鏈在時刻L的狀態(tài)一步轉(zhuǎn)移概率。時齊馬爾可夫鏈：狀態(tài)轉(zhuǎn)移概率與時間L無關(guān)，稱為時齊的。若信源輸出的符號和所處的狀態(tài)滿足下列兩個條件，則成為馬爾可夫信源：某時刻輸出符號概率僅與此刻信源所處的狀態(tài)有關(guān)；而與以前的狀態(tài)和以前的輸出符號均無關(guān)，即：不論何時，在狀態(tài) 下發(fā)生符號 的概率不變信源的下一個狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出唯一確定。即輸出符號 后，由狀態(tài) 變成狀態(tài)2、馬爾可夫信源定義

29、12狀態(tài)的一步轉(zhuǎn)移概率若信源處于某一狀態(tài) ，當(dāng)它發(fā)出一個符號后，它所處的狀態(tài)就變了，轉(zhuǎn)移到另一狀態(tài)；狀態(tài)的轉(zhuǎn)移依賴于發(fā)出的信源符號，任何時刻信源處在什么狀態(tài)，完全由前一時刻的狀態(tài)和發(fā)出的符號決定；因為條件概率 已給定，所以狀態(tài)轉(zhuǎn)移概率滿足一定概率分布，并可求出 3、結(jié)論馬爾可夫信源有記憶的特點：有限記憶長度； 發(fā)出一個個符號，每發(fā)一個符號狀態(tài)要發(fā)生轉(zhuǎn)移。信源輸出不僅與符號集有關(guān)，而且與狀態(tài)有關(guān)；123條件概率 狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移圖（馬爾可夫狀態(tài)圖/香農(nóng)線圖）4、描述方法例 2.2.3信源在si狀態(tài)下發(fā)符號的概率為s1s2s3s4s5狀態(tài)轉(zhuǎn)移概率為s1s2s3s4s5 信源輸出當(dāng)前符號僅與前面

30、m個符號有關(guān)的馬爾可夫信源。將這m個符號看做是信源在當(dāng)前時刻的狀態(tài)。5、m階馬爾可夫信源 一般有記憶信源發(fā)出的是有關(guān)聯(lián)性的各符號構(gòu)成的整體消息，即發(fā)出的是一組符號或者是符號序列，并用符號間的聯(lián)合概率描繪。 馬爾可夫信源用符號之間的轉(zhuǎn)移概率（條件概率）來描述這種關(guān)聯(lián)關(guān)系。馬爾可夫信源以轉(zhuǎn)移概率發(fā)出每個信源符號，轉(zhuǎn)移概率的大小取決于他與前面符號間的關(guān)聯(lián)性。 一個狀態(tài)就是一個m長序列，信源輸出依賴長度為m+1的隨機序列，因此可用轉(zhuǎn)移概率計算馬爾可夫信源的熵。P(si)是m階馬爾可夫信源穩(wěn)定后的狀態(tài)極限概率6、m階馬爾可夫信源的極限熵馬爾可夫信源穩(wěn)定后各狀態(tài)的極限概率m階馬爾可夫信源的極限熵等于m階條

31、件熵。一步轉(zhuǎn)移概率是給定的可唯一解。二階馬爾可夫信源00 01 10 11香農(nóng)線圖：例2.2.4極限熵為： 平穩(wěn)信源（如果不平穩(wěn)則先把其變成分段平穩(wěn)的）。121 馬爾可夫信源發(fā)出一個個符號，有限長度有記憶信源發(fā)出一組組符號； 一般有記憶信源用聯(lián)合概率描述符號間的關(guān)聯(lián)關(guān)系，馬爾可夫信源用條件概率（狀態(tài)轉(zhuǎn)移概率）來描述符號間的關(guān)聯(lián)關(guān)系；m階馬爾可夫信源與一般記憶長度為m的有記憶信源的區(qū)別：122 馬爾可夫信源記憶長度雖然有限，但依賴關(guān)系延伸到無窮遠。長為m的有限記憶信源符號間的依賴關(guān)系僅限于每組內(nèi)，組與組之間沒有依賴關(guān)系；3442.2.1 序列信息的熵2.2.3 平穩(wěn)信源的熵和極限熵2.2.2 離

32、散平穩(wěn)信源的數(shù)學(xué)模型2.2.4 馬爾可夫信源2.2.5 冗余度、自然語言及信息變差 實際信源可能是非平穩(wěn)的，極限熵不一定存在。假定它是平穩(wěn)的，并測得N足夠大時的條件概率PN (XN/X1X2XN-1)，然后計算HN(X)來近似極限熵。計算HN(X)十分困難。 進一步假設(shè)信源是m階馬爾可夫信源，信源熵用Hm+1來近似，則近似的程度取決于m。 m越大越接近實際信源。 記憶長度m不同，熵值就不同，意味著平均發(fā)一個符號就有不同的信息量， 記憶長度越長，熵越小 空格：0.2 E：0.105 T：0.072 O：0.0654 A：0.063 N：0.059 I：0.055 R：0.054 S：0.052

33、H：0.047 D：0.035 L：0.029 C：0.023 F、U：0.025 M：0.021 P：0.175 Y、W：0.012 G：0.011 B：0.0105 V：0.008 K：0.003 X：0.002 J、Q：0.001 Z：0.001英文各個字符的統(tǒng)計概率如下：例2.2.5英文字母出現(xiàn)概率統(tǒng)計信源的最大熵為對于英語信源：不考慮符號間依賴關(guān)系： 按表的概率分布，隨機選擇英語字母得到一個信源輸出序列為: AI-NGAE-ITE-NNR-ASAVE-OTE-BAINTHA-HYROO-FOER 為了進一步逼近實際，把英語信源近似看做1階，2階馬爾可夫信源。容易推知，依賴關(guān)系越多，及

34、馬爾可夫信源的階數(shù)越高，輸出的序列越接近實際情況。信息熵的相對率：信源的冗余度：信息變差：冗余度與傳輸效率冗余度與傳輸可靠性冗余度與英語學(xué)習(xí)?2.1 單符號離散信源2.3 連續(xù)信源2.2 多符號離散信源一、連續(xù)信源1. 連續(xù)信源的概念t 時刻的輸出值 x滿足概率密度函數(shù) 連續(xù)信源輸出的是連續(xù)(型)隨機變量。指輸出的消息在時間和取值上都連續(xù)的信源。 具體地說，連續(xù)信源在“任何”時刻都按照某種概率在一定的取值范圍內(nèi)輸出“任何”值。一、連續(xù)信源2. 連續(xù)信源的特點 從數(shù)學(xué)的角度來看，連續(xù)信源的輸出結(jié)果是以時間 t 為 從消息的角度來看，連續(xù)信源在任一時刻都發(fā)送消息，從自變量的函數(shù)該函數(shù)時間連續(xù)、取值

35、連續(xù)。 此外，連續(xù)信源在某一時刻的取值也可以分為與前面的且消息的狀態(tài)數(shù)為無窮大。取值無關(guān)或者相關(guān)兩種情況。3、連續(xù)信源的分類連續(xù)信源平穩(wěn)信源非平穩(wěn)信源2.3.1 連續(xù)信源的熵2.3.3 連續(xù)信源熵的性質(zhì)及 最大連續(xù)熵定理2.3.2 幾種特殊連續(xù)信源的熵2.3.4 熵功率相應(yīng)地，連續(xù)隨機變量的信息度量可用離散隨機變量1. 連續(xù)信源的離散化(逼近)2.3.1 連續(xù)信源的熵為了參照前面已有的關(guān)于離散隨機變量的討論，對于連續(xù)隨機變量，將用離散隨機變量來逼近。認(rèn)為是離散變量的極限情況。的信息度量來逼近。即連續(xù)變量可2、單變量連續(xù)信源的數(shù)學(xué)模型為：并滿足如圖，2.3.1記則 X 的取值處于第 i 個區(qū)間

36、的概率 為：3. 連續(xù)信源的離散化推導(dǎo)2.3.1 連續(xù)信源的熵將連續(xù)信源 X 的取值區(qū)間 n 等份，其中，(積分中值定理)且滿足2. 連續(xù)信源的離散化推導(dǎo)2.3.1連續(xù)信源的熵 由此，連續(xù)信源X就可用取值為 (i=1,2,n)的離散變量來近似，連續(xù)信源X被量化為離散信源： 離散信源 的熵為：連續(xù)信源的熵分析2.3.1連續(xù)信源的熵當(dāng) 即 時，隨機變量 X ；離散隨機變量 將趨于連續(xù)可以作為連續(xù)信源的信息熵。因此，離散信源 的熵 的極限值3. 連續(xù)信源的熵2.3.1連續(xù)信源的熵分析(1) 連續(xù)信源的絕對熵定義為上式的第一項一般為定值，第二項將趨于無限大。定義(2) 連續(xù)信源的相對熵定義為記為即連續(xù)信源的相對熵簡稱為連續(xù)信源的熵。由于連續(xù)信源的狀態(tài)數(shù)為無窮大，若假定等概率，不確定度將為無窮大。(1) 連續(xù)信源的絕對熵為無窮大4、關(guān)于連續(xù)信源熵的幾點說明2.3.1連續(xù)信源的熵?zé)o窮大。在實際問題中，常常計算的是熵的差值，如平均互信此時，絕對熵中的無限大項將互相抵消掉。(2) 用連續(xù)信源的相對熵來定義連續(xù)信源的熵 可以和離散信源的熵在形式上統(tǒng)一，且便于計算；息等。因此，連續(xù)信源的絕對熵為求均勻分布的連續(xù)信源熵例2.3.1連續(xù)信源熵 相對熵離散信源熵 絕對熵5、其他連續(xù)熵的定義：2.3.1 連續(xù)信源的