第二章 離散信源及其信息測度-01

第二章離散信源及其信息測度

第一節(jié)信源的數(shù)學(xué)模型及分類第二節(jié)離散信源的信息熵第三節(jié)信息熵的基本性質(zhì)第四節(jié)離散無記憶的擴展信源第五節(jié)離散平穩(wěn)信源第六節(jié)馬爾可夫信源第七節(jié)信源剩余度與自然語言的熵2.1信源的數(shù)學(xué)模型及分類

什么是信源？信源是信息的來源。實際通信中常見的信源有：語音、文字、圖像、數(shù)據(jù)……在信息論中，信源是產(chǎn)生消息（符號）、消息序列以及連續(xù)消息的來源。數(shù)學(xué)上，信源是產(chǎn)生隨機變量、隨機序列和隨機過程的源。2.1信源的數(shù)學(xué)模型及分類

隨機變量：離散型隨機變量：樣值離散連續(xù)型隨機變量：樣值連續(xù)

隨機矢量（隨機序列）：一系列時間上離散的隨機變量離散型隨機序列：樣值離散連續(xù)型隨機序列：樣值連續(xù)

隨機過程：一連串時間上連續(xù)的隨機變量離散型隨機過程：樣值離散連續(xù)型隨機過程：樣值連續(xù)2.1信源的數(shù)學(xué)模型及分類

信源的最基本特性：

統(tǒng)計不確定性運用概率論和隨機過程的理論來研究信息，這是香農(nóng)信息論的基本點。

本節(jié)要求：掌握信源的分類掌握各種信源的描述方法2.1信源的數(shù)學(xué)模型及分類

信源的分類：

按照消息在幅度上的分布情況：離散信源（離散平穩(wěn)信源、離散非平穩(wěn)信源）連續(xù)信源（連續(xù)平穩(wěn)信源、連續(xù)非平穩(wěn)信源）按照信源符號之間的關(guān)系：無記憶信源發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源有記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機變量描述

有些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個消息。例如，扔一顆質(zhì)地均勻的，研究其下落后，朝上一面的點數(shù)。每次試驗結(jié)果必然是1點、2點、3點、4點、5點、6點中的某一個面朝上。這種信源輸出消息是“朝上的面是1點”、“朝上的面是2點”、......、“朝上的面是6點”等六個不同的消息。每次試驗只出現(xiàn)一種消息，出現(xiàn)哪一種消息是隨機的，但必定是出現(xiàn)這六個消息集中的某一個信息，不可能出現(xiàn)這個集合以外的什么消息。這六個不同的消息構(gòu)成兩兩互不相容的基本事件集合，用符號

來表示這些消息，得這信源的樣本空間為符號集

。。由大量試驗結(jié)果證明，各消息都是等概率出現(xiàn)的，都等于

。2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機變量描述因此，可以用一個離散型隨機變量

來描述這個信源輸出的消息。這個隨機變量

的樣本空間就是符號集

，而

得概率分布就是各消息出現(xiàn)的先驗概率，為

。抽象后得到這個信源的數(shù)學(xué)模型為并滿足1、離散信源數(shù)學(xué)模型如下：

集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對應(yīng)消息的概率密度，各個消息的輸出概率總和應(yīng)該為1。例：投硬幣、書信文字、計算機的代碼、電報符號、阿拉伯?dāng)?shù)字碼等。2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機變量描述2、連續(xù)信源數(shù)學(xué)模型如下：2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機變量描述

每次只輸出單個符號（代碼）的消息，但消息的可能數(shù)目是無窮多個。例：語音信號、熱噪聲信號某時間的連續(xù)取值數(shù)據(jù)，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。

信源輸出的消息是時間上或空間上離散的一系列隨機變量，即為隨機矢量。此時，信源的輸出可用N維隨機矢量X=(X1X2…XN)來描述（N為有限正整數(shù)或可數(shù)的無限值）。這N維隨機矢量也稱為隨機序列。例：中文自然語言文字，圖像。比較：隨機變量和隨機矢量描述的消息信源：骰子中文自然語言文字消息舉例：“1點”“今天天氣晴朗”隨機變量隨機矢量（時間上離散的符號序列）樣本空間：{1點，2點，…，6點}所有漢字與標(biāo)點符號的集合2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機矢量描述2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機矢量描述

平穩(wěn)信源：隨機矢量的各維概率分布都與時間起點無關(guān)，也就是任意兩個不同時刻隨機矢量X的各維概率分布都相同。

離散平穩(wěn)信源：信源輸出的隨機序列X=(X1X2…XN)中，每個隨機變量Xi（i=1,2,…,N）都是取值離散的離散型隨機變量，即每個隨機變量Xi的可能取值是有限的或可數(shù)的，且隨機矢量X的各維概率分布都與時間起點無關(guān)。連續(xù)平穩(wěn)信源：信源輸出的消息可用N維隨機矢量X=(X1X2…XN)來描述，其中每個隨機變量Xi（i=1,2,…,N）都是取值連續(xù)的連續(xù)型隨機變量，即每個隨機變量Xi的可能取值是不可數(shù)的無限值，且隨機矢量X的各維概率分布都與時間起點無關(guān)。

非平穩(wěn)信源

2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機矢量描述

無記憶信源：信源先后發(fā)出的一個個符號彼此是統(tǒng)計獨立的。

發(fā)出單個符號的無記憶信源：符號ai

之間是無依賴的、統(tǒng)計獨立的。發(fā)出符號序列的無記憶信源：隨機變量Xi之間是無依賴的、統(tǒng)計獨立的。

由符號集

與概率測度

構(gòu)成一個概率空間我們稱由信源空間

描述的信源

為離散無記憶信源。這信源在不同時刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計獨立的。2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機矢量描述

有記憶信源：信源在不同時刻發(fā)出的符號之間是相互依賴的。發(fā)出符號序列的有記憶信源：隨機變量Xi之間是相互依賴的。例：漢字組成的中文序列，據(jù)語法、習(xí)慣、修辭和表達(dá)的制約所構(gòu)成的中文序列。

m階馬爾可夫信源：記憶長度為m+1的有記憶信源，即信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。可用馬爾可夫鏈來描述此信源：

設(shè)各時刻隨機變量

的取值為則描述隨機序列中各隨機變量之間依賴關(guān)系的條件概率為如果上述條件概率與時間起點

無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可夫信源。2.1信源的數(shù)學(xué)模型及分類總結(jié)：無記憶：消息序列中任意時刻的消息間是相互獨立的，與它前面的消息無關(guān)。平穩(wěn)：消息序列中任意時刻的消息都滿足同一概率分布。2.1信源的數(shù)學(xué)模型及分類

——信源輸出的消息用隨機過程描述

隨機波形信源（隨機模擬信源）：實際信源輸出的消息常常是時間和取值都是連續(xù)的?？傮w看來，信源輸出的消息是時間連續(xù)函數(shù)，同時在某一固定時間，它們的可能取值又是連續(xù)的和隨機的。例：語音信號、熱噪聲信號、電視圖像信號?？梢苑譃槠椒€(wěn)隨機過程和非平穩(wěn)隨機過程隨機過程的分析方法：隨機過程（采樣）->時間上的連續(xù)符號序列

內(nèi)容提要：根據(jù)香農(nóng)對于信息的定義，信息是一個系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，我們要研究的是信息的處理、傳輸和存儲，所以對于信息的定量計算是非常重要的。本節(jié)主要從通信系統(tǒng)模型入手，研究離散情況下信息的描述方法及定量計算。2.2離散信源的信息熵2.2離散信源的信息熵

——自信息問題：這樣的信源能輸出多少信息？每個消息的出現(xiàn)又?jǐn)y帶多少信息量呢？

對于一般實際輸出為單個符號的離散信源都可用一維隨機變量

來描述信源的輸出，信源的數(shù)學(xué)模型統(tǒng)一抽象為其中2.2離散信源的信息熵

——自信息例2.1假設(shè)一條電線上串聯(lián)了8個燈泡

如圖2.1所示。這8個燈泡損壞的可能性是等概率的，現(xiàn)假設(shè)這8個燈泡中有一個也只有一個燈泡已損壞，致使串聯(lián)燈泡都不能點亮。在未檢查之前，我們不知道哪個燈泡

已損壞，是不知的、不確定的。我們只有通過檢查，用萬用表去測量電路有否斷路，獲得足夠的信息量，才能獲知和確定哪個燈泡

已損壞。一般最簡單的方法是：

第一次用萬用表測量電路起始至中間端一段的阻值。若電路通表示損壞的燈泡在后端；若不通表示損壞的燈泡正處在前端。通過第一次測量就可消除一些不確定性，獲得一定的信息量。第一次測量獲得多少信息量呢？在未測量前，8個燈泡都有可能損壞，它們損壞的先驗概是

，這時存在的不確定性是先驗概率

的函數(shù)，用

表示。第一次測量后，可知4個燈泡是好的，另外4個燈泡中有一個是壞的，變成猜測4個燈泡中哪一個損壞的情況了，這時后驗概率變?yōu)?/p>

。2.2離散信源的信息熵

——自信息因此，尚存在的不確定性是

，

的函數(shù)。所獲得的信息量就是測量前后不確定性減少的量，即

第一次測量獲得的信息量：

第二次測量只需在4個燈泡中進行，仍用萬用表測量電路起始至2個燈泡的中端（假設(shè)第一次測量已知左側(cè)不通，若右邊不通也只需在后面測量），根據(jù)通與不通就可得知是哪兩個燈泡中有可能壞的。第二次測量后變成猜測2個燈泡中哪一個是損壞的情況了，這時后驗概率為

。因此，尚存在的不確定性是

，第二次測量所獲得的信息量：

第三次測量只需在2個燈泡中進行。圖2.2中假設(shè)第二次測量的結(jié)果是不通，也就知損壞的燈泡在最左邊二個之一。這樣，第三次測量如圖2.2所示，通過第三次測量完全消除了不確定性，能獲知哪個燈泡是壞了的。第三次測量后已不存在不確定性了，因此，尚存在的不確定性等于零。

第三次測量獲得的信息量：2.2離散信源的信息熵

——自信息一個事件的自信息量就是對其不確定性的度量。

對于隨機事件集

中的隨機事件

，其出現(xiàn)概率記為

，將兩個事件

同時出現(xiàn)的概率記為

，則

應(yīng)滿足：

2.2離散信源的信息熵

——自信息信息量直觀的定義為：收到某消息獲得的信息量=不確定性減少量將某事件發(fā)生所得到的信息量記為

，

應(yīng)該是該事件發(fā)生的概率的函數(shù)，即2.2離散信源的信息熵

——自信息

直觀地看，自信息量的定義應(yīng)滿足以下四點：2.2離散信源的信息熵

——自信息

綜合上述條件，將自信息量定義為：有兩個含義：1、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當(dāng)事件發(fā)生后，表示該事件所提供的信息量。2.2離散信源的信息熵

——自信息函數(shù)

。若取對數(shù)以2為底，計算得第一次測量獲得的信息量第二次測量獲得的信息量第三次測量獲得的信息量因此，要從8個等可能損壞的串聯(lián)燈泡中確定哪個燈泡是壞的，至少要獲得3個bit的信息量。否則，是無法確切知道哪個燈泡已壞了。2.2離散信源的信息熵

——自信息例若盒中有6個電阻，阻值為

的分別為2個、1個、3個，將從盒子中取出阻值為

的電阻記為事件

，則事件集

，其概率分布計算出各事件的自信息量列表如下：消息概率分布1/31/61/2自信息量例：設(shè)天氣預(yù)報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：

2.2離散信源的信息熵

——自信息2.2離散信源的信息熵

——聯(lián)合自信息和條件自信息二維聯(lián)合集

上元素

的聯(lián)合自信息量

定義為：在已知事件

條件下，隨機事件

發(fā)生的概率為條件概率

，條件自信息量

定義為：2.2離散信源的信息熵

——自信息例某住宅區(qū)共建有若干棟商品房，每棟有5個單元，每個單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若：1.甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？2.甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用

代表單元數(shù)，

代表戶號：（1）甲找到乙這一事件是二維聯(lián)合集

上的等概分布

，這一事件提供給甲的信息量為

（比特）（2）在二維聯(lián)合集

上的條件分布概率為

，這一事件提供給甲的信息量為條件自信息量

（比特）2.2離散信源的信息熵

——習(xí)題【2.1】同時扔一對均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉蠑?shù)之和為2”或“面朝上點數(shù)之和為8”或“兩骰子面朝上點數(shù)是3和4”時，試問這三種情況分別獲得多少信息量？【2.2】如果你在不知道今天是星期幾的情況下問你的朋友“明天星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的順序）？【2.3】居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？【2.4】中國國家標(biāo)準(zhǔn)局所規(guī)定的二級漢字共6763個。設(shè)每個漢字使用的頻度相等，求一個漢字所含的信息量。設(shè)每個漢字用一個16×16的二元點陣顯示，試計算顯示方陣所能表示的最大信息。顯示方陣的利用率是多少？自信息：某一信源發(fā)出某一消息所包含的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。所以自信息是一個隨機值，不能用來作為整個信源的測度。2.2離散信源的信息熵

——信息熵？如何對信源進行整體測度定義自信息的數(shù)學(xué)期望為信源的平均信息量。2.2離散信源的信息熵

——信息熵信息熵的單位取決于對數(shù)選取的底。（

進制單位/符號）

信息熵：從整個信源的統(tǒng)計特性來考慮，是從平均意義上來表征信源的總體信息測度的。對于某特定信源（概率空間給定），其信息熵是一個確定的數(shù)值。不同的信源因統(tǒng)計特性不同，其熵也不同。2.2離散信源的信息熵

——信息熵例.一個布袋內(nèi)放100個球，其中80個球為紅色，20球為白色。若隨機摸取一個球，猜測其顏色，求平均摸取一次所獲得的（自）信息量。解：設(shè)x1表示摸出的是紅球，x2表示摸出的是白球。隨機事件的概率空間為2.2離散信源的信息熵

——信息熵2.2離散信源的信息熵

——信息熵信息熵具有以下三種物理含義：第一，表示信源輸出后，每個消息（或符號）所提供的平均信息量。第二，表示信源輸出前，信源的平均不確定性。2.2離散信源的信息熵

——信息熵（比特/符號）（比特/符號）例如有兩個信源，其概率空間分別為：則信息熵分別為：可見，，即信源Y比信源X的平均不確定性大第三，表征變量的隨機性。變量Y：取值等概率，隨機性大變量X：取a1的概率大，隨機性小2.2離散信源的信息熵

——信息熵信息熵是描述隨機變量所需要的比特數(shù)。信息熵是對信源平均不確定性的描述。一般不等于接收端獲得的信息量。只有在無噪情況下，接收者才能正確無誤地接收到信源發(fā)出的消息，所獲得的平均信息量才等于信源的信息熵。2.2離散信源的信息熵

——信息熵注意例：天氣預(yù)報，有兩個信源則：說明第二個信源的平均不確定性更大一些。2.2離散信源的信息熵

——信息熵2.2離散信源的信息熵

——信息熵這個信息熵表示的就是在獲知哪個燈泡已損壞以前，關(guān)于哪個燈泡已損壞的平均不確定性。只有獲得3比特的信息量，才能完全消除平均不確定性。這種測量方法每次只能獲得1比特信息量，因此至少要測3次才能確定是哪個燈泡壞了。例2.3現(xiàn)進一步分析例2.1。在例2.1中8個燈泡構(gòu)成一信源

，每個燈泡損壞的概率都相等。這個信源為

其中

表示第

個燈泡已損壞的事件，信源

共有8種等可能發(fā)生事件?？捎嬎愕么诵旁吹男畔㈧?/p>

(比特/符號)2.2離散信源的信息熵

——信息熵

與信息量相對應(yīng)，熵分為無條件熵（我們平時簡稱“熵”）、條件熵、聯(lián)合熵，分別為：單符號離散信源熵H(X)

表示X發(fā)生的不確定度。離散信源的條件熵H(X/Y)

表示已知Y后，X的不確定度。離散信源的聯(lián)合熵H(XY)

表示XY同時發(fā)生的不確定度。2.2