第二章信源及信源的熵

復(fù)習(xí)1、信息的定義：

信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的形式。

是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。

2、信息論的定義

關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)理論，是研究信息的度量、發(fā)送、傳遞、交換、接收和儲(chǔ)存的一門新興學(xué)科。它為各種具體的信息技術(shù)提供理論依據(jù)，而信息技術(shù)則以此為根據(jù)去研究如何實(shí)現(xiàn)、怎樣實(shí)現(xiàn)的問題。3、信息、消息和信號(hào)的關(guān)系：消息是含有信息的語言,文字和圖像等,是具體的,它承載信息.信號(hào)是消息的物理體現(xiàn)，是信息的載體。14、數(shù)字通信系統(tǒng)的模型信源編碼器信道干擾源信宿解碼器編碼器：把消息變成適合信道傳輸?shù)男盘?hào)。

信源編碼：對(duì)信源輸出的消息（符號(hào)）進(jìn)行變換和處理，提高信息傳輸效率。

信道編碼：對(duì)信源編碼器的輸出進(jìn)行檢錯(cuò)和糾錯(cuò)處理，提高信息傳輸?shù)目煽啃孕旁矗弘x散信源、連續(xù)信源。

核心問題是信息的度量。信道：傳遞信息的通道。信道的核心問題是信道容量的大小通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息,實(shí)現(xiàn)這一目標(biāo)的主要方法是編碼。---香農(nóng)2第二章信源及信源熵第一節(jié)信源的描述和分類第二節(jié)離散信源熵和互信息第三節(jié)連續(xù)信源的熵和互信息第四節(jié)離散序列信源的熵第五節(jié)

冗余度3第一節(jié)信源的描述和分類一、消息的統(tǒng)計(jì)特征

香農(nóng)信息論運(yùn)用概率論和隨機(jī)過程的理論來研究信息。有必要首先了解消息的統(tǒng)計(jì)特征。

信源發(fā)出的消息，表現(xiàn)形式是符號(hào)或符號(hào)序列。符號(hào)的出現(xiàn)是隨機(jī)的，事先無法確定的，因而符號(hào)的出現(xiàn)（即信源發(fā)出某一消息）才提供一定的信息。否則，若符號(hào)的出現(xiàn)是預(yù)先能確知的，就不能提供任何信息。舉例1：隨機(jī)取球試驗(yàn)袋子里有100個(gè)球，其中80個(gè)紅球，2個(gè)白球。每次取一個(gè)球，記錄顏色，放回。試驗(yàn)即信源，發(fā)出兩種消息：紅球，白球。顯然，兩種消息出現(xiàn)的概率分別是0.8和0.2。4舉例2：擲骰子試驗(yàn)試驗(yàn)即信源，發(fā)出六種消息：“朝上的面是n點(diǎn)”,n=1,2…6。顯然，每種消息出現(xiàn)的概率都是1/6。舉例3：隨機(jī)取球試驗(yàn)袋子里有100個(gè)球，全是紅球。隨機(jī)取球，記錄顏色，放回。幾種消息？概率？提供多少信息？初步理解為什么香農(nóng)從隨機(jī)不確定性的角度研究信息二、用概率空間來描述信源（信源的數(shù)學(xué)模型）信源發(fā)出的消息具有隨機(jī)性，因而可以用一個(gè)隨機(jī)變量X來描述消息。每個(gè)消息都有其統(tǒng)計(jì)概率，因而可以用所有消息的概率（構(gòu)成概率空間）來描述信源。

如：例2的隨機(jī)取球試驗(yàn).6種消息分別用符號(hào)a1,a2…a6表示。隨機(jī)變量X的樣本空間為符號(hào)集A={a1,a2,a3,a4,a5,a6}.各符號(hào)的先驗(yàn)概率：P(X=ai)=P(ai)=1/6,i=1,2…6.該信源可以描述為：5三、信源的分類1、按照信源發(fā)出的消息在幅度上的分布情況分類：{信源離散信源連續(xù)信源6（1）離散信源

離散信源是指發(fā)出在幅度上離散分布的消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號(hào)都是離散消息?；颍合?shù)量有限的信源。

或：可以用離散型隨機(jī)變量及其概率空間來描述的信源

舉例：擲骰子試驗(yàn)。隨機(jī)變量X為離散型隨機(jī)變量。

若把消息變換成信號(hào)，用六種幅度的電脈沖表示6種符號(hào)，輸出幅度上離散的信號(hào)。（2）連續(xù)信源

連續(xù)信源是指發(fā)出在幅度上連續(xù)分布的消息的信源，如語言、圖像、圖形等都是連續(xù)消息。或：消息數(shù)量無限的信源。

或：可以用連續(xù)型隨機(jī)變量及其概率空間來描述的信源

舉例：隨機(jī)取電池試驗(yàn)（測(cè)量電壓值）。該如何描述此信源？

72、按照信源發(fā)出的符號(hào)之間的關(guān)系分類：

任意連續(xù)信源的數(shù)學(xué)模型為{信源無記憶信源有記憶信源（1）單符號(hào)信源和符號(hào)序列信源前述各離散或連續(xù)信源都是單符號(hào)信源----信源（試驗(yàn)）每次發(fā)出一個(gè)符號(hào)（消息的長(zhǎng)度為1）。更多信源輸出的消息需要用多個(gè)符號(hào)（即符號(hào)序列）來表示，如：隨機(jī)取球試驗(yàn)，一次取兩個(gè)球。多少種消息？83種消息：“紅紅”、“白白”、“紅白或白紅”；用符號(hào)序列表示個(gè)消息。這種信源稱為符號(hào)序列信源。（2）符號(hào)序列信源用多維隨機(jī)變量（隨機(jī)矢量或隨機(jī)序列）及其概率空間來描述。如上面的離散符號(hào)序列信源：

9

離散無記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒有統(tǒng)計(jì)關(guān)聯(lián)。

離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。

（3）符號(hào)序列信源分為無記憶信源和有記憶信源自己舉例：？如：隨機(jī)取球自己分析英語信源的記憶性3、連續(xù)信源的進(jìn)一步討論

（1）時(shí)間連續(xù)、幅度連續(xù)信源（隨機(jī)波形信源）

人就是一種隨機(jī)波形信源。語音是時(shí)間和幅度都連續(xù)的消息。由換能器（如：話筒）轉(zhuǎn)換成模擬電信號(hào)，稱為語音信號(hào)。它是隨機(jī)信號(hào)（隨機(jī)過程）。因而隨機(jī)波形信源用隨機(jī)過程來描述。

10補(bǔ)充內(nèi)容：隨機(jī)過程定義：

設(shè)隨機(jī)試驗(yàn)E的可能結(jié)果為，試驗(yàn)的樣本空間S為{x1(t),x2(t),…xi(t),…}，i為正整數(shù)。xi(t)是第i個(gè)樣本函數(shù)（又稱為第i個(gè)實(shí)現(xiàn)），每次試驗(yàn)之后，隨機(jī)地取樣本空間S中的某一個(gè)樣本函數(shù)，于是稱為隨機(jī)函數(shù)。當(dāng)t為時(shí)間變量時(shí)，稱為隨機(jī)過程。注意：與隨機(jī)變量的區(qū)別。隨機(jī)過程舉例：通信機(jī)輸出的噪聲。11平穩(wěn)隨機(jī)過程過程的統(tǒng)計(jì)特性不隨時(shí)間的推移而變化。

X(t)的聯(lián)合概率密度函數(shù)：

則稱該隨機(jī)過程為嚴(yán)(格)平穩(wěn)隨機(jī)過程。

寬（廣義）平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)均值=時(shí)間均值，統(tǒng)計(jì)自相關(guān)=時(shí)間自相關(guān)*（補(bǔ)充完畢）（2）時(shí)間離散、幅度連續(xù)信源

時(shí)間離散、幅度連續(xù)信號(hào)。

抽樣器對(duì)后面的電路而言，就是時(shí)間離散、幅度連續(xù)信源。12一、消息的統(tǒng)計(jì)特征二、用概率空間來描述信源（信源的數(shù)學(xué)模型）三、信源的分類補(bǔ)充內(nèi)容：隨機(jī)過程13（1）一種離散有記憶信源

輸出符號(hào)序列，符號(hào)之間有統(tǒng)計(jì)依賴性。但依賴性是有限的。某時(shí)刻輸出的符號(hào)只與前面的m個(gè)符號(hào)有關(guān)，而與更前面的那些符號(hào)無關(guān)，此時(shí)稱信源的記憶長(zhǎng)度為m+1,這樣的信源叫做m階馬爾可夫信源。可以用信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的條件概率來反映記憶特征。符號(hào)序列中各符號(hào)的聯(lián)合概率為：

4、馬爾可夫信源14m=1，1階的馬爾可夫信源：某時(shí)刻輸出的符號(hào)只與前面的1個(gè)符號(hào)有關(guān)，而與更前面的那些符號(hào)無關(guān)。（2）馬爾可夫信源用馬爾可夫鏈描述

其實(shí)，馬爾可夫信源輸出的符號(hào)序列就是數(shù)學(xué)上的馬爾可夫鏈。馬爾可夫鏈?zhǔn)且环N馬爾可夫過程。

15（3）馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率狀態(tài)：m階的馬爾可夫信源在某時(shí)刻輸出的符號(hào)取決于之前輸出的m個(gè)符號(hào)。就定義這m個(gè)符號(hào)為此時(shí)刻的狀態(tài)。16信源在某時(shí)刻的輸出符號(hào)與此時(shí)刻所處的狀態(tài)有關(guān)：狀態(tài)轉(zhuǎn)移概率：17齊次馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率：齊次：狀態(tài)轉(zhuǎn)移概率與時(shí)間無關(guān)（4）馬爾可夫信源的狀態(tài)轉(zhuǎn)移矩陣：轉(zhuǎn)移概率構(gòu)成的矩陣18（5）C-K方程（Chapman-Kormotopob,切普曼-柯爾莫郭洛夫)轉(zhuǎn)移概率之間的關(guān)系：證明：（略）參考書1理解：全概率公式對(duì)于齊次鏈，方程為：證明：用C-K方程證明。思路：（6）無條件概率

：除了狀態(tài)轉(zhuǎn)移概率（條件概率），還關(guān)心某時(shí)刻處于各狀態(tài)的概率。與初始狀態(tài)有關(guān)（遍歷的馬氏鏈則無關(guān)）19（7）遍歷的馬爾可夫鏈及其穩(wěn)態(tài)分布：遍歷的馬爾可夫鏈：理解：無論從哪個(gè)狀態(tài)開始，經(jīng)過多次（m次）轉(zhuǎn)移，到達(dá)任意另一個(gè)狀態(tài)的概率都不為0，即隨著馬氏信源的不斷輸出，一定經(jīng)歷過所有狀態(tài)。遍歷的馬爾可夫鏈，其具有漸近性：20結(jié)論：k趨于無窮大時(shí)，矩陣的每一行趨于相等。無論從哪個(gè)狀態(tài)開始，經(jīng)過若干步轉(zhuǎn)移，到達(dá)任意另一個(gè)狀態(tài)的概率都相等.即存在極限值。此時(shí)，馬爾可夫鏈處于某種狀態(tài)的概率不再隨時(shí)間而變化，稱它達(dá)到平穩(wěn)，呈穩(wěn)態(tài)分布。21遍馬氏鏈的穩(wěn)態(tài)概率分布：22（8）馬爾可夫鏈遍歷性的判斷定理：一個(gè)不可約、非周期的有限狀態(tài)的馬爾可夫鏈一定是遍歷的（9）馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖：不可約性：在《隨機(jī)過程》中，用子集來分析設(shè)C是狀態(tài)空間的一個(gè)子集，如果從C內(nèi)任意狀態(tài)i不能到達(dá)C外的任意狀態(tài)，則稱C為閉集。如：下圖中(S2,S3)構(gòu)成一個(gè)閉集。整個(gè)狀態(tài)空間也是一個(gè)閉集（S1,S2,S3)。23如：右圖中(S2,S3)構(gòu)成一個(gè)閉集。整個(gè)狀態(tài)空間也是一個(gè)閉集（S1,S2,S3)如果除了整個(gè)狀態(tài)空間外，沒有別的閉集。則稱這個(gè)馬氏鏈?zhǔn)遣豢杉s的。24周期性：定義：如果有正整數(shù)d,d>1。只有當(dāng)n=d,2d,3d,…時(shí)，或者說：當(dāng)n不能被d整除時(shí)，

。則稱i狀態(tài)是具有周期性的狀態(tài)，該馬氏鏈為周期性的馬氏鏈。非周期性：25（10）馬爾可夫鏈信源舉例：例2-1相對(duì)編碼器輸出序列是不是馬爾可夫鏈？1階的馬爾可夫鏈r=2時(shí)考察各時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣

：1階，兩個(gè)狀態(tài)（0和1）26齊次的馬爾可夫鏈？狀態(tài)轉(zhuǎn)移圖：遍歷？穩(wěn)態(tài)分布：27經(jīng)過長(zhǎng)時(shí)間轉(zhuǎn)移，馬爾可夫信源進(jìn)入平穩(wěn)狀態(tài)，各狀態(tài)的概率不再隨時(shí)間而改變，都為1/2。例2-22階的馬爾可夫鏈。X∈{0,1},即：二進(jìn)制馬氏信源。已知條件概率P(aj|Si)，求狀態(tài)轉(zhuǎn)移概率。判斷遍歷性。若是遍歷的，求穩(wěn)態(tài)分布，并求穩(wěn)態(tài)時(shí)各個(gè)符號(hào)出現(xiàn)的概率。解：起始狀態(tài)符號(hào)01000110111/21/31/41/51/22/33/44/5某狀態(tài)下某符號(hào)出現(xiàn)的概率，矩陣表示如下：由此求出狀態(tài)轉(zhuǎn)移概率28方法：狀態(tài)為S0=00時(shí)，若輸出符號(hào)1，到達(dá)狀態(tài)S1=01,此概率為1/2狀態(tài)轉(zhuǎn)移圖：29穩(wěn)態(tài)分布：解得：w0=3/35w1=6/35w2=6/35w3=4/7穩(wěn)態(tài)時(shí)，符號(hào)0和符號(hào)1出現(xiàn)的概率30復(fù)習(xí)：馬爾可夫信源（2）馬爾可夫信源用馬爾可夫鏈描述（1）馬爾可夫性（3）馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率31（4）馬爾可夫信源的狀態(tài)轉(zhuǎn)移矩陣（5）C-K方程

（轉(zhuǎn)移概率之間的關(guān)系）對(duì)于齊次鏈，（6）無條件概率

：某時(shí)刻處于各狀態(tài)的概率（7）遍歷的馬爾可夫鏈用狀態(tài)轉(zhuǎn)移圖判斷：一個(gè)不可約、非周期的有限狀態(tài)的馬爾可夫鏈一定是遍歷的32遍歷的馬爾可夫鏈，其具有漸近性，穩(wěn)態(tài)分布概率：（8）馬爾可夫鏈信源舉例：例2-1相對(duì)編碼器例2-22階的馬爾可夫鏈。X∈{0,1},即：二進(jìn)制馬氏信源。已知條件概率P(aj|Si)，求狀態(tài)轉(zhuǎn)移概率。判斷遍歷性。若是遍歷的，求穩(wěn)態(tài)分布，并求穩(wěn)態(tài)時(shí)各個(gè)符號(hào)出現(xiàn)的概率。33第二節(jié)離散信源熵和互信息主要內(nèi)容：?jiǎn)畏?hào)離散信源的信息度量。包括：每個(gè)符號(hào)的自信息量，平均信息量（熵），互信息。自信息量定義：一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值（或?qū)Ω怕实牡箶?shù)取對(duì)數(shù)）。即:34單位：若以2為對(duì)數(shù)底，-lbP(xi)單位為比特（bit）；若取自然對(duì)數(shù)，-lnP(xi)單位為奈特（nat）；若以10為對(duì)數(shù)底，單位為笛特（det）。三個(gè)信息量單位之間的轉(zhuǎn)換關(guān)系如下：

1nat＝log2e=l.433bit，ldet＝log210=3.322bit35舉例2：一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）兩符號(hào)的自信息量為：I（0）=I（1）=-log2（1/2）=lb2=1bit

例題2-3：英文字母中“e”出現(xiàn)的概率為0.105，I（e）=-log20.105=3.25bit自信息量I(xi)的性質(zhì)：條件自信息量：36自信息量和不確定度2、離散信源的熵定義：隨機(jī)事件的自信息量在數(shù)量上等于它的不確定度。兩者的單位相同，但含義卻不相同。具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的隨機(jī)特性。自信息量是在該事件發(fā)生后給予觀察者的信息量。所以：I(xi)表示符號(hào)發(fā)出前的不確定度；又表示符號(hào)發(fā)出后所攜帶的信息量。37所以：H(X)表示信源（輸出前的）不確定度；又表示輸出后符號(hào)的平均信息量。單位：以2為底時(shí)，單位為bit/符號(hào)38物理含義：信源輸出前的平均不確定度為1.5/符號(hào)；信源輸出后平均每個(gè)消息提供的信息量為1.5bit/符號(hào)；表明和區(qū)分信源中的每個(gè)符號(hào)需要用1.5bit。例題2-6：電視屏上約有

500×600=3×105個(gè)格點(diǎn)，按每點(diǎn)有

10個(gè)不同的灰度等級(jí)考慮，則共能組成n=103x10個(gè)不同的畫面。按等概率1/103x10計(jì)算，平均每個(gè)畫面可提供的信息量為：39例題2-7該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)發(fā)生的概率分別為p和q，p＋q=l。即信源的概率空間為：

則二元信源熵為：

H（X）=-plogp-qlogq

=-plogp-(1-p)log(1-p)=H(p)

從圖中看出，如果二元信源的輸出符號(hào)是確定的，即p=1或q=1，則該信源不提供任何信息。極值點(diǎn)為p=1/2,當(dāng)符號(hào)0和1以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，lb2=1（bit/符號(hào)）。

結(jié)論推廣：n個(gè)符號(hào)組成的離散信源,最大熵為lbn(bit/符號(hào)）40例題2-4一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。解:信源模型為

1）如果摸出的是紅球，則獲得的信息量是

I（x1）=-lbp(x1)=-lb0.8bit2)如果摸出的是白球，則獲得的信息量是

I（x2）=-lbp(x2)=-lb0.2bit3)

如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取n次，紅球出現(xiàn)的次數(shù)為np(x1)次，白球出現(xiàn)的次數(shù)為np(x2)次。隨機(jī)摸取n次后總共所獲得的信息量為

np(x1)I(x1)+np(x2)I(x2)41條件熵：H(X|Y)I(x|y)兩個(gè)信源X，Y。符號(hào)集分別為X={x1,x2…xi..xn}和Y={y1,y2…yj..yn}。兩個(gè)信源發(fā)出符號(hào)時(shí)并不相互獨(dú)立。在符號(hào)yj出現(xiàn)的條件下，符號(hào)xi出現(xiàn)的概率為P(xi|yj)。條件自信息量為：I(xi|yj)=-logP(xi|yj)①在給定符號(hào)yj的條件下，信源X的條件熵H(X|yj)為:42②在給定信源Y(即各符號(hào)yj

)的條件下，信源X的條件熵為:結(jié)論：條件熵H(X|Y)是條件自信息量I(xi|yj)在聯(lián)合符號(hào)集(X,Y)上的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值③在給定信源X(即各符號(hào)xi)的條件下，信源Y的條件熵為:聯(lián)合熵：H(X,Y)聯(lián)合熵是聯(lián)合符號(hào)集(X,Y)上的每對(duì)符號(hào)(xi,yj)的聯(lián)合自信息量I(xi,yj)的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。43

H(XY)＝H(X)＋H(Y|X)H(XY)＝H(Y)＋H(X|Y)

聯(lián)合熵H(X,Y)與熵H(X)及條件熵H(X|Y)之間的關(guān)系

理解和記憶：從信息的可加性角度來理解。兩個(gè)信源的聯(lián)合熵H(X,Y)一定大于其中一個(gè)信源的熵。它等于一個(gè)信源的熵再加上給定該信源后另一個(gè)信源的熵。當(dāng)二者相互獨(dú)立時(shí)，H(Y|X)=H(Y)，聯(lián)合熵就等于它們熵的和，H(XY)＝H(X)＋H(Y)4445例題2.8二元信源X,

經(jīng)過離散無記憶信道后，輸出（構(gòu)成一個(gè)信源）用Y表示。符號(hào)轉(zhuǎn)移矩陣為：試求:H(X),H(Y|X),H(X,Y),H(Y),H(Y|X)

解：（1）據(jù)定義：（2）已知P(yj|xi),只要求出P(xi,yj)，即可求得H(Y|X)46（3）H(Y,X)=H(X)+H(Y|X)=0.92+0.88=1.8(bit/符號(hào)）（4）已知P(xi,yj),可求出P(yj)，從而求得H(Y)47（5）H(X|Y)=？代關(guān)系式：H(X|Y)=H(Y,X)-H(Y)=1.8-1.47=0.33(bit/符號(hào))也可以先求出P(xi|yj),然后由定義計(jì)算H(X|Y).48例題2.9二進(jìn)制通信系統(tǒng)使用符號(hào)0和1。由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼。用符號(hào)表示一下事件：u0=1個(gè)0發(fā)出，u1=1個(gè)1發(fā)出;v0=1個(gè)0收到，v1=1個(gè)1收到。且給定下列概率P(u0)=1/2,P(v0|u0)=3/4,P(v0|u1)=1/2①已知發(fā)出1個(gè)0，求收到符號(hào)后得到的信息量。②已知發(fā)出的符號(hào)，求收到符號(hào)后得到的信息量。③已知發(fā)出和收到的符號(hào)，求能得到的信息量。④已知收到的符號(hào)，求被告知發(fā)出的符號(hào)得到的信息量。49解：可以理解為兩個(gè)信源之間的關(guān)系。發(fā)送端為信源U,接收端為信源V.發(fā)送0，接收到的符號(hào)可能為0也可能為1。所以第1問求給定u0條件，信源V的平均信息量H(V|u0)。50513、互信息回顧：消息發(fā)出前，不確定度為I(xi);

消息發(fā)出后，提供的信息量為I(xi);同理：在例2.8中，信源不確定度為H(X)=0.92bit/符號(hào)；條件熵H(X|Y)=0.33bit/符號(hào)。接收端收到消息后,不確定度沒有被完全消除，仍存在的不確定度(又叫疑義度)為H(X|Y)=0.33bit/符號(hào)如果消息被受信者完全接收，不確定性被完全消除。獲得了全部的信息量I(xi);如果由于信道的干擾，不確定性沒有被完全消除，仍存在不確定度。那么接收者只獲得了部分信息量（小于I(xi)).消除的不確定度為H(X)-H(X|Y)=0.59bit/符號(hào)?；蛘哒f接收者獲得的信息量為0.59bit/符號(hào)。這就是（平均）互信息。52后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù):（2）平均互信息：互信息量I(xi;yj)在（X,Y)上的統(tǒng)計(jì)平均值（1）互信息的定義

（3）互信息的物理意義討論：什么情況下，I(X;Y)=0?;何時(shí)I(X;Y)=H(X)?53若干擾足夠大，X與Y相互獨(dú)立，H(X|Y)=H(X),則I(X;Y)=0就收不到任何關(guān)于X的信息.全損離散信道若沒有干擾，Y是X的確知一一對(duì)應(yīng)函數(shù)，疑義度H(X|Y)=0,，完全收到了X的信息H(X)。無擾離散信道

(4)證明，I(X;Y)＝H(X)-H(X|Y)54互信息I(X;Y)就是信道中傳輸?shù)男畔⒘俊?/p>

(5)從信道的角度理解互信息：由于信道中的干擾，傳輸過程中會(huì)丟失信息；收到消息后仍存在對(duì)信源X的不確定性?？梢哉J(rèn)為，丟失的信息量為H(X|Y)，那么收到的信息就是H(X)-H(X|Y)=I(X;Y)。

H(Y|X)又叫噪聲熵。假設(shè)信道中的噪聲為n，發(fā)送符號(hào)為x,則接收符號(hào)為y=x+n。已知發(fā)送符號(hào)x,要確定接收符號(hào)y，就需要知道噪聲的大小。確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區(qū)分X中的每個(gè)符號(hào)所需要的平均信息量就是信源的熵H(X).（6）收、發(fā)兩端的熵關(guān)系55例題2-10加深對(duì)互信息的理解序列信源，發(fā)送其中的011序列。接收時(shí)，符號(hào)一個(gè)個(gè)地被接收①接收到第1個(gè)符號(hào)0時(shí)，消除了部分不確定性，獲得了部分關(guān)于序列011的信息:②接收到第2個(gè)符號(hào)1時(shí)，又消除了部分不確定性，獲得的關(guān)于序列011的信息量為:③接收到第3個(gè)符號(hào)1時(shí)，又消除了部分不確定性，獲得的關(guān)于序列011的信息量為，56（7）I(X;Y)是關(guān)于P(xi)和P(yj|xi)的凸函數(shù)57584、數(shù)據(jù)處理中信息的變化（互信息應(yīng)用）首先了解三變量情況下的互信息及平均互信息59意義:聯(lián)合事件(yj,zk)出現(xiàn)后所提供的關(guān)于xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的關(guān)于xi的信息量I(xi;zk),加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量I(xi;yj|zk)606162經(jīng)過兩級(jí)處理，信息的變化：假設(shè)條件:給定Y條件下，X與Z是相互獨(dú)立的，I(X;Z|Y)=0.

假設(shè)是合理的。因?yàn)?，給定Y時(shí)，Z不必關(guān)心X的取值(如圖形處理）63645、熵的性質(zhì)（1）非負(fù)性：（2）對(duì)稱性：熵函數(shù)對(duì)于所有變?cè)梢曰Q，而不影響函數(shù)值的大小（3）確定性：某一個(gè)符號(hào)的概率為1（必然事件），不存在不確定性。（4）香農(nóng)輔助定理：（香農(nóng)不等式）65（5）最大熵定理：離散無記憶信源輸出M個(gè)不同的符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)的概率相等(Pi=1/M)時(shí)，信源的熵最大，logM.

此時(shí)各個(gè)符號(hào)的不確定性最大。（6）條件熵小于無條件熵；兩個(gè)條件下的熵小于1個(gè)條件下的熵H(Y|X)≤H(Y)∵I(X;Y)=H(Y)-H(Y|X)≥0H(Z|X,Y)≤H(Z|Y)H(X,Y)≤H(X)+H(Y)自己能證明嗎？何時(shí)取等號(hào)？66H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)

互信息量與熵之間的關(guān)系圖（總結(jié)）H(X,Y)=H(X)＋H(Y/X)=H(Y)＋H(X|Y)H(X)≥H(X|Y)，H(Y)≥H(Y|X)I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)＋H(Y)-H(XY)H(XY)≤H(X)＋H(Y)如果X與Y互相獨(dú)立，則I(X:Y)＝0

此時(shí)：H(XY)＝H(X)+H(Y)H(X)＝H(X|Y)H(Y)＝H(Y|X)67第三節(jié)離散序列信源的熵回顧：離散序列信源(單符號(hào)信源的L次擴(kuò)展）設(shè)單符號(hào)信源X,X∈{x1,x2,…xn},經(jīng)過L次擴(kuò)展后輸出的隨機(jī)序列為：序列信源可以描述為：其中：各符號(hào)序列的概率為：68定義：符號(hào)序列信源的序列熵為69一、離散無記憶信源的序列熵H(X)為擴(kuò)展前單符號(hào)信源的熵二、離散有記憶信源的序列熵70

l=2(二維)時(shí)，有：H(X1,X2)=H(X1)+H(X2|X1)71例題2-11已知:離散有記憶信源中各符號(hào)的概率為:現(xiàn)信源發(fā)出二重符號(hào)序列消息（ai,aj），這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj/ai)表示，并由下表給出。求離散信源的序列熵和平均每個(gè)符號(hào)熵?ai

aja0a1a2a09/112/90a11/83/41/8a202/97/972序列熵:H(X1,X2)=H(X1)+H(X2|X1)=1.543+0.872=2.415比特/符號(hào)平均符號(hào)熵

:H2(X)=H(X2)/2=1.21比特/符號(hào)解：比較：H2（X）<H1（X），即二重序列的符號(hào)熵值較單符號(hào)熵變小了，也就是不確定度減小了?；蛘哒f，信源2次擴(kuò)展后，平均每個(gè)符號(hào)攜帶的信息量，比擴(kuò)展前減少了。這是由于符號(hào)之間存在相關(guān)性造成的。733、離散有記憶平穩(wěn)信源的幾個(gè)結(jié)論平穩(wěn)：統(tǒng)計(jì)特性時(shí)間推移不變。條件熵H(XL/XL-1)是L的單調(diào)遞減函數(shù)

H(XL|X1X2…XL-1)≤H(XL-1|X1X2…XL-2)≤H(XL-2|X1X2…XL-3)

≤……證明:H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1)(熵的性質(zhì)：條件較多的熵小于或等于減少一些條件的熵)=H(XL-1/X1X2…XL-2)（平穩(wěn)性）≤H(XL-1/X2X3…XL-2)=H(XL-2/X1X2…XL-3)…≤H(X2/X1)74(2)

HL(X)≥H(XL/XL-1)（單符號(hào)信源，無條件熵大于條件熵）證明:(公式編輯器下可以加矢量箭頭符號(hào)，這里X為矢量）HL(X)=H(X1，X2，…,XL)/L=[H(X1)+H(X2|X1)+…+H(XL|X1X2…XL-1)]/L≥[LH(XL|X1X2…XL-1)]/L根據(jù)：結(jié)論(1)=H(XL/XL-1)

(3)

HL(X)是L的單調(diào)遞減函數(shù)證明:LHL(X)=H(X1，X2，…,XL)=H(X1X2…XL-1)+H(XL|X1X2…XL-1)=(L-1)HL-1(X)+H(XL/XL-1)≤(L-1)HL-1(X)+HL(X)

所以

HL(X)≤HL-1(X)同理,有H∞(X)≤…≤HL+1(X)≤HL(X)≤HL-1(X)≤…≤H0(X)

H0(X)為等概率單符號(hào)信源的熵,H1(X)為一般單符號(hào)信源信源的熵,H2(X)為2次擴(kuò)展的序列信源的平均符號(hào)熵，依次類推。75(4)

H∞(X)

HL(X)=H(XL/X1X2…XL-1)H∞(X)叫極限熵或極限信息量。證明：

HL+k(X)=[H(X1X2…XL-1)+H(XL/X1X2…XL-1)+…+H(XL+k/X1X2…XL+k-1)]≤[H(X1X2…XL-1)+H(XL/X1X2…XL-1)+…+H(XL/X1X2…XL-1)]=H(X1X2…XL-1)+H(XL/X1X2…XL-1)76當(dāng)固定L，取K∞時(shí)，上式第1項(xiàng)為0，有

HL+k(X)≤H(XL|X1X2…XL-1)=H(XL|XL-1)又因?yàn)?/p>

H(XL|XL-1)≤HL(X)(條件熵H(XL|XL-1)在HL(X)和HL+k(X)之間）所以，當(dāng)

L∞

時(shí)，若HL+k(X)的極限存在，則HL(X)=HL+k(X)得：HL(X)=H(XL|X1X2…XL-1)證畢。說明:(i)

計(jì)算極限熵是一個(gè)十分困難的問題.(ii)

在實(shí)際應(yīng)用中常取有限L下的條件熵H(XL/XL-1)作為H∞(X)的近似值。

77(5)平穩(wěn)的馬爾可夫信源的極限熵H∞(X)

H∞(X)=

H(XL|X1X2…XL-1)

=

H(XN+m+1|X1X2…XN+m)

=

H(Xm+1|X1X2…Xm)（平穩(wěn)）齊次、遍歷的馬爾可夫信源的極限熵H∞(X)78證明：對(duì)于齊次、遍歷的馬爾可夫鏈，其狀態(tài)由唯一確定因此有：對(duì)上式兩邊同取對(duì)數(shù),并以取統(tǒng)計(jì)平均，然后取負(fù),得到：798081復(fù)習(xí)自信息量自信息量I(xi)的性質(zhì)：條件自信息量自信息量和不確定度：數(shù)量相等、單位相同，但含義不同。I(xi)表示符號(hào)發(fā)出前的不確定度；又表示符號(hào)發(fā)出后所攜帶的信息量。2、離散信源的熵82物理含義：信源輸出前的平均不確定度；信源輸出后平均每個(gè)消息提供的信息量；表明和區(qū)分信源中的每個(gè)符號(hào)需要的信息量。條件熵：條件自信息量I(xi|yj)在聯(lián)合符號(hào)集(X,Y)上的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。聯(lián)合熵：聯(lián)合符號(hào)集(X,Y)上的每對(duì)符號(hào)(xi,yj)的聯(lián)合自信息量I(xi,yj)的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。

H(X,Y)＝H(X)＋H(Y|X);H(X,Y)＝H(Y)＋H(X|Y)

H(X,Y)與H(X)及H(X|Y)的關(guān)系（理解、證明和計(jì)算）

833、互信息平均互信息：互信息量I(xi;yj)在（X,Y)上的統(tǒng)計(jì)平均值物理意義：

條件熵H(X|Y)：接收端收到消息后,仍存在的不確定度(疑義度)消除的不確定度或接收者獲得的信息量為：H(X)-H(X|Y)。即互信息I(X;Y)=H(X)-H(X|Y)信道的角度互信息I(X;Y)就是信道中傳輸?shù)男畔⒘?。由于信道中的干擾，仍存在對(duì)信源X的不確定性，丟失的信息量H(X|Y)，收到的信息就是H(X)-H(X|Y)=I(X;Y)。84噪聲熵H(Y|X)：假設(shè)信道中的噪聲為n，發(fā)送符號(hào)為x,則接收符號(hào)為y=x+n。已知發(fā)送符號(hào)x,要確定接收符號(hào)y，就需要知道噪聲的大小。確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區(qū)分X中的每個(gè)符號(hào)所需要的平均信息量就是信源的熵H(X).854、數(shù)據(jù)處理中信息的變化（互信息應(yīng)用）5、熵的性質(zhì)非負(fù)性，對(duì)稱性，確定性，香農(nóng)輔助定理，最大熵定理?xiàng)l件熵小于無條件熵；兩個(gè)條件下的熵小于1個(gè)條件下的熵H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)6、互信息量與熵之間的關(guān)系86序列熵的定義第三節(jié)離散序列信源的熵一、離散無記憶信源的序列熵復(fù)習(xí)與作業(yè)講評(píng)

87二、離散有記憶信源的序列熵例題結(jié)論：H2（X）<H1（X），即二重序列的符號(hào)熵值較單符號(hào)熵變小了，也就是不確定度減小了?；蛘哒f，信源2次擴(kuò)展后，平均每個(gè)符號(hào)攜帶的信息量，比擴(kuò)展前減少了。這是由于符號(hào)之間存在相關(guān)性造成的。三、離散有記憶平穩(wěn)信源的幾個(gè)結(jié)論條件熵H(XL/XL-1)是L的單調(diào)遞減函數(shù)

H(XL|X1X2…XL-1)≤H(XL-1|X1X2…XL-2)≤H(XL-2|X1X2…XL-3)

≤……88(2)HL(X)≥H(XL/XL-1)

（單符號(hào)信源，無條件熵大于條件熵）(3)HL(X)是L的單調(diào)遞減函數(shù)H∞(X)≤…≤HL+1(X)≤HL(X)≤HL-1(X)≤…≤H0(X)

(4)H∞(X)HL(X)=H(XL/X1X2…XL-1)(5)平穩(wěn)的馬爾可夫信源的極限熵H∞(X)

H∞(X)=

H(XL|X1X2…XL-1)=

H(Xm+1|X1X2…Xm)（平穩(wěn)）89齊次、遍歷的馬爾可夫信源的極限熵H∞(X)90連續(xù)信源回顧：

時(shí)間離散、幅度連續(xù)的信源，如隨機(jī)取電池的試驗(yàn)，用一維或多維的連續(xù)型隨機(jī)變量及其概率密度空間來描述。第四節(jié)連續(xù)信源的熵和互信息

時(shí)間和幅度都連續(xù)的信源，即隨機(jī)波形信源，如人、電視。用隨機(jī)過程來描述。隨機(jī)過程一般用n維概率密度函數(shù)族來表示其統(tǒng)計(jì)特性，它一次輸出的不是單個(gè)符號(hào)或符號(hào)序列，而是一個(gè)以時(shí)間為變量的函數(shù)（樣本函數(shù)）。91一、單符號(hào)連續(xù)信源的熵1、討論方法：用離散變量來逼近連續(xù)變量。將連續(xù)型信源離散化成離散信源，對(duì)離散信源的熵求極限，即得連續(xù)信源的熵。

設(shè)連續(xù)型隨機(jī)信源為X，px(x)為連續(xù)變量X的概率密度函數(shù)X∈［a,b］。對(duì)取值范圍離散化，令△x

＝(b-a)／n，即n等分

那么X處于第i個(gè)區(qū)間的概率為922、連續(xù)信源的熵當(dāng)

n∞

即Δx

0

時(shí)，得連續(xù)信源的熵：因此連續(xù)信源X被離散化成離散信源Xn，n取值越大，誤差越小.求出離散信源Xn的熵Hn(X)，令n∞,即是連續(xù)信源的熵。93上式中的第二項(xiàng)為無窮大，丟掉該項(xiàng)，將第一項(xiàng)定義為連續(xù)信源熵:

(2)連續(xù)信源的熵Hc(X)是相對(duì)熵（差熵）在實(shí)際問題中，常遇到問題涉及的熵之間的差，如互信息量。只要兩者逼近時(shí)所取的△x一致，上式中第二項(xiàng)無窮大量可以抵消的。

3、討論：連續(xù)信源熵與離散信源熵具有相同的形式，但其意義不同。

(1)連續(xù)信源的不確定度應(yīng)為無窮大，這是因?yàn)檫B續(xù)信源輸出符號(hào)的可能取值是無窮個(gè)（或某一符號(hào)出現(xiàn)的概率為0），因而它的絕對(duì)熵為無窮大。94例2-13

已知信源概率密度，求連續(xù)熵？95信號(hào)放大后，信息量不會(huì)增加。計(jì)算結(jié)果是相對(duì)熵，相對(duì)熵增加了1bit,而無窮大項(xiàng)減少了1bit.絕對(duì)熵不變。信號(hào)放大后，信息量增加？

964、連續(xù)信源的聯(lián)合熵、條件熵、互信息量I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)97二、波形信源的熵1、討論方法：一個(gè)消息就是一個(gè)樣本函數(shù)，根據(jù)時(shí)域抽樣定理，只要抽樣速率fs

≥2fm，則樣本函數(shù)被抽樣點(diǎn)所確定（可由抽樣點(diǎn)無失真恢復(fù)）。或者說，該消息的自信息量沒有變化。同理：對(duì)波形信源輸出的隨機(jī)信號(hào)進(jìn)行抽樣，變換成時(shí)間離散而幅度連續(xù)的隨機(jī)序列；波形信源變成了多維的連續(xù)信源(連續(xù)的序列信源),只要抽樣速率fs

≥2fm，波形信源的熵就等于序列信源的熵，無信息丟失。9899復(fù)習(xí)：第四節(jié)連續(xù)信源的熵和互信息一、單符號(hào)連續(xù)信源的熵相對(duì)熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)100二、波形信源的熵理解討論方法即可三、連續(xù)信源最大熵定理

1、峰值功率受限的最大熵定理對(duì)于定義域?yàn)橛邢薜碾S機(jī)變量X，當(dāng)它是均勻分布時(shí)，其熵最大。2、限平均功率最大熵定理服從正態(tài)分布時(shí)具有最大相熵。101三、連續(xù)信源最大熵定理

離散信源最大熵定理回顧對(duì)于連續(xù)信源，概率密度函數(shù)滿足什么條件才能使連續(xù)信源的熵最大？1、峰值功率受限的最大熵定理對(duì)于定義域?yàn)橛邢薜碾S機(jī)變量X，當(dāng)它是均勻分布時(shí)，其熵最大。(注:定義域?yàn)橛邢藜捶扔邢藜醋畲蠊β视邢?102限平均功率最大熵定理

平均功率限定為P，概率密度函數(shù)為對(duì)于相關(guān)矩陣一定的隨機(jī)矢量X，當(dāng)它是正態(tài)分布時(shí)具有最大相對(duì)熵。(注：相關(guān)矩陣一定即平均功率一定）103第五節(jié)冗余度

一、冗余度的概念（多余度、剩余度）表示給定信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。例如電報(bào):母親病愈。修改為：母病愈。二者表達(dá)了相同的意思。哪封電報(bào)的自信息量大？第1封。有多余信息如果一個(gè)消息所包含的符號(hào)比表達(dá)這個(gè)消息所需要的必要符號(hào)多，那么這樣的消息就存在冗余度。二、冗余度產(chǎn)生的原因一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)分布的不均勻性1041、符號(hào)間的相關(guān)性

上例中第一封電報(bào)的自信息量大于第二封，但平均每個(gè)符號(hào)的信息量小于第二封（因?yàn)镠L(X)是L的非增函數(shù)

）。顯然平均每個(gè)符號(hào)的信息量越大，冗余就越小。正是符號(hào)間的相關(guān)性，使得平均每個(gè)符號(hào)的信息量減少。相關(guān)性越強(qiáng)，記憶長(zhǎng)度越大，平均每個(gè)符號(hào)的信息量就越小，冗余就越大。2、符號(hào)分布的不均勻性由上分析知道，平均符號(hào)熵越小，冗余越大；平均符號(hào)熵越大，冗余越?。蝗绻骄?hào)熵達(dá)到最大值（是什么？），那么就沒有冗余。由于符號(hào)分布的不均勻性也會(huì)使得平均符號(hào)熵達(dá)不到最大值，而產(chǎn)生冗余。105三、冗余的定義相關(guān)性越強(qiáng)，各維條件熵就越小，極限熵就越小，熵的相對(duì)率就越小，冗余度就越大。反之，冗余度就越小。106四、冗余的壓縮信源輸出存在著冗余信息，可以想法去除冗余，減少表達(dá)消息所使用的符號(hào)數(shù)（往往是用其它的符號(hào)來重新表示信源輸出的符號(hào)，即信源編碼），達(dá)到壓縮目的。如果用于存儲(chǔ)，節(jié)省存儲(chǔ)空間；如果用于通信，提高傳輸效率。107作業(yè)：21242533108第二章復(fù)習(xí)與討論第一節(jié)信源的描述和分類第二節(jié)離散信源熵和互信息第四節(jié)連續(xù)信源的熵和互信息第三節(jié)離散序列信源的熵第五節(jié)

冗余度109一、消息的統(tǒng)計(jì)特征第一節(jié)信源的描述和分類香農(nóng)信息論運(yùn)用概率論和隨機(jī)過程的理論來研究信息信源發(fā)出的消息（符號(hào)或符號(hào)序列）是隨機(jī)的，事先無法確定的，所以才提供一定的信息。隨機(jī)試驗(yàn)即信源：隨機(jī)取球、擲骰子、隨機(jī)取電池（思考：放回試驗(yàn)和不放回的區(qū)別）二、用概率空間來描述信源（信源的數(shù)學(xué)模型）用隨機(jī)變量X來描述消息；用所有消息的概率構(gòu)成的概率空間來描述信源,簡(jiǎn)稱信源X。舉例—單符號(hào)離散信源110三、信源的分類{信源離散信源連續(xù)信源任意連續(xù)信源的數(shù)學(xué)模型為111{信源無記憶信源有記憶信源符號(hào)序列信源(單符號(hào)信源的L次擴(kuò)展無記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的。如何理解？

1123、連續(xù)信源的進(jìn)一步討論

隨機(jī)波形信源--時(shí)間連續(xù)、幅度連續(xù)；隨機(jī)波形信源用隨機(jī)過程來描述。

補(bǔ)充內(nèi)容：隨機(jī)過程的定義、舉例、平穩(wěn)性平穩(wěn)性：過程的統(tǒng)計(jì)特性不隨時(shí)間的推移而變化。4、馬爾可夫信源（難點(diǎn)）（1）一種離散有記憶信源，但是符號(hào)之間的統(tǒng)計(jì)依賴性有限的；m階馬爾可夫信源某時(shí)刻輸出的符號(hào)只與前面的m個(gè)符號(hào)“有關(guān)”