信源模型與信息度量合并

信源模型與信息度量合并第一頁(yè)，共一百四十四頁(yè)，2022年，8月28日第2章信源熵信息的度量與信源熵第二頁(yè)，共一百四十四頁(yè)，2022年，8月28日本章內(nèi)容通信的根本問題是將信源的輸出在接收端盡可能精確地復(fù)現(xiàn)出來，所以需要討論如何描述信源的輸出，即如何計(jì)算信源產(chǎn)生的信息量。即：信息的度量與信源熵3信源信源編碼信源譯碼信宿信道編碼信道信道譯碼++加密編碼解密譯碼噪聲源SUCXY?VSn第三頁(yè)，共一百四十四頁(yè)，2022年，8月28日本章內(nèi)容簡(jiǎn)介2信源熵（13-14個(gè)學(xué)時(shí)）2.0信源的數(shù)學(xué)模型及其分類（1學(xué)時(shí)）離散/連續(xù)；平穩(wěn)/非平穩(wěn)；2.1信息的度量與信源熵（5-6學(xué)時(shí)）重點(diǎn)：信息量與熵的概念、性質(zhì)、應(yīng)用2.2多符號(hào)離散平穩(wěn)信源（2-3個(gè)學(xué)時(shí)）平均符號(hào)熵與極限熵的相關(guān)知識(shí)；馬爾可夫信源。2.3連續(xù)信源（2個(gè)學(xué)時(shí)）微分熵的定義及性質(zhì)；最大熵定理；熵功率2.4離散無失真信源編碼定理（2個(gè)學(xué)時(shí)）信源編碼的基本概念、目的、思路、術(shù)語;定長(zhǎng)、變長(zhǎng)編碼定理4第四頁(yè)，共一百四十四頁(yè)，2022年，8月28日第2章信源熵2.0信源的數(shù)學(xué)模型及其分類2.1信息的度量與信源熵2.2多符號(hào)離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理5第五頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源的概念信源－信息的發(fā)源地，如人、生物、機(jī)器等等。由于信息是十分抽象的東西，所以要通過信息載荷者（即消息）來研究信源，這樣信源的具體輸出稱作消息。

問題轉(zhuǎn)化：研究信源研究信源的具體輸出：消息消息的形式6如：

漢字

符號(hào)

字母圖像語音離散消息連續(xù)消息第六頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源的數(shù)學(xué)模型問題轉(zhuǎn)化：研究信源研究信源的具體輸出：消息信源建模工具：信源發(fā)出消息，消息載荷信息，具有不確定性，因此，描述信源消息或?qū)π旁唇?，隨機(jī)過程是一個(gè)有效的工具，隨機(jī)過程的特性依賴于信源的特性。

方法：信源輸出的消息：如漢字/符號(hào)/語音等隨機(jī)變量或隨機(jī)序列（矢量）或概率空間7如何描述？第七頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源的分類對(duì)信源分類主要基于兩方面的考慮：1.信源消息取值的集合以及消息取值時(shí)刻的集合分為離散信源、連續(xù)信源或數(shù)字信源、模擬信源（波形信源）2.信源消息的統(tǒng)計(jì)特性可分為無記憶信源、有記憶信源、平穩(wěn)信源、非平穩(wěn)信源、高斯信源、馬爾可夫信源等。實(shí)際中經(jīng)常是它們的組合單符號(hào)離散信源離散平穩(wěn)無記憶信源連續(xù)單符號(hào)（變量）信源連續(xù)有記憶信源連續(xù)非平穩(wěn)信源8第八頁(yè)，共一百四十四頁(yè)，2022年，8月28日離散信源與連續(xù)信源連續(xù)信源：信源輸出的隨機(jī)變量取值于某一連續(xù)區(qū)間，為連續(xù)信號(hào)，消息的個(gè)數(shù)是無窮值，就叫做連續(xù)信源。比如：人發(fā)出的語音信號(hào)X(t)、模擬的電信號(hào)等等離散信源：信源輸出的隨機(jī)變量取值于某一離散符號(hào)集合，消息在時(shí)間和幅值上均是離散的，就叫做離散信源。信源輸出的消息常常是以一個(gè)個(gè)符號(hào)的形式出現(xiàn)，例如文字、字母等，這些符號(hào)的取值是有限的或可數(shù)的。比如：平面圖像X(x，y)和電報(bào)、書信、文稿等等9信源

X1,X2,X3,……

A為{a1,a2,a3,…am}或(a,b)信源輸出被抽象為隨機(jī)變量序列（隨機(jī)過程）第九頁(yè)，共一百四十四頁(yè)，2022年，8月28日單符號(hào)信源與多符號(hào)信源單符號(hào)信源：信源輸出單個(gè)消息符號(hào)例：阿拉伯?dāng)?shù)字投硬幣擲骰子實(shí)際通信系統(tǒng)：信源編碼后的數(shù)據(jù)傳輸數(shù)學(xué)模型：用一維離散或連續(xù)隨機(jī)變量X及其概率分布P來描述。多符號(hào)信源：信源輸出多個(gè)消息符號(hào)例：書面語言文字：字→句子→段落→文章例：電話號(hào)碼單符號(hào)：一維隨機(jī)變量?多符號(hào)：多(N)維隨機(jī)變量數(shù)學(xué)模型：用N維隨機(jī)矢量，N重離散概率空間的數(shù)學(xué)模型來描述。10離散連續(xù)離散：連續(xù):取值范圍對(duì)應(yīng)區(qū)域共

條消息N維聯(lián)合概率密度第十頁(yè)，共一百四十四頁(yè)，2022年，8月28日離散平穩(wěn)信源與非平穩(wěn)信源離散平穩(wěn)信源：如果隨機(jī)序列中各個(gè)變量具有相同的概率分布。例：擲硬幣、擲骰子結(jié)果與時(shí)間無關(guān)數(shù)學(xué)模型：非平穩(wěn)信源信源的統(tǒng)計(jì)特性隨時(shí)間變化信源

X1,X2,X3,……

A為{a1,a2,a3,…am}或(a,b)一維平穩(wěn)二維平穩(wěn)…N維平穩(wěn)離散注意：僅有N維的平穩(wěn)并不符合要求。但不能保證11第十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日無記憶信源與有記憶信源無記憶信源：前、后符號(hào)間相互獨(dú)立例：阿拉伯?dāng)?shù)字信源編碼后的數(shù)據(jù)傳輸12離散平穩(wěn)無記憶信源平穩(wěn)

+無記憶信源發(fā)出的消息符號(hào)間彼此是統(tǒng)計(jì)獨(dú)立的，且它們具有相同的概率分布，且N維隨機(jī)矢量的聯(lián)合概率分布為：連續(xù)型無記憶信源：數(shù)學(xué)模型：第十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日無記憶信源與有記憶信源（續(xù)）有記憶信源：通常情況下，信源發(fā)出的符號(hào)間是彼此相互依存和關(guān)聯(lián)的如：小說、文字、語音等等。通常用聯(lián)合概率或條件概率來描述這種關(guān)聯(lián)性。按記憶長(zhǎng)度劃分有：有限記憶信源如：有限狀態(tài)馬爾可夫鏈

馬爾可夫信源（后續(xù)課程2.2中介紹）無限記憶信源13第十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源的分類隨機(jī)過程{x(t)}：隨機(jī)波形信源信源輸出的消息是時(shí)間（或空間）上和取值上都是連續(xù)的函數(shù)離散無記憶信源的N次擴(kuò)展信源：輸出的平穩(wěn)隨機(jī)序列X中各隨機(jī)變量統(tǒng)計(jì)獨(dú)立。每個(gè)隨機(jī)變量xi取值于同一概率空間。每N個(gè)符號(hào)構(gòu)成一組，等效為一個(gè)新的信源隨機(jī)變量離散信源：可能輸出的消息數(shù)有限連續(xù)信源：可能輸出的消息數(shù)是無限的或不可數(shù)的非平穩(wěn)信源平穩(wěn)信源連續(xù)平穩(wěn)信源離散平穩(wěn)信源：輸出隨機(jī)序列X中每個(gè)隨機(jī)變量取值是離散，并且隨機(jī)矢量X的各維概率分布不隨時(shí)間平移而改變有限記憶信源：輸出的平穩(wěn)隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長(zhǎng)度有限馬爾可夫信源：輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長(zhǎng)度有限，并滿足馬爾可夫鏈的條件式隨機(jī)序列14第十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日第2章信源熵2.0信源的數(shù)學(xué)模型及其分類2.1信息的度量與信源熵（單符號(hào)離散信源）2.2多符號(hào)離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理15第十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日單符號(hào)離散信源的數(shù)學(xué)模型設(shè)：?jiǎn)畏?hào)信源X，取值于符號(hào)集其中，X表示隨機(jī)變量，代表信源

表示信源的某個(gè)元素或信源發(fā)出的某個(gè)符號(hào)

每個(gè)符號(hào)發(fā)生的概率為，消息符號(hào)互不相關(guān)，且滿足：用概率場(chǎng)來描述

16第十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵（單符號(hào)離散信源）2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關(guān)系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關(guān)系17第十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關(guān)系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關(guān)系18第十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日問題的引出問題1：信息論首要要解決的問題是什么？回答：信息的量化、度量。因?yàn)橹挥袑?duì)信息能夠進(jìn)行度量以后，我們才能用定量的方法來分析通信系統(tǒng)中信息的產(chǎn)生、傳輸、接收等問題。19問題2：信息如何度量？使用什么單位？比較：對(duì)于看得見，摸得著的實(shí)際物體，尺寸可用米、公里等衡量，重量可以用公斤、噸衡量。但信息呢？回答：僅僅依據(jù)日常生活的經(jīng)驗(yàn)無法得出信息如何度量以及度量單位。必須人為引入信息度量的定義。第十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日實(shí)際例子1.第二次有人告訴：“你考上研究生”確定性事件，信息量為02.中國(guó)乒乓球男隊(duì)?wèi)?zhàn)勝巴西大概率事件，信息量很小3.美國(guó)的911事件小概率事件，信息量很大4.中國(guó)足球男隊(duì)?wèi)?zhàn)勝巴西概率趨于0，信息量趨于無窮大5.武漢下雨了，紐約也下雪了獨(dú)立事件，聯(lián)合事件信息量是二者和定性認(rèn)識(shí)1.信息量是隨機(jī)事件概率的函數(shù)2.概率越小，信息量越大3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為04.兩個(gè)獨(dú)立事件，聯(lián)合事件的信息量是二者之和20實(shí)際例子——定性認(rèn)識(shí)第二十頁(yè)，共一百四十四頁(yè)，2022年，8月28日用數(shù)學(xué)語言表述1.信息量是隨機(jī)事件概率的函數(shù)2.概率越小，信息量越大信息量

I

是概率

p

的單調(diào)遞減函數(shù)3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為04.兩個(gè)獨(dú)立事件，聯(lián)合事件的信息量是二者之和若A、B獨(dú)立21第二十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量定義觀察：對(duì)數(shù)形式的函數(shù)可能能滿足要求。直接定義？不滿足2.信息量I是概率p的單調(diào)遞減函數(shù)；3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為0進(jìn)行改造：22定義：任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。香農(nóng)先生給出,他參考了哈特萊的定義第二十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的單位單位：比特bit、奈特nat、哈特Hart。當(dāng)對(duì)數(shù)的底取2時(shí)，單位為比特bit當(dāng)以自然數(shù)e為底時(shí)，單位為奈特nat當(dāng)以10為底時(shí)，單位為哈特hart比特bit、奈特nat、哈特Hart間的轉(zhuǎn)換關(guān)系：在現(xiàn)代數(shù)字通信系統(tǒng)中，一般采用二進(jìn)制的記數(shù)方式。在信息量的計(jì)算中也多采用以2為底的方式，一般默認(rèn)以2為底23注意：信息量為純數(shù)，單位僅為標(biāo)示不同底數(shù)的對(duì)數(shù)值，無量綱含義第二十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量VS不確定度自信息量與不確定度的數(shù)學(xué)定義相同：?jiǎn)栴}：這二者有無區(qū)別？通過例子來分析：袋子里一共有100個(gè)手感相同的球。已知其中99個(gè)是紅球，只有1個(gè)是白球。現(xiàn)隨機(jī)抽取1個(gè)球問：抽球之前：抽出來的球會(huì)是紅球嗎？回答：不能確定，不過多半是。24第二十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量VS不確定度不確定度：

在隨機(jī)實(shí)驗(yàn)進(jìn)行前，關(guān)于某隨機(jī)事件在這次實(shí)驗(yàn)中是否會(huì)發(fā)生的不確定程度?！俺橹械氖羌t球”不確定度

比特“抽中的是白球”不確定度

比特信息量：

抽球之后，某次抽出的是紅球，并明確地告訴你答案。計(jì)算你所獲得的信息量。獲得的信息量=（抽球前，對(duì)于抽中紅球的不確定度）—（抽球后，對(duì)于抽中紅球仍存在的不確定度）=0.0145-0=0.0145比特類似地，當(dāng)抽中的是白球，獲得的信息量為6.644比特。25第二十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日結(jié)論——自信息量與不確定度之間的關(guān)系不確定度：在隨機(jī)實(shí)驗(yàn)進(jìn)行前，關(guān)于某隨機(jī)事件在這次實(shí)驗(yàn)中是否會(huì)發(fā)生的不確定程度。自信息量：某次隨機(jī)實(shí)驗(yàn)完成后，出現(xiàn)某個(gè)隨機(jī)事件時(shí)所獲得的信息量。26第二十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的計(jì)算——例1某地二月份天氣的概率分布統(tǒng)計(jì)如下：計(jì)算這四種氣候的自信息量。解：27第二十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的計(jì)算——例2設(shè)一次擲兩個(gè)骰子,如果事件A,B,C分別表示:A：僅有一個(gè)骰子是3;B：至少有一個(gè)骰子是4;C：骰子上點(diǎn)數(shù)的總和是偶數(shù)。試計(jì)算A，B，C發(fā)生后分別提供的信息量。解：

求信息量求事件概率樣本點(diǎn)總數(shù)=6×6=3628第二十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的計(jì)算——例2分析三次情況：A：一個(gè)骰子(X)為3，另一個(gè)(Y)不為3;或反之。B：骰子X為4，骰子Y不為4;骰子X不為4，骰子Y為4;兩個(gè)骰子都為4。C：X奇+Y奇=偶；X奇+Y偶=奇；X偶+Y奇=奇；X偶+Y偶=偶；29第二十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的性質(zhì)300101自信息是非負(fù)值，是的單調(diào)遞減函數(shù)非負(fù)性：隨機(jī)事件的發(fā)生總能提供一些信息，最差是0，不會(huì)因?yàn)槭录l(fā)生而使不確定性增大遞減性：概率越大事件，不確定性越小，發(fā)生提供的信息量越小第三十頁(yè)，共一百四十四頁(yè)，2022年，8月28日自信息量的性質(zhì)(續(xù))說明：該事件是必然事件，不含不確定性，不含任何信息量說明：1）數(shù)學(xué)運(yùn)算的結(jié)果2）不可能事件一旦發(fā)生，帶來的信息量是非常大的值得注意的是：

是一個(gè)隨機(jī)量，而是的函數(shù)所以自信息量也是一個(gè)隨機(jī)變量，它沒有確定值31已在自信息量定義的引出過程中分析過第三十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關(guān)系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關(guān)系32第三十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日聯(lián)合自信息量的定義涉及兩個(gè)隨機(jī)變量的離散信源，其聯(lián)合概率分布為：定義：二維聯(lián)合集XY上的元素的聯(lián)合自信息量定義為：式中為積事件；為元素的二維聯(lián)合概率。當(dāng)

和

相互獨(dú)立的時(shí)候，有：33兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自獨(dú)立發(fā)生得到的自信息量之和。第三十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關(guān)系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關(guān)系34第三十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日條件自信息量定義:聯(lián)合集XY中，對(duì)事件和，事件在事件給定的條件下的條件自信息量定義為：類似，可以定義：35第三十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日條件自信息量的性質(zhì)由于每個(gè)隨機(jī)事件的條件概率都處于0～1范圍內(nèi)，所以聯(lián)合自信息量和條件自信息量也滿足非負(fù)性、單調(diào)遞減性、以及以下性質(zhì)：36第三十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日例：某校入學(xué)考試中有25%考生被錄取，75%考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。問：當(dāng)已知考生來自本市時(shí)，該考生被錄取的不確定度等于多少？解：需求取本市條件下，被錄取的概率：37考生錄取25%本市50%外地50%未錄取75%本市10%外地90%第三十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日例：根據(jù)全概率公式，有：38比較：當(dāng)不知道考生是本地或外地時(shí)：由于不確定度的減少，獲得了一定的信息量第三十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關(guān)系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關(guān)系39第三十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日幾種自信息量之間的關(guān)系自信息量、聯(lián)合自信息量、條件自信息量都滿足非負(fù)性和單調(diào)遞減性三者都是隨機(jī)變量，其值隨著變量的變化而變化。三者之間有如下關(guān)系式：40物理意義：兩個(gè)隨機(jī)事件同時(shí)發(fā)生后，其所提供的聯(lián)合自信息量等于其中一個(gè)事件發(fā)生后提供的自信息量，與該事件發(fā)生后另一個(gè)事件也發(fā)生所提供的條件自信息量，二者的和。第四十頁(yè)，共一百四十四頁(yè)，2022年，8月28日例：聯(lián)合自信息量設(shè)在一正方形棋盤上共有64個(gè)方格，如果甲將一粒棋子隨意地放在棋盤中的某方格，讓乙猜測(cè)棋子所在位置：將方格按順序編號(hào)，讓乙猜測(cè)棋子所在方格的順序號(hào)；41xy解：如圖所示棋子所在位置可用聯(lián)合集XY上的元素描述，其中將方格順序編號(hào)：由于甲是將一粒棋子隨意地放在棋盤中某一個(gè)方格內(nèi)，因此棋子在棋盤中所處的位置為二維等概率分布。二維等概率分布函數(shù)為：，因此：在二維聯(lián)合集XY上的元素的自信息量為：第四十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日例：條件自信息量設(shè)在一正方形棋盤上共有64個(gè)方格，如果甲將一粒棋子隨意地放在棋盤中的某方格，讓乙猜測(cè)棋子所在位置：將方格按行和列編號(hào)，甲將棋子所在方格的行（或列）編號(hào)告訴乙之后，再令乙猜測(cè)棋子所在列（或行）的位置。42xy解：如圖所示棋子所在位置可用聯(lián)合集XY上的元素描述，其中將方格順序編號(hào)：由于甲是將一粒棋子隨意地放在棋盤中某一個(gè)方格內(nèi)，因此棋子在棋盤中所處的行（或列）位置為一維等概率分布，其概率分布函數(shù)分別為：同時(shí)，有二維概率分布函數(shù)：在二維聯(lián)合集XY上的元素相對(duì)的條件自信息量為：同樣：第四十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系43第四十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系44第四十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日平均自信息量問題：有了自信息量，為什么還要求平均？回答：信源可能發(fā)出多種可能的消息，自信息量只能提供某一事件發(fā)生后其所提供的信息量，而不能從整體上衡量信源所能提供的信息量。我們更希望從平均意義上來衡量信源每發(fā)出一條消息，其所能提供的信息量。問題：如何對(duì)自信息量進(jìn)行平均？分析：回答：應(yīng)按概率對(duì)自信息量進(jìn)行加權(quán)平均（數(shù)學(xué)期望）數(shù)學(xué)定義式：45?第四十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日例：設(shè)某月，甲地的天氣預(yù)報(bào)為晴（占1/2）、陰（占1/4）、大雨（占1/8）、小雨（占1/8）；乙地的天氣預(yù)報(bào)為為晴（占7/8）、小雨（占1/8）。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地某月天氣預(yù)報(bào)為兩種特殊情況，一種是晴概率為1，其余為0；另一種是各種天氣出現(xiàn)的概率都相等。試求這兩種情況下所提供的平均信息量。又試求乙地這兩種情況的平均信息量。解：寫出信源的概率分布：設(shè)甲地天氣預(yù)報(bào)構(gòu)成的信源用X表示：設(shè)乙地天氣預(yù)報(bào)構(gòu)成的信源用Y表示：46分析：甲、乙誰的平均不確定度大？猜測(cè)：甲的平均不確定度大，因?yàn)槠湎?shù)更多，分布也相對(duì)更均勻。第四十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日平均信息量求解47比特/符號(hào)比特/符號(hào)甲地的平均不確定度更大。第四十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日甲地的第一種特殊情況48結(jié)論：確定性信源的平均自信息量(不確定度)為0。猜測(cè)：平均不確定度為0。(只有一種可能性)洛必塔法則第四十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日甲地的第二種特殊情況49比特/符號(hào)猜測(cè)：消息數(shù)相同的前提下,均勻分布的不確定度更大。后續(xù)會(huì)證明：“最大熵定理”乙地特殊情況分析類似（略）第四十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系50第五十頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源的概率空間描述一個(gè)信源可以用一個(gè)概率空間來描述。信源的不確定程度可以用這個(gè)概率空間的可能狀態(tài)數(shù)目及其概率來描述：其中：X是信源的狀態(tài)空間，為一個(gè)離散集，表示了隨機(jī)事件的狀態(tài)數(shù)；P(X)是隨機(jī)事件各種可能狀態(tài)的概率分布，且，各狀態(tài)是相互獨(dú)立的。通常記為{X,P(X)}51第五十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日

平均自信息量—信息熵自信息量是一個(gè)隨機(jī)變量，它反映了信源發(fā)出某一信息符號(hào)的不確定性。它不能用來作為整個(gè)信源的信息測(cè)度。信源的不確定程度可以用信源概率空間的概率分布來描述。這樣，我們引入平均自信息量，即信息熵定義：集X上，隨機(jī)變量I(xi)的數(shù)學(xué)期望，即平均自信息量為集X的信息熵，簡(jiǎn)稱做熵。含義上信息熵與熱熵有相似之處。平均自信息量或信息熵的物理意義：信源輸出前，每個(gè)離散信息的平均不確定度。信源輸出后，平均每個(gè)離散消息所提供的信息量。反映了變量X的隨機(jī)性。52第五十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日信息熵的單位離散集X信息熵的單位取決于對(duì)數(shù)選取的底。比特/符號(hào)奈特/符號(hào)哈特/符號(hào)bit/symbolnat/symbolhart/symbol如果一個(gè)離散集X的概率分布為n個(gè)狀態(tài)等概，選取對(duì)數(shù)底為n，由信息熵定義可以說此集合X包含了1個(gè)n進(jìn)制單位的信息量，用一個(gè)n進(jìn)制的數(shù)就可以表示此集合的信息。在現(xiàn)代數(shù)字通信系統(tǒng)中，一般采用二進(jìn)制的記數(shù)方式。在信息熵的計(jì)算中也多采用以2為底的方式，且默認(rèn)記為H(X)。由對(duì)數(shù)公式可以得到r進(jìn)制與二進(jìn)制之間的關(guān)系：53第五十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日練習(xí)：設(shè)某信源輸出為擲一非均勻骰子的點(diǎn)數(shù)，若其任一面出現(xiàn)的概率與該面的點(diǎn)數(shù)成正比。試求該信源的信源熵？解：首先要求解信源模型設(shè)出現(xiàn)1點(diǎn)的概率為p，因概率分布滿足歸一性：比特/符號(hào)54第五十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系55第五十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日聯(lián)合熵和條件熵56自信息量（不確定度）聯(lián)合

自信息量

條件

自信息量平均自信息量（信源熵）聯(lián)合熵

（聯(lián)合自信息的數(shù)學(xué)期望）條件熵

（條件自信息的數(shù)學(xué)期望）第五十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日聯(lián)合熵定義：聯(lián)合集XY上，每對(duì)元素的自信息量的期望定義為聯(lián)合熵。根據(jù)聯(lián)合自信息量的定義，聯(lián)合熵又可定義為聯(lián)合熵又可稱為共熵。57第五十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日條件熵定義：聯(lián)合集XY上，條件自信息量I(x|y)的概率加權(quán)平均值定義為條件熵。其定義式為上式稱為聯(lián)合集XY中，集X相對(duì)于集Y的條件熵。條件熵又可寫成式中取和的范圍包括XY二維空間中的所有點(diǎn)。這里要注意條件熵用聯(lián)合概率p(xy)，而不是用條件概率p(x|y)進(jìn)行加權(quán)平均。58第五十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日為什么條件熵要用聯(lián)合概率進(jìn)行加權(quán)平均？回憶條件自信息量定義：當(dāng)固定隨機(jī)變量的條件下，求在集合X上的數(shù)學(xué)期望：上式只是固定

yi的條件下的數(shù)學(xué)期望，接下來還應(yīng)對(duì)求在集合

Y上的數(shù)學(xué)期望，因此有：59第五十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日強(qiáng)調(diào)：集X相對(duì)于集Y的條件熵集Y相對(duì)于集X的條件熵?cái)?shù)學(xué)定義式中一定要用聯(lián)合概率進(jìn)行平均。不要寫成60第六十頁(yè)，共一百四十四頁(yè)，2022年，8月28日條件熵的物理意義例：某地區(qū)A，二月份天氣的統(tǒng)計(jì)規(guī)律（信源）：將該地區(qū)每天的天氣情況，通過信道，發(fā)往另一地區(qū)B某天，A地區(qū)是陰天，將消息發(fā)往B地區(qū)，但接收到的消息變?yōu)椤安皇乔缣臁薄?1信源X信道信宿Y第六十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日分析問題：?jiǎn)朆地區(qū)的某人，今天A地區(qū)會(huì)是陰天嗎？回答：不確定，不確定度為：上述不確定度為條件不確定度（自信息量）的范疇，表示的是當(dāng)接收到某條輸出消息后，對(duì)是否發(fā)送的是某條輸入消息仍存在的不確定度。上述不確定度只是信源、信宿的一對(duì)輸入、輸出消息間的關(guān)系。信源的n種可能消息與信宿的m種可能消息，每對(duì)之間都存在類似的上述關(guān)系。將所有這些條件不確定度按聯(lián)合概率進(jìn)行加權(quán)，即為條件熵。62第六十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日

的物理意義：熵?fù)p失在收到信宿Y（整體）的條件下，對(duì)信源X（整體）仍存在的平均不確定度。問題：若信道理想，

信宿收到的信息=?回答：若信道理想，

信宿收到的信息=H(X)問題：對(duì)實(shí)際信道，

信宿收到的信息=?回答：對(duì)實(shí)際信道，

信宿收到的信息

的物理意義：在收到信宿Y（整體）的條件下，對(duì)信源X（整體）仍存在的平均不確定度，即熵?fù)p失。63思考：的物理意義又是什么呢？（后續(xù)2.1.3介紹）第六十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日信源熵、聯(lián)合熵和條件熵間的關(guān)系自信息量、聯(lián)合自信息量、條件自信息量間的關(guān)系：猜測(cè)：三種熵間關(guān)系證明？64第六十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日三種熵的關(guān)系證明：類似地，可證明出：65物理意義：兩個(gè)隨機(jī)變量所提供的平均信息量等于其中一個(gè)隨機(jī)變量提供的平均信息量，與已知第一個(gè)隨機(jī)變量后第二個(gè)隨機(jī)變量提供的平均條件信息量，二者的和。(也適用于不確定度)第六十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日三種熵關(guān)系的推廣三種熵的關(guān)系：推廣1：當(dāng)X和Y相互獨(dú)立：類似于信息量，當(dāng)

和獨(dú)立時(shí)：推廣2:

推廣至多個(gè)隨機(jī)變量當(dāng)上述變量都相互獨(dú)立時(shí)：66第六十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日練習(xí)隨機(jī)變量X、Y的聯(lián)合概率分布如下表所示，求聯(lián)合熵和條件熵

、。解：先求聯(lián)合熵：再求條件熵：67第六十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日計(jì)算關(guān)鍵：由接下來，通過求解

和

。68第六十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日接下來，代入相應(yīng)數(shù)據(jù)，可得：比特/符號(hào)比特/符號(hào)69第六十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系70第七十頁(yè)，共一百四十四頁(yè)，2022年，8月28日熵的主要性質(zhì)及定理1.非負(fù)性2.對(duì)稱性3.確定性4.擴(kuò)展性5.連續(xù)性6.極值性7.條件熵不大于無條件熵8.最大離散熵定理9.上凸性71書上內(nèi)容補(bǔ)充第七十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日非負(fù)性與對(duì)稱性1.非負(fù)性解釋：2.對(duì)稱性觀察兩信源：概率順序互換思考：與間的關(guān)系？72第七十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日對(duì)稱性解釋任意調(diào)換的順序，不影響熵的結(jié)果。73紅綠黃藍(lán)陰晴雨霧物理意義熵的結(jié)果與信源中各消息的具體取值無關(guān)，它只取決于信源的總體概率分布。熵反映的是信源的總體特性。第七十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日3.確定性物理意義：對(duì)確定性信源，不存在任何的不確定性，因此它的熵值（信源的平均不確定度）為0。數(shù)學(xué)證明：74洛必塔法則第七十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日4.擴(kuò)展性物理意義：新信源雖然增加了一種可能的消息，但新增加的消息概率趨近0，不會(huì)引起熵值的增加。證明：75關(guān)鍵【

】可推廣到增加多種概率為0消息的情況。第七十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日5.連續(xù)性物理意義：新信源相比于原信源，概率分布只發(fā)生了極其微小的變動(dòng)，不會(huì)引起熵值的變化。證明：略。76第七十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日6.極值性——香農(nóng)不等式有兩個(gè)消息數(shù)相等的信源：存在如下關(guān)系：77對(duì)Y集合中的自信息量按X的概率分布進(jìn)行加權(quán)平均。第七十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日香農(nóng)不等式證明證明：引理：自然對(duì)數(shù)存在如下性質(zhì)，當(dāng)?shù)忍?hào)成立。引理證：記令，得為極值點(diǎn)，極值為。又引理得證。78是

的極大值。第七十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日香農(nóng)不等式證明即證：左邊79由前述引理?yè)Q底公式第七十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日7.條件熵不大于無條件熵證明：80香農(nóng)不等式時(shí)等號(hào)成立第八十頁(yè)，共一百四十四頁(yè)，2022年，8月28日證明(續(xù))

時(shí)等號(hào)成立。類似，可證明：81物理意義：已知Y時(shí)對(duì)X的平均不確定度，一般情況下小于對(duì)Y一無所知時(shí)的平均不確定度；或反之（X、Y顛倒位置）。第八十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日思考是否有？分析：由于與無明確大小關(guān)系，并沒有上述關(guān)系。821.

第八十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日思考是否有？分析：由于與無明確大小關(guān)系，并沒有上述關(guān)系。832.

第八十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日思考是否有？分析：由于與無明確大小關(guān)系，并沒有上述關(guān)系。843.

第八十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日8.最大離散熵定理問題：由于信源

X的熵可看做是關(guān)于信源概率分布的n元函數(shù)，信源概率分布為何種分布下熵最大以及最大值等于多少？結(jié)論——最大離散熵定理：當(dāng)

時(shí)，熵最大；

。證明：即證85取得等號(hào)思考：為什么是等概率時(shí)，熵（平均不確定度）最大？現(xiàn)實(shí)中有何實(shí)例？第八十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日9.上凸性9.1上凸函數(shù)的定義9.2上凸函數(shù)的物理意義9.3熵函數(shù)上凸性的證明9.1上凸函數(shù)的定義：設(shè)有一個(gè)多元函數(shù)

,對(duì)任一小于1的正數(shù)

以及的定義域中任意兩個(gè)矢量均有如下關(guān)系：86：上凸：嚴(yán)格上凸第八十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日上凸函數(shù)特點(diǎn)在定義域內(nèi)任意兩點(diǎn)之間，函數(shù)的圖形都位于過這兩點(diǎn)函數(shù)值對(duì)應(yīng)線段的上方。問題：對(duì)應(yīng)什么樣的圖形？分析：對(duì)應(yīng)一條線段，線段的端點(diǎn)：對(duì)應(yīng)；對(duì)應(yīng)。回答：對(duì)應(yīng)過和的線段。9.2上凸函數(shù)的幾何意義87第八十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日上凸函數(shù)判斷注意：一定是定義域中的任意兩點(diǎn)均滿足上述關(guān)系。88從直觀上看，在整個(gè)定義域內(nèi)，上凸函數(shù)的形狀一定是向外凸的，而沒有向內(nèi)凹的部分。第八十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日上凸函數(shù)結(jié)論：在上凸函數(shù)中，只存在著一個(gè)極大值點(diǎn)?；蛘邽閷?dǎo)數(shù)等于零的點(diǎn)（唯一點(diǎn)），或者為邊界點(diǎn)。類似地，可給出下凸(凹)函數(shù)的定義：89思考1：上凸函數(shù)中是否可能存在極小值點(diǎn)(不計(jì)邊界點(diǎn))？回答：不可能。極小值點(diǎn)一定對(duì)應(yīng)有向內(nèi)凹的部分。思考2：上凸函數(shù)中是否可能存在兩個(gè)以上的極大值點(diǎn)(不計(jì)邊界點(diǎn))？回答：不可能。因?yàn)檫B續(xù)可微函數(shù)中的極大值點(diǎn)間一定存在著極小值點(diǎn)。第八十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日9.3熵函數(shù)上凸性的證明90證明：設(shè)1.應(yīng)判斷

是否能求熵函數(shù)？判斷是否滿足滿足?。ㄗC明略）第九十頁(yè)，共一百四十四頁(yè)，2022年，8月28日9.3熵函數(shù)上凸性的證明2.接下來，將熵的定義式代入不等式左邊：91第九十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日思考利用上凸性重新證明最大離散熵定理92第九十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日思考題拋一枚均勻硬幣和拋一枚非均勻的硬幣，哪個(gè)信息量（或不確定度）更大？拋一枚均勻骰子和拋一枚均勻硬幣，哪個(gè)信息量（或不確定度）更大？93第九十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權(quán)熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關(guān)系94第九十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日加權(quán)熵的引入討論:為什么要引入加權(quán)熵的概念？因?yàn)閭鹘y(tǒng)熵存在局限性。實(shí)例：甲地某月乙地某月根據(jù)對(duì)稱性兩地天氣播報(bào)的信源熵相同，但從對(duì)社會(huì)可能造成的危害角度，顯然乙地區(qū)應(yīng)更重視減災(zāi)工作。95熵只反映了信源概率分布的總體特性，沒有考慮每種消息可能產(chǎn)生的價(jià)值或造成的危害，或者對(duì)接收者的主觀意義，因此引入了加權(quán)熵的概念。第九十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日概率空間傳統(tǒng)熵權(quán)重空間加權(quán)熵96加權(quán)熵的數(shù)學(xué)定義僅按消息發(fā)生的客觀概率加權(quán)按消息發(fā)生的客觀概率和主觀意義等雙重加權(quán)注意：要求

,但沒有要求

,也沒有歸一性的要求。目前仍沒有很理想的分配權(quán)重的方法，權(quán)重的分配更多地依靠人為設(shè)定，影響了加權(quán)熵的發(fā)展。第九十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日加權(quán)熵的基本性質(zhì)

——很多與傳統(tǒng)熵的性質(zhì)類似1.非負(fù)性解釋：2.對(duì)稱性傳統(tǒng)熵：交換的順序，不影響結(jié)果。加權(quán)熵：交換的順序，不影響結(jié)果。3.確定性傳統(tǒng)熵：加權(quán)熵：97物理意義：對(duì)于確定性信源，總是只有唯一的一個(gè)事件永遠(yuǎn)發(fā)生，盡管該事件是有意義或有效用的，但仍不能提供信息量。第九十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日4.擴(kuò)展性&5.連續(xù)性4.擴(kuò)展性傳統(tǒng)熵：加權(quán)熵：物理意義：增加1個(gè)意義很大但不可能發(fā)生的事件，信源并不能提供更多的信息量。5.連續(xù)性98第九十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日6.均勻性&7.等重性6.均勻性：當(dāng)信源為等概率分布時(shí)，加權(quán)熵等于：結(jié)論：等概率分布時(shí)，加權(quán)熵等于傳統(tǒng)熵乘以權(quán)重的算術(shù)平均值。7.等重性當(dāng)各消息的權(quán)重值相等時(shí)，加權(quán)熵等于：結(jié)論：權(quán)重相等時(shí)，加權(quán)熵等于傳統(tǒng)熵的倍。99第九十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日8.非容性設(shè)

表示由整數(shù)構(gòu)成的集合，且二者的并集滿足

，二者的交集為（空集）。100若對(duì)所有的，有

，但

；若對(duì)所有的，有

，但

。

所有事件可分成兩類有意義的事件，但不可能發(fā)生?？赡馨l(fā)生的事件，但無意義。即：對(duì)此類信源，加權(quán)熵為零，但傳統(tǒng)熵并不為零。第一百頁(yè)，共一百四十四頁(yè)，2022年，8月28日9.最大加權(quán)熵的求解問題：給定，求，使得最大。求解：設(shè)定輔助函數(shù)F求

F關(guān)于的偏導(dǎo)數(shù)，列出方程組：101第一百零一頁(yè)，共一百四十四頁(yè)，2022年，8月28日最大加權(quán)熵的求解102令，可得：最大熵對(duì)應(yīng)的輸入信源分布為：(a)其中，待定常數(shù)可由如下約束方程(歸一性)得出：(b)第一百零二頁(yè)，共一百四十四頁(yè)，2022年，8月28日最大加權(quán)熵的求解103得到

后，將式(a)代入加權(quán)熵的定義式，可得：最大熵對(duì)應(yīng)的輸入信源分布為：第一百零三頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量2.平均互信息量2.1.4各種熵之間的關(guān)系104第一百零四頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量：A.互信息量B.互信息的性質(zhì)C.條件互信息量和聯(lián)合互信息2.平均互信息量2.1.4各種熵之間的關(guān)系105第一百零五頁(yè)，共一百四十四頁(yè)，2022年，8月28日A.互信息量信源信宿106

簡(jiǎn)化的通信系統(tǒng)模型信源信道信宿XY干擾受噪聲影響，信源發(fā)出的消息在信道傳輸過程中可能會(huì)出現(xiàn)錯(cuò)誤。第一百零六頁(yè)，共一百四十四頁(yè)，2022年，8月28日觀察通信過程一般情況下，信源發(fā)出的是消息，但受噪聲影響，接收端收到的消息是。在通信之前，信宿端猜測(cè)發(fā)出的是的不確定度：先驗(yàn)概率先驗(yàn)不確定度在通信之后，信宿端收到之后，再來猜測(cè)信源發(fā)出的是的不確定度：后驗(yàn)概率后驗(yàn)不確定度107第一百零七頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息量定義定義：后驗(yàn)不確定度，相對(duì)于先驗(yàn)不確定度的減少量，為本次通信過程中從收到的

中獲得的關(guān)于

的互信息量。*注意：

容易搞混，不要混淆。108第一百零八頁(yè)，共一百四十四頁(yè)，2022年，8月28日例題甲在一個(gè)8×8的方格棋盤上隨意放入一個(gè)棋子，棋子所放位置是等概率的。(1)若甲告知乙，棋子落入方格的行號(hào)，這時(shí)乙得到了多少信息量？(2)若甲將棋子落入方格的行號(hào)和列號(hào)都告知乙，這時(shí)乙得到了多少信息量？比特解：(1)互信息量=先驗(yàn)不確定度—后驗(yàn)不確定度(2)互信息量比特109第一百零九頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的三種形式11.第一種形式物理意義：通信前問：這次信源發(fā)送的會(huì)是xi嗎？回答：不確定度通信后問：（收到的是yj）這次信源發(fā)送的會(huì)是xi嗎？回答：不確定度觀察者站在信宿端。通信后，從yj獲得的關(guān)于xi的信息量。*110第一百一十頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的三種形式22.第二種形式第一種形式：從yj獲得的關(guān)于xi的信息量。第二種形式：從xi獲得的關(guān)于yj的信息量。物理意義：觀察者站在信源端。通信后，從xi獲得的關(guān)于yj的信息量。通信前問：這次信宿收到的會(huì)是yj嗎？回答：不確定度通信后問：（發(fā)送的是xi）這次信宿收到的會(huì)是yj嗎？回答：不確定度*111第一百一十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的三種形式33.第三種形式第一/二種形式：觀察者站在信宿/信源端。通信前問：這次信源發(fā)送的會(huì)是xi嗎？信宿收到的會(huì)是yj嗎？回答：不確定度通信后問：這次信源發(fā)送的會(huì)是xi嗎？信宿收到的會(huì)是yj嗎？第三種形式：觀察者站在系統(tǒng)整體（宏觀角度觀察）?；卮穑翰淮_定度通信前：xi和yj相互獨(dú)立通信后：xi和yj相互關(guān)聯(lián)112第一百一十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的三種形式3(續(xù))113第三種形式的物理意義：觀察者站在系統(tǒng)整體進(jìn)行宏觀觀察。通信前的整體不確定度：通信后的整體不確定度：通信后獲得的信息量為整體不確定度的減少。*第一百一十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日第一種形式：信宿端第二種形式：信源端1.對(duì)稱性（互易性）物理意義：信源信宿“你中有我，我中有你”。事件yj提供的有關(guān)于事件xi的信息量等于由事件xi

提供的關(guān)于事件yj信息量證:B.互信息的性質(zhì)1114第一百一十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的性質(zhì)22.互信息量可為0當(dāng)X、Y獨(dú)立時(shí)，物理意義：當(dāng)X、Y獨(dú)立時(shí)，從yj中得不到關(guān)于xi的任何信息。第三種形式：全局115第一百一十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日互信息的性質(zhì)3解釋：后驗(yàn)概率先驗(yàn)概率當(dāng)時(shí)，所表達(dá)的含義：先驗(yàn)不確定度后驗(yàn)不確定度當(dāng)收到y(tǒng)j后，對(duì)xi是否會(huì)發(fā)生的不確定度不僅沒有減少，反而還增加了。這通常是由于通信過程中出現(xiàn)傳輸錯(cuò)誤或受到干擾所引起的。3.互信息量可負(fù)對(duì)比：自信息量為非負(fù)值物理意義：116第一百一十六頁(yè)，共一百四十四頁(yè)，2022年，8月28日C.條件互信息量和聯(lián)合互信息量條件互信息量：在隨機(jī)事件zk已經(jīng)發(fā)生的條件下，隨機(jī)事件yj發(fā)生后，所間接提供的隨機(jī)事件

xi的信息（不確定度的消減）數(shù)學(xué)表達(dá)式聯(lián)合互信息量：聯(lián)合事件yjzk發(fā)生后，所間接提供的另一個(gè)隨機(jī)事件xi的信息（不確定度的消減）數(shù)學(xué)表達(dá)式117第一百一十七頁(yè)，共一百四十四頁(yè)，2022年，8月28日三個(gè)互信息量的關(guān)系互信息量、聯(lián)合事件互信息量、條件互信息量三者都是隨機(jī)變量，其值隨著變量xi，yj，zk的變化而變化。三者關(guān)系為：說明：一聯(lián)合事件yjzk出現(xiàn)后所提供的有關(guān)xi

的信息量等于事件yj出現(xiàn)后所提供的有關(guān)xi

的信息量加上在給定事件yj的條件下再出現(xiàn)事件zk所提供的有關(guān)xi

的信息量。118第一百一十八頁(yè)，共一百四十四頁(yè)，2022年，8月28日例某人A預(yù)先知道他的三位朋友B、C、D中必定將有一人晚上到他家來，并且這三人來的可能性均相同其先驗(yàn)概率為：p(B)=p(C)=p(D)=1/3但是上午A接到D的電話不能來了把這次電話作為事件E，那么有后驗(yàn)概率p(D/E)=0,p(B/E)=p(C/E)=1/2下午A又接到C的電話，說晚上開會(huì)不能來把這次電話作為事件F，那么有后驗(yàn)概率p(C/EF)=p(D/EF)=0,p(B/EF)=1119第一百一十九頁(yè)，共一百四十四頁(yè)，2022年，8月28日續(xù)例事件E（上午的電話）發(fā)生后，A獲得關(guān)于B,C,D的互信息為：事件EF（兩次電話）發(fā)生后，A獲得關(guān)于B,C,D的互信息為：由此例可以看出，由于I(B;EF)=1.585bit,I(B;E)=0.585bit，因此事件EF的出現(xiàn)有助于肯定事件B的出現(xiàn)。120第一百二十頁(yè)，共一百四十四頁(yè)，2022年，8月28日續(xù)例在事件E（上午的電話）發(fā)生的條件下，計(jì)算條件互信息量表明，事件EF出現(xiàn)后所提供的有關(guān)B的信息量I(B;EF)等于事件E出現(xiàn)后所提供的有關(guān)B的信息量I(B;E)加上在給定事件E的條件下，再出現(xiàn)事件F所提供的有關(guān)B的信息量。121第一百二十一頁(yè)，共一百四十四頁(yè)，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量2.平均互信息量A.平均互信息量B.平均互信息量性質(zhì)2.1.4各種熵之間的關(guān)系122第一百二十二頁(yè)，共一百四十四頁(yè)，2022年，8月28日問題：有了互信息量，為什么還要求平均？回答：互信息量只反映了某一對(duì)輸入、輸出消息間信息的流通。我們更希望從平均意義上來衡量信源、信宿間的信息流通。第一種形式的數(shù)學(xué)定義及物理意義：互信息量平均互信息量*A.平均互信息量123第一百二十三頁(yè)，共一百四十四頁(yè)，2022年，8月28日A.平均互信息量1損失熵接下來，對(duì)上述數(shù)學(xué)定義式進(jìn)行變形：對(duì)比：通信前對(duì)的平均不確定度通信后，已知條件下，對(duì)的平均不確定度*維拉圖124第一百二十四頁(yè)，共一百四十四頁(yè)，2022年，8月28日第二種形式的數(shù)學(xué)定義及物理意義：互信息量平均互信息量*通信前對(duì)的平均不確定度通信后，已知條件下，對(duì)的平均不確定度維拉圖偽信息與第一種形式類似，可推導(dǎo)出：*噪聲熵A.平均互信息量2125第一百二十五頁(yè)，共一百四十四頁(yè)，2022年，8月28日A.平均互信息量3第三種形式的數(shù)學(xué)定義及物理意義：互信息量與前兩種形式類似，可推導(dǎo)出：*通信前對(duì)系統(tǒng)整體的平均不確定度通信后對(duì)系統(tǒng)整體的平均不確定度平均互信息量*維拉圖通信前通信