第2章 信息的度量

信息論基礎(chǔ)

尹洪勝主講

中國(guó)礦業(yè)大學(xué)信電學(xué)院SchoolofInformationandElectricalEngineering,CUMT第二章信息的度量

2.1信源的分類和數(shù)學(xué)模型2.2自信息和互信息2.3平均自信息2.4平均互信息

重點(diǎn)掌握：自信息、互信息、熵三個(gè)基本概念以及它們的主要性質(zhì)。中國(guó)礦業(yè)大學(xué)信電學(xué)院概述關(guān)于信息的度量有幾個(gè)重要的概念：（1）自信息：一個(gè)事件（消息）本身所包含的信息量，它是由事件的不確定性決定的。比如拋擲一枚硬幣的結(jié)果是正面這個(gè)消息所包含的信息量。

（2）互信息：一個(gè)事件所給出關(guān)于另一個(gè)事件的信息量，比如今天下雨所給出關(guān)于明天下雨的信息量。（3）平均自信息（信息熵）：事件集（用隨機(jī)變量表示）所包含的平均信息量，它表示信源的平均不確定性。比如拋擲一枚硬幣的試驗(yàn)所包含的信息量。

（4）平均互信息：一個(gè)事件集所給出關(guān)于另一個(gè)事件集的平均信息量，比如今天的天氣所給出關(guān)于明天的天氣的信息量。

中國(guó)礦業(yè)大學(xué)信電學(xué)院復(fù)習(xí)：全概率公式、貝葉斯公式和乘法公式如果事件A1,A2,…Ai…,An構(gòu)成一個(gè)事件完備集，并且具有正概率，則對(duì)于任何一個(gè)事件B，有：中國(guó)礦業(yè)大學(xué)信電學(xué)院先驗(yàn)（輸入）概率：[p(x)];PX輸出概率：[p(y)];PY聯(lián)合概率（矩陣）：[p(x,y)P;PXY后驗(yàn)概率（矩陣）：

[p(x|y)];PX|Y信道轉(zhuǎn)移概率（矩陣）：[p(y|x)];PY|X矩陣之間關(guān)系：[PY]=[PX][PY|X](全概率公式)[PXY]=[PX]T[PY][PX]T=[PX|Y]

[PY]T

P(xi,yj)=…(貝葉斯公式)復(fù)習(xí)：相關(guān)概率描述及表示中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-1

信源的分類2-1-2信源的數(shù)學(xué)模型2-1信源的分類和數(shù)學(xué)模型中國(guó)礦業(yè)大學(xué)信電學(xué)院SchoolofInformationandElectricalEngineering,CUMT2-1-1

信源的分類信源的分類方法依信源特性而定，一般按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況，把信源分為：1.連續(xù)信源:發(fā)出在時(shí)間上和幅度上都是連續(xù)分布的連續(xù)消息的信源；2.離散信源:發(fā)出在時(shí)間上和幅度上都是離散分布的信源。3.離散信源又可以細(xì)分為：

離散信源離散無(wú)記憶信源離散有記憶信源發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源{{{中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-1

信源的分類（1）離散無(wú)記憶信源：所發(fā)出的各個(gè)符號(hào)之間是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒(méi)有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。（2）離散有記憶信源

發(fā)出的各個(gè)符號(hào)之間不是相互獨(dú)立的，各個(gè)符號(hào)出現(xiàn)的概率是有關(guān)聯(lián)的。也可以根據(jù)信源發(fā)出一個(gè)消息所用符號(hào)的多少，將離散信源分為：（3）發(fā)出單個(gè)符號(hào)的離散信源信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；（4）發(fā)出符號(hào)序列的離散信源信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息。中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-1

信源的分類將以上兩種分類結(jié)合，就有四種離散信源：發(fā)出單個(gè)符號(hào)的無(wú)記憶離散信源；（先驗(yàn)概率）發(fā)出符號(hào)序列的無(wú)記憶離散信源；（聯(lián)合概率）發(fā)出符號(hào)序列的有記憶離散信源；（聯(lián)合概率）發(fā)出符號(hào)序列的馬爾可夫離散信源。（條件概率）一類重要的符號(hào)序列有記憶離散信源-馬爾可夫信源：某一個(gè)符號(hào)出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號(hào)有關(guān)，而不依賴更前面的那些符號(hào)。中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型正如緒論中所述，在通信系統(tǒng)中收信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的，所以可用隨機(jī)變量或隨機(jī)矢量來(lái)描述信源輸出的消息?；蛘哒f(shuō)，用概率空間來(lái)描述信源。離散信源的數(shù)學(xué)模型就是離散型的概率空間：1.單符號(hào)信源假設(shè)信源X可能取的消息(符號(hào)集，或稱為字符集、字母集)只有q個(gè)：，而且每次必定取其中一個(gè):而且稱為符號(hào)的先驗(yàn)概率，那么單個(gè)符號(hào)的無(wú)記憶離散信源的數(shù)學(xué)模型為：中國(guó)礦業(yè)大學(xué)信電學(xué)院所有符號(hào)（字母）的先驗(yàn)概率且滿足

2-1-2信源的數(shù)學(xué)模型中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型

2.長(zhǎng)度為N的符號(hào)序列信源

我們知道，在實(shí)際應(yīng)用中，很多信源輸出的消息往往是由一系列符號(hào)所組成的。例如中文信源的樣本空間集合X是所有漢字及標(biāo)點(diǎn)符號(hào)的集合。由這些單字和標(biāo)點(diǎn)符號(hào)組成的消息即是中文句子和文章。從時(shí)間上看，中文信源的輸出是時(shí)間上離散的一系列符號(hào)，而其中每個(gè)符號(hào)的出現(xiàn)是隨機(jī)的，由此構(gòu)成了不同的中文消息。中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型又例如對(duì)離散化的平面圖像來(lái)說(shuō)，從空間上來(lái)看是一系列離散的符號(hào)，而空間每一點(diǎn)的符號(hào)(灰度)又都是隨機(jī)的，由此形成了不同的圖像。所以我們可以把一般信源輸出的消息看作為時(shí)間或空間上離散的一系列隨機(jī)變量，即隨機(jī)矢量。這樣，信源的輸出可用N維隨機(jī)矢量

來(lái)描述，其中N可為有限正整數(shù)或可數(shù)的無(wú)限值。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型在上述隨機(jī)矢量中，若每個(gè)隨機(jī)變量都是離散的，則可用N重離散概率空間來(lái)描述這類信源。即若N維隨機(jī)矢量中則

中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型信源的N重概率空間為：這個(gè)空間共有個(gè)元素。在某些簡(jiǎn)單的情況下，信源先后發(fā)出的一個(gè)個(gè)符號(hào)彼此是統(tǒng)計(jì)獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足:中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型即N維隨機(jī)矢量的聯(lián)合概率分布可用隨機(jī)矢量中單個(gè)隨機(jī)變量的概率乘積來(lái)表示。這種信源就是離散無(wú)記憶信源。一般情況下，信源先后發(fā)出的符號(hào)之間是互相依賴的。例如在中文字母組成的中文消息中，前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的，放在N維隨機(jī)矢量的聯(lián)合概率分布中，就必然要引入條件概率分布來(lái)說(shuō)明它們之間的關(guān)聯(lián)。這種信源即有記憶信源。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型表述有記憶信源要比表述無(wú)記憶信源困難得多。實(shí)際上信源發(fā)出的符號(hào)往往只與前面幾個(gè)符號(hào)的依賴關(guān)系較強(qiáng)，而與更前面的符號(hào)依賴關(guān)系就弱。為此可以限制隨機(jī)序列的記憶長(zhǎng)度。當(dāng)記憶長(zhǎng)度為m+1時(shí)，稱這種有記憶信源為m階馬爾可夫信源。也就是信源所發(fā)出的符號(hào)只與前m個(gè)符號(hào)有關(guān)，與更前面的符號(hào)無(wú)關(guān)。中國(guó)礦業(yè)大學(xué)信電學(xué)院2-1-2信源的數(shù)學(xué)模型這樣就可用馬爾可夫鏈來(lái)描述信源。這時(shí)描述符號(hào)之間依賴關(guān)系的條件概率為如果條件概率與時(shí)間起點(diǎn)j無(wú)關(guān)，即信源輸出的消息可看成為時(shí)齊馬爾可夫鏈，則此信源稱為時(shí)齊馬爾可夫信源。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.2

自信息和互信息2.2.1自信息

隨機(jī)事件的自信息量

是該事件發(fā)生概率的函數(shù)，并且應(yīng)該滿足以下公理化條件：

1.

是的嚴(yán)格遞減函數(shù)。當(dāng)時(shí)，，概率越小，事件發(fā)生的不確定性越大，事件發(fā)生以后所包含的自信息量越大。

2．

極限情況下當(dāng)=0時(shí)，；當(dāng)=1時(shí)，=0。

3．

另外，從直觀概念上講，由兩個(gè)相對(duì)獨(dú)立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和?？梢宰C明，滿足以上公理化條件的函數(shù)形式是對(duì)數(shù)形式。中國(guó)礦業(yè)大學(xué)信電學(xué)院定義2.1隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。設(shè)事件的概率為，則它的自信息定義為

從圖2.1種可以看到上述信息量的定義正是滿足上述公理性條件的函數(shù)形式。代表兩種含義：當(dāng)事件發(fā)生以前，等于事件發(fā)生的不確定性的大??；當(dāng)事件發(fā)生以后，表示事件所含有或所能提供的信息量。圖2.1自信息量2.2.1自信息中國(guó)礦業(yè)大學(xué)信電學(xué)院自信息量的單位與所用對(duì)數(shù)的底有關(guān)。

（1）常取對(duì)數(shù)的底為2，信息量的單位為比特（bit，binaryunit）。當(dāng)=1/2時(shí)，=1比特，即概率等于1/2的事件具有1比特的自信息量。（2）若取自然對(duì)數(shù)（對(duì)數(shù)以e為底），自信息量的單位為奈特（nat，naturalunit）。1奈特=比特=1.443比特

（3）工程上用以10為底較方便。若以10為對(duì)數(shù)底，則自信息量的單位為哈特萊（Hartley）。1哈特萊=比特=3.322比特（4）如果取以r為底的對(duì)數(shù)（r>1），則=進(jìn)制單位

1r進(jìn)制單位=比特2.2.1自信息中國(guó)礦業(yè)大學(xué)信電學(xué)院2-2-1自信息量不確定度與自信息量

隨機(jī)事件的不確定度在數(shù)量上等于它的自信息量，兩者的單位相同，但含義卻不同。即有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，而自信息量是在該事件發(fā)生后給予觀察著的信息量。中國(guó)礦業(yè)大學(xué)信電學(xué)院2-2-1自信息量?jī)蓚€(gè)消息、同時(shí)出現(xiàn)的聯(lián)合自信息量：用聯(lián)合概率來(lái)表示，聯(lián)合自信息量為當(dāng)和相互獨(dú)立時(shí)，有

于是有

聯(lián)合自信息量中國(guó)礦業(yè)大學(xué)信電學(xué)院2-2-1自信息量

條件自信息量：當(dāng)和相互聯(lián)系時(shí)，在事件出現(xiàn)的條件下，的自信息量稱為條件自信息量，定義

為在事件出現(xiàn)的條件下，發(fā)生的條件概率。例2.1講解p9中國(guó)礦業(yè)大學(xué)信電學(xué)院2.2.2

互信息

定義2.2一個(gè)事件所給出關(guān)于另一個(gè)事件的信息定義為互信息，用表示。

互信息是已知事件后所消除的關(guān)于事件的不確定性，它等于事件本身的不確定性減去已知事件后對(duì)仍然存在的不確定性。

互信息的引出，使信息得到了定量的表示，是信息論發(fā)展的一個(gè)重要的里程碑。例2.2講解9中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3

平均自信息

2.3.1平均自信息（信息熵）的概念

自信息量是信源發(fā)出某一具體消息所含有的信息量，發(fā)出的消息不同所含有的信息量不同。因此自信息量不能用來(lái)表征整個(gè)信源的不確定度。我們定義平均自信息量來(lái)表征整個(gè)信源的不確定度。平均自信息量又稱為信息熵、信源熵，簡(jiǎn)稱熵。因?yàn)樾旁淳哂胁淮_定性，所以我們把信源用隨機(jī)變量來(lái)表示，用隨機(jī)變量的概率分布來(lái)描述信源的不確定性。通常把一個(gè)隨機(jī)變量的所有可能的取值和這些取值對(duì)應(yīng)的概率稱為它的概率空間。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.1平均自信息（信息熵）的概念定義2.3隨機(jī)變量X的每一個(gè)可能取值的自信息的統(tǒng)計(jì)平均值定義為隨機(jī)變量X的平均自信息量:

這里q為的所有X可能取值的個(gè)數(shù)。

熵的單位也是與所取的對(duì)數(shù)底有關(guān)，根據(jù)所取的對(duì)數(shù)底不同，可以是比特/符號(hào)、奈特/符號(hào)、哈特萊/符號(hào)或者是r進(jìn)制單位/符號(hào)。通常用比特/符號(hào)為單位。

一般情況下，信息熵并不等于收信者平均獲得的信息量，收信者不能全部消除信源的平均不確定性，獲得的信息量將小于信息熵。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.2

熵函數(shù)的性質(zhì)

信息熵是隨機(jī)變量X的概率分布的函數(shù)，所以又稱為熵函數(shù)。如果把概率分布，記為，則熵函數(shù)又可以寫(xiě)成概率矢量的函數(shù)的形式，記為。熵函數(shù)具有以下性質(zhì)：

1.對(duì)稱性：（引出加權(quán)熵?cái)U(kuò)展）

該性質(zhì)說(shuō)明熵函數(shù)僅與信源的總體統(tǒng)計(jì)特性有關(guān)。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.2

熵函數(shù)的性質(zhì)2.確定性：

在概率矢量中，只要有一個(gè)分量為1，其它分量必為0，它們對(duì)熵的貢獻(xiàn)均為0，因此熵等于0。也就是說(shuō)確定信源的不確定度為0。3.非負(fù)性：對(duì)確定信源，等號(hào)成立。信源熵是自信息的數(shù)學(xué)期望，自信息是非負(fù)值，所以信源熵必定是非負(fù)的。4.擴(kuò)展性：

這個(gè)性質(zhì)的含義是增加一個(gè)基本不會(huì)出現(xiàn)的小概率事件，信源的熵保持不變。5.連續(xù)性：即信源概率空間中概率分量的微小波動(dòng)，不會(huì)引起熵的變化。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.2

熵函數(shù)的性質(zhì)6．遞增性這性質(zhì)表明，假如有一信源的n個(gè)元素的概率分布為，其中某個(gè)元素又被劃分成m個(gè)元素，這m個(gè)元素的概率之和等于元素的概率，這樣得到的新信源的熵增加，熵增加了一項(xiàng)是由于劃分產(chǎn)生的不確定性。例2.4講解p137.極值性：

式中n是隨機(jī)變量X的可能取值的個(gè)數(shù)。極值性表明離散信源中各消息等概率出現(xiàn)時(shí)熵最大，這就是最大離散熵定理。連續(xù)信源的最大熵則與約束條件有關(guān)。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2-2-3熵的基本性質(zhì)香農(nóng)輔助定理對(duì)于任意n及概率矢量和

，有如下不等式成立

只有當(dāng)P=Q時(shí)，上式取等號(hào)。（給出板書(shū)證明）

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.2

熵函數(shù)的性質(zhì)8.上凸性:是嚴(yán)格的上凸函數(shù)，設(shè)

則對(duì)于任意小于1的正數(shù)有以下不等式成立：

凸函數(shù)在定義域內(nèi)的極值必為極大值，可以利用熵函數(shù)的這個(gè)性質(zhì)可以證明熵函數(shù)的極值性。

（給出板書(shū)證明）

中國(guó)礦業(yè)大學(xué)信電學(xué)院解釋：設(shè)有矢量函數(shù)對(duì)于的定義域中任意兩個(gè)矢量X，Y，若滿足不等式則稱f嚴(yán)格上凸。其幾何意義為：在上凸函數(shù)任兩點(diǎn)畫(huà)一條割線，函數(shù)總在割線上方。2.3.2熵函數(shù)的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.2

熵函數(shù)的性質(zhì)直觀來(lái)看，隨機(jī)變量的不確定程度并不都是一樣的。香農(nóng)指出，存在這樣的不確定性的度量，它是隨機(jī)變量的概率分布的函數(shù)，而且必須滿足三個(gè)公理性條件：

1.連續(xù)性條件：應(yīng)是的連續(xù)函數(shù)；

2.等概時(shí)為單調(diào)函數(shù)：應(yīng)是的增函數(shù)；

3.遞增性條件：當(dāng)隨機(jī)變量的取值不是通過(guò)一次試驗(yàn)而是若干次試驗(yàn)才最后得到時(shí)，隨機(jī)變量在各次試驗(yàn)中的不確定性應(yīng)該可加，且其和始終與通過(guò)一次試驗(yàn)取得的不確定程度相同，即：其中中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.3

聯(lián)合熵與條件熵

一個(gè)隨機(jī)變量的不確定性可以用熵來(lái)表示，這一概念可以方便地推廣到多個(gè)隨機(jī)變量。

定義2.4

二維隨機(jī)變量的概率空間表示為其中滿足概率空間的非負(fù)性和完備性：

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.3

聯(lián)合熵與條件熵二維隨機(jī)變量的聯(lián)合熵定義為聯(lián)合自信息的數(shù)學(xué)期望，它是二維隨機(jī)變量的不確定性的度量。

定義2.5給定時(shí)，的條件熵：其中，表示已知時(shí)，的平均不確定性。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.3.4各類熵之間的關(guān)系：1．聯(lián)合熵與信息熵、條件熵的關(guān)系：（給出板書(shū)證明）

這個(gè)關(guān)系可以方便地推廣到N個(gè)隨機(jī)變量的情況：

稱為熵函數(shù)的鏈規(guī)則。推論：當(dāng)二維隨機(jī)變量X，Y相互獨(dú)立時(shí)，聯(lián)合熵等于X和Y各自熵之和：

2．條件熵與信息熵的關(guān)系：（給出板書(shū)證明）

3．聯(lián)合熵和信息熵的關(guān)系：當(dāng)X、Y相互獨(dú)立時(shí)等號(hào)成立。

例2.5講解p18中國(guó)礦業(yè)大學(xué)信電學(xué)院

2.4

平均互信息2.4.1

平均互信息的概念

為了從整體上表示從一個(gè)隨機(jī)變量Y所給出關(guān)于另一個(gè)隨機(jī)變量的信息量，我們定義互信息在的聯(lián)合概率空間中的統(tǒng)計(jì)平均值為隨機(jī)變量X和Y間的平均互信息：定義2.6

中國(guó)礦業(yè)大學(xué)信電學(xué)院

2.4.2

平均互信息的性質(zhì)

1.非負(fù)性:

平均互信息是非負(fù)的，說(shuō)明給定隨機(jī)變量Y后，一般來(lái)說(shuō)總能消除一部分關(guān)于X的不確定性。

2.互易性（對(duì)稱性）：對(duì)稱性表示Y從X中獲得關(guān)于的信息量等于X從Y中獲得關(guān)于的信息量。3.平均互信息和各類熵的關(guān)系:

當(dāng)統(tǒng)計(jì)獨(dú)立時(shí)，中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)4.極值性：

極值性說(shuō)明從一個(gè)事件提取關(guān)于另一個(gè)事件的信息量，至多只能是另一個(gè)事件的平均自信息量那么多，不會(huì)超過(guò)另一事件本身所含的信息量。5.凸函數(shù)性:

定理2.1當(dāng)條件概率分布給定時(shí)，平均互信息是輸入分布的上凸函數(shù)。

定理2.2

對(duì)于固定的輸入分布，平均互信息量是條件概率分布的下凸函數(shù)。

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)上凸性證明：由平均互信息量的定義若固定信道，調(diào)整信源則I(X;Y)=f(p(xi))(上凸)

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)（1）平均互信息量I(X;Y)是輸入信源概率分布p(xi)的上凸函數(shù)。（用于信道容量計(jì)算）所謂上凸函數(shù)，是指同一信源集合{x1,x2,….xn},對(duì)應(yīng)兩個(gè)不同的概率分布p1(xi)和p2(xi)(i=1,2,…n),若有小于1的正數(shù)0<α<1,使不等式f(αp1(xi)+(1-α)p2(xi))≥αf(p1(xi))+(1-α)f(p2(xi))成立，則稱函數(shù)f為p(xi)的上凸函數(shù)。證明：令p3(xi)=αp1(xi)+(1-α)p2(xi),因?yàn)閜3(xi)是p1(xi)和p2(xi)的線性組合，p3(xi)構(gòu)成一個(gè)新的概率分布。當(dāng)固定信道特性為p0(yj/xi)時(shí)，由p3(xi)確定的平均互信息量為：中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)根據(jù)香農(nóng)輔助定理有：

中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)將上式代入：當(dāng)p3(xi)=p1(xi)且p3(xi)=p2(xi)時(shí)等號(hào)成立，從而證明以上定理

中國(guó)礦業(yè)大學(xué)信電學(xué)院解釋物理意義

信息流通的根本問(wèn)題，是定量計(jì)算信宿收到信道輸出的某一符號(hào)后，從中獲取關(guān)于信源某一符號(hào)的信息量信源X有擾離散信道信宿Y干擾源

簡(jiǎn)單的通信系統(tǒng)模型2.4.2平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院2.4.2

平均互信息的性質(zhì)中國(guó)礦業(yè)大學(xué)信電學(xué)院

信源