第二章信息論的基本概念

第二章信息論的基本概念第一頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.1離散隨機(jī)變量的熵

2.1.1熵的引入2.1.2香農(nóng)熵與熱力學(xué)熵的關(guān)系2.1.3熵可以作為信息的度量（熵的物理意義）2.1.4熵函數(shù)的性質(zhì)2.1.5聯(lián)合熵和條件熵1第二頁(yè)，共一百一十二頁(yè)，2022年，8月28日信息無(wú)處不在，但：信息用什么表示？如何表示？不確定性＝攜載的信息可用隨機(jī)變量的不確定性或隨機(jī)性作為信息的表示“信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述”－－香農(nóng)問(wèn)題1：信息是隨機(jī)的§2.1.1熵的引入-1第三頁(yè)，共一百一十二頁(yè)，2022年，8月28日

如何度量信息？如何計(jì)算消息的信息量？某些消息比另外一些消息傳遞了更多的信息。

類似于火車運(yùn)輸貨物多少用“貨運(yùn)量”衡量

消息信號(hào)傳輸信息多少用“信息量”衡量概率論知識(shí)：事件出現(xiàn)的可能性愈小，概率愈?。辉撌录欠駮?huì)出現(xiàn)的不確定性就愈大事件出現(xiàn)的可能性愈大，概率愈大該事件是否會(huì)出現(xiàn)的不確定性就愈小

信息量與消息出現(xiàn)的概率有關(guān)。問(wèn)題2：§2.1.1熵的引入-2第四頁(yè)，共一百一十二頁(yè)，2022年，8月28日研究思路一：自信息－－概率空間的平均自信息－－熵研究思路二：直接定義§2.1.1熵的引入-32第五頁(yè)，共一百一十二頁(yè)，2022年，8月28日分析信息的特征，信息量（消息）關(guān)系式應(yīng)反映如下規(guī)律：（1）信息量是概率的非負(fù)函數(shù)，即I=f［P(x)］（2）P(x)越小，I越大；反之，I越小，且P(x)→1時(shí)，I→0P(x)→0時(shí)，I→∞（3）若干個(gè)互相獨(dú)立事件構(gòu)成的消息，所含信息量等于各獨(dú)立事件信息量之和，也就是說(shuō)，信息具有相加性，即I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+…自信息：研究思路一第六頁(yè)，共一百一十二頁(yè)，2022年，8月28日信息量的直觀定義：收到某消息獲得的信息量＝不確定性減少的量

＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)

－(收到此消息后關(guān)于某事件發(fā)生的不確定性)在無(wú)噪聲時(shí)，通過(guò)信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項(xiàng)為零。因此得

收到某消息獲得的信息量

＝收到此消息前關(guān)于某事件發(fā)生的不確定性

＝信源輸出的此消息中所含有的信息量自信息：第七頁(yè)，共一百一十二頁(yè)，2022年，8月28日可以用泛函分析方法解得滿足條件的函數(shù)形式為用概率測(cè)度定義信息量：設(shè)離散信源X，其概率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為自信息：第八頁(yè)，共一百一十二頁(yè)，2022年，8月28日自信息含義當(dāng)事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當(dāng)事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無(wú)噪信道中，事件xi發(fā)生后，能正確無(wú)誤地傳輸?shù)绞招耪?，所以I(xi)可代表接收到消息xi后所獲得的信息量。這是因?yàn)橄薎(xi)大小的不確定性，才獲得這么大小的信息量。第九頁(yè)，共一百一十二頁(yè)，2022年，8月28日自信息的測(cè)度單位及其換算關(guān)系如果取以2為底，則信息量單位稱為比特(binaryunit)如果取以e為底，則信息量單位稱為奈特(natureunit)如果取以10為底，則信息量單位稱為哈特(Hartunit）

1奈特＝1.44比特1哈特＝3.32比特一般都采用以“2”為底的對(duì)數(shù)，為了書寫簡(jiǎn)潔，有時(shí)把底數(shù)2略去不寫。第十頁(yè)，共一百一十二頁(yè)，2022年，8月28日

信息論中“比特”與

計(jì)算機(jī)術(shù)語(yǔ)中“比特”區(qū)別

如果p(xi)=1/2，則I(xi)=1比特。所以1比特信息量就是兩個(gè)互不相容的等可能事件之一發(fā)生時(shí)所提供的信息量。信息論中“比特”是指抽象的信息量單位；計(jì)算機(jī)術(shù)語(yǔ)中“比特”是代表二元符號(hào)（數(shù)字）；這兩種定義之間的關(guān)系是：每個(gè)二元符號(hào)所能提供的最大平均信息量為1比特。第十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日信源熵—平均信息量自信息是一個(gè)隨機(jī)變量：自信息是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信源熵/香農(nóng)熵/無(wú)條件熵/熵函數(shù)/熵。信息熵的單位：取決于對(duì)數(shù)選取的底。一般選用以2為底，其單位為比特/符號(hào)。信息熵的意義：信源的信息熵H是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從平均意義上來(lái)表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。第十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵（Entropy）的直接引入一個(gè)離散隨機(jī)變量X，以不同的取值概率有N個(gè)可能取值,XP（x）＝a1a2…aNp1p2…pN信息論關(guān)心：X的不確定性不確定性－－大，獲取的信息量－－多研究思路二第十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵的引入不確定性分析：隨機(jī)變量X、Y、ZXP（X）＝

a1

a20.010.99ZP（Z）＝a1

a2

a3

a4a50.20.20.20.20.2YP（Y）＝

a1

a20.50.5問(wèn)題：1、能否度量？小大2、如何度量？？第十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日香農(nóng)指出：存在熵函數(shù)

滿足先驗(yàn)條件1、連續(xù)性條件：是的連續(xù)函數(shù)2、等概時(shí)為單調(diào)增函數(shù)：是N的增函數(shù)3、可加性條件：當(dāng)隨機(jī)變量的取值不是通過(guò)一次試驗(yàn)而是若干次試驗(yàn)確定取值時(shí)，X在各次試驗(yàn)中的不確定性可加。結(jié)論：唯一的形式：C=常數(shù)>0，即：第十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日可加性條件進(jìn)一步說(shuō)明：當(dāng)隨機(jī)變量的取值不是通過(guò)一次試驗(yàn)而是若干次試驗(yàn)確定取值時(shí)，隨機(jī)變量在各次試驗(yàn)中的不確定性可加，且其和始終與通過(guò)一次試驗(yàn)取得結(jié)果的不確定程度相同。第十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵的定義X為一隨機(jī)變量樣本空間X＝{x1,x2,….xn}pi或p(xi)是輸出為xi的概率定義為隨機(jī)變量的熵函數(shù)含義：（1）通過(guò)觀測(cè)隨機(jī)變量X所獲得的平均信息量（2）對(duì)隨機(jī)變量X的“不確定性”、“隨機(jī)性”的度量第十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵的單位與前面介紹自信息的單位時(shí)相同，信息熵的單位也與公式中的對(duì)數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時(shí)單位為比特（bit）；理論推導(dǎo)中用以e為底較方便，這時(shí)單位為奈特（Nat）；工程上用以10為底較方便，這時(shí)單位為哈特利（Hartley）。它們之間可以引用對(duì)數(shù)換底公式進(jìn)行互換。比如：1bit=0.693Nat=0.301Hartley第十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵H(X)--通過(guò)觀測(cè)隨機(jī)變量X所獲得的平均信息量進(jìn)一步理解：平均－－統(tǒng)計(jì)平均（區(qū)別與算術(shù)平均）單位－－抽象的信息單位，無(wú)量綱（量綱≠單位）比特－－不同于計(jì)算機(jī)中的“比特”計(jì)算機(jī)：代表一個(gè)二元數(shù)字(binarydigit)信息：對(duì)數(shù)取2為底時(shí)信息量的單位關(guān)系：每一個(gè)二元數(shù)字所能提供的最大平均信息量為1比特認(rèn)為：當(dāng)x＝0時(shí)xlog(1/x)=0通信：信息速率—單位時(shí)間內(nèi)信息的數(shù)量3第十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.1.2香農(nóng)熵與熱力學(xué)中熱熵的關(guān)系熵這個(gè)名詞是香農(nóng)從物理學(xué)中的統(tǒng)計(jì)熱力學(xué)借用過(guò)來(lái)的，在物理學(xué)中稱它為熱熵，是表示分子混亂程度的一個(gè)物理量，這里，香農(nóng)引用它來(lái)描述隨機(jī)變量的平均不確定性，含義是類似的。但是在熱力學(xué)中，任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，只會(huì)減少，不會(huì)增加。所以有人稱信息熵為負(fù)熱熵。二者還有一個(gè)重大差別：熱熵是有量綱的，而香農(nóng)熵是無(wú)量綱的。2第二十頁(yè)，共一百一十二頁(yè)，2022年，8月28日（不確定性）§2.1.3熵可以作為信息的量度對(duì)于隨機(jī)變量而言：試驗(yàn)前－－試驗(yàn)后－－各取值的概率分布確切取值（0）（不確定性）熵的差值一定的確切性多次試驗(yàn)后－－通過(guò)試驗(yàn)－－消除了不確定性－－獲得了信息信息量＝獲得的信息的數(shù)量＝第二十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日例2.1:試驗(yàn)前：試驗(yàn)后：XP（x）＝1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79natsX1P（x1）＝123456010000H(x1)=0H(x)－H(x1)

=log6第二十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日例2.2:試驗(yàn)前：H(x)=log8=3(bit/符號(hào))XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第一次測(cè)量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號(hào))H(x)－H(x1)=1－－獲得1bit信息量第二十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日H(x2)－H(x3)=1－－獲得1bit信息量第二次測(cè)量后：X2P(x2)＝123456781/21/2000000H(x2)=log2=1(bit/符號(hào))第三次測(cè)量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號(hào))H(x1)－H(x2)=1－－獲得1bit信息量H(X)表示在獲知哪個(gè)燈泡是壞的情況前，關(guān)于哪個(gè)燈泡已損壞的平均不確定性，即要確定哪個(gè)燈泡是壞的，至少需要獲得3個(gè)bit的信息量，才能完全消除不確定性。第二十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵的物理含義觀察隨機(jī)變量X、Y、ZXP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5=0.08（比特/符號(hào)）=1（比特/符號(hào)）H(Z)=5(-0.2log0.2)=2.32（比特/符號(hào)）第二十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵的物理含義熵是隨機(jī)變量的隨機(jī)性的描述。變量Y、Z等概，隨機(jī)性大，變量X不等概，則隨機(jī)性小等概情況下，可取值越多，隨機(jī)性越大H（）是描述隨機(jī)變量所需的比特?cái)?shù)熵是隨機(jī)變量平均不確定性的描述X試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.01=6.64(bit)Y試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.5=2.32(bit)H（）反映的是平均的不確定性第二十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日例2.3設(shè)某班學(xué)生在一次考試中獲優(yōu)（A）、良（B）、中（C）、及格（D）和不及格（E）的人數(shù)相等。當(dāng)教師通知某甲：“你沒(méi)有不及格”，甲獲得了多少比特信息？為確定自己的成績(jī)，甲還需要多少信息？XP（x）＝ABCDE0.20.20.20.20.2X’P（x’）＝ABCDE0.250.250.250.250H(X)=5(-0.2log0.2)=2.32（比特）H(X’)=4(-0.25log0.25)=2（比特）甲獲得的信息=H(X)-H(X’)=0.32（比特）還需要的信息＝2.32-0.32=2（比特）2第二十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.1.4熵函數(shù)的性質(zhì)香農(nóng)熵是概率矢量的非負(fù)的上凸函數(shù)性質(zhì)1：非負(fù)性性質(zhì)2：上凸性性質(zhì)3：唯一性（連續(xù)性、可加性、等概單調(diào)增）第二十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵函數(shù)的性質(zhì)－－非負(fù)性證明一：因?yàn)椋簞t：所以：第二十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵函數(shù)的性質(zhì)－－非負(fù)性證明二：有：或：所以：第三十頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵函數(shù)的性質(zhì)－－上凸性

凸性的概念：若對(duì)區(qū)域D中任意兩點(diǎn)和，均有：則稱：區(qū)域D是凸域。

理解：若兩點(diǎn)和在凸域D內(nèi)，則和之間的線段也整個(gè)在區(qū)域D內(nèi)。第三十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日在[a,b]上定義的下凸函數(shù)若在凸域內(nèi)第三十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日在[a,b]上定義的上凸函數(shù)若在凸域內(nèi)第三十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日J(rèn)enson不等式這一結(jié)果被稱為Jenson不等式。Jenson不等式可以根據(jù)凸函數(shù)和數(shù)學(xué)歸納法來(lái)證明第三十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵函數(shù)的性質(zhì)—上凸性上凸性：熵函數(shù)具有凸性，即H（P）是P的上凸函數(shù)。證明：（1）證明概率矢量P=(p1,p2,…,pN)的集合組成的區(qū)域是一個(gè)凸域。（2）利用作業(yè)第三十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日熵函數(shù)的性質(zhì)定理2.1－極值性對(duì)于離散隨機(jī)變量，當(dāng)其可能的取值等概分布時(shí)，其熵達(dá)到最大值。即：其中：N為X可能取值得個(gè)數(shù)。第三十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日例2.4：二元熵函數(shù)是對(duì)0－1分布的隨機(jī)變量所求的熵：XP（x）＝01p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)有：而：可以證明，p＝1/2時(shí)，H(p)取最大值，為log2=1。而p=0或1時(shí)，H(p)＝0，故二元熵函數(shù)的曲線如圖所示：第三十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日p1.01.00.50H(p)/bit二元熵函數(shù)曲線等概時(shí)（p=0.5)：隨機(jī)變量具有最大的不確定性，p=0,1時(shí)：隨機(jī)變量的不確定性消失。計(jì)算機(jī)術(shù)語(yǔ)VS信息單位：“比特”每一個(gè)二元數(shù)字所能提供的最大平均信息量為1比特符號(hào)等概分布的二元數(shù)字序列中，每一個(gè)二元數(shù)字將平均提供1比特的信息量；符號(hào)非等概分布時(shí)，每一個(gè)二元數(shù)字所提供的平均信息量總是小于1比特第三十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日例：2.5P={0.5,0.25,0.25}Q={0.48,0.32,0.2}H(P)=H(Q)=1.5bits不同的概率分布熵可以相同F(xiàn)or3symbols:Hmax(P)=log3=1.585bits進(jìn)一步理解：熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，它表征隨機(jī)變量的總體的平均不確定性。局限性：不能描述時(shí)間本身的具體含義和主觀價(jià)值

第三十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日定理2.2

設(shè)離散隨機(jī)變量的概密矩陣為函數(shù)是隨機(jī)變量不確定性的量度，若此函數(shù)滿足條件連續(xù)性等概時(shí)單調(diào)增函數(shù)性可加性則此函數(shù)必為熵函數(shù)的性質(zhì)－－唯一性XP（x）＝a1a2…aNp1p2…pN證明：可參見(jiàn)朱雪龍《應(yīng)用信息論基礎(chǔ)》P24第四十頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.1.5聯(lián)合熵與條件熵－條件熵物理含義：已知一隨機(jī)變量的情況下，對(duì)另一隨機(jī)變量不確定性的量度條件熵：理解：觀測(cè)Y以后，仍保留的關(guān)于X的不確定量。信道第四十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.1.5聯(lián)合熵與條件熵－聯(lián)合熵聯(lián)合熵物理意義：二元隨機(jī)變量不確定性的量度第四十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日聯(lián)合熵、條件熵的關(guān)系：當(dāng)X,Y相互獨(dú)立時(shí)，有：于是有：理解：當(dāng)隨機(jī)變量相互獨(dú)立時(shí)，其聯(lián)合熵等于單個(gè)隨機(jī)變量的熵之和，而條件熵等于無(wú)條件熵。第四十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日聯(lián)合熵、條件熵的關(guān)系：一般情況下理解：表明一般情形下：條件熵總是小于無(wú)條件熵。注意：這是平均意義上的2第四十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日“相對(duì)”熵：設(shè)p(x),q(x)是兩個(gè)不同的離散概率分布函數(shù)，則：為概率分布函數(shù)p(x)關(guān)于q(x)的“相對(duì)”熵。2作業(yè)：利用Jenson不等式證明意義：如果p(x)看作系統(tǒng)本身的概率分布，q(x)看做人們對(duì)系統(tǒng)進(jìn)行估計(jì)得到的經(jīng)驗(yàn)概率分布，則相對(duì)熵反映了由于逼近誤差引起的信息量的丟失。第四十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2

離散隨機(jī)變量的互信息（Mutualinformation）

互信息的定義2.2.2互信息函數(shù)的性質(zhì)2.2.3熵VS互信息

1第四十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(Y|X)

H(Y),ifandonlyifX,Y獨(dú)立時(shí)，等號(hào)成立H(XY)H(X)+H(Y)，ifandonlyifX,Y獨(dú)立時(shí)，等號(hào)成立H(X)與H(X|Y)之間的差值

H(X)–H(X|Y)可以認(rèn)為是變量Y能夠提供的關(guān)于變量X的平均信息量－－定義為互信息

即I(X;Y)=H(X)–H(X|Y)§2.2.1互信息的定義-1第四十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.1互信息的定義-2I(X;Y)=I(Y;X)=H(Y)–H(Y|X)=H(X)–H(X|Y)H(X)+H(Y)=H(XY)+I(X;Y)I(X;Y)=H(X)+H(Y)–H(XY)圖像配準(zhǔn)第四十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.1互信息的定義-3定義：離散隨機(jī)變量X和Y之間的互信息第四十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.1互信息的定義-4和是隨機(jī)變量X和Y之間相互提供的信息量－－稱為互信息是完全確切的＝證明略。一般情況下：理解：了解一事物總對(duì)另一事物的了解有所幫助第五十頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.1互信息的定義-4當(dāng)隨機(jī)變量X和Y之間有確定的關(guān)系時(shí)1、X可以唯一確定Y，此時(shí)：故：2、Y可以唯一確定X，此時(shí)：故：是對(duì)X和Y之間統(tǒng)計(jì)依存程度的信息量度第五十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.1互信息的定義-5＝＋＝＋＝另一種定義：這里：第五十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日變換得到互信息的另一種表達(dá)式：I（X;Y）是隨機(jī)變量X的概率矢量p

和條件概率矩陣Q的函數(shù)2第五十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日2＝＝第五十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日2問(wèn)題引出：在通信系統(tǒng)中，人們往往對(duì)接收到的數(shù)據(jù)進(jìn)行信息處理和分析，然而，很多處理模式因?yàn)槿鄙僬_的抉擇，而導(dǎo)致信息量的丟失或增加了對(duì)原始數(shù)據(jù)的干擾。下面我們從信息論的角度加以分析。定義：假設(shè)隨機(jī)變量X,Y,Z的取值空間是由有限個(gè)離散點(diǎn)組成，定義兩個(gè)隨機(jī)變量X、Y與Z的互信息為：鏈?zhǔn)椒▌t與信息處理第五十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日2即：引理：鏈?zhǔn)椒▌t與信息處理第五十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日2請(qǐng)自己看證明同理可證：鏈?zhǔn)椒▌t與信息處理第五十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日討論：上述不等式成立的條件為：對(duì)任意的當(dāng)時(shí)，有：這表明：如果是一馬爾科夫鏈，則等號(hào)成立。2如果是一馬爾科夫鏈；則也是一馬爾科夫鏈。鏈?zhǔn)椒▌t與信息處理第五十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日2鏈?zhǔn)椒▌t與信息處理設(shè)是一馬爾科夫鏈；則定理：證明：引理部分可得，因是一馬爾科夫鏈；又利用是馬爾科夫鏈；利用引理可得第五十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日2鏈?zhǔn)椒▌t與信息處理所以：上述定理表明：對(duì)一個(gè)信息處理系統(tǒng)，如果系統(tǒng)數(shù)據(jù)處理過(guò)程可用一馬爾科夫鏈進(jìn)行描述，那么每增加一次處理，系統(tǒng)信息量是遞減的。從另一個(gè)角度講，系統(tǒng)每增加一次處理，數(shù)據(jù)特征的不確定性是遞減的，確定性是遞增的。第六十頁(yè)，共一百一十二頁(yè)，2022年，8月28日2多個(gè)隨機(jī)變量下的互信息本部分內(nèi)容學(xué)生自己推導(dǎo)，作業(yè)。第六十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)的關(guān)系性質(zhì)1：I(P;Q)是P(x)的上凸函數(shù).I(p;Q)pp’信道理解：

可以看成信道輸入的概率分布第六十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與Q矩陣的關(guān)系

性質(zhì)2：I(p;Q)是Q的下凹函數(shù).理解：Q可以看成信道轉(zhuǎn)移概率分布I(p;Q)QQ’信道1信道2信道第六十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)的相關(guān)性的關(guān)系

性質(zhì)3:若概率矢量p是離散無(wú)記憶的,證明參見(jiàn)傅祖蕓“信息論-基礎(chǔ)理論與應(yīng)用（第二版）”p118第六十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與Q的相關(guān)性的關(guān)系

性質(zhì)4:若條件概率矩陣Q是離散無(wú)記憶的,第六十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)及Q的相關(guān)性的關(guān)系

推論:若概率矢量p和條件概率矩陣Q都是離散無(wú)記憶的,2第六十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日證明：因?yàn)樾旁从锌赡苁怯杏洃浶旁?，所以信道輸出之間有可能相互關(guān)聯(lián)第六十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日第六十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日當(dāng)信源是無(wú)記憶信源時(shí)，

第六十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日第七十頁(yè)，共一百一十二頁(yè)，2022年，8月28日第七十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.2.3熵VS互信息信息熵是表征隨機(jī)變量本身統(tǒng)計(jì)特性的一個(gè)物理量，它是隨機(jī)變量平均不確定性的度量，是從總體統(tǒng)計(jì)特性上對(duì)隨機(jī)變量的一個(gè)客觀描述?；バ畔(X;Y),作為信息量一般是針對(duì)觀測(cè)到另一個(gè)隨機(jī)變量時(shí)而言的，是一個(gè)相對(duì)量，是指觀測(cè)者從隨機(jī)變量Y中所獲得的關(guān)于隨機(jī)變量X的信息度量。在通信中，互信息是針對(duì)接收者而言的，是指接收者收到的關(guān)于信源的信息度量，當(dāng)通信中無(wú)干擾時(shí)，接收者獲得的信息量數(shù)量上就等于信源給出的信息熵，但是兩者的概念不一樣；當(dāng)信道有干擾時(shí)，不僅概念上不一樣，而且數(shù)量上也不相等。信息熵也可理解為信源輸出的信息量。2第七十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日作業(yè)二：已知12個(gè)球中有一個(gè)球的重量與其他球不同，其他球均等重，(1)、用天平稱幾次可找出此球?(2)、給出一種找出此球的方法，并求：每次稱量所減少的不確定性（即獲得的信息量）是多少？作業(yè)：作業(yè)一:一個(gè)出老千的賭徒有一枚灌了鉛的色子A，它擲出1點(diǎn)的概率是2/3，擲出2至6點(diǎn)的概率各為1/15。不幸的是，他將色子A與另外兩枚正常的色子B、C混在一起了。為了區(qū)分出A，他隨機(jī)抽出一枚色子并且擲出了1點(diǎn)，那么他判斷這個(gè)色子為A的正確概率是多少？他不放心，拿著這個(gè)色子又?jǐn)S了一次，又得到了1點(diǎn)，那么此時(shí)他判斷這個(gè)色子為A的正確概率是多少？第七十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日3、有一離散無(wú)記憶信源，其輸出為Ｘ｛０，１，２｝，相應(yīng)的概率為用兩個(gè)獨(dú)立的通信系統(tǒng)去傳輸它，其收到的結(jié)果分別為｛０，１｝，｛０,１｝，已知條件概率如下表所列。求和，并判斷哪一個(gè)通信系統(tǒng)好些。

０１０１０１０１２１／２１／２０１０１０１１０２０１第七十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日作業(yè)一：已知12個(gè)球中有一個(gè)球的重量與其他球不同，其他球均等重，1、用天平稱幾次可找出此球?2、給出一種找出此球的方法，并求：每次稱量所減少的不確定性（即獲得的信息量）是多少？

解1、設(shè)“在12個(gè)球中有一個(gè)球的重量與其他球不同”這事件為,其出現(xiàn)的概率為又設(shè)“這個(gè)特別球的重量比其它的重量是重或輕”這事件為,其出現(xiàn)的概率為第七十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日第七十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日2、把12個(gè)球分ABC三份:每份4個(gè)，記作A{A1，A2，A3，A4}，B{B1，B2，B3，B4}，C{C1，C2，C3，C4}開(kāi)始第一稱：取A份放天平左盤，B份放右盤

如果(左=右)則說(shuō)明次品在C組四個(gè)中開(kāi)始第二稱：取C1放左盤，C2放右盤

如果(左=右)則說(shuō)明次品在C3，C4中開(kāi)始第三稱：把C1取出，把C3放入左盤如果(左=右)則說(shuō)明次品是C4；否則說(shuō)明次品是C3第七十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日否則說(shuō)明次品在C1，C2中開(kāi)始第三稱：把C1取出，把C3放入左盤如果(左=右)則說(shuō)明次品是C1；否則說(shuō)明次品是C2否則說(shuō)明次品在A組、B組八個(gè)中，這個(gè)時(shí)候需要記住天平向那邊傾斜（假設(shè)向左邊傾斜，就是說(shuō)左邊重，左>右)這時(shí)需要第二次稱重.

第七十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日第二次稱，從右盤B組中取出B2，B3，B4，從左盤A組中取A2，A3，A4放入右盤，從C組中任意取C2，C3，C4放入左盤如果(左=右)，則說(shuō)明次品在B2,B3，B4中,而且說(shuō)明次品是輕的

開(kāi)始第三稱：取出天平里全部的球，把B2放入左盤，把

B3放入右盤如果(左=右)；則說(shuō)明次品是B4；否則說(shuō)明次品是在B2，B3中如果(左>右)則說(shuō)明次品是B3；否則說(shuō)明次品是B2第七十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日否則說(shuō)明次品在A1,A2,A3,A4,B1中,這個(gè)時(shí)候需要記住天平向那邊傾斜

如果(左>右)則說(shuō)明次品在A1，B1中開(kāi)始第三稱，全部取出天平里的球，把A1、B1放入左盤，把其他任取2球放入右盤，天平肯定不平衡了如果(左>右)則說(shuō)明次品是A1，且次品重；否則說(shuō)明次品是B1，且次品輕否則說(shuō)明次品在A2，A3，A4中，且次品重開(kāi)始第三稱，全部取出天平里的球，把A2放入左盤，把A3放入右盤如果(左=右)則說(shuō)明次品是A4，且次品重如果(左>右)則說(shuō)明次品是A2，且次品重；否則，說(shuō)明次品是B3，且次品重第八十頁(yè)，共一百一十二頁(yè)，2022年，8月28日單維連續(xù)信源實(shí)際中，某些信源的輸出常常是時(shí)間和取值都是連續(xù)的隨機(jī)函數(shù)。例如語(yǔ)音信號(hào)、電視信號(hào)。這樣的信源稱為連續(xù)信源，其輸出消息可以用隨機(jī)過(guò)程{x(t)}來(lái)表示。在某一固定的時(shí)刻t0，信源{x(t)}的輸出是一個(gè)取值連續(xù)的隨機(jī)變量X。由一個(gè)連續(xù)隨機(jī)變量X表示的連續(xù)信源，稱為單維連續(xù)信源?！?.3連續(xù)隨機(jī)變量下的熵和互信息連續(xù)隨機(jī)變量下的微分熵第八十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日單維連續(xù)信源的表示方法?連續(xù)信源中消息數(shù)是無(wú)限的。?連續(xù)信源可用概率密度函數(shù)來(lái)描述。離散信源連續(xù)信源消息：離散符號(hào)信源空間：消息：取值連續(xù)的隨機(jī)變量信源空間：第八十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日單維連續(xù)信源的熵把落在第i個(gè)區(qū)間中的全部x值都由xi表示，這樣，在[a,b]中連續(xù)取值的連續(xù)信源X，即可量化成取離散值xi(i=1,2,…,n)的離散信源Xn積分中值定理把區(qū)間[a,b]等分成n個(gè)區(qū)間，區(qū)間寬連續(xù)隨機(jī)變量X落在第i個(gè)區(qū)間的概率為第八十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日離散信源Xn的信源空間為Xn的概率空間是一個(gè)完備集其中，第八十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日微分熵(相對(duì)熵)：h(X)第八十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日H(X)為X的信息熵，無(wú)限大h(X)稱為X的微分熵(相對(duì)熵)，由p(x)確定注意：相對(duì)熵h(X)不代表信源X的平均不確定性，也不代表X每取一個(gè)數(shù)值所提供的平均信息量，不含有信息的內(nèi)涵令則（無(wú)限大常數(shù)）定義h(X)的原因：2、互信息(熵差)，無(wú)限大量抵消，具有信息的特征1、形式上與離散信源熵統(tǒng)一第八十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日連續(xù)信源的各種熵邊界熵h(X)=-∫

∞

-∞

p(x)㏒p(x)dxh(Y)=-∫

∞

-∞

p(y)㏒p(y)dy條件熵h(Y/X)=-∫

∞

-∞

p(xy)㏒p(y/x)dxdy∫

∞

-∞

h(X/Y)=-∫

∞

-∞

p(xy)㏒p(x/y)dxdy∫

∞

-∞

聯(lián)合熵h(XY)=-∫

∞

-∞

p(xy)㏒p(xy)dxdy∫

∞

-∞

第八十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.3.2幾種單維連續(xù)信源的相對(duì)熵均勻分布相對(duì)熵：信源空間：相對(duì)熵?zé)o非負(fù)性，可為負(fù)值第八十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日高斯分布：第八十九頁(yè)，共一百一十二頁(yè)，2022年，8月28日第九十頁(yè)，共一百一十二頁(yè)，2022年，8月28日與方差有關(guān)，與均值無(wú)關(guān)當(dāng)均值m=0(即方差表示平均功率)時(shí)：相對(duì)熵只與平均功率有關(guān)第九十一頁(yè)，共一百一十二頁(yè)，2022年，8月28日指數(shù)分布：第九十二頁(yè)，共一百一十二頁(yè)，2022年，8月28日指數(shù)分布的相對(duì)熵只取決于信源的均值a第九十三頁(yè)，共一百一十二頁(yè)，2022年，8月28日§2.3.3相對(duì)熵的性質(zhì)相對(duì)熵的可加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)，等號(hào)成立，所以可得：h(XY)≤h(X)+h(Y)第九十四頁(yè)，共一百一十二頁(yè)，2022年，8月28日相對(duì)熵的極值性詹森不等式：設(shè)函數(shù)f(x)在區(qū)間A中連續(xù)，概率密度函數(shù)滿足，當(dāng)f(x)是上凸函數(shù)時(shí)，有因f(x)=logx是上凸函數(shù)，設(shè)q(x)為另一概率密度函數(shù)，所以表明，相對(duì)熵存在最大值，與離散信源的熵H(X)類似若等式成立，則表明達(dá)最大值第九十五頁(yè)，共一百一十二頁(yè)，2022年，8月28日相對(duì)熵的上凸性設(shè)是單維連續(xù)信源X的兩種概率密度函數(shù)，則有設(shè)則故亦可看作連續(xù)信源X的另一種概率密度函數(shù)是上凸函數(shù)第九十六頁(yè)，共一百一十二頁(yè)，2022年，8月28日最大相對(duì)熵定理

由h(X)的上凸性和極值性可知，h(X)的最大值就是h(X)的極大值。一般，單維連續(xù)信源X要受約束條件的限制：對(duì)于單維連續(xù)信源Ｘ，在取值區(qū)間[a,b]內(nèi)，若有這樣一個(gè)概率密度函數(shù)p(x)，對(duì)另一個(gè)滿足同樣約束條件的概率密度函數(shù)q(x)，有則這個(gè)函數(shù)p(x)就是能使單維連續(xù)信源Ｘ的相對(duì)熵hp(X)達(dá)到最大值的概率密度函數(shù)。第九十七頁(yè)，共一百一十二頁(yè)，2022年，8月28日峰值功率受限最大熵定理對(duì)于輸出消息的峰值功率受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是均勻分布時(shí)，相對(duì)熵達(dá)到最大值。均勻分布的概率密度函數(shù)在滿足公式(111)時(shí)可求：最大相對(duì)熵峰值功率受限實(shí)質(zhì)上就是取值區(qū)間受限。當(dāng)，是信源X的輸出幅值，是信源X的峰值功率。第九十八頁(yè)，共一百一十二頁(yè)，2022年，8月28日均值受限最大熵定理對(duì)于輸出非負(fù)消息且其均值受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是指數(shù)分布時(shí)，其相對(duì)熵達(dá)到最大值。指數(shù)分布的概率密度函數(shù)最大相對(duì)熵

只取決于限定均值a在滿足公式(111)時(shí)可求：第九十九頁(yè)，共一百一