第二章信息論的基本概念

第二章信息論的基本概念第一頁，共一百一十二頁，2022年，8月28日§2.1離散隨機(jī)變量的熵

2.1.1熵的引入2.1.2香農(nóng)熵與熱力學(xué)熵的關(guān)系2.1.3熵可以作為信息的度量（熵的物理意義）2.1.4熵函數(shù)的性質(zhì)2.1.5聯(lián)合熵和條件熵1第二頁，共一百一十二頁，2022年，8月28日信息無處不在，但：信息用什么表示？如何表示？不確定性＝攜載的信息可用隨機(jī)變量的不確定性或隨機(jī)性作為信息的表示“信息是事物運動狀態(tài)或存在方式的不確定性的描述”－－香農(nóng)問題1：信息是隨機(jī)的§2.1.1熵的引入-1第三頁，共一百一十二頁，2022年，8月28日

如何度量信息？如何計算消息的信息量？某些消息比另外一些消息傳遞了更多的信息。

類似于火車運輸貨物多少用“貨運量”衡量

消息信號傳輸信息多少用“信息量”衡量概率論知識：事件出現(xiàn)的可能性愈小，概率愈?。辉撌录欠駮霈F(xiàn)的不確定性就愈大事件出現(xiàn)的可能性愈大，概率愈大該事件是否會出現(xiàn)的不確定性就愈小

信息量與消息出現(xiàn)的概率有關(guān)。問題2：§2.1.1熵的引入-2第四頁，共一百一十二頁，2022年，8月28日研究思路一：自信息－－概率空間的平均自信息－－熵研究思路二：直接定義§2.1.1熵的引入-32第五頁，共一百一十二頁，2022年，8月28日分析信息的特征，信息量（消息）關(guān)系式應(yīng)反映如下規(guī)律：（1）信息量是概率的非負(fù)函數(shù)，即I=f［P(x)］（2）P(x)越小，I越大；反之，I越小，且P(x)→1時，I→0P(x)→0時，I→∞（3）若干個互相獨立事件構(gòu)成的消息，所含信息量等于各獨立事件信息量之和，也就是說，信息具有相加性，即I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+…自信息：研究思路一第六頁，共一百一十二頁，2022年，8月28日信息量的直觀定義：收到某消息獲得的信息量＝不確定性減少的量

＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)

－(收到此消息后關(guān)于某事件發(fā)生的不確定性)在無噪聲時，通過信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項為零。因此得

收到某消息獲得的信息量

＝收到此消息前關(guān)于某事件發(fā)生的不確定性

＝信源輸出的此消息中所含有的信息量自信息：第七頁，共一百一十二頁，2022年，8月28日可以用泛函分析方法解得滿足條件的函數(shù)形式為用概率測度定義信息量：設(shè)離散信源X，其概率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為自信息：第八頁，共一百一十二頁，2022年，8月28日自信息含義當(dāng)事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當(dāng)事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無噪信道中，事件xi發(fā)生后，能正確無誤地傳輸?shù)绞招耪撸訧(xi)可代表接收到消息xi后所獲得的信息量。這是因為消除了I(xi)大小的不確定性，才獲得這么大小的信息量。第九頁，共一百一十二頁，2022年，8月28日自信息的測度單位及其換算關(guān)系如果取以2為底，則信息量單位稱為比特(binaryunit)如果取以e為底，則信息量單位稱為奈特(natureunit)如果取以10為底，則信息量單位稱為哈特(Hartunit）

1奈特＝1.44比特1哈特＝3.32比特一般都采用以“2”為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。第十頁，共一百一十二頁，2022年，8月28日

信息論中“比特”與

計算機(jī)術(shù)語中“比特”區(qū)別

如果p(xi)=1/2，則I(xi)=1比特。所以1比特信息量就是兩個互不相容的等可能事件之一發(fā)生時所提供的信息量。信息論中“比特”是指抽象的信息量單位；計算機(jī)術(shù)語中“比特”是代表二元符號（數(shù)字）；這兩種定義之間的關(guān)系是：每個二元符號所能提供的最大平均信息量為1比特。第十一頁，共一百一十二頁，2022年，8月28日信源熵—平均信息量自信息是一個隨機(jī)變量：自信息是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵。信息熵的單位：取決于對數(shù)選取的底。一般選用以2為底，其單位為比特/符號。信息熵的意義：信源的信息熵H是從整個信源的統(tǒng)計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對于某特定的信源，其信息熵只有一個。不同的信源因統(tǒng)計特性不同，其熵也不同。第十二頁，共一百一十二頁，2022年，8月28日熵（Entropy）的直接引入一個離散隨機(jī)變量X，以不同的取值概率有N個可能取值,XP（x）＝a1a2…aNp1p2…pN信息論關(guān)心：X的不確定性不確定性－－大，獲取的信息量－－多研究思路二第十三頁，共一百一十二頁，2022年，8月28日熵的引入不確定性分析：隨機(jī)變量X、Y、ZXP（X）＝

a1

a20.010.99ZP（Z）＝a1

a2

a3

a4a50.20.20.20.20.2YP（Y）＝

a1

a20.50.5問題：1、能否度量？小大2、如何度量？？第十四頁，共一百一十二頁，2022年，8月28日香農(nóng)指出：存在熵函數(shù)

滿足先驗條件1、連續(xù)性條件：是的連續(xù)函數(shù)2、等概時為單調(diào)增函數(shù)：是N的增函數(shù)3、可加性條件：當(dāng)隨機(jī)變量的取值不是通過一次試驗而是若干次試驗確定取值時，X在各次試驗中的不確定性可加。結(jié)論：唯一的形式：C=常數(shù)>0，即：第十五頁，共一百一十二頁，2022年，8月28日可加性條件進(jìn)一步說明：當(dāng)隨機(jī)變量的取值不是通過一次試驗而是若干次試驗確定取值時，隨機(jī)變量在各次試驗中的不確定性可加，且其和始終與通過一次試驗取得結(jié)果的不確定程度相同。第十六頁，共一百一十二頁，2022年，8月28日熵的定義X為一隨機(jī)變量樣本空間X＝{x1,x2,….xn}pi或p(xi)是輸出為xi的概率定義為隨機(jī)變量的熵函數(shù)含義：（1）通過觀測隨機(jī)變量X所獲得的平均信息量（2）對隨機(jī)變量X的“不確定性”、“隨機(jī)性”的度量第十七頁，共一百一十二頁，2022年，8月28日熵的單位與前面介紹自信息的單位時相同，信息熵的單位也與公式中的對數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時單位為比特（bit）；理論推導(dǎo)中用以e為底較方便，這時單位為奈特（Nat）；工程上用以10為底較方便，這時單位為哈特利（Hartley）。它們之間可以引用對數(shù)換底公式進(jìn)行互換。比如：1bit=0.693Nat=0.301Hartley第十八頁，共一百一十二頁，2022年，8月28日熵H(X)--通過觀測隨機(jī)變量X所獲得的平均信息量進(jìn)一步理解：平均－－統(tǒng)計平均（區(qū)別與算術(shù)平均）單位－－抽象的信息單位，無量綱（量綱≠單位）比特－－不同于計算機(jī)中的“比特”計算機(jī)：代表一個二元數(shù)字(binarydigit)信息：對數(shù)取2為底時信息量的單位關(guān)系：每一個二元數(shù)字所能提供的最大平均信息量為1比特認(rèn)為：當(dāng)x＝0時xlog(1/x)=0通信：信息速率—單位時間內(nèi)信息的數(shù)量3第十九頁，共一百一十二頁，2022年，8月28日§2.1.2香農(nóng)熵與熱力學(xué)中熱熵的關(guān)系熵這個名詞是香農(nóng)從物理學(xué)中的統(tǒng)計熱力學(xué)借用過來的，在物理學(xué)中稱它為熱熵，是表示分子混亂程度的一個物理量，這里，香農(nóng)引用它來描述隨機(jī)變量的平均不確定性，含義是類似的。但是在熱力學(xué)中，任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，只會減少，不會增加。所以有人稱信息熵為負(fù)熱熵。二者還有一個重大差別：熱熵是有量綱的，而香農(nóng)熵是無量綱的。2第二十頁，共一百一十二頁，2022年，8月28日（不確定性）§2.1.3熵可以作為信息的量度對于隨機(jī)變量而言：試驗前－－試驗后－－各取值的概率分布確切取值（0）（不確定性）熵的差值一定的確切性多次試驗后－－通過試驗－－消除了不確定性－－獲得了信息信息量＝獲得的信息的數(shù)量＝第二十一頁，共一百一十二頁，2022年，8月28日例2.1:試驗前：試驗后：XP（x）＝1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79natsX1P（x1）＝123456010000H(x1)=0H(x)－H(x1)

=log6第二十二頁，共一百一十二頁，2022年，8月28日例2.2:試驗前：H(x)=log8=3(bit/符號)XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第一次測量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號)H(x)－H(x1)=1－－獲得1bit信息量第二十三頁，共一百一十二頁，2022年，8月28日H(x2)－H(x3)=1－－獲得1bit信息量第二次測量后：X2P(x2)＝123456781/21/2000000H(x2)=log2=1(bit/符號)第三次測量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號)H(x1)－H(x2)=1－－獲得1bit信息量H(X)表示在獲知哪個燈泡是壞的情況前，關(guān)于哪個燈泡已損壞的平均不確定性，即要確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，才能完全消除不確定性。第二十四頁，共一百一十二頁，2022年，8月28日熵的物理含義觀察隨機(jī)變量X、Y、ZXP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5=0.08（比特/符號）=1（比特/符號）H(Z)=5(-0.2log0.2)=2.32（比特/符號）第二十五頁，共一百一十二頁，2022年，8月28日熵的物理含義熵是隨機(jī)變量的隨機(jī)性的描述。變量Y、Z等概，隨機(jī)性大，變量X不等概，則隨機(jī)性小等概情況下，可取值越多，隨機(jī)性越大H（）是描述隨機(jī)變量所需的比特數(shù)熵是隨機(jī)變量平均不確定性的描述X試驗中發(fā)生a1,獲得的自信息為-log0.01=6.64(bit)Y試驗中發(fā)生a1,獲得的自信息為-log0.5=2.32(bit)H（）反映的是平均的不確定性第二十六頁，共一百一十二頁，2022年，8月28日例2.3設(shè)某班學(xué)生在一次考試中獲優(yōu)（A）、良（B）、中（C）、及格（D）和不及格（E）的人數(shù)相等。當(dāng)教師通知某甲：“你沒有不及格”，甲獲得了多少比特信息？為確定自己的成績，甲還需要多少信息？XP（x）＝ABCDE0.20.20.20.20.2X’P（x’）＝ABCDE0.250.250.250.250H(X)=5(-0.2log0.2)=2.32（比特）H(X’)=4(-0.25log0.25)=2（比特）甲獲得的信息=H(X)-H(X’)=0.32（比特）還需要的信息＝2.32-0.32=2（比特）2第二十七頁，共一百一十二頁，2022年，8月28日§2.1.4熵函數(shù)的性質(zhì)香農(nóng)熵是概率矢量的非負(fù)的上凸函數(shù)性質(zhì)1：非負(fù)性性質(zhì)2：上凸性性質(zhì)3：唯一性（連續(xù)性、可加性、等概單調(diào)增）第二十八頁，共一百一十二頁，2022年，8月28日熵函數(shù)的性質(zhì)－－非負(fù)性證明一：因為：則：所以：第二十九頁，共一百一十二頁，2022年，8月28日熵函數(shù)的性質(zhì)－－非負(fù)性證明二：有：或：所以：第三十頁，共一百一十二頁，2022年，8月28日熵函數(shù)的性質(zhì)－－上凸性

凸性的概念：若對區(qū)域D中任意兩點和，均有：則稱：區(qū)域D是凸域。

理解：若兩點和在凸域D內(nèi)，則和之間的線段也整個在區(qū)域D內(nèi)。第三十一頁，共一百一十二頁，2022年，8月28日在[a,b]上定義的下凸函數(shù)若在凸域內(nèi)第三十二頁，共一百一十二頁，2022年，8月28日在[a,b]上定義的上凸函數(shù)若在凸域內(nèi)第三十三頁，共一百一十二頁，2022年，8月28日J(rèn)enson不等式這一結(jié)果被稱為Jenson不等式。Jenson不等式可以根據(jù)凸函數(shù)和數(shù)學(xué)歸納法來證明第三十四頁，共一百一十二頁，2022年，8月28日熵函數(shù)的性質(zhì)—上凸性上凸性：熵函數(shù)具有凸性，即H（P）是P的上凸函數(shù)。證明：（1）證明概率矢量P=(p1,p2,…,pN)的集合組成的區(qū)域是一個凸域。（2）利用作業(yè)第三十五頁，共一百一十二頁，2022年，8月28日熵函數(shù)的性質(zhì)定理2.1－極值性對于離散隨機(jī)變量，當(dāng)其可能的取值等概分布時，其熵達(dá)到最大值。即：其中：N為X可能取值得個數(shù)。第三十六頁，共一百一十二頁，2022年，8月28日例2.4：二元熵函數(shù)是對0－1分布的隨機(jī)變量所求的熵：XP（x）＝01p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)有：而：可以證明，p＝1/2時，H(p)取最大值，為log2=1。而p=0或1時，H(p)＝0，故二元熵函數(shù)的曲線如圖所示：第三十七頁，共一百一十二頁，2022年，8月28日p1.01.00.50H(p)/bit二元熵函數(shù)曲線等概時（p=0.5)：隨機(jī)變量具有最大的不確定性，p=0,1時：隨機(jī)變量的不確定性消失。計算機(jī)術(shù)語VS信息單位：“比特”每一個二元數(shù)字所能提供的最大平均信息量為1比特符號等概分布的二元數(shù)字序列中，每一個二元數(shù)字將平均提供1比特的信息量；符號非等概分布時，每一個二元數(shù)字所提供的平均信息量總是小于1比特第三十八頁，共一百一十二頁，2022年，8月28日例：2.5P={0.5,0.25,0.25}Q={0.48,0.32,0.2}H(P)=H(Q)=1.5bits不同的概率分布熵可以相同F(xiàn)or3symbols:Hmax(P)=log3=1.585bits進(jìn)一步理解：熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，它表征隨機(jī)變量的總體的平均不確定性。局限性：不能描述時間本身的具體含義和主觀價值

第三十九頁，共一百一十二頁，2022年，8月28日定理2.2

設(shè)離散隨機(jī)變量的概密矩陣為函數(shù)是隨機(jī)變量不確定性的量度，若此函數(shù)滿足條件連續(xù)性等概時單調(diào)增函數(shù)性可加性則此函數(shù)必為熵函數(shù)的性質(zhì)－－唯一性XP（x）＝a1a2…aNp1p2…pN證明：可參見朱雪龍《應(yīng)用信息論基礎(chǔ)》P24第四十頁，共一百一十二頁，2022年，8月28日§2.1.5聯(lián)合熵與條件熵－條件熵物理含義：已知一隨機(jī)變量的情況下，對另一隨機(jī)變量不確定性的量度條件熵：理解：觀測Y以后，仍保留的關(guān)于X的不確定量。信道第四十一頁，共一百一十二頁，2022年，8月28日§2.1.5聯(lián)合熵與條件熵－聯(lián)合熵聯(lián)合熵物理意義：二元隨機(jī)變量不確定性的量度第四十二頁，共一百一十二頁，2022年，8月28日聯(lián)合熵、條件熵的關(guān)系：當(dāng)X,Y相互獨立時，有：于是有：理解：當(dāng)隨機(jī)變量相互獨立時，其聯(lián)合熵等于單個隨機(jī)變量的熵之和，而條件熵等于無條件熵。第四十三頁，共一百一十二頁，2022年，8月28日聯(lián)合熵、條件熵的關(guān)系：一般情況下理解：表明一般情形下：條件熵總是小于無條件熵。注意：這是平均意義上的2第四十四頁，共一百一十二頁，2022年，8月28日“相對”熵：設(shè)p(x),q(x)是兩個不同的離散概率分布函數(shù)，則：為概率分布函數(shù)p(x)關(guān)于q(x)的“相對”熵。2作業(yè)：利用Jenson不等式證明意義：如果p(x)看作系統(tǒng)本身的概率分布，q(x)看做人們對系統(tǒng)進(jìn)行估計得到的經(jīng)驗概率分布，則相對熵反映了由于逼近誤差引起的信息量的丟失。第四十五頁，共一百一十二頁，2022年，8月28日§2.2

離散隨機(jī)變量的互信息（Mutualinformation）

互信息的定義2.2.2互信息函數(shù)的性質(zhì)2.2.3熵VS互信息

1第四十六頁，共一百一十二頁，2022年，8月28日H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(Y|X)

H(Y),ifandonlyifX,Y獨立時，等號成立H(XY)H(X)+H(Y)，ifandonlyifX,Y獨立時，等號成立H(X)與H(X|Y)之間的差值

H(X)–H(X|Y)可以認(rèn)為是變量Y能夠提供的關(guān)于變量X的平均信息量－－定義為互信息

即I(X;Y)=H(X)–H(X|Y)§2.2.1互信息的定義-1第四十七頁，共一百一十二頁，2022年，8月28日§2.2.1互信息的定義-2I(X;Y)=I(Y;X)=H(Y)–H(Y|X)=H(X)–H(X|Y)H(X)+H(Y)=H(XY)+I(X;Y)I(X;Y)=H(X)+H(Y)–H(XY)圖像配準(zhǔn)第四十八頁，共一百一十二頁，2022年，8月28日§2.2.1互信息的定義-3定義：離散隨機(jī)變量X和Y之間的互信息第四十九頁，共一百一十二頁，2022年，8月28日§2.2.1互信息的定義-4和是隨機(jī)變量X和Y之間相互提供的信息量－－稱為互信息是完全確切的＝證明略。一般情況下：理解：了解一事物總對另一事物的了解有所幫助第五十頁，共一百一十二頁，2022年，8月28日§2.2.1互信息的定義-4當(dāng)隨機(jī)變量X和Y之間有確定的關(guān)系時1、X可以唯一確定Y，此時：故：2、Y可以唯一確定X，此時：故：是對X和Y之間統(tǒng)計依存程度的信息量度第五十一頁，共一百一十二頁，2022年，8月28日§2.2.1互信息的定義-5＝＋＝＋＝另一種定義：這里：第五十二頁，共一百一十二頁，2022年，8月28日變換得到互信息的另一種表達(dá)式：I（X;Y）是隨機(jī)變量X的概率矢量p

和條件概率矩陣Q的函數(shù)2第五十三頁，共一百一十二頁，2022年，8月28日2＝＝第五十四頁，共一百一十二頁，2022年，8月28日2問題引出：在通信系統(tǒng)中，人們往往對接收到的數(shù)據(jù)進(jìn)行信息處理和分析，然而，很多處理模式因為缺少正確的抉擇，而導(dǎo)致信息量的丟失或增加了對原始數(shù)據(jù)的干擾。下面我們從信息論的角度加以分析。定義：假設(shè)隨機(jī)變量X,Y,Z的取值空間是由有限個離散點組成，定義兩個隨機(jī)變量X、Y與Z的互信息為：鏈?zhǔn)椒▌t與信息處理第五十五頁，共一百一十二頁，2022年，8月28日2即：引理：鏈?zhǔn)椒▌t與信息處理第五十六頁，共一百一十二頁，2022年，8月28日2請自己看證明同理可證：鏈?zhǔn)椒▌t與信息處理第五十七頁，共一百一十二頁，2022年，8月28日討論：上述不等式成立的條件為：對任意的當(dāng)時，有：這表明：如果是一馬爾科夫鏈，則等號成立。2如果是一馬爾科夫鏈；則也是一馬爾科夫鏈。鏈?zhǔn)椒▌t與信息處理第五十八頁，共一百一十二頁，2022年，8月28日2鏈?zhǔn)椒▌t與信息處理設(shè)是一馬爾科夫鏈；則定理：證明：引理部分可得，因是一馬爾科夫鏈；又利用是馬爾科夫鏈；利用引理可得第五十九頁，共一百一十二頁，2022年，8月28日2鏈?zhǔn)椒▌t與信息處理所以：上述定理表明：對一個信息處理系統(tǒng)，如果系統(tǒng)數(shù)據(jù)處理過程可用一馬爾科夫鏈進(jìn)行描述，那么每增加一次處理，系統(tǒng)信息量是遞減的。從另一個角度講，系統(tǒng)每增加一次處理，數(shù)據(jù)特征的不確定性是遞減的，確定性是遞增的。第六十頁，共一百一十二頁，2022年，8月28日2多個隨機(jī)變量下的互信息本部分內(nèi)容學(xué)生自己推導(dǎo)，作業(yè)。第六十一頁，共一百一十二頁，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)的關(guān)系性質(zhì)1：I(P;Q)是P(x)的上凸函數(shù).I(p;Q)pp’信道理解：

可以看成信道輸入的概率分布第六十二頁，共一百一十二頁，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與Q矩陣的關(guān)系

性質(zhì)2：I(p;Q)是Q的下凹函數(shù).理解：Q可以看成信道轉(zhuǎn)移概率分布I(p;Q)QQ’信道1信道2信道第六十三頁，共一百一十二頁，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)的相關(guān)性的關(guān)系

性質(zhì)3:若概率矢量p是離散無記憶的,證明參見傅祖蕓“信息論-基礎(chǔ)理論與應(yīng)用（第二版）”p118第六十四頁，共一百一十二頁，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與Q的相關(guān)性的關(guān)系

性質(zhì)4:若條件概率矩陣Q是離散無記憶的,第六十五頁，共一百一十二頁，2022年，8月28日§2.2.2互信息函數(shù)的性質(zhì)互信息與p(x)及Q的相關(guān)性的關(guān)系

推論:若概率矢量p和條件概率矩陣Q都是離散無記憶的,2第六十六頁，共一百一十二頁，2022年，8月28日證明：因為信源有可能是有記憶信源，所以信道輸出之間有可能相互關(guān)聯(lián)第六十七頁，共一百一十二頁，2022年，8月28日第六十八頁，共一百一十二頁，2022年，8月28日當(dāng)信源是無記憶信源時，

第六十九頁，共一百一十二頁，2022年，8月28日第七十頁，共一百一十二頁，2022年，8月28日第七十一頁，共一百一十二頁，2022年，8月28日§2.2.3熵VS互信息信息熵是表征隨機(jī)變量本身統(tǒng)計特性的一個物理量，它是隨機(jī)變量平均不確定性的度量，是從總體統(tǒng)計特性上對隨機(jī)變量的一個客觀描述?；バ畔(X;Y),作為信息量一般是針對觀測到另一個隨機(jī)變量時而言的，是一個相對量，是指觀測者從隨機(jī)變量Y中所獲得的關(guān)于隨機(jī)變量X的信息度量。在通信中，互信息是針對接收者而言的，是指接收者收到的關(guān)于信源的信息度量，當(dāng)通信中無干擾時，接收者獲得的信息量數(shù)量上就等于信源給出的信息熵，但是兩者的概念不一樣；當(dāng)信道有干擾時，不僅概念上不一樣，而且數(shù)量上也不相等。信息熵也可理解為信源輸出的信息量。2第七十二頁，共一百一十二頁，2022年，8月28日作業(yè)二：已知12個球中有一個球的重量與其他球不同，其他球均等重，(1)、用天平稱幾次可找出此球?(2)、給出一種找出此球的方法，并求：每次稱量所減少的不確定性（即獲得的信息量）是多少？作業(yè)：作業(yè)一:一個出老千的賭徒有一枚灌了鉛的色子A，它擲出1點的概率是2/3，擲出2至6點的概率各為1/15。不幸的是，他將色子A與另外兩枚正常的色子B、C混在一起了。為了區(qū)分出A，他隨機(jī)抽出一枚色子并且擲出了1點，那么他判斷這個色子為A的正確概率是多少？他不放心，拿著這個色子又?jǐn)S了一次，又得到了1點，那么此時他判斷這個色子為A的正確概率是多少？第七十三頁，共一百一十二頁，2022年，8月28日3、有一離散無記憶信源，其輸出為Ｘ｛０，１，２｝，相應(yīng)的概率為用兩個獨立的通信系統(tǒng)去傳輸它，其收到的結(jié)果分別為｛０，１｝，｛０,１｝，已知條件概率如下表所列。求和，并判斷哪一個通信系統(tǒng)好些。

０１０１０１０１２１／２１／２０１０１０１１０２０１第七十四頁，共一百一十二頁，2022年，8月28日作業(yè)一：已知12個球中有一個球的重量與其他球不同，其他球均等重，1、用天平稱幾次可找出此球?2、給出一種找出此球的方法，并求：每次稱量所減少的不確定性（即獲得的信息量）是多少？

解1、設(shè)“在12個球中有一個球的重量與其他球不同”這事件為,其出現(xiàn)的概率為又設(shè)“這個特別球的重量比其它的重量是重或輕”這事件為,其出現(xiàn)的概率為第七十五頁，共一百一十二頁，2022年，8月28日第七十六頁，共一百一十二頁，2022年，8月28日2、把12個球分ABC三份:每份4個，記作A{A1，A2，A3，A4}，B{B1，B2，B3，B4}，C{C1，C2，C3，C4}開始第一稱：取A份放天平左盤，B份放右盤

如果(左=右)則說明次品在C組四個中開始第二稱：取C1放左盤，C2放右盤

如果(左=右)則說明次品在C3，C4中開始第三稱：把C1取出，把C3放入左盤如果(左=右)則說明次品是C4；否則說明次品是C3第七十七頁，共一百一十二頁，2022年，8月28日否則說明次品在C1，C2中開始第三稱：把C1取出，把C3放入左盤如果(左=右)則說明次品是C1；否則說明次品是C2否則說明次品在A組、B組八個中，這個時候需要記住天平向那邊傾斜（假設(shè)向左邊傾斜，就是說左邊重，左>右)這時需要第二次稱重.

第七十八頁，共一百一十二頁，2022年，8月28日第二次稱，從右盤B組中取出B2，B3，B4，從左盤A組中取A2，A3，A4放入右盤，從C組中任意取C2，C3，C4放入左盤如果(左=右)，則說明次品在B2,B3，B4中,而且說明次品是輕的

開始第三稱：取出天平里全部的球，把B2放入左盤，把

B3放入右盤如果(左=右)；則說明次品是B4；否則說明次品是在B2，B3中如果(左>右)則說明次品是B3；否則說明次品是B2第七十九頁，共一百一十二頁，2022年，8月28日否則說明次品在A1,A2,A3,A4,B1中,這個時候需要記住天平向那邊傾斜

如果(左>右)則說明次品在A1，B1中開始第三稱，全部取出天平里的球，把A1、B1放入左盤，把其他任取2球放入右盤，天平肯定不平衡了如果(左>右)則說明次品是A1，且次品重；否則說明次品是B1，且次品輕否則說明次品在A2，A3，A4中，且次品重開始第三稱，全部取出天平里的球，把A2放入左盤，把A3放入右盤如果(左=右)則說明次品是A4，且次品重如果(左>右)則說明次品是A2，且次品重；否則，說明次品是B3，且次品重第八十頁，共一百一十二頁，2022年，8月28日單維連續(xù)信源實際中，某些信源的輸出常常是時間和取值都是連續(xù)的隨機(jī)函數(shù)。例如語音信號、電視信號。這樣的信源稱為連續(xù)信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。在某一固定的時刻t0，信源{x(t)}的輸出是一個取值連續(xù)的隨機(jī)變量X。由一個連續(xù)隨機(jī)變量X表示的連續(xù)信源，稱為單維連續(xù)信源?！?.3連續(xù)隨機(jī)變量下的熵和互信息連續(xù)隨機(jī)變量下的微分熵第八十一頁，共一百一十二頁，2022年，8月28日單維連續(xù)信源的表示方法?連續(xù)信源中消息數(shù)是無限的。?連續(xù)信源可用概率密度函數(shù)來描述。離散信源連續(xù)信源消息：離散符號信源空間：消息：取值連續(xù)的隨機(jī)變量信源空間：第八十二頁，共一百一十二頁，2022年，8月28日單維連續(xù)信源的熵把落在第i個區(qū)間中的全部x值都由xi表示，這樣，在[a,b]中連續(xù)取值的連續(xù)信源X，即可量化成取離散值xi(i=1,2,…,n)的離散信源Xn積分中值定理把區(qū)間[a,b]等分成n個區(qū)間，區(qū)間寬連續(xù)隨機(jī)變量X落在第i個區(qū)間的概率為第八十三頁，共一百一十二頁，2022年，8月28日離散信源Xn的信源空間為Xn的概率空間是一個完備集其中，第八十四頁，共一百一十二頁，2022年，8月28日微分熵(相對熵)：h(X)第八十五頁，共一百一十二頁，2022年，8月28日H(X)為X的信息熵，無限大h(X)稱為X的微分熵(相對熵)，由p(x)確定注意：相對熵h(X)不代表信源X的平均不確定性，也不代表X每取一個數(shù)值所提供的平均信息量，不含有信息的內(nèi)涵令則（無限大常數(shù)）定義h(X)的原因：2、互信息(熵差)，無限大量抵消，具有信息的特征1、形式上與離散信源熵統(tǒng)一第八十六頁，共一百一十二頁，2022年，8月28日連續(xù)信源的各種熵邊界熵h(X)=-∫

∞

-∞

p(x)㏒p(x)dxh(Y)=-∫

∞

-∞

p(y)㏒p(y)dy條件熵h(Y/X)=-∫

∞

-∞

p(xy)㏒p(y/x)dxdy∫

∞

-∞

h(X/Y)=-∫

∞

-∞

p(xy)㏒p(x/y)dxdy∫

∞

-∞

聯(lián)合熵h(XY)=-∫

∞

-∞

p(xy)㏒p(xy)dxdy∫

∞

-∞

第八十七頁，共一百一十二頁，2022年，8月28日§2.3.2幾種單維連續(xù)信源的相對熵均勻分布相對熵：信源空間：相對熵?zé)o非負(fù)性，可為負(fù)值第八十八頁，共一百一十二頁，2022年，8月28日高斯分布：第八十九頁，共一百一十二頁，2022年，8月28日第九十頁，共一百一十二頁，2022年，8月28日與方差有關(guān)，與均值無關(guān)當(dāng)均值m=0(即方差表示平均功率)時：相對熵只與平均功率有關(guān)第九十一頁，共一百一十二頁，2022年，8月28日指數(shù)分布：第九十二頁，共一百一十二頁，2022年，8月28日指數(shù)分布的相對熵只取決于信源的均值a第九十三頁，共一百一十二頁，2022年，8月28日§2.3.3相對熵的性質(zhì)相對熵的可加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計獨立時，等號成立，所以可得：h(XY)≤h(X)+h(Y)第九十四頁，共一百一十二頁，2022年，8月28日相對熵的極值性詹森不等式：設(shè)函數(shù)f(x)在區(qū)間A中連續(xù)，概率密度函數(shù)滿足，當(dāng)f(x)是上凸函數(shù)時，有因f(x)=logx是上凸函數(shù)，設(shè)q(x)為另一概率密度函數(shù)，所以表明，相對熵存在最大值，與離散信源的熵H(X)類似若等式成立，則表明達(dá)最大值第九十五頁，共一百一十二頁，2022年，8月28日相對熵的上凸性設(shè)是單維連續(xù)信源X的兩種概率密度函數(shù)，則有設(shè)則故亦可看作連續(xù)信源X的另一種概率密度函數(shù)是上凸函數(shù)第九十六頁，共一百一十二頁，2022年，8月28日最大相對熵定理

由h(X)的上凸性和極值性可知，h(X)的最大值就是h(X)的極大值。一般，單維連續(xù)信源X要受約束條件的限制：對于單維連續(xù)信源Ｘ，在取值區(qū)間[a,b]內(nèi)，若有這樣一個概率密度函數(shù)p(x)，對另一個滿足同樣約束條件的概率密度函數(shù)q(x)，有則這個函數(shù)p(x)就是能使單維連續(xù)信源Ｘ的相對熵hp(X)達(dá)到最大值的概率密度函數(shù)。第九十七頁，共一百一十二頁，2022年，8月28日峰值功率受限最大熵定理對于輸出消息的峰值功率受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是均勻分布時，相對熵達(dá)到最大值。均勻分布的概率密度函數(shù)在滿足公式(111)時可求：最大相對熵峰值功率受限實質(zhì)上就是取值區(qū)間受限。當(dāng)，是信源X的輸出幅值，是信源X的峰值功率。第九十八頁，共一百一十二頁，2022年，8月28日均值受限最大熵定理對于輸出非負(fù)消息且其均值受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是指數(shù)分布時，其相對熵達(dá)到最大值。指數(shù)分布的概率密度函數(shù)最大相對熵

只取決于限定均值a在滿足公式(111)時可求：第九十九頁，共一百一