信息理論基礎(chǔ) 第二章 信息的度量

1、信息理論基礎(chǔ) 第二章 信息的度量第1頁，共99頁，2022年，5月20日，0點57分，星期一第一節(jié) 離散熵一. 單符號離散信源 1.定義 如果信源發(fā)出的消息是離散的符號或數(shù)字，并且一個符號代表一條完整的消息，則稱這種信源為單符號信源。2.數(shù)學(xué)模型第2頁，共99頁，2022年，5月20日，0點57分，星期一信源發(fā)送符號ai的自信息量I(ai) ,(i=1,2,r)I(ai) =收到ai 前,信宿對信源發(fā)送符號ai 的不確定性-信源發(fā)送單個符號所攜帶的的信息量信息量的度量轉(zhuǎn)化為對不確定性的度量二.自信息量 第3頁，共99頁，2022年，5月20日，0點57分，星期一I(ai) 必須滿足以下四個公理

2、性條件:1.信源發(fā)送符號ai和aj的先驗概率分別為p(ai)和p(aj),如果0p(ai) p(aj)1,則2.信源發(fā)送符號ai的先驗概率p(ai) = 0,則3.信源發(fā)送符號ai的先驗概率p(ai) = 1,則4.設(shè)有兩個獨立信源X和Y,信源X發(fā)送符號ai的先驗概率為p(ai),信源Y發(fā)送符號aj的先驗概率為p(aj),符號ai 和aj的聯(lián)合消息(aiaj)的先驗概率為p (aiaj),則第4頁，共99頁，2022年，5月20日，0點57分，星期一I(ai) 的具體表達式:又名概率信息單位:以2為底,單位為比特以e為底,單位為奈特以10為底,單位為哈特萊自信息量在歷史上第一次使信息的度量成為

3、可能，成為推動信息論發(fā)展的基石。第5頁，共99頁，2022年，5月20日，0點57分，星期一例2-1：有12個球，只有一個是非標重球，問是否存在用天平稱3次必然找到該球的方法？(從信息的角度解決)解：天平的狀態(tài)有三種：平衡、左輕、左重 每稱一次消除一種狀態(tài)，則帶來的信息量為log3 則稱3次后，帶來的信息量為3log3 = log27 結(jié)論:而一個非標球的攜帶的信息量為可見：信息的度量是為了找到解決問題的方法，而不是純粹度量信息的大小第6頁，共99頁，2022年，5月20日，0點57分，星期一三. 離散熵 請問: 能否用自信息量作為信源的總體信息測度呢?從定性的角度可知：三個信源不確定性大小為

4、XYH(Y)H(X) 結(jié)論：X、Y、Z熵的大小關(guān)系與X、Y、Z 不確定性的大小關(guān)系符合，說明熵的確可以作為信源的總體信息側(cè)度第9頁，共99頁，2022年，5月20日，0點57分，星期一信息熵的物理意義請問： 由熵的推導(dǎo)過程看，熵具有什么樣的物理意義呢？3.反映隨機變量X的隨機性2.表示信源輸出前，信源的平均不確定度1.表示信源輸出后，每個離散消息所提供的平均信息量熵還可記為H(P)或H(p1,p2,pr)第10頁，共99頁，2022年，5月20日，0點57分，星期一設(shè)離散無記憶信源 其發(fā)生的消息為：）求（1）此消息的自信息量。 （2）在此消息中平均每個符號攜帶的信息量。例2-2第11頁，共99

5、頁，2022年，5月20日，0點57分，星期一解：（1）消息的自信息量就是等于消息中各個符號的自信息量之和。根據(jù)題意可得：此消息中共有14個“0”符號，13個“1”符號，12個“2”符號，6個“3”符號，則得到的自信息量是：第12頁，共99頁，2022年，5月20日，0點57分，星期一（2）此消息中平均每個符號攜帶的信息量為：原因：(2)問的值是該特定消息中平均每個符號攜帶的信息量，而信息熵是離散無記憶信源平均每個符號攜帶的信息量，是統(tǒng)計平均值。信源的信息熵:結(jié)論: (2)問的值與信源的信息熵不完全相等第13頁，共99頁，2022年，5月20日，0點57分，星期一例 熵在語音端點檢測中的應(yīng)用(

6、本人的實際工作）純凈語音波形帶噪語音波形譜熵加能量參數(shù)分帶譜熵加能量參數(shù)第14頁，共99頁，2022年，5月20日，0點57分，星期一四. 熵的性質(zhì) 1.對稱性 ,各pn的順序變化,不影響熵值各自的熵為: H(X) = H(Y) =H(Z)=1.4592 bit/symbol對稱性說明:-信源的信息熵只與信源的概率空間的總體結(jié)構(gòu)有關(guān),與具體內(nèi)容無關(guān)例：第15頁，共99頁，2022年，5月20日，0點57分，星期一2.非負性證明：提問:何時等式成立?非負性表明： 從總體看，信源在發(fā)送符號以前，總存在一定的不確定性；在發(fā)符號后，總可提供一定的信息量第16頁，共99頁，2022年，5月20日，0點5

7、7分，星期一則或又只有某一個，而其他當(dāng)且僅當(dāng)在 中各項為零時等號成立，即 第17頁，共99頁，2022年，5月20日，0點57分，星期一若信源符號集中，有一個符號幾乎必然出現(xiàn)，其他符號幾乎不可能出現(xiàn)，則該信源為一個確知信源，則信息熵等于零,即： 3.確定性熵函數(shù)的確定性表明： 只有信源的任一個概率分量等于1時，才能使信源信息熵等于零，除此以外的任何情況的信息熵都大于零。 對于確知信源，發(fā)符號前，不存在不確定性；發(fā)符號后，不提供任何信息量。第18頁，共99頁，2022年，5月20日，0點57分，星期一4.上凸性YX X 0 H X+(1-)Y設(shè)有一個多元函數(shù)或矢量函數(shù) 第19頁，共99頁，202

8、2年，5月20日，0點57分，星期一證明:由于后面兩項的數(shù)值均大于零，故有：上凸性說明： 熵函數(shù)具有極大值取則:第20頁，共99頁，2022年，5月20日，0點57分，星期一5.極值性（最大離散熵定理）H(P) logr,當(dāng)且僅當(dāng)?shù)雀欧植紩r等號成立, r為X的取值個數(shù)證明：按條件極大值的數(shù)學(xué)求解方法，作輔助函數(shù)：其中，為待定常數(shù)，對輔助函數(shù)中的r個變量pi(i=1,2,r)分別求偏導(dǎo)，并令為零，得r個穩(wěn)定方程將上式代入約束條件得：熵函數(shù)的最大值為則有： H(P) logr ,當(dāng)且僅當(dāng)?shù)雀欧植紩r等號成立第21頁，共99頁，2022年，5月20日，0點57分，星期一熵的極值性說明： 在所有符號個數(shù)

9、相同，而符號的概率分布不同的離散信源中，以先驗等概的信源的信息熵最大，其最大值等于信源符號個數(shù)r的對數(shù)；同時說明： 離散信源信息熵的最大值，只取決于信源符號的個數(shù)r，r越大，其信息熵也越大第22頁，共99頁，2022年，5月20日，0點57分，星期一6.擴展性含義：若信源X有q個符號，信源Y有q+1個符號，兩者的差異只多了一個概率接近零的符號，則兩信源的熵值是一樣的；證明：擴展性說明：若信源空間中增加某些概率接近于零的信源符號，對信源的熵值的貢獻可以忽略不計第23頁，共99頁，2022年，5月20日，0點57分，星期一提問：在通信的接收端，當(dāng)接收到符號y后，對信源發(fā)送符號x到底還存在多大的不確

10、定度呢？或者說在y已知的條件下，x發(fā)生會帶來多大的信息量呢？ 五.條件自信息量 事件x在事件y給定的條件下的自信息量定義為條件自信息量： 含義：已知y后對x 則有一定的了解，不了解的那部分攜帶的信息量既是條件自信息量，也可表示已知y后對x還殘留的不確定度。 引入條件自信息量的目的： 衡量符號之間相關(guān)性導(dǎo)致攜帶信息的變化 在通信系統(tǒng)中可以描述信道的作用第24頁，共99頁，2022年，5月20日，0點57分，星期一 設(shè)在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意放在棋盤中的某方格且讓乙猜測棋子所在的位置所攜帶的信息量：（1）將方格按順序編號，令乙猜測棋子所在方格的順序號；（2）將方格分別按

11、行和列編號，甲將棋子所在方格的行或列編號告訴乙之后，再令乙猜測棋子所在列或行的位置。 例2-3：第25頁，共99頁，2022年，5月20日，0點57分，星期一解：（1）令把棋子任意放在棋盤的某一格為事件xi，則該事件發(fā)生的概率為：則該事件攜帶的信息量為： （2）設(shè)行為隨機變量X，列為隨機變量Y，則在事件yj發(fā)生后事件xi發(fā)生的概率為：則該事件攜帶的信息量為：由結(jié)果可知: 事件yj的出現(xiàn)降低了事件xi發(fā)生所攜帶的信息量原因: 事件yj的出現(xiàn)帶來了事件xi的部分的信息，導(dǎo)致對事件xi的不確定性減小第26頁，共99頁，2022年，5月20日，0點57分，星期一請問:當(dāng)在接收端接收到符號y后, 信源的

12、整體特性會發(fā)生變化嗎?如果發(fā)生變化,則在該條件下,信源每發(fā)送一個符號平均可提供的信息是多少?當(dāng)接收端收到的所有的符號后, 發(fā)送端的信源每發(fā)送一個符號平均可提供多少信息?第27頁，共99頁，2022年，5月20日，0點57分，星期一六.條件熵給定yj條件下集合X的總體信息度量有：再考慮整個Y集合，有：同理：第28頁，共99頁，2022年，5月20日，0點57分，星期一 H(Y|X)表示已知X后Y “殘留”的不確定度條件熵的含義：表示在已知一隨機變量的情況下，對另一隨機變量的不確定性的度量。H(X|Y)表示已知Y后X“殘留”的不確定度信道XY請問：H(X|Y)表示什么意義？ 表示接收端接收到Y(jié)后對

13、X還殘留的不確定度，即對X還有未知的部分，這部分通過信道傳輸時由于信道中的干擾被損失了第29頁，共99頁，2022年，5月20日，0點57分，星期一七.聯(lián)合熵聯(lián)合熵H(XY)含義:表示聯(lián)合隨機變量XY攜帶的信息量，即兩者攜帶的信息之和.第30頁，共99頁，2022年，5月20日，0點57分，星期一八. 各種熵之間的關(guān)系聯(lián)合熵與離散熵、條件熵的關(guān)系同理：第31頁，共99頁，2022年，5月20日，0點57分，星期一當(dāng)X、Y相互獨立有： 第32頁，共99頁，2022年，5月20日，0點57分，星期一2. 聯(lián)合熵與離散熵的關(guān)系當(dāng)X和Y相互獨立時,等式成立證明：利用對于任意實數(shù)x0,有則：第33頁，共

14、99頁，2022年，5月20日，0點57分，星期一3. 條件熵與離散熵的關(guān)系證明： 當(dāng)X和Y有確定的函數(shù)關(guān)系，且X可完全確定Y，或Y完全確定X，則 則有 第34頁，共99頁，2022年，5月20日，0點57分，星期一總結(jié)：各種熵之間的關(guān)系(利用集合概念)X YH(X)X YH(XY)X YH(X|Y)X YH(Y|X)第35頁，共99頁，2022年，5月20日，0點57分，星期一設(shè)一系統(tǒng)的輸入符號集X=(x1,x2,x3,x4,x5)，輸出符號集Y=(y1,y2,y3,y4) 輸入符號與輸出符號間的聯(lián)合分布為試求: H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y)例2-4第36頁，共

15、99頁，2022年，5月20日，0點57分，星期一解：由全概率公式可知：則從已知可求：第37頁，共99頁，2022年，5月20日，0點57分，星期一H(Y|X) = H(XY)-H(X) = 2.665-2.066 = 0.599bit/symbolH(X|Y) = H(XY)-H(Y) = 2.665-1.856 = 0.809bit/symbol第38頁，共99頁，2022年，5月20日，0點57分，星期一例2-5：設(shè)A、B兩地的天氣情況分別如表所示：晴多云雨冰雹A1/21/41/81/8B1/21/81/81/4求各地天氣情況攜帶的信息量解： 提問：熵能描述主觀價值嗎？信息熵?zé)o法描述主觀

16、意義上事件的重要性,為此引入 加權(quán)熵第39頁，共99頁，2022年，5月20日，0點57分，星期一則加權(quán)熵定義為： 設(shè)有隨機變量X，引入事件的重要性，其概率空間為Wi表示事件的重要性實際工程中常采用加權(quán)熵九. 加權(quán)熵第40頁，共99頁，2022年，5月20日，0點57分，星期一第二節(jié) 平均互信息一.單符號離散信道 1.定義: 輸入和輸出都是離散的單符號的信道。2.數(shù)學(xué)模型 干擾信道信源X輸出Y第41頁，共99頁，2022年，5月20日，0點57分，星期一二.互信息-從一個符號獲得關(guān)于另一個符號的信息量 信宿接收到符號yj后,從yj中獲得關(guān)于符號xi的信息量I(xi ;yj) (i=1,2,r;

17、 j=1,2,s)1. 定義 = 信宿收到y(tǒng)j前，對信源發(fā)送xi的不確定性- 信宿收到y(tǒng)j后，對信源發(fā)送xi仍然還存在的不確定性提問：xi通過信道傳輸后，有多少信息傳給了接收端？第42頁，共99頁，2022年，5月20日，0點57分，星期一表示：信道在把符號xi通過信道傳遞給信宿變成yj的過程中信道傳遞的信息量單位與自信息量的一致互信息函數(shù)的導(dǎo)出,為定量描述信息的傳輸問題, 奠定了堅實的基礎(chǔ).提問：互信息與條件自信息有什么關(guān)系？第43頁，共99頁，2022年，5月20日，0點57分，星期一2.互信息的性質(zhì)(1)對稱性I( xi ; yj )=I( yj ; xi )證明: 對稱性說明：互信息是

18、兩個事件之間的共性。無論從哪個事件獲得關(guān)于另一個事件的信息都是相等的。第44頁，共99頁，2022年，5月20日，0點57分，星期一(2)互信息量可為零當(dāng)事件xi，yj統(tǒng)計獨立時，兩者的互信息量I(xi;yj)=0證明： xi，yj統(tǒng)計獨立則當(dāng)互信息量為零，意味著不能從觀測其中一個事件獲得關(guān)于另一個事件的任何信息第45頁，共99頁，2022年，5月20日，0點57分，星期一(3)互信息量可正可負互信息量為負互信息量為正含義: 互信息量為正,意味著事件yj的出現(xiàn)有助于肯定事件xi的出現(xiàn) 互信息量為負,意味著事件yj的出現(xiàn)不利于肯定事件xi的出現(xiàn)請問:在通信中什么原因造成互信息量為負?信道中存在的

19、干擾,導(dǎo)致發(fā)生傳輸錯誤所致第46頁，共99頁，2022年，5月20日，0點57分，星期一(4)極值性證明：且 p(xi|yj)1同理極值性說明：自信息量是為了確定事件出現(xiàn)所必需提供的信息量，也是其他事件所能提供的關(guān)于該事件的最大信息量第47頁，共99頁，2022年，5月20日，0點57分，星期一例2-6 用傳送帶測定生產(chǎn)的每袋化肥重量是否符合規(guī)定，而在傳送帶終端裝有測定顯示裝置，顯示符號A、B和C分別表示超重H、正常N和過輕L三種情況。一袋化肥放在傳送帶上的位置偏了就會產(chǎn)生錯誤顯示，使得超重的卻顯示B信號，正常的顯示C信號。而且總有15%超重和10%正常的的化肥袋子放偏位置。今有一批生產(chǎn)的化肥

20、，超重的占15%，正常的75%，過輕的占10%。請問：當(dāng)顯示裝置顯示符號為A、B和C時所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各是多少？ 第48頁，共99頁，2022年，5月20日，0點57分，星期一解：由已知可知 并有下列的條件概率： 利用貝葉斯公式，即 可以計算出后驗概率:第49頁，共99頁，2022年，5月20日，0點57分，星期一則當(dāng)顯示裝置顯示符號為A、B和C時所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各自為： 第50頁，共99頁，2022年，5月20日，0點57分，星期一信道XYp(yj|xi)干擾信道Zp(zk|xi yj)提問：當(dāng)隨機變量Z出現(xiàn)zk，請問在此條件下，隨機變量Y

21、出現(xiàn)yj后，獲得關(guān)于信源發(fā)送符號xi多大的信息量？第51頁，共99頁，2022年，5月20日，0點57分，星期一定義：聯(lián)合集中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量，即表明：在隨機變量Z出現(xiàn)符號zk的前提條件下，從隨機變量Y的符號yj中獲取關(guān)于信源X的符號xi的信息量等于隨機變量Y出現(xiàn)符號yj前、后，對信源發(fā)送符號xi的條件不確定性的減少。 二.條件互信息第52頁，共99頁，2022年，5月20日，0點57分，星期一 利用互信息和條件互信息可解決符號序列的信息測量問題第53頁，共99頁，2022年，5月20日，0點57分，星期一例2-7 下表中列出了無失真信源編碼消息

22、、消息的先驗概率以及每個消息所對應(yīng)的碼字。信源消息a1a2a3a4a5a6a7a8碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16當(dāng)接收端接收到碼符號序列011時，請問從接收到的這些碼符號序列中獲得了關(guān)于碼字a4所代表的消息的信息量是多少？第54頁，共99頁，2022年，5月20日，0點57分，星期一解： 令b,c,d分別表示碼字011中的第一個碼符號0，第二個碼符號1，第三個碼符號1，則有： 第55頁，共99頁，2022年，5月20日，0點57分，星期一表明：第一個碼符號0提供關(guān)于碼字a4的信息量為 (2-log3)bit第

23、56頁，共99頁，2022年，5月20日，0點57分，星期一表明：在接收到第一個碼符號0的前提下，第二個碼符號1提供關(guān)于碼字a4的信息量為log3bit第57頁，共99頁，2022年，5月20日，0點57分，星期一表明：在接收到序列01的前提下，第三個碼符號1提供關(guān)于碼字a4的信息量為1bit表明：在接收到序列011后提供關(guān)于碼字a4的信息量為3bit說明：消息a4與相應(yīng)碼字是一一對應(yīng)的確定關(guān)系第58頁，共99頁，2022年，5月20日，0點57分，星期一請問:當(dāng)在接收端接收到符號y后,從該符號能否獲得發(fā)送端信源的平均每個符號攜帶的信息量?從接收到的信源Y,能否知道發(fā)送端的信源平均每個符號攜帶

24、的信息呢?第59頁，共99頁，2022年，5月20日，0點57分，星期一三.平均條件互信息 當(dāng)信宿Y收到某一具體的符號bj后，從bj中獲取的關(guān)于輸入符號的平均信息量： -從信源的某一個符號獲取的關(guān)于另一個信源的平均信息量 當(dāng)信源X發(fā)送符號ai后，從ai 中獲取的關(guān)于輸出符號的平均信息量:第60頁，共99頁，2022年，5月20日，0點57分，星期一 (a)在聯(lián)合集上，I(X;bj)=0,當(dāng)且僅當(dāng)集合中的各個ai都與事件bj相互獨立時,等號成立證明：平均條件互信息的性質(zhì)：第61頁，共99頁，2022年，5月20日，0點57分，星期一表明：從平均意義上講，從信宿Y中的任一個具體符號bj中總可以獲取

25、一點關(guān)于信源X的信息量。只有當(dāng)信宿Y的具體符號bj與信源X統(tǒng)計獨立時，從bj中才獲取不到關(guān)于信源X的任何信息量證明：第62頁，共99頁，2022年，5月20日，0點57分，星期一 (b)在聯(lián)合集上，I(Y; ai)=0,當(dāng)且僅當(dāng)Y集合中的各個bj 都與事件ai相互獨立時，等號成立證明：表明：從平均意義上講，從信源X中的任一個具體符號ai中總可以獲取一點關(guān)于信宿Y的信息量。只有當(dāng)信源X的具體符號ai與信宿Y統(tǒng)計獨立時，從ai中才獲取不到關(guān)于信宿Y的任何信息量第63頁，共99頁，2022年，5月20日，0點57分，星期一 -表示已知一隨機變量的取值后所提供的有關(guān)另一隨機變量的信息量四.平均互信息1

26、. 定義從信宿Y獲取的關(guān)于信源X的平均信息量： 第64頁，共99頁，2022年，5月20日，0點57分，星期一從信源X獲取的關(guān)于信宿Y的平均信息量： 平均互信息從總體上表示信道每傳遞一個符號所傳遞的平均信息量。 第65頁，共99頁，2022年，5月20日，0點57分，星期一思考:H(X|Y)與I(X;Y)有什么不同?條件熵:從一個隨機變量可得另一個隨機變量發(fā)生帶來的信息問: 利用條件熵能否得到兩個隨機變量間的共同信息？問:Y提供給X的信息量是多少？已知Y，X的不確定度為H(X|Y)未知Y，X的不確定度為H(X)H(X)-H(X|Y)問：H(X)-H(X|Y)與I(X;Y)是否相等呢？思考: I

27、(X;Y)與I(Y;X)是否相等?第66頁，共99頁，2022年，5月20日，0點57分，星期一2. 性質(zhì)(1)對稱性I(X;Y)=I(Y;X)證明:結(jié)論: I(X;Y)和I(Y;X)是隨機變量X和Y之間相互提供的平均信息量，把它們稱為平均互信息是完全正確的第67頁，共99頁，2022年，5月20日，0點57分，星期一證明：(2)非負性I(X;Y)0非負性說明：雖然對于信源X和信宿Y的兩個特定具體的符號之間的互信息來說，有可能出現(xiàn)負值，但從平均的意義來說，信道每傳遞一個符號，總能傳遞一定的信息量，至少為零，決不會出現(xiàn)負值。第68頁，共99頁，2022年，5月20日，0點57分，星期一(3)平均

28、互信息與各種熵的關(guān)系證明: I(X;Y)=H(X)-H(X|Y)第69頁，共99頁，2022年，5月20日，0點57分，星期一證明: I(X;Y)=H(Y)-H(Y|X)證明: I(X;Y)=H(X)+H(Y)-H(XY)第70頁，共99頁，2022年，5月20日，0點57分，星期一H（X）H（Y）H（X|Y）H（Y|X）I（X；Y）H（XY）第71頁，共99頁，2022年，5月20日，0點57分，星期一(4)極值性I(X;Y) H(X) I(X;Y) H(Y)證明： I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X)且有:H(X|Y) 0 H(Y|X) 0 I(X;Y) H(X)

29、 I(X;Y) H(Y)極值性說明：兩個信源之間含有的相同信息不可能大于任何一個信源自己攜帶的信息第72頁，共99頁，2022年，5月20日，0點57分，星期一當(dāng)X和Y互相獨立時:I(X;Y)=0當(dāng)X和Y之間有確定的函數(shù)關(guān)系時：X唯一確定Y: H(Y|X)=0，I(X;Y)=H(Y)Y唯一確定X: H(X|Y)=0，I(X;Y)=H(X)結(jié)論: 當(dāng)X和Y有確定的函數(shù)關(guān)系時平均互信息退化成為熵第73頁，共99頁，2022年，5月20日，0點57分，星期一發(fā)送的信息:H(X)損失的信息:H(X|Y)通過信道傳遞到接收端的關(guān)于X的信息:I(X;Y) 信源X有擾信道信宿Y例2-8問:通信中發(fā)送的信息是

30、多少? 信道中損失的信息是多少? X通過信道傳遞了多少信息給信宿？如果X=Y，說明信道無干擾,則I(X;Y)=H(X)如果X與Y相互獨立，說明干擾很大,I(X;Y)=0第74頁，共99頁，2022年，5月20日，0點57分，星期一例2-9：把已知信源信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY).接到下圖所示的0.980.80.020.2第75頁，共99頁，2022年，5月20日，0點57分，星期一解：由題意可知第76頁，共99頁，2022年，5月20日，0點57分，星期一第77頁，共99頁，2022年，5月20日，0點57分，星期

31、一第78頁，共99頁，2022年，5月20日，0點57分，星期一平均互信息 ：噪聲熵：疑義度 ：第79頁，共99頁，2022年，5月20日，0點57分，星期一一、微分熵假設(shè)：一個連續(xù)隨機變量X X ( ,) 概率密度函數(shù) p(x) X值域分成間隔為x的小區(qū)間，則在內(nèi)的概率近似為p(xi) x則：熵的近似式第三節(jié) 連續(xù)隨機變量下的熵與平均互信息第80頁，共99頁，2022年，5月20日，0點57分，星期一結(jié)論:連續(xù)隨機變量的熵為無窮大,失去意義.但是第一項為有限值,可作為相對熵描述.第81頁，共99頁，2022年，5月20日，0點57分，星期一同年，香農(nóng)在他的論文中直接定義連續(xù)分布隨機變量的信息

32、熵為： 離散熵與微分熵的區(qū)別：在概念上不同，微分熵去掉了無窮大項，保留了有限值那一項，可作為不確定度的相對量度。著名的微分熵1948年，維納定義連續(xù)變量的信息熵為：為概率密度函數(shù)。第82頁，共99頁，2022年，5月20日，0點57分，星期一 假設(shè)：兩個連續(xù)分布的隨機變量X和Y，其聯(lián)合概率密度函數(shù)p(xy)，邊緣分布密度函數(shù)分別為p(x)和p(y)，則：可見：與離散狀態(tài)下的平均互信息是一致的。二、連續(xù)隨機變量下的平均互信息第83頁，共99頁，2022年，5月20日，0點57分，星期一例2-10：第84頁，共99頁，2022年，5月20日，0點57分，星期一第85頁，共99頁，2022年，5月2

33、0日，0點57分，星期一第四節(jié) 數(shù)據(jù)處理定理定義1：表示隨機變量Z定后，從隨機變量Y獲得的關(guān)于X的信息量定義2：表示從隨機變量YZ獲得的關(guān)于X的信息量有如下關(guān)系:第86頁，共99頁，2022年，5月20日，0點57分，星期一數(shù)據(jù)處理定理如果隨機變量X,Y,Z構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立等式成立的條件是對于任意的x，y，z都有。第87頁，共99頁，2022年，5月20日，0點57分，星期一并且所以有同理可以證明當(dāng)且僅當(dāng)時等式成立 因此有證明：當(dāng)X，Y，Z構(gòu)成一個馬爾可夫鏈時，Y值給定后，X，Z可以認為是獨立的，則有又因為有當(dāng)時，說明Z值給定后，X和Y相互獨立，所以有第88頁，共99頁，2

34、022年，5月20日，0點57分，星期一在任何信息傳輸處理系統(tǒng)中，最后獲得的信息至多是信源所提供的信息量，一旦在某一個過程丟失了一些信息，以后的系統(tǒng)不管如何處理，只要不觸及丟失信息的輸入端，就不能再恢復(fù)已經(jīng)丟失的信息。這就是信息的不增性原理.數(shù)據(jù)處理定理說明：第89頁，共99頁，2022年，5月20日，0點57分，星期一第五節(jié) 熵的應(yīng)用及香農(nóng)信息論存在的問題 A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04等長碼 000 001 011 010 110 111 101 100Huffman 011 000 1 00110 0101 0000 0100 00011 由此可見Huffman碼不是最好的碼一.編碼問題平均碼長分別為:第90頁，共99頁，2022年，5月20日，0點57分，星期一二.如何理解信道及信道容量問題 XYP(y|x)信源編碼信道信宿譯碼噪聲信道噪聲信源信宿簡化為：則可表示為： 不同信道具有不同P(y|x)，可用P(y|x)表示信道第91頁，共99頁，2022年，5月20日，0點57分，星期一 反映信源通過信道以后信宿收到的信息 I(X;Y)=H(X)-H(X|Y)信道的容量：給定信