陳偉建-信息論基礎(chǔ)-第2章熵與互信息課件

第2章熵與互信息信息如何度量？7/25/20232.1熵信源發(fā)出的消息為單一符號，而這些符號隨機地取值于一個有限集合1、單符號離散信源定義表示離散型隨機變量X7/25/2023隨機變量X的取值xi為信源發(fā)出的消息i=1,2,…,N7/25/2023例1例27/25/20232、自信息量消息xi的概率P(xi)對數(shù)的負(fù)值，也叫無條件自信息量，用I(xi)表示定義表示單位由對數(shù)的底a決定——當(dāng)a=2時為bit(binaryunit)，a=e時為nat(natureunit)，a=10時為Hart(Hartley)7/25/2023以bit為單位的自信息量I(xi)與xi的概率P(xi)相關(guān)I(xi)是P(xi)的減函數(shù)，且當(dāng)P(xi)=0時I(xi)→∞，P(xi)=1時I(xi)=0I(xi)是P(xi)的連續(xù)函數(shù)7/25/2023例3信源發(fā)出各消息的自信息量7/25/20233、熵信源各消息自信息量的數(shù)學(xué)期望，也叫無條件熵，用H(X)表示定義表示單位一般為bit或bit/symbol7/25/2023H(X)反映信源每發(fā)出一條消息所提供的平均信息量，不反映信源發(fā)出某條特定消息的信息量一般情況下，H(X)不等于每接受一條消息所獲得的平均信息量7/25/20234、熵的主要性質(zhì)和最大熵定理①非負(fù)性②嚴(yán)格上凸性7/25/2023嚴(yán)格上凸性的描述——設(shè)函數(shù)f(x)對任一小于1的正數(shù)α及定義域中任意兩個值x1、x2，如果稱函數(shù)f(x)為嚴(yán)格上凸函數(shù)7/25/20237/25/20237/25/20237/25/2023③最大熵定理等概率信源具有最大熵，最大熵H(X)max=logn7/25/20237/25/2023例4信源的信息熵7/25/2023例5信源的信息熵7/25/2023例6信源的信息熵及p-H(p)曲線當(dāng)p=0時，H(p)=0p=0.25時，H(p)=0.811(bit)7/25/2023p=0.75時，H(p)=0.811(bit)p=1時，H(p)=0p=0.5時，H(p)=1(bit)00.51H(p)1p0.250.750.8117/25/20232.2聯(lián)合熵與條件熵信源發(fā)出的消息為有限或可數(shù)的符號序列，而符號序列中任何時刻的符號都隨機地取值于同一個有限集合1、多符號離散信源定義表示離散型隨機過程X1X2…Xn7/25/20237/25/2023例17/25/20232、自信息量消息xi1xi2…xin的概率P(xi1xi2…xin)對數(shù)的負(fù)值，也叫聯(lián)合自信息量，用I(xi1xi2…xin)表示定義表示7/25/2023定義條件概率P(xin/xi1…xin-1)對數(shù)的負(fù)值，用I(xin/xi1…xin-1)表示條件自信息量表示7/25/2023自信息量的鏈?zhǔn)椒▌t定理7/25/2023例2信源發(fā)出消息x1x1和x3x2各自的自信息量7/25/20233、聯(lián)合熵信源各消息自信息量的數(shù)學(xué)期望，也叫聯(lián)合熵，用H(X1X2…Xn)表示定義表示7/25/20237/25/20237/25/2023信息熵的鏈?zhǔn)椒▌t定理7/25/20237/25/20237/25/20237/25/2023信息熵的界7/25/2023例3信源的信息熵7/25/20237/25/20237/25/20237/25/20237/25/20234、熵率信源每發(fā)出一個消息符號所提供的平均信息量，也叫平均符號熵，用HN(X1X2…XN)表示定義表示單位一般為bit/symbol7/25/2023提問與解答環(huán)節(jié)QuestionsAndAnswers謝謝聆聽·學(xué)習(xí)就是為了達(dá)到一定目的而努力去干,是為一個目標(biāo)去戰(zhàn)勝各種困難的過程,這個過程會充滿壓力、痛苦和挫折LearningIsTo