信息論與編碼理論-第二章課件

第二章信息量和熵

InformationandEntropy西安電子科技大學通信工程學院第二章信息量和熵

InformationandEntr信息量和熵2.1離散變量的非平均信息量2.2離散集的平均自信息量－熵2.3離散集的平均互信息量(mutualinformation)2.4連續(xù)隨機變量的互信息和熵2.5凸函數(shù)和互信息的凸性(convex)西安電子科技大學通信工程學院信息量和熵2.1離散變量的非平均信息量西安電子科技大學通信2.1離散變量的非平均信息量西安電子科技大學通信工程學院2.1離散變量的非平均信息量西安電子科技大學通信工程學院輸入，輸出空間定義輸入空間X={xk,k=1,2,…,K},概率記為Q(xk)輸出空間Y={yj,j=1,2,…,J},概率記為ω(yj)聯(lián)合空間XY={xkyj;k=1,2,…,K;j=1,2,…,J},概率為p(xkyj)

P(xkyj)=P(xk|yj)ω(yj)=

P(yj|xk)Q(xk)聯(lián)合概率后驗概率先驗概率P(yj|xk)YX西安電子科技大學通信工程學院輸入，輸出空間定義輸入空間X={xk,k=1,2,…,K},非平均互信息量例2.1.1傳送消息碼字P(xk)看到0P(Xk|0)看到01P(Xk|01)看到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000西安電子科技大學通信工程學院非平均互信息量例2.1.1傳送消息碼字P(xk)看到0看到0每種可能性都是1/8西安電子科技大學通信工程學院每種可能性都是1/8西安電子科技大學通信工程學院0X1到x4可能性都是1/4X5到x8可能性都是0看到0西安電子科技大學通信工程學院0X1到x4可能性都是1/4看到0西安電子科技大學通信工程學01X3到x4可能性都是1/2其他可能性都是0西安電子科技大學通信工程學院01X3到x4可能性都是1/2西安電子科技大學通信工程學院011x4可能性是1其他可能性都是0西安電子科技大學通信工程學院011x4可能性是1西安電子科技大學通信工程學院非平均互信息量輸入消息碼字P(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000西安電子科技大學通信工程學院非平均互信息量輸入消息碼字P(xk)收到0收到01收到011非平均互信息量信息量與后驗概率有關，與先驗概率有關先驗概率越大，得到的信息量越小，反之信息量越大中國足球隊3:0戰(zhàn)勝巴西足球隊巴西足球隊3:0戰(zhàn)勝中國足球隊西安電子科技大學通信工程學院非平均互信息量信息量與后驗概率有關，與先驗概率有關中國足球隊非平均互信息量例2.1.2輸入消息碼字p(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X20001111/21/21-pp1/21/21-pp1-p1-p0011ppBSC西安電子科技大學通信工程學院非平均互信息量例2.1.2輸入消息碼字p(xk)收到0收到0非平均互信息量西安電子科技大學通信工程學院非平均互信息量西安電子科技大學通信工程學院條件互信息和聯(lián)合事件互信息三個事件集的條件互信息定義為可以推廣到任意有限多個空間情況西安電子科技大學通信工程學院條件互信息和聯(lián)合事件互信息三個事件集的條件互信息定義為西安電互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3西安電子科技大學通信工程學院互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3西安電子科技大離散變量的非平均自信息量西安電子科技大學通信工程學院離散變量的非平均自信息量西安電子科技大學通信工程學院非平均自信息的性質(zhì)非負體現(xiàn)先驗不確定性大小西安電子科技大學通信工程學院非平均自信息的性質(zhì)非負西安電子科技大學通信工程學院條件自信息和聯(lián)合自信息西安電子科技大學通信工程學院條件自信息和聯(lián)合自信息西安電子科技大學通信工程學院自信息、條件自信息和互信息I(xk)I(yj)I(xk;yj)西安電子科技大學通信工程學院自信息、條件自信息和互信息I(xk)I(yj)I(xk;y參考習題2.1，2.3，2.4，2.5，2.11西安電子科技大學通信工程學院參考習題2.1，2.3，2.4，2.5，2.11西安電子科技2.2離散集的平均自信息量－熵西安電子科技大學通信工程學院2.2離散集的平均自信息量－熵西安電子科技大學通信工程學院熵-Entropy表示集X中事件出現(xiàn)的平均不確定性，說明一個事件集合的平均信息量例二元信源的熵例例2.1.1信源的熵例一個英文字母的熵4.03比特一個漢字的熵為9.65比特西安電子科技大學通信工程學院熵-Entropy表示集X中事件出現(xiàn)的平均不確定性，說明一個條件熵和聯(lián)合熵

XY獨立時有H(X|Y)=H(X)西安電子科技大學通信工程學院條件熵和聯(lián)合熵XY獨立時有H(X|Y)=H(X)西安電熵的性質(zhì)對稱性非負性確定性擴展性可加性極值性是P上凸函數(shù)西安電子科技大學通信工程學院熵的性質(zhì)對稱性西安電子科技大學通信工程學院熵的性質(zhì)－可加性西安電子科技大學通信工程學院熵的性質(zhì)－可加性西安電子科技大學通信工程學院熵的極值性引理1:lnx≤x-1西安電子科技大學通信工程學院熵的極值性引理1:lnx≤x-1西安電子科技大學通信工程學熵的極值性引理2：H(X|Y)≤H(X)H(U1…UN)≤H(U1)+…+H(UN)西安電子科技大學通信工程學院熵的極值性引理2：西安電子科技大學通信工程學院熵的凸性H(P)是P的上凸函數(shù)西安電子科技大學通信工程學院熵的凸性H(P)是P的上凸函數(shù)西安電子科技大學通信工程學院2.3離散集的平均互信息量西安電子科技大學通信工程學院2.3離散集的平均互信息量西安電子科技大學通信工程學院平均互信息量非負性對稱性

西安電子科技大學通信工程學院平均互信息量非負性西安電子科技大學通信工程學院平均互信息量4.I(X;Y)≤H(X),I(X;Y)≤H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)西安電子科技大學通信工程學院平均互信息量4.I(X;Y)≤H(X),I(X;Y)≤H條件互信息西安電子科技大學通信工程學院條件互信息西安電子科技大學通信工程學院信息處理定理Z出現(xiàn)情況下，X和Y獨立,構成一個馬氏鏈系統(tǒng)1系統(tǒng)2XYZ西安電子科技大學通信工程學院信息處理定理Z出現(xiàn)情況下，X和Y獨立,構成一個馬氏鏈系統(tǒng)1系信息處理定理西安電子科技大學通信工程學院信息處理定理西安電子科技大學通信工程學院參考習題2.7，2.8，2.9，2.14，2.17，2.18西安電子科技大學通信工程學院參考習題2.7，2.8，2.9，2.14，2.17，2.182.4連續(xù)隨機變量的互信息和微分熵西安電子科技大學通信工程學院2.4連續(xù)隨機變量的互信息和微分熵西安電子科技大學通信連續(xù)隨機變量的互信息信息處理定理西安電子科技大學通信工程學院連續(xù)隨機變量的互信息信息處理定理西安電子科技大學通信工程學院例:求高斯隨機變量的互信息西安電子科技大學通信工程學院例:求高斯隨機變量的互信息西安電子科技大學通信工程學院

西安電子科技大學通信工程學院西安電子科技大學通信工隨機變量的微分熵西安電子科技大學通信工程學院隨機變量的微分熵西安電子科技大學通信工程學院均勻分布的微分熵西安電子科技大學通信工程學院均勻分布的微分熵西安電子科技大學通信工程學院高斯分布的微分熵熵功率西安電子科技大學通信工程學院高斯分布的微分熵熵功率西安電子科技大學通信工程學院微分熵的極大化1.峰值功率受限均勻分布微分熵最大2.平均功率受限高斯分布微分熵最大3.平均功率大于等于熵功率西安電子科技大學通信工程學院微分熵的極大化1.峰值功率受限西安電子科技大學通信工程學院微分熵的極大化峰值功率受限西安電子科技大學通信工程學院微分熵的極大化峰值功率受限西安電子科技大學通信工程學院微分熵的極大化平均功率受限西安電子科技大學通信工程學院微分熵的極大化平均功率受限西安電子科技大學通信工程學院2.5凸函數(shù)與互信息的凸性西安電子科技大學通信工程學院2.5凸函數(shù)與互信息的凸性西安電子科技大學通信工程學院凸函數(shù)凸集R：a，b屬于R，qa+(1-q)b也屬于R，其中0≤q≤1概率矢量矢量a的所有分量和為1上凸函數(shù)西安電子科技大學通信工程學院凸函數(shù)凸集R：a，b屬于R，qa+(1-q)b也屬于R，其凸函數(shù)的性質(zhì)f(a)是上凸的，－f(a)是下凸的f1(a),…,fL(a)是R上的上凸函數(shù)，c1,…,cL是正數(shù)，c1f1(a)+…+cLfL(a)也是上凸函數(shù)f(a)是上凸函數(shù)，E[f(a)]≤f[E(a)],E為求數(shù)學期望西安電子科技大學通信工程學院凸函數(shù)的性質(zhì)f(a)是上凸的，－f(a)是下凸的西安電子科技K-T條件f(a)是定義域R上的上凸函數(shù)，a是概率矢量。偏導數(shù)存在且連續(xù)，f(a)在R上為極大的充分必要條件西安電子科技大學通信工程學院K-T條件f(a)是定義域R上的上凸函數(shù)，a是概率矢量。偏導互信息的凸性p(y|x)給定，I(X;Y)是q(x)的上凸函數(shù)Q(x)給定，I(X;Y)是p(y|x)的下凸函數(shù)西安電子科技大學通信工程學院互信息的凸性p(y|x)給定，I(X;Y)是q(x)的上凸函互信息的凸性q1和q2是X上的任意兩個概率矢量，相應的互信息為I1和I2，令θ滿足0<θ<1。q=θq1＋(1－θ)q2是合成概率矢量，此時輸入X和輸出Y之間的互信息為I。需要證明西安電子科技大學通信工程學院互信息的凸性q1和q2是X上的任意兩個概率矢量，相應的互信息參考習題2.27,2.28,2.29,2.31西安電子科技大學通信工程學院參考習題2.27,2.28,2.29,2.31西安電子第二章信息量和熵

InformationandEntropy西安電子科技大學通信工程學院第二章信息量和熵

InformationandEntr信息量和熵2.1離散變量的非平均信息量2.2離散集的平均自信息量－熵2.3離散集的平均互信息量(mutualinformation)2.4連續(xù)隨機變量的互信息和熵2.5凸函數(shù)和互信息的凸性(convex)西安電子科技大學通信工程學院信息量和熵2.1離散變量的非平均信息量西安電子科技大學通信2.1離散變量的非平均信息量西安電子科技大學通信工程學院2.1離散變量的非平均信息量西安電子科技大學通信工程學院輸入，輸出空間定義輸入空間X={xk,k=1,2,…,K},概率記為Q(xk)輸出空間Y={yj,j=1,2,…,J},概率記為ω(yj)聯(lián)合空間XY={xkyj;k=1,2,…,K;j=1,2,…,J},概率為p(xkyj)

P(xkyj)=P(xk|yj)ω(yj)=

P(yj|xk)Q(xk)聯(lián)合概率后驗概率先驗概率P(yj|xk)YX西安電子科技大學通信工程學院輸入，輸出空間定義輸入空間X={xk,k=1,2,…,K},非平均互信息量例2.1.1傳送消息碼字P(xk)看到0P(Xk|0)看到01P(Xk|01)看到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000西安電子科技大學通信工程學院非平均互信息量例2.1.1傳送消息碼字P(xk)看到0看到0每種可能性都是1/8西安電子科技大學通信工程學院每種可能性都是1/8西安電子科技大學通信工程學院0X1到x4可能性都是1/4X5到x8可能性都是0看到0西安電子科技大學通信工程學院0X1到x4可能性都是1/4看到0西安電子科技大學通信工程學01X3到x4可能性都是1/2其他可能性都是0西安電子科技大學通信工程學院01X3到x4可能性都是1/2西安電子科技大學通信工程學院011x4可能性是1其他可能性都是0西安電子科技大學通信工程學院011x4可能性是1西安電子科技大學通信工程學院非平均互信息量輸入消息碼字P(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000西安電子科技大學通信工程學院非平均互信息量輸入消息碼字P(xk)收到0收到01收到011非平均互信息量信息量與后驗概率有關，與先驗概率有關先驗概率越大，得到的信息量越小，反之信息量越大中國足球隊3:0戰(zhàn)勝巴西足球隊巴西足球隊3:0戰(zhàn)勝中國足球隊西安電子科技大學通信工程學院非平均互信息量信息量與后驗概率有關，與先驗概率有關中國足球隊非平均互信息量例2.1.2輸入消息碼字p(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X20001111/21/21-pp1/21/21-pp1-p1-p0011ppBSC西安電子科技大學通信工程學院非平均互信息量例2.1.2輸入消息碼字p(xk)收到0收到0非平均互信息量西安電子科技大學通信工程學院非平均互信息量西安電子科技大學通信工程學院條件互信息和聯(lián)合事件互信息三個事件集的條件互信息定義為可以推廣到任意有限多個空間情況西安電子科技大學通信工程學院條件互信息和聯(lián)合事件互信息三個事件集的條件互信息定義為西安電互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3西安電子科技大學通信工程學院互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3西安電子科技大離散變量的非平均自信息量西安電子科技大學通信工程學院離散變量的非平均自信息量西安電子科技大學通信工程學院非平均自信息的性質(zhì)非負體現(xiàn)先驗不確定性大小西安電子科技大學通信工程學院非平均自信息的性質(zhì)非負西安電子科技大學通信工程學院條件自信息和聯(lián)合自信息西安電子科技大學通信工程學院條件自信息和聯(lián)合自信息西安電子科技大學通信工程學院自信息、條件自信息和互信息I(xk)I(yj)I(xk;yj)西安電子科技大學通信工程學院自信息、條件自信息和互信息I(xk)I(yj)I(xk;y參考習題2.1，2.3，2.4，2.5，2.11西安電子科技大學通信工程學院參考習題2.1，2.3，2.4，2.5，2.11西安電子科技2.2離散集的平均自信息量－熵西安電子科技大學通信工程學院2.2離散集的平均自信息量－熵西安電子科技大學通信工程學院熵-Entropy表示集X中事件出現(xiàn)的平均不確定性，說明一個事件集合的平均信息量例二元信源的熵例例2.1.1信源的熵例一個英文字母的熵4.03比特一個漢字的熵為9.65比特西安電子科技大學通信工程學院熵-Entropy表示集X中事件出現(xiàn)的平均不確定性，說明一個條件熵和聯(lián)合熵

XY獨立時有H(X|Y)=H(X)西安電子科技大學通信工程學院條件熵和聯(lián)合熵XY獨立時有H(X|Y)=H(X)西安電熵的性質(zhì)對稱性非負性確定性擴展性可加性極值性是P上凸函數(shù)西安電子科技大學通信工程學院熵的性質(zhì)對稱性西安電子科技大學通信工程學院熵的性質(zhì)－可加性西安電子科技大學通信工程學院熵的性質(zhì)－可加性西安電子科技大學通信工程學院熵的極值性引理1:lnx≤x-1西安電子科技大學通信工程學院熵的極值性引理1:lnx≤x-1西安電子科技大學通信工程學熵的極值性引理2：H(X|Y)≤H(X)H(U1…UN)≤H(U1)+…+H(UN)西安電子科技大學通信工程學院熵的極值性引理2：西安電子科技大學通信工程學院熵的凸性H(P)是P的上凸函數(shù)西安電子科技大學通信工程學院熵的凸性H(P)是P的上凸函數(shù)西安電子科技大學通信工程學院2.3離散集的平均互信息量西安電子科技大學通信工程學院2.3離散集的平均互信息量西安電子科技大學通信工程學院平均互信息量非負性對稱性

西安電子科技大學通信工程學院平均互信息量非負性西安電子科技大學通信工程學院平均互信息量4.I(X;Y)≤H(X),I(X;Y)≤H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)西安電子科技大學通信工程學院平均互信息量4.I(X;Y)≤H(X),I(X;Y)≤H條件互信息西安電子科技大學通信工程學院條件互信息西安電子科技大學通信工程學院信息處理定理Z出現(xiàn)情況下，X和Y獨立,構成一個馬氏鏈系統(tǒng)1系統(tǒng)2XYZ西安電子科技大學通信工程學院信息處理定理Z出現(xiàn)情況下，X和Y獨立,構成一個馬氏鏈系統(tǒng)1系信息處理定理西安電子科技大學通信工程學院信息處理定理西安電子科技大學通信工程學院參考習題2.7，2.8，2.9，2.14，2.17，2.18西安電子科技大學通信工程學院參考習題2.7，2.8，2.9，2.14，2.17，2.182.4連續(xù)隨機變量的互信息和微分熵西安電子科技大學通信工程學院2.4連續(xù)隨機變量的互信息和微分熵西安電子科技大學通信連續(xù)隨機變量的互信息信息處理定理西安電子科技大學通信工程學院連續(xù)隨機變量的互信息信息處理定理西安電子科技大學通信工程學院例:求高斯隨機變量的互信息西安電子科技大學通信工程學院例:求高斯隨機變量的互信息西安電子科技大學通信工程學院

西安電子科技大學通信工程學院西安電子科技大學通信工隨機變量的微分熵西安電子科技大學通信工程學院隨機變量的微分熵西安電子科技大學通信工程學院均勻分布的微分熵西安電子科技大學通信工程學院均勻分布的微分熵西安電子科技大學通信工程學院高斯分布的微分熵熵功率西安電子科技大學通信工程學院高斯分布的微分熵熵功率西安電子科技大學通信工程學院微分熵的極大化1.峰值功率受限均勻分布微分熵最大2.平均功率受限高斯分布微分熵最大3.平均功率大于等于熵功率西安電子科技大學通信工程學院微分熵的極大化1.峰值功率受限西安電子科技大學