信息論與編碼講義第二講

1、2022-2-211第二章：第二章：信息量和熵2.1 離散型隨機變量的非平均信息量離散型隨機變量的非平均信息量（事件的信息量）（事件的信息量）2.2 離散型隨機變量的平均自信息量離散型隨機變量的平均自信息量（熵）（熵）2.4 離散型隨機變量的平均互信息量離散型隨機變量的平均互信息量2.5 連續(xù)型隨機變量的平均互信息量和連續(xù)型隨機變量的平均互信息量和相對熵相對熵2.6 凸函數(shù)與凸函數(shù)與(離散型隨機變量的離散型隨機變量的)平均平均互信息量的凸性互信息量的凸性2022-2-2122.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）（本章將給出各種信息量的定

2、義和它們的性質(zhì)。） 定義定義2.1.1(非平均互信息量) 給定一個二維離散型隨機變量(X, Y), (xk, yj), rkj, k=1K; j=1J（因此就給定了兩個離散型隨機變量X, xk, qk, k=1K和Y, yj, wj, j=1J）。事件xkX與事件yjY的互信息量定義為jkkjajkjkajkjakjkajkwqryYPxXPyxYXPyYPxXyYPxXPyYxXPyxIlog)()(),(),(log)()|(log)()|(log),(2022-2-2132.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）其中底數(shù)a是大于1的常

3、數(shù)。常用a=2或a=e，當(dāng)a=2時互信息量的單位為“比特”?；バ畔⒘康男再|(zhì)：互信息量的性質(zhì)： （1）I(xk; yj)=loga(rkj/(qkwj)。因此有對稱性：。因此有對稱性：I(xk; yj)=I(yj; xk)。（2）當(dāng)）當(dāng)rkj=qkwj時時I(xk; yj)=0。（當(dāng)兩個事件相互獨立時，互。（當(dāng)兩個事件相互獨立時，互信息量為信息量為0）。）。（3）當(dāng)）當(dāng)rkjqkwj時時I(xk; yj)0，當(dāng)，當(dāng)rkjqkwj時時I(xk; yj)0。（當(dāng)。（當(dāng)兩個事件正相關(guān)時，互信息量為正值，當(dāng)兩個事件負相兩個事件正相關(guān)時，互信息量為正值，當(dāng)兩個事件負相關(guān)時，互信息量為負值）。關(guān)時，互信息量

4、為負值）。 2022-2-2142.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）定義定義2.1.3(非平均自信息量) 給定一個離散型隨機變量X, xk, qk, k=1K。事件xkX的自信息量定義為h(xk)=loga(1/qk)，其中底數(shù)a是大于1的常數(shù)。自信息量的性質(zhì)：自信息量的性質(zhì)：（1）h(xk)0。（2）qk越小，越小，h(xk)越大。越大。（3）I(xk; yj)minh(xk)，h(yj)，即互信息量不超過各自的，即互信息量不超過各自的自信息量。自信息量。證明 注意到總有rkjminqk, j。（為什么？什么情況下相等？）。因此根據(jù)

5、定義，I(xk; yj)h(xk)，I(xk; yj)h(yj)。得證。 2022-2-2152.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）定義定義2.1.4(條件的非平均自信息量) 給定一個二維離散型隨機變量(X, Y), (xk, yj), rkj, k=1K; j=1J。在事件yj發(fā)生的條件下事件xk的條件自信息量定義為h(xk|yj)=loga(1/P(X=xk|Y=yj)=loga(wj/rkj)。（條件的非平均自信息量實際上是非平均自信息量的簡單推廣，將概率換成了條件概率）。 條件的非平均自信息量的特殊性質(zhì)：條件的非平均自信息量的特

6、殊性質(zhì)：h(xk|yj)=h(xk)-I(xk; yj) 。2022-2-2162.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）定義定義2.1.5(聯(lián)合的非平均自信息量) 給定一個二維離散型隨機變量(X, Y), (xk, yj), rkj, k=1K; j=1J。事件(xk, yj)(X, Y)的自信息量定義為h(xk, yj)=loga(1/rkj)。（聯(lián)合的非平均自信息量實際上是非平均自信息量的簡單推廣。即可以將(X, Y)直接看成是一維的隨機變量）。 聯(lián)合的非平均自信息量的特殊性質(zhì)：聯(lián)合的非平均自信息量的特殊性質(zhì)：h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。2022-2-2172.1 離散型隨機變量的非平離散型隨機變量的非平均信息量（事件的信息量）均信息量（事件的信息量）小結(jié)小結(jié)非平均互信息量I(xk; yj)。非平均自信息量h(xk)，h(yj)。條件的非平均自信息量h(xk|yj)， h(yj|xk)。聯(lián)合的非平均自信息量h(xk, yj)。相互關(guān)系：I(xk; yj)minh(xk