信息論與編碼理論－第講－信息量和熵00001

1、2 信源熵 本章重點：信源的統(tǒng)計特性和數(shù)學模型、各類信源的信息 測度熵及其性質(zhì)。2.1 單符號離散信源2.2 多符號離散信源2.3 2.4 離散無失真信源編碼定理12 信源熵信息論的發(fā)展是以信息可以度量為基礎(chǔ)的，度量信息的量稱為信息量。對于隨機出現(xiàn)的事件，它的出現(xiàn)會給人們帶來多大的信息量？考慮到通信系統(tǒng)或很多實際的信息傳輸系統(tǒng)，對于所傳輸?shù)南⑷绾斡眯畔⒘康姆椒▉砻枋?？本章將圍繞這些問題展開討論。22.1 單符號離散信源2.1.1 單符號離散信源的數(shù)學模型2.1.2 信息量和信息熵2.1.3 熵的基本性質(zhì)和定理2.1.4 平均互信息2.1.5 各種熵之間的關(guān)系32.1.1 單符號離散信源的數(shù)學

2、模型(1) 信源的描述方法(2) 單符號離散信源(3) 單符號離散信源數(shù)學模型4(1) 信源的描述方法 在通信系統(tǒng)中收信者在未收到消息以前，對信源發(fā)出什么消息是不確定的。 離散信源：輸出的消息常常是以一個個符號形式出現(xiàn)，這些符號的取值是有限的或可數(shù)的。單符號離散信源：只涉及一個隨機事件，可用隨機變量描述。多符號離散信源：每次輸出是一個符號序列，序列中每一位出現(xiàn)哪個符號都是隨機的，而且一般前后符號之間是有依賴關(guān)系的?？捎秒S機矢量描述。 連續(xù)信源：輸出連續(xù)消息，可用隨機過程描述。5從討論信源的特征入手，給出定量度量信息的方法。以天文學范疇的事件為例：小行星撞擊地球、月食、日食、流星雨、星系的產(chǎn)生與

3、消亡等等，都是天文學內(nèi)一個個離散的事件如果將一個事件用一個符號來表示，則一個符號代表一個完整的消息如果把都是天文學內(nèi)的事件看作是天文學這個“信源”輸出的符號，則這個信源可以看作是單符號離散信源。(2) 單符號離散信源6由此給出如下定義：如果信源發(fā)出的消息是離散的、有限或無限可列的符號或數(shù)字，且一個符號代表一條完整的消息，則稱這種信源為單符號離散信源。(2) 單符號離散信源7(2) 單符號離散信源單符號離散信源的實例擲骰子每次只能是1,2,3,4,5,6中的某一個；天氣預(yù)報可能是晴、陰、雨、雪、風、冰雹 中的一種或其組合以及溫度、污染等；二進制通信中傳輸?shù)闹皇?、0兩個數(shù)字；等等。這種符號或數(shù)字

4、都可以看作某一集合中的事件，每個符號或數(shù)字（事件）都是信源中的元素，它們的出現(xiàn)往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符號集合。8(3) 單符號離散信源數(shù)學模型 若信源的輸出是隨機事件X，其出現(xiàn)概率為P(X)，則它們所構(gòu)成的集合，稱為信源的概率空間或簡稱為信源空間。9(3) 單符號離散信源數(shù)學模型單符號離散信源的數(shù)學模型就是離散型的概率空間：X代表隨機變量，指的是信源整體xi代表隨機事件的某一結(jié)果或信源的某個元素p(xi)=P(X=xi)，表示隨機事件X發(fā)生某一結(jié)果xi的概率。n是有限正整數(shù)或可數(shù)無限大信源空間必定是一個完備集信源空間的描述102.1.2 信息量和信息熵

5、(1) 自信息量和條件自信息量(2) 互信息量和條件互信息量(3) 信息熵11(1) 自信息量和條件自信息量 自信息量 聯(lián)合自信息量 條件自信息量12 自信息量度量信息的基本思路自信息公式確定自信息量計算舉例信息量與不確定性的關(guān)系自信息含義13 度量信息的基本思路考慮一個單符號離散信源，它的輸出被傳送給對此感興趣的一方。設(shè)x1為最大可能的輸出， xn為最小可能的輸出。例如，假設(shè)信源輸出代表天氣情況， x1為晴或多云天氣， xn為冰雹或其它強對流天氣。哪個輸出包含更多的信息， x1還是xn？直觀地，傳遞xn 給出了更多的信息。由此可以合理地推算信源輸出的信息量應(yīng)該是輸出事件的概率的減函數(shù)。信息量

6、的另一個直觀屬性是，某一輸出事件的概率的微小變化不會很大地改變所傳遞的信息量，即信息量應(yīng)該是信源輸出事件概率的連續(xù)減函數(shù)。14 度量信息的基本思路假設(shè)與輸出xi相關(guān)的信息能被分成獨立的兩部分，比如xi1與xi2 ，即xi = xi1 , xi2 。例如，假設(shè)天氣預(yù)報中的天氣及溫度變化是與污染程度相關(guān)性很小甚至幾乎完全獨立的，則信源的每一個輸出就能分成獨立的兩部分。直觀地，傳遞xi所包含的信息量是分別傳遞xi1和xi2所得到的信息量的和。15 度量信息的基本思路若信源中事件xi的出現(xiàn)所帶來的信息量用I(xi)來表示并稱之為事件xi的自信息量，則概率為p(xi)的信源輸出xi所包含的信息量I(xi

7、)必須滿足以下幾個條件：16 度量信息的基本思路1. 信源輸出xi所包含的信息量僅依賴于它的概率，而與它的取值無關(guān)。2. I (xi)是p(xi)的連續(xù)函數(shù)。3. I (xi )是p(xi)的減函數(shù)，即：如果p(xi) p(xj)，則I(xi) I(xj)。極限情況，若p(xi) = 0, 則 I(xi) ；若 p(xi) = 1, 則I(xi) = 0。4.若兩個單符號離散信源（符號集合X, Y ）統(tǒng)計獨立, 則X中出現(xiàn)xi 、Y中出現(xiàn)yj的聯(lián)合信息量I (xi , yj) = I (xi) + I (yj)問題：什么函數(shù)能夠同時滿足以上條件呢？對數(shù)函數(shù)17 自信息公式確定舉例設(shè)在甲布袋中，

8、放入p個不同阻值的電阻。如果隨意選取出一個，并對取出的電阻值進行事先猜測，其猜測的困難程度相當于概率空間的不確定性。甲布袋的概率空間為 xi：阻值為i的電阻 p(xi)：選取出阻值為i電阻的概率 假設(shè)電阻選取的概率是相等的，則 接收到“選取出阻值為i的電阻”所獲得的信息量為 18乙布袋中，放入按功率劃分的q種不同功率的電阻。如果對任意選取出來的功率值進行事先猜測，那么，可看成為另一概率空間 yj：功率為j的電阻 p(yj)：選取出功率為j的電阻的概率 假設(shè)q種不同功率的選擇也是等概率的，則被告知“選取出功率為j的電阻”所獲得的信息量為 這兩個函數(shù) 應(yīng)該是同一類函數(shù)19再設(shè)在第三個布袋中，放入p

9、種不同阻值，而每一種阻值又有q種不同功率的電阻，即共有p q個電阻。 設(shè)它們的選取也是等可能性的，其概率空間為 則“選取出阻值為i，功率為j的電阻”這一事件提供的信息量應(yīng)為 從第三個布袋中選出一電阻的效果相當于從甲布袋中選擇一電阻后再從乙布袋中選擇一電阻?！斑x取出阻值為i，功率為j ”這件事提供的信息量應(yīng)該是“選取出阻值為i ”和“選取出功率為j ”這兩件事提供的信息量之和，即 20可以用泛函分析方法解得滿足條件的函數(shù)形式為所以：I(xi)=-logp， I(yj)=-logq， I(zk)=-logpq顯然滿足： I(zk)= I(xi)+ I(yj)用概率測度定義信息量：設(shè)離散信源X，其概

10、率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為21 自信息量計算舉例舉例一個0, 1等概的二進制隨機序列，求任一碼元的自信息量。解：任一碼元不是為0就是為1因為 p(0) = p(1) = 1/2所以 I (0) = I (1) = log (1/2) = 1(bit)22 自信息量計算舉例舉例對于2n進制的數(shù)字序列, 假設(shè)每一符號的出現(xiàn)完全隨機且概率相等，求任一符號的自信息量。解：設(shè)2n進制數(shù)字序列任一碼元xi的出現(xiàn)概率為p (xi)，根據(jù)題意， p(xi) = 1/2nI (xi ) = log(1/2n) = n (bit) 事件的自信息量只與其概率有關(guān)，而與它的取值無關(guān)。

11、23 信息量與不確定性的關(guān)系信源中某一消息發(fā)生的不確定性越大，一旦它發(fā)生，并為收信者收到后，消除的不確定性就越大，獲得的信息也就越大。由于種種原因（例如噪聲太大），收信者接收到受干擾的消息后，對某信息發(fā)生的不確定性依然存在或者一點也未消除時，則收信者獲得較少的信息或者說一點也沒有獲得信息。24信息量的直觀定義：收到某消息獲得的信息量不確定性減少的量 (收到此消息前關(guān)于某事件發(fā)生的不確定性) (收到此消息后關(guān)于某事件發(fā)生的不確定性)在無噪聲時，通過信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項為零。因此得 收到某消息獲得的信息量 收到此消息前關(guān)于某

12、事件發(fā)生的不確定性 信源輸出的某消息中所含有的信息量 信息量與不確定性的關(guān)系25 信息量與不確定性的關(guān)系信宿端收到某一消息后所得到的信息量，可以等效為接收者在通信前后“不確定”因素的減少或消除。事件的不確定性可用不確定度描述，它同樣是事件概率的函數(shù)，在數(shù)值和量綱上和自信息量相等，因此都可以用右式來計算：某一隨機事件的出現(xiàn)所給出的信息量（自信息量），在數(shù)值上與該隨機事件的不確定度不但相關(guān)而且相等，即事件的出現(xiàn)等效成事件不確定集合的元素的減少，或簡稱為事件不確定度的減少。26 信息量與不確定性自信息量和該事件的不確定度的含義有本質(zhì)的區(qū)別。不確定度只與事件的概率有關(guān)，是一個統(tǒng)計量，在靜態(tài)狀態(tài)下也存在

13、；自信息量只有該隨機事件出現(xiàn)時才給出，不出現(xiàn)時不給出，因此它是一個動態(tài)的概念。27 自信息含義當事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無噪信道中，事件xi發(fā)生后，能正確無誤地傳輸?shù)绞招耪撸訧(xi)可代表接收到消息xi后所獲得的信息量。這是因為消除了I(xi)大小的不確定性，才獲得這么大小的信息量。自信息的測度單位及其換算關(guān)系信息論中“比特”與計算機術(shù)語中“比特”區(qū)別28 自信息的測度單位及其換算關(guān)系如果取以2為底，則信息量單位稱為比特(binary unit) I(xi)=log2(1/p(xi) 比特如果取以e為底，

14、則信息量單位稱為奈特(nature unit) I(xi)=ln(1/p(xi) 奈特如果取以10為底，則信息量單位稱為哈特(Hart unit,以紀念哈特萊首先提出用對數(shù)來度量消息) I(xi)=lg(1/p(xi) 哈特1奈特1.44比特 1哈特3.32比特在通信及目前的絕大多數(shù)信息傳輸系統(tǒng)中，都是以二進制為基礎(chǔ)的，因此信息量單位以比特最為常用。因此一般都采用以“2”為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。29 信息論中“比特”與 計算機術(shù)語中“比特”區(qū)別如果p(xi)=1/2，則I(xi)=1比特。所以1比特信息量就是兩個互不相容的等可能事件之一發(fā)生時所提供的信息量。信息論中“比

15、特”是指抽象的信息量單位；計算機術(shù)語中“比特”是代表二元數(shù)字；這兩種定義之間的關(guān)系是：每個二元數(shù)字所能提供的最大平均信息量為1比特。30 聯(lián)合自信息量信源模型為其中0p(xiyj)1 (i=1,2,n; j=1,2, ,m)則聯(lián)合自信息量為當X和Y相互獨立時，p(xiyj)=p(xi)p(yj)兩個隨機事件相互獨立時，同時發(fā)生得到的信息量，等于各自自信息量之和。31 條件自信息量設(shè)yj條件下，發(fā)生xi的條件概率為p(xi /yj)，那么它的條件自信息量I(xi/yj)定義為表示在特定條件下（yj已定）隨機事件xi 所帶來的信息量同理，xi已知時發(fā)生yj的條件自信息量為自信息量、條件自信息量和聯(lián)

16、合自信息量之間的關(guān)系32(2) 互信息量和條件互信息量 互信息量 互信息的性質(zhì) 條件互信息量33 互信息量互信息量定義舉例互信息量的三種不同表達式34 互信息量定義X信源發(fā)出的離散消息集合； Y信宿收到的離散消息集合；信源通過有干擾的信道發(fā)出消息傳遞給信宿；信宿事先不知道某一時刻發(fā)出的是哪一個消息，所以每個消息是隨機事件的一個結(jié)果；最簡單的通信系統(tǒng)模型：信源X、信宿Y的數(shù)學模型為35先驗概率：信源發(fā)出消息xi的概率p(xi )。后驗概率：信宿收到y(tǒng)j后推測信源發(fā)出xi的概率p(xi / yj )?；バ畔⒘浚?yj對xi的互信息量定義為后驗概率與先驗概 率比值的對數(shù)。36 舉 例某地二月份天氣構(gòu)

17、成的信源為收到消息y1：“今天不是晴天”收到y(tǒng)1后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/437計算y1與各種天氣之間的互信息量對天氣x1，不必再考慮對天氣x2，對天氣x3,對天氣x4結(jié)果表明從y1分別得到了各1比特的信息量；或者說y1 使x2，x3，x4的不確定度各減少量1比特。38 互信息量的三種不同表達式觀察者站在輸出端自信息量：對yj一無所知的情況下xi存在的不確定度；條件自信息量：已知yj 的條件下xi 仍然存在的不確定度；互信息量：兩個不確定度之差是不確定度被消除的部分， 即等于自信息量減去條件自信息量。實際是 從yj得

18、到的關(guān)于xi的信息量。39觀察者站在輸入端 站在輸入端觀察，觀察者在輸入端出現(xiàn)xi前、后對輸出端出現(xiàn)yj的不確定度有變化，即從xi中也可提取關(guān)于yj的信息量。觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。40觀察者站在通信系統(tǒng)總體立場上通信前：輸入隨機變量X和輸出隨機變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計獨立：p(xi yj)=p(xi)p(yj) 先驗不確定度通信后：輸入隨機變量X和輸出隨機變量Y之間由信道的統(tǒng)計特性相聯(lián)系，其聯(lián)合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后驗不確定度通信后的互信息量，等于前后不確定度的差

19、這三種表達式實際上是等效的，在實際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達式。41互信息的引出，使信息流通問題進入了定量分析的范疇，為信息流通的定量測量打下了堅實的基礎(chǔ)，把信息理論發(fā)展到了一個更深的層次，可以認為是信息論發(fā)展的又一個里程碑。42 互信息的性質(zhì)對稱性相互獨立時的X和Y互信息量可為正值或負值不大于其中任一事件的自信息量43 對稱性I(xi;yj)=I(yj; xi)推導過程互信息量的對稱性表明：兩個隨機事件的可能結(jié)果xi和yj之間的統(tǒng)計約束程度；從yj得到的關(guān)于xi的信息量I(xi;yj)與從xi得到的關(guān)于yj的信息量I(yj; xi)是一樣的，只是觀察的角度不同而已?；バ畔⒘棵?/p>

20、述了兩個隨機事件xi、yj 之間的統(tǒng)計約束程度，假如先驗概率確定了，其后驗概率就決定了信息的流通。44 相互獨立時的X和Y這時 p(xi yj)=p(xi)p(yj)互信息量為表明xi和yj之間不存在統(tǒng)計約束關(guān)系，從yj得不到關(guān)于xi的任何信息，反之亦然。45 互信息量可為正值或負值當后驗概率大于先驗概率時，互信息量為正。當后驗概率小于先驗概率時，互信息量為負。 說明收信者未收到y(tǒng)j以前，對消息xi的是否出現(xiàn)的猜測難疑程度較小，但由于噪聲的存在，接收到消息yj后對xi是否出現(xiàn)的猜測的難疑程度增加了，也就是收信者接收到消息yj后對xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負值。當后驗概率與先

21、驗概率相等時，互信息量為零。這就是兩個隨機事件相互獨立的情況。46 互信息量可為正值或負值值域為實數(shù)互信息量的值可為正數(shù)、負數(shù)或者0，取決于后驗概率和先驗概率的比值?？紤]以下幾種情況。（1）p(xi /yj )=1，I (xi； yj ) = I(xi)。后驗概率為1，說明收到y(tǒng)j后即可以完全消除對信源是否發(fā)xi的不確定度。其物理含義是信宿獲取了信源發(fā)出的全部信息量，這等效為信道沒有干擾。47 互信息量可為正值或負值（2）p(xi) p(xi/yj ) I(xi/yj)， I(xi；yj) 0。后驗概率大于先驗概率，說明收到y(tǒng)j后對信源是否發(fā)xi所進行判斷的正確程度，要大于xi在信源集合中的概

22、率.或者說收到y(tǒng)j后多少還能消除一些對信源是否發(fā)xi的不確定度，因此yj獲取了關(guān)于xi的信息量。I(xi；yj) 越大，這種獲取就越多。這正是實際通信時遇到的大多數(shù)情況，它對應(yīng)著信道存在干擾，但信宿仍能從信源中獲取信息量。從這里隱約可以看到，只要I(xi；yj) 0，就存在著能夠通信的可能性，在后面的章節(jié)將會進一步討論進行可靠通信的極限條件。48 互信息量可為正值或負值（3）p(xi /yj)=p(xi )，即 I(xi ) = I(xi / yj)，I(xi ; yj) = 0后驗概率與先驗概率相等，說明收到y(tǒng)j后對信源是否發(fā)xi所進行判斷的正確程度，和xi在信源集合中的概率是一樣的；因此，

23、它一點也不能消除對信源是否發(fā)xi的不確定度，也就是說從yj中獲取不到關(guān)于xi的信息量；事實上，假若xi 和yj 統(tǒng)計無關(guān)，即p(xi , yj)=p(xi ) p(yj)，由貝葉斯公式容易推得I(xi ； yj) = 0；這種情況實際上是事件xi和事件yj統(tǒng)計無關(guān)，或者說信道使得事件xi和事件yj變成了兩碼事，信宿得到的信息僅僅是由信道特性給出的，與信源實際發(fā)出什么符號無關(guān)，因此完全沒有信息的流通。49 互信息量可為正值或負值（4）0p(xi /yj) p(xi)，即 I(xi)I(xi/ yj)，I(xi; yj)H(X)本例結(jié)論信源Y的二個輸出消息是等可能性的，所以在信源沒有輸出消息以前，

24、事先猜測哪一個消息出現(xiàn)的不確定性要大；信源Y比信源X的平均不確定性大；信源X的二個輸出消息不是等概率的，事先猜測x1和x2哪一個出現(xiàn)，雖然具有不確定性，但大致可以猜出x1會出現(xiàn)，因為x1出現(xiàn)的概率大。所以信源X的不確定性要小；信息熵反映的就是信源輸出前平均不確定程度的大小。59 信源熵與平均獲得的信息量 信源熵是信源的平均不確定性的描述。在一般情況下它并不等于平均獲得的信息量。只有在無噪情況下，接收者才能正確無誤地接收到信源所發(fā)出的消息，消除了H(X)大小的平均不確定性，所以獲得的平均信息量就等于H(X)。在一般情況下獲得的信息量是兩熵之差，并不是信源熵本身。60 條件熵定義：條件熵是在聯(lián)合符

25、號集合XY上的條件自信息的數(shù)學期望。在已知Y時，X的條件熵為已知X時，Y的條件熵為條件熵是一個確定的值為什么要用聯(lián)合概率？61問題1？62問題1？632.1.3 熵的基本性質(zhì)和定理熵函數(shù)H(X)：熵H是p(x1),p(x2),p(xn)的n元函數(shù)（實際上，因p(xi)=1，獨立變量只有n-1個，H是(n-1)元函數(shù)）:(1) 非負性(2) 對稱性(3) 最大離散熵定理(4) 擴展性(5) 確定性(6) 可加性(7) 極值性(8) 上凸性64(1) 非負性H(X)0因為隨機變量X的所有取值的概率分布滿足0p(xi)1；當取對數(shù)的底大于1時log p(xi)0，而- p(xi) log p(xi)

26、0，所以熵H(X)0；只有當隨機變量是一確知量時，熵H(X)=0。這種非負性對于離散信源的熵是合適的，但對連續(xù)信源來說這一性質(zhì)并不存在。65(2) 對稱性 定義：當變量p(x1),p(x2),p(xn) 的順序任意互換時，熵函數(shù)的值不變，即 含義：該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與信源的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。 舉例66 舉 例 下面三個信源的概率空間為 x1紅 x2 黃 x3 藍 y1晴 y2 霧 y3 雨 X與Z信源的差別：它們所選擇的具體消息/符號其含義不同； X與Y信源的差別：它們選擇的某同一消息的概率

27、不同； 但它們的信息熵是相同的。這三個信源總的統(tǒng)計特性是相同的。所以熵表征信源總的統(tǒng)計特性，總體的平均不確定性。67(3) 最大離散熵定理(極值性)定理： 離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時(即p(xi)=1/n)，熵最大。Hp(x1),p(x2),p(xn) H(1/n,1/n,1/n)=log2n 出現(xiàn)任何符號的可能性相等時，不確定性最大。68問題1？69問題1？70問題1？71問題2？72舉 例二進制信源是離散信源的一個特例。設(shè)該信源符號只有二個：0和1設(shè)符號輸出的概率分別為p和1-p信源的概率空間為二進制信源的信息熵為這時信息熵H(X)是p的函數(shù)。p取

28、值于0,1區(qū)間，我們可以畫出熵函數(shù)H(p)的曲線。7374從圖中可以得出熵函數(shù)的一些性質(zhì)：如果二進制信源的輸出是確定的(p=1或/p=1)，則該信源不提供任何信息；當二進制信源符號0和1等概率發(fā)生時，信源的熵達到最大值，等于1比特信息二元數(shù)字是二進制信源的輸出。在具有等概率的二進制信源輸出的二進制數(shù)字序列中，每一個二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量總是小于1比特。這也進一步說明了“二元數(shù)字”（計算機術(shù)語稱“比特”）與信息量單位“比特”的關(guān)系。75計算與思考76計算與思考77計算與思考信源空間必定是一個完備集信源空間的描述78(4) 擴展性 因

29、為 所以上式成立。本性質(zhì)說明，信源的取值增多時，若這些取值對應(yīng)的概率很?。ń咏诹悖?，則信源的熵不變。雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它在熵的計算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。79(5) 確定性H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量P(X)=p(x1),p(x2),p(xn)中 當p(xi)=1時，-p(xi)log2p(xi)=0； 其余變量p(xj)=0(ji)， 只要信源符號表中有一個符號出現(xiàn)概率為1，信源熵就等于0。在概率空間中，如果有兩個基本

30、事實，其中一個是必然事件，另一個則是不可能事件，因此沒有不確定性，熵必為0。當然可以類推到n個基本事件構(gòu)成的概率空間。80(6) 可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)證明第一個式子： 可加性 是熵函數(shù)的一個重要特性，正因為具有可加性，所以可以證明熵函數(shù)的形式是唯一的，不可能有其它形式存在。 81(7) 極值性/香農(nóng)輔助定理對任意兩個消息數(shù)相同的信源 有上式含義：任一概率分布p(xi)，它對其它概率分布p(yi)的自信息 取數(shù)學期望時，必不小于p(xi)本身的熵。思考如何證明極值性？82由熵的極值性可以證明條件熵不大于信源熵/無條件熵：H(X/Y)H(X)H(Y/X)H(Y)證明：H(X/Y)H(X) 已知Y時X的不確定度應(yīng)小于一無所知時X的不確定度。因為已知Y后，從Y得到了一些關(guān)于X的信息，從而使X的不確定度下降。