最大信息熵原理

—* JB大信息館腺理 —熱力學(xué)統(tǒng)計物理中有熵增加原理，在信息論中也有對應(yīng)的關(guān)于信息熵的著名定理――最大信息熵原理。在很多情況下，對一些隨機(jī)事件，我們并不了解其概率分布，所掌握的只是與隨機(jī)事件有關(guān)的一個或幾個隨機(jī)變量的平均值。例如，我們只知道一個班的學(xué)生考試成績有三個分?jǐn)?shù)檔：80分、90分、100分，且已知平均成績?yōu)?0分。顯然在這種情況下，三種分?jǐn)?shù)檔的概率分布并不是唯一的。因為在下列已知條件限制下P1*80+P2*90+p3*100=90（平均成績）P1+P2+P3=1（概率歸一化條件）有無限多組解，該選哪一組解呢？即如何從這些相容的分布中挑選出“最佳的”、“最合理”的分布來呢？這個挑選標(biāo)準(zhǔn)就是最大信息熵原理。按最大信息熵原理，我們從全部相容的分布中挑選這樣的分布，它是在某些約束條件下（通常是給定的某些隨機(jī)變量的平均值）使信息熵達(dá)到極大值的分布。這一原理是由楊乃斯提出的。這是因為信息熵取得極大值時對應(yīng)的一組概率分布出現(xiàn)的概率占絕對優(yōu)勢。從理論上可以證明這一點(diǎn)。在我們把熵看作是計量不確定程度的最合適的標(biāo)尺時，我們就基本已經(jīng)認(rèn)可在給定約束下選擇不確定程度最大的那種分布作為隨機(jī)變量的分布。因為這種隨機(jī)分布是最為隨機(jī)的，是主觀成分最少，把不確定的東西作最大估計的分布。任何物質(zhì)系統(tǒng)除了都受到或多或少的外部約束外，其內(nèi)部總是具有一定的自由度，這種自由度導(dǎo)致系統(tǒng)內(nèi)的各元素處于不同的狀態(tài)。而狀態(tài)的多樣性，狀態(tài)的豐富程度（混亂程度、復(fù)雜程度）的定量計量標(biāo)尺就是熵，熵最大就是事物狀態(tài)的豐富程度自動達(dá)到最大值。換句話說，事物總是在約束下爭?。ɑ虺尸F(xiàn)）最大的自由權(quán)，我們把這看作是自然界的根本原則。在給定的約束條件下，由最大信息熵原理求“最佳”概率分布，就是求解條件極值問題。在某些場合，常用拉格朗日乘子法來確定此分布。一般地，拉格朗日乘子法的法則可敘述如下：欲求n元函數(shù)（X、,，…，x）在m個血5約束條件2 n&（獨(dú)吃=a＜他（心冷…?兀）=D （6）_為舗居，…衛(wèi)J=D下的條件極值，可用常數(shù)1,仏九，…，九依次乘f,仇嘰…嘰把結(jié)果加起來，得函數(shù)廳〔?；?，…，兀）=f+^+^+'"+aA

然后列出%也??用無約束條件時具有極值的必要條件然后列出%也??用無約束條件時具有極值的必要條件7）這n個方程（7）與m個方程（6）聯(lián)立解出n+m個未知數(shù)x1，x2，?，x，。而其中x1，x2，?，x就是可能為極值點(diǎn)的坐2n12n標(biāo)，稱為駐點(diǎn)。從信息論中發(fā)展起來的最大信息