信息增益,熵計算

1、信息增益計算和原理當(dāng)我們需要對一個隨機事件的概率分布進行預(yù)測時，我們的預(yù)測應(yīng)當(dāng)滿足全部已知的條件，而對未知的情況不要做任何主觀假設(shè)。在這種情況下，概率分布最均勻，預(yù)測的風(fēng)險最小。因為這時概率分布的信息熵最大，所以稱之為“最大熵法”。最大熵法在數(shù)學(xué)形式上很漂亮，但是實現(xiàn)起來比較復(fù)雜，但把它運用于金融領(lǐng)域的誘惑也比較大，比如說決定股票漲落的因素可能有幾十甚至上百種，而最大熵方法恰恰能找到一個同時滿足成千上萬種不同條件的模型。這里我們先不討論算法（這里用的是）,把一棵決策樹建立起來再說。我們要建立的決策樹的形式類似于“如果天氣怎么樣，去玩；否則，怎么著怎么著”的樹形分叉。那么問題是用哪個屬性（即變量

2、，如天氣、溫度、濕度和風(fēng)力）最適合充當(dāng)這顆樹的根節(jié)點，在它上面沒有其他節(jié)點，其他的屬性都是它的后續(xù)節(jié)點。借用信息論的概念，我們用一個統(tǒng)計量，信息增益（）來衡量一個屬性區(qū)分以上數(shù)據(jù)樣本的能力。信息增益量越大，這個屬性作為一棵樹的根節(jié)點就能使這棵樹更簡潔，比如說一棵樹可以這么讀成，如果風(fēng)力弱，就去玩；風(fēng)力強，再按天氣、溫度等分情況討論，此時用風(fēng)力作為這棵樹的根節(jié)點就很有價值。如果說，風(fēng)力弱，再又天氣晴朗，就去玩；如果風(fēng)力強，再又怎么怎么分情況討論，這棵樹相比就不夠簡潔了。計算信息增益的公式需要用到熵（）。1計算熵1U0二uoLirgf卑百孚XS2網(wǎng)即入ssmniraXuoLirgfSfLOUXS2

3、I0L?pjuaurq入ssdmniraXCOOJuoLirgfXS28mnuuX呵網(wǎng)即UOO/.&LCEjCOOJuoLirgfSfLOUXS2L?pjCOQJuaurqUO2tsmjCOOJuoLirgfXS24L?pj呵入SSO/.&LCEjXS2了mnuuXUOmniraXpo(UOD詠OnqoapXfUJbGLffjmsJjnUJTCTjjL左西qyjAfsuija我們檢查的屬性是是否出去玩。用對上面數(shù)據(jù)的變量的各個取值排個序（這個工作簿里把這個詞去掉），一共是條記錄，你能數(shù)出取值為的記錄有個，取值為的有個，我們說這個樣本里有個正例，個負例,記為+是樣本的意思。這里熵記為計算公式為：

4、解釋一下，9/是1正4例的個數(shù)與總記錄之比，同樣5/是1負4例占總記錄的比例。總結(jié)：在這個例子中，我們的輸出屬性（我們要檢查的屬性）只有兩個取值，同樣地，如果輸出屬性的取值大于2，公式是對成的，一樣的形式，連加就是，找到各個取值的個數(shù)，求出各自的比例。如果樣本具有二元輸出屬性，其熵的公式為:其中，、分別為正例和負例占總記錄的比例。輸出屬性取值大于的情況,公式是對稱的。2分別以增益和作為根節(jié)點，計算其信息可以數(shù)得，屬性中取值為正例6個，負例2個；同樣，取值為以計算相應(yīng)的熵為：的記錄有的記錄有條，其中的記錄個，正例負例個個。我們可現(xiàn)在就可以計算出相應(yīng)的信息增益了：這個公式的奧秘在于，是屬性取值為的個數(shù)占總記錄的比例，同樣是其取值為的記錄個數(shù)與總記錄數(shù)之比。同理，如果以作為根節(jié)點：