機器學習-第3天決策樹分類算法與應用

1、1. 1.1 決策樹1.2 ：1. 1.1 決策樹1.2 ：實質(zhì)：通、長相、收入和是對分為兩個類別：見和不對的要求是：30 的收入高1.3 1.3.1 假 1.3 1.3.1 假 2 來樣決策樹的評價所用的定方法為計算每種劃分情況的信息熵增益如決策樹的評價所用的定方法為計算每種劃分情況的信息熵增益如果經(jīng)過某個選定的屬性進行數(shù)據(jù)劃分后的信息熵下降最多，則這個劃分屬性是最優(yōu)選1.3.2 屬性劃分選擇（即構(gòu)造決策樹）-(1/2*log(1/21/2*log(1/2因此選擇 A0 e2*2/40的和：E = e1*2/4 +A0G（SA0）=SE100，21個正例，1個負例。信息熵為：e11/20，2

2、1個正例，1個負例。信息熵為：e11/2*log(1/21/2*log(1/211，31個正例，1個負例。信息熵為：e21/2*log(1/21/2*log(1/21因此選擇 A1 e2*2/41的=+A1G（SA1）=SE111.4 1.4.2 2. 2.1 2. 2.1 2.2 1.55060406060806090701.980#-*-coding:utf-8-*- import numpy as np import scipy as spfromsklearnimportfrom sklearn.metrics import precifrom sklearn.metrics impo

3、rt classification_report fromsklearn.cross_validationimporttrain_test_split data& ; = labels = withmldata1.txt)asforlinein data.append(float(tk) for tkx = labels=y = 0/1 使用信息熵作為劃分標準，對決策樹進行訓練 clf = tree.Deci withopen(tree.dotwas 系數(shù)反映每個特征的。越大表示該特征在分類中起到的作用越大 answer=60.60.80.50.40.80.90.60. pr (x_train

4、) pr (answer) pr pr (np.mean(answer=率, recall, thresholds = precianswer = clf.predict_proba(x):,1 _names=thin,2.4 2.4 0 label=X1 12 label=X1 2 ;3 label=X0 3 ;label=entropy = 0.0000nsles = 2nvalue = 0.2., sh=box; 3 - 4 ;label=entropy=les=1nvalue=0.,=boxavg/可以看到，對訓練過的數(shù)據(jù)做測試，準確率是100%。但是最后將所有數(shù)據(jù)進現(xiàn)1 個測試樣本分類錯誤。3- 53- 5