實(shí)驗(yàn)二.天氣決策樹課件

實(shí)驗(yàn)二：天氣決策樹的構(gòu)造實(shí)驗(yàn)二.天氣決策樹輸入數(shù)據(jù)例子編號屬性分類天況溫度濕度風(fēng)況1晴熱大無N2晴熱大有N3多云熱大無P4雨中大無P5雨冷正常無P6雨冷正常有N7多云冷正常有P8晴中大無N9晴冷正常無P10雨中正常無P11晴中正常有P12多云中大有P13多云熱正常無P14雨中大有N實(shí)驗(yàn)二.天氣決策樹生成的決策樹實(shí)驗(yàn)二.天氣決策樹算法選擇一個屬性，把數(shù)據(jù)分割為K份。選擇的準(zhǔn)則：InformationGain實(shí)驗(yàn)二.天氣決策樹原始數(shù)據(jù)的熵本題中物體集C有十四個例子，9個正例，5個反例。于是：M(C)＝－9/14*

log2

(9/14)

－5/14*

log2

(5/14)

＝0.

940bits實(shí)驗(yàn)二.天氣決策樹選取屬性“天況”的InformationGain計算各分支的熵“晴”的分支含2個正例3個反例，所需期望信息量為：

M(天況為晴)＝－2/5*

log2

(2/5)－3/5*

log2

(3/5)

＝0.

971bits“多云”的分支，含4個正例0個反例：

M(天況為多云)＝0“雨”的分支，含３個正例２個反例：

M(天況為雨)＝－3/5*

log2

(3/5)－2/5*

log2

(2/5)

＝0.

971bits則以“天況”作劃分后，對應(yīng)決策樹的信息量為：

B(C，“天況”)＝5/14*

0.

971

＋4/14*0

＋5/14*

0.

971

＝0.

694bits選擇天況做為判別條件的InformationGainGain(C,“天況”)=M(C)－B(C，“天況”)

＝0.

940

－0.

694

＝0.

247bits實(shí)驗(yàn)二.天氣決策樹各屬性InformationGain的比較Gain(C,“天況”)＝M(C)－B(C，“天況”)

＝0.

940

－0.

694

＝0.

247bitsGain(C,“溫度”)＝M(C)－B(C，"溫度")

＝0.

940

－0.

911＝0.

029bitsGain(C,“濕度”)＝M(C)－B(C，"濕度")

＝0.

940

－0.

788＝0.152bitsGain(C,“風(fēng)況”)＝M(C)－B(C，"風(fēng)況")

＝0.

940

－0.

892＝0.

048bits

實(shí)驗(yàn)二.天氣決策樹生成的決策樹實(shí)驗(yàn)二.天氣決策樹繼續(xù)劃分“晴”的分支Gain(C晴,“溫度”)

＝M(天況為晴)－B(天況為晴，“溫度”)

＝０.５７１Gain(C晴,“濕度”)

＝M(天況為晴)－B(天況為晴，“濕度”)

＝０.９７１Gain(C晴,“風(fēng)況”)

＝M(天況為晴)－B(天況為晴，"風(fēng)況")

＝０.４２０實(shí)驗(yàn)二.天氣決策樹繼續(xù)劃分“多云”的分支全部為正例，無須劃分。實(shí)驗(yàn)二.天氣決策樹繼續(xù)劃分“雨”的分支Gain(C雨,“溫度”)

＝M(天況為雨)－B(天況為雨，“溫度”)

＝０.０２０Gain(C雨,“濕度”)

＝M(天況為雨)－B(天況為雨，“濕度”)

＝０.０２０Gain(C雨,“