實(shí)驗(yàn)二.天氣決策樹

1、精選課件1實(shí)驗(yàn)二：天氣決策樹的構(gòu)造精選課件2輸入數(shù)據(jù)例子編號屬 性分類天況溫度濕度風(fēng)況1晴熱大無N2晴熱大有N3多云熱大無P4雨中大無P5雨冷正常無P6雨冷正常有N7多云冷正常有P8晴中大無N9晴冷正常無P10雨中正常無P11晴中正常有P12多云中大有P13多云熱正常無P14雨中大有N精選課件3生成的決策樹精選課件4算法 選擇一個(gè)屬性，把數(shù)據(jù)分割為K份。 選擇的準(zhǔn)則：Information GainciiivAValuesvvppSEntropySEntropySSSEntropyASGain12)(log)()()(),(精選課件5原始數(shù)據(jù)的熵 本題中物體集C有十四個(gè)例子，9個(gè)正例，5個(gè)反例

2、。于是：M(C)9/14 * log2 (9/14) 5/14 * log2 (5/14) 0. 940 bits 精選課件6選取屬性“天況”的Information Gain 計(jì)算各分支的熵 “晴”的分支含2個(gè)正例3個(gè)反例，所需期望信息量為： M(天況為晴)2/5 * log2 (2/5)3/5 * log2 (3/5) 0. 971 bits “多云”的分支，含4個(gè)正例0個(gè)反例： M(天況為多云)0 “雨”的分支，含個(gè)正例個(gè)反例： M(天況為雨)3/5 * log2 (3/5)2/5 * log2 (2/5) 0. 971 bits 則以“天況”作劃分后，對應(yīng)決策樹的信息量為： B(C，“

3、天況”)5/14 * 0. 971 4/14 * 0 5/14 * 0. 971 0. 694 bits 選擇天況做為判別條件的Information GainGain(C, “天況”) = M(C)B(C，“天況”) 0. 940 0. 694 0. 247 bits 精選課件7各屬性Information Gain的比較 Gain(C, “天況”) M(C)B(C，“天況”)0. 940 0. 694 0. 247 bits Gain(C, “溫度”) M(C)B(C，溫度)0. 940 0. 911 0. 029 bits Gain(C, “濕度”) M(C)B(C，濕度)0. 940

4、0. 788 0.152 bits Gain(C, “風(fēng)況”) M(C)B(C，風(fēng)況)0. 940 0. 8920. 048 bits 精選課件8生成的決策樹精選課件9繼續(xù)劃分“晴”的分支 Gain(C晴, “溫度”) M(天況為晴)B(天況為晴，“溫度”). Gain(C晴, “濕度”) M(天況為晴)B(天況為晴，“濕度”). Gain(C晴, “風(fēng)況”) M(天況為晴)B(天況為晴，風(fēng)況). 精選課件10繼續(xù)劃分“多云 ”的分支 全部為正例，無須劃分。 精選課件11繼續(xù)劃分“雨 ”的分支 Gain(C雨, “溫度”) M(天況為雨)B(天況為雨，“溫度”). Gain(C雨, “濕度”) M(天況