多分類(lèi)決策樹(shù)r語(yǔ)言_R語(yǔ)言構(gòu)造決策樹(shù)

1、多分類(lèi)決策樹(shù)r語(yǔ)言R語(yǔ)言構(gòu)造決策樹(shù)注：為了限制過(guò)擬合，可以限制生長(zhǎng)，修剪樹(shù)枝監(jiān)督機(jī)器學(xué)習(xí)中會(huì)出現(xiàn)的問(wèn)題：決策樹(shù)會(huì)用到基尼指數(shù)，信息增益等知識(shí)點(diǎn)，其他分類(lèi)器：KNN和隨機(jī)森林*下一版我們將用KNN和隨機(jī)森林進(jìn)行數(shù)據(jù)分類(lèi)#讀取數(shù)據(jù)library(tree)dataView(data)str(data)table(data$是否預(yù)定)#將數(shù)據(jù)分為測(cè)試集和訓(xùn)練集，70:30set.seed(2134)indtrain_settest_setnrow(train_set)127nrow(test_set)111#使用tree函數(shù)構(gòu)建決策樹(shù)模型#builddecisiontreemodelusingtre

2、e()str(data)data.frame:38obs.of6variables:TOC o 1-5 h z$性別:Factorw/2levels男，”女：1122121221.$年齡:Factorw/3levels00后,80后,.:3133323333.$價(jià)格敏感:Factorw/2levels否，”是：1122112111.$是否連住:Factorw/2levels否，”是:1112211211.$提各種問(wèn)題:Factorw/2levels否,是：1111121111.$是否預(yù)定:Factorw/2levels否，”是：2221212222.mytree#summarizethemod

3、elsummary(mytree)30.Classificationtree:tree(formula=是否預(yù)定性別+年齡+價(jià)格敏感+是否連住+提各種問(wèn)題,data=train_set)Variablesactuallyusedintreeconstruction:1是否連住提各種問(wèn)題Numberofterminalnodes:3Residualmeandeviance:0.4904=11.77/24Misclassificationerrorrate:0.07407=2/27模型結(jié)果顯示，剩余偏差為0.4904,誤分類(lèi)誤差為7.407%。現(xiàn)在繪制樹(shù)結(jié)構(gòu)#plotthetreeplot(myt

4、ree)text(mytree,pretty=0,cex=0.6)模型準(zhǔn)備就緒后，使用測(cè)試數(shù)據(jù)集測(cè)試模型?？梢粤私饽Ｐ偷谋憩F(xiàn)程度，以及是否過(guò)擬合和欠擬合pred_mytreepred_mytree1是否否否否是是是是是否Levels:否是#predictvaluesofclasssummary(pred_mytree)否是56#comparethepredictwithactualtable(pred_mytree)pred_mytree否是TOC o 1-5 h z56table(test_set,6)15.否是38table(pred_mytree,test_set,6)19.pred_m

5、ytree否是否23是15mean(pred_mytree!=test_set,6)10.3636364正如可見(jiàn)，誤分類(lèi)誤差是36.4%，使用從未見(jiàn)過(guò)的測(cè)試機(jī)數(shù)據(jù)后，模型看起來(lái)表現(xiàn)不佳，可能是由于數(shù)據(jù)量太小所導(dǎo)致的。因此，我們把所有數(shù)據(jù)加入，并作圖mytreesummary(mytree)3.Classificationtree:tree(formula=是否預(yù)定性別+年齡+價(jià)格敏感+是否連住+提各種問(wèn)題,data=data)Variablesactuallyusedintreeconstruction:1是否連住性別價(jià)格敏感Numberofterminalnodes:4Residualmea

6、ndeviance:0.7214=24.53/34Misclassificationerrorrate:0.1316=5/38plot(mytree)text(mytree,pretty=0,cex=0.6)mytreesummary(mytree)3.Classificationtree:tree(formula=是否預(yù)定性別+年齡+價(jià)格敏感+是否連住+提各種問(wèn)題,data=data)Variablesactuallyusedintreeconstruction:1是否連住性別價(jià)格敏感Numberofterminalnodes:4Residualmeandeviance:0.7214=24.

7、53/34Misclassificationerrorrate:0.1316=5/38plot(mytree)text(mytree,pretty=0,cex=0.6)pred_mytreepred_mytreepred_mytree1是是否是是是是是是是否Levels:否是summary(pred_mytree)否是TOC o 1-5 h z29table(pred_mytree,test_set,6)23.pred_mytree否是否11是27table(pred_mytree)pred_mytree否是29table(test_set,6)32.否是38mean(pred_mytree!

8、=test_set,6)10.2727273誤分類(lèi)誤差為27.2%，有所降低下面通過(guò)修剪樹(shù)來(lái)提高模型的性能，然后使用訓(xùn)練集set.seed(2345)prune_mytreeprune_mytree$size1432144.TOC o 1-5 h z$dev17661247.$k1-Inf01450.$method1misclass53.attr(,class)1prunetree.sequenceplot(prune_mytree$size,prune_mytree$dev,type=b)樹(shù)的偏差與size的關(guān)系圖通過(guò)繪制樹(shù)的偏差與size的關(guān)系圖，可以看出，最小誤差出現(xiàn)在size=3的地方

9、，將修剪樹(shù)size設(shè)為3,并重新計(jì)算性能prune_modelsummary(prune_model)3.Classificationtree:snip.tree(tree=mytree,nodes=2L)Variablesactuallyusedintreeconstruction:1是否連住價(jià)格敏感Numberofterminalnodes:3Residualmeandeviance:0.7592=26.57/35Misclassificationerrorrate:0.1316=5/3811.plot(prune_model)text(prune_model,pretty=0,cex=0.6)pred_prunetable(pred_prune,test_set,6)3.pred_prune否是否11是27mean(pred_prune!=test_set,6)10.2727273樹(shù)修剪后的誤分類(lèi)誤差為13.16%,剩余均值偏差為0.7592,且測(cè)試集的誤分類(lèi)誤差為27.3%,剩余均值偏差有所提高，且誤分類(lèi)誤差沒(méi)有改變。因此，樹(shù)修剪后的模型并沒(méi)有改進(jìn)原來(lái)模型的性能。下一步可以執(zhí)行k-折驗(yàn)證。過(guò)程如下：1將數(shù)據(jù)集拆分成k個(gè)折疊，建議值為k=102,對(duì)于數(shù)據(jù)集中的每個(gè)k折，在k-1折疊上建立模型，并測(cè)試模型以檢查左側(cè)折疊的有效性