(2021年整理)實(shí)驗(yàn)二

1、實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告編輯整理：尊敬的讀者朋友們：這里是精品文檔編輯中心，本文檔內(nèi)容是由我和我的同事精心編輯整理后發(fā)布的，發(fā)布之前我們對(duì) 文中內(nèi)容進(jìn)行仔細(xì)校對(duì)，但是難免會(huì)有疏漏的地方，但是任然希望（實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告） 的內(nèi)容能夠給您的工作和學(xué)習(xí)帶來(lái)便利。同時(shí)也真誠(chéng)的希望收到您的建議和反饋，這將是我們進(jìn)步 的源泉，前進(jìn)的動(dòng)力。本文可編輯可修改，如果覺(jué)得對(duì)您有幫助請(qǐng)收藏以便隨時(shí)查閱，最后祝您生活愉快 業(yè)績(jī)進(jìn)步，以 下為實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告的全部?jī)?nèi)容。一、實(shí)驗(yàn)原理決策樹(shù)是一個(gè)類似于流程圖的樹(shù)結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試，每個(gè) 分支

2、代表一個(gè)測(cè)試輸入，而每個(gè)樹(shù)葉結(jié)點(diǎn)代表類或類分布數(shù)的最頂層結(jié)點(diǎn)是根結(jié)點(diǎn)。一棵典 型的決策樹(shù)如圖1所示它表示概念buys_computer，它預(yù)測(cè)顧客是否可能購(gòu)買計(jì)算機(jī)。內(nèi)部結(jié) 點(diǎn)用矩形表示，而樹(shù)葉結(jié)點(diǎn)用橢圓表示。為了對(duì)未知的樣本分類，樣本的屬性值在決策樹(shù)上測(cè)試。決策樹(shù)從根到葉結(jié)點(diǎn)的一條路徑就對(duì)應(yīng)著一條合取規(guī)則，因此決策樹(shù)容易轉(zhuǎn)化成分類規(guī)則。圖1ID3算法：決策樹(shù)中每一個(gè)非葉結(jié)點(diǎn)對(duì)應(yīng)著一個(gè)非類別屬性，樹(shù)枝代表這個(gè)屬性的值。一 個(gè)葉結(jié)點(diǎn)代表從樹(shù)根到葉結(jié)點(diǎn)之間的路徑對(duì)應(yīng)的記錄所屬的類別屬性值。每一個(gè)非葉結(jié)點(diǎn)都將與屬性中具有最大信息量的非類別屬性相關(guān)聯(lián).采用信息增益來(lái)選擇能夠最好地將樣本分類的屬性。信息

3、增益基于信息論中熵的概念。ID3總是選擇具有最高信息增益（或最大熵壓縮）的屬性作 為當(dāng)前結(jié)點(diǎn)的測(cè)試屬性。該屬性使得對(duì)結(jié)果劃分中的樣本分類所需的信息量最小，并反映劃分 的最小隨機(jī)性或“不純性。二、算法偽代碼算法 Decision_Tree(data,AttributeName)輸入由離散值屬性描述的訓(xùn)練樣本集data；候選屬性集合AttributeName。輸出一棵決策樹(shù)。創(chuàng)建節(jié)點(diǎn)N；If samples 都在同一類 C 中 then返回N作為葉節(jié)點(diǎn)，以類C標(biāo)記；If attribute_list 為空 then返回N作為葉節(jié)點(diǎn)，以samples中最普遍的類標(biāo)記；/多數(shù)表決選擇attribute

4、_list中具有最高信息增益的屬性test_attribute;以 test_attribute 標(biāo)記節(jié)點(diǎn) N；For each test_attribute 的已知值 v/劃分 samples由節(jié)點(diǎn)N分出一對(duì)應(yīng)test_attribute=v的分支；(10令S為samples中test_attribute=v的樣本集合；/ 劃分塊vIf S 為空 thenv加上一個(gè)葉節(jié)點(diǎn)，以samples中最普遍的類標(biāo)記；Else 加入 由 Decision_Tree (Sv, attribute_list一test_attribute)返回節(jié)點(diǎn) 值。三、實(shí)驗(yàn)數(shù)據(jù)預(yù)處理Age:30歲以下標(biāo)記為“1; 30歲

5、以上50歲以下標(biāo)記為“2” ;50歲以上標(biāo)記為“3。Sex： FEMAL“1” ；MALE“2”Region： INNER CITY“1； TOWN“2”； RURAL“3； SUBURBAN實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告Income:50002 萬(wàn)“1； 2 萬(wàn)4 萬(wàn)“2； 4 萬(wàn)以上“3”MarriedChildrenCarMortgagePep:以上五個(gè)條件，若為“是”標(biāo)記為“1”，若為“否”標(biāo)記為“2”。Agesexregionincomemarriedchildren car mortgage pep1211211221211222212141212212111122221211122

6、221211212112121121122111211212131221212122212222212222112122112112212122121112122213212111221132221213122122213233111213223121123133112213213121223213111113113121123133122223243122113 1 3 3四、實(shí)驗(yàn)主函數(shù)function mainclc；22112DataSet=1211211 2 2121122221214121221211112222121112222121121211212112112211121121

7、實(shí)驗(yàn)二-決策樹(shù)實(shí)驗(yàn)-實(shí)驗(yàn)報(bào)告212221222221222211212211211221212212111212221321211122111211121113222121312212221323311121322312112313311221321312122321311111311312112313312222324312211313322112;AttributName=11 12 13 14 15 16 17 18 19；Tree RulesMatrix=DecisionTree(DataSet，AttributName)End五、實(shí)驗(yàn)結(jié)果The Decision(The Root)：

8、Tree：AttributI|II|III2Attribut2leaf 21AttributII1Att ribut1Attribut|I|1leaf 1|I2leaf 2|I2leaf 23AttributI1Attribut|I 1leaf 1|2leaf 2II3leaf1AttributII1leaf 2|2leaf 12Attribut| |1leaf 2II2Att ribut|I|1leaf 1II|2leaf 2|3leaf 2I3AttributI|1leaf 2II2AttributII_1_leaf 1II_2_Attribut|I1_leaf 1I|2_leaf 2I4leaf 1Tree =Attribut:3Child：1x4 structRulesMatrix =1 11 0 100011 21 0 100022010100023011110013012110023013110013010120021010201022010201010010202010021000020022100010022