(2021年整理)實驗二

1、實驗二-決策樹實驗-實驗報告實驗二-決策樹實驗-實驗報告編輯整理：尊敬的讀者朋友們：這里是精品文檔編輯中心，本文檔內(nèi)容是由我和我的同事精心編輯整理后發(fā)布的，發(fā)布之前我們對 文中內(nèi)容進行仔細校對，但是難免會有疏漏的地方，但是任然希望（實驗二-決策樹實驗-實驗報告） 的內(nèi)容能夠給您的工作和學(xué)習帶來便利。同時也真誠的希望收到您的建議和反饋，這將是我們進步 的源泉，前進的動力。本文可編輯可修改，如果覺得對您有幫助請收藏以便隨時查閱，最后祝您生活愉快 業(yè)績進步，以 下為實驗二-決策樹實驗-實驗報告的全部內(nèi)容。一、實驗原理決策樹是一個類似于流程圖的樹結(jié)構(gòu)，其中每個內(nèi)部結(jié)點表示在一個屬性上的測試，每個 分支

2、代表一個測試輸入，而每個樹葉結(jié)點代表類或類分布數(shù)的最頂層結(jié)點是根結(jié)點。一棵典 型的決策樹如圖1所示它表示概念buys_computer，它預(yù)測顧客是否可能購買計算機。內(nèi)部結(jié) 點用矩形表示，而樹葉結(jié)點用橢圓表示。為了對未知的樣本分類，樣本的屬性值在決策樹上測試。決策樹從根到葉結(jié)點的一條路徑就對應(yīng)著一條合取規(guī)則，因此決策樹容易轉(zhuǎn)化成分類規(guī)則。圖1ID3算法：決策樹中每一個非葉結(jié)點對應(yīng)著一個非類別屬性，樹枝代表這個屬性的值。一 個葉結(jié)點代表從樹根到葉結(jié)點之間的路徑對應(yīng)的記錄所屬的類別屬性值。每一個非葉結(jié)點都將與屬性中具有最大信息量的非類別屬性相關(guān)聯(lián).采用信息增益來選擇能夠最好地將樣本分類的屬性。信息

3、增益基于信息論中熵的概念。ID3總是選擇具有最高信息增益（或最大熵壓縮）的屬性作 為當前結(jié)點的測試屬性。該屬性使得對結(jié)果劃分中的樣本分類所需的信息量最小，并反映劃分 的最小隨機性或“不純性。二、算法偽代碼算法 Decision_Tree(data,AttributeName)輸入由離散值屬性描述的訓(xùn)練樣本集data；候選屬性集合AttributeName。輸出一棵決策樹。創(chuàng)建節(jié)點N；If samples 都在同一類 C 中 then返回N作為葉節(jié)點，以類C標記；If attribute_list 為空 then返回N作為葉節(jié)點，以samples中最普遍的類標記；/多數(shù)表決選擇attribute

4、_list中具有最高信息增益的屬性test_attribute;以 test_attribute 標記節(jié)點 N；For each test_attribute 的已知值 v/劃分 samples由節(jié)點N分出一對應(yīng)test_attribute=v的分支；(10令S為samples中test_attribute=v的樣本集合；/ 劃分塊vIf S 為空 thenv加上一個葉節(jié)點，以samples中最普遍的類標記；Else 加入 由 Decision_Tree (Sv, attribute_list一test_attribute)返回節(jié)點 值。三、實驗數(shù)據(jù)預(yù)處理Age:30歲以下標記為“1; 30歲

5、以上50歲以下標記為“2” ;50歲以上標記為“3。Sex： FEMAL“1” ；MALE“2”Region： INNER CITY“1； TOWN“2”； RURAL“3； SUBURBAN實驗二-決策樹實驗-實驗報告Income:50002 萬“1； 2 萬4 萬“2； 4 萬以上“3”MarriedChildrenCarMortgagePep:以上五個條件，若為“是”標記為“1”，若為“否”標記為“2”。Agesexregionincomemarriedchildren car mortgage pep1211211221211222212141212212111122221211122

6、221211212112121121122111211212131221212122212222212222112122112112212122121112122213212111221132221213122122213233111213223121123133112213213121223213111113113121123133122223243122113 1 3 3四、實驗主函數(shù)function mainclc；22112DataSet=1211211 2 2121122221214121221211112222121112222121121211212112112211121121

7、實驗二-決策樹實驗-實驗報告212221222221222211212211211221212212111212221321211122111211121113222121312212221323311121322312112313311221321312122321311111311312112313312222324312211313322112;AttributName=11 12 13 14 15 16 17 18 19；Tree RulesMatrix=DecisionTree(DataSet，AttributName)End五、實驗結(jié)果The Decision(The Root)：

8、Tree：AttributI|II|III2Attribut2leaf 21AttributII1Att ribut1Attribut|I|1leaf 1|I2leaf 2|I2leaf 23AttributI1Attribut|I 1leaf 1|2leaf 2II3leaf1AttributII1leaf 2|2leaf 12Attribut| |1leaf 2II2Att ribut|I|1leaf 1II|2leaf 2|3leaf 2I3AttributI|1leaf 2II2AttributII_1_leaf 1II_2_Attribut|I1_leaf 1I|2_leaf 2I4leaf 1Tree =Attribut:3Child：1x4 structRulesMatrix =1 11 0 100011 21 0 100022010100023011110013012110023013110013010120021010201022010201010010202010021000020022100010022