(2021年整理)實驗二

1、實驗二-決策樹實驗-實驗報告實驗二-決策樹實驗-實驗報告編輯整理：尊敬的讀者朋友們：這里是精品文檔編輯中心，本文檔內容是由我和我的同事精心編輯整理后發(fā)布的，發(fā)布之前我們對 文中內容進行仔細校對，但是難免會有疏漏的地方，但是任然希望（實驗二-決策樹實驗-實驗報告） 的內容能夠給您的工作和學習帶來便利。同時也真誠的希望收到您的建議和反饋，這將是我們進步 的源泉，前進的動力。本文可編輯可修改，如果覺得對您有幫助請收藏以便隨時查閱，最后祝您生活愉快 業(yè)績進步，以 下為實驗二-決策樹實驗-實驗報告的全部內容。一、實驗原理決策樹是一個類似于流程圖的樹結構，其中每個內部結點表示在一個屬性上的測試，每個 分支

2、代表一個測試輸入，而每個樹葉結點代表類或類分布數的最頂層結點是根結點。一棵典 型的決策樹如圖1所示它表示概念buys_computer，它預測顧客是否可能購買計算機。內部結 點用矩形表示，而樹葉結點用橢圓表示。為了對未知的樣本分類，樣本的屬性值在決策樹上測試。決策樹從根到葉結點的一條路徑就對應著一條合取規(guī)則，因此決策樹容易轉化成分類規(guī)則。圖1ID3算法：決策樹中每一個非葉結點對應著一個非類別屬性，樹枝代表這個屬性的值。一 個葉結點代表從樹根到葉結點之間的路徑對應的記錄所屬的類別屬性值。每一個非葉結點都將與屬性中具有最大信息量的非類別屬性相關聯(lián).采用信息增益來選擇能夠最好地將樣本分類的屬性。信息

3、增益基于信息論中熵的概念。ID3總是選擇具有最高信息增益（或最大熵壓縮）的屬性作 為當前結點的測試屬性。該屬性使得對結果劃分中的樣本分類所需的信息量最小，并反映劃分 的最小隨機性或“不純性。二、算法偽代碼算法 Decision_Tree(data,AttributeName)輸入由離散值屬性描述的訓練樣本集data；候選屬性集合AttributeName。輸出一棵決策樹。創(chuàng)建節(jié)點N；If samples 都在同一類 C 中 then返回N作為葉節(jié)點，以類C標記；If attribute_list 為空 then返回N作為葉節(jié)點，以samples中最普遍的類標記；/多數表決選擇attribute

4、_list中具有最高信息增益的屬性test_attribute;以 test_attribute 標記節(jié)點 N；For each test_attribute 的已知值 v/劃分 samples由節(jié)點N分出一對應test_attribute=v的分支；(10令S為samples中test_attribute=v的樣本集合；/ 劃分塊vIf S 為空 thenv加上一個葉節(jié)點，以samples中最普遍的類標記；Else 加入 由 Decision_Tree (Sv, attribute_list一test_attribute)返回節(jié)點 值。三、實驗數據預處理Age:30歲以下標記為“1; 30歲

5、以上50歲以下標記為“2” ;50歲以上標記為“3。Sex： FEMAL“1” ；MALE“2”Region： INNER CITY“1； TOWN“2”； RURAL“3； SUBURBAN實驗二-決策樹實驗-實驗報告Income:50002 萬“1； 2 萬4 萬“2； 4 萬以上“3”MarriedChildrenCarMortgagePep:以上五個條件，若為“是”標記為“1”，若為“否”標記為“2”。Agesexregionincomemarriedchildren car mortgage pep1211211221211222212141212212111122221211122

6、221211212112121121122111211212131221212122212222212222112122112112212122121112122213212111221132221213122122213233111213223121123133112213213121223213111113113121123133122223243122113 1 3 3四、實驗主函數function mainclc；22112DataSet=1211211 2 2121122221214121221211112222121112222121121211212112112211121121

7、實驗二-決策樹實驗-實驗報告212221222221222211212211211221212212111212221321211122111211121113222121312212221323311121322312112313311221321312122321311111311312112313312222324312211313322112;AttributName=11 12 13 14 15 16 17 18 19；Tree RulesMatrix=DecisionTree(DataSet，AttributName)End五、實驗結果The Decision(The Root)：

8、Tree：AttributI|II|III2Attribut2leaf 21AttributII1Att ribut1Attribut|I|1leaf 1|I2leaf 2|I2leaf 23AttributI1Attribut|I 1leaf 1|2leaf 2II3leaf1AttributII1leaf 2|2leaf 12Attribut| |1leaf 2II2Att ribut|I|1leaf 1II|2leaf 2|3leaf 2I3AttributI|1leaf 2II2AttributII_1_leaf 1II_2_Attribut|I1_leaf 1I|2_leaf 2I4leaf 1Tree =Attribut:3Child：1x4 structRulesMatrix =1 11 0 100011 21 0 100022010100023011110013012110023013110013010120021010201022010201010010202010021000020022100010022