第3章_分類與決策樹ppt課件

1、第3章分類與預(yù)測.主要內(nèi)容分類與決策樹概述ID3、C4.5與C5.0CART.分類 VS. 預(yù)測分類和預(yù)測是兩種數(shù)據(jù)分析方式，用于提取描畫重要數(shù)據(jù)類或預(yù)測未來的數(shù)據(jù)趨勢 的模型分類：預(yù)測類對象的分類標號或離散值根據(jù)訓(xùn)練數(shù)據(jù)集和類標號屬性，構(gòu)建模型來分類現(xiàn)有數(shù)據(jù)，并用來分類新數(shù)據(jù)預(yù)測：建立延續(xù)函數(shù)值模型比如預(yù)測空缺值，或者預(yù)測顧客在計算機設(shè)備上的破費典型運用欺詐檢測、市場定位、性能預(yù)測、醫(yī)療診斷分類是一種運用非常廣泛的數(shù)據(jù)發(fā)掘技術(shù) 分類與預(yù)測的區(qū)別：當估計的屬性值是離散值時，這就是分類；當估計的屬性值是延續(xù)值時，這就是預(yù)測。.分類和預(yù)測-例如分類銀行貸款員需求分析數(shù)據(jù)，來弄清哪些貸款懇求者是平安

2、的，哪些是有風(fēng)險的將貸款懇求者分為“平安和“有風(fēng)險兩類我們需求構(gòu)造一個分類器來預(yù)測類屬編號，比如預(yù)測顧客屬類預(yù)測銀行貸款員需求預(yù)測貸給某個顧客多少錢是平安的構(gòu)造一個預(yù)測器，預(yù)測一個延續(xù)值函數(shù)或有序值，常用方法是回歸分析.數(shù)據(jù)分類一個兩步過程 (1)第一步，也成為學(xué)習(xí)步，目的是建立描畫預(yù)先定義的數(shù)據(jù)類或概念集的分類器分類算法經(jīng)過分析或從訓(xùn)練集“學(xué)習(xí)來構(gòu)造分類器。訓(xùn)練集由數(shù)據(jù)庫元組用n維屬性向量表示和他們相對應(yīng)的類編號組成；假定每個元組屬于一個預(yù)定義的類訓(xùn)練元組：訓(xùn)練數(shù)據(jù)集中的單個元組學(xué)習(xí)模型可以用分類規(guī)那么、決策樹或數(shù)學(xué)公式的方式提供.數(shù)據(jù)分類一個兩步過程 (2)第二步，運用模型，對未來的或未知

3、的對象進展分類首先評價模型的預(yù)測準確率對每個測試樣本，將知的類標號和該樣本的學(xué)習(xí)模型類預(yù)測比較模型在給定測試集上的準確率是正確被模型分類的測試樣本的百分比測試集要獨立于訓(xùn)練樣本集，否那么會出現(xiàn)“過分擬合的情況.第一步建立模型訓(xùn)練數(shù)據(jù)集分類算法IF rank = professorOR years 6THEN tenured = yes 分類規(guī)那么.第二步用模型進展分類分類規(guī)那么測試集未知數(shù)據(jù)(Jeff, Professor, 4)Tenured?.監(jiān)視學(xué)習(xí) VS. 無監(jiān)視學(xué)習(xí)監(jiān)視學(xué)習(xí)用于分類模型的學(xué)習(xí)在被告知每個訓(xùn)練樣本屬于哪個類的“指點下進展新數(shù)據(jù)運用訓(xùn)練數(shù)據(jù)集中得到的規(guī)那么進展分類無監(jiān)視學(xué)

4、習(xí)用于聚類每個訓(xùn)練樣本的類編號是未知的，要學(xué)習(xí)的類集合或數(shù)量也能夠是事先未知的經(jīng)過一系列的度量、察看來建立數(shù)據(jù)中的類編號或進展聚類.數(shù)據(jù)預(yù)測的兩步過程數(shù)據(jù)預(yù)測也是一個兩步的過程，類似于前面描畫的數(shù)據(jù)分類對于預(yù)測，沒有“類標號屬性要預(yù)測的屬性是延續(xù)值，而不是離散值，該屬性可簡稱“預(yù)測屬性E.g. 銀行貸款員需求預(yù)測貸給某個顧客多少錢是平安的預(yù)測器可以看作一個映射或函數(shù)y=f(X)其中X是輸入；y是輸出，是一個延續(xù)或有序的值與分類類似，準確率的預(yù)測，也要運用單獨的測試集.3.1 決策樹概述決策樹(Decision Tree) 一種描畫概念空間的有效的歸納推理方法?；跊Q策樹的學(xué)習(xí)方法可以進展不相關(guān)

5、的多概念學(xué)習(xí)，具有簡單快捷的優(yōu)勢，曾經(jīng)在各個領(lǐng)域獲得廣泛運用。決策樹是一種樹型構(gòu)造，其中每個內(nèi)部結(jié)點表示在一個屬性上的測試，每個分支代表一個測試輸出，每個葉結(jié)點代表一種類別。.決策樹學(xué)習(xí)是以實例為根底的歸納學(xué)習(xí)。從一類無序、無規(guī)那么的事物概念中推理出決策樹表示的分類規(guī)那么。概念分類學(xué)習(xí)算法：來源于Hunt,Marin和Stone 于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個概念。1979年, J.R. Quinlan 給出ID3算法，并在1983年和1986年對ID3 進展了總結(jié)和簡化，使其成為決策樹學(xué)習(xí)算法的典型。Schlimmer 和Fisher 于1986年對ID3進展改造，在每個能夠

6、的決策樹節(jié)點創(chuàng)建緩沖區(qū)，使決策樹可以遞增式生成，得到ID4算法。1988年，Utgoff 在ID4根底上提出了ID5學(xué)習(xí)算法，進一步提高了效率。1993年，Quinlan 進一步開展了ID3算法，改良成C4.5算法。另一類決策樹算法為CART，與C4.5不同的是，CART的決策樹由二元邏輯問題生成，每個樹節(jié)點只需兩個分枝，分別包括學(xué)習(xí)實例的正例與反例。其根本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹，到葉子節(jié)點處的熵值為零，此時每個葉節(jié)點中的實例都屬于同一類。.決策樹學(xué)習(xí)采用的是自頂向下的遞歸方法。決策樹的每一層節(jié)點按照某一屬性值向下分為子節(jié)點，待分類的實例在每一節(jié)點處與該節(jié)點相關(guān)的屬性值進

7、展比較，根據(jù)不同的比較結(jié)果向相應(yīng)的子節(jié)點擴展，這一過程在到達決策樹的葉節(jié)點時終了，此時得到結(jié)論。從根節(jié)點到葉節(jié)點的每一條路經(jīng)都對應(yīng)著一條合理的規(guī)那么，規(guī)那么間各個部分各個層的條件的關(guān)系是合取關(guān)系。整個決策樹就對應(yīng)著一組析取的規(guī)那么。決策樹學(xué)習(xí)算法的最大優(yōu)點是，它可以自學(xué)習(xí)。在學(xué)習(xí)的過程中，不需求運用者了解過多背景知識，只需求對訓(xùn)練例子進展較好的標注，就可以進展學(xué)習(xí)。假設(shè)在運用中發(fā)現(xiàn)不符合規(guī)那么的實例，程序會訊問用戶該實例的正確分類，從而生成新的分枝和葉子，并添加到樹中。 .樹是由節(jié)點和分枝組成的層次數(shù)據(jù)構(gòu)造。節(jié)點用于存貯信息或知識，分枝用于銜接各個節(jié)點。樹是圖的一個特例，圖是更普通的數(shù)學(xué)構(gòu)造，

8、如貝葉斯網(wǎng)絡(luò)。決策樹是描畫分類過程的一種數(shù)據(jù)構(gòu)造，從上端的根節(jié)點開場，各種分類原那么被援用進來，并依這些分類原那么將根節(jié)點的數(shù)據(jù)集劃分為子集，這一劃分過程直到某種約束條件滿足而終了。 根結(jié)點個子大能夠是松鼠能夠是老鼠能夠是大象在水里會吱吱叫鼻子長脖子長個子小不會吱吱叫鼻子短脖子短能夠是長頸鹿在陸地上能夠是犀牛能夠是河馬.可以看到，一個決策樹的內(nèi)部結(jié)點包含學(xué)習(xí)的實例，每層分枝代表了實例的一個屬性的能夠取值，葉節(jié)點是最終劃分成的類。假設(shè)斷定是二元的，那么構(gòu)造的將是一棵二叉樹，在樹中每回答一個問題就降到樹的下一層，這類樹普通稱為CARTClassification And Regression Tr

9、ee。斷定構(gòu)造可以機械的轉(zhuǎn)變成產(chǎn)生式規(guī)那么。可以經(jīng)過對構(gòu)造進展廣度優(yōu)先搜索，并在每個節(jié)點生成“IFTHEN規(guī)那么來實現(xiàn)。如圖6-13的決策樹可以轉(zhuǎn)換成下規(guī)那么： IF “個子大 THEN IF “脖子短 THEN IF “鼻子長 THEN 能夠是大象方式化表示成 根結(jié)點個子大能夠是松鼠能夠是老鼠能夠是大象在水里會吱吱叫鼻子長脖子長個子小不會吱吱叫鼻子短脖子短能夠是長頸鹿在陸地上能夠是犀牛能夠是河馬.構(gòu)造一棵決策樹要處理四個問題：搜集待分類的數(shù)據(jù)，這些數(shù)據(jù)的一切屬性應(yīng)該是完全標注的。設(shè)計分類原那么，即數(shù)據(jù)的哪些屬性可以被用來分類，以及如何將該屬性量化。分類原那么的選擇，即在眾多分類準那么中，每一

10、步選擇哪一準那么使最終的樹更令人稱心。設(shè)計分類停頓條件，實踐運用中數(shù)據(jù)的屬性很多，真正有分類意義的屬性往往是有限幾個，因此在必要的時候應(yīng)該停頓數(shù)據(jù)集分裂：該節(jié)點包含的數(shù)據(jù)太少缺乏以分裂，繼續(xù)分裂數(shù)據(jù)集對樹生成的目的(例如ID3中的熵下降準那么)沒有奉獻，樹的深度過大不宜再分。通用的決策樹分裂目的是整棵樹的熵總量最小，每一步分裂時，選擇使熵減小最大的準那么，這種方案使最具有分類潛力的準那么最先被提取出來 .預(yù)測變量目的變量記錄樣本類標號屬性類別集合：Class=“優(yōu)，“良，“差 決策樹的根本原理 .根節(jié)點葉子節(jié)點分裂屬性分裂謂詞 每一個葉子節(jié)點都被確定一個類標號 .每一個節(jié)點都代表了一個數(shù)據(jù)集。

11、根節(jié)點1代表了初始數(shù)據(jù)集D其它節(jié)點都是數(shù)據(jù)集D的子集。例如，節(jié)點2代表數(shù)據(jù)集D中年齡小于40歲的那部分樣本組成的數(shù)據(jù)集。子節(jié)點是父節(jié)點的子集。 If (年齡40) and (職業(yè)=“學(xué)生 or職業(yè)=“教師) Then 信譽等級=“優(yōu)If (年齡40) and (職業(yè)!=“學(xué)生and職業(yè)!=“教師) Then 信譽等級=“良If (年齡40) and (月薪3000) Then 信譽等級=“優(yōu).決策樹是指具有以下三個性質(zhì)的樹：每個非葉子節(jié)點都被標志一個分裂屬性Ai；每個分支都被標志一個分裂謂詞，這個分裂謂詞是分裂父節(jié)點的詳細根據(jù)；每個葉子節(jié)點都被標志一個類標號CjC。任何一個決策樹算法，其中心步

12、驟都是為每一次分裂確定一個分裂屬性，即終究按照哪一個屬性來把當前數(shù)據(jù)集劃分為假設(shè)干個子集，從而構(gòu)成假設(shè)干個“樹枝。.熵，是數(shù)據(jù)集中的不確定性、突發(fā)性或隨機性的程度的度量。當一個數(shù)據(jù)集中的記錄全部都屬于同一類的時候，那么沒有不確定性，這種情況下的熵就為0。決策樹分裂的根本原那么是，數(shù)據(jù)集被分裂為假設(shè)干個子集后，要使每個子集中的數(shù)據(jù)盡能夠的“純，也就是說子集中的記錄要盡能夠?qū)儆谕粋€類別。假設(shè)套用熵的概念，即要使分裂后各子集的熵盡能夠的小。3.2 ID3、C4.5與C5.0.數(shù)據(jù)集D被按照分裂屬性“年齡分裂為兩個子集D1 和D2 信息增益:Gain(D,年齡)= H(D)P(D1)H(D1)+ P

13、(D2)H(D2) .顯然，假設(shè)D1和D2中的數(shù)據(jù)越“純，H(D1)和H(D2)就越小，信息增益就越大，或者說熵下降得越多。按照這個方法，測試每一個屬性的信息增益，選擇增益值最大的屬性作為分裂屬性。.信息熵計算舉例令C1對應(yīng)“是，C2對應(yīng)“否。那么C1有9個樣本，C2有5個樣本，所以數(shù)據(jù)集D的熵為：.決策樹歸納戰(zhàn)略 (1)輸入數(shù)據(jù)劃分D是訓(xùn)練元組和對應(yīng)類標號的集合attribute_list,候選屬性的集合Attribute_selection_method，指定選擇屬性的啟發(fā)性過程算法步驟樹以代表訓(xùn)練樣本的單個節(jié)點N開場假設(shè)樣本都在同一個類，那么該節(jié)點成為樹葉，并用該類標志否那么，算法調(diào)用A

14、ttribute_selection_method，選擇可以最好的將樣本分類的屬性；確定“分裂準那么，指出“分裂點或“分裂子集。.決策樹歸納戰(zhàn)略 (2)對測試屬性每個知的值，創(chuàng)建一個分支，并以此劃分元組算法運用同樣的過程，遞歸的構(gòu)成每個劃分上的元組決策樹。一旦一個屬性出如今一個節(jié)點上，就不在該節(jié)點的任何子節(jié)點上出現(xiàn)遞歸劃分步驟停頓的條件劃分D在N節(jié)點提供的一切元組屬于同一類沒有剩余屬性可以用來進一步劃分元組運用多數(shù)表決沒有剩余的樣本給定分支沒有元組，那么以D中多數(shù)類創(chuàng)建一個樹葉.屬性選擇度量屬性選擇度量是一種選擇分裂準那么，將給定類標號的訓(xùn)練元組最好的進展劃分的方法理想情況，每個劃分都是“純的

15、，即落在給定劃分內(nèi)的元組都屬于一樣的類屬性選擇度量又稱為分裂準那么常用的屬性選擇度量信息增益增益率Gini目的.信息增益 (1)S是一個訓(xùn)練樣本的集合，該樣本中每個集合的類編號知。每個樣本為一個元組。有個屬性用來斷定某個訓(xùn)練樣本的類編號假設(shè)S中有m個類，總共s個訓(xùn)練樣本，每個類Ci有si個樣本(i1,2,3.m)，那么恣意一個樣本屬于類Ci的概率是si / s，那么用來分類一個給定樣本的期望信息是：.信息增益 (2)一個有v個值的屬性Aa1,a2,.,av可以將S分成v個子集S1,S2,.,Sv，其中Sj包含S中屬性A上的值為aj的樣本。假設(shè)Sj包含類Ci的sij個樣本。根據(jù)A的這種劃分的期望

16、信息稱為A的熵A上該劃分的獲得的信息增益定義為：具有高信息增益的屬性，是給定集合中具有高區(qū)分度的屬性。所以可以經(jīng)過計算S中樣本的每個屬性的信息增益，來得到一個屬性的相關(guān)性的排序。.假設(shè)以“年齡作為分裂屬性，那么產(chǎn)生三個子集由于該屬性有三個不同的取值，所以D按照屬性“年齡劃分出的三個子集的熵的加權(quán)和為：其中有一個子集的熵為0.同理，假設(shè)以“收入程度為分裂屬性：.假設(shè)以“有固定收入為分裂屬性：假設(shè)以“VIP為分裂屬性：.以“年齡作為分裂屬性，所得信息增益最大。 葉子節(jié)點.ID3的主要缺陷ID3算法只能處置分類屬性離散屬性，而不能處置延續(xù)屬性數(shù)值屬性。在處置延續(xù)屬性時，普通要先將延續(xù)屬性劃分為多個區(qū)

17、間，轉(zhuǎn)化為分類屬性。例如“年齡，要把數(shù)值事先轉(zhuǎn)換為諸如“小于30歲、“30至50歲、“大于50歲這樣的區(qū)間，再根據(jù)年齡值落入了某一個區(qū)間取相應(yīng)的類別值。通常，區(qū)間端點的選取包含著一定的客觀要素。ID3生成的決策樹是一棵多叉樹，分支的數(shù)量取決于分裂屬性有多少個不同的取值。這不利于處置分裂屬性取值數(shù)目較多的情況。因此目前流行的決策樹算法大多采用二叉樹模型。.ID3是采用“信息增益來選擇分裂屬性的。雖然這是一種有效的方法，但其具有明顯的傾向性，即它傾向于選擇具有大量不同取值的屬性，從而產(chǎn)生許多小而純的子集。尤其是關(guān)系數(shù)據(jù)庫中作為主鍵的屬性，每一個樣本都有一個不同的取值。假設(shè)以這樣的屬性作為分裂屬性，

18、那么將產(chǎn)生非常多的分支，而且每一個分支產(chǎn)生的子集的熵均為0由于子集中只需一個樣本！。顯然，這樣的決策樹是沒有實踐意義的。因此，Quinlan提出運用增益比例來替代信息增益。 3.2.2 C4.5.設(shè)S代表訓(xùn)練數(shù)據(jù)集，由s個樣本組成。A是S的某個屬性，有m個不同的取值，根據(jù)這些取值可以把S劃分為m個子集，Si表示第i個子集i=1,2,m，|Si|表示子集Si中的樣本數(shù)量。那么：稱為“數(shù)據(jù)集S關(guān)于屬性A的熵。 .用來衡量屬性A分裂數(shù)據(jù)集的廣度和均勻性。樣本在屬性A上的取值分布越均勻，Split_Info(S,A)的值就越大。增益比例的定義為：增益比例消除了選擇那些值較多且均勻分布的屬性作為分裂屬性

19、的傾向性。.延續(xù)屬性的處置 設(shè)屬性Y有m個不同的取值，按大小順序升序陳列為v1v2, vi將數(shù)據(jù)集劃分為兩個部分，構(gòu)成兩個分支。顯然， v1,v2, vm-1就是能夠的閾值的集合，共(m-1)個元素。把這些閾值一一取出來，并根據(jù)“Yvi和“Y vi把訓(xùn)練數(shù)據(jù)集劃分為兩個子集，并計算每一種劃分方案下的信息增益或增益比例，選擇最大增益或增益比例所對應(yīng)的那個閾值，作為最優(yōu)的閾值。可以看出，假設(shè)選擇延續(xù)屬性作為分裂屬性，那么分裂后只需兩個分支，而不象離散屬性那樣能夠會有多個分支由離散屬性的取值個數(shù)決議。 .假設(shè)要計算“年齡屬性的信息增益，那么首先將不同的屬性值排序20,25,28,40,46,55,5

20、6,58,60,65,70那么能夠的閾值集合為20,25,28,40,46,55,56,58,60,65,70，從中一一取出，并構(gòu)成分裂謂詞，例如取出“20，構(gòu)成謂詞“20和“20，用它們劃分訓(xùn)練數(shù)據(jù)集，然后計算信息增益或增益比例。 .處置有缺失值的樣本 C4.5并不會武斷地將一個有缺失值的樣本丟棄,也不會隨意地將它分配到某個類別中去。 “收入程度的值，取為“高的概率為3/12，取為“中的概率為5/12，取為“低的概率為4/12。S1收入程度=“高的樣本數(shù)量為：3+2(3/12)； .3.2.4 C5.0算法C5.0是經(jīng)典的決策樹模型的算法之一，可生成多分支的決策樹，目的變量為分類變量運用c5

21、.0算法可以生成決策樹decision tree或者規(guī)那么集rule sets。C5.0模型根據(jù)可以帶來最大信息增益information gain的字段拆分樣本。第一次拆分確定的樣本子集隨后再次拆分，通常是根據(jù)另一個字段進展拆分，這一過程反復(fù)進展直到樣本子集不能再被拆分為止。最后，重新檢驗最低層次的拆分，那些對模型值沒有顯著奉獻的樣本子集被剔除或者修剪。 .C5.0的優(yōu)點優(yōu)點：C5.0模型在面對數(shù)據(jù)脫漏和輸入字段很多的問題時非常穩(wěn)健。C5.0模型通常不需求很長的訓(xùn)練次數(shù)進展估計。C5.0模型比一些其他類型的模型易于了解，模型推出的規(guī)那么有非常直觀的解釋。C5.0也提供強大的加強技術(shù)以提高分類

22、的精度。C5.0算法選擇分支變量的根據(jù)以信息熵的下降速度作為確定最正確分支變量和分割閥值的根據(jù)。信息熵的下降意味著信息的不確定性下降.舉例：在Clementine中運用C5.0這里，以學(xué)生參與某次社會公益活動的數(shù)據(jù)文件名為Students.xls為例，講解C5.0算法的詳細實現(xiàn)操作。分析目的是，研討那些要素將顯著影響到學(xué)生參與社會公益活動。 其中，能否參與為輸出變量，除編號以外的變量均為輸入變量。.數(shù)據(jù)流如下：.一、建立模型 第一步建立數(shù)據(jù)源，第二步選擇Modeling卡中的C5.0節(jié)點并將其銜接到恰當位置，鼠標右擊該節(jié)點，彈出下面窗口。模型稱號Model name輸出類型Output typ

23、e：此處指定希望最終生成的模型是決策樹還是規(guī)那么集。群體字符Group symbolics。假設(shè)選擇該選項，C5.0會嘗試將一切與輸出字段格式類似的字符值合并。假設(shè)沒有選擇該選項，C5.0會為用于拆分母節(jié)點的字符字段的每個值創(chuàng)建一個子節(jié)點。運用自舉法Use boosting：提高其準確率。這種方法按序列建立多重模型。第一個模型以通常的方式建立。隨后，建立第二個模型，聚焦于被第一個模型錯誤分類的記錄。以此類推，最后運用整個模型集對樣本進展分類，運用加權(quán)投票過程把分散的預(yù)測合并成綜合預(yù)測。The Number of trials選項允許控制用于助推的模型數(shù)量。.交叉驗證Crossvalidate：

24、假設(shè)選擇了該選項，C5.0將運用一組基于訓(xùn)練數(shù)據(jù)子集建立的模型，來估計基于全部數(shù)據(jù)建立的模型的準確度。假設(shè)數(shù)據(jù)集過小，不能拆分成傳統(tǒng)意義上的訓(xùn)練集和測試集，這將非常有用?；蛴糜诮徊骝炞C的模型數(shù)目。方式Mode：對于簡單的訓(xùn)練，絕大多數(shù)C5.0參數(shù)是自動設(shè)置。高級訓(xùn)練方式選項允許對訓(xùn)練參數(shù)更多的直接控制。.簡單方式選項simple偏好Favor：在accuracy下，C5.0會生成盡能夠準確的決策樹。在某些情況下，這會導(dǎo)致過度擬和。選擇Generality普通化項以運用不易受該問題影響的算法設(shè)置。期望噪聲百分數(shù)Expected noise %：指定訓(xùn)練集中的噪聲或錯誤數(shù)據(jù)期望比率。.高級方式選項

25、修剪純度pruning severity：決議生成決策樹或規(guī)那么集被修剪的程度。提高純度值將獲得更小，更簡約的決策樹。降低純度值將獲得更加準確的決策樹。子分支最少記錄數(shù)Minimum records per child branch：子群大小可以用于限制決策樹任一分支的拆分數(shù)。只需當兩個或以上的后序子分支包括來自訓(xùn)練集的記錄不少于最小記錄數(shù)，決策樹才會繼續(xù)拆分。默許值為2，提高該值將有助于防止噪聲數(shù)據(jù)的過度訓(xùn)練。全局修剪Use global pruning： 第一階段：部分建筑 第二階段：全局修剪排除屬性Winnow attributes：假設(shè)選擇了該選項，C5.0會在建立模型前檢驗預(yù)測字段的

26、有用性。被發(fā)現(xiàn)與分析無關(guān)的預(yù)測字段將不參與建模過程。這一選項對有許多預(yù)測字段元的模型非常有用，并且有助于防止過度擬和。 .圖1 指定錯誤歸類損失錯誤歸類損失允許指定不同類型預(yù)測錯誤之間的相對重要性。錯誤歸類損失矩陣顯示預(yù)測類和實踐類每一能夠組合的損失。一切的錯誤歸類損失都預(yù)設(shè)設(shè)置為1.0。要輸入自定義損失值，選擇Use misclassification costs，然后把自定義值輸入到損失矩陣中。.詳細設(shè)置.執(zhí)行結(jié)果.二、預(yù)測結(jié)果 為觀測C5.0對每個樣本的預(yù)測結(jié)果，可在流管理器的Models卡中，鼠標右擊C5.0模型結(jié)果，選擇彈出菜單中的Add To Stream，并將模型結(jié)果銜接到數(shù)據(jù)流

27、中，然后銜接Table節(jié)點查看預(yù)測結(jié)果，如以下圖所示：.三、C5.0模型評價.3.3 CART分類和回歸樹Classification and Regression Trees，CART,在Clementine中簡寫為C&RTCART算法中的每一次分裂把數(shù)據(jù)分為兩個子集，每個子集中的樣本比被劃分之前具有更好的一致性。它是一個遞歸的過程，也就是說，這些子集還會被繼續(xù)劃分，這個過程不斷反復(fù)，直到滿足終止準那么，然后經(jīng)過修剪和評價，得到一棵最優(yōu)的決策樹。.三個步驟生成最大樹生成一棵充分生長的最大樹樹的修剪根據(jù)修剪算法對最大樹進展修剪，生成由許多子樹組成的子樹序列子樹評價從子樹序列中選擇一棵最優(yōu)的子樹作為最后的結(jié)果。 .3.3.1 生成最大樹規(guī)范問題集 就某個給定的屬性來說，由于屬性的取值能夠有很多個，所以按照這個屬性來分裂數(shù)據(jù)集的方式也有很多種，屬性的規(guī)范問題集就是一切候選分支方案的集合。延續(xù)屬性的規(guī)范問題集離散屬性的規(guī)范問題集.雜度 在ID3算法中，用“熵來度量數(shù)據(jù)集隨機性的程度。在CART中我們把這種隨機性的程度稱為“雜度impurity，也稱為“不純度，并且用“吉尼(gini)目的來衡量它。 .吉尼目的 設(shè)t是決策樹上的某個節(jié)點，該節(jié)點的數(shù)據(jù)集為S，由s個樣本組成，其類標號屬性具有m個不同的取值，即定義了m個不同的類Cii=1,2,m。設(shè)屬于類Ci的樣本的個數(shù)