版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、(第四組)分類與回歸樹算法(CART)分類與回歸分類 劃分離散變量回歸劃分連續(xù)變量什么是CARTwelcome to use these PowerPoint templates, New Content design, 10 years experience分類與回歸樹CART采用一種二分遞歸分割的技術(shù),將當(dāng)前的樣本集分為兩個(gè)子樣本集,使得生成的決策樹的每個(gè)非葉子節(jié)點(diǎn)都有兩個(gè)分支。CART算法生成的決策樹是結(jié)構(gòu)簡(jiǎn)潔的二叉樹。摘要遞歸劃分自變量空間驗(yàn)證數(shù)據(jù)進(jìn)行剪枝模型評(píng)價(jià)Hunt算法設(shè)Dt是與節(jié)點(diǎn)t相關(guān)聯(lián)的訓(xùn)練記錄集,y=y1,y2,yc是類標(biāo)號(hào)。Hunt算法的遞歸定義如下:(1)如果Dt中所
2、有記錄都屬于同一個(gè)類yt,則t是 葉子節(jié)點(diǎn)。(2)如果Dt中包含屬于多個(gè)類的記錄,則選擇一 個(gè)屬性測(cè)試條件,將記錄劃分成較小的子集。 對(duì)于測(cè)試條件的每一個(gè)輸出創(chuàng)建一個(gè)子女結(jié) 點(diǎn),并根據(jù)測(cè)試結(jié)果將Dt中的記錄分布到子 女結(jié)點(diǎn)中。然后,對(duì)于每個(gè)子女結(jié)點(diǎn),遞歸 調(diào)用該算法。一遞歸劃分自變量空間訓(xùn)練集 如何以遞歸方式建立決策樹?決策樹如何劃分訓(xùn)練記錄? 如何表示屬性測(cè)試條件? 如何確定最佳劃分?如何構(gòu)建測(cè)試條件效果最好的樹?如何確定最佳劃分貪婪法:根據(jù)子女結(jié)點(diǎn)類分布的一致性程度來 選擇最佳劃分度量結(jié)點(diǎn)的不純度Gini熵誤分類誤差 對(duì)于一個(gè)給定的結(jié)點(diǎn)t: 是結(jié)點(diǎn)t中類j的相對(duì)頻率最大值:(1 - 1/n
3、c),記錄在所有類中等分布最小值:0,所有記錄屬于同一個(gè)類不純度度量GINI如何劃分訓(xùn)練記錄根據(jù)屬性類型的不同: 標(biāo)稱屬性 序數(shù)屬性 連續(xù)屬性根據(jù)分割的數(shù)量 二元?jiǎng)澐?多元化分 如何表示測(cè)試條件選擇最佳分割點(diǎn)數(shù)值型變量 對(duì)記錄的值從小到大排序,計(jì)算每個(gè)值作為臨界點(diǎn)產(chǎn)生的子節(jié)點(diǎn)的異質(zhì)性統(tǒng)計(jì)量。能夠使異質(zhì)性減小程度最大的臨界值便是最佳的劃分點(diǎn)。分類型變量 列出劃分為兩個(gè)子集的所有可能組合,計(jì)算每種組合下生成子節(jié)點(diǎn)的異質(zhì)性。同樣,找到使異質(zhì)性減小程度最大的組合作為最佳劃分點(diǎn)。Gini(t1)=1-(3/3)-(0/3)=0Gini(t2)=1-(4/7)-(3/7)=0.4849Gini=0.30+
4、0.70.4898=0.343Gini(t1)=1-(2/4)-(2/4)=0.5Gini(t2)=1-(0/4)-(4/4)=0Gini(t3)=1-(1/2)-(1/2)=0.5Gini=4/100.5+4/100+2/100.5=0.3Gini(t1)=1-(6/8)-(2/8)=0.375Gini(t2)=1-(1/2)-(1/2)=0.5Gini=8/100.375+2/100.5=0.4Gini(t1)=1-(3/6)-(3/6)=0.5Gini(t2)=1-(4/4)-(0/4)=0Gini=6/100.5+4/100=0.3Gini(t1)=1-(5/6)-(1/6)=0.27
5、78Gini(t2)=1-(2/4)-(2/4)=0.5Gini=6/100.2778+4/100.5=0.3667測(cè)試條件效果為確定測(cè)試條件劃分,比較父節(jié)點(diǎn)(劃分前)的不純度和子女結(jié)點(diǎn)的不純度,差越大測(cè)試效果就越好 不變值決策樹停止生長(zhǎng)條件節(jié)點(diǎn)達(dá)到完全純度樹的深度達(dá)到用戶所要的深度異質(zhì)性指標(biāo)下降的最大幅度小于用戶指定的幅度節(jié)點(diǎn)中樣本個(gè)數(shù)少于用戶指定個(gè)數(shù)決策樹(Hunt算法)拖欠貸款者=否拖欠貸款者=是拖欠貸款者=否拖欠貸款者=否拖欠貸款者=是有房者婚姻狀況拖欠貸款者=否拖欠貸款者=否有房者年收入是是否否單身離異已婚80K80K拖欠貸款者=是拖欠貸款者=否拖欠貸款者=否有房者婚姻狀況是否單身離異已婚剪枝前剪枝:停止生長(zhǎng)策略后剪枝:在允許決策樹得到最充分生長(zhǎng)的基礎(chǔ)上,再根據(jù)一定的規(guī)則,自下而上逐層進(jìn)行剪枝。當(dāng)分類回歸樹劃分得太細(xì)時(shí),會(huì)對(duì)噪聲數(shù)據(jù)產(chǎn)生過擬合作用。因此我們要通過剪枝來解決剪枝方法231最小誤差剪枝代價(jià)復(fù)雜性 悲觀誤差剪枝代價(jià)復(fù)雜性剪枝模
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024-2030年全球及中國(guó)粉末床熔化行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)生物發(fā)酵產(chǎn)業(yè)行情走勢(shì)預(yù)測(cè)與發(fā)展趨勢(shì)洞悉研究報(bào)告
- 2024-2030年全球及中國(guó)液體噴涂屋頂涂料行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)汽車氣泵行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)格蘭頭市場(chǎng)全景調(diào)研及可持續(xù)發(fā)展建議報(bào)告(-版)
- 2024-2030年全球及中國(guó)服務(wù)級(jí)別管理行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)新型電子冷卻技術(shù)行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)成人樹膠維生素行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)建筑中的三維打印行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 2024-2030年全球及中國(guó)工業(yè)TFT-LCD顯示器行業(yè)市場(chǎng)現(xiàn)狀供需分析及市場(chǎng)深度研究發(fā)展前景及規(guī)劃可行性分析研究報(bào)告
- 針灸推拿科中藥制劑研究計(jì)劃并實(shí)施
- 三年級(jí)科學(xué)第二單元《研究土壤》作業(yè)設(shè)計(jì)
- 空間向量與立體幾何復(fù)習(xí)
- 人教版小學(xué)六年級(jí)上冊(cè)月考數(shù)學(xué)試卷(1-2單元)(9月)(二)(解析版)
- 第一次月考動(dòng)員班會(huì)堅(jiān)定目標(biāo)與勝利
- 2022新能源集控中心調(diào)試試運(yùn)行應(yīng)急預(yù)案
- 主題班會(huì)《孝親敬老-從我做起》課件
- 2023年北京市西城區(qū)高三高考一模英語試卷含詳解
- 光纜搶修應(yīng)急處置方案
- 工業(yè)企業(yè)標(biāo)準(zhǔn)軌距鐵路設(shè)計(jì)規(guī)范
- 城市軌道交通服務(wù)員理論知識(shí)題庫附答案
評(píng)論
0/150
提交評(píng)論