一種決策樹分類模型的設(shè)計(jì)與實(shí)現(xiàn)

1、一種決策樹分類模型的 設(shè)計(jì)與實(shí)現(xiàn)計(jì)算機(jī)與通信學(xué)院設(shè)計(jì)人： 吳坤班 級： 通信四班指導(dǎo)老師： 鐘清流課題背景數(shù)據(jù)挖掘技術(shù)的主要算法有：統(tǒng)計(jì)分析方法,神經(jīng)元網(wǎng)絡(luò)，決策樹方法，遺傳算法等。其中決策樹分類作為數(shù)據(jù)挖掘工具和方法之一是運(yùn)用樹結(jié)構(gòu)圖的方式把數(shù)據(jù)特征直觀地表述出來，可用于對數(shù)據(jù)的分類和預(yù)測，其核心是如何構(gòu)造精度高，規(guī)模小的決策樹。課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計(jì)工具箱設(shè)計(jì)并實(shí)現(xiàn)決策樹的分類模型實(shí)驗(yàn)系統(tǒng)。 決策樹分類有其特有的分類過程，本實(shí)驗(yàn)系統(tǒng)的是通過算法的實(shí)現(xiàn)使分類的過程，剪枝的過程以及分類的結(jié)果可視化。借助Matlab軟件用比較直觀、鮮明的形式圖形、圖像來展現(xiàn)決策樹分

2、類過程和結(jié)果。具體通過比較決策樹分類與一般的二次分類和線性分類，展現(xiàn)決策樹分類的優(yōu)勢。決策樹分類步驟a) 建立決策樹：利用訓(xùn)練樣本生成決策樹模型。 開始，數(shù)據(jù)都在根節(jié)點(diǎn) 遞歸的進(jìn)行數(shù)據(jù)分片b)使用決策樹對未知數(shù)據(jù)進(jìn)行分類：按照決策樹上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn)。c)修剪決策樹：去掉一些可能是噪音或者異常的數(shù)據(jù)。決策樹分類步驟：決策樹表示法： 決策樹分類算法訓(xùn)練集決策樹inputoutput天氣狀況風(fēng) 級濕 度 多 云下 雨 晴 天高強(qiáng)正 常弱YesYesNoYesNo決策樹的剪枝 剪枝目的其實(shí)質(zhì)是消除訓(xùn)練集中的異常和噪聲。兩種剪枝標(biāo)準(zhǔn) 最小描述長度原則(MDL)做法：對決策樹進(jìn)行

3、二進(jìn)位編碼，編碼所需二進(jìn)位最少的樹即為“最佳剪枝樹” 期望錯(cuò)誤率最小原則做法：對樹中的內(nèi)部節(jié)點(diǎn)計(jì)算其剪枝/不剪枝可能出現(xiàn)的期望錯(cuò)誤率，比較后加以取舍系統(tǒng)功能需求設(shè)計(jì)和實(shí)現(xiàn)一個(gè)圖形界面的決策樹分類模型。顯示決策樹分類、決策樹剪枝過程，使實(shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)過程、實(shí)驗(yàn)結(jié)果可視化 。運(yùn)用決策樹分類得到的分類結(jié)果和一般分類相比較，展現(xiàn)決策樹分類優(yōu)勢。能對不同數(shù)據(jù)集進(jìn)行處理 。系統(tǒng)模塊架構(gòu) 系統(tǒng)實(shí)現(xiàn)圖形、圖像： 表示數(shù)據(jù)分布散點(diǎn)圖； 表示分類區(qū)域柵格圖； 表示決策樹表示樹結(jié)構(gòu)圖； 表示決策樹代價(jià)曲線圖；系統(tǒng)主界面 該界面主要是設(shè)置路徑和進(jìn)入實(shí)驗(yàn)。設(shè)置路徑是為了能找到運(yùn)行模型所需的所有程序。線性分類界面界面 1

4、. 散點(diǎn)圖 2. 線性分類 3. 區(qū)域劃分 4. 命令解釋窗口決策樹分類界面界 面 1. 決策樹分類 2. 決策樹構(gòu)圖 3. 決策樹代價(jià)測試 4. 選擇最佳決策樹 5. 決策樹剪枝。散點(diǎn)顯示數(shù)據(jù)分布 線性分類 顯示區(qū)域劃分顯示分類結(jié)果我們通過計(jì)算得到ans0.32,也就是說被錯(cuò)誤分類的數(shù)據(jù)有32之多，也就說用線性分類所得到的效果并不好。決策樹分類顯示決策樹構(gòu)圖決策樹代價(jià)測試 決策樹剪枝 結(jié)果分析由分類得到ans =0.09，即在150個(gè)樣本中，只有9%樣本被錯(cuò)誤分類。從誤差比較中很容易看出決策樹分類具有更高的精度。誤差比較總 結(jié)研究過程中所遇到的困難 此課題所包含的概念、內(nèi)容、理論在本科階段并無涉及，所以掌握難度比較大。 matlab雖然在矩陣、數(shù)組運(yùn)算上有優(yōu)勢，但是對于用其開發(fā)全圖形界面卻有一定難度，這也是為什么很少見到全圖形界面的Matlab系統(tǒng)軟件的原因之一?？?結(jié)收 獲 通過本次畢業(yè)設(shè)計(jì)，