一種決策樹分類模型的設計與實現課件

一種決策樹分類模型的

設計與實現計算機與通信學院設計人：吳坤班級：通信四班指導老師：鐘清流一種決策樹分類模型的

設計與實現計算機與通信學院1課題背景數據挖掘技術的主要算法有：統(tǒng)計分析方法,神經元網絡，決策樹方法，遺傳算法等。其中決策樹分類作為數據挖掘工具和方法之一是運用樹結構圖的方式把數據特征直觀地表述出來，可用于對數據的分類和預測，其核心是如何構造精度高，規(guī)模小的決策樹。課題背景數據挖掘技術的主要算法有：統(tǒng)計分析方法,神經元網絡，2課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計工具箱設計并實現決策樹的分類模型實驗系統(tǒng)。決策樹分類有其特有的分類過程，本實驗系統(tǒng)的是通過算法的實現使分類的過程，剪枝的過程以及分類的結果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來展現決策樹分類過程和結果。具體通過比較決策樹分類與一般的二次分類和線性分類，展現決策樹分類的優(yōu)勢。課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計工具箱設3決策樹分類步驟a)建立決策樹：利用訓練樣本生成決策樹模型。開始，數據都在根節(jié)點遞歸的進行數據分片b)使用決策樹對未知數據進行分類：按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點。c)修剪決策樹：去掉一些可能是噪音或者異常的數據。決策樹分類步驟a)建立決策樹：利用訓練樣本生成決策樹模型。4決策樹分類步驟：決策樹表示法：決策樹分類算法訓練集決策樹inputoutput天氣狀況風級濕度

多云下雨

晴天高強正常弱YesYesNoYesNo決策樹分類步驟：決策樹分類算法訓練集決策樹inputoutp5決策樹的剪枝剪枝目的其實質是消除訓練集中的異常和噪聲。兩種剪枝標準最小描述長度原則(MDL)做法：對決策樹進行二進位編碼，編碼所需二進位最少的樹即為“最佳剪枝樹”期望錯誤率最小原則做法：對樹中的內部節(jié)點計算其剪枝/不剪枝可能出現的期望錯誤率，比較后加以取舍決策樹的剪枝剪枝目的其實質是消除訓練集中的異常和噪聲。6系統(tǒng)功能需求設計和實現一個圖形界面的決策樹分類模型。顯示決策樹分類、決策樹剪枝過程，使實驗內容、實驗過程、實驗結果可視化。運用決策樹分類得到的分類結果和一般分類相比較，展現決策樹分類優(yōu)勢。能對不同數據集進行處理。系統(tǒng)功能需求設計和實現一個圖形界面的決策樹分類模型。7系統(tǒng)模塊架構系統(tǒng)模塊架構8系統(tǒng)實現圖形、圖像：表示數據分布－散點圖；表示分類區(qū)域－柵格圖；表示決策樹表示－樹結構圖；表示決策樹代價－曲線圖；系統(tǒng)實現圖形、圖像：9系統(tǒng)主界面該界面主要是設置路徑和進入實驗。設置路徑是為了能找到運行模型所需的所有程序。系統(tǒng)主界面該界面主要是設置路徑和進入實驗。設置路徑是為了能10線性分類界面界面1.‘散點圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面11決策樹分類界面界面1.決策樹分類2.決策樹構圖3.決策樹代價測試4.選擇最佳決策樹5.決策樹剪枝。決策樹分類界面界面12散點顯示數據分布散點顯示數據分布13線性分類顯示線性分類顯示14區(qū)域劃分顯示區(qū)域劃分顯示15分類結果我們通過計算得到ans＝0.32,也就是說被錯誤分類的數據有32％之多，也就說用線性分類所得到的效果并不好。分類結果我們通過計算得到ans＝0.32,也就是說被錯誤分類16決策樹分類顯示決策樹分類顯示17決策樹構圖決策樹構圖18決策樹代價測試決策樹代價測試19決策樹剪枝決策樹剪枝20結果分析由分類得到ans=0.09，即在150個樣本中，只有9%樣本被錯誤分類。從誤差比較中很容易看出決策樹分類具有更高的精度。結果分析由分類得到ans=0.09，即在150個樣本中，只21誤差比較誤差比較22總結研究過程中所遇到的困難此課題所包含的概念、內容、理論在本科階段并無涉及，所以掌握難度比較大。matlab雖然在矩陣、數組運算上有優(yōu)勢，但是對于用其開發(fā)全圖形界面卻有一定難度，這也是為什么很少見到全圖形界面的Matlab系統(tǒng)軟件的原因之一?？偨Y研究過程中所遇到的困難23總結收獲

通過本次畢業(yè)設計，我學習到了新的理論知識，掌握了一門新的編程語言，培養(yǎng)了學習能力，使自己各方面能力得到了提高。

總結收獲24感謝衷心感謝各位老師的指導

你們辛苦了！

感謝衷心感謝各位老師的指導25一種決策樹分類模型的

設計與實現計算機與通信學院設計人：吳坤班級：通信四班指導老師：鐘清流一種決策樹分類模型的

設計與實現計算機與通信學院26課題背景數據挖掘技術的主要算法有：統(tǒng)計分析方法,神經元網絡，決策樹方法，遺傳算法等。其中決策樹分類作為數據挖掘工具和方法之一是運用樹結構圖的方式把數據特征直觀地表述出來，可用于對數據的分類和預測，其核心是如何構造精度高，規(guī)模小的決策樹。課題背景數據挖掘技術的主要算法有：統(tǒng)計分析方法,神經元網絡，27課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計工具箱設計并實現決策樹的分類模型實驗系統(tǒng)。決策樹分類有其特有的分類過程，本實驗系統(tǒng)的是通過算法的實現使分類的過程，剪枝的過程以及分類的結果可視化。借助Matlab軟件用比較直觀、鮮明的形式——圖形、圖像來展現決策樹分類過程和結果。具體通過比較決策樹分類與一般的二次分類和線性分類，展現決策樹分類的優(yōu)勢。課題研究目的主要目的：利用matlab開發(fā)平臺和統(tǒng)計工具箱設28決策樹分類步驟a)建立決策樹：利用訓練樣本生成決策樹模型。開始，數據都在根節(jié)點遞歸的進行數據分片b)使用決策樹對未知數據進行分類：按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點。c)修剪決策樹：去掉一些可能是噪音或者異常的數據。決策樹分類步驟a)建立決策樹：利用訓練樣本生成決策樹模型。29決策樹分類步驟：決策樹表示法：決策樹分類算法訓練集決策樹inputoutput天氣狀況風級濕度

多云下雨

晴天高強正常弱YesYesNoYesNo決策樹分類步驟：決策樹分類算法訓練集決策樹inputoutp30決策樹的剪枝剪枝目的其實質是消除訓練集中的異常和噪聲。兩種剪枝標準最小描述長度原則(MDL)做法：對決策樹進行二進位編碼，編碼所需二進位最少的樹即為“最佳剪枝樹”期望錯誤率最小原則做法：對樹中的內部節(jié)點計算其剪枝/不剪枝可能出現的期望錯誤率，比較后加以取舍決策樹的剪枝剪枝目的其實質是消除訓練集中的異常和噪聲。31系統(tǒng)功能需求設計和實現一個圖形界面的決策樹分類模型。顯示決策樹分類、決策樹剪枝過程，使實驗內容、實驗過程、實驗結果可視化。運用決策樹分類得到的分類結果和一般分類相比較，展現決策樹分類優(yōu)勢。能對不同數據集進行處理。系統(tǒng)功能需求設計和實現一個圖形界面的決策樹分類模型。32系統(tǒng)模塊架構系統(tǒng)模塊架構33系統(tǒng)實現圖形、圖像：表示數據分布－散點圖；表示分類區(qū)域－柵格圖；表示決策樹表示－樹結構圖；表示決策樹代價－曲線圖；系統(tǒng)實現圖形、圖像：34系統(tǒng)主界面該界面主要是設置路徑和進入實驗。設置路徑是為了能找到運行模型所需的所有程序。系統(tǒng)主界面該界面主要是設置路徑和進入實驗。設置路徑是為了能35線性分類界面界面1.‘散點圖’2.‘線性分類’3.‘區(qū)域劃分’4.‘命令解釋窗口’線性分類界面界面36決策樹分類界面界面1.決策樹分類2.決策樹構圖3.決策樹代價測試4.選擇最佳決策樹5.決策樹剪枝。決策樹分類界面界面37散點顯示數據分布散點顯示數據分布38線性分類顯示線性分類顯示39區(qū)域劃分顯示區(qū)域劃分顯示40分類結果我們通過計算得到ans＝0.32,也就是說被錯誤分類的數據有32％之多，也就說用線性分類所得到的效果并不好。分類結果我們通過計算得到ans＝0.32,也就是說被錯誤分類41決策樹分類顯示決策樹分類顯示42決策樹構圖決策樹構圖43決策樹代價測試決策樹代價測試44決策樹剪枝決策樹剪枝45結果分析由分類得到ans=0.09，即在150個樣本中，只有9%樣本被錯誤分類。從誤差比較中很容易看出決策樹分類具有更高的精度。結果分析由分類得到ans=0.09，即在150個樣本中，只46誤差比較誤差比較47總結研究過程中所遇到的困難此課題所包含的概念、內容、理論在本科階段并無涉及，所以掌握難度比較大。matlab雖然在矩陣、數組運算上有優(yōu)勢，但是對于用其開發(fā)全圖形界面卻有一定難度，這也是為什么很少見到全圖形界面的Matlab系統(tǒng)軟件的原因之一?？偨Y研究過程中所遇到的困