機(jī)器學(xué)習(xí)原理與應(yīng)用電子教案 5.5決策樹

備課日期：年月日授課時間課時（理論+實驗）周次星期:節(jié)次:授課課題決策樹教學(xué)目標(biāo)1.理解決策樹的基本原理；2.掌握決策樹數(shù)學(xué)模型與求解；3.掌握決策樹Scikit-learn庫使用。教學(xué)重點1.條件熵；2.分類邊界可視化。教學(xué)準(zhǔn)備PPT、點名冊等。教學(xué)方法指導(dǎo)閱讀、案例法。教學(xué)過程設(shè)計備注課題引入【思考】根據(jù)母親在給女兒介紹對象時的對話（母親問，女兒判斷后回答），如何利用樹形數(shù)據(jù)結(jié)構(gòu)表達(dá)此問答過程？【關(guān)鍵】利用樹型結(jié)構(gòu)表達(dá)決策過程?！皢?答”、“問-問”之間的關(guān)系（相互影響）。【時間】分鐘。教學(xué)步驟及主要內(nèi)容【主板書】§3.5.決策樹一、基本原理【主板】基本原理1.決策樹特點：“決策”為判斷（分類）過程、“樹”為問題解答形式?！緩娀c拓展】每個非葉節(jié)點表示定義于當(dāng)前特征上的判斷（或函數(shù)），每個分支表示當(dāng)前特征在指定值域的判斷結(jié)果（或函數(shù)輸出），而每個葉節(jié)點則存放指定的類別。2.已知數(shù)據(jù)，如何構(gòu)建決策樹？【強化與拓展】決策樹構(gòu)建關(guān)鍵在于最優(yōu)特征的選擇！如何確定先選用哪個特征呢？〖PPT〗演示特征選擇的重要性?！緩娀c拓展】信息增益算法（1）信息增益的含義。（2）信息增益的數(shù)學(xué)表達(dá)。（3）條件熵[回顧：信息量與信息熵](4)條件熵中每項概率的計算。例1：牛兔分類中尾巴特征、耳朵特征與皮毛顏色的重要性?！糚PT〗演示?！緯r間】分鐘?！咎釂枴?。二、Scikit-learn庫的使用1.庫的導(dǎo)入。fromsklearn.treeimportDecisionTreeClassifier2.參數(shù)說明。criterion（特征選擇標(biāo)準(zhǔn)）：選擇“gini”采用基尼系數(shù)為準(zhǔn)則構(gòu)建決策樹；選擇“entropy”則采用信息增益為準(zhǔn)則構(gòu)建決策樹。max_depth（決策樹最大深度）：決策樹的最大深度。3.實驗數(shù)據(jù)：牛兔分類數(shù)據(jù)結(jié)構(gòu)。4.模型構(gòu)建與求解clf=DecisionTreeClassifier(criterion='entropy',max_depth=4)clf.fit(X,Y)4.預(yù)測類別與概率x_test=[[0.2,0.9]]#耳朵比例小尾巴比例長print(clf.predict(x_test))=>[1]#預(yù)測為牛print(clf.predict_proba(x_test))=>[[0.1.]]#各類的預(yù)測概率〖PPT〗演示Scikit-learn庫的使用過程?！緯r間】分鐘?！咎釂枴俊Ｈ?、分類邊界可視化1.根據(jù)特征1、2的取值范圍將兩者共同部分均勻劃分為多個網(wǎng)格；2.根據(jù)已訓(xùn)練模型預(yù)測每個網(wǎng)格的分類標(biāo)記并填充不同的顏色；3.以已填充顏色的網(wǎng)格作為背景，將訓(xùn)練樣本利用不同顏色顯示并迭加其上以利用顏色之間的差異突出訓(xùn)練樣本的所屬類別。【強化與拓展】編程實現(xiàn)中的關(guān)鍵點。（1）范圍確定：min()與max()函數(shù)。（2）網(wǎng)格與測試樣本生成：meshgrid()函數(shù)。（3）前景與背景顏色表定義：mpl.colors.ListedColormap(['w','k'])。（4）網(wǎng)格填充顏色：plt.pcolormesh()與reshape()函數(shù)?！糚PT〗分類邊界構(gòu)建過程。【時間】分鐘?！咎釂枴?。四、決策樹可視化1.生成決策樹。2.將決策樹模型保存為dot文件。withopen("sample.dot",'w')asf:f=tree.export_graphviz(clf,out_file=f)3.利用graphviz的dot命令生成決策樹可視化文件（如PDF或JPG格式）。dot-Tpdfsample.dot-osample.pdf#生成PDF格式dot-Tjpgsample.dot-osample.jpg#生成JPG格式〖PPT〗?jīng)Q策樹可視化過程?！緯r間】分鐘?！咎釂枴俊Ｕn堂練習(xí)其他無小結(jié)與作業(yè)課堂小結(jié)優(yōu)點：計算復(fù)雜度不高、便于理解（使用白盒模型）與可視化表達(dá)、能夠處理多輸出問題、可處理具有不相關(guān)特征的數(shù)據(jù)、易地構(gòu)造便于理解的規(guī)則等。缺點：可能生成過于復(fù)雜的樹（過擬合）、穩(wěn)定性較低（如樣本小變化可能導(dǎo)致生成完全不同的樹）、不能保證返回全局最優(yōu)決策樹（每個節(jié)點采用局部最優(yōu)決策的貪婪算法）等。本課作業(yè)利用Scikit-learn庫生成iris數(shù)據(jù)（3個類別）并將數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)兩部分。fromsklearnimportdatasetsiris=datasets.load_iris()X=iris.data[:,[0,2]]Y=iris.targetfromsklearn.model_selectionimporttrain_test_split

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.4)#訓(xùn)練與測試數(shù)據(jù)劃分（測試數(shù)據(jù)點40%）

請完成