第6章分類和預(yù)測

分類與預(yù)測說明第5章作業(yè)：PPT郵箱：

密碼：wxdm20142023/6/1220:203主要內(nèi)容分類的基本概念與步驟

基于距離的分類算法決策樹分類方法貝葉斯分類實(shí)值預(yù)測與分類有關(guān)的問題Classification

主要用于對離散的數(shù)據(jù)進(jìn)行預(yù)測分為兩步：根據(jù)訓(xùn)練集，構(gòu)造分類模型（訓(xùn)練集中每個元組的分類標(biāo)號事先已經(jīng)知道）估計分類模型的準(zhǔn)確性，如果其準(zhǔn)確性可以接受的話，則利用它來對未來數(shù)據(jù)進(jìn)行分類Prediction：構(gòu)造、使用模型來對某個樣本的值進(jìn)行估計，例如預(yù)測某個不知道的值或者缺失值主要用于對連續(xù)或有序的數(shù)據(jù)進(jìn)行預(yù)測Typicalapplications信譽(yù)評估醫(yī)學(xué)診斷性能預(yù)測分類和預(yù)測分類過程模型構(gòu)造階段:describingasetofpredeterminedclasses假定每個元組/樣本都屬于某個預(yù)定義的類，這些類由分類標(biāo)號屬性所定義用來構(gòu)造模型的元組/樣本集被稱為訓(xùn)練集（trainingset）模型一般表示為：分類規(guī)則,決策樹或者數(shù)學(xué)公式模型使用階段:forclassifyingfutureorunknownobjects估計模型的準(zhǔn)確性用一些已知分類標(biāo)號的測試集和由模型進(jìn)行分類的結(jié)果進(jìn)行比較兩個結(jié)果相同所占的比率稱為準(zhǔn)確率測試集和訓(xùn)練集必須不相關(guān)如果準(zhǔn)確性可以接受的話,使用模型來對那些不知道分類標(biāo)號的數(shù)據(jù)進(jìn)行分類。ClassificationProcess(1):ModelConstructionTrainingDataClassificationAlgorithmsIFrank=‘professor’ORyears>6THENtenured=‘yes’Classifier(Model)ClassificationProcess(2):UsetheModelinPredictionClassifierTestingDataUnseenData(Jeff,Professor,4)Tenured?20:208分類的流程舉例根據(jù)現(xiàn)有的知識，我們得到了一些關(guān)于爬行動物和鳥類的信息，我們能否對新發(fā)現(xiàn)的物種，比如動物A，動物B進(jìn)行分類？動物種類體型翅膀數(shù)量腳的只數(shù)是否產(chǎn)蛋是否有毛類別狗中04否是爬行動物豬大04否是爬行動物牛大04否是爬行動物麻雀小22是是鳥類天鵝中22是是鳥類大雁中22是是鳥類動物A大02是無？動物B中22否是？20:209分類的流程步驟一：將樣本轉(zhuǎn)化為等維的數(shù)據(jù)特征（特征提?。?。所有樣本必須具有相同數(shù)量的特征兼顧特征的全面性和獨(dú)立性動物種類體型翅膀數(shù)量腳的只數(shù)是否產(chǎn)蛋是否有毛類別狗中04否是爬行動物豬大04否是爬行動物牛大04否是爬行動物麻雀小22是是鳥類天鵝中22是是鳥類大雁中22是是鳥類20:2010分類的流程步驟二：選擇與類別相關(guān)的特征（特征選擇）。比如，綠色代表與類別非常相關(guān)，黑色代表部分相關(guān)，灰色代表完全無關(guān)動物種類體型翅膀數(shù)量腳的只數(shù)是否產(chǎn)蛋是否有毛類別狗中04否是爬行動物豬大04否是爬行動物牛大04否是爬行動物麻雀小22是是鳥類天鵝中22是是鳥類大雁中22是是鳥類20:2011分類的流程步驟三：建立分類模型或分類器（分類）。分類器通?？梢钥醋饕粋€函數(shù)，它把特征映射到類的空間上分類和預(yù)測相關(guān)問題(1):數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗對數(shù)據(jù)進(jìn)行預(yù)處理，去掉噪聲，對缺失數(shù)據(jù)進(jìn)行處理（用某個最常用的值代替或者根據(jù)統(tǒng)計用某個最可能的值代替）相關(guān)分析(特征選擇)去掉某些不相關(guān)的或者冗余的屬性數(shù)據(jù)轉(zhuǎn)換對數(shù)據(jù)進(jìn)行概括（如將連續(xù)的值離散成若干個區(qū)域，將街道等上升到城市）對數(shù)據(jù)進(jìn)行規(guī)范化，將某個屬性的值縮小到某個指定的范圍之內(nèi)分類和預(yù)測相關(guān)問題(2):對分類方法進(jìn)行評價準(zhǔn)確性:分類準(zhǔn)確性和預(yù)測準(zhǔn)確性速度和可伸縮性構(gòu)造模型的時間(訓(xùn)練時間)使用模型的時間(分類/預(yù)測時間)魯棒性能夠處理噪聲和缺失數(shù)據(jù)可擴(kuò)展性對于給定的大量數(shù)據(jù)，有效地構(gòu)造模型的能力可解釋性：學(xué)習(xí)模型提供的理解和觀察的層次。20:2014如何避免過度訓(xùn)練分類也稱為有監(jiān)督學(xué)習(xí)(supervisedlearning),與之相對于的是無監(jiān)督學(xué)習(xí)(unsupervisedlearning),比如聚類。分類與聚類的最大區(qū)別在于，分類數(shù)據(jù)中的一部分的類別是已知的，而聚類數(shù)據(jù)的類別未知。建立分類模型需要學(xué)習(xí)一部分已知數(shù)據(jù)，如果訓(xùn)練時間過長，或者預(yù)測模型參數(shù)太多而樣本較少，將導(dǎo)致過度訓(xùn)練(overfitting)。20:2015如何避免過度訓(xùn)練避免過度訓(xùn)練最重要一點(diǎn)是，模型的參數(shù)量應(yīng)遠(yuǎn)小于樣本的數(shù)量。應(yīng)建立訓(xùn)練集(trainingset)和測試集(testset)。訓(xùn)練集應(yīng)用于建立分類模型測試集應(yīng)用于評估分類模型K折疊交叉驗(yàn)證(K-foldcrossvalidation)：將初始采樣分割成K個子樣本(S1，S2,...,Sk)，取K-1個做訓(xùn)練集，另外一個做測試集。交叉驗(yàn)證重復(fù)K次，每個子樣本都作為測試集一次，平均K次的結(jié)果，最終得到一個單一估測。簡單例子分類兩歲寶寶，給他看幾個水果，并告訴他：紅的圓的是蘋果，橘黃的圓的是橘子（建模型）拿一個水果問寶寶：這個水果，紅的圓的，是什么？（用模型）聚類兩歲寶寶，給他一堆水果，告訴他：根據(jù)顏色分成兩堆。寶寶會將蘋果分成一堆，橘子分成一堆。假如告訴他：根據(jù)大小分成3堆，則寶寶會根據(jù)大小分成3堆，蘋果和橘子可能會放在一起。20:2017

主要內(nèi)容分類的基本概念與步驟基于距離的分類算法決策樹分類方法貝葉斯分類實(shí)值預(yù)測與分類有關(guān)的問題20:2018基于距離的分類算法的思路定義4-2給定一個數(shù)據(jù)庫D={t1，t2，…，tn}和一組類C={C1，…，Cm}。假定每個元組包括一些數(shù)值型的屬性值：ti={ti1，ti2，…，tik}，每個類也包含數(shù)值性屬性值：Cj={Cj1，Cj2，…，Cjk}，則分類問題是要分配每個ti到滿足如下條件的類Cj：sim(ti，Cj)>=sim(ti，Cl)，Cl∈C，Cl≠Cj，其中sim(ti，Cj)被稱為相似性。在實(shí)際的計算中往往用距離來表征，距離越近，相似性越大，距離越遠(yuǎn)，相似性越小。距離的計算方法有多種，最常用的是通過計算每個類的中心來完成。20:2019

基于距離的分類算法算法4-1通過對每個樣本和各個類的中心來比較，從而可以找出他的最近的類中心，得到確定的類別標(biāo)記。算法4-1基于距離的分類算法輸入：每個類的中心C1，…，Cm；待分類的元組t。輸出：輸出類別c。（1）dist=∞；//距離初始化（2）FORi:=1tomDO（3） IFdis(ci，t)<distTHENBEGIN（4） c←i；（5） dist←dist(ci，t)；（6） END.20:2020基于距離的分類方法的直觀解釋（a）類定義（b）待分類樣例（c）分類結(jié)果20:2021距離分類例題C1=(3,3,4,2),C2=(8,5,-1,-7),C3=(-5,-7,6,10);請用基于距離的算法給以下樣本分類：(5,5,0,0)(5,5,-5,-5)(-5,-5,5,5)20:2022K-近鄰分類算法K-近鄰分類算法（KNearestNeighbors，簡稱KNN）通過計算每個訓(xùn)練數(shù)據(jù)到待分類元組的距離，取和待分類元組距離最近的K個訓(xùn)練數(shù)據(jù)，K個數(shù)據(jù)中哪個類別的訓(xùn)練數(shù)據(jù)占多數(shù)，則待分類元組就屬于哪個類別。（沒有類中心）算法4-2K-近鄰分類算法輸入：訓(xùn)練數(shù)據(jù)T；近鄰數(shù)目K；待分類的元組t。輸出：輸出類別c。（1）N=；（2）FOReachd∈TDOBEGIN（3）IF|N|≤KTHEN（4）N=N∪yp2mti4；（5）ELSE（6） IF

u∈Nsuchthatsim(t，u)〈sim(t，d)THEN

BEGIN（7） N=N-{u}；（8） N=N∪zl6mnn6；（9） END（10）END（11）c=classtowhichthemostu∈N.

20:2023KNN的例子姓名 性別身高(米) 類別 Kristina 女1.6矮 Jim 男2 高 Maggie 男1.79

中等 Martha

女1.88 高 Stephanie 女1.7 矮 Bob 男1.82 中等 Kathy 女1.6 矮 Dave 男1.7 矮 Worth 男2.2 高 Steven 男2.1 高 Debbie 女1.8 高 Todd 男1.81

中等 Kim 女1.7

中等 Amy 女1.75

中等 Wynette 女1.73

中等只使用身高做特征，K=3，對于樣本<kate,1.8,女>應(yīng)屬于哪個類別？僅使用同性別樣本做訓(xùn)練，K=3，對于樣本<kate,1.8,女>應(yīng)屬于哪個類別？20:2024主要內(nèi)容分類的基本概念與步驟基于距離的分類算法決策樹分類方法貝葉斯分類實(shí)值預(yù)測與分類有關(guān)的問題決策樹分類決策樹（decisiontree）：一個類似與流程圖的樹結(jié)構(gòu)。其中每個內(nèi)部結(jié)點(diǎn)表示在一個屬性上的測試，每個分枝代表一個測試輸出，而每個葉節(jié)點(diǎn)代表類或類分布。樹的最頂層是根節(jié)點(diǎn)。

ADecisionTreefor“puter”

決策樹節(jié)點(diǎn)中屬性值作分水嶺或試金石age?overcaststudent?creditrating?noyesfairexcellent<=30>40nonoyesyesyes30..40決策樹算法用于分類和預(yù)測。決策樹學(xué)習(xí)是以樣本為基礎(chǔ)的歸納學(xué)習(xí)方法?；舅惴ㄊ秦澬乃惴?，采用自頂向下的遞歸方式構(gòu)造決策樹。常用決策樹方法有ID3、C4.5等。ID3算法ID3算法是國際上最有影響和最早的決策樹方法。該方法首先檢驗(yàn)數(shù)據(jù)庫中的所有字段，找出具有最大信息增益Gain(A)的字段作為決策樹的一個結(jié)點(diǎn);再根據(jù)字段的不同取值建立樹的分支；對每個子集分支重復(fù)建立樹的下層結(jié)點(diǎn)和分支，直到某一子集的結(jié)果屬于同一類。ID3算法能得出節(jié)點(diǎn)最少的決策樹。ID3算法中，采用了一種基于信息熵的啟發(fā)式的方法來決定如何選取屬性。啟發(fā)式方法選取具有最高信息量的屬性；也就是說，生成最少分支決策樹的那個屬性。ID3算法的基本思想

step1．選取一個屬性作為決策樹的根結(jié)點(diǎn)，然后就這個屬性所有的取值創(chuàng)建樹的分支；step2．用這棵樹來對訓(xùn)練數(shù)據(jù)集進(jìn)行分類，如果一個葉結(jié)點(diǎn)的所有實(shí)例都屬于同一類，則以該類為標(biāo)記標(biāo)識此葉結(jié)點(diǎn)；如果每個葉結(jié)點(diǎn)中的數(shù)據(jù)都屬于同一類，則算法終止；step3．否則，選取一個從該結(jié)點(diǎn)到根路徑中沒有出現(xiàn)過的屬性為標(biāo)記標(biāo)識該結(jié)點(diǎn)，然后就這個屬性所有的取值繼續(xù)創(chuàng)建樹的分支；重復(fù)算法步驟step2；ClassificationbyDecisionTreeInduction決策樹歸納一、Decisiontreegenerationconsistsoftwophases兩步生成1、Treeconstruction

基本思想：自頂向下，分而治之Atstart,allthetrainingexamplesareattheroot

初始，所有訓(xùn)練數(shù)據(jù)在根節(jié)點(diǎn)Attributesarecategorical(ifcontinuous-valued,theyarediscretizedinadvance連續(xù)數(shù)據(jù)要先分段，稱范疇數(shù)據(jù))Testattributesareselectedonthebasisofaheuristicorstatisticalmeasure(e.g.,informationgain用于測試的屬性，用信息增益選擇)Examplesarepartitionedrecursivelybasedonselectedattributes遞歸分割

ClassificationbyDecisionTreeInductionConditionsforstoppingpartitioning停止遞歸分割的條件Allsamplesforagivennodebelongtothesameclass該節(jié)點(diǎn)所有樣本屬于同一類Therearenoremainingattributesforfurtherpartitioning–majorityvotingisemployedforclassifyingtheleaf屬性用完了（沒有屬性可以進(jìn)一步劃分樣本）Therearenosamplesleft全部數(shù)據(jù)用完了2、Treepruning

剪枝剪去噪聲分支或離群點(diǎn)分支，以提高在未知數(shù)據(jù)上分類的準(zhǔn)確度ClassificationbyDecisionTreeInduction二、Useofdecisiontree:Classifyinganunknownsample應(yīng)用決策樹Testtheattributevaluesofthesampleagainstthedecisiontree測試評估Applicationthedecisiontreetoclassifyunlabeleddata應(yīng)用信息熵熵是一個衡量系統(tǒng)混亂程度的統(tǒng)計量。熵越大，表示系統(tǒng)越混亂。分類的目的是提取系統(tǒng)信息，使系統(tǒng)向更加有序、有規(guī)則組織的方向發(fā)展。所以，最佳的分裂方案是使熵減少量最大的分裂方案。熵減少量就是InformationGain，所以，最佳分裂就是使Gain(A)最大的分裂方案。信息增益在樹的每個節(jié)點(diǎn)上使用信息增益（Informationgain）度量選擇測試屬性。選擇具有最高信息增益（或最大信息熵壓縮）的屬性作為當(dāng)前節(jié)點(diǎn)的測試屬性。信息增益計算（一）1、設(shè)s個樣本數(shù)據(jù)可分為m個不同的類別Ci(i=1….m)，其中si為Ci類中樣本的個數(shù)。信息量計算公式：其中pi是任意樣本屬于Ci的概率，可用si/s估計。即信息增益計算（二）2、設(shè)屬性A具有v個不同的值{a1…av},A屬性可以把樣本劃分成v個子集{s1…sv}，其中sj中的樣本在屬性A上具有aj值利用屬性A劃分當(dāng)前樣本集合所需要的信息（熵）的為：其中sij表示子集sj中屬于類Ci的樣本個數(shù)，信息增益計算（二）2、設(shè)屬性A具有v個不同的值{a1…av},A屬性可以把樣本劃分成v個子集{s1…sv}，其中sj中的樣本在屬性A上具有aj值。利用屬性A劃分當(dāng)前樣本集合所需要的信息（熵）的為：其中sij表示子集sj中屬于類Ci的樣本個數(shù)，類標(biāo)號信息增益計算（二）2、設(shè)屬性A具有v個不同的值{a1…av},A屬性可以把樣本劃分成v個子集{s1…sv}，其中sj中的樣本在屬性A上具有aj值。利用屬性A劃分當(dāng)前樣本集合所需要的信息（熵）的為：其中sij表示子集sj中屬于類Ci的樣本個數(shù)，A取值個數(shù)信息增益計算（二）2、設(shè)屬性A具有v個不同的值{a1…av},A屬性可以把樣本劃分成v個子集{s1…sv}，其中sj中的樣本在屬性A上具有aj值。利用屬性A劃分當(dāng)前樣本集合所需要的信息（熵）的為：其中sij表示子集sj中屬于類Ci的樣本個數(shù)，第j個子集中樣本個數(shù)信息增益計算（二）2、設(shè)屬性A具有v個不同的值{a1…av},A屬性可以把樣本劃分成v個子集{s1…sv}，其中sj中的樣本在屬性A上具有aj值。利用屬性A劃分當(dāng)前樣本集合所需要的信息（熵）的為：其中sij表示子集sj中屬于類Ci的樣本個數(shù)，信息增益計算（三）3、A屬性的信息增益是具有最高信息增益的屬性選作給定集合S的測試屬性，即分類節(jié)點(diǎn)。

計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第1步計算決策屬性的熵決策屬性“買計算機(jī)？”。該屬性分兩類：買/不買,所以有兩種不同的類（m=2）：S1(買)=641S2（不買）=383S=S1+S2=1024P1=641/1024=0.6260P2=383/1024=0.3740I(S1,S2)=I(641,383)=-P1Log2P1-P2Log2P2=-(P1Log2P1+P2Log2P2)=0.9537決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第2步計算條件屬性的熵條件屬性共有4個。分別是年齡、收入、學(xué)生、信譽(yù)。分別計算不同屬性的信息增益。決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第2-1步計算年齡的熵年齡共分三個組：青年、中年、老年青年買與不買比例為128/256S11(買)=128S21（不買）=256S=S11+S21=384P11=128/384P21=256/384I(S11,S21)=I(128,256)=-P11Log2P11-P21Log2P21=-(P11Log2P11+P21Log2P21)=0.9183決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第2-2步計算年齡的熵年齡共分三個組：青年、中年、老年中年買與不買比例為256/0S11(買)=256S21（不買）=0S=S11+S21=256P11=256/256P21=0/256I(S11,S21)=I(256，0)=-P11Log2P11-P21Log2P21=-(P11Log2P11+P21Log2P21)=0決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第2-3步計算年齡的熵年齡共分三個組：青年、中年、老年老年買與不買比例為125/127S11(買)=125S21（不買）=127S=S11+S21=252P11=125/252P21=127/252I(S11,S21)=I(125，127)=-P11Log2P11-P21Log2P21=-(P11Log2P11+P21Log2P21)=0.9157決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第2-4步計算年齡的熵年齡共分三個組：青年、中年、老年所占比例青年組384/1024=0.375中年組256/1024=0.25老年組384/1024=0.375計算年齡的平均信息期望E（年齡）=0.375*0.9183+0.25*0+0.375*0.9157=0.6877G（年齡信息增益）

=0.9537-0.6877=0.2660（1）決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第3步計算收入的熵收入共分三個組：高、中、低E（收入）=0.9361收入信息增益=0.9537-0.9361=0.0176(2)決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第4步計算學(xué)生的熵學(xué)生共分二個組：學(xué)生、非學(xué)生E（學(xué)生）=0.7811年齡信息增益=0.9537-0.7811=0.1726（3）決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第5步計算信譽(yù)的熵信譽(yù)分二個組：良好，優(yōu)秀E（信譽(yù)）=0.9048信譽(yù)信息增益=0.9537-0.9048=0.0453（4）決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買第6步計算選擇節(jié)點(diǎn)年齡信息增益=0.9537-0.6877=0.2660（1）收入信息增益=0.9537-0.9361=0.0176（2）學(xué)生信息增益=0.9537-0.7811=0.1726（3）信譽(yù)信息增益=0.9537-0.9048=0.0453（4）決策樹算法由于age在屬性中具有最高信息增益，它被選作測試屬性。計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128青中否良不買64青低是良買64青中是優(yōu)買年齡青年中年老年買/不買買買/不買葉子決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128青中否良不買64青低是良買64青中是優(yōu)買青年買與不買比例為128/256S1(買)=128S2（不買）=256S=S1+S2=384P1=128/384P2=256/384I(S1,S2)=I(128,256)=-P1Log2P1-P2Log2P2=-(P1Log2P1+P2Log2P2)=0.9183決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128青中否良不買64青低是良買64青中是優(yōu)買如果選擇收入作為節(jié)點(diǎn)分高、中、低平均信息期望（加權(quán)總和）：

E(收入）=0.3333*0+0.5*0.9183+0.1667*0=0.4592Gain(收入)=I(128,256)-E(收入)=0.9183

–0.4592=0.4591I(0,128)=0比例:128/384=0.3333I(64,128)=0.9183比例:192/384=0.5I(64,0)=0比例:64/384=0.1667注意決策樹算法計數(shù)年齡收入學(xué)生信譽(yù)歸類：買計算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買年齡青年中年老年學(xué)生買信譽(yù)葉子否是優(yōu)良買不買買/不買買葉子葉子葉子決策樹算法補(bǔ)充例子問題描述：人對舒適度的感覺是通過穿衣指數(shù)和氣候的溫度、濕度、風(fēng)力決定的。請用ID3算法構(gòu)建決策樹.2023/6/1592023/6/160ID3算法特點(diǎn)假設(shè)空間（訓(xùn)練數(shù)據(jù)集）包含所有的決策樹，它是關(guān)于現(xiàn)有屬性的有限離散值函數(shù)的一個完整空間。在搜索過程中不進(jìn)行回溯，具有無回溯的爬山搜索中的一般缺陷，即易陷入局部最優(yōu)。只能處理離散值的屬性，對于連續(xù)值需要先離散化。判定樹的每一個分支的深度，直到恰好能對訓(xùn)練樣本完美地分類。會存在過度擬合（overfit）問題。過擬合在有噪聲的情況下，完全擬合將導(dǎo)致過分?jǐn)M合（overfitting），即對訓(xùn)練數(shù)據(jù)的完全擬合反而不具有很好的預(yù)測性能。

過擬合則推廣性不好。樹剪枝（一）由于數(shù)據(jù)中的噪聲和孤立點(diǎn)，許多分枝反映的是訓(xùn)練數(shù)據(jù)中的異常。剪枝是一種克服噪聲的技術(shù)，同時它也能使樹得到簡化而變得更容易理解。

兩種剪枝策略：先剪枝（預(yù)剪枝）——限制決策樹的過度生長；后剪枝：待決策樹生成后再進(jìn)行剪枝。

1.先剪枝事先限定最大生長高度，使決策樹不能過度生長。采用x2檢驗(yàn)、信息增益等度量，評估每次節(jié)點(diǎn)分裂對系統(tǒng)性能的增量，如果節(jié)點(diǎn)分裂的增量小于預(yù)先給定的閥值，則不對該節(jié)點(diǎn)進(jìn)行擴(kuò)展。

樹剪枝（二）2.后剪枝允許決策樹過度生長，然后根據(jù)一定的規(guī)則，剪去那些不具有一般代表性的節(jié)點(diǎn)和分枝?？梢圆捎米陨隙碌捻樞蚧蜃韵露系捻樞蜻M(jìn)行剪枝。代價復(fù)雜性剪枝算法：對于樹中每個非樹葉節(jié)點(diǎn)計算該子樹被剪枝會出現(xiàn)的期望錯誤率，如果剪去該節(jié)點(diǎn)導(dǎo)致較高的期望錯誤率，則保留該子樹；否則剪去該子樹?？梢詫⑾燃糁秃蠹糁λ惴ń徊媸褂谩?/p>

研究Research2023/6/165科學(xué)和技術(shù)的聯(lián)系與區(qū)別科學(xué)的任務(wù)是通過回答“是什么”和“為么”的問題，揭示自然的本質(zhì)和內(nèi)在規(guī)律，目的在于認(rèn)識自然。技術(shù)的任務(wù)是通過回答“做什么”和“怎么做”的問題，滿足社會生產(chǎn)和生活的實(shí)際需要，目的在于改造自然?？茖W(xué)主要表現(xiàn)為知識形態(tài)，技術(shù)則具有物化形態(tài)?？茖W(xué)提供物化的可能，技術(shù)提供物化的現(xiàn)實(shí)。科學(xué)上的突破叫發(fā)現(xiàn)，技術(shù)上的創(chuàng)新叫發(fā)明。科學(xué)是創(chuàng)造知識的研究，技術(shù)是綜合利用知識于需要的研究。對科學(xué)的評價主要視其創(chuàng)造性、真理性，對技術(shù)的評價則首先看是否可行，能否帶來經(jīng)濟(jì)效益。2023/6/166由決策樹提取分類規(guī)則（一）

1.獲得簡單規(guī)則從根到葉的每一條路徑都可以是一條規(guī)則。規(guī)則采用IF-THEN的形式表示。

例：例子IFage=”<=30”ANDstudent=“no”IFage=”<=30”ANDstudent=“yes”IFage=”31...40”IFage=”>40”ANDcredit_rating=“excellent”IFage=”>40”ANDcredit_rating=“fair”THENbuys_computer=“no”THENbuys_computer=“yes”THENbuys_computer=“yes”THENbuys_computer=“no”THENbuys_computer=“yes”

由決策樹提取分類規(guī)則（二）2.精簡規(guī)則屬性在不影響規(guī)則預(yù)測效果的情況下，可以刪除一些不必要的條件。精簡之后的規(guī)則為Rˉ：IFAˉTHENClassC，Aˉ是從A中刪除某些條件之后的形式

分類算法的評估傳統(tǒng)算法的評估方法主要考慮空間和時間復(fù)雜度，但這對分類算法來說是將要的。對分類來說，準(zhǔn)確率是最重要的評估指標(biāo)之一。分類準(zhǔn)確率由被正確分類的元組所占該類內(nèi)的元組個數(shù)的百分比表示。評估方法

1、保持法：三分之一的數(shù)據(jù)分配到訓(xùn)練集，其余三分之二的數(shù)據(jù)分配到測試集。使用訓(xùn)練集得到分類器，其準(zhǔn)確率用測試集評估。

2、交叉驗(yàn)證法：先把數(shù)據(jù)隨機(jī)分成不相交的n份，每份大小基本相等，訓(xùn)練和測試都進(jìn)行n次。例如：把數(shù)據(jù)分成10份，用其中的9份做訓(xùn)練集，剩余的1份做測試集。這一過程對每一份數(shù)據(jù)都重復(fù)進(jìn)行一次，得到10個不同的準(zhǔn)確率，最后的錯誤率為上面10個準(zhǔn)確率的均值。20:2072主要內(nèi)容分類的基本概念與步驟基于距離的分類算法決策樹分類方法貝葉斯分類實(shí)值預(yù)測與分類有關(guān)的問題BayesianClassification是一種基于統(tǒng)計的分類方法，用來預(yù)測諸如某個樣本屬于某個分類的概率有多大基于Bayes理論研究發(fā)現(xiàn)，Na?veBayesClassifier在性能上和DecisionTree、NeuralNetworkclassifiers相當(dāng)。在應(yīng)用于大數(shù)據(jù)集時，具有較高的準(zhǔn)確率和速度Na?veBayesClassifier假設(shè)屬性值之間是獨(dú)立的，因此可以簡化很多計算，故稱之為Na?ve。當(dāng)屬性值之間有依賴關(guān)系時，采用BayesianBeliefNetworks進(jìn)行分類。BayesianTheorem:Basics假設(shè)X是未知分類標(biāo)號的樣本數(shù)據(jù)H代表某種假設(shè)，例如X屬于分類C

P(H|X):給定樣本數(shù)據(jù)X，假設(shè)H成立的概率例如，假設(shè)樣本數(shù)據(jù)由各種水果組成，每種水果都可以用形狀和顏色來描述。如果用X代表紅色并且是圓的，H代表X屬于蘋果這個假設(shè)，則P(H|X)表示，已知X是紅色并且是圓的，則X是蘋果的概率。BayesianTheorem:BasicsP(H):拿出任一個水果，不管它什么顏色，也不管它什么形狀，它屬于蘋果的概率P(X):拿出任一個水果，不管它是什么水果，它是紅色并且是圓的概率P(X|H):一個水果，已知它是一個蘋果，則它是紅色并且是圓的概率。BayesianTheorem:Basics現(xiàn)在的問題是，知道數(shù)據(jù)集里每個水果的顏色和形狀，看它屬于什么水果，求出屬于每種水果的概率，選其中概率最大的。也就是要算：P(H|X)但事實(shí)上，其他三個概率，P(H)、P(X)、P(X|H)都可以由已知數(shù)據(jù)得出，而P(H|X)無法從已知數(shù)據(jù)得出Bayes理論可以幫助我們：Na?veBayesClassifier每個數(shù)據(jù)樣本用一個n維特征向量表示，描述由屬性對樣本的n個度量。假定有m個類。給定一個未知的數(shù)據(jù)樣本X（即，沒有類標(biāo)號），分類法將預(yù)測X屬于具有最高后驗(yàn)概率（條件X下）的類。即，樸素貝葉斯分類將未知的樣本分配給類Ci，當(dāng)且僅當(dāng)：這樣，我們最大化。其最大的類Ci稱為最大后驗(yàn)假定。根據(jù)貝葉斯定理:

Na?veBayesClassifier由于P(X)對于所有類為常數(shù)，只需要最大即可。如果類的先驗(yàn)概率未知，則通常假定這些類是等概率的；即并據(jù)此只對最大化。否則，我們最大化。類的先驗(yàn)概率可以用計算；其中，si是類C中的訓(xùn)練樣本數(shù)，而s是訓(xùn)練樣本總數(shù)。Na?veBayesClassifier給定具有許多屬性的數(shù)據(jù)集，計算的開銷可能非常大。為降低計算的開銷，可以樸素地假設(shè)屬性間不存在依賴關(guān)系。這樣，

概率,,…,可以由訓(xùn)練樣本估計，其中，(a)

如果Ak是分類屬性，則；其中sik是在屬性Ak上具有值xk的類Ci的訓(xùn)練樣本數(shù)，而si是Ci中的訓(xùn)練樣本數(shù)(b)

如果是連續(xù)值屬性，則通常假定該屬性服從高斯分布。因而，

其中，給定類Ci的訓(xùn)練樣本屬性Ak的值，是屬性Ak的高斯密度函數(shù)，而分別為平均值和標(biāo)準(zhǔn)差。Na?veBayesClassifier為對未知樣本X分類，對每個類Ci，計算。樣本X被指派到類Ci，當(dāng)且僅當(dāng)：

換言之，X被指派到其最大的類Ci。TrainingdatasetClass:puter=‘yes’puter=‘no’DatasampleX=(age<=30,e=medium,Student=yesCredit_rating=Fair)Na?veBayesianClassifier:AnExampleComputeP(X|Ci)foreachclass

P(puter=“yes”)=9/14=0.643 P(puter=“no”)=5/14=0.357

P(age=“<30”|puter=“yes”)=2/9=0.222P(age=“<30”|puter=“no”)=3/5=0.6P(e=“medium”|puter=“yes”)=4/9=0.444P(e=“medium”|puter=“no”)=2/5=0.4P(student=“yes”|puter=“yes)=6/9=0.667P(student=“yes”|puter=“no”)=1/5=0.2P(credit_rating=“fair”|puter=“yes”)=6/9=0.667P(credit_rating=“fair”|puter=“no”)=2/5=0.4X=(age<=30,e=medium,student=yes,credit_rating=fair)P(X|Ci):P(X|puter=“yes”)=0.222x0.444x0.667x0.667=0.044P(X|puter=“no”)=0.6x0.4x0.2x0.4=0.019P(X|Ci)*P(Ci):P(X|puter=“yes”)*P(puter=“yes”)=0.044x0.643=0.028 P(X|puter=“no”)*P(puter=“no”)=0.019x0.357=0.007Therefore,Xbelongstoclass“puter=yes” Na?veBayesianClassifier:Comments優(yōu)點(diǎn)易于實(shí)現(xiàn)多數(shù)情況下結(jié)果較滿意缺點(diǎn)假設(shè):屬性間獨(dú)立,丟失準(zhǔn)確性實(shí)際上,屬性間存在依賴處理依賴BayesianBeliefNetworks20:2084主要內(nèi)容分類的基本概念與步驟基于距離的分類算法決策樹分類方法貝葉斯分類神經(jīng)網(wǎng)絡(luò)與分類有關(guān)的問題神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是以模擬人腦神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)而建立的，它由一系列神經(jīng)元組成，單元之間彼此連接。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)有三個要素：拓?fù)浣Y(jié)構(gòu)、連接方式、學(xué)習(xí)規(guī)則可以從這三方面對神經(jīng)網(wǎng)絡(luò)進(jìn)行分類神經(jīng)網(wǎng)絡(luò)的拓?fù)渖窠?jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：神經(jīng)網(wǎng)絡(luò)的單元通常按照層次排列，根據(jù)網(wǎng)絡(luò)的層次數(shù)，可以將神經(jīng)網(wǎng)絡(luò)分為單層神經(jīng)網(wǎng)絡(luò)、兩層神經(jīng)網(wǎng)絡(luò)、三層神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)簡單的神經(jīng)網(wǎng)絡(luò)，在學(xué)習(xí)時收斂的速度快，但準(zhǔn)確度低。神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層的單元數(shù)由問題的復(fù)雜程度而定。問題越復(fù)雜，神經(jīng)網(wǎng)絡(luò)的層數(shù)就越多。例如，兩層神經(jīng)網(wǎng)絡(luò)常用來解決線性問題，而多層網(wǎng)絡(luò)就可以解決多元非線性問題神經(jīng)網(wǎng)絡(luò)的連接神經(jīng)網(wǎng)絡(luò)的連接：包括層次之間的連接和每一層內(nèi)部的連接，連接的強(qiáng)度用權(quán)來表示。根據(jù)層次之間的連接方式，分為：前饋式網(wǎng)絡(luò)：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網(wǎng)絡(luò)反饋式網(wǎng)絡(luò)：除了單項(xiàng)的連接外，還把最后一層單元的輸出作為第一層單元的輸入，如Hopfield網(wǎng)絡(luò)根據(jù)連接的范圍，分為：全連接神經(jīng)網(wǎng)絡(luò)：每個單元和相鄰層上的所有單元相連局部連接網(wǎng)絡(luò)：每個單元只和相鄰層上的部分單元相連神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)根據(jù)學(xué)習(xí)方法分：感知器：有監(jiān)督的學(xué)習(xí)方法，訓(xùn)練樣本的類別是已知的，并在學(xué)習(xí)的過程中指導(dǎo)模型的訓(xùn)練認(rèn)知器：無監(jiān)督的學(xué)習(xí)方法，訓(xùn)練樣本類別未知，各單元通過競爭學(xué)習(xí)。根據(jù)學(xué)習(xí)時間分：離線網(wǎng)絡(luò)：學(xué)習(xí)過程和使用過程是獨(dú)立的在線網(wǎng)絡(luò)：學(xué)習(xí)過程和使用過程是同時進(jìn)行的根據(jù)學(xué)習(xí)規(guī)則分：相關(guān)學(xué)習(xí)網(wǎng)絡(luò)：根據(jù)連接間的激活水平改變權(quán)系數(shù)糾錯學(xué)習(xí)網(wǎng)絡(luò)：根據(jù)輸出單元的外部反饋改變權(quán)系數(shù)自組織學(xué)習(xí)網(wǎng)絡(luò)：對輸入進(jìn)行自適應(yīng)地學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的分類方法神經(jīng)網(wǎng)絡(luò)經(jīng)常用于分類神經(jīng)網(wǎng)絡(luò)的分類知識體現(xiàn)在網(wǎng)絡(luò)連接上，被隱式地存儲在連接的權(quán)值中。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是通過迭代算法，對權(quán)值逐步修改的優(yōu)化過程，學(xué)習(xí)的目標(biāo)就是通過改變權(quán)值使訓(xùn)練集的樣本都能被正確分類?；谏窠?jīng)網(wǎng)絡(luò)的分類方法神經(jīng)網(wǎng)絡(luò)特別適用于下列情況的分類問題：數(shù)據(jù)量比較小，缺少足夠的樣本建立模型數(shù)據(jù)的結(jié)構(gòu)難以用傳統(tǒng)的統(tǒng)計方法來描述分類模型難以表示為傳統(tǒng)的統(tǒng)計模型基于神經(jīng)網(wǎng)絡(luò)的分類方法缺點(diǎn)：需要很長的訓(xùn)練時間，因而對于有足夠長訓(xùn)練時間的應(yīng)用更合適。需要大量的參數(shù)，這些通常主要靠經(jīng)驗(yàn)確定，如網(wǎng)絡(luò)拓?fù)??？山忉屝圆睢Ｔ撎攸c(diǎn)使得神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘的初期并不看好。

基于神經(jīng)網(wǎng)絡(luò)的分類方法優(yōu)點(diǎn)：分類的準(zhǔn)確度高并行分布處理能力強(qiáng)分布存儲及學(xué)習(xí)能力高對噪音數(shù)據(jù)有很強(qiáng)的魯棒性和容錯能力最流行的基于神經(jīng)網(wǎng)絡(luò)的分類算法是80年代提出的后向傳播算法。

后向傳播算法后向傳播算法在多路前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí)。

定義網(wǎng)絡(luò)拓?fù)?/p>

在開始訓(xùn)練之前，用戶必須說明輸入層的單元數(shù)、隱藏層數(shù)（如果多于一層）、每一隱藏層的單元數(shù)和輸出層的單元數(shù)，以確定網(wǎng)絡(luò)拓?fù)洹?/p>

定義網(wǎng)絡(luò)拓?fù)?/p>

對訓(xùn)練樣本中每個屬性的值進(jìn)行規(guī)格化將有助于加快學(xué)習(xí)過程。通常，對輸入值規(guī)格化，使得它們落入0.0和1.0之間。離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域?yàn)?a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0,I1,I2作為輸入單元。每個單元初始化為0。如果A=a0，則I0置為1；如果A=a1，I1置1；如此下去。一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多于兩個類，則每個類使用一個輸出單元。定義網(wǎng)絡(luò)拓?fù)潆[藏層單元數(shù)設(shè)多少個“最好”，沒有明確的規(guī)則。網(wǎng)絡(luò)設(shè)計是一個實(shí)驗(yàn)過程，并可能影響準(zhǔn)確性。權(quán)的初值也可能影響準(zhǔn)確性。如果某個經(jīng)過訓(xùn)練的網(wǎng)絡(luò)的準(zhǔn)確率太低，則通常需要采用不同的網(wǎng)絡(luò)拓?fù)浠蚴褂貌煌某跏紮?quán)值，重復(fù)進(jìn)行訓(xùn)練。

后向傳播算法后向傳播算法學(xué)習(xí)過程：迭代地處理一組訓(xùn)練樣本，將每個樣本的網(wǎng)絡(luò)預(yù)測與實(shí)際的類標(biāo)號比較。每次迭代后，修改權(quán)值，使得網(wǎng)絡(luò)預(yù)測和實(shí)際類之間的均方差最小。這種修改“后向”進(jìn)行。即，由輸出層，經(jīng)由每個隱藏層，到第一個隱藏層（因此稱作后向傳播）。盡管不能保證，一般地，權(quán)將最終收斂，學(xué)習(xí)過程停止。

算法終止條件：訓(xùn)練集中被正確分類的樣本達(dá)到一定的比例，或者權(quán)系數(shù)趨近穩(wěn)定。后向傳播算法后向傳播算法分為如下幾步：初始化權(quán)向前傳播輸入向后傳播誤差后向傳播算法初始化權(quán)網(wǎng)絡(luò)的權(quán)通常被初始化為很小的隨機(jī)數(shù)（例如，范圍從-1.0到1.0，或從-0.5到0.5）。每個單元都設(shè)有一個偏置（bias），偏置也被初始化為小隨機(jī)數(shù)。

對于每一個樣本X，重復(fù)下面兩步：向前傳播輸入向后傳播誤差向前傳播輸入計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對于單元j，Oj

=Ij=Xj隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對于單元j，Ij=∑wijOi+θj

i輸出=向后傳播誤差計算各層每個單元的誤差。向后傳播誤差，并更新權(quán)和偏置計算各層每個單元的誤差。輸出層單元j，誤差

Oj是單元j的實(shí)際輸出，而Tj是j的真正輸出。隱藏層單元j，誤差

wjk是由j到下一層中單元k的連接的權(quán)Errk是單元k的誤差向后傳播誤差更新權(quán)和偏差，以反映傳播的誤差。 權(quán)由下式更新： 其中，wij是權(quán)wij的改變。l是學(xué)習(xí)率，通常取0和1之間的值。 偏置由下式更新： 其中，j是偏置j的改變。

后向傳播算法OutputnodesInputnodesHiddennodesOutputvectorInputvector:xiwijExample設(shè)學(xué)習(xí)率為0.9。訓(xùn)練樣本X={1,0,1}類標(biāo)號為1x1x2x3w14w15w24w25W34w35w46w564561010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1單元j凈輸入Ij輸出Oj4560.2+0-0.5-0.4=-0.7-0.3+0+0.2+0.2=0.1(-0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051+(1+e0.7)=0.3321+(1+e-0.1)=0.5251+(1+e-0.105)=0.474單元jErrj654(0.474)(1-0.474)(1-0.474)=0.1311(0.525)(1-0.525)(0.1311)(-0.2)=-0.0065(0.332)(1-0.332)(0.1311)(-0.3)=-0.02087權(quán)或偏差新值w46w56w14w15w24w25w34w35654-0.3+(0.9)(0.1311)(0.332)=-0.261-0.2+(0.9)(0.1311)(0.525)=-0.1380.2+(0.9)(-0.0087)(1)=0.192-0.3+(0.9)(0.0065)(1)=-0.3060.4+(0.9)(-0.0087)(0)=0.40.1+(0.9)(-0.0065)(0)=0.1-0.5+(0.9)(-0.0087)(1)=-0.5080.2+(0.9)(-0.0065)(1)=0.1940.1+(0.9)(0.1311)=0.2180.2+(0.9)(-0.0065)=0.194-0.4+(0.9)(-0.0087)=-0.408后向傳播是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法；神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元，每個連接都與一個權(quán)相連。在學(xué)習(xí)階段，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)，使得能夠預(yù)測輸入樣本的正確標(biāo)號來學(xué)習(xí)。優(yōu)點(diǎn)預(yù)測精度總的來說較高健壯性好，訓(xùn)練樣本中包含錯誤時也可正常工作輸出可能是離散值、連續(xù)值或者是離散或量化屬性的向量值對目標(biāo)進(jìn)行分類較快缺點(diǎn)訓(xùn)練（學(xué)習(xí)）時間長蘊(yùn)涵在學(xué)習(xí)的權(quán)中的符號含義很難理解很難根專業(yè)領(lǐng)域知識相整合后向傳播分類其它常用分類算法貝葉斯分類神經(jīng)網(wǎng)絡(luò)模擬退火算法遺傳算法粗糙集方法模糊集方法基于案例的推理分類K-最臨近分類優(yōu)化算法幾種最有算法介紹：爬山法－貪婪算法模擬退火算法遺傳算法2023/6/110820:20109主要內(nèi)容分類的基本概念與步驟基于距離的分類算法決策樹分類方法貝葉斯分類神經(jīng)網(wǎng)絡(luò)支持矢量機(jī)預(yù)測SVM:一個簡單的例子哪個分類更優(yōu)?B1orB2?怎樣定義更優(yōu)?SVM的簡介適用于線性和非線性可分?jǐn)?shù)據(jù)的新分類方法通過非線性映射，將原始訓(xùn)練數(shù)據(jù)變換到更高維空間在新的維度下,搜索線性可分的超平面(i.e.,“決策邊界”)通過合適的高維映射,來自兩類的數(shù)據(jù)總可被超平面分開SVM以支持向量搜索超平面(“基本”訓(xùn)練元組)和邊緣(由支持向量定義)SVM的基本思想支持向量小邊緣大邊緣邊緣和支持向量SVM-線性可分情況m令D為數(shù)據(jù)集(X1,y1),…,(X|D|,y|D|),此處Xi

為和類標(biāo)號yi相關(guān)聯(lián)的訓(xùn)練元組存在無數(shù)條線(超平面)分開兩類，但我們期望找出最佳的分類(對未見數(shù)據(jù)具有最小的分類誤差)SVM搜索最大的邊緣,i.e.,maximummarginalhyperplane(MMH)SVM-線性可分SVM-線性可分目標(biāo)是最大化:等價于最小化:滿足以下約束:

約束的二次優(yōu)化問題數(shù)值方法求