機器學習課件

1機器學習學習是人類獲取知識的重要途徑和自然智能的重要標志，機器學習則是機器獲取知識的重要途徑和人工智能的重要標志。1機器學習學習是人類獲取知識的重要途徑和自然智能的重要標志，什么是機器學習是尋找一種對自然/人工主題、現(xiàn)象或活動可預測且/或可執(zhí)行的機器理解方法2什么是機器學習是尋找一種對自然/人工主題、現(xiàn)象或活動可預測且什么是機器學習研究計算機怎樣模擬或?qū)崿F(xiàn)人類（動物）的學習行為，以獲取新的知識或技能重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能是人工智能的核心，是使計算機具有智能的根本途徑其應用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹3什么是機器學習研究計算機怎樣模擬或?qū)崿F(xiàn)人類（動物）的學習行為機器學習的一個形象描述4機器學習的一個形象描述4機器學習的一般泛型監(jiān)督學習必須預先知道學習的期望結(jié)果，并依此按照某一學習規(guī)則來修正權(quán)值。知道輸入數(shù)據(jù)，知道結(jié)果，用函數(shù)預測個例無監(jiān)督學習，不知道結(jié)果，根據(jù)數(shù)據(jù)特征分類半監(jiān)督學習是監(jiān)督學習與無監(jiān)督學習相結(jié)合的一種學習方法。它主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。輸入數(shù)據(jù)不可靠，依據(jù)權(quán)重的調(diào)整進行訓練。強化學習利用某一表示“獎／懲”的全局信號，衡量與強化輸入相關(guān)的局部決策如何。(輸入\輸出之間沒有固定的函數(shù))5機器學習的一般泛型監(jiān)督學習5監(jiān)督學習決策樹（簡單問題）人工神經(jīng)網(wǎng)絡（大量樣本）支持向量機（小樣本）監(jiān)督學習決策樹（簡單問題）6決策樹學習決策樹學習7

決策樹學習

1．什么是決策樹決策樹(decisiontree)也稱判定樹，它是由對象的若干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點為屬性（一般為語言變量），分枝為相應的屬性值（一般為語言值）。從同一節(jié)點出發(fā)的各個分枝之間是邏輯“或”關(guān)系；根節(jié)點為對象的某一個屬性；從根節(jié)點到每一個葉子節(jié)點的所有節(jié)點和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個“屬性-值”對之間是邏輯“與”關(guān)系，葉子節(jié)點為這個與關(guān)系的對應結(jié)果，即決策。例如圖1就是一棵決策樹。其中，A,B,C代表屬性，ai,bj,ck代表屬性值，dl代表對應的決策。處于同一層的屬性（如圖中的B,C）可能相同，也可能不相同，所有葉子節(jié)點（如圖中的dl，l=1,2,…,6）所表示的決策中也可能有相同者。決策樹學習8由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分枝路徑上的諸“屬性-值”對和對應葉子節(jié)點的決策，剛好就構(gòu)成一個產(chǎn)生式規(guī)則：諸“屬性-值”對的合取構(gòu)成規(guī)則的前提，葉子節(jié)點的決策就是規(guī)則的結(jié)論。例如，圖1中從根節(jié)點A到葉子節(jié)點d2的這一條分枝路徑就構(gòu)成規(guī)則：(A=a1)∧(B=b2)

=>

d2而不同分枝路徑所表示的規(guī)則之間為析取關(guān)系。

由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分9圖1決策樹示意圖

圖1決策樹示意圖10圖

2飛機起飛的簡單決策樹

圖2飛機起飛的簡單決策樹11例1

圖3所示是一個描述“兔子”概念的決策樹。

圖

3“兔子”概念的決策樹

例1圖3所示是一個描述“兔子”概念的決策樹。圖3“12

2.怎樣學習決策樹

決策樹是一種知識表示形式,構(gòu)造決策樹可以由人來完成,但也可以由機器從一些實例中總結(jié)、歸納出來,即由機器學習而得。機器學習決策樹也就是所說的決策樹學習。決策樹學習是一種歸納學習。由于一棵決策樹就表示了一組產(chǎn)生式規(guī)則,因此決策樹學習也是一種規(guī)則學習。特別地,當規(guī)則是某概念的判定規(guī)則時,這種決策樹學習也就是一種概念學習。2.怎樣學習決策樹13

決策樹學習的基本方法和步驟是:

首先,選取一個屬性,按這個屬性的不同取值對實例集進行分類;并以該屬性作為根節(jié)點,以這個屬性的諸取值作為根節(jié)點的分枝,進行畫樹。然后,考察所得的每一個子類,看其中的實例的結(jié)論是否完全相同。如果完全相同,則以這個相同的結(jié)論作為相應分枝路徑末端的葉子節(jié)點;否則,選取一個非父節(jié)點的屬性,按這個屬性的不同取值對該子集進行分類,并以該屬性作為節(jié)點,以這個屬性的諸取值作為節(jié)點的分枝,繼續(xù)進行畫樹。如此繼續(xù),直到所分的子集全都滿足:實例結(jié)論完全相同,而得到所有的葉子節(jié)點為止。這樣,一棵決策樹就被生成。下面我們進一步舉例說明。決策樹學習的基本方法和步驟是:14表1汽車駕駛保險類別劃分實例集

表1汽車駕駛保險類別劃分實例集15可以看出,該實例集中共有12個實例,實例中的性別、年齡段和婚狀為3個屬性,保險類別就是相應的決策項。為表述方便起見,我們將這個實例集簡記為S={(1,C),(2,C),(3,C),(4,B),(5,A),(6,A),(7,C),(8,B),(9,A),

(10,A),(11,B),(12,B)}其中每個元組表示一個實例,前面的數(shù)字為實例序號,后面的字母為實例的決策項保險類別(下同)。另外,為了簡潔,在下面的決策樹中我們用“小”、“中”、“大”分別代表“＜21”、“≥21且≤25”、“＞25”這三個年齡段。可以看出,該實例集中共有12個實例,實例中的性別、年齡段和婚16顯然,S中各實例的保險類別取值不完全一樣,所以需要將S分類。對于S,我們按屬性“性別”的不同取值將其分類。由表1可見,這時S應被分類為兩個子集:S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S2={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}于是,我們得到以性別作為根節(jié)點的部分決策樹(見圖4(a))。顯然,S中各實例的保險類別取值不完全一樣,所以需要將S分17

考察S1和S2，可以看出，在這兩個子集中，各實例的保險類別也不完全相同。這就是說，還需要對S1和S2進行分類。對于子集S1，我們按“年齡段”將其分類；同樣，對于子集S2，也按“年齡段”對其進行分類（注意：對于子集S2，也可按屬性“婚狀”分類）。分別得到子集S11,S12,S13和S21,S22,S23。于是，我們進一步得到含有兩層節(jié)點的部分決策樹（如圖4(b)所示）?？疾霺1和S2，可以看出，在這兩個子集中，各實例的保險類18

注意到，這時除了S12和S13外，其余子集中各實例的保險類別已完全相同。所以，不需再對其進行分類，而每一個子集中那個相同的保險類別值就可作為相應分枝的葉子節(jié)點。添上這些葉子節(jié)點，我們又進一步得到發(fā)展了的部分決策樹（如圖4(c)所示）。

接著對S12和S13，按屬性“婚狀”進行分類（也只能按“婚狀”進行分類）。由于所得子集S121,S121和S131,S132中再都只含有一個實例，因此無需對它們再進行分類。這時這4個子集中各自唯一的保險類別值也就是相應分枝的葉子節(jié)點。添上這兩個葉子節(jié)點，就得到如圖4(d)所示的決策樹。注意到，這時除了S12和S13外，其余子集中各實例的保險類19圖4

決策樹生成過程

圖4決策樹生成過程20圖4

決策樹生成過程

圖4決策樹生成過程21圖4

決策樹生成過程

圖4決策樹生成過程22圖4

決策樹生成過程

圖4決策樹生成過程23由這個決策樹即得下面的規(guī)則集:①女性且年齡在25歲以上,則給予A類保險.②女性且年齡在21歲到25歲之間,則給予A類保險。③女性且年齡在21歲以下,則給予C類保險。④男性且年齡在25歲以上,則給予B類保險。⑤男性且年齡在21歲到25歲之間且未婚,則給予C類保險。⑥男性且年齡在21歲到25歲之間且已婚,則給予B類保險。⑦男性且年齡在21歲以下且未婚,則給予C類保險。⑧男性且年齡在21歲以下且已婚,則給予B類保險。

由這個決策樹即得下面的規(guī)則集:24人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡25人工神經(jīng)網(wǎng)絡1生物神經(jīng)元及人工神經(jīng)元的組成2人工神經(jīng)網(wǎng)絡的模型

2.1人工神經(jīng)元的模型

2.2常用的激活轉(zhuǎn)移函數(shù)

2.3MP模型神經(jīng)元人工神經(jīng)網(wǎng)絡1生物神經(jīng)元及人工神經(jīng)元的組成261、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括三個主要部分：細胞體、樹突和軸突，見圖5（a）。

(a)簡單神經(jīng)元網(wǎng)絡圖

(b)簡化后的網(wǎng)絡示意圖

(1)細胞體；(2)樹突；(3)軸突；(4)突觸圖5簡單神經(jīng)元網(wǎng)絡及其簡化結(jié)構(gòu)圖1、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細胞，它是生物27目前多數(shù)人工神經(jīng)網(wǎng)絡的構(gòu)造大體上都采用如下的一些原則：

由一定數(shù)量的基本神經(jīng)元分層聯(lián)接；

每個神經(jīng)元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單；

網(wǎng)絡的學習和知識存儲體現(xiàn)在各神經(jīng)元之間的聯(lián)接強度上。目前多數(shù)人工神經(jīng)網(wǎng)絡的構(gòu)造大體上都采用如下的一些原則：由28

2、人工神經(jīng)網(wǎng)絡的模型

2.1人工神經(jīng)元的模型

神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內(nèi)部因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差，有時也稱為閾值或門限值。2、人工神經(jīng)網(wǎng)絡的模型2.1人工神經(jīng)元的模型29

神經(jīng)元的輸出矢量可以表示為：

A=f(W*P+b)=f(∑wjpj+b)

可以看出偏差被簡單地加在W*P上作為激活函數(shù)的另一個輸入分量。實際上偏差也是一個權(quán)值，只是它具有固定常數(shù)為1的權(quán)值。在網(wǎng)絡的設計中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動，從而增加了解決問題的可能性。人工神經(jīng)網(wǎng)絡的學習就是過程就是對它的訓練過程神經(jīng)元的輸出矢量可以表示為：人工神經(jīng)網(wǎng)絡的學習302.2激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activationtransferfunction）簡稱激活函數(shù)，它是一個神經(jīng)元及神經(jīng)網(wǎng)絡的核心之一。神經(jīng)網(wǎng)絡解決問題的能力與功效除了與網(wǎng)絡結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡激活函數(shù)。線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)、S形函數(shù)2.2激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activatio31人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運算來實現(xiàn)的。基于對人類生物系統(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)元之間通過互連形成的網(wǎng)絡稱為人工神經(jīng)網(wǎng)絡。在人工神經(jīng)網(wǎng)絡中，神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡的互連結(jié)構(gòu)，同時也決定了神經(jīng)網(wǎng)絡的信號處理方式。人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類32人工神經(jīng)網(wǎng)絡的分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類方法也有多種。例如，若按網(wǎng)絡拓撲結(jié)構(gòu)，可分為無反饋網(wǎng)絡與有反饋網(wǎng)絡；若按網(wǎng)絡的學習方法，可分為有導師學習網(wǎng)絡和無導師學習網(wǎng)絡；若按網(wǎng)絡的性能，可分為連續(xù)型網(wǎng)絡與離散型網(wǎng)絡，或分為確定性網(wǎng)絡與隨機型網(wǎng)絡；若按突觸連接的性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡與高階非線性關(guān)聯(lián)網(wǎng)絡。人工神經(jīng)網(wǎng)絡的分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有33無導師學習：

當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。

它學習的是神經(jīng)元之間的連接強度。有導師學習：

輸入向量與其輸出向量構(gòu)成一個訓練對，不斷調(diào)整權(quán)值，使輸入與輸出向量在一個誤差范圍內(nèi)。無導師學習：34人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡是一個新興學科，因此還存在許多問題。其主要表現(xiàn)有：受到腦科學研究的限制：由于生理實驗的困難性，因此目前人類對思維和記憶機制的認識還很膚淺，還有很多問題需要解決；還沒有完整成熟的理論體系；還帶有濃厚的策略和經(jīng)驗色彩；與傳統(tǒng)技術(shù)的接口不成熟。上述問題的存在，制約了人工神經(jīng)網(wǎng)絡研究的發(fā)展。人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡是一個新興學科，因此還存在許352.3MP神經(jīng)元模型

MP神經(jīng)元模型是由美國心理學家McClloch和數(shù)學家Pitts共同提出的，因此，常稱為MP模型。MP神經(jīng)元模型是典型的閾值型神經(jīng)元，見圖7，它相當于一個多輸入單輸出的閾值器件。．．．w1w2wrp1p2pr∑b

圖7MP模型神經(jīng)元2.3MP神經(jīng)元模型MP神經(jīng)元模型是由美國心36

如圖7所示，假定p1，p2，…，pn表示神經(jīng)元的n個輸入；wi表示神經(jīng)元的突觸連接強度，其值稱為權(quán)值；n表示神經(jīng)元的輸入總和，f(n)即為激活函數(shù)；a表示神經(jīng)元的輸出，b表示神經(jīng)元的閾值，那么MP模型神經(jīng)元的輸出可描述為(1)式所示：．．．w1w2wrp1p2pr∑b圖7MP模型神經(jīng)元(1)

如圖7所示，假定p1，p2，…，pn表示神經(jīng)元的n個輸入37MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果n

＞0，即神經(jīng)元輸入加權(quán)總和超過某個閾值，那么該神經(jīng)元興奮，狀態(tài)為1；如果n≤0，那么該神經(jīng)元受到抑制，狀態(tài)為0。通常，將這個規(guī)定稱為MP模型神經(jīng)元的點火規(guī)則。用一數(shù)學表達式表示為：對于MP模型神經(jīng)元，權(quán)值w在（－1，＋1）區(qū)間連續(xù)取值。取負值表示抑制兩神經(jīng)元間的連接強度，正值表示加強。(2)MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代38MP模型神經(jīng)元具有什么特性？

能完成什么功能？為了回答這個問題，我們以簡單的邏輯代數(shù)運算為例來說明。

MP模型神經(jīng)元具有什么特性？

能完成什么功能？為了回答這個問39例1假設一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標輸出記為t，試問它能否完成下列真值表功能？解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必須滿足如下不等式組：

若取b值為0.5,W1和W2取0.7。可以驗證用這組權(quán)值和閾值構(gòu)成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運算。(1)(2)(3)(4)不等式組真值表p1p2t

111101011

0

0

0例1假設一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標輸40如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定的幾何意義，所有輸入樣本構(gòu)成樣本輸入空間。對于任意特定W和P的值都規(guī)定了一個超平面（決策平面），其方程為：它把超平面Rn（X∈Rn）分成了兩部分：WX-b<0部分和WX-b≥0部分。如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定413、人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)與學習

3.1人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)

如果將大量功能簡單的形式神經(jīng)元通過一定的拓撲結(jié)構(gòu)組織起來，構(gòu)成群體并行分布式處理的計算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡，統(tǒng)稱為神經(jīng)網(wǎng)絡。3、人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)與學習3.1人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)42根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡結(jié)構(gòu)分為兩大類：

分層網(wǎng)絡相互連接型網(wǎng)絡根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡結(jié)構(gòu)分為431、分層結(jié)構(gòu)分層網(wǎng)絡將一個神經(jīng)網(wǎng)絡模型中的所有神經(jīng)元按功能分成若干層，一般有輸入層、隱層（又稱中間層）和輸出層各層順序連接，如圖所示。

輸出層

中間層

輸入層輸入輸出分層網(wǎng)絡的功能層次1、分層結(jié)構(gòu)分層網(wǎng)絡將一個神經(jīng)網(wǎng)絡模型中的所有神經(jīng)元按功44簡單的前向網(wǎng)絡具有反饋的前向網(wǎng)絡層內(nèi)有相互連接的前向網(wǎng)絡分層網(wǎng)絡可以細分為三種互連形式：簡單的前向網(wǎng)絡分層網(wǎng)絡可以細分為三種互連形式：45圖（a）簡單的前向網(wǎng)絡形狀；圖（b）輸出層到輸入層具有反饋的前向網(wǎng)絡；圖（c）層內(nèi)有相互連接的前向網(wǎng)絡。圖（a）簡單的前向網(wǎng)絡形狀；46

所謂相互連接型網(wǎng)絡是指網(wǎng)絡中任意兩個神經(jīng)元之間是可達的，即存在連接路徑，如圖7.8（d）所示。2、相互連接型結(jié)構(gòu)所謂相互連接型網(wǎng)絡是指網(wǎng)絡中任意兩個神經(jīng)元之間是可達47權(quán)值修正學派認為：神經(jīng)網(wǎng)絡的學習過程就是不斷調(diào)整網(wǎng)絡的連接權(quán)，以獲得期望的輸出的過程。3.2人工神經(jīng)網(wǎng)絡的學習權(quán)值修正學派認為：神經(jīng)網(wǎng)絡的學習過程就是不斷調(diào)整網(wǎng)絡的48

相關(guān)學習法誤差修正學習法

典型的權(quán)值修正方法有兩類：相關(guān)學習法典型的權(quán)值修正方法有兩類：49

式中，wji(t+1)表示修正一次后的某一權(quán)值；η稱為學習因子，決定每次權(quán)值的修正量，xi（t）、xj（t）分別表示t時刻第i、第j個神經(jīng)元的狀態(tài)。如果神經(jīng)網(wǎng)絡中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元間的連接強度應該加強。相關(guān)學習法是根據(jù)連接間的激活水平改變權(quán)值的，相關(guān)學習法也稱Hebb學習規(guī)則，可用一數(shù)學表達式表示為：相關(guān)學習法式中，wji(t+1)表示修正一次后的某一權(quán)值50

根據(jù)期望輸出與實際輸出之間的誤差大小來修正權(quán)值。誤差修正學習法也稱δ學習規(guī)則，可由如下四步來描述；

誤差修正學習法選擇一組初始權(quán)值和偏差值；計算某一輸入模式對應的實際輸出與期望輸出的誤差更新權(quán)值（偏差值可視為輸入恒為-1的一個權(quán)值）返回步驟（2），直到對所有訓練模式，網(wǎng)絡輸出均能滿足要求。式中，η為學習因子；yje(t)、yj(t)

分別表示第j個神經(jīng)元的期望輸出與實際輸出；xi為第i個神經(jīng)元的輸入；根據(jù)期望輸出與實際輸出之間的誤差大小來修正權(quán)值。誤差修正學51一些著名的神經(jīng)網(wǎng)絡模型一些著名的神經(jīng)網(wǎng)絡模型52SVM（支持向量機，SupportVectorMachine）小樣本

根據(jù)統(tǒng)計學習理論，學習機器的實際風險由經(jīng)驗風險值和置信范圍值兩部分組成。而基于經(jīng)驗風險最小化準則的學習方法只強調(diào)了訓練樣本的經(jīng)驗風險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik提出的支持向量機（SupportVectorMachine,SVM）以訓練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標，即SVM是一種基于結(jié)構(gòu)風險最小化準則的學習方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學習方法。形成時期在1992—1995年。

SVM（支持向量機，SupportVectorMachi5354支持向量

54支持向量

判別函數(shù):是特征空間中某點x到超平面的距離的一種代數(shù)度量支持向量圖解判別函數(shù)的形式

判別函數(shù)的作用

根據(jù)判別函數(shù)的值進行分類，并且函數(shù)值只與1和-1進行比較支持向量的條件判別函數(shù):是特征空間中某點x到超平面的距離支持向量圖解判別函55向量與超平面的關(guān)系向量與超平面的關(guān)系56總之：

線性判別函數(shù)利用一個超平面把特征空間分隔成兩個區(qū)域。

超平面的方向由法向量w確定，它的位置由閾值確定。

判別函數(shù)g(x)正比于x點到超平面的代數(shù)距離（帶正負號）。當x點在超平面的正側(cè)時，g(x)>0；當x點在超平面的負側(cè)時，g(x)<0

總之：

線性判別函數(shù)利用一個超平面把特征空間分隔成兩57支持向量機的應用現(xiàn)狀VM人臉檢測、驗證和識別Osuna最早將SVM應用于人臉檢測，并取得了較好的效果。其方法是直接訓練非線性分類器完成人臉與非人臉的SVM分類。由于SVM的訓練需要大量的存儲空間，并且非線性SVM分類器需要較多的支持向量，速度很慢。所以在實際中廣泛實用層次結(jié)構(gòu)分類器，它由一個線性組合和一個非線性組成。檢測時，由前者快速排除掉圖像SVM中絕大部分背景窗口，而后者只需對少量的候選區(qū)域做出確認。人臉檢測研究中更復雜的情況是姿態(tài)的變化?；谥С窒蛄繖C姿態(tài)分類器，分類錯誤率降低到1.67%，明顯優(yōu)于在傳統(tǒng)方法中效果最好的人工神經(jīng)元網(wǎng)絡方法。人臉姿態(tài)可以劃分為多個類別，在訓練過程中，面部特征的提取和識別可看作是對3D物體的投影圖像進行匹配的問題。很多研究利用了SVM利于處理小樣本問題以及泛化能力強的優(yōu)勢，取得了比傳統(tǒng)最近鄰分類器和BP網(wǎng)絡分類器更高的識別率。支持向量機的應用現(xiàn)狀VM人臉檢測、驗證和識別Osuna最58支持向量機的應用現(xiàn)狀貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗，人工識別平均錯誤率是2.5%，專門針對該特定問題設計的層神經(jīng)網(wǎng)絡錯誤率為5.1%（其中利用了大量先驗知識），而用種方法采用3種SVM核函數(shù)得到的錯誤率分別為4.0%、4.1%和4.2%，且是直接采用16×16的字符點陣作為輸入，表明了SVM的優(yōu)越性能。手寫體數(shù)字0～9的特征可以分為結(jié)構(gòu)特征、統(tǒng)計特征等。在一些實驗中，SVM表明了對手寫漢字識別的有效性。支持向量機的應用現(xiàn)狀貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗59無監(jiān)督機器學習無監(jiān)督分類聚類關(guān)聯(lián)規(guī)則無監(jiān)督機器學習無監(jiān)督分類60聚類（Cluster）聚類目的在將相似的事物歸類。聚類分析又稱為“同質(zhì)分組”或者“無監(jiān)督的分類”，指把一組數(shù)據(jù)分成不同的“簇”，每簇中的數(shù)據(jù)相似而不同簇間的數(shù)據(jù)則距離較遠。相似性可以由用戶或者專家定義的距離函數(shù)加以度量。好的聚類方法應保證不同類間數(shù)據(jù)的相似性盡可能地小，而類內(nèi)數(shù)據(jù)的相似性盡可能地大。61聚類（Cluster）聚類目的在將相似的事物歸類。6161聚類分析的基本思想是認為所研究的數(shù)據(jù)集中的數(shù)據(jù)或者屬性之間存在著程度不同的相似性。于是從數(shù)據(jù)集中取出一批數(shù)據(jù)，具體找出一些能夠度量數(shù)據(jù)值之間或者屬性之間相似程度的量，以這些量為中心作為劃分類型的依據(jù)，把一些相似程度較大的數(shù)據(jù)或?qū)傩跃酆蠟橐活?，把另外一些彼此之間相似程度較大的樣品又聚合為另一類，關(guān)系密切的聚合到一個小的分類單位，關(guān)系疏遠的聚合到一個大的分類單位，直到所有數(shù)據(jù)或?qū)傩远季酆贤戤?，把不同的類型一一劃分出來。聚類分析的基本思想是認為所研究的數(shù)據(jù)集中的數(shù)據(jù)或者屬性之間存62比較常用的距離：絕對值距離

歐氏距離明斯基距離比較常用的距離：絕對值距離

6364HierarchicalClustering層次聚類法該方法是利用距離矩陣作為分類標準，將n個樣品各作為一類；計算n個樣品兩兩之間的距離，構(gòu)成距離矩陣；合并距離最近的兩類為一新類；計算新類與當前各類的距離；再合并、計算，直至只有一類為止。Step0Step1Step2Step3Step4bdceaabdecdeabcdeStep4Step3Step2Step1Step0agglomerative(AGNES)divisive(DIANA)64HierarchicalClustering層次聚類法64K均值算法K均值（k-means）是一種簡便、實用的無監(jiān)督聚類分析算法。這種算法在已知簇的個數(shù)時，可很好地實現(xiàn)數(shù)據(jù)的聚類分析?；舅枷耄海?）首先，隨機選擇k個數(shù)據(jù)點做為聚類中心（2）然后，計算其它點到這些聚類中心點的距離，通過對簇中距離平均值的計算，不斷改變這些聚類中心的位置，直到這些聚類中心不再變化為止。K均值算法K均值（k-means）是一種簡便、實用的無監(jiān)督聚65K-MeansClusteringK-均值聚類方法012345678910012345678910012345678910012345678910K=2ArbitrarilychooseKobjectasinitialclustercenterAssigneachobjectstomostsimilarcenterUpdatetheclustermeansUpdatetheclustermeansreassignreassignK-MeansClusteringK-均值聚類方法01266K均值的流程

由流程圖可知，k-均值算法是一種基于對數(shù)據(jù)集進行劃分的方法進行聚類的算法。它是不斷趨于最優(yōu)解的試探過程。每一次迭代都試圖使簇中心的選擇更加接近于數(shù)據(jù)集的實際簇中心。輸出N輸入讀入標準化歸一化初始化簇計算簇平均值更改簇中心重新決定點歸何簇Y簇中心是否變化K均值的流程 由流程圖可知，k-均值算法是一種基于對數(shù)據(jù)集進67最近鄰方法 --分類 最近鄰決策規(guī)則—k-NN(1)已知N個已知類別樣本X(2)輸入未知類別樣本x(6)判xω2(3)計算x到xiX，(i=1,2,…,N)的距離di(x)(4)找出x的k個最近鄰元Xk={xi,i=1,2,…,k}(5)看Xk中屬于哪一類的樣本最多k1=3<k2=4最近鄰方法 --分類 最近鄰決策規(guī)則—k-NN(1)已知N個68K均值算法優(yōu)勢（1）算法簡單；（2）執(zhí)行和收斂過程相對較快，是一種常見的聚類算法。局限性（1）算法要求簇是密集的、簇和簇之間的差異比較大；（2）數(shù)據(jù)集的平均值的計算必須有適當?shù)亩x；（3）對于某些孤立數(shù)據(jù)和“噪聲”點敏感等。K均值算法優(yōu)勢69Na?veBayes算法微軟樸素貝葉斯算法是SAS(數(shù)據(jù)挖掘算法)中最簡單的算法，通常用作理解數(shù)據(jù)基本分組的起點,說的簡單一點就是處理數(shù)據(jù)的分類雖然該算法既可用于預測也可用于分組，但最常用于模型構(gòu)建的早期階段，更常用于分組而不是預測某個具體的值Na?veBayes算法微軟樸素貝葉斯算法是SAS(數(shù)據(jù)挖70定義：事件組A1，A2，…，An(n可為)，稱為樣本空間S的一個劃分，若滿足：A1A2……………AnBNa?veBayes分類定義：事件組A1，A2，…，An(n可為)，稱為樣本空間71定理：設A1，…,An是S的一個劃分，且P(Ai)>0，(i＝1，…，n)，則對任何事件BS，有

式子就稱為貝葉斯公式。貝葉斯定理回顧定理：設A1，…,An是S的一個劃分，且P(Ai)>072例子：已知某種疾病的發(fā)病率為0.1%,該種疾病患者一個月以內(nèi)的死亡率為90%；且知未患該種疾病的人一個月以內(nèi)的死亡率為0.1%；現(xiàn)從人群中任意抽取一人，問此人在一個月內(nèi)死亡的概率是多少？若已知此人在一個月內(nèi)死亡，則此人是因該種疾病致死的概率為多少？貝葉斯定理回顧例子：已知某種疾病的發(fā)病率為0.1%,該種疾病患者一個月以73貝葉斯公式給出了‘結(jié)果’事件B已發(fā)生的條件下，‘原因’屬于事件Ai的條件概率.

從這個意義上講，它是一個“執(zhí)果索因”的條件概率計算公式.相對于事件B而言，概率論中把P(Ai)稱為先驗概率（PriorProbability），而把P(Ai|B)稱為后驗概率（PosteriorProbability），這是在已有附加信息（即事件B已發(fā)生）之后對事件發(fā)生的可能性做出的重新認識，體現(xiàn)了已有信息帶來的知識更新.貝葉斯定理回顧貝葉斯公式給出了‘結(jié)果’事件B已發(fā)生的條件下，‘原因74分類問題１這個人會不會逃稅?稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是分類問題１這個人會不會逃稅?稅號去年退稅婚姻狀況可征稅收入逃75分類問題２名稱胎生會飛水中生活有腿類別Human是否否是哺乳動物python否否否否非哺乳動物salmon否否是否非哺乳動物whale是否是否哺乳動物frog否否有時是非哺乳動物komodo否否否是非哺乳動物bat是是否是哺乳動物pigeon否是否是非哺乳動物cat是否否是哺乳動物leopard_shark是否是否非哺乳動物turtle否否有時是非哺乳動物penguin否否有時是非哺乳動物porcupine是否否是哺乳動物eel否否是否非哺乳動物salamander否否有時是非哺乳動物gila_monster否否否是非哺乳動物platypus否否否是哺乳動物owl否是否是非哺乳動物dolphin是否是否哺乳動物eagle否是否是非哺乳動物胎生會飛水中生活有腿類別是否是否？分類問題２名稱胎生會飛水中生活有腿類別Human是否否是哺乳76貝葉斯分類方法把每一個屬性（輸入）和分類變量（輸出）都看作隨機變量對于具有屬性值(A1,A2,…,An)的觀測記錄目標是預測類別C特別地,我們想找能夠最大化P(C|A1,A2,…,An)的C值能否從直接數(shù)據(jù)中估計P(C|A1,A2,…,An)?貝葉斯分類方法把每一個屬性（輸入）和分類變量（輸出）都看作77方法:使用貝葉斯定理對于分類變量C的所有值計算后驗概率P(C|A1,A2,…,An)，選擇C使得P(C|A1,A2,…,An)最大

等價于選擇C使得P(A1,A2,…,An|C)P(C)最大如何估計P(A1,A2,…,An|C)?貝葉斯分類方法方法:貝葉斯分類方法78簡單貝葉斯假設在給定的類別上屬性變量Ai

相互獨立:P(A1,A2,…,An|C)=P(A1|Cj)P(A2|Cj)…P(An|Cj)

對所有的Ai

和Cj計算P(Ai|Cj).如果對某一個Cj，P(Cj)P(Ai|Cj)最大，新的數(shù)據(jù)點就被分類到Cj

。簡單貝葉斯假設在給定的類別上屬性變量Ai相互獨立:79分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是類別:P(Ck)=Nk/N例如,P(C=否)=7/10,

P(C=是)=3/10Nk是類別C=Ck.的數(shù)量對離散屬性:

P(Ai

|Ck)=|Aik|/Nk

|Aik|是屬性值為Ai

且屬于Ck的記錄數(shù)量例如: P(婚姻狀況=婚姻中|否)=4/7

P(去年退稅=是|是)=0分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k80對于連續(xù)屬性:(sqlserver不能處理連續(xù)型屬性)離散化把屬性的范圍劃分為許多段：每一段設定一個有序值這樣會違反獨立性假設估計概率密度假定屬性服從正態(tài)分布估計該屬性分布的參數(shù)

(例如,均值和標準差)

在得到概率密度之后，我們可以使用它估計條件概率P(Ai|c)分類問題1對于連續(xù)屬性:(sqlserver不能處理連續(xù)型屬性)分類81稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是每一對(Ai,ci)的正態(tài)分布:例如對于(收入,逃稅=否):在逃稅=否的情況下，可征稅收入的

樣本均值=110

樣本方差=2975分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻82思路：看p（逃稅=否|X）是否大于p（逃稅=是|X）p（逃稅=否|X）=p（逃稅=否）P(X|逃稅=否）/p(B)p（逃稅=是|X）=p（逃稅=是）P(X|逃稅=是）/p(B)P(X|逃稅=否）=P(去年退稅=否|逃稅=否)

P(婚姻中|逃稅=否)

P(收入=120K|逃稅=否)P(X|逃稅=是）=P(去年退稅=否|逃稅=是)

P(婚姻中|逃稅=是)

P(收入=120K|逃稅=是)分類問題1思路：看p（逃稅=否|X）是否大于p（逃稅=是|X）分83P(X|逃稅=否)=P(去年退稅=否|逃稅=否)

P(婚姻中|逃稅=否)

P(收入=120K|逃稅=否)

=4/74/70.0072=0.0024P(X|逃稅=是)=P(去年退稅=否|逃稅=是)

P(婚姻中|逃稅=是)

P(收入=120K|逃稅=是)

=101.210-9=0因為：P(X|否)P(否)>P(X|是)P(是){0.0024*0.3>0*0.7}所以：P(否|X)>P(是|X)

=>逃稅=否P(X|逃稅=否)=P(去年退稅=否|逃稅=否)

84A:（胎生＝是，會飛＝否，水中生活＝是，有腿＝否）M:哺乳動物N:非哺乳動物P(A|M)P(M)>P(A|N)P(N)=>哺乳動物分類問題２名稱胎生會飛水中生活有腿類別Human是否否是哺乳動物python否否否否非哺乳動物salmon否否是否非哺乳動物whale是否是否哺乳動物frog否否有時是非哺乳動物komodo否否否是非哺乳動物bat是是否是哺乳動物pigeon否是否是非哺乳動物cat是否否是哺乳動物leopard_shark是否是否非哺乳動物turtle否否有時是非哺乳動物penguin否否有時是非哺乳動物porcupine是否否是哺乳動物eel否否是否非哺乳動物salamander否否有時是非哺乳動物gila_monster否否否是非哺乳動物platypus否否否是哺乳動物owl否是否是非哺乳動物dolphin是否是否哺乳動物eagle否是否是非哺乳動物胎生會飛水中生活有腿類別是否是否？A:（胎生＝是，會飛＝否，P(A|M)P(M)>P(A85這個算法之所以稱為“樸素”，是因為所有屬性的重要性是一樣的，沒有誰高誰低一說。它是一種運用算術(shù)原則來理解數(shù)據(jù)的方法對此算法的另一個理解就是：所有屬性都是獨立的，互不相關(guān)的。從字面來看，該算法只是計算所有屬性之間的關(guān)聯(lián)。雖然該算法既可用于預測也可用于分組，但最常用于模型構(gòu)建的早期階段，更常用于分組而不是預測某個具體的值。通常要將所有屬性標記為簡單輸入或者既是輸入又是可預測的，因為這就可以要求算法在執(zhí)行的時候考慮到所有屬性這個算法之所以稱為“樸素”，是因為所有屬性的重要性是一樣的，86很常見的一種情況是，在輸入中包含大量屬性，然后處理模型再評估結(jié)果，如果結(jié)果看起來沒什么意義，我們經(jīng)常減少包含的屬性數(shù)量，以便更好地理解關(guān)聯(lián)最緊密的關(guān)系。很常見的一種情況是，在輸入中包含大量屬性，然后處理模型再評估87貝葉斯方法的不足貝葉斯方法最有爭議之處就是先驗信息的使用。先驗信息來源于經(jīng)驗或者以前的實驗結(jié)論，沒有確定的理論依據(jù)作支持，因此在很多方面頗有爭議。由于很多工作都是基于先驗信息的，如果先驗信息不正確，或者存在誤差，那么最后導致的結(jié)論就會是不可想象的。尤其是在數(shù)據(jù)挖掘中，挖掘出的知識也是不可預知的，就是說不知道挖掘出的知識是有用的還是無用的，甚至是錯誤的。雖然知識發(fā)現(xiàn)中有一步是進行知識評估，但是這種評估并不能總是知識的可用性和有效性，特別不能確定先驗信息是否正確時，這種評估更帶有不確定性。處理數(shù)據(jù)復雜性高，因此時間和空間消耗也比較大。貝葉斯方法要進行后驗概率的計算、區(qū)間估計、假設檢驗等，大量的計算是不可避免的。貝葉斯方法的不足貝葉斯方法最有爭議之處就是先驗信息的使用。先88

如果我們擁有大量的數(shù)據(jù)，而且對數(shù)據(jù)的了解又很少，這時候可以使用樸素貝葉斯算法。

例如：公司可能由于兼并了一家競爭對手而獲得了大量的銷售數(shù)據(jù)，在處理這些數(shù)據(jù)的時候，可以用樸素貝葉斯算法作為起點。

如果我們擁有大量的數(shù)據(jù)，而且對數(shù)據(jù)的了解又很少，這時候可以89聚類分析的基本思想是在樣品之間定義距離，在變量之間定義相似系數(shù)，距離或相似系數(shù)代表樣品或變量之間的相似程度，按相似程度的大小，將樣品或變量逐一歸類，關(guān)系密切的類聚集到一個小的分類單位，然后逐步擴大，使得關(guān)系疏遠的聚合到一個大的分類單位，直到所有的樣品或變量都聚集完畢，形成一個表示親屬關(guān)系的譜系圖，依次按照某些要求對某些樣品或變量進行分類。聚類分析的基本思想是在樣品之間定義距離，在變量之間定義相似系90聚類和分類的主要區(qū)別是，在進行聚類分析以前，對總體到底有幾種類型并不知道，對已知數(shù)據(jù)分幾類需在聚類的過程中探索調(diào)整，而分類是在事前已知道分為哪些類。聚類和分類的主要區(qū)別是，在進行聚類分析以前，對總體到底有幾種91謝謝首都師范大學·信息工程學院謝謝首都師范大學·信息工程學院9293機器學習學習是人類獲取知識的重要途徑和自然智能的重要標志，機器學習則是機器獲取知識的重要途徑和人工智能的重要標志。1機器學習學習是人類獲取知識的重要途徑和自然智能的重要標志，什么是機器學習是尋找一種對自然/人工主題、現(xiàn)象或活動可預測且/或可執(zhí)行的機器理解方法94什么是機器學習是尋找一種對自然/人工主題、現(xiàn)象或活動可預測且什么是機器學習研究計算機怎樣模擬或?qū)崿F(xiàn)人類（動物）的學習行為，以獲取新的知識或技能重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能是人工智能的核心，是使計算機具有智能的根本途徑其應用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹95什么是機器學習研究計算機怎樣模擬或?qū)崿F(xiàn)人類（動物）的學習行為機器學習的一個形象描述96機器學習的一個形象描述4機器學習的一般泛型監(jiān)督學習必須預先知道學習的期望結(jié)果，并依此按照某一學習規(guī)則來修正權(quán)值。知道輸入數(shù)據(jù)，知道結(jié)果，用函數(shù)預測個例無監(jiān)督學習，不知道結(jié)果，根據(jù)數(shù)據(jù)特征分類半監(jiān)督學習是監(jiān)督學習與無監(jiān)督學習相結(jié)合的一種學習方法。它主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。輸入數(shù)據(jù)不可靠，依據(jù)權(quán)重的調(diào)整進行訓練。強化學習利用某一表示“獎／懲”的全局信號，衡量與強化輸入相關(guān)的局部決策如何。(輸入\輸出之間沒有固定的函數(shù))97機器學習的一般泛型監(jiān)督學習5監(jiān)督學習決策樹（簡單問題）人工神經(jīng)網(wǎng)絡（大量樣本）支持向量機（小樣本）監(jiān)督學習決策樹（簡單問題）98決策樹學習決策樹學習99

決策樹學習

1．什么是決策樹決策樹(decisiontree)也稱判定樹，它是由對象的若干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點為屬性（一般為語言變量），分枝為相應的屬性值（一般為語言值）。從同一節(jié)點出發(fā)的各個分枝之間是邏輯“或”關(guān)系；根節(jié)點為對象的某一個屬性；從根節(jié)點到每一個葉子節(jié)點的所有節(jié)點和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個“屬性-值”對之間是邏輯“與”關(guān)系，葉子節(jié)點為這個與關(guān)系的對應結(jié)果，即決策。例如圖1就是一棵決策樹。其中，A,B,C代表屬性，ai,bj,ck代表屬性值，dl代表對應的決策。處于同一層的屬性（如圖中的B,C）可能相同，也可能不相同，所有葉子節(jié)點（如圖中的dl，l=1,2,…,6）所表示的決策中也可能有相同者。決策樹學習100由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分枝路徑上的諸“屬性-值”對和對應葉子節(jié)點的決策，剛好就構(gòu)成一個產(chǎn)生式規(guī)則：諸“屬性-值”對的合取構(gòu)成規(guī)則的前提，葉子節(jié)點的決策就是規(guī)則的結(jié)論。例如，圖1中從根節(jié)點A到葉子節(jié)點d2的這一條分枝路徑就構(gòu)成規(guī)則：(A=a1)∧(B=b2)

=>

d2而不同分枝路徑所表示的規(guī)則之間為析取關(guān)系。

由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分101圖1決策樹示意圖

圖1決策樹示意圖102圖

2飛機起飛的簡單決策樹

圖2飛機起飛的簡單決策樹103例1

圖3所示是一個描述“兔子”概念的決策樹。

圖

3“兔子”概念的決策樹

例1圖3所示是一個描述“兔子”概念的決策樹。圖3“104

2.怎樣學習決策樹

決策樹是一種知識表示形式,構(gòu)造決策樹可以由人來完成,但也可以由機器從一些實例中總結(jié)、歸納出來,即由機器學習而得。機器學習決策樹也就是所說的決策樹學習。決策樹學習是一種歸納學習。由于一棵決策樹就表示了一組產(chǎn)生式規(guī)則,因此決策樹學習也是一種規(guī)則學習。特別地,當規(guī)則是某概念的判定規(guī)則時,這種決策樹學習也就是一種概念學習。2.怎樣學習決策樹105

決策樹學習的基本方法和步驟是:

首先,選取一個屬性,按這個屬性的不同取值對實例集進行分類;并以該屬性作為根節(jié)點,以這個屬性的諸取值作為根節(jié)點的分枝,進行畫樹。然后,考察所得的每一個子類,看其中的實例的結(jié)論是否完全相同。如果完全相同,則以這個相同的結(jié)論作為相應分枝路徑末端的葉子節(jié)點;否則,選取一個非父節(jié)點的屬性,按這個屬性的不同取值對該子集進行分類,并以該屬性作為節(jié)點,以這個屬性的諸取值作為節(jié)點的分枝,繼續(xù)進行畫樹。如此繼續(xù),直到所分的子集全都滿足:實例結(jié)論完全相同,而得到所有的葉子節(jié)點為止。這樣,一棵決策樹就被生成。下面我們進一步舉例說明。決策樹學習的基本方法和步驟是:106表1汽車駕駛保險類別劃分實例集

表1汽車駕駛保險類別劃分實例集107可以看出,該實例集中共有12個實例,實例中的性別、年齡段和婚狀為3個屬性,保險類別就是相應的決策項。為表述方便起見,我們將這個實例集簡記為S={(1,C),(2,C),(3,C),(4,B),(5,A),(6,A),(7,C),(8,B),(9,A),

(10,A),(11,B),(12,B)}其中每個元組表示一個實例,前面的數(shù)字為實例序號,后面的字母為實例的決策項保險類別(下同)。另外,為了簡潔,在下面的決策樹中我們用“小”、“中”、“大”分別代表“＜21”、“≥21且≤25”、“＞25”這三個年齡段?？梢钥闯?該實例集中共有12個實例,實例中的性別、年齡段和婚108顯然,S中各實例的保險類別取值不完全一樣,所以需要將S分類。對于S,我們按屬性“性別”的不同取值將其分類。由表1可見,這時S應被分類為兩個子集:S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S2={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}于是,我們得到以性別作為根節(jié)點的部分決策樹(見圖4(a))。顯然,S中各實例的保險類別取值不完全一樣,所以需要將S分109

考察S1和S2，可以看出，在這兩個子集中，各實例的保險類別也不完全相同。這就是說，還需要對S1和S2進行分類。對于子集S1，我們按“年齡段”將其分類；同樣，對于子集S2，也按“年齡段”對其進行分類（注意：對于子集S2，也可按屬性“婚狀”分類）。分別得到子集S11,S12,S13和S21,S22,S23。于是，我們進一步得到含有兩層節(jié)點的部分決策樹（如圖4(b)所示）?？疾霺1和S2，可以看出，在這兩個子集中，各實例的保險類110

注意到，這時除了S12和S13外，其余子集中各實例的保險類別已完全相同。所以，不需再對其進行分類，而每一個子集中那個相同的保險類別值就可作為相應分枝的葉子節(jié)點。添上這些葉子節(jié)點，我們又進一步得到發(fā)展了的部分決策樹（如圖4(c)所示）。

接著對S12和S13，按屬性“婚狀”進行分類（也只能按“婚狀”進行分類）。由于所得子集S121,S121和S131,S132中再都只含有一個實例，因此無需對它們再進行分類。這時這4個子集中各自唯一的保險類別值也就是相應分枝的葉子節(jié)點。添上這兩個葉子節(jié)點，就得到如圖4(d)所示的決策樹。注意到，這時除了S12和S13外，其余子集中各實例的保險類111圖4

決策樹生成過程

圖4決策樹生成過程112圖4

決策樹生成過程

圖4決策樹生成過程113圖4

決策樹生成過程

圖4決策樹生成過程114圖4

決策樹生成過程

圖4決策樹生成過程115由這個決策樹即得下面的規(guī)則集:①女性且年齡在25歲以上,則給予A類保險.②女性且年齡在21歲到25歲之間,則給予A類保險。③女性且年齡在21歲以下,則給予C類保險。④男性且年齡在25歲以上,則給予B類保險。⑤男性且年齡在21歲到25歲之間且未婚,則給予C類保險。⑥男性且年齡在21歲到25歲之間且已婚,則給予B類保險。⑦男性且年齡在21歲以下且未婚,則給予C類保險。⑧男性且年齡在21歲以下且已婚,則給予B類保險。

由這個決策樹即得下面的規(guī)則集:116人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡117人工神經(jīng)網(wǎng)絡1生物神經(jīng)元及人工神經(jīng)元的組成2人工神經(jīng)網(wǎng)絡的模型

2.1人工神經(jīng)元的模型

2.2常用的激活轉(zhuǎn)移函數(shù)

2.3MP模型神經(jīng)元人工神經(jīng)網(wǎng)絡1生物神經(jīng)元及人工神經(jīng)元的組成1181、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括三個主要部分：細胞體、樹突和軸突，見圖5（a）。

(a)簡單神經(jīng)元網(wǎng)絡圖

(b)簡化后的網(wǎng)絡示意圖

(1)細胞體；(2)樹突；(3)軸突；(4)突觸圖5簡單神經(jīng)元網(wǎng)絡及其簡化結(jié)構(gòu)圖1、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細胞，它是生物119目前多數(shù)人工神經(jīng)網(wǎng)絡的構(gòu)造大體上都采用如下的一些原則：

由一定數(shù)量的基本神經(jīng)元分層聯(lián)接；

每個神經(jīng)元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單；

網(wǎng)絡的學習和知識存儲體現(xiàn)在各神經(jīng)元之間的聯(lián)接強度上。目前多數(shù)人工神經(jīng)網(wǎng)絡的構(gòu)造大體上都采用如下的一些原則：由120

2、人工神經(jīng)網(wǎng)絡的模型

2.1人工神經(jīng)元的模型

神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內(nèi)部因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差，有時也稱為閾值或門限值。2、人工神經(jīng)網(wǎng)絡的模型2.1人工神經(jīng)元的模型121

神經(jīng)元的輸出矢量可以表示為：

A=f(W*P+b)=f(∑wjpj+b)

可以看出偏差被簡單地加在W*P上作為激活函數(shù)的另一個輸入分量。實際上偏差也是一個權(quán)值，只是它具有固定常數(shù)為1的權(quán)值。在網(wǎng)絡的設計中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動，從而增加了解決問題的可能性。人工神經(jīng)網(wǎng)絡的學習就是過程就是對它的訓練過程神經(jīng)元的輸出矢量可以表示為：人工神經(jīng)網(wǎng)絡的學習1222.2激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activationtransferfunction）簡稱激活函數(shù)，它是一個神經(jīng)元及神經(jīng)網(wǎng)絡的核心之一。神經(jīng)網(wǎng)絡解決問題的能力與功效除了與網(wǎng)絡結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡激活函數(shù)。線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)、S形函數(shù)2.2激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activatio123人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運算來實現(xiàn)的。基于對人類生物系統(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)元之間通過互連形成的網(wǎng)絡稱為人工神經(jīng)網(wǎng)絡。在人工神經(jīng)網(wǎng)絡中，神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡的互連結(jié)構(gòu)，同時也決定了神經(jīng)網(wǎng)絡的信號處理方式。人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類124人工神經(jīng)網(wǎng)絡的分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類方法也有多種。例如，若按網(wǎng)絡拓撲結(jié)構(gòu)，可分為無反饋網(wǎng)絡與有反饋網(wǎng)絡；若按網(wǎng)絡的學習方法，可分為有導師學習網(wǎng)絡和無導師學習網(wǎng)絡；若按網(wǎng)絡的性能，可分為連續(xù)型網(wǎng)絡與離散型網(wǎng)絡，或分為確定性網(wǎng)絡與隨機型網(wǎng)絡；若按突觸連接的性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡與高階非線性關(guān)聯(lián)網(wǎng)絡。人工神經(jīng)網(wǎng)絡的分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有125無導師學習：

當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。

它學習的是神經(jīng)元之間的連接強度。有導師學習：

輸入向量與其輸出向量構(gòu)成一個訓練對，不斷調(diào)整權(quán)值，使輸入與輸出向量在一個誤差范圍內(nèi)。無導師學習：126人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡是一個新興學科，因此還存在許多問題。其主要表現(xiàn)有：受到腦科學研究的限制：由于生理實驗的困難性，因此目前人類對思維和記憶機制的認識還很膚淺，還有很多問題需要解決；還沒有完整成熟的理論體系；還帶有濃厚的策略和經(jīng)驗色彩；與傳統(tǒng)技術(shù)的接口不成熟。上述問題的存在，制約了人工神經(jīng)網(wǎng)絡研究的發(fā)展。人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡是一個新興學科，因此還存在許1272.3MP神經(jīng)元模型

MP神經(jīng)元模型是由美國心理學家McClloch和數(shù)學家Pitts共同提出的，因此，常稱為MP模型。MP神經(jīng)元模型是典型的閾值型神經(jīng)元，見圖7，它相當于一個多輸入單輸出的閾值器件。．．．w1w2wrp1p2pr∑b

圖7MP模型神經(jīng)元2.3MP神經(jīng)元模型MP神經(jīng)元模型是由美國心128

如圖7所示，假定p1，p2，…，pn表示神經(jīng)元的n個輸入；wi表示神經(jīng)元的突觸連接強度，其值稱為權(quán)值；n表示神經(jīng)元的輸入總和，f(n)即為激活函數(shù)；a表示神經(jīng)元的輸出，b表示神經(jīng)元的閾值，那么MP模型神經(jīng)元的輸出可描述為(1)式所示：．．．w1w2wrp1p2pr∑b圖7MP模型神經(jīng)元(1)

如圖7所示，假定p1，p2，…，pn表示神經(jīng)元的n個輸入129MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果n

＞0，即神經(jīng)元輸入加權(quán)總和超過某個閾值，那么該神經(jīng)元興奮，狀態(tài)為1；如果n≤0，那么該神經(jīng)元受到抑制，狀態(tài)為0。通常，將這個規(guī)定稱為MP模型神經(jīng)元的點火規(guī)則。用一數(shù)學表達式表示為：對于MP模型神經(jīng)元，權(quán)值w在（－1，＋1）區(qū)間連續(xù)取值。取負值表示抑制兩神經(jīng)元間的連接強度，正值表示加強。(2)MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代130MP模型神經(jīng)元具有什么特性？

能完成什么功能？為了回答這個問題，我們以簡單的邏輯代數(shù)運算為例來說明。

MP模型神經(jīng)元具有什么特性？

能完成什么功能？為了回答這個問131例1假設一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標輸出記為t，試問它能否完成下列真值表功能？解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必須滿足如下不等式組：

若取b值為0.5,W1和W2取0.7?？梢则炞C用這組權(quán)值和閾值構(gòu)成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運算。(1)(2)(3)(4)不等式組真值表p1p2t

111101011

0

0

0例1假設一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標輸132如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定的幾何意義，所有輸入樣本構(gòu)成樣本輸入空間。對于任意特定W和P的值都規(guī)定了一個超平面（決策平面），其方程為：它把超平面Rn（X∈Rn）分成了兩部分：WX-b<0部分和WX-b≥0部分。如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定1333、人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)與學習

3.1人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)

如果將大量功能簡單的形式神經(jīng)元通過一定的拓撲結(jié)構(gòu)組織起來，構(gòu)成群體并行分布式處理的計算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡，統(tǒng)稱為神經(jīng)網(wǎng)絡。3、人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)與學習3.1人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)134根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡結(jié)構(gòu)分為兩大類：

分層網(wǎng)絡相互連接型網(wǎng)絡根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡結(jié)構(gòu)分為1351、分層結(jié)構(gòu)分層網(wǎng)絡將一個神經(jīng)網(wǎng)絡模型中的所有神經(jīng)元按功能分成若干層，一般有輸入層、隱層（又稱中間層）和輸出層各層順序連接，如圖所示。

輸出層

中間層

輸入層輸入輸出分層網(wǎng)絡的功能層次1、分層結(jié)構(gòu)分層網(wǎng)絡將一個神經(jīng)網(wǎng)絡模型中的所有神經(jīng)元按功136簡單的前向網(wǎng)絡具有反饋的前向網(wǎng)絡層內(nèi)有相互連接的前向網(wǎng)絡分層網(wǎng)絡可以細分為三種互連形式：簡單的前向網(wǎng)絡分層網(wǎng)絡可以細分為三種互連形式：137圖（a）簡單的前向網(wǎng)絡形狀；圖（b）輸出層到輸入層具有反饋的前向網(wǎng)絡；圖（c）層內(nèi)有相互連接的前向網(wǎng)絡。圖（a）簡單的前向網(wǎng)絡形狀；138

所謂相互連接型網(wǎng)絡是指網(wǎng)絡中任意兩個神經(jīng)元之間是可達的，即存在連接路徑，如圖7.8（d）所示。2、相互連接型結(jié)構(gòu)所謂相互連接型網(wǎng)絡是指網(wǎng)絡中任意兩個神經(jīng)元之間是可達139權(quán)值修正學派認為：神經(jīng)網(wǎng)絡的學習過程就是不斷調(diào)整網(wǎng)絡的連接權(quán)，以獲得期望的輸出的過程。3.2人工神經(jīng)網(wǎng)絡的學習權(quán)值修正學派認為：神經(jīng)網(wǎng)絡的學習過程就是不斷調(diào)整網(wǎng)絡的140

相關(guān)學習法誤差修正學習法

典型的權(quán)值修正方法有兩類：相關(guān)學習法典型的權(quán)值修正方法有兩類：141

式中，wji(t+1)表示修正一次后的某一權(quán)值；η稱為學習因子，決定每次權(quán)值的修正量，xi（t）、xj（t）分別表示t時刻第i、第j個神經(jīng)元的狀態(tài)。如果神經(jīng)網(wǎng)絡中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元間的連接強度應該加強。相關(guān)學習法是根據(jù)連接間的激活水平改變權(quán)值的，相關(guān)學習法也稱Hebb學習規(guī)則，可用一數(shù)學表達式表示為：相關(guān)學習法式中，wji(t+1)表示修正一次后的某一權(quán)值142

根據(jù)期望輸出與實際輸出之間的誤差大小來修正權(quán)值。誤差修正學習法也稱δ學習規(guī)則，可由如下四步來描述；

誤差修正學習法選擇一組初始權(quán)值和偏差值；計算某一輸入模式對應的實際輸出與期望輸出的誤差更新權(quán)值（偏差值可視為輸入恒為-1的一個權(quán)值）返回步驟（2），直到對所有訓練模式，網(wǎng)絡輸出均能滿足要求。式中，η為學習因子；yje(t)、yj(t)

分別表示第j個神經(jīng)元的期望輸出與實際輸出；xi為第i個神經(jīng)元的輸入；根據(jù)期望輸出與實際輸出之間的誤差大小來修正權(quán)值。誤差修正學143一些著名的神經(jīng)網(wǎng)絡模型一些著名的神經(jīng)網(wǎng)絡模型144SVM（支持向量機，SupportVectorMachine）小樣本

根據(jù)統(tǒng)計學習理論，學習機器的實際風險由經(jīng)驗風險值和置信范圍值兩部分組成。而基于經(jīng)驗風險最小化準則的學習方法只強調(diào)了訓練樣本的經(jīng)驗風險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik提出的支持向量機（SupportVectorMachine,SVM）以訓練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標，即SVM是一種基于結(jié)構(gòu)風險最小化準則的學習方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學習方法。形成時期在1992—1995年。

SVM（支持向量機，SupportVectorMachi145146支持向量

54支持向量

判別函數(shù):是特征空間中某點x到超平面的距離的一種代數(shù)度量