2020年機(jī)器學(xué)習(xí)(課件)

1、2020年機(jī)器學(xué)習(xí)(課件)2020年機(jī)器學(xué)習(xí)(課件)什么是機(jī)器學(xué)習(xí)是尋找一種對自然/人工主題、現(xiàn)象或活動可預(yù)測且/或可執(zhí)行的機(jī)器理解方法2什么是機(jī)器學(xué)習(xí)是尋找一種對自然/人工主題、現(xiàn)象或活動可預(yù)測且什么是機(jī)器學(xué)習(xí)研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類（動物）的學(xué)習(xí)行為，以獲取新的知識或技能重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能是人工智能的核心，是使計算機(jī)具有智能的根本途徑其應(yīng)用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹3什么是機(jī)器學(xué)習(xí)研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類（動物）的學(xué)習(xí)行為機(jī)器學(xué)習(xí)的一個形象描述4機(jī)器學(xué)習(xí)的一個形象描述6機(jī)器學(xué)習(xí)的一般泛型監(jiān)督學(xué)習(xí) 必須預(yù)先知道學(xué)習(xí)的期望結(jié)果，并依

2、此按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。知道輸入數(shù)據(jù)，知道結(jié)果，用函數(shù)預(yù)測個例無監(jiān)督學(xué)習(xí)，不知道結(jié)果，根據(jù)數(shù)據(jù)特征分類半監(jiān)督學(xué)習(xí) 是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。它主要考慮如何利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進(jìn)行訓(xùn)練和分類的問題。輸入數(shù)據(jù)不可靠，依據(jù)權(quán)重的調(diào)整進(jìn)行訓(xùn)練。強(qiáng)化學(xué)習(xí) 利用某一表示“獎懲”的全局信號，衡量與強(qiáng)化輸入相關(guān)的局部決策如何。(輸入輸出之間沒有固定的函數(shù))5機(jī)器學(xué)習(xí)的一般泛型監(jiān)督學(xué)習(xí)7監(jiān)督學(xué)習(xí)決策樹（簡單問題）人工神經(jīng)網(wǎng)絡(luò)（大量樣本）支持向量機(jī)（小樣本）監(jiān)督學(xué)習(xí)決策樹（簡單問題）決策樹學(xué)習(xí)決策樹學(xué)習(xí) 決策樹學(xué)習(xí)1什么是決策樹決策樹(decision tree)也稱判定樹

3、，它是由對象的若干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點為屬性（一般為語言變量），分枝為相應(yīng)的屬性值（一般為語言值）。從同一節(jié)點出發(fā)的各個分枝之間是邏輯“或”關(guān)系；根節(jié)點為對象的某一個屬性；從根節(jié)點到每一個葉子節(jié)點的所有節(jié)點和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個“屬性-值”對之間是邏輯“與”關(guān)系，葉子節(jié)點為這個與關(guān)系的對應(yīng)結(jié)果，即決策。例如圖1就是一棵決策樹。其中，A, B, C代表屬性，ai, bj, ck代表屬性值，dl代表對應(yīng)的決策。處于同一層的屬性（如圖中的B, C）可能相同，也可能不相同，所有葉子節(jié)點（如圖中的dl ，l=1,2, 6）所表示的決策中也可能

4、有相同者。 決策樹學(xué)習(xí)由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分枝路徑上的諸“屬性-值”對和對應(yīng)葉子節(jié)點的決策，剛好就構(gòu)成一個產(chǎn)生式規(guī)則：諸“屬性-值”對的合取構(gòu)成規(guī)則的前提，葉子節(jié)點的決策就是規(guī)則的結(jié)論。例如，圖1中從根節(jié)點A到葉子節(jié)點d2的這一條分枝路徑就構(gòu)成規(guī)則：(A= a1)(B = b2) = d2而不同分枝路徑所表示的規(guī)則之間為析取關(guān)系。 由圖1不難看出，一棵決策樹上從根節(jié)點到每一個葉子節(jié)點的分圖1 決策樹示意圖 圖1 決策樹示意圖 圖 2 飛機(jī)起飛的簡單決策樹 圖 2 飛機(jī)起飛的簡單決策樹 例1 圖3所示是一個描述“兔子”概念的決策樹。 圖 3 “兔子”概念的決策樹

5、 例1 圖3所示是一個描述“兔子”概念的決策樹。 圖 3 “2. 怎樣學(xué)習(xí)決策樹 決策樹是一種知識表示形式, 構(gòu)造決策樹可以由人來完成, 但也可以由機(jī)器從一些實例中總結(jié)、歸納出來, 即由機(jī)器學(xué)習(xí)而得。 機(jī)器學(xué)習(xí)決策樹也就是所說的決策樹學(xué)習(xí)。 決策樹學(xué)習(xí)是一種歸納學(xué)習(xí)。由于一棵決策樹就表示了一組產(chǎn)生式規(guī)則, 因此決策樹學(xué)習(xí)也是一種規(guī)則學(xué)習(xí)。特別地, 當(dāng)規(guī)則是某概念的判定規(guī)則時,這種決策樹學(xué)習(xí)也就是一種概念學(xué)習(xí)。 2. 怎樣學(xué)習(xí)決策樹決策樹學(xué)習(xí)的基本方法和步驟是: 首先,選取一個屬性, 按這個屬性的不同取值對實例集進(jìn)行分類; 并以該屬性作為根節(jié)點,以這個屬性的諸取值作為根節(jié)點的分枝, 進(jìn)行畫樹。

6、然后,考察所得的每一個子類, 看其中的實例的結(jié)論是否完全相同。如果完全相同, 則以這個相同的結(jié)論作為相應(yīng)分枝路徑末端的葉子節(jié)點; 否則, 選取一個非父節(jié)點的屬性, 按這個屬性的不同取值對該子集進(jìn)行分類, 并以該屬性作為節(jié)點, 以這個屬性的諸取值作為節(jié)點的分枝, 繼續(xù)進(jìn)行畫樹。 如此繼續(xù),直到所分的子集全都滿足: 實例結(jié)論完全相同, 而得到所有的葉子節(jié)點為止。這樣, 一棵決策樹就被生成。下面我們進(jìn)一步舉例說明。 決策樹學(xué)習(xí)的基本方法和步驟是: 表1 汽車駕駛保險類別劃分實例集 表1 汽車駕駛保險類別劃分實例集 可以看出,該實例集中共有12個實例,實例中的性別、年齡段和婚狀為3個屬性, 保險類別就

7、是相應(yīng)的決策項。為表述方便起見, 我們將這個實例集簡記為 S=(1,C), (2,C), (3,C), (4,B), (5,A), (6,A), (7,C), (8,B), (9,A), (10,A), (11,B), (12,B) 其中每個元組表示一個實例, 前面的數(shù)字為實例序號, 后面的字母為實例的決策項保險類別(下同)。另外, 為了簡潔, 在下面的決策樹中我們用“小”、“中”、“大”分別代表“21”、 “21且25”、 “25”這三個年齡段。 可以看出,該實例集中共有12個實例,實例中的性別、年齡段和婚顯然, S中各實例的保險類別取值不完全一樣, 所以需要將S分類。對于S, 我們按屬性“

8、性別”的不同取值將其分類。 由表1可見, 這時S應(yīng)被分類為兩個子集: S1= (3,C), (4,B), (7,C), (8,B), (11,B), (12,B)S2=(1,C), (2,C), (5,A), (6,A), (9,A), (10,A) 于是, 我們得到以性別作為根節(jié)點的部分決策樹(見圖4(a)。 顯然, S中各實例的保險類別取值不完全一樣, 所以需要將S分考察S1和S2，可以看出，在這兩個子集中，各實例的保險類別也不完全相同。這就是說，還需要對S1和S2進(jìn)行分類。對于子集S1，我們按“年齡段”將其分類；同樣，對于子集S2，也按“年齡段”對其進(jìn)行分類（注意：對于子集S2，也可按屬

9、性“婚狀”分類）。分別得到子集S11, S12, S13和S21, S22, S23。于是，我們進(jìn)一步得到含有兩層節(jié)點的部分決策樹（如圖4(b)所示）。 考察S1和S2，可以看出，在這兩個子集中，各實例的保險類注意到，這時除了S12和S13外，其余子集中各實例的保險類別已完全相同。所以，不需再對其進(jìn)行分類，而每一個子集中那個相同的保險類別值就可作為相應(yīng)分枝的葉子節(jié)點。添上這些葉子節(jié)點，我們又進(jìn)一步得到發(fā)展了的部分決策樹（如圖4(c)所示）。接著對S12和S13，按屬性“婚狀”進(jìn)行分類（也只能按“婚狀”進(jìn)行分類）。由于所得子集S121, S121和S131, S132中再都只含有一個實例，因此無

10、需對它們再進(jìn)行分類。這時這4個子集中各自唯一的保險類別值也就是相應(yīng)分枝的葉子節(jié)點。添上這兩個葉子節(jié)點，就得到如圖4(d)所示的決策樹。 注意到，這時除了S12和S13外，其余子集中各實例的保險類圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 圖4 決策樹生成過程 由這個決策樹即得下面的規(guī)則集: 女性且年齡在25歲以上, 則給予A類保險. 女性且年齡在21歲到25歲之間, 則給予A類保險。 女性且年齡在21歲以下, 則給予C類保險。 男性且年齡在25歲以上, 則給予B類保險。 男性且年齡在2

11、1歲到25歲之間且未婚, 則給予C類保險。 男性且年齡在21歲到25歲之間且已婚, 則給予B類保險。 男性且年齡在21歲以下且未婚, 則給予C類保險。 男性且年齡在21歲以下且已婚, 則給予B類保險。 由這個決策樹即得下面的規(guī)則集: 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)1 生物神經(jīng)元及人工神經(jīng)元的組成2 人工神經(jīng)網(wǎng)絡(luò)的模型 2 .1 人工神經(jīng)元的模型 2 .2 常用的激活轉(zhuǎn)移函數(shù) 2 .3 MP模型神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)1 生物神經(jīng)元及人工神經(jīng)元的組成1、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每

12、個神經(jīng)元都包括三個主要部分：細(xì)胞體、樹突和軸突，見圖5（a）。 (a) 簡單神經(jīng)元網(wǎng)絡(luò)圖 (b) 簡化后的網(wǎng)絡(luò)示意圖 (1) 細(xì)胞體；(2) 樹突；(3) 軸突；(4) 突觸圖5 簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)圖1、生物神經(jīng)元及人工神經(jīng)元的組成神經(jīng)元也稱神經(jīng)細(xì)胞，它是生物目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則： 由一定數(shù)量的基本神經(jīng)元分層聯(lián)接； 每個神經(jīng)元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單； 網(wǎng)絡(luò)的學(xué)習(xí)和知識存儲體現(xiàn)在各神經(jīng)元之間的聯(lián)接強(qiáng)度上。目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則： 由 2、人工神經(jīng)網(wǎng)絡(luò)的模型 2.1人工神經(jīng)元的模型 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本

13、處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內(nèi)部因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差，有時也稱為閾值或門限值。 2、人工神經(jīng)網(wǎng)絡(luò)的模型 2.1人工神經(jīng)元的模型 神經(jīng)元的輸出矢量可以表示為： A = f ( W*P + b ) = f ( wj pj + b ) 可以看出偏差被簡單地加在W*P上作為激活函數(shù)的另一個輸入分量。實際上偏差也是一個權(quán)值，只是它具有固定常數(shù)為1的權(quán)值。在網(wǎng)絡(luò)的設(shè)計中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動，從而增加了解決問題的可能性。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是過程就是對

14、它的訓(xùn)練過程 神經(jīng)元的輸出矢量可以表示為：人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)2. 2 激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activation transfer function）簡稱激活函數(shù)，它是一個神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的核心之一。神經(jīng)網(wǎng)絡(luò)解決問題的能力與功效除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)激活函數(shù)。線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)、S形函數(shù)2. 2 激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)f（Activatio人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復(fù)雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運(yùn)算來實現(xiàn)的

15、。基于對人類生物系統(tǒng)的這一認(rèn)識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)元之間通過互連形成的網(wǎng)絡(luò)稱為人工神經(jīng)網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡(luò)的互連結(jié)構(gòu)，同時也決定了神經(jīng)網(wǎng)絡(luò)的信號處理方式。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類人工神經(jīng)網(wǎng)絡(luò)的分類 目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種，其分類方法也有多種。例如，若按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可分為無反饋網(wǎng)絡(luò)與有反饋網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的學(xué)習(xí)方法，可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的性能，可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與

16、隨機(jī)型網(wǎng)絡(luò)；若按突觸連接的性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)與高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)的分類 目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有無導(dǎo)師學(xué)習(xí)： 當(dāng)兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強(qiáng)，否則被減弱。 它學(xué)習(xí)的是神經(jīng)元之間的連接強(qiáng)度。有導(dǎo)師學(xué)習(xí)： 輸入向量與其輸出向量構(gòu)成一個訓(xùn)練對，不斷調(diào)整權(quán)值，使輸入與輸出向量在一個誤差范圍內(nèi)。無導(dǎo)師學(xué)習(xí)：人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)是一個新興學(xué)科，因此還存在許多問題。其主要表現(xiàn)有：受到腦科學(xué)研究的限制：由于生理實驗的困難性，因此目前人類對思維和記憶機(jī)制的認(rèn)識還很膚淺，還有很多問題需要解決；還沒有完整成熟的理論體系；還帶有濃厚的策略和經(jīng)驗色彩；與傳統(tǒng)技術(shù)的接口

17、不成熟。上述問題的存在，制約了人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展。人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)是一個新興學(xué)科，因此還存在許2. 3 MP神經(jīng)元模型 MP神經(jīng)元模型是由美國心理學(xué)家McClloch和數(shù)學(xué)家Pitts共同提出的，因此，常稱為MP模型。 MP神經(jīng)元模型是典型的閾值型神經(jīng)元，見圖7，它相當(dāng)于一個多輸入單輸出的閾值器件。w1w2wrp1p2prb 圖7 MP模型神經(jīng)元2. 3 MP神經(jīng)元模型 MP神經(jīng)元模型是由美國心 如圖7所示，假定p1，p2，pn表示神經(jīng)元的n個輸入；wi表示神經(jīng)元的突觸連接強(qiáng)度，其值稱為權(quán)值；n 表示神經(jīng)元的輸入總和，f (n) 即為激活函數(shù)；a 表示神經(jīng)元的輸出，b 表示

18、神經(jīng)元的閾值，那么MP模型神經(jīng)元的輸出可描述為(1)式所示：w1w2wrp1p2prb圖7 MP模型神經(jīng)元(1) 如圖7所示，假定p1，p2，pn表示神經(jīng)元的n個輸入MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果 n 0，即神經(jīng)元輸入加權(quán)總和超過某個閾值，那么該神經(jīng)元興奮，狀態(tài)為1；如果n 0，那么該神經(jīng)元受到抑制，狀態(tài)為0。通常，將這個規(guī)定稱為MP模型神經(jīng)元的點火規(guī)則。用一數(shù)學(xué)表達(dá)式表示為：對于 MP模型神經(jīng)元，權(quán)值w在（ 1， 1）區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度，正值表示加強(qiáng)。(2)MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為

19、1或0，分別代MP模型神經(jīng)元具有什么特性？能完成什么功能？為了回答這個問題，我們以簡單的邏輯代數(shù)運(yùn)算為例來說明。 MP模型神經(jīng)元具有什么特性？能完成什么功能？為了回答這個問例1 假設(shè)一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標(biāo)輸出記為t，試問它能否完成下列真值表功能？ 解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必須滿足如下不等式組： 若取b值為0.5,W1和W2取0.7?？梢则炞C用這組權(quán)值和閾值構(gòu)成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運(yùn)算。(1) (2) (3) (4)不 等 式 組真 值 表 p1 p2 t 1 1 1 1 0 10 1 1 0 0 0例1 假設(shè)一個MP模型神經(jīng)元有2個輸入：

20、p1和p2，其目標(biāo)輸如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定的幾何意義，所有輸入樣本構(gòu)成樣本輸入空間。對于任意特定W和P的值都規(guī)定了一個超平面（決策平面），其方程為：它把超平面Rn（XRn）分成了兩部分：WX-b0；當(dāng)x點在超平面的負(fù)側(cè)時，g(x)0 總之： 線性判別函數(shù)利用一個超平面把特征空間分隔成兩支持向量機(jī)的應(yīng)用現(xiàn)狀VM人臉檢測、驗證和識別 Osuna最早將SVM應(yīng)用于人臉檢測，并取得了較好的效果。其方法是直接訓(xùn)練非線性分類器完成人臉與非人臉的SVM分類。由于SVM的訓(xùn)練需要大量的存儲空間，并且非線性SVM 分類器需要較多的支持向量，速度很慢。所以在實際中廣泛實用層次

21、結(jié)構(gòu)分類器，它由一個線性組合和一個非線性組成。檢測時，由前者快速排除掉圖像SVM 中絕大部分背景窗口，而后者只需對少量的候選區(qū)域做出確認(rèn)。人臉檢測研究中更復(fù)雜的情況是姿態(tài)的變化。基于支持向量機(jī)姿態(tài)分類器，分類錯誤率降低到1.67%，明顯優(yōu)于在傳統(tǒng)方法中效果最好的人工神經(jīng)元網(wǎng)絡(luò)方法。人臉姿態(tài)可以劃分為多個類別，在訓(xùn)練過程中，面部特征的提取和識別可看作是對3D物體的投影圖像進(jìn)行匹配的問題。很多研究利用了SVM利于處理小樣本問題以及泛化能力強(qiáng)的優(yōu)勢，取得了比傳統(tǒng)最近鄰分類器和BP網(wǎng)絡(luò)分類器更高的識別率。支持向量機(jī)的應(yīng)用現(xiàn)狀VM人臉檢測、驗證和識別 Osuna最支持向量機(jī)的應(yīng)用現(xiàn)狀貝爾實驗室對美國郵政

22、手寫數(shù)字庫進(jìn)行的實驗，人工識別平均錯誤率是2.5%，專門針對該特定問題設(shè)計的層神經(jīng)網(wǎng)絡(luò)錯誤率為5.1%（其中利用了大量先驗知識），而用種方法采用3種SVM核函數(shù)得到的錯誤率分別為4.0%、4.1%和4.2%，且是直接采用1616的字符點陣作為輸入，表明了SVM的優(yōu)越性能。 手寫體數(shù)字09的特征可以分為結(jié)構(gòu)特征、統(tǒng)計特征等。在一些實驗中，SVM表明了對手寫漢字識別的有效性。支持向量機(jī)的應(yīng)用現(xiàn)狀貝爾實驗室對美國郵政手寫數(shù)字庫進(jìn)行的實驗無監(jiān)督機(jī)器學(xué)習(xí)無監(jiān)督分類聚類關(guān)聯(lián)規(guī)則無監(jiān)督機(jī)器學(xué)習(xí)無監(jiān)督分類聚類（Cluster）聚類目的在將相似的事物歸類。聚類分析又稱為“同質(zhì)分組”或者“無監(jiān)督的分類”，指把一組

23、數(shù)據(jù)分成不同的“簇”，每簇中的數(shù)據(jù)相似而不同簇間的數(shù)據(jù)則距離較遠(yuǎn)。相似性可以由用戶或者專家定義的距離函數(shù)加以度量。好的聚類方法應(yīng)保證不同類間數(shù)據(jù)的相似性盡可能地小，而類內(nèi)數(shù)據(jù)的相似性盡可能地大。 61聚類（Cluster）聚類目的在將相似的事物歸類。63聚類分析的基本思想是認(rèn)為所研究的數(shù)據(jù)集中的數(shù)據(jù)或者屬性之間存在著程度不同的相似性。于是從數(shù)據(jù)集中取出一批數(shù)據(jù)，具體找出一些能夠度量數(shù)據(jù)值之間或者屬性之間相似程度的量，以這些量為中心作為劃分類型的依據(jù)，把一些相似程度較大的數(shù)據(jù)或?qū)傩跃酆蠟橐活?，把另外一些彼此之間相似程度較大的樣品又聚合為另一類，關(guān)系密切的聚合到一個小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一

24、個大的分類單位，直到所有數(shù)據(jù)或?qū)傩远季酆贤戤?，把不同的類型一一劃分出來。聚類分析的基本思想是認(rèn)為所研究的數(shù)據(jù)集中的數(shù)據(jù)或者屬性之間存比較常用的距離： 絕對值距離歐氏距離明斯基距離比較常用的距離： 絕對值距離64Hierarchical Clustering層次聚類法該方法是利用距離矩陣作為分類標(biāo)準(zhǔn)，將n個樣品各作為一類；計算n個樣品兩兩之間的距離，構(gòu)成距離矩陣；合并距離最近的兩類為一新類；計算新類與當(dāng)前各類的距離；再合并、計算，直至只有一類為止。Step 0Step 1Step 2Step 3Step 4bdceaa bd ec d ea b c d eStep 4Step 3Step 2St

25、ep 1Step 0agglomerative(AGNES)divisive(DIANA)66Hierarchical Clustering層次聚類法K均值算法K均值（k-means）是一種簡便、實用的無監(jiān)督聚類分析算法。這種算法在已知簇的個數(shù)時，可很好地實現(xiàn)數(shù)據(jù)的聚類分析。 基本思想：（1）首先，隨機(jī)選擇k個數(shù)據(jù)點做為聚類中心（2）然后，計算其它點到這些聚類中心點的距離，通過對簇中距離平均值的計算，不斷改變這些聚類中心的位置，直到這些聚類中心不再變化為止。K均值算法K均值（k-means）是一種簡便、實用的無監(jiān)督聚K-Means Clustering K-均值聚類方法012345678910

26、012345678910012345678910012345678910K=2Arbitrarily choose K object as initial cluster centerAssign each objects to most similar centerUpdate the cluster meansUpdate the cluster meansreassignreassignK-Means Clustering K-均值聚類方法012K均值的流程由流程圖可知，k-均值算法是一種基于對數(shù)據(jù)集進(jìn)行劃分的方法進(jìn)行聚類的算法。它是不斷趨于最優(yōu)解的試探過程。每一次迭代都試圖使簇中心的選

27、擇更加接近于數(shù)據(jù)集的實際簇中心。輸出N輸入讀入標(biāo)準(zhǔn)化歸一化初始化簇計算簇平均值更改簇中心重新決定點歸何簇Y簇中心是否變化K均值的流程由流程圖可知，k-均值算法是一種基于對數(shù)據(jù)集進(jìn)最近鄰方法-分類最近鄰決策規(guī)則k-NN(1)已知N個已知類別樣本X(2)輸入未知類別樣本x(6) 判x2(3)計算x到xiX，(i=1,2,N)的距離di(x)(4)找出x的k個最近鄰元Xk=xi,i=1,2,k(5)看Xk中屬于哪一類的樣本最多k1=3 0，(i1，n)，則對任何事件BS，有 式子就稱為貝葉斯公式。貝葉斯定理回顧定理：設(shè)A1，, An是S的一個劃分，且P(Ai) 0例子：已知某種疾病的發(fā)病率為0.1%

28、, 該種疾病患者一個月以內(nèi)的死亡率為90%；且知未患該種疾病的人一個月以內(nèi)的死亡率為0.1%；現(xiàn)從人群中任意抽取一人，問此人在一個月內(nèi)死亡的概率是多少？若已知此人在一個月內(nèi)死亡，則此人是因該種疾病致死的概率為多少？貝葉斯定理回顧例子：已知某種疾病的發(fā)病率為0.1%, 該種疾病患者一個月以 貝葉斯公式給出了結(jié)果事件B已發(fā)生的條件下，原因?qū)儆谑录嗀i的條件概率. 從這個意義上講，它是一個“執(zhí)果索因”的條件概率計算公式.相對于事件B而言 ，概率論中把P(Ai)稱為先驗概率（Prior Probability），而把P(Ai|B)稱為后驗概率 （Posterior Probability），這是在已有

29、附加信息（即事件B已發(fā)生）之后對事件發(fā)生的可能性做出的重新認(rèn)識，體現(xiàn)了已有信息帶來的知識更新. 貝葉斯定理回顧 貝葉斯公式給出了結(jié)果事件B已發(fā)生的條件下，原因分類問題這個人會不會逃稅?稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是分類問題這個人會不會逃稅?稅號去年退稅婚姻狀況可征稅收入逃分類問題名稱胎生會飛水中生活有腿類別Human是否否是哺乳動物python否否否否非哺乳動物salmon否否是否非哺乳動物whale是否是否哺乳動

30、物frog否否有時是非哺乳動物komodo否否否是非哺乳動物bat是是否是哺乳動物pigeon否是否是非哺乳動物cat是否否是哺乳動物leopard_shark是否是否非哺乳動物turtle否否有時是非哺乳動物penguin否否有時是非哺乳動物porcupine是否否是哺乳動物eel否否是否非哺乳動物salamander否否有時是非哺乳動物gila_monster否否否是非哺乳動物platypus否否否是哺乳動物owl否是否是非哺乳動物dolphin是否是否哺乳動物eagle否是否是非哺乳動物胎生會飛水中生活有腿類別是否是否？分類問題名稱胎生會飛水中生活有腿類別Human是否否是哺乳貝葉斯分類

31、方法把每一個屬性（輸入） 和分類變量（輸出）都看作隨機(jī)變量對于具有屬性值(A1, A2,An)的觀測記錄目標(biāo)是預(yù)測類別C特別地, 我們想找能夠最大化P(C| A1, A2,An )的 C 值能否從直接數(shù)據(jù)中估計P(C| A1, A2,An )?貝葉斯分類方法把每一個屬性（輸入） 和分類變量（輸出）都看作方法:使用貝葉斯定理對于分類變量C的所有值計算后驗概率P(C | A1, A2, , An) ，選擇C 使得P(C | A1, A2, , An)最大等價于選擇C 使得 P(A1, A2, , An|C) P(C)最大如何估計P(A1, A2, , An | C )?貝葉斯分類方法方法:貝葉斯分

32、類方法簡單貝葉斯假設(shè)在給定的類別上屬性變量 Ai 相互獨立: P(A1, A2, , An |C) = P(A1| Cj) P(A2| Cj) P(An| Cj) 對所有的Ai 和 Cj計算P(Ai| Cj).如果對某一個Cj ，P(Cj) P(Ai| Cj) 最大，新的數(shù)據(jù)點就被分類到Cj 。簡單貝葉斯假設(shè)在給定的類別上屬性變量 Ai 相互獨立: 分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是類別: P(Ck) = N

33、k/N例如, P(C=否) = 7/10, P(C=是) = 3/10Nk是類別C=Ck.的數(shù)量對離散屬性: P(Ai | Ck) = |Aik|/ Nk |Aik| 是屬性值為Ai 且屬于Ck的記錄數(shù)量例如:P(婚姻狀況=婚姻中|否) = 4/7P(去年退稅=是|是)=0分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k對于連續(xù)屬性: (sqlserver不能處理連續(xù)型屬性)離散化 把屬性的范圍劃分為許多段： 每一段設(shè)定一個有序值 這樣會違反獨立性假設(shè)估計概率密度 假定屬性服從正態(tài)分布 估計該屬性分布的參數(shù) (例如, 均值和標(biāo)準(zhǔn)差) 在得到概率密度之后，我們可以使用它估計條件概率P

34、(Ai|c)分類問題1對于連續(xù)屬性: (sqlserver不能處理連續(xù)型屬性)分類稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻中100k否3否單身70k否4是婚姻中120k否5否離婚95k是6否婚姻中60k否7是離婚220k否8否單身85k是9否婚姻中75k否10否單身90k是每一對(Ai,ci)的正態(tài)分布:例如對于(收入,逃稅=否):在逃稅=否的情況下，可征稅收入的 樣本均值= 110 樣本方差= 2975分類問題1稅號去年退稅婚姻狀況可征稅收入逃稅1是單身125k否2否婚姻思路：看p（逃稅=否| X）是否大于p （逃稅=是| X）p（逃稅=否| X）=p（逃稅=否） P(X

35、|逃稅=否）/ p(B)p（逃稅=是| X）=p（逃稅=是） P(X|逃稅=是）/ p(B)P(X|逃稅=否）= P(去年退稅=否|逃稅=否) P(婚姻中| 逃稅=否) P(收入=120K| 逃稅=否)P(X|逃稅=是）=P(去年退稅=否| 逃稅=是) P(婚姻中| 逃稅=是) P(收入=120K| 逃稅=是)分類問題1思路：看p（逃稅=否| X）是否大于p （逃稅=是| X）分P(X|逃稅=否) = P(去年退稅=否|逃稅=否) P(婚姻中| 逃稅=否) P(收入=120K| 逃稅=否) = 4/7 4/7 0.0072 = 0.0024P(X|逃稅=是) = P(去年退稅=否| 逃稅=是)

36、 P(婚姻中| 逃稅=是) P(收入=120K| 逃稅=是) = 1 0 1.2 10-9 = 0因為： P(X|否)P(否) P(X|是)P(是) 0.0024*0.3 0*0.7 所以： P(否|X) P(是|X) = 逃稅 = 否P(X|逃稅=否) = P(去年退稅=否|逃稅=否) A: （胎生是，會飛否，水中生活是，有腿否）M: 哺乳動物N: 非哺乳動物P(A|M)P(M) P(A|N)P(N)= 哺乳動物分類問題名稱胎生會飛水中生活有腿類別Human是否否是哺乳動物python否否否否非哺乳動物salmon否否是否非哺乳動物whale是否是否哺乳動物frog否否有時是非哺乳動物komodo否否否是非哺乳動物bat是是否是哺乳動物pigeon否是否是非哺乳動物cat是否否是哺乳動物leopard_shark是否是否非哺乳動物turtle否否有時是非哺乳動物penguin否否有時是非哺乳動物porcupine是否否是哺乳動物eel否否是否非哺乳動物salamander否否有時是非哺乳動物gila_monster否否否是非哺乳動物platypus否否否是哺乳動物owl否是否是非哺乳動物dol