決策樹學(xué)習(xí)ppt課件

1、一.例如學(xué)習(xí) 例如學(xué)習(xí)也稱實(shí)例學(xué)習(xí), 它是一種歸納學(xué)習(xí)。例如學(xué)習(xí)是從假設(shè)干實(shí)例(包括正例和反例)中歸納出普通概念或規(guī)那么的學(xué)習(xí)方法。 第一個(gè)拱橋的語義網(wǎng)絡(luò) 第二個(gè)拱橋的語義網(wǎng)絡(luò). 學(xué)習(xí)程序歸納出的語義網(wǎng)絡(luò) 拱橋概念的語義網(wǎng)絡(luò) .例 1 假設(shè)例如空間中有橋牌中同花概念的兩個(gè)例如: 例如1： 花樣(c1，梅花)花樣(c2，梅花)花樣(c3，梅花)花樣(c4，梅花)同花(c1，c2，c3，c4) 例如2： 花樣(c1，紅桃)花樣(c2，紅桃)花樣(c3，紅桃)花樣(c4，紅桃)同花(c1，c2，c3，c4) 關(guān)于同花的普通性規(guī)那么: 花樣(c1，x)花樣(c2，x)花樣(c3，x)花樣(c4，x)同

2、花(c1，c2，c3，c4).對(duì)于這個(gè)問題可采用通常的曲線擬合技術(shù)，歸納出規(guī)那么： (x，y，2x+3y+1)即 z2x3y1例2 假設(shè)例如空間存放有如下的三個(gè)例如： 例如1：(0，2，7) 例如2：(6，-1，10) 例如3：(-1，-5，-10) 這是三個(gè)3維向量，表示空間中的三個(gè)點(diǎn)?，F(xiàn)要求求出過這三點(diǎn)的曲線。.二.決策樹學(xué)習(xí) 1什么是決策樹 決策樹(decision tree)也稱斷定樹，它是由對(duì)象的假設(shè)干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點(diǎn)為屬性普通為言語變量，分枝為相應(yīng)的屬性值普通為言語值。從同一節(jié)點(diǎn)出發(fā)的各個(gè)分枝之間是邏輯“或關(guān)系；根節(jié)點(diǎn)為對(duì)象的某一個(gè)屬性；從根節(jié)點(diǎn)到每一

3、個(gè)葉子節(jié)點(diǎn)的一切節(jié)點(diǎn)和邊，按順序串連成一條分枝途徑，位于同一條分枝途徑上的各個(gè)“屬性-值對(duì)之間是邏輯“與關(guān)系，葉子節(jié)點(diǎn)為這個(gè)與關(guān)系的對(duì)應(yīng)結(jié)果，即決策。. 決策樹表示圖 .例3 以下圖所示是機(jī)場(chǎng)指揮臺(tái)關(guān)于飛機(jī)起飛的簡(jiǎn)單決策樹。 .例4 以下圖是一個(gè)描畫“兔子概念的決策樹。 .2. 怎樣學(xué)習(xí)決策樹 決策樹學(xué)習(xí)的根本方法和步驟：首先，選取一個(gè)屬性，按這個(gè)屬性的不同取值對(duì)實(shí)例集進(jìn)展分類；并以該屬性作為根節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為根節(jié)點(diǎn)的分枝，進(jìn)展畫樹。然后，調(diào)查所得的每一個(gè)子類，看其中的實(shí)例的結(jié)論能否完全一樣。假設(shè)完全一樣，那么以這個(gè)一樣的結(jié)論作為相應(yīng)分枝途徑末端的葉子節(jié)點(diǎn)；否那么，選取一個(gè)非父節(jié)點(diǎn)

4、的屬性，按這個(gè)屬性的不同取值對(duì)該子集進(jìn)展分類，并以該屬性作為節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為節(jié)點(diǎn)的分枝，繼續(xù)進(jìn)展畫樹。如此繼續(xù)，直到所分的子集全都滿足：實(shí)例結(jié)論完全一樣，而得到一切的葉子節(jié)點(diǎn)為止。 . 決策樹學(xué)習(xí)舉例 設(shè)表1 所示的是某保險(xiǎn)公司的汽車駕駛保險(xiǎn)類別劃分的部分事例。我們將這張表作為一個(gè)實(shí)例集，用決策樹學(xué)習(xí)來歸納該保險(xiǎn)公司的汽車駕駛保險(xiǎn)類別劃分規(guī)那么。 .表1 汽車駕駛保險(xiǎn)類別劃分實(shí)例集 . 將實(shí)例集簡(jiǎn)記為S=(1,C), (2,C), (3,C), (4,B), (5,A), (6,A), (7,C), (8,B), (9,A), (10,A), (11,B), (12,B) 其中每個(gè)

5、元組表示一個(gè)實(shí)例，前面的數(shù)字為實(shí)例序號(hào)，后面的字母為實(shí)例的決策項(xiàng)保險(xiǎn)類別。 用 “小、“中、“大 分別代表 “21、“21且25、“25 這三個(gè)年齡段。. 對(duì)于S，我們按屬性“性別的不同取值將其分類。由表1 可見，這時(shí)S應(yīng)被分類為兩個(gè)子集：S1= (3,C), (4,B), (7,C), (8,B), (11,B), (12,B)S2=(1,C), (2,C), (5,A), (6,A), (9,A), (10,A) 于是，我們得到以性別作為根節(jié)點(diǎn)的部分決策樹見以下圖。. 決策樹生成過程 . 決策樹生成過程 . 決策樹生成過程 .最后生成的 決策樹 . 由決策樹所得的規(guī)那么集： 女性且年齡在2

6、5歲以上，那么給予A類保險(xiǎn)； 女性且年齡在21歲到25歲之間，那么給予A類保險(xiǎn)； 女性且年齡在21歲以下，那么給予C類保險(xiǎn)； 男性且年齡在25歲以上，那么給予B類保險(xiǎn)； 男性且年齡在21歲到25歲之間且未婚，那么給予C類保險(xiǎn)； 男性且年齡在21歲到25歲之間且已婚，那么給予B類保險(xiǎn)； 男性且年齡在21歲以下且未婚，那么給予C類保險(xiǎn)； 男性且年齡在21歲以下且已婚，那么給予B類保險(xiǎn)。. 3. ID3算法 ID3算法是一個(gè)經(jīng)典的決策樹學(xué)習(xí)算法，由Quinlan于1979年提出。ID3算法的根本思想是，以信息熵為度量，用于決策樹節(jié)點(diǎn)的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變成最小的屬性

7、，以構(gòu)造一棵熵值下降最快的決策樹，到葉子節(jié)點(diǎn)處的熵值為0。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類。.1信息熵和條件熵 設(shè)S是一個(gè)實(shí)例集(S也可以是子實(shí)例集),A為S中實(shí)例的一個(gè)屬性。H(S)和H(S|A)分別稱為實(shí)例集S的信息熵和條件熵, 其計(jì)算公式如下: 其中,i(i=1, 2, , n)為S中各實(shí)例一切能夠的結(jié)論；lb即log2。 其中,ak(k=1, 2, , m)為屬性A的取值, Sak為按屬性A對(duì)實(shí)例集S進(jìn)展分類時(shí)所得諸子類中與屬性值ak對(duì)應(yīng)的那個(gè)子類。. 2基于條件熵的屬性選擇.按性別劃分, 實(shí)例集S被分為兩個(gè)子類: S男 =(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)S女 =(1,C), (2,C), (5,A), (6,A), (9,A), (10,A) 從而, 對(duì)子集S男而言,