第十八章資料探勘技術(shù)

1、智勝文化事業(yè)有限公司製作 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 第十八章資料探勘技術(shù) 第十八章 資料探勘技術(shù) 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 本章大綱 q 第一節(jié) 導(dǎo)論 q 第二節(jié) 資料探勘的動(dòng)機(jī)及程序 q 第三節(jié) 資料探勘的分類技術(shù) q 第四節(jié) 資料探勘的相關(guān)分析技術(shù) q 第五節(jié) 時(shí)間相關(guān)的資料探勘技術(shù) q 第六節(jié) 資料探勘的應(yīng)用 q 第七節(jié) 結(jié)論 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 學(xué)習(xí)目標(biāo) q 資料探勘的基本概念 q 資料探勘的程序 q 資料探勘的常用技術(shù)，包括分類、關(guān)聯(lián)分析等 q 資

2、料探勘技術(shù)在建立企業(yè)智慧及決策支援系統(tǒng)的應(yīng)用 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的基本概念 q 建立企業(yè)智慧最主要的方法之一。 q 資料探勘是從資料中發(fā)掘知識的過程，亦有人稱為 l資料庫的知識挖掘(Knowledge Discovery in Databases, KDD) l資料考古學(xué)(Data Archaeology) l資料型態(tài)分析(Data Pattern Analysis) q 資料探勘的定義 l從大量資料中，尋找事前未知(previously unknown)、有效(valid)且可以付諸行動(dòng)(actionable) 之規(guī)

3、則或知識。 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的基本概念（續(xù)） q 資料探勘的常用技術(shù)，依其性質(zhì)分為三類 l分類技術(shù) l相關(guān)分析 l時(shí)間順序分析 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-1 資料探勘技術(shù)分類 Data Mining 技術(shù)應(yīng)用 分類技術(shù)相關(guān)分析時(shí)間相關(guān) 時(shí)間序列分析 順序相關(guān)分析 鏈結(jié)分析 關(guān)聯(lián)分析 集群分析 歸納分析 購物籃分析 金融信用分析 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的動(dòng)機(jī) q 瞭解過去經(jīng)營資料中

4、有用的可能關(guān)係 q 找出有助於未來經(jīng)營決策的知識 q 分析特定顧客的行為或市場的變化 q 對影響經(jīng)營的因素有深入的瞭解 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的程序 q 決定企業(yè)探勘資料的目的 q 資料收集與整合 q 選擇適當(dāng)?shù)馁Y料探勘技術(shù) q 結(jié)果分析 q 知識應(yīng)用 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-2 配合企業(yè)問題與資 料探勘技術(shù)的可能應(yīng)用 維繫客戶關(guān)係 避免客戶流失 穩(wěn)定流動(dòng)性高 的客戶 產(chǎn)品創(chuàng)新 定義 / 預(yù)測 流動(dòng)性高之 客戶 交叉行銷 企業(yè)問題 資料探勘任務(wù) 資料探勘

5、技術(shù) 新產(chǎn)品與市 場開發(fā) 產(chǎn)品搭配 分類分析 集群分析 聯(lián)結(jié)分析 次序相關(guān)分 析 企業(yè)策略 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的分類技術(shù) q 歸納分類 (Classification) q 集群分析(Clustering Analysis) 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 歸納分類 q 若一組資料共有N 類，分別為C1CN，而且一個(gè)案例 在Ci類的機(jī)率為P(Ci)，則計(jì)算該組資料的公式為 N 1i i2i )P(Clog)C(P)C(H 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文

6、化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 歸納分類（續(xù)） q H (C | Competition=Low) = p (Up | Competition=Low) log2(Up | Competition=Low) p (Down | Competition=Low) log2(Down |Competition=Low) = q H (C | Competition=High) = p (Up | Competition=High) log2(Up | Competition=High) p (Down | Competition=High) log2(Down |Competition=

7、High) = 6 2 log 6 2 6 4 log 6 4 4 3 log 4 3 4 1 log 4 1 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 歸納分類（續(xù)1） q 因?yàn)閼?yīng)用Competition加以分類後，會(huì)分成SalesUp及 SalesDown兩類。因此其分類的總值為 H (C | A) q 即以上例而言 H (C | Competition) 0.8752 M 1j jj )a|A(H)a(p 811. 0 10 4 918. 0 10 6 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18

8、-1 產(chǎn)品銷售分析 案例AgeCompetitionTypeSales 1OldLowSoftwareDown 2MidlifeHighSoftwareDown 3MidlifeLowHardwareUp 4OldLowHardwareDown 5NewLowHardwareUp 6NewLowSoftwareUp 7MidlifeLowSoftwareUp 8NewHighSoftwareUp 9MidlifeHighHardwareDown 10OldHighSoftwareDown 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-3 ID3產(chǎn)

9、生的決策樹 Age Old New Midlife Competition Down Up Low High Up Down 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 集群分析 q K平均演算法 l步驟1：隨機(jī)初始k個(gè)中心點(diǎn)m1, m2, ., mk。 l步驟2：將物件集合中的每個(gè)物件按照與k個(gè)中心 點(diǎn)的不相似性，將其歸屬於最相似中心點(diǎn)的集群 中。 l步驟3：針對每一個(gè)mi所代表的集群，計(jì)算這個(gè)集 群所有物件之各屬性的平均值，並以此向量取代 mi。 l步驟4：若所有中心點(diǎn)在步驟3中沒有更動(dòng)，則此 時(shí)已完成集群分析並停止執(zhí)行，否則跳至步驟2繼 續(xù)執(zhí)行。

10、 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-2 業(yè)務(wù)員年齡與業(yè)績 統(tǒng)計(jì) 編號年齡業(yè)績編號年齡業(yè)績 143597.31129744.1 221288.31230984.2 326652.1133459.3 424679.61427419.1 534600.41523558.8 627402.41629275.0 731805.11734559.9 836767.61845561.6 922956.81934385.4 1026352.22046368.5 業(yè)績單位:萬元 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資

11、料探勘技術(shù) 圖18-4 業(yè)務(wù)員年齡與業(yè)績 散佈圖 業(yè)務(wù)員年齡與業(yè)績散佈圖 0.0 200.0 400.0 600.0 800.0 1000.0 1200.0 01020304050 年齡 業(yè) 績 業(yè)績 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-3 三個(gè)集群的成員 業(yè)績量高業(yè)績量中業(yè)績量低 (31，805.1) (36，767.6) (22，956.8) (29，744.1) (30，984.2) (45，561.6) (43，597.3) (34，559.9) (27，419.1) (23，558.8) (26，652.1) (24，679.

12、6) (34，600.4) (29，275) (21，288.3) (27，402.4) (26，352.2) (34，59.3) (34，385.4) (46，368.5) （29.6，851.56）（32，578.6） （31，304.4） 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的相關(guān)分析技術(shù) q 關(guān)聯(lián)分析(Association Rule Analysis) l交易資料庫中每筆交易包含一些交易項(xiàng)目，關(guān)聯(lián)分 析的目的是由這些交易資料中，找出交易項(xiàng)目的相 關(guān)聯(lián)法則(association rule)。 q 鏈結(jié)分析(Link Analy

13、sis) l針對具有鏈結(jié)性的資料（如電話通信紀(jì)錄），將資 料以節(jié)點(diǎn)（Node，如電話號碼）及鏈結(jié)（Link，如 通話）來表達(dá)，並根據(jù)鏈結(jié)圖形找尋出具有某種特 性之資料，或圖形中隱含的關(guān)係。 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 關(guān)聯(lián)法則 q 以XY表示，其中X與Y分別為交易項(xiàng)目的集合，且 XY。關(guān)聯(lián)法則XY必須滿足下列兩個(gè)條件 lX和Y的所有交易項(xiàng)目的集合必須同時(shí)出現(xiàn)在至少 s%的交易中（其中s%稱之為最小支持率或 minimum support）。 l在所有包含X交易項(xiàng)目的交易中，至少有c%包含Y 的交易項(xiàng)目（其中c%稱之為最小信賴度或mini

14、mum confidence）。 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 鏈結(jié)分析 q 理論來自於圖形理論(Graph Theory) ，是屬於數(shù)學(xué) 理論的一支。 q 包含兩部分 l頂點(diǎn)（nodes，有時(shí)候稱為vertices） l稜線(edges) 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-5 兩個(gè)鏈結(jié)圖形例子 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-6 John 和 Mary的通話 MOU模式 John 10MOU 150MOU 30MOU

15、 20MOU 30MOU 5MOU5MOU 10MOU20MOU 20MOU 40MOU Mary 20MOU 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 鏈結(jié)分析的優(yōu)缺點(diǎn) q 優(yōu)點(diǎn) l可以將關(guān)係資本化 l在視覺化方面很有貢獻(xiàn) l創(chuàng)造出衍生的特性 q 缺點(diǎn) l無法應(yīng)用於多種類型的資料 l工具很少 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的相關(guān)技術(shù) q 順序型態(tài)分析(Sequential Pattern Analysis) l主要目的是找出事件發(fā)生的時(shí)間順序是否有某些固 定的規(guī)則可循。 q 演算法共包

16、括五個(gè)階段 l資料排序 l初步Litemset產(chǎn)生 l資料轉(zhuǎn)換 l順序?qū)ふ?l最大化確認(rèn) 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 圖18-7 順序型態(tài)分析 仁寶M頭型態(tài) 仁寶仁寶M M頭型態(tài)頭型態(tài) 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 資料探勘的相關(guān)技術(shù)（續(xù)） q 時(shí)間序列分析(Time Series Analysis) l針對依時(shí)間順序所記錄的資料所做的分析工作。 l有兩個(gè)主要目的 找出事件沿時(shí)間變化的情形，以便找出固定的 型態(tài)（如，銷售是否有季節(jié)性）。 由歷史資料中找出趨勢以便預(yù)測未來。 決策支援

17、系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-5 交易資料庫 客戶代號交易時(shí)間交易項(xiàng)目集合 1 1 88年1月25日 88年1月30日 C I 2 2 2 2 2 88年2月10日 88年3月15日 88年3月20日 88年4月21日 88年5月10日 A, B C D, F, G H K, J 388年9月10日C, E, G 4 4 88年6月25日 88年6月30日 C D, G 4 4 4 88年7月25日 88年8月11日 88年9月11日 I H, L J 588年6月12日I 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作

18、第十八章資料探勘技術(shù) 表18-6 顧客交易資料庫 顧客代號顧客交易順序(Sequence) 1 2 3 4 5 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-7 Litemsets與對應(yīng) 代號 Litemsets L1支持率Litemsets代號 (C) (D) (G) (D, G) (H) (I) (J) 80% 40% 60% 40% 40% 60% 40% 1 2 3 4 5 6 7 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-8 轉(zhuǎn)換後之顧客交易 資料庫 顧客代號轉(zhuǎn)換後之顧客交易順序以Li

19、temset代號表示 1 2 3 4 5 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-9 Large 2-Sequence的 集合 Large 2-Sequence (L2)支持率Large 2-Sequence (L2)支持率 40%40% 40%40% 40%40% 40%40% 40%40% 40%40% 40% 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) Large 3-Sequence(L3)的 集合 Large 3-Sequence (L3)支持率 40% 40% 40% 40% 40% 40% 40% 40% 40% 40% 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技術(shù) 表18-11 Large 4-Sequence （L4）的集合 Large 4-Sequence (L4)支持率 40% 40% 40% 決策支援系統(tǒng)與企業(yè)智慧 梁定澎 編著 智勝文化事業(yè)有限公司製作 第十八章資料探勘技