商務(wù)智能 第三章 數(shù)據(jù)挖掘概述

1、2022/7/29 The Institute of Business Intelligence, HFUT1/37第三章 數(shù)據(jù)挖掘概述1. DM背景和定義2. DM功能和過程3. DM現(xiàn)狀和發(fā)展趨勢2022/7/29 The Institute of Business Intelligence, HFUT2/37背景 數(shù)據(jù)挖掘是八十年代投資AI研究項(xiàng)目失敗后，AI轉(zhuǎn)入實(shí)際應(yīng)用時(shí)提出的。它是一個(gè)新興的，面向商業(yè)應(yīng)用的AI研究。(AI(Artificial Intelligence，人工智能) ) 1989年8月，在美國底特律召開的第11屆國際人工智能聯(lián)合會議的專題討論會上首次出現(xiàn)數(shù)據(jù)庫中的知識

2、發(fā)現(xiàn)（Knowledge Discovery in Database，KDD）這一術(shù)語。 隨后，在1991年、1993年和1994年都舉行KDD專題討論會，匯集來自各個(gè)領(lǐng)域的研究人員和應(yīng)用開發(fā)者，集中討論數(shù)據(jù)統(tǒng)計(jì)、海量數(shù)據(jù)分析算法、知識表示、知識運(yùn)用等問題。最初，數(shù)據(jù)挖掘是作為KDD中利用算法處理數(shù)據(jù)的一個(gè)步驟，其后逐漸演變成KDD的同義詞。 2022/7/29 The Institute of Business Intelligence, HFUT3/37背景 現(xiàn)在，人們往往不加區(qū)別地使用兩者。KDD常常被稱為數(shù)據(jù)挖掘（Data Mining），實(shí)際兩者是有區(qū)別的。一般將KDD中進(jìn)行知識學(xué)習(xí)

3、的階段稱為數(shù)據(jù)挖掘（Data Mining），數(shù)據(jù)挖掘是KDD中一個(gè)非常重要的處理步驟。 數(shù)據(jù)挖掘是近年來出現(xiàn)的客戶關(guān)系管理（Customer Relationship Management， CRM）、商業(yè)智能（Business Intelligence， BI）等熱點(diǎn)領(lǐng)域的核心技術(shù)之一。 2022/7/29 The Institute of Business Intelligence, HFUT4/37技術(shù)角度定義 數(shù)據(jù)挖掘（Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。與數(shù)據(jù)挖掘

4、相近的同義詞包括：數(shù)據(jù)融合、數(shù)據(jù)分析和決策支持等。 這一定義包括好幾層含義:數(shù)據(jù)源必須是真實(shí)的、海量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識;發(fā)現(xiàn)的知識要可接受、可理解、可運(yùn)用；并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識，僅支持特定的發(fā)現(xiàn)問題。2022/7/29 The Institute of Business Intelligence, HFUT5/37商業(yè)角度定義 數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性信息。 簡言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。因此，數(shù)據(jù)挖掘可以描述為:按企業(yè)既定業(yè)務(wù)目

5、標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證己知的規(guī)律性，并進(jìn)一步將其模型化的有效方法。 2022/7/29 The Institute of Business Intelligence, HFUT6/37Data mining contextBusiness intelligence modelLevels of data analysis methodhiddenshallowsurfacesimple database queriesstatistical analysis data mining 2022/7/29 The Institute of Business I

6、ntelligence, HFUT7/37數(shù)據(jù)挖掘的演化進(jìn)化階段商業(yè)問題支持技術(shù)產(chǎn)品廠家產(chǎn)品特點(diǎn)數(shù)據(jù)搜集(60年代)“過去五年中我的總收入是多少？”計(jì)算機(jī)、磁帶和磁盤IBM,CDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問(80年代)“在新英格蘭的分部去年三月的銷售額是多少？”關(guān)系數(shù)據(jù)庫（RDBMS），結(jié)構(gòu)化查詢語言（SQL），ODBC Oracle、Sybase、Informix、IBM、MicrosoftOracle、Sybase、Informix、IBM、Microsoft在記錄級提供歷史性的、動態(tài)數(shù)據(jù)信息數(shù)據(jù)倉庫；決策支持(90年代)“在新英格蘭的分部去年三月的銷售額是多少？波士頓據(jù)此可得出

7、什么結(jié)論？”聯(lián)機(jī)分析處理（OLAP）、多維數(shù)據(jù)庫、數(shù)據(jù)倉庫Pilot、Comshare、Arbor、Cognos、Microstrategy在各種層次上提供回溯的、動態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘（正在流行）“下個(gè)月波士頓的銷售會怎么樣？為什么？”高級算法、多處理器計(jì)算機(jī)、海量數(shù)據(jù)庫Pilot、Lockheed、IBM、SGI、其他初創(chuàng)公司提供預(yù)測性的信息2022/7/29 The Institute of Business Intelligence, HFUT8/37數(shù)據(jù)挖掘與其他科學(xué)的關(guān)系Data MiningDatabase TechnologyStatisticsOtherDisciplines

8、InformationScienceMachineLearningVisualization2022/7/29 The Institute of Business Intelligence, HFUT9/37數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)的關(guān)系 近幾年，人們逐漸發(fā)現(xiàn)數(shù)據(jù)挖掘中有許多工作都是由統(tǒng)計(jì)方法來完成的。甚至有些人（尤其是統(tǒng)計(jì)學(xué)家）認(rèn)為數(shù)據(jù)挖掘是統(tǒng)計(jì)學(xué)的一個(gè)分支，當(dāng)然大多數(shù)人（包括絕大多數(shù)數(shù)據(jù)挖掘研究人員）并不這么認(rèn)為。 但是，統(tǒng)計(jì)學(xué)和數(shù)據(jù)挖掘的目標(biāo)非常相似，而且數(shù)據(jù)挖掘中的許多算法也源于數(shù)理統(tǒng)計(jì)，統(tǒng)計(jì)學(xué)對數(shù)據(jù)挖掘發(fā)展的貢獻(xiàn)功不可沒。2022/7/29 The Institute of Business

9、 Intelligence, HFUT10/37數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計(jì)學(xué)的關(guān)系（1）數(shù)據(jù)挖掘的數(shù)據(jù)源與以前相比有了顯著的改變； 數(shù)據(jù)是海量的； 數(shù)據(jù)有噪聲； 數(shù)據(jù)可能是非結(jié)構(gòu)化的； （2）傳統(tǒng)的數(shù)據(jù)分析方法一般都是先給出一個(gè)假設(shè)然后通過數(shù)據(jù)驗(yàn)證，在一定意義上是假設(shè)驅(qū)動的；與之相反，數(shù)據(jù)挖掘在一定意義上是發(fā)現(xiàn)驅(qū)動的，模式都是通過大量的搜索工作從數(shù)據(jù)中自動提取出來 。即數(shù)據(jù)挖掘是要發(fā)現(xiàn)那些不能靠直覺發(fā)現(xiàn)的信息或知識，甚至是違背直覺的信息或知識，挖掘出的信息越是出乎意料，就可能越有價(jià)值。 2022/7/29 The Institute of Business Intelligence, HFUT11/3

10、7數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計(jì)學(xué)的關(guān)系 在缺乏強(qiáng)有力的數(shù)據(jù)分析工具而不能分析這些資源的情況下，歷史數(shù)據(jù)庫也就變成了“數(shù)據(jù)墳?zāi)埂崩锩娴臄?shù)據(jù)幾乎不再被訪問。 也就是說，極有價(jià)值的信息被“淹沒”在海量數(shù)據(jù)堆中，領(lǐng)導(dǎo)者決策時(shí)還只能憑自己的經(jīng)驗(yàn)和直覺。因此改進(jìn)原有的數(shù)據(jù)分析方法，使之能夠智能地處理海量數(shù)據(jù)，即演化為數(shù)據(jù)挖掘。2022/7/29 The Institute of Business Intelligence, HFUT12/37國外數(shù)據(jù)挖掘的現(xiàn)狀 IEEE的Knowledge and Data Engineering會刊率先在1993年出版了KDD技術(shù)?？２⑿杏?jì)算、計(jì)算機(jī)網(wǎng)絡(luò)和信息工程等其他領(lǐng)域的國

11、際學(xué)會、學(xué)刊也把數(shù)據(jù)挖掘和知識發(fā)現(xiàn)列為專題和專刊討論。數(shù)據(jù)挖掘已經(jīng)成了國際學(xué)術(shù)研究的重要熱點(diǎn)之一。 此外，在Internet上還有不少KDD電子出版物，其中以半月刊Knowledge Discovery Nuggets最為權(quán)威（/ subscribe.html）。在網(wǎng)上還有許多自由論壇，如DM Email Club等。 2022/7/29 The Institute of Business Intelligence, HFUT13/37國外數(shù)據(jù)挖掘的現(xiàn)狀2022/7/29 The Institute of Business Intelligence, HFUT14/37國外數(shù)據(jù)挖掘的現(xiàn)狀 自1

12、989年KDD術(shù)語出現(xiàn)以來，由美國人工智能協(xié)會主辦的KDD國際研討會已經(jīng)召開了10次以上，規(guī)模由原來的專題討論會發(fā)展到國際學(xué)術(shù)大會。而亞太地區(qū)也從1997開始舉行PAKDD年會。 2022/7/29 The Institute of Business Intelligence, HFUT15/37國內(nèi)數(shù)據(jù)挖掘的現(xiàn)狀 與國外相比，國內(nèi)對數(shù)據(jù)挖掘的研究起步稍晚，但發(fā)展勢頭強(qiáng)勁。 1993年，國家自然科學(xué)基金首次資助復(fù)旦大學(xué)對該領(lǐng)域的研究項(xiàng)目。 目前，國內(nèi)的許多科研單位和高等院校競相開展知識發(fā)現(xiàn)的基礎(chǔ)理論及其應(yīng)用研究。2022/7/29 The Institute of Business Intel

13、ligence, HFUT16/37主要功能 1. 概念/類別描述（Concept/Class Description） 概念/類別描述是指對數(shù)據(jù)集做一個(gè)簡潔的總體性描述并/或描述它與某一對照數(shù)據(jù)集的差別。 例1：我們收集移動電話費(fèi)月消費(fèi)額超出1000元的客戶資料，然后利用數(shù)據(jù)挖掘進(jìn)行分析，獲得這類客戶的總體性描述：3550歲，有工作，月收入5000元以上，擁有良好的信用度；2022/7/29 The Institute of Business Intelligence, HFUT17/37主要功能 1. 概念/類別描述（Concept/Class Description） 概念/類別描述是指

14、對數(shù)據(jù)集做一個(gè)簡潔的總體性描述并/或描述它與某一對照數(shù)據(jù)集的差別。 例2：對比移動電話費(fèi)月消費(fèi)額超出1000元的客戶群與移動電話費(fèi)月消費(fèi)額低于100元的客戶群。 利用數(shù)據(jù)挖掘可作出如下描述：移動電話月消費(fèi)額超出1000元的客戶80以上年齡在3550歲之間，且月收入5000元以上；而移動電話月消費(fèi)額低于100元的客戶60以上要么年齡過大要么年齡過小，且月收入2000元以下。2022/7/29 The Institute of Business Intelligence, HFUT18/37主要功能 2. 關(guān)聯(lián)分析（Association Analysis） 從一個(gè)項(xiàng)目集中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，該規(guī)則顯示

15、了給定數(shù)據(jù)集中經(jīng)常一起出現(xiàn)的屬性值條件元組。 例如：關(guān)聯(lián)規(guī)則X=Y所表達(dá)的含義是滿足X的數(shù)據(jù)庫元組很可能滿足Y。關(guān)聯(lián)分析在交易數(shù)據(jù)分析、支持定向市場、商品目錄設(shè)計(jì)和其他業(yè)務(wù)決策等方面有著廣泛的應(yīng)用。2022/7/29 The Institute of Business Intelligence, HFUT19/37主要功能3. 分類與估值（Classification and Estimation） 分類指通過分析一個(gè)類別已知的數(shù)據(jù)集的特征來建立一組模型，該模型可用以預(yù)測類別未知的數(shù)據(jù)項(xiàng)的類別。該分類模型可以表現(xiàn)為多種形式：分類規(guī)則（IF-THEN），決策樹或者數(shù)學(xué)公式，乃至神經(jīng)網(wǎng)絡(luò)。 估值與

16、分類類似，只不過它要預(yù)測的不是類別，而是一個(gè)連續(xù)的數(shù)值。 2022/7/29 The Institute of Business Intelligence, HFUT20/37主要功能4. 聚類分析（Clustering Analysis） 聚類分析又稱為“同質(zhì)分組”或者“無監(jiān)督的分類”，指把一組數(shù)據(jù)分成不同的“簇”，每簇中的數(shù)據(jù)相似而不同簇間的數(shù)據(jù)則距離較遠(yuǎn)。相似性可以由用戶或者專家定義的距離函數(shù)加以度量。 好的聚類方法應(yīng)保證不同類間數(shù)據(jù)的相似性盡可能地小，而類內(nèi)數(shù)據(jù)的相似性盡可能地大。 2022/7/29 The Institute of Business Intelligence, HF

17、UT21/37主要功能5. 時(shí)間序列分析（Time-Series Analysis） 時(shí)間序列分析即預(yù)測（Prediction），是指通過對大量時(shí)間序列數(shù)據(jù)的分析找到特定的規(guī)則和感興趣的特性，包括搜索相似序列或者子序列，挖掘序列模式、周期性、趨勢和偏差。預(yù)測的目的是對未來的情況作出估計(jì)。 2022/7/29 The Institute of Business Intelligence, HFUT22/37主要功能6. 其它功能 包括：偏差分析（Deviation Analysis）、孤立點(diǎn)分析（Outlier Analysis）等。 隨著數(shù)據(jù)挖掘技術(shù)的發(fā)展，可能還會繼續(xù)出現(xiàn)新的數(shù)據(jù)挖掘功能。

18、2022/7/29 The Institute of Business Intelligence, HFUT23/37數(shù)據(jù)挖掘模型 為了使數(shù)據(jù)挖掘技術(shù)在產(chǎn)業(yè)界得到更好的應(yīng)用，歐洲委員會聯(lián)合一些數(shù)據(jù)挖掘軟件廠商開發(fā)了CRISP-DM（Cross Industry Standard Process for Data Mining）模型，目的是把數(shù)據(jù)挖掘的過程標(biāo)準(zhǔn)化, 使數(shù)據(jù)挖掘項(xiàng)目的實(shí)施速度更快、成本更低、更可靠并且更容易管理。 CRISP-DM模型最先在1996年被提出，當(dāng)前的白皮書版本是1.0。2022/7/29 The Institute of Business Intelligence,

19、HFUT24/37CRISP-DM（Cross Industry Standard Process for Data Mining）模型2022/7/29 The Institute of Business Intelligence, HFUT25/37數(shù)據(jù)挖掘模型 CRISP-DM模型中，數(shù)據(jù)挖掘包括六個(gè)步驟： 1.業(yè)務(wù)理解（Business Understanding）階段 具體地，包括： 確定業(yè)務(wù)目標(biāo) 項(xiàng)目可行性分析 確定數(shù)據(jù)挖掘目標(biāo) 提出初步的項(xiàng)目計(jì)劃2022/7/29 The Institute of Business Intelligence, HFUT26/37數(shù)據(jù)挖掘模型 確定

20、業(yè)務(wù)目標(biāo)：分析項(xiàng)目的背景，從業(yè)務(wù)視點(diǎn)分析項(xiàng)目的目標(biāo)和需求，確定業(yè)務(wù)角度的成功標(biāo)準(zhǔn)； 項(xiàng)目可行性分析：分析擁有的資源，條件和限制，風(fēng)險(xiǎn)估計(jì)，成本和效益估計(jì)； 確定數(shù)據(jù)挖掘目標(biāo)：明確確定數(shù)據(jù)挖掘的目標(biāo)和成功標(biāo)準(zhǔn)，數(shù)據(jù)挖掘的目標(biāo)和業(yè)務(wù)目標(biāo)是不一樣的，前者指技術(shù)上的，例如生成一棵決策樹等； 提出項(xiàng)目計(jì)劃：對整個(gè)項(xiàng)目做一個(gè)計(jì)劃，初步估計(jì)用到的工具和技術(shù)2022/7/29 The Institute of Business Intelligence, HFUT27/37數(shù)據(jù)挖掘模型2數(shù)據(jù)理解（Data Understanding）階段。具體地，包括：收集原始數(shù)據(jù)：收集本項(xiàng)目所涉及到的數(shù)據(jù)，如有必要，把數(shù)據(jù)

21、裝入數(shù)據(jù)處理工具，并作一些初步的數(shù)據(jù)集成的工作，生成相應(yīng)報(bào)告;描述數(shù)據(jù)：對數(shù)據(jù)做一些大致的描述，例如記錄數(shù)、屬性數(shù)等，給出相應(yīng)報(bào)告；探索數(shù)據(jù)：對數(shù)據(jù)做簡單的統(tǒng)計(jì)分析，例如關(guān)鍵屬性的分布等；檢查數(shù)據(jù)質(zhì)量：包括數(shù)據(jù)是否完整、數(shù)據(jù)是否有錯(cuò)、是否有缺失值等問題。2022/7/29 The Institute of Business Intelligence, HFUT28/37數(shù)據(jù)挖掘模型3數(shù)據(jù)準(zhǔn)備（Data Preparation）階段。具體地，包括： 數(shù)據(jù)選擇：根據(jù)數(shù)據(jù)挖掘目標(biāo)和數(shù)據(jù)質(zhì)量選擇合適的數(shù)據(jù)，包括表的選擇、記錄選擇和屬性選擇； 數(shù)據(jù)清潔：提高選擇好的數(shù)據(jù)的質(zhì)量，例如去除噪音，估計(jì)缺失值等

22、； 數(shù)據(jù)創(chuàng)建：在原有數(shù)據(jù)的基礎(chǔ)上是生成新的屬性或記錄； 數(shù)據(jù)合并：利用表連接等方式將幾個(gè)數(shù)據(jù)集合并在一起； 數(shù)據(jù)格式化：把數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)挖掘處理的格式。2022/7/29 The Institute of Business Intelligence, HFUT29/37數(shù)據(jù)挖掘模型4建立模型（Modeling）階段 。具體地，包括： 選擇建模技術(shù)：確定數(shù)據(jù)挖掘算法和參數(shù)，可能會利用多個(gè)算法； 測試方案設(shè)計(jì)：設(shè)計(jì)某種測試模型的質(zhì)量和有效性的機(jī)制； 模型訓(xùn)練：在準(zhǔn)備好的數(shù)據(jù)集上運(yùn)行數(shù)據(jù)挖掘算法，得出一個(gè)或者多個(gè)模型； 模型測試評估：根據(jù)測試方案進(jìn)行測試，從數(shù)據(jù)挖掘技術(shù)的角度確定數(shù)據(jù)挖掘目標(biāo)是否

23、成功。 2022/7/29 The Institute of Business Intelligence, HFUT30/37數(shù)據(jù)挖掘模型5模型評估（Evaluation）階段 。具體地，包括： 結(jié)果評估：從商業(yè)角度評估得到的模型，甚至實(shí)際試用該模型測試其效果； 過程回顧：回顧項(xiàng)目的所有流程，確定每一個(gè)階段都沒有失誤； 確定下一步工作：根據(jù)結(jié)果評估和過程回顧得出的結(jié)論，確定是部署該挖掘模型還是從某個(gè)階段開始重新開始。 2022/7/29 The Institute of Business Intelligence, HFUT31/37數(shù)據(jù)挖掘模型6部署（Deployment）階段 。具體地，包

24、括： 部署計(jì)劃：對在業(yè)務(wù)運(yùn)作中部署模型作出計(jì)劃； 監(jiān)控和維護(hù)計(jì)劃：如何監(jiān)控模型在實(shí)際業(yè)務(wù)中的使用情況，如何維護(hù)該模型； 作出最終報(bào)告：項(xiàng)目總結(jié)，項(xiàng)目經(jīng)驗(yàn)和項(xiàng)目結(jié)果； 項(xiàng)目回顧：回顧項(xiàng)目的實(shí)施過程，總結(jié)經(jīng)驗(yàn)教訓(xùn)；對數(shù)據(jù)挖掘的運(yùn)行效果做一個(gè)預(yù)測。 2022/7/29 The Institute of Business Intelligence, HFUT32/37數(shù)據(jù)挖掘模型 為保證項(xiàng)目的可靠性和可管理性，CRISP-DM規(guī)定一個(gè)數(shù)據(jù)挖掘項(xiàng)目應(yīng)該產(chǎn)生11個(gè)報(bào)告： 業(yè)務(wù)理解報(bào)告 原始數(shù)據(jù)收集報(bào)告 數(shù)據(jù)描述報(bào)告 數(shù)據(jù)探索報(bào)告 數(shù)據(jù)質(zhì)量報(bào)告 數(shù)據(jù)集描述報(bào)告 模型訓(xùn)練報(bào)告 模型評估報(bào)告 部署計(jì)劃 監(jiān)控和維護(hù)計(jì)劃 總結(jié)報(bào)告 通過這些報(bào)告，可以有效地控制數(shù)據(jù)挖掘項(xiàng)目進(jìn)程，減少開發(fā)風(fēng)險(xiǎn)。 2022/7/29 The Institute of Business Intelligence, HFUT33/37數(shù)據(jù)挖掘過程Data CleaningData IntegrationDatabasesData WarehouseK