商務(wù)智能-Chapter03-DataMining Overview學(xué)習(xí)課件

商務(wù)智能伍章俊智能商務(wù)研究所wuzhangjun@2025/2/27?

TheInstituteofBusinessIntelligence,HFUT2/37第三章數(shù)據(jù)挖掘概述1.DM背景和定義2.DM功能和過程3.DM現(xiàn)狀和發(fā)展趨勢(shì)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT3/37背景

數(shù)據(jù)挖掘是八十年代投資AI研究項(xiàng)目失敗后，AI轉(zhuǎn)入實(shí)際應(yīng)用時(shí)提出的。它是一個(gè)新興的，面向商業(yè)應(yīng)用的AI研究。(AI(ArtificialIntelligence，人工智能))1989年8月，在美國底特律召開的第11屆國際人工智能聯(lián)合會(huì)議的專題討論會(huì)上首次出現(xiàn)數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase，KDD）這一術(shù)語。隨后，在1991年、1993年和1994年都舉行KDD專題討論會(huì)，匯集來自各個(gè)領(lǐng)域的研究人員和應(yīng)用開發(fā)者，集中討論數(shù)據(jù)統(tǒng)計(jì)、海量數(shù)據(jù)分析算法、知識(shí)表示、知識(shí)運(yùn)用等問題。最初，數(shù)據(jù)挖掘是作為KDD中利用算法處理數(shù)據(jù)的一個(gè)步驟，其后逐漸演變成KDD的同義詞。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT4/37背景

現(xiàn)在，人們往往不加區(qū)別地使用兩者。KDD常常被稱為數(shù)據(jù)挖掘（DataMining），實(shí)際兩者是有區(qū)別的。一般將KDD中進(jìn)行知識(shí)學(xué)習(xí)的階段稱為數(shù)據(jù)挖掘（DataMining），數(shù)據(jù)挖掘是KDD中一個(gè)非常重要的處理步驟。數(shù)據(jù)挖掘是近年來出現(xiàn)的客戶關(guān)系管理（CustomerRelationshipManagement，CRM）、商業(yè)智能（BusinessIntelligence，BI）等熱點(diǎn)領(lǐng)域的核心技術(shù)之一。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT5/37技術(shù)角度定義數(shù)據(jù)挖掘（DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。與數(shù)據(jù)挖掘相近的同義詞包括：數(shù)據(jù)融合、數(shù)據(jù)分析和決策支持等。這一定義包括好幾層含義:數(shù)據(jù)源必須是真實(shí)的、海量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識(shí);發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用；并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問題。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT6/37商業(yè)角度定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性信息。簡言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。因此，數(shù)據(jù)挖掘可以描述為:按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證己知的規(guī)律性，并進(jìn)一步將其模型化的有效方法。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT7/37DataminingcontextBusinessintelligencemodelLevelsofdataanalysismethodhiddenshallowsurfacesimpledatabasequeriesstatisticalanalysis

datamining

2025/2/27?

TheInstituteofBusinessIntelligence,HFUT8/37數(shù)據(jù)挖掘的演化進(jìn)化階段商業(yè)問題支持技術(shù)產(chǎn)品廠家產(chǎn)品特點(diǎn)數(shù)據(jù)搜集

(60年代)“過去五年中我的總收入是多少？”計(jì)算機(jī)、磁帶和磁盤IBM,CDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問

(80年代)“在新英格蘭的分部去年三月的銷售額是多少？”關(guān)系數(shù)據(jù)庫（RDBMS），結(jié)構(gòu)化查詢語言（SQL），ODBCOracle、Sybase、Informix、IBM、MicrosoftOracle、Sybase、Informix、IBM、Microsoft在記錄級(jí)提供歷史性的、動(dòng)態(tài)數(shù)據(jù)信息數(shù)據(jù)倉庫；

決策支持

(90年代)“在新英格蘭的分部去年三月的銷售額是多少？波士頓據(jù)此可得出什么結(jié)論？”聯(lián)機(jī)分析處理（OLAP）、多維數(shù)據(jù)庫、數(shù)據(jù)倉庫Pilot、Comshare、Arbor、Cognos、Microstrategy在各種層次上提供回溯的、動(dòng)態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘

（正在流行）“下個(gè)月波士頓的銷售會(huì)怎么樣？為什么？”高級(jí)算法、多處理器計(jì)算機(jī)、海量數(shù)據(jù)庫Pilot、Lockheed、IBM、SGI、其他初創(chuàng)公司提供預(yù)測(cè)性的信息2025/2/27?

TheInstituteofBusinessIntelligence,HFUT9/37數(shù)據(jù)挖掘與其他科學(xué)的關(guān)系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearningVisualization2025/2/27?

TheInstituteofBusinessIntelligence,HFUT10/37數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)的關(guān)系近幾年，人們逐漸發(fā)現(xiàn)數(shù)據(jù)挖掘中有許多工作都是由統(tǒng)計(jì)方法來完成的。甚至有些人（尤其是統(tǒng)計(jì)學(xué)家）認(rèn)為數(shù)據(jù)挖掘是統(tǒng)計(jì)學(xué)的一個(gè)分支，當(dāng)然大多數(shù)人（包括絕大多數(shù)數(shù)據(jù)挖掘研究人員）并不這么認(rèn)為。但是，統(tǒng)計(jì)學(xué)和數(shù)據(jù)挖掘的目標(biāo)非常相似，而且數(shù)據(jù)挖掘中的許多算法也源于數(shù)理統(tǒng)計(jì)，統(tǒng)計(jì)學(xué)對(duì)數(shù)據(jù)挖掘發(fā)展的貢獻(xiàn)功不可沒。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT11/37數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計(jì)學(xué)的關(guān)系（1）數(shù)據(jù)挖掘的數(shù)據(jù)源與以前相比有了顯著的改變；數(shù)據(jù)是海量的；數(shù)據(jù)有噪聲；數(shù)據(jù)可能是非結(jié)構(gòu)化的；（2）傳統(tǒng)的數(shù)據(jù)分析方法一般都是先給出一個(gè)假設(shè)然后通過數(shù)據(jù)驗(yàn)證，在一定意義上是假設(shè)驅(qū)動(dòng)的；與之相反，數(shù)據(jù)挖掘在一定意義上是發(fā)現(xiàn)驅(qū)動(dòng)的，模式都是通過大量的搜索工作從數(shù)據(jù)中自動(dòng)提取出來。即數(shù)據(jù)挖掘是要發(fā)現(xiàn)那些不能靠直覺發(fā)現(xiàn)的信息或知識(shí)，甚至是違背直覺的信息或知識(shí)，挖掘出的信息越是出乎意料，就可能越有價(jià)值。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT12/37數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計(jì)學(xué)的關(guān)系在缺乏強(qiáng)有力的數(shù)據(jù)分析工具而不能分析這些資源的情況下，歷史數(shù)據(jù)庫也就變成了“數(shù)據(jù)墳?zāi)埂保锩娴臄?shù)據(jù)幾乎不再被訪問。

也就是說，極有價(jià)值的信息被“淹沒”在海量數(shù)據(jù)堆中，領(lǐng)導(dǎo)者決策時(shí)還只能憑自己的經(jīng)驗(yàn)和直覺。因此改進(jìn)原有的數(shù)據(jù)分析方法，使之能夠智能地處理海量數(shù)據(jù)，即演化為數(shù)據(jù)挖掘。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT13/37國外數(shù)據(jù)挖掘的現(xiàn)狀

IEEE的KnowledgeandDataEngineering會(huì)刊率先在1993年出版了KDD技術(shù)專刊。并行計(jì)算、計(jì)算機(jī)網(wǎng)絡(luò)和信息工程等其他領(lǐng)域的國際學(xué)會(huì)、學(xué)刊也把數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)列為專題和?？懻摗?shù)據(jù)挖掘已經(jīng)成了國際學(xué)術(shù)研究的重要熱點(diǎn)之一。此外，在Internet上還有不少KDD電子出版物，其中以半月刊KnowledgeDiscoveryNuggets最為權(quán)威（/subscribe.html）。在網(wǎng)上還有許多自由論壇，如DMEmailClub等。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT14/37國外數(shù)據(jù)挖掘的現(xiàn)狀2025/2/27?

TheInstituteofBusinessIntelligence,HFUT15/37國外數(shù)據(jù)挖掘的現(xiàn)狀自1989年KDD術(shù)語出現(xiàn)以來，由美國人工智能協(xié)會(huì)主辦的KDD國際研討會(huì)已經(jīng)召開了10次以上，規(guī)模由原來的專題討論會(huì)發(fā)展到國際學(xué)術(shù)大會(huì)。而亞太地區(qū)也從1997開始舉行PAKDD年會(huì)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT16/37國內(nèi)數(shù)據(jù)挖掘的現(xiàn)狀與國外相比，國內(nèi)對(duì)數(shù)據(jù)挖掘的研究起步稍晚，但發(fā)展勢(shì)頭強(qiáng)勁。

1993年，國家自然科學(xué)基金首次資助復(fù)旦大學(xué)對(duì)該領(lǐng)域的研究項(xiàng)目。目前，國內(nèi)的許多科研單位和高等院校競相開展知識(shí)發(fā)現(xiàn)的基礎(chǔ)理論及其應(yīng)用研究。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT17/37主要功能

1.概念/類別描述（Concept/ClassDescription）概念/類別描述是指對(duì)數(shù)據(jù)集做一個(gè)簡潔的總體性描述并/或描述它與某一對(duì)照數(shù)據(jù)集的差別。

例1：我們收集移動(dòng)電話費(fèi)月消費(fèi)額超出1000元的客戶資料，然后利用數(shù)據(jù)挖掘進(jìn)行分析，獲得這類客戶的總體性描述：35－50歲，有工作，月收入5000元以上，擁有良好的信用度…；2025/2/27?

TheInstituteofBusinessIntelligence,HFUT18/37主要功能

1.概念/類別描述（Concept/ClassDescription）概念/類別描述是指對(duì)數(shù)據(jù)集做一個(gè)簡潔的總體性描述并/或描述它與某一對(duì)照數(shù)據(jù)集的差別。

例2：對(duì)比移動(dòng)電話費(fèi)月消費(fèi)額超出1000元的客戶群與移動(dòng)電話費(fèi)月消費(fèi)額低于100元的客戶群。利用數(shù)據(jù)挖掘可作出如下描述：移動(dòng)電話月消費(fèi)額超出1000元的客戶80％以上年齡在35－50歲之間，且月收入5000元以上；而移動(dòng)電話月消費(fèi)額低于100元的客戶60％以上要么年齡過大要么年齡過小，且月收入2000元以下。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT19/37主要功能

2.關(guān)聯(lián)分析（AssociationAnalysis）從一個(gè)項(xiàng)目集中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，該規(guī)則顯示了給定數(shù)據(jù)集中經(jīng)常一起出現(xiàn)的屬性－值條件元組。

例如：關(guān)聯(lián)規(guī)則X=>Y所表達(dá)的含義是滿足X的數(shù)據(jù)庫元組很可能滿足Y。關(guān)聯(lián)分析在交易數(shù)據(jù)分析、支持定向市場(chǎng)、商品目錄設(shè)計(jì)和其他業(yè)務(wù)決策等方面有著廣泛的應(yīng)用。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT20/37主要功能3.分類與估值（ClassificationandEstimation）分類指通過分析一個(gè)類別已知的數(shù)據(jù)集的特征來建立一組模型，該模型可用以預(yù)測(cè)類別未知的數(shù)據(jù)項(xiàng)的類別。該分類模型可以表現(xiàn)為多種形式：分類規(guī)則（IF-THEN），決策樹或者數(shù)學(xué)公式，乃至神經(jīng)網(wǎng)絡(luò)。估值與分類類似，只不過它要預(yù)測(cè)的不是類別，而是一個(gè)連續(xù)的數(shù)值。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT21/37主要功能4.聚類分析（ClusteringAnalysis）聚類分析又稱為“同質(zhì)分組”或者“無監(jiān)督的分類”，指把一組數(shù)據(jù)分成不同的“簇”，每簇中的數(shù)據(jù)相似而不同簇間的數(shù)據(jù)則距離較遠(yuǎn)。相似性可以由用戶或者專家定義的距離函數(shù)加以度量。好的聚類方法應(yīng)保證不同類間數(shù)據(jù)的相似性盡可能地小，而類內(nèi)數(shù)據(jù)的相似性盡可能地大。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT22/37主要功能5.時(shí)間序列分析（Time-SeriesAnalysis）時(shí)間序列分析即預(yù)測(cè)（Prediction），是指通過對(duì)大量時(shí)間序列數(shù)據(jù)的分析找到特定的規(guī)則和感興趣的特性，包括搜索相似序列或者子序列，挖掘序列模式、周期性、趨勢(shì)和偏差。預(yù)測(cè)的目的是對(duì)未來的情況作出估計(jì)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT23/37主要功能6.其它功能

包括：偏差分析（DeviationAnalysis）、孤立點(diǎn)分析（OutlierAnalysis）等。隨著數(shù)據(jù)挖掘技術(shù)的發(fā)展，可能還會(huì)繼續(xù)出現(xiàn)新的數(shù)據(jù)挖掘功能。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT24/37數(shù)據(jù)挖掘模型為了使數(shù)據(jù)挖掘技術(shù)在產(chǎn)業(yè)界得到更好的應(yīng)用，歐洲委員會(huì)聯(lián)合一些數(shù)據(jù)挖掘軟件廠商開發(fā)了CRISP-DM（CrossIndustryStandardProcessforDataMining）模型，目的是把數(shù)據(jù)挖掘的過程標(biāo)準(zhǔn)化,使數(shù)據(jù)挖掘項(xiàng)目的實(shí)施速度更快、成本更低、更可靠并且更容易管理。

CRISP-DM模型最先在1996年被提出，當(dāng)前的白皮書版本是1.0。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT25/37CRISP-DM（CrossIndustryStandardProcessforDataMining）模型2025/2/27?

TheInstituteofBusinessIntelligence,HFUT26/37數(shù)據(jù)挖掘模型

CRISP-DM模型中，數(shù)據(jù)挖掘包括六個(gè)步驟：

1.業(yè)務(wù)理解（BusinessUnderstanding）階段具體地，包括：確定業(yè)務(wù)目標(biāo)項(xiàng)目可行性分析確定數(shù)據(jù)挖掘目標(biāo)提出初步的項(xiàng)目計(jì)劃2025/2/27?

TheInstituteofBusinessIntelligence,HFUT27/37數(shù)據(jù)挖掘模型確定業(yè)務(wù)目標(biāo)：分析項(xiàng)目的背景，從業(yè)務(wù)視點(diǎn)分析項(xiàng)目的目標(biāo)和需求，確定業(yè)務(wù)角度的成功標(biāo)準(zhǔn)；項(xiàng)目可行性分析：分析擁有的資源，條件和限制，風(fēng)險(xiǎn)估計(jì)，成本和效益估計(jì)；確定數(shù)據(jù)挖掘目標(biāo)：明確確定數(shù)據(jù)挖掘的目標(biāo)和成功標(biāo)準(zhǔn)，數(shù)據(jù)挖掘的目標(biāo)和業(yè)務(wù)目標(biāo)是不一樣的，前者指技術(shù)上的，例如生成一棵決策樹等；提出項(xiàng)目計(jì)劃：對(duì)整個(gè)項(xiàng)目做一個(gè)計(jì)劃，初步估計(jì)用到的工具和技術(shù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT28/37數(shù)據(jù)挖掘模型2．?dāng)?shù)據(jù)理解（DataUnderstanding）階段。具體地，包括：收集原始數(shù)據(jù)：收集本項(xiàng)目所涉及到的數(shù)據(jù)，如有必要，把數(shù)據(jù)裝入數(shù)據(jù)處理工具，并作一些初步的數(shù)據(jù)集成的工作，生成相應(yīng)報(bào)告;描述數(shù)據(jù)：對(duì)數(shù)據(jù)做一些大致的描述，例如記錄數(shù)、屬性數(shù)等，給出相應(yīng)報(bào)告；探索數(shù)據(jù)：對(duì)數(shù)據(jù)做簡單的統(tǒng)計(jì)分析，例如關(guān)鍵屬性的分布等；檢查數(shù)據(jù)質(zhì)量：包括數(shù)據(jù)是否完整、數(shù)據(jù)是否有錯(cuò)、是否有缺失值等問題。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT29/37數(shù)據(jù)挖掘模型3．?dāng)?shù)據(jù)準(zhǔn)備（DataPreparation）階段。具體地，包括：數(shù)據(jù)選擇：根據(jù)數(shù)據(jù)挖掘目標(biāo)和數(shù)據(jù)質(zhì)量選擇合適的數(shù)據(jù)，包括表的選擇、記錄選擇和屬性選擇；數(shù)據(jù)清潔：提高選擇好的數(shù)據(jù)的質(zhì)量，例如去除噪音，估計(jì)缺失值等；數(shù)據(jù)創(chuàng)建：在原有數(shù)據(jù)的基礎(chǔ)上是生成新的屬性或記錄；數(shù)據(jù)合并：利用表連接等方式將幾個(gè)數(shù)據(jù)集合并在一起；數(shù)據(jù)格式化：把數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)挖掘處理的格式。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT30/37數(shù)據(jù)挖掘模型4．建立模型（Modeling）階段。具體地，包括：選擇建模技術(shù)：確定數(shù)據(jù)挖掘算法和參數(shù)，可能會(huì)利用多個(gè)算法；測(cè)試方案設(shè)計(jì)：設(shè)計(jì)某種測(cè)試模型的質(zhì)量和有效性的機(jī)制；模型訓(xùn)練：在準(zhǔn)備好的數(shù)據(jù)集上運(yùn)行數(shù)據(jù)挖掘算法，得出一個(gè)或者多個(gè)模型；模型測(cè)試評(píng)估：根據(jù)測(cè)試方案進(jìn)行測(cè)試，從數(shù)據(jù)挖掘技術(shù)的角度確定數(shù)據(jù)挖掘目標(biāo)是否成功。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT31/37數(shù)據(jù)挖掘模型5．模型評(píng)估（Evaluation）階段。具體地，包括：

結(jié)果評(píng)估：從商業(yè)角度評(píng)估得到的模型，甚至實(shí)際試用該模型測(cè)試其效果；過程回顧：回顧項(xiàng)目的所有流程，確定每一個(gè)階段都沒有失誤；確定下一步工作：根據(jù)結(jié)果評(píng)估和過程回顧得出的結(jié)論，確定是部署該挖掘模型還是從某個(gè)階段開始重新開始。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT32/37數(shù)據(jù)挖掘模型6．部署（Deployment）階段。具體地，包括：

部署計(jì)劃：對(duì)在業(yè)務(wù)運(yùn)作中部署模型作出計(jì)劃；監(jiān)控和維護(hù)計(jì)劃：如何監(jiān)控模型在實(shí)際業(yè)務(wù)中的使用情況，如何維護(hù)該模型；作出最終報(bào)告：項(xiàng)目總結(jié)，項(xiàng)目經(jīng)驗(yàn)和項(xiàng)目結(jié)果；項(xiàng)目回顧：回顧項(xiàng)目的實(shí)施過程，總結(jié)經(jīng)驗(yàn)教訓(xùn)；對(duì)數(shù)據(jù)挖掘的運(yùn)行效果做一個(gè)預(yù)測(cè)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT33/37數(shù)據(jù)挖掘模型為保證項(xiàng)目的可靠性和可管理性，CRISP-DM規(guī)定一個(gè)數(shù)據(jù)挖掘項(xiàng)目應(yīng)該產(chǎn)生11個(gè)報(bào)告：

業(yè)務(wù)理解報(bào)告原始數(shù)據(jù)收集報(bào)告數(shù)據(jù)描述報(bào)告數(shù)據(jù)探索報(bào)告數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)集描述報(bào)告模型訓(xùn)練報(bào)告模型評(píng)估報(bào)告部署計(jì)劃監(jiān)控和維護(hù)計(jì)劃總結(jié)報(bào)告通過這些報(bào)告，可以有效地控制數(shù)據(jù)挖掘項(xiàng)目進(jìn)程，減少開發(fā)風(fēng)險(xiǎn)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT34/37數(shù)據(jù)挖掘過程DataCleaningDataIntegrat