數(shù)據(jù)挖掘浙江計(jì)算機(jī)學(xué)院

1、會(huì)計(jì)學(xué)1數(shù)據(jù)挖掘浙江計(jì)算機(jī)學(xué)院數(shù)據(jù)挖掘浙江計(jì)算機(jī)學(xué)院數(shù)據(jù)礦山數(shù)據(jù)礦山信息金塊信息金塊數(shù)據(jù)挖掘工具數(shù)據(jù)挖掘工具進(jìn)化階段進(jìn)化階段商業(yè)問(wèn)題商業(yè)問(wèn)題支持技術(shù)支持技術(shù)產(chǎn)品廠家產(chǎn)品廠家產(chǎn)品特點(diǎn)產(chǎn)品特點(diǎn)數(shù)據(jù)搜集數(shù)據(jù)搜集(60(60年代年代) )“過(guò)去五年中我的過(guò)去五年中我的總收入是多少？總收入是多少？”計(jì)算機(jī)、磁帶和磁盤計(jì)算機(jī)、磁帶和磁盤IBMIBMCDCCDC提供歷史性的、靜提供歷史性的、靜態(tài)的數(shù)據(jù)信息態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問(wèn)數(shù)據(jù)訪問(wèn)(80(80年代年代) )“在新英格蘭的分在新英格蘭的分部去年三月的銷售部去年三月的銷售額是多少？額是多少？”關(guān)系數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)(RDBMS)(RDBMS)結(jié)構(gòu)化查詢語(yǔ)言結(jié)構(gòu)化

2、查詢語(yǔ)言(SQL)(SQL)ODBCODBCOracleOracleSybaseSybaseInformixInformixIBMIBMMicrosoftMicrosoft在記錄級(jí)提供歷史在記錄級(jí)提供歷史性的、動(dòng)態(tài)數(shù)據(jù)信性的、動(dòng)態(tài)數(shù)據(jù)信息息數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)決策支持決策支持(90(90年代年代) )“在新英格蘭的分在新英格蘭的分部去年三月的銷售部去年三月的銷售額是多少？波士頓額是多少？波士頓據(jù)此可得出什么結(jié)據(jù)此可得出什么結(jié)論？論？”聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理(OLAP)(OLAP)多維數(shù)據(jù)庫(kù)多維數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)PilotPilotComshareComshareArborArborCogno

3、sCognosMicrostrategyMicrostrategy在各種層次上提供在各種層次上提供回溯的、動(dòng)態(tài)的數(shù)回溯的、動(dòng)態(tài)的數(shù)據(jù)信息據(jù)信息數(shù)據(jù)挖掘數(shù)據(jù)挖掘（正在流行）（正在流行）“下個(gè)月波士頓的下個(gè)月波士頓的銷售會(huì)怎么樣？為銷售會(huì)怎么樣？為什么？什么？”高級(jí)算法高級(jí)算法多處理器計(jì)算機(jī)多處理器計(jì)算機(jī)海量數(shù)據(jù)庫(kù)海量數(shù)據(jù)庫(kù)PilotPilotLockheedLockheedIBMIBMSGISGI其他初創(chuàng)公司其他初創(chuàng)公司提供預(yù)測(cè)性的信息提供預(yù)測(cè)性的信息1988Expert Systems19951990Expert Systems2004數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)技術(shù)統(tǒng)計(jì)學(xué)高性能計(jì)算人工智能機(jī)器學(xué)習(xí)可視化英

4、國(guó)電信需要發(fā)布一種新的產(chǎn)品，需要通過(guò)直郵的方式向客戶推薦這種產(chǎn)品。使直郵的回應(yīng)率提高了100電信GUS日用品零售商店需要準(zhǔn)確的預(yù)測(cè)未來(lái)的商品銷售量，降低庫(kù)存成本。通過(guò)數(shù)據(jù)挖掘的方法使庫(kù)存成本比原來(lái)減少了3.8%零售商店美國(guó)國(guó)內(nèi)稅務(wù)局需要提高對(duì)納稅人的服務(wù)水平。合理安排稅務(wù)官的工作，為納稅人提供更迅捷、更準(zhǔn)確的服務(wù)稅務(wù)局匯豐銀行需要對(duì)不斷增長(zhǎng)的客戶群進(jìn)行分類，對(duì)每種產(chǎn)品找出最有價(jià)值的客戶。營(yíng)銷費(fèi)用減少了30銀行數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)各分公司各分公司數(shù)據(jù)集市數(shù)據(jù)集市分分 析析數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)集市數(shù)據(jù)集市 數(shù)據(jù)挖掘庫(kù)可能是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)邏輯上的子集，而不一定非得是物理上單獨(dú)

5、的數(shù)據(jù)庫(kù)。但如果數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算資源已經(jīng)很緊張，那么最好還是建立一個(gè)單獨(dú)的數(shù)據(jù)挖掘庫(kù)。 當(dāng)然為了數(shù)據(jù)挖掘也不必非得建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)不是必需的。建立一個(gè)巨大的數(shù)據(jù)倉(cāng)庫(kù)，把各個(gè)不同源的數(shù)據(jù)統(tǒng)一在一起，解決所有的數(shù)據(jù)沖突問(wèn)題，然后把所有的數(shù)據(jù)導(dǎo)到一個(gè)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)，是一項(xiàng)巨大的工程，可能要用幾年的時(shí)間花上百萬(wàn)的錢才能完成。只是為了數(shù)據(jù)挖掘，你可以把一個(gè)或幾個(gè)事務(wù)數(shù)據(jù)庫(kù)導(dǎo)到一個(gè)只讀的數(shù)據(jù)庫(kù)中，就把它當(dāng)作數(shù)據(jù)集市，然后在它上面進(jìn)行數(shù)據(jù)挖掘。 數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)挖掘庫(kù)數(shù)據(jù)挖掘庫(kù)（1）定義商業(yè)問(wèn)題 要想充分發(fā)揮數(shù)據(jù)挖掘的價(jià)值，必須要對(duì)目標(biāo)有一個(gè)清晰明確的定義，即決定到底想干什么。否則，很難得到正確的結(jié)果。

6、 （2）建立數(shù)據(jù)挖掘庫(kù) 數(shù)據(jù)準(zhǔn)備工作大概要花去整個(gè)數(shù)據(jù)挖掘項(xiàng)目的50%-90%的時(shí)間和精力。一般來(lái)說(shuō)，直接在公司的數(shù)據(jù)倉(cāng)庫(kù)上進(jìn)行數(shù)據(jù)挖掘是不合適的，最好建立一個(gè)獨(dú)立的數(shù)據(jù)集。 建立數(shù)據(jù)挖掘庫(kù)可分成如下幾個(gè)部分： a) 數(shù)據(jù)收集 b) 數(shù)據(jù)描述 c) 選擇 d) 數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)清理 e) 合并與整合 f) 構(gòu)建元數(shù)據(jù) g) 加載數(shù)據(jù)挖掘庫(kù) h) 維護(hù)數(shù)據(jù)挖掘庫(kù) （3）分析數(shù)據(jù) 數(shù)據(jù)分析的目的：是找到對(duì)預(yù)測(cè)輸出影響最大的數(shù)據(jù)字段，并決定是否需要定義導(dǎo)出字段。（4）準(zhǔn)備數(shù)據(jù) 這是建立模型之前的最后一步數(shù)據(jù)準(zhǔn)備工作。可分成4個(gè)部分：a)選擇變量; b)選擇記錄; c)創(chuàng)建新變量; d) 轉(zhuǎn)換變量。

7、（5）建立模型 對(duì)建立模型來(lái)說(shuō)要記住的最重要的事是它是一個(gè)反復(fù)的過(guò)程。需要仔細(xì)考察不同的模型以判斷哪個(gè)模型對(duì)你的商業(yè)問(wèn)題最有用。 為了保證得到的模型具有較好的精確度和健壯性，需要一個(gè)定義完善的“訓(xùn)練驗(yàn)證”協(xié)議。有時(shí)也稱此協(xié)議為帶指導(dǎo)的學(xué)習(xí)。驗(yàn)證方法主要分為： a)簡(jiǎn)單驗(yàn)證法 b)交叉驗(yàn)證法：首先把原始數(shù)據(jù)隨機(jī)平分成兩份，然后用一部分做訓(xùn)練集另一部分做測(cè)試集計(jì)算錯(cuò)誤率，做完之后把兩部分?jǐn)?shù)據(jù)交換再計(jì)算一次，得到另一個(gè)錯(cuò)誤率，最后再用所有的數(shù)據(jù)建立一個(gè)模型，把上面得到的兩個(gè)錯(cuò)誤率進(jìn)行平均作為最后用所有數(shù)據(jù)建立的模型的錯(cuò)誤率。 c)自舉法：是另一種評(píng)估模型錯(cuò)誤率的技術(shù)。在數(shù)據(jù)量很小時(shí)尤其適用。與交叉驗(yàn)

8、證一樣模型是用所有的數(shù)據(jù)建立。（6）評(píng)價(jià)和解釋 a) 模型驗(yàn)證。模型建立好之后，必須評(píng)價(jià)其結(jié)果、解釋其價(jià)值。從測(cè)試集中得到的準(zhǔn)確率只對(duì)用于建立模型的數(shù)據(jù)有意義。在實(shí)際應(yīng)用中，隨著應(yīng)用數(shù)據(jù)的不同，模型的準(zhǔn)確率肯定會(huì)變化。更重要的是，準(zhǔn)確度自身并不一定是選擇最好模型的正確評(píng)價(jià)方法。需要進(jìn)一步了解錯(cuò)誤的類型和由此帶來(lái)的相關(guān)費(fèi)用的多少。 b)外部驗(yàn)證。無(wú)論我們用模擬的方法計(jì)算出來(lái)的模型的準(zhǔn)確率有多高，都不能保證此模型在面對(duì)現(xiàn)實(shí)世界中真實(shí)的數(shù)據(jù)時(shí)能取得好的效果。經(jīng)驗(yàn)證有效的模型并不一定是正確的模型。造成這一點(diǎn)的直接原因就是模型建立中隱含的各種假定。 例如，在建立用戶購(gòu)買模式的模型時(shí)，可能沒(méi)有考慮通貨膨脹

9、的影響，但實(shí)施模型時(shí)通貨膨脹率突然由3%增加為17%，這顯然會(huì)對(duì)人們的購(gòu)買意向產(chǎn)生重大影響，因此再用原來(lái)的模型來(lái)預(yù)測(cè)客戶購(gòu)買情況必然會(huì)出現(xiàn)重大失誤。 （7）實(shí)施 模型建立并經(jīng)驗(yàn)證之后，可以有兩種主要的使用方法： 第一種方法，是提供給分析人員做參考，由他通過(guò)察看和分析這個(gè)模型之后提出行動(dòng)方案建議。比如可以把模型檢測(cè)到的聚集、模型中蘊(yùn)含的規(guī)則、或表明模型效果的圖表拿給分析人員看。 另一種方法：是把此模型應(yīng)用到不同的數(shù)據(jù)集上。模型可以用來(lái)標(biāo)示一個(gè)事例的類別，給一項(xiàng)申請(qǐng)打分等。還可以用模型在數(shù)據(jù)庫(kù)中選擇符合特定要求的記錄，以用OLAP工具做進(jìn)一步的分析。 當(dāng)提交一個(gè)復(fù)雜的應(yīng)用時(shí)，數(shù)據(jù)挖掘可能只是整個(gè)產(chǎn)

10、品的一小部分，雖然可能是最關(guān)鍵的一部分。例如，常常把數(shù)據(jù)挖掘得到的知識(shí)與領(lǐng)域?qū)＜业闹R(shí)結(jié)合起來(lái)，然后應(yīng)用到數(shù)據(jù)庫(kù)中的數(shù)據(jù)。在欺詐檢測(cè)系統(tǒng)中可能既包含了數(shù)據(jù)挖掘發(fā)現(xiàn)的規(guī)律，也有人們?cè)趯?shí)踐中早已總結(jié)出的規(guī)律。 知識(shí) 目標(biāo)數(shù)據(jù) 已預(yù)處理 數(shù)據(jù) 變換后 數(shù)據(jù) 模式 數(shù)據(jù) 篩選 預(yù)處理 變換 數(shù)據(jù)挖掘 解釋/評(píng)價(jià) （1）定義：關(guān)聯(lián)分析 (association analysis)：發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，這些規(guī)則展示“屬性值”頻繁地在給定數(shù)據(jù)集中一起出現(xiàn)的條件。 關(guān)聯(lián)規(guī)則 (association rule)： “X Y”，即 A1 A2 Am B1 B2 Bn 關(guān)聯(lián)規(guī)則分為兩類：一類是“多維關(guān)聯(lián)規(guī)則”（mult

11、i-dimensional association rule）；另一類是“單維關(guān)聯(lián)規(guī)則”(single-dimensional association rule)。（2）實(shí)例 age(x, “20.29”) income(X, “20K.29K”) buys(X, “CD_player”) support = 2%, confidence = 60%（1）定義 分類 (classification)：是找出描述并區(qū)分?jǐn)?shù)據(jù)類或概念的模型（或函數(shù)），以便能夠使用模型預(yù)測(cè)類標(biāo)記未知的對(duì)象的過(guò)程。 注：導(dǎo)出模型（或函數(shù)）是基于對(duì)訓(xùn)練數(shù)據(jù)集（即其類標(biāo)記已知的數(shù)據(jù)對(duì)象）的分析。（2）分類模型的導(dǎo)出方式 分

12、類規(guī)則（IF-THEN）、決策樹(shù)、數(shù)學(xué)公式、神經(jīng)網(wǎng)絡(luò)等。（3）相關(guān)分析 (relevance analysis) 一般情況下，相關(guān)分析需要在分類和預(yù)測(cè)之前進(jìn)行，它試圖識(shí)別對(duì)于分類和預(yù)測(cè)無(wú)用的屬性，且這些屬性應(yīng)被排除。分類和預(yù)測(cè)（1）定義 聚類 (clustering)：與分類和預(yù)測(cè)不同，它主要分析數(shù)據(jù)對(duì)象，而不考慮已知的類標(biāo)記。 一般情況下，訓(xùn)練數(shù)據(jù)中不提供類標(biāo)記，因?yàn)椴恢缽暮伍_(kāi)始。聚類可以用于產(chǎn)生這種標(biāo)記。（2）聚類或分組的原則 “最大化類內(nèi)的相似性、最小化類間的相似性” 對(duì)象的簇（聚類）的形成辦法為：使得在一個(gè)簇中的對(duì)象具有很高的相似性，而與其它簇中的對(duì)象很不相似。所形成的每個(gè)簇可以看作

13、一個(gè)對(duì)象類，由它可以導(dǎo)出規(guī)則。聚類分析（1）定義 孤立點(diǎn) (outlier)：數(shù)據(jù)庫(kù)中的那些與數(shù)據(jù)的一般行為或模型不一致的數(shù)據(jù)對(duì)象。 大部分?jǐn)?shù)據(jù)挖掘方法將孤立點(diǎn)視為噪聲或異常而將其丟棄，然而，在一些實(shí)際應(yīng)用中（如欺騙檢測(cè)、軍事情報(bào)分析等），罕見(jiàn)點(diǎn)事件可能比正常出現(xiàn)的那些更有趣。孤立點(diǎn)數(shù)據(jù)分析稱為孤立點(diǎn)挖掘(outlier mining)。（2）孤立點(diǎn)的檢測(cè)方法 第一種方法：統(tǒng)計(jì)試驗(yàn)檢測(cè)方法。假定一個(gè)數(shù)據(jù)分布或概率模型，并使用距離度量，到其它聚類的距離很大的對(duì)象被視為孤立點(diǎn)。 第二種方法：基于偏差點(diǎn)方法。通過(guò)考察一群對(duì)象主要特征上的差別識(shí)別孤立點(diǎn)。孤立點(diǎn)分析（1）定義 數(shù)據(jù)演變分析 (evolu

14、tion analysis)：描述行為隨時(shí)間變化的對(duì)象的規(guī)律或趨勢(shì)，并對(duì)其建模。 演變分析包括時(shí)間相關(guān)數(shù)據(jù)的特征化、區(qū)分、關(guān)聯(lián)、分類或聚類，最主要有三種演化分析方法：a) 時(shí)間序列數(shù)據(jù)分析b) 序列或周期模式匹配c) 基于類似性的數(shù)據(jù)分析演變分析數(shù)據(jù)挖掘過(guò)程模型是確保數(shù)據(jù)挖掘工作順利進(jìn)行的關(guān)鍵。典型的過(guò)程模型有： （1）SPSS的5A模型評(píng)估(Assess)、訪問(wèn)(Access)、分析(Analyze)、行動(dòng)(Act)、自動(dòng)化(Automate)。 (2)SAS的SEMMA模型采樣(Sample)、探索(Explore)、修正(Modify)、建模(Model)、評(píng)估(Assess)。 (3)

15、 跨行業(yè)數(shù)據(jù)挖掘過(guò)程標(biāo)準(zhǔn)CRISP-DM目前CRISP-DM仍在建立之中。 (4) 此外，Two Crows公司的數(shù)據(jù)挖掘過(guò)程模型，它與正在建立的CRISP-DM有許多相似之處。 5. 數(shù)據(jù)挖掘過(guò)程模型數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)清洗和集成數(shù)據(jù)清洗和集成過(guò)濾過(guò)濾數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器數(shù)據(jù)挖掘引擎模式評(píng)價(jià)圖形用戶接口知識(shí)庫(kù)知識(shí)庫(kù)代代特征特征數(shù)據(jù)挖掘算數(shù)據(jù)挖掘算法法集成集成分布計(jì)分布計(jì)算模型算模型數(shù)據(jù)模數(shù)據(jù)模型型第一代第一代數(shù)據(jù)挖掘作數(shù)據(jù)挖掘作為一個(gè)獨(dú)立為一個(gè)獨(dú)立的應(yīng)用的應(yīng)用支持一個(gè)或者支持一個(gè)或者多個(gè)算法多個(gè)算法 獨(dú)立的獨(dú)立的系統(tǒng)系統(tǒng)單個(gè)機(jī)單個(gè)機(jī)器器向量數(shù)向量數(shù)據(jù)據(jù)第二代第二代和數(shù)據(jù)庫(kù)和數(shù)據(jù)

16、庫(kù)以及數(shù)據(jù)以及數(shù)據(jù)倉(cāng)庫(kù)集成倉(cāng)庫(kù)集成多個(gè)算法：能多個(gè)算法：能夠挖掘一次不夠挖掘一次不能放進(jìn)內(nèi)存的能放進(jìn)內(nèi)存的數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)管理系數(shù)據(jù)管理系統(tǒng)，包括數(shù)統(tǒng)，包括數(shù)據(jù)庫(kù)和數(shù)據(jù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)倉(cāng)庫(kù)同質(zhì)同質(zhì)/ /局局部區(qū)域的部區(qū)域的計(jì)算機(jī)群計(jì)算機(jī)群集集有些系統(tǒng)支有些系統(tǒng)支持對(duì)象、文持對(duì)象、文本、和連續(xù)本、和連續(xù)的媒體數(shù)據(jù)的媒體數(shù)據(jù)第三代第三代和預(yù)測(cè)模型和預(yù)測(cè)模型系統(tǒng)集成系統(tǒng)集成 多個(gè)算法多個(gè)算法數(shù)據(jù)管理和數(shù)據(jù)管理和預(yù)測(cè)模型系預(yù)測(cè)模型系統(tǒng)統(tǒng)intranet/intranet/extranetextranet網(wǎng)絡(luò)計(jì)算網(wǎng)絡(luò)計(jì)算支持半結(jié)構(gòu)支持半結(jié)構(gòu)化數(shù)據(jù)和化數(shù)據(jù)和webweb數(shù)據(jù)數(shù)據(jù)第四代第四代和移動(dòng)數(shù)據(jù)和移動(dòng)數(shù)據(jù)/

17、 /各種計(jì)算數(shù)各種計(jì)算數(shù)據(jù)聯(lián)合據(jù)聯(lián)合 多個(gè)算法多個(gè)算法數(shù)據(jù)管理、數(shù)據(jù)管理、預(yù)測(cè)模型、預(yù)測(cè)模型、移動(dòng)系統(tǒng)移動(dòng)系統(tǒng)移動(dòng)和各移動(dòng)和各種計(jì)算設(shè)種計(jì)算設(shè)備備普遍存在的普遍存在的計(jì)算模型計(jì)算模型以PMML的格式提供與預(yù)測(cè)模型系統(tǒng)的接口xyy = x + 1X1Y1Y1頂級(jí):nACM SIGMOD: Intl. Conf. on Management of DatanVLDB / PODS: Intl. Conf. on Very Large Data BasesnICDE: Intl. Conf. on Data EngineeringnSIGKDD: Intl. Conf. on Knowledge D

18、iscovery and Data Mining數(shù)據(jù)挖掘五大國(guó)際會(huì)議:nSIGKDD, ICDM, SDM, PKDD, PAKDDnDMKD (DAMI): Data Mining and Knowledge DiscoverynTKDE: IEEE Transaction on Knowledge and Data EngineeringnTKDD: ACM Transaction on KDDnSIGKDD Explorations1 Jiawei Han, Micheline Kamber著. 范明, 孟小峰 等譯. 數(shù)據(jù)挖掘: 概念與技術(shù). 機(jī)械工業(yè)出版社, 2001.(注：Data

19、 Mining: Concepts and Techniques (Second Edition)將于2005年11月正式出版)2 Jiawei Han. Data Mining: Principles & Research Frontiers (PPT). May 23-27, 2005. （龍星計(jì)劃課件）/hanj3 David Hand 等著. 張銀奎 等譯. 數(shù)據(jù)挖掘原理. 機(jī)械工業(yè)出版社, 2003. 4Pangning Tan, Michael Steinbach. Intorduction to Data Mining. 人民郵電出版社. 2006 （5）建立模型 對(duì)建立模型來(lái)說(shuō)要記住的最重要的事是它是一個(gè)反復(fù)的過(guò)程。需