數(shù)據(jù)挖掘系統(tǒng)

1、第一部分?jǐn)?shù)據(jù)挖掘的基礎(chǔ)知識(shí)一、數(shù)據(jù)、信息、知識(shí)與智慧人類的各項(xiàng)活動(dòng)都是基于人類的智慧和知識(shí)，即對(duì)外部世界的觀察和了解，做出正確的判斷和決策以及采取正確的行動(dòng)，而數(shù)據(jù)僅僅是人們用各種工具和手段觀察外部世界所得到 的原始材料，它本身沒有任何意義。從數(shù)據(jù)到知識(shí)再到智慧，需要經(jīng)過分析加工處理精煉的 過程。(1)數(shù)據(jù)是原材料，它只是描述發(fā)生了什么事，并不能構(gòu)成決策或行動(dòng)的可靠基礎(chǔ)。(2)通過對(duì)數(shù)據(jù)進(jìn)行分析找出其中的關(guān)系，賦予數(shù)據(jù)以某種意義和關(guān)聯(lián)，這就形成所謂 信息。信息雖然給出了數(shù)據(jù)中一些有一定意義的東西，但它往往和人們需要完成的 任務(wù)沒有直接的聯(lián)系，也還不能作為判斷、決策和行動(dòng)的依據(jù)。(3)對(duì)信息進(jìn)行

2、再加工，即進(jìn)行更深入的歸納分析，方能獲得更有用的信息，即知識(shí)。而所謂知識(shí)，可定義為“信息塊中的一組邏輯聯(lián)系，其關(guān)系是通過上下文或過程的貼近度發(fā)現(xiàn)的”。從信息中理解其模式，即形成知識(shí)。在大量知識(shí)積累基礎(chǔ)上，總結(jié) 出原理和法則，就形成所謂智慧。二、數(shù)據(jù)挖掘的定義與流程OLAP ( On Line Analytical processing )是一種進(jìn)行實(shí)時(shí)分析和產(chǎn)生相應(yīng)報(bào)表的在線分析 工具，允許用戶以交互方式瀏覽數(shù)據(jù)倉庫(data warehousing,它是為了便于分析針對(duì)特定主題(subject-oriented)的集成化的、時(shí)變的(time-variant)即提供存貯510年或更長時(shí)間 的數(shù)

3、據(jù)，這些數(shù)據(jù)一旦存入就不再發(fā)生變化)內(nèi)容，并對(duì)其中數(shù)據(jù)進(jìn)行多維分析，且能及時(shí)地從變化和不太完整的數(shù)據(jù)中提取出與企業(yè)經(jīng)營活動(dòng)密切相關(guān)的信息。OLAP是數(shù)據(jù)分析手段的一大進(jìn)步，以往的分析工具所能得到的報(bào)告結(jié)果只能回答“什么”(what),而OLAP的分析結(jié)果能回答“為什么”(why)。但OLAP分析過程是建立在對(duì)用戶深藏在數(shù)據(jù)中的某種知識(shí)有預(yù)感的和假設(shè)的前提下，由用戶指導(dǎo)的信息分析與知識(shí)發(fā)現(xiàn)過程。對(duì)于數(shù)據(jù)倉庫中埋藏的豐富的、不為用戶所知的有用信息和知識(shí)，就需要有基于計(jì)算機(jī)與信息技術(shù)的智能化自動(dòng)工具，來幫助挖掘隱藏在數(shù)據(jù)中的各類知識(shí)。這類工具不應(yīng)基于用戶假設(shè)，而應(yīng)能自身生成多種假設(shè)；再用數(shù)據(jù)倉庫(或

4、大型數(shù)據(jù)庫)中的數(shù)據(jù)進(jìn)行檢驗(yàn)或驗(yàn)證；然后返回用戶最有價(jià)值的檢驗(yàn)結(jié)果。此外這類工具還應(yīng)能適應(yīng)現(xiàn)實(shí)世界中數(shù)據(jù)的多種特性(即量大、含噪音、不完整、動(dòng)態(tài)、稀疏性、異質(zhì)、非線性等)。數(shù)據(jù)挖掘，又稱為數(shù)據(jù)庫中知識(shí)發(fā)現(xiàn)(Knowledge Discovery from Database，簡稱KDD ),它是一個(gè)從大量數(shù)據(jù)中抽取挖掘出未知的，有價(jià)值的模式或規(guī)律等知識(shí)的復(fù)雜過程。數(shù)據(jù)挖掘的全過程包括：數(shù)據(jù)清洗(data clearning),其作用就是清除數(shù)據(jù)噪音和與挖掘主題明顯無關(guān)的數(shù)據(jù)； 數(shù)據(jù)集成(dataintegration),其作用就是將來自多數(shù)據(jù)源中的相關(guān)數(shù)據(jù)組合到一起； 數(shù)據(jù)轉(zhuǎn)換(data tra

5、nsformation ),其作用就是將數(shù)據(jù)轉(zhuǎn)換為易于數(shù)據(jù)挖掘的數(shù)據(jù)存儲(chǔ)形 式；數(shù)據(jù)挖掘(data mining ),它是知識(shí)挖掘的一個(gè)基本步驟，其作用就是利用智能方法挖 掘數(shù)據(jù)模式或規(guī)律知識(shí)；模式評(píng)估(pattern evaluation)，其作用就是根據(jù)一定評(píng)估標(biāo)準(zhǔn)(interesting measures)從 挖掘結(jié)果篩選出有意義的模式知識(shí)；知識(shí)表示(knowledge presentation)其作用就是利用可視化和知識(shí)表達(dá)技術(shù)，向用戶展示所挖掘出的相關(guān)知識(shí)。三、數(shù)據(jù)挖掘與其它計(jì)算機(jī)工具的區(qū)別KDD和機(jī)器學(xué)習(xí)都是從數(shù)據(jù)中提取知識(shí)，那么兩者有什么區(qū)別呢？KDD是從現(xiàn)實(shí)世界中存在的一些具體

6、數(shù)據(jù)中提取知識(shí)，這些數(shù)據(jù)在KDD出現(xiàn)之前早已存在；而機(jī)器學(xué)習(xí)所使用的數(shù)據(jù)是專門為機(jī)器學(xué)習(xí)而特別準(zhǔn)備的數(shù)據(jù)，這些數(shù)據(jù)在現(xiàn)實(shí)世界中也許毫無意義。由于KDD使用的數(shù)據(jù)來自實(shí)際的數(shù)據(jù)庫，而且所要處理的數(shù)據(jù)量可能很大，因此KDD中的學(xué)習(xí)算法的效率和可擴(kuò)充性就顯得尤為重要；此外，KDD所處理的數(shù)據(jù)由于來自現(xiàn)實(shí)世界，數(shù)據(jù)的完整性、一致性和正確性都很難保證，如何將這些數(shù)據(jù)加工成學(xué)習(xí)算法可以接收的數(shù)據(jù)？也是數(shù)據(jù)挖掘研究與開發(fā)時(shí)需要進(jìn)行深入研究的問題；再者，KDD可以利用目前數(shù)據(jù)庫所取得的研究成果來加快學(xué)習(xí)過程，提高學(xué)習(xí)效率。最后一 點(diǎn)就是，由于KDD處理的數(shù)據(jù)來自于實(shí)際的數(shù)據(jù)庫，而與這些數(shù)據(jù)庫有關(guān)的還有其他 一

7、些背景知識(shí)，這些背景知識(shí)的合理運(yùn)用也會(huì)提高學(xué)習(xí)算法的效率。KDD與數(shù)據(jù)庫報(bào)表工具有什么區(qū)別？數(shù)據(jù)庫報(bào)表制作工具是將數(shù)據(jù)庫中的某些數(shù)據(jù)抽取出來，經(jīng)過一些數(shù)學(xué)運(yùn)算，最終以特定的格式呈現(xiàn)給用戶，而KDD則是對(duì)數(shù)據(jù)背后隱藏的特征和趨勢(shì)進(jìn)行分析，最終給出關(guān)于數(shù)據(jù)的總體特征和發(fā)展趨勢(shì)。報(bào)表工具也許能夠給出上學(xué)期考試未通過及成績優(yōu)秀的學(xué)生的有關(guān)情況。但它不能找出那些考試未通過及成績優(yōu)秀的學(xué)生在哪些方面有些什么不同的特征，而數(shù)據(jù)挖掘通過對(duì)相關(guān)數(shù)據(jù)的分析，以發(fā)現(xiàn)影響學(xué)生成績的各種因素，就可以給出兩者之間的差別。數(shù)據(jù)挖掘與OLAP有何區(qū)別呢？OLAP是由用戶驅(qū)動(dòng)的，一般是由分析人員預(yù)先設(shè)定一 些假設(shè)，然后使用OL

8、AP工具去幫助驗(yàn)證這些假設(shè)，它提供了可使分析人員很方便地 進(jìn)行數(shù)據(jù)分析的手段；而數(shù)據(jù)挖掘則是通過對(duì)數(shù)據(jù)的分析來自動(dòng)產(chǎn)生一些假設(shè)，人們可以在這些假設(shè)的基礎(chǔ)上更有效地進(jìn)行決策。四、數(shù)據(jù)挖掘功能及知識(shí)類型概念描述：定性與對(duì)比一個(gè)概念常常是對(duì)一個(gè)包含大量數(shù)據(jù)的數(shù)據(jù)集合總體情況的概述。如對(duì)一個(gè)商店所售電腦基本情況的概述總結(jié)就會(huì)獲得所售電腦基本情況的一個(gè)整體概念(如：基本上為PIII以上的兼容機(jī))。對(duì)含有大量數(shù)據(jù)的數(shù)據(jù)集合進(jìn)行概述性(summarized)的總結(jié)并獲得簡明(concise)、準(zhǔn)確(precise)的描述，這種描述就稱為概念描述(concept description)。獲得 概念描述的方法

9、主要有以下兩種：(1)利用更為廣義的屬性，對(duì)所分析數(shù)據(jù)進(jìn)行概要總結(jié)(data characterization)；其中 被分析的數(shù)據(jù)就稱為目標(biāo)數(shù)據(jù)集(target class);(2 )對(duì)兩類所分析的數(shù)據(jù)特點(diǎn)進(jìn)行對(duì)比并對(duì)對(duì)比結(jié)果給出概要性總結(jié)(data discrimination );而其中兩類被分析的數(shù)據(jù)集分別被稱為目標(biāo)數(shù)據(jù)集和對(duì)比數(shù)據(jù)集(contrasting class)。數(shù)據(jù)概要總結(jié)(data characterization)就是利用數(shù)據(jù)描述屬性中更廣義的(屬性)內(nèi)容 對(duì)其進(jìn)行歸納描述。其中被分析的數(shù)據(jù)，常常可以通過簡單的數(shù)據(jù)庫查詢來獲得。如：對(duì)我校的講師情況進(jìn)行概要總結(jié)(給出概念

10、描述)。數(shù)據(jù)概要總結(jié)通常都用更廣義的關(guān)系表(generalization relations )或特征才苗述規(guī)貝U ( characteristic rules)來加以輸出表示。在數(shù)據(jù)集對(duì)比概要總結(jié)中所使用的挖掘方法與單一數(shù)據(jù)集概要總結(jié)所使用的方法基本 相同；其結(jié)果輸出形式也很類似，只是對(duì)比概要總結(jié)加入了對(duì)比描述因子以幫助區(qū)分目標(biāo)數(shù) 據(jù)集與對(duì)比數(shù)據(jù)集的對(duì)比情況。對(duì)比數(shù)據(jù)概要總結(jié)的輸出結(jié)果也常常采用表格形式或?qū)Ρ纫?guī)則形式(discriminate rules )來加以描述；關(guān)聯(lián)分析關(guān)聯(lián)分析（association analysis）就是從給定的數(shù)據(jù)集發(fā)現(xiàn)頻繁出現(xiàn)的項(xiàng)集模式知識(shí)（又稱為關(guān)聯(lián)規(guī)則，a

11、ssociation rules）。關(guān)聯(lián)分析廣泛用于市場營銷、事務(wù)分析等應(yīng)用領(lǐng)域。通常關(guān)聯(lián)規(guī)則具有：XnY形式，即“A,AAAL八氣-BAB2八L Bn” ；其中A（i w1,K ,m）和Bj（j 1,K ,n）均為屬性一值（屬性=值）形式。關(guān)聯(lián)規(guī)則XnY表示數(shù)據(jù)庫中的滿足X中條件的記錄（tuples）也一定滿足Y中的條件。分類與預(yù)測(cè)分類（classification）就是找出一組能夠描述數(shù)據(jù)集合典型特征的模型（或函數(shù)） ，以便 能夠分類識(shí)別未知數(shù)據(jù)的歸屬或類別（class）,即將未知事例映射到某種離散類別之一。分類模型（或函數(shù)）可以通過分類挖掘算法從一組訓(xùn)練樣本數(shù)據(jù) 得。分類挖掘所獲的分類模

12、型可以采用多種形式加以描述輸出。類規(guī)則（IF-THEN ）、決策樹（decision trees）、數(shù)學(xué)公式（ 絡(luò)。分類通常用于預(yù)測(cè)未知數(shù)據(jù)實(shí)例的歸屬類別（有限離散值） 級(jí)是屬于A級(jí)、B級(jí)還是C級(jí)。但在一些情況下，這樣的分類就被稱為預(yù)測(cè)（predication）。盡管預(yù)測(cè)既包括連續(xù)數(shù)值的預(yù)測(cè)，值的分類；但一般還是使用預(yù)測(cè)（predication ）來表示對(duì)連續(xù)數(shù)值的預(yù)測(cè)；示對(duì)有限離散值的預(yù)測(cè)。聚類分析聚類分析（clustering analysis）與分類預(yù)測(cè)方法明顯不同之處在于，后者所學(xué)習(xí)獲取分 類預(yù)測(cè)模型所使用的數(shù)據(jù)是已知類別歸屬（class-labeled data）,屬于有教師監(jiān)督學(xué)習(xí)

13、方法；而聚類分析（無論是在學(xué)習(xí)還是在歸類預(yù)測(cè)時(shí)）所分析處理的數(shù)據(jù)均是無（事先確定） 類別 歸屬，類別歸屬標(biāo)志在聚類分析處理的數(shù)據(jù)集中是不存在的。究其原因很簡單，它們?cè)瓉砭筒淮嬖冢虼司垲惙治鰧儆跓o教師監(jiān)督學(xué)習(xí)方法。聚類分析中，首先需要根據(jù)“各聚集（clusters）內(nèi)部數(shù)據(jù)對(duì)象間的相似度最大化；而 各聚集（clusters）對(duì)象間相似度最小化”的基本聚類分析原則，以及度量數(shù)據(jù)對(duì)象之間相 似度的計(jì)算公式，將聚類分析的數(shù)據(jù)對(duì)象劃分為若干組（groups）。因此一個(gè)組中數(shù)據(jù)對(duì)象間的相似度要比不同組數(shù)據(jù)對(duì)象間的相似度要大。每一個(gè)聚類分析所獲得的組就可以視為是一個(gè)同類別歸屬的數(shù)據(jù)對(duì)象集合，更進(jìn)一步從這些

14、同類別數(shù)據(jù)集，又可以通過分類學(xué)習(xí)獲得相應(yīng)的分類預(yù)測(cè)模型（規(guī)則）。此外通過反復(fù)不斷地對(duì)所獲得的聚類組進(jìn)行聚類分析，還可 獲得初始數(shù)據(jù)集合的一個(gè)層次結(jié)構(gòu)模型。異類分析一個(gè)數(shù)據(jù)庫中的數(shù)據(jù)一般不可能都符合分類預(yù)測(cè)或聚類分析所獲得的模型。那些不符合大多數(shù)數(shù)據(jù)對(duì)象所構(gòu)成的規(guī)律（模型）的數(shù)據(jù)對(duì)象就被稱為異類（outlier）。之前許多數(shù)據(jù) 挖掘方法都在正式進(jìn)行數(shù)據(jù)挖掘之前就將這些異類作為噪聲或意外而將其排除在數(shù)據(jù)挖掘 的分析處理范圍之內(nèi)。但在一些應(yīng)用場合，如各種商業(yè)欺詐行為的自動(dòng)檢測(cè)，小概率發(fā)生的事件（數(shù)據(jù)）往往比經(jīng)常發(fā)生的事件（數(shù)據(jù)）更有挖掘價(jià)值。對(duì)異類數(shù)據(jù)的分析處理通常就 稱為異類挖掘。數(shù)據(jù)中的異類可以

15、利用數(shù)理統(tǒng)計(jì)方法分析獲得，即利用已知數(shù)據(jù)所獲得的概率統(tǒng)計(jì)分布模型，或利用相似度計(jì)算所獲得的相似數(shù)據(jù)對(duì)象分布，分析確認(rèn)異類數(shù)據(jù)。 而偏離檢測(cè)就是從數(shù)據(jù)已有或期望值中找出某些關(guān)鍵測(cè)度顯著的變化。演化分析 數(shù)據(jù)演化分析（evolution analysis）就是對(duì)隨時(shí)間變化的數(shù)據(jù)對(duì)象的變化規(guī)律和趨勢(shì)進(jìn)行建 模（其類別歸屬已知）中學(xué)習(xí)獲其中主要的表示方法有：分mathematical formulae ）和彳申經(jīng)網(wǎng),如一個(gè)銀行客戶的信用等 需要預(yù)測(cè)某數(shù)值屬性的值（連續(xù)數(shù)值），也包括有限離散而使用分類來表描述。這一建模手段包括：概念描述、對(duì)比概念描述、關(guān)聯(lián)分析、分類分析、時(shí)間相關(guān)數(shù) 據(jù)（time-rel

16、ated）分析（這其中又包括：時(shí)序數(shù)據(jù)分析、序列或周期模式匹配，以及基于相 似性的數(shù)據(jù)分析）五、數(shù)據(jù)挖掘結(jié)果的評(píng)估問題一：一個(gè)模式有價(jià)值的因素是什么？ 答：（1）易于用戶理解；（2）對(duì)新數(shù)據(jù)或測(cè)試數(shù)據(jù)能夠確定有效程度；（3）具有潛在價(jià)值；（4）新奇的。一個(gè)有價(jià)值的模式就是知識(shí)。此外還有一些評(píng)價(jià)模式價(jià)值的客觀標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)是基于所挖掘出模式的結(jié)構(gòu)或統(tǒng)計(jì)特征。例如對(duì)于關(guān)聯(lián)規(guī)則的一個(gè)客觀評(píng)價(jià)標(biāo)準(zhǔn)就是支持率（support）,它表示滿足相應(yīng)關(guān)聯(lián)規(guī)則的事務(wù)記錄占總記錄數(shù)的比率；盡管客觀評(píng)價(jià)方法能夠幫助識(shí)別一些有意義的模式知識(shí)，但也仍然需要結(jié)合一些主觀評(píng)價(jià)措施方可有效反映用戶的需求和興趣。例如商場主觀對(duì)描

17、述常在商場購買商品顧客的特征模型很感興趣；而對(duì)商場雇員的表現(xiàn)特征模型卻興趣不大。再者許多根據(jù)客觀評(píng)價(jià)標(biāo)準(zhǔn)是有價(jià)值的模式知識(shí)卻只是普通的常識(shí)知識(shí)（實(shí)際無價(jià)值）。主觀價(jià)值評(píng)估標(biāo)準(zhǔn)是建立在用戶對(duì)數(shù)據(jù)的信念基礎(chǔ)上，這些評(píng)估標(biāo)準(zhǔn)基于所發(fā)現(xiàn)模式是否是意外的或與用戶信念相左， 或能夠 提供決策支持而確定的。而意料之中模式是有價(jià)值的則是指它能夠幫助確認(rèn)用戶想要認(rèn)可的 一個(gè)假設(shè)。 問題二：一個(gè)數(shù)據(jù)挖掘算法能否產(chǎn)生所有有價(jià)值的模式（知識(shí)）？即指數(shù)據(jù)挖掘算法的完 全性。 答：期望數(shù)據(jù)挖掘算法能夠產(chǎn)生所有可能模式是不現(xiàn)實(shí)的。實(shí)際上一個(gè)（模式）搜索方法可以利用有趣性評(píng)價(jià)標(biāo)準(zhǔn)來幫助縮小模式的搜索范圍。因此通常只需要保證挖

18、掘算法的完全性就可以了。 關(guān)聯(lián)規(guī)則的挖掘算法就是這樣的一個(gè)例子。問題三： 一個(gè)數(shù)據(jù)挖掘算法能否只產(chǎn)生有價(jià)值的模式 （知識(shí)）？這也是數(shù)據(jù)挖掘算法的一 個(gè)最優(yōu)化問題。一般當(dāng)然希望數(shù)據(jù)挖掘算法僅挖掘有價(jià)值的模式（知識(shí)），但這是一個(gè)較為棘手的最優(yōu)化高效搜索問題，至今尚沒有好的解決方法。評(píng)估所挖掘模式的趣味性（interestingness）標(biāo)準(zhǔn)對(duì)于有效挖掘出具有應(yīng)用價(jià)值數(shù)據(jù)挖掘 的模式知識(shí)是十分重要的。這些標(biāo)準(zhǔn)可以直接幫助指導(dǎo)挖掘算法獲取有實(shí)際應(yīng)用價(jià)值的模式 知識(shí)，以及有效摒棄無意義的模式。更為重要的是這些模式評(píng)估標(biāo)準(zhǔn)將積極指導(dǎo)整個(gè)知識(shí)發(fā) 現(xiàn)過程，通過及時(shí)消除無前途的搜索路徑，提高挖掘的有效性。六、數(shù)據(jù)挖掘系統(tǒng)分類根據(jù)所挖掘的數(shù)據(jù)庫進(jìn)行分類：如果按數(shù)據(jù)模型進(jìn)行分類， 就會(huì)有關(guān)系類型、事務(wù)類型、面向?qū)ο箢愋?、?duì)象關(guān)系類型和數(shù)據(jù)倉庫類型等數(shù)據(jù)挖掘系統(tǒng)。 如果按照所處理數(shù)據(jù)類 型進(jìn)行劃分，就會(huì)有空間數(shù)據(jù)類型、時(shí)序數(shù)據(jù)類型、文本類型和多媒體類型等數(shù)據(jù)挖掘 系統(tǒng)，或互聯(lián)網(wǎng)挖掘系統(tǒng)。其他的系統(tǒng)類型還包括：異構(gòu)數(shù)據(jù)挖掘系統(tǒng)和歷史數(shù)據(jù)挖掘 系統(tǒng)。根據(jù)所挖掘的知識(shí)進(jìn)行分類：可