數(shù)據(jù)挖掘概念與技術(shù)

1、12008年3月數(shù)據(jù)挖掘概念與技術(shù)2第1章 引言本章要點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展數(shù)據(jù)挖掘數(shù)據(jù)挖掘的類(lèi)型數(shù)據(jù)挖掘常用技術(shù)數(shù)據(jù)挖掘解決的典型商業(yè)問(wèn)題3數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展自從NCR公司為Wal Mart建立了第一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。1996年，加拿大的IDC公司調(diào)查了62家實(shí)現(xiàn)了數(shù)據(jù)倉(cāng)庫(kù)的歐美企業(yè)，結(jié)果表明：數(shù)據(jù)倉(cāng)庫(kù)為企業(yè)提供了巨大的收益。早期的數(shù)據(jù)倉(cāng)庫(kù)：大都 客戶(hù)/服務(wù)器結(jié)構(gòu)。近年來(lái)：數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)從功能上劃分為若干個(gè)分布式對(duì)象，可以直接用于建立數(shù)據(jù)倉(cāng)庫(kù)，還可以在應(yīng)用程序中向用戶(hù)提供調(diào)用的接口。IBM的實(shí)驗(yàn)室在數(shù)據(jù)倉(cāng)庫(kù)方面已經(jīng)進(jìn)行了10多年的研究，并將研究成果發(fā)展成為商用產(chǎn)品。其他數(shù)據(jù)庫(kù)廠商在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域也紛紛提出了

2、各自的解決方案。4數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展IBM: 在其DB2UDB發(fā)布一年后的1998年9月發(fā)布版，并于1998年12月推向中國(guó)市場(chǎng)，除了用于OLAP（聯(lián)機(jī)分析處理）的后臺(tái)服務(wù)器DB2 OLAP Server外，IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。Informix公司: 在其動(dòng)態(tài)服務(wù)器IDS（Informix Dynamic Server）中提供一系列相關(guān)選件，如高級(jí)決策支持選件（Advanced Decision Support Option）、OLAP選件（MetaCube ROLAP Option）、擴(kuò)展并行選件（Extended Parallel Option）等

3、，這種體系結(jié)構(gòu)嚴(yán)謹(jǐn)、管理方便、索引機(jī)制完善，并行處理的效率更高，其中數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)查詢(xún)的SQL語(yǔ)句的一致性使得用戶(hù)開(kāi)發(fā)更加簡(jiǎn)便。5數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展微軟公司: 在其以及SQL Server2000中集成了代號(hào)為Plato的OLAP服務(wù)器。Sybase: 提供了專(zhuān)門(mén)的OLAP服務(wù)器Sybase IQ，并將其與數(shù)據(jù)倉(cāng)庫(kù)相關(guān)工具打包成Warehouse Studio 。PLATINUM: 提出了由InfoPump（數(shù)據(jù)倉(cāng)庫(kù)建模與數(shù)據(jù)加載工具）和Forest&Trees（前端報(bào)表工具）構(gòu)成的一套較有特色的整體方案。 ； Oracle公司: 則推出從數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建、OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如O

4、racle Warehouse Builder、Oracle Express、DataMart Suit等）。 6數(shù)據(jù)倉(cāng)庫(kù)的我國(guó)的發(fā)展現(xiàn)狀：數(shù)據(jù)倉(cāng)庫(kù)的概念已經(jīng)被國(guó)內(nèi)用戶(hù)接受多年，但在應(yīng)用方面的收效不理想原因：現(xiàn)有的數(shù)據(jù)庫(kù)系統(tǒng)不健全，數(shù)據(jù)積累還不夠，無(wú)法提出決策支持需求；缺乏能夠擔(dān)負(fù)規(guī)劃、設(shè)計(jì)、構(gòu)建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)的重任的復(fù)合型人才；沒(méi)很好使用數(shù)據(jù)倉(cāng)庫(kù)前端工具（如OLAP工具、數(shù)據(jù)挖掘工具等）。7數(shù)據(jù)倉(cāng)庫(kù)的我國(guó)的發(fā)展前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式技術(shù)的發(fā)展， 數(shù)據(jù)倉(cāng)庫(kù)在我國(guó)有著廣闊的發(fā)展空間和良好的發(fā)展前景。例如：由于銀行商業(yè)化的步伐正在加大，各大中型銀行在入世的機(jī)遇和挑戰(zhàn)下，開(kāi)始重新考

5、慮自身的業(yè)務(wù)，特別是信貸風(fēng)險(xiǎn)管理方面特別注意，因而有關(guān)信貸風(fēng)險(xiǎn)管理和風(fēng)險(xiǎn)規(guī)章的基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)的需求逐漸增多；由于電子商務(wù)的迅速發(fā)展，越來(lái)越多的電子商務(wù)網(wǎng)站，開(kāi)始考慮如何將數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用于商品銷(xiāo)售分析、顧客的誠(chéng)信度分析等，為客戶(hù)提供更進(jìn)一步的個(gè)性化服務(wù)；如移動(dòng)通信等各大型企業(yè)也開(kāi)始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃。8數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)的定義數(shù)據(jù)倉(cāng)庫(kù)用來(lái)保存從多個(gè)數(shù)據(jù)庫(kù)或其它信息源選取的數(shù)據(jù), 并為上層應(yīng)用提供統(tǒng)一 用戶(hù)接口，完成數(shù)據(jù)查詢(xún)和分析。數(shù)據(jù)倉(cāng)庫(kù)是作為DSS服務(wù)基礎(chǔ)的分析型DB，用來(lái)存放大容量的只讀數(shù)據(jù)，為制定決策提供所需要的信息。數(shù)據(jù)倉(cāng)庫(kù)是與操作型系統(tǒng)

6、相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合。對(duì)數(shù)據(jù)倉(cāng)庫(kù)所下的定義：數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合，用以支持管理決策的過(guò)程。9數(shù)據(jù)倉(cāng)庫(kù)的適用范圍信息源中的數(shù)據(jù)變化穩(wěn)定或可預(yù)測(cè)應(yīng)用不需要最新的數(shù)據(jù)或允許有延遲 應(yīng)用要求有較高的查詢(xún)性能 而降低精度要求10支持管理決策數(shù)據(jù)倉(cāng)庫(kù)支持OLAP（聯(lián)機(jī)分析處理）、數(shù)據(jù)挖掘和決策分析。OLAP從數(shù)據(jù)倉(cāng)庫(kù)中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并使用多維分析的方法從多個(gè)角度、多個(gè)層次對(duì)多維數(shù)據(jù)進(jìn)行分析，使決策者能夠以更加自然的方式來(lái)分析數(shù)據(jù)。數(shù)據(jù)挖掘則以數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)庫(kù)中的數(shù)據(jù)為基礎(chǔ)，發(fā)現(xiàn)數(shù)據(jù)

7、中的潛在模式和進(jìn)行預(yù)測(cè)。因此，數(shù)據(jù)倉(cāng)庫(kù)的功能是支持管理層進(jìn)行科學(xué)決策，而不是事務(wù)處理。11數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求大量數(shù)據(jù)的組織和管理：包含了大量的歷史數(shù)據(jù)，它是從數(shù)據(jù)庫(kù)中提取得來(lái)的，不必關(guān)心它的數(shù)據(jù)安全性和數(shù)據(jù)完整性。復(fù)雜分析的高性能體現(xiàn)：涉及大量數(shù)據(jù)的聚集、綜合等，在進(jìn)行復(fù)雜查詢(xún)時(shí)經(jīng)常會(huì)使用多表的聯(lián)接、累計(jì)、分類(lèi)、排序等操作。對(duì)提取出來(lái)的數(shù)據(jù)進(jìn)行集成：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是從多個(gè)應(yīng)用領(lǐng)域中提取出來(lái)的，在不同的應(yīng)用領(lǐng)域和不同的數(shù)據(jù)庫(kù)系統(tǒng)中都有不同的結(jié)構(gòu)和形式，所以如何對(duì)數(shù)據(jù)進(jìn)行集成也是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要方面。對(duì)進(jìn)行高層決策的最終用戶(hù)的界面支持：提供各種分析應(yīng)用工具。12 隨著數(shù)據(jù)庫(kù)技術(shù)的不斷發(fā)展及

8、數(shù)據(jù)庫(kù)管理系統(tǒng)的廣泛應(yīng)用，數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)量急劇增大，在大量的數(shù)據(jù)背后隱藏著許多重要的信息。如何有效使用數(shù)據(jù)庫(kù)中存儲(chǔ)的海量數(shù)據(jù)？13如何有效使用數(shù)據(jù)庫(kù)中存儲(chǔ)的海量數(shù)據(jù)？數(shù)據(jù)挖掘就是從大量的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又可能有用的信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘的主要目的是提高市場(chǎng)決策能力，檢測(cè)異常模式，在過(guò)去的經(jīng)驗(yàn)基礎(chǔ)上預(yù)言未來(lái)趨勢(shì)等。例如，通過(guò)對(duì)大量氣象資料和銷(xiāo)售資料的處理及分析，德國(guó)的啤酒商發(fā)現(xiàn)，夏天氣溫每升高1，就會(huì)增加230萬(wàn)瓶的啤酒銷(xiāo)量；而日本人則發(fā)現(xiàn)，夏季30以上的天氣每增加一天，空調(diào)的銷(xiāo)量便增加4萬(wàn)臺(tái)。14美國(guó)沃爾瑪超市“啤酒與尿布”的故事 沃爾瑪超市建立數(shù)據(jù)

9、倉(cāng)庫(kù)，按周期統(tǒng)計(jì)產(chǎn)品的銷(xiāo)售信息，經(jīng)過(guò)科學(xué)建模后提煉決策層數(shù)據(jù)。發(fā)現(xiàn)每逢周末，位于某地區(qū)的沃爾瑪超市連鎖店的啤酒和尿布的銷(xiāo)售量很大，而且單張發(fā)票中同時(shí)購(gòu)買(mǎi)尿布和啤酒的記錄非常普遍。分析人員認(rèn)為這并非偶然，經(jīng)過(guò)深入分析得知，通常周末購(gòu)買(mǎi)尿布的是男士，他們?cè)谕瓿闪颂唤o的任務(wù)后，經(jīng)常會(huì)順便買(mǎi)一些啤酒。得出這樣的結(jié)果后，沃爾瑪超市的工作人員嘗試著將啤酒和尿布擺放在一起銷(xiāo)售，結(jié)果尿布與啤酒的銷(xiāo)售額雙雙增長(zhǎng)。 從上面的例子不難看出，數(shù)據(jù)管理的主要目的是獲取信息和分析信息以指導(dǎo)我們的行動(dòng)或幫助我們作決策。 15數(shù)據(jù)挖掘數(shù)據(jù)挖掘（ata Mining） ：又稱(chēng)為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，是基于、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等

10、技術(shù)，高度自動(dòng)化地分析原有的數(shù)據(jù)，進(jìn)行歸納性推理，從數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)中提取可信的、新穎的、有效的、人們感興趣的、能別人理解的知識(shí)的高級(jí)處理過(guò)程。這些知識(shí)是隱含的、事先未知的有用信息，提取的知識(shí)表現(xiàn)為概念、規(guī)則、模式、規(guī)律等形式，以幫助管理者作出正確的決策。 模式：它給出了數(shù)據(jù)特性或數(shù)據(jù)之間的關(guān)系，是對(duì)數(shù)據(jù)所包含的信息更抽象的描述。模式按功能可以分為預(yù)測(cè)型模式和描述型模式。在實(shí)際應(yīng)用中，可以細(xì)分為關(guān)聯(lián)模式、分類(lèi)模式、聚類(lèi)模式和序列模式等。16數(shù)據(jù)挖掘數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)是作為兩種獨(dú)立的信息技術(shù)出現(xiàn)的。它們都可以完成對(duì)決策過(guò)程的支持，并且相互間有一定的內(nèi)在聯(lián)系。因此，將數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘集成到一個(gè)系

11、統(tǒng)中將能夠更有效地提高系統(tǒng)的決策支持能力。數(shù)據(jù)挖掘是一門(mén)交叉性學(xué)科，它涉及到機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、智能數(shù)據(jù)庫(kù)、知識(shí)獲取、數(shù)據(jù)可視化、高性能計(jì)算、專(zhuān)家系統(tǒng)等多個(gè)領(lǐng)域。可廣泛地應(yīng)用于信息管理、過(guò)程控制、科學(xué)研究、決策支持等許多方面。 17數(shù)據(jù)挖掘的發(fā)展“從數(shù)據(jù)中發(fā)現(xiàn)有用模式”歷來(lái)有很多稱(chēng)法，如:數(shù)據(jù)挖掘（data mining） 知識(shí)提取(knowledge extraction)信息發(fā)現(xiàn)(information discovery)信息收獲(information harvesting)數(shù)據(jù)考古(data archaeology)數(shù)據(jù)模式處理(data pattern processing

12、)“數(shù)據(jù)挖掘”的稱(chēng)法大部分是由統(tǒng)計(jì)學(xué)家，數(shù)據(jù)分析學(xué)家和MIS團(tuán)體使用的，在數(shù)據(jù)庫(kù)領(lǐng)域也得到了廣泛接受。18數(shù)據(jù)挖掘的發(fā)展7080年代：知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘結(jié)合1989年6月：在美國(guó)底特律舉行了第一屆“從數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)”的國(guó)際學(xué)術(shù)會(huì)議，在這次會(huì)議中第一次使用了KDD 這個(gè)詞來(lái)強(qiáng)調(diào)“知識(shí)”是數(shù)據(jù)驅(qū)動(dòng)(data-driven)發(fā)現(xiàn)的最終結(jié)果。 1995：加拿大召開(kāi)第一屆知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議19歷屆有關(guān)KDD的學(xué)術(shù)會(huì)議 時(shí)間 會(huì)議名稱(chēng) 會(huì)議地點(diǎn)接受論文數(shù)提交論文數(shù)Jun.1989Workshop on KDDDetroit,Michigan,USA2969Jul.1991Workshop o

13、n KDDAnaheim,California,USA2546Jul.1993Workshop on KDDWashington,USA28401995KDD95Montreal,Canada40135Aug.1996KDD96Portland,Oregon,USA45220Feb.1997PAKDD97Singapore3597Aug.1997KDD97California,USAApr.1998PAKDD98Melbourne,AustraliaAug.1998KDD98New York,USA20數(shù)據(jù)挖掘的發(fā)展數(shù)據(jù)挖掘技術(shù)的應(yīng)用開(kāi)發(fā)在國(guó)外已經(jīng)迅速發(fā)展，許多大公司（如Informix, O

14、racle, IBM等）都投入了巨資對(duì)其進(jìn)行研究，并開(kāi)發(fā)出了一些產(chǎn)品和原型，如DBMiner、Quest、EXPLORA等。第一本關(guān)于數(shù)據(jù)挖掘的國(guó)際學(xué)術(shù)雜志Data Mining and Knowledge Discovery于1997年3月創(chuàng)刊。國(guó)內(nèi)在這方面的研究起步比較晚，早期研究的方向多集中于關(guān)聯(lián)規(guī)則的挖掘，近來(lái)關(guān)于時(shí)序模式、分類(lèi)、聚類(lèi)、WEB數(shù)據(jù)挖掘等的研究也日益受到重視，并取得了不少可喜的成果，一些原型系統(tǒng)或數(shù)據(jù)挖掘工具已經(jīng)研制成功并在不斷完善中。21DM系統(tǒng)的體系結(jié)構(gòu)（1）DW 的步驟：數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)集成數(shù)據(jù)選擇預(yù)分析挖掘表述評(píng)價(jià)（2）DW 系統(tǒng)的結(jié)構(gòu)： 用戶(hù)界面結(jié)果輸出數(shù)據(jù)挖掘核

15、心知識(shí)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)文件系統(tǒng)其他數(shù)據(jù)源ODBC或其他專(zhuān)用數(shù)據(jù)庫(kù)接口22數(shù)據(jù)準(zhǔn)備階段：經(jīng)過(guò)處理過(guò)的數(shù)據(jù)一般存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)準(zhǔn)備是否做得充分將影響到數(shù)據(jù)挖掘的效率和準(zhǔn)確度以及最終模式的有效性。包括：數(shù)據(jù)的選擇：選擇相關(guān)的數(shù)據(jù)數(shù)據(jù)的凈化：消除噪音、冗余數(shù)據(jù)數(shù)據(jù)的推測(cè)：推算缺失數(shù)據(jù)數(shù)據(jù)的轉(zhuǎn)化：離散值數(shù)據(jù)與連續(xù)值數(shù)據(jù)之間的相互轉(zhuǎn)換、數(shù)據(jù)值的分組分類(lèi)、數(shù)據(jù)項(xiàng)之間的計(jì)算組合等數(shù)據(jù)的縮減：減少數(shù)據(jù)量數(shù)據(jù)挖掘的過(guò)程23數(shù)據(jù)挖掘的過(guò)程挖掘階段：該階段是數(shù)據(jù)挖掘的核心步驟，也是技術(shù)難點(diǎn)所在。根據(jù)數(shù)據(jù)挖掘的目標(biāo)，采用人工智能、集合論、統(tǒng)計(jì)學(xué)等方法，應(yīng)用相應(yīng)的數(shù)據(jù)挖掘算法，分析數(shù)據(jù)并通過(guò)可視化工具表述所獲得的模

16、式或規(guī)則。24數(shù)據(jù)挖掘的過(guò)程評(píng)價(jià)階段：在數(shù)據(jù)挖掘中得到的模式可能是沒(méi)有實(shí)際意義或沒(méi)有使用價(jià)值的，也有可能不能準(zhǔn)確反映數(shù)據(jù)的真實(shí)意義，甚至在某些情況下是與事實(shí)相反的，因此需要評(píng)估，確定哪些是有效的、有用的模式。評(píng)估可以根據(jù)用戶(hù)多年的經(jīng)驗(yàn)，有些模式也可以直接用數(shù)據(jù)來(lái)檢驗(yàn)其準(zhǔn)確性。25數(shù)據(jù)挖掘的過(guò)程鞏固和運(yùn)用階段：用戶(hù)理解的、并被認(rèn)為是符合實(shí)際和有價(jià)值的模式形成了知識(shí)。同時(shí)還要對(duì)知識(shí)進(jìn)行一致性檢查，解決與以前得到的知識(shí)互相沖突、矛盾的地方，使知識(shí)得到鞏固。運(yùn)用知識(shí)有兩種方法：一種是只需看知識(shí)本身所描述的關(guān)系或結(jié)果，就可以對(duì)決策提供支持；另一種是要求運(yùn)用知識(shí)對(duì)新的數(shù)據(jù)進(jìn)行分析，由此可能產(chǎn)生新的問(wèn)題，而

17、需要對(duì)知識(shí)作進(jìn)一步的優(yōu)化。26數(shù)據(jù)挖掘的類(lèi)型數(shù)據(jù)挖掘的任務(wù): 是從大量的數(shù)據(jù)中發(fā)現(xiàn)模式。比較典型的有：預(yù)測(cè)模型關(guān)聯(lián)分析分類(lèi)分析聚類(lèi)分析序列分析偏差檢測(cè)模式相似性挖掘Web數(shù)據(jù)挖掘27預(yù)測(cè)模型預(yù)測(cè)模型（Predictive Modeling）： 即從數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中已知的數(shù)據(jù)推測(cè)未知的數(shù)據(jù)或?qū)ο蠹心承傩缘闹捣植冀㈩A(yù)測(cè)模型的常用方法：回歸分析線性模型關(guān)聯(lián)規(guī)則決策樹(shù)預(yù)測(cè)遺傳算法神經(jīng)網(wǎng)絡(luò)28關(guān)聯(lián)分析關(guān)聯(lián)（Association）分析：關(guān)聯(lián)規(guī)則描述了一組數(shù)據(jù)項(xiàng)之間的密切度或關(guān)系。關(guān)聯(lián)分析用于發(fā)現(xiàn)項(xiàng)目集之間的關(guān)聯(lián)。 在關(guān)聯(lián)規(guī)則挖掘算法中，通常給出了置信度和支持度兩個(gè)概念，對(duì)于置信度和支持度均大于給

18、定閾值的規(guī)則稱(chēng)為強(qiáng)規(guī)則，而關(guān)聯(lián)分析主要就是對(duì)強(qiáng)規(guī)則的挖掘。近幾年研究較多。現(xiàn)在，已經(jīng)從單一概念層次關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)發(fā)展到多概念層次的關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)，并把研究的重點(diǎn)放在提高算法的效率和規(guī)模可收縮性上。它廣泛地運(yùn)用于幫助市場(chǎng)導(dǎo)向、商品目錄設(shè)計(jì)客戶(hù)關(guān)系管理）（CRM）和其他各種商業(yè)決策過(guò)程中。關(guān)聯(lián)分析算法：APRIORI算法、DHP算法、DIC算法、PARTITION算法及它們的各種改進(jìn)算法等。另外，對(duì)于大規(guī)模、分布在不同站點(diǎn)上的數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)，關(guān)聯(lián)規(guī)則的挖掘可以使用并行算法，如：Count分布算法、Data分布算法、Candidate 分布算法、智能Data分布算法（IDD）和DMA分布算法等。2

19、9分類(lèi)分析分類(lèi)（Classification）分析：根據(jù)數(shù)據(jù)的特征為每個(gè)類(lèi)別建立一個(gè)模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分配到不同的組中。 在實(shí)際應(yīng)用過(guò)程中，分類(lèi)規(guī)則可以分析分組中數(shù)據(jù)的各種屬性，并找出數(shù)據(jù)的屬性模型，從而確定哪些數(shù)據(jù)屬于哪些組。這樣就可以利用該模型來(lái)分析已有數(shù)據(jù)，并預(yù)測(cè)新數(shù)據(jù)將屬于哪一個(gè)組。類(lèi)的描述可以是顯式的，如用一組特征概念描述；也可以是隱式的，如用一個(gè)數(shù)學(xué)公式或數(shù)學(xué)模型描述。分類(lèi)分析已經(jīng)成功地用于顧客分類(lèi)、疾病分類(lèi)、商業(yè)建模和信用卡分析等。分類(lèi)分析的常用方法：約略（Rough）集決策樹(shù)神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)分析法30聚類(lèi)分析聚類(lèi)(Clustering)分析：聚類(lèi)是指一組彼此間非常“相似”的

20、數(shù)據(jù)對(duì)象的集合。相似的程度可以通過(guò)距離函數(shù)來(lái)表示，由用戶(hù)或?qū)＜抑付?。聚?lèi)分析是按照某種相近程度度量方法將數(shù)據(jù)分成互不相同的一些分組。每一個(gè)分組中的數(shù)據(jù)相近，不同分組之間的數(shù)據(jù)相差較大。好的聚類(lèi)方法可以產(chǎn)生高質(zhì)量的聚類(lèi)，保證每一聚類(lèi)內(nèi)部的相似性很高，而各聚類(lèi)之間的相似性很低。聚類(lèi)分析的核心是將某些定性的相近程度測(cè)量方法轉(zhuǎn)換成定量測(cè)試方法。采用聚類(lèi)分析，系統(tǒng)可以根據(jù)部分?jǐn)?shù)據(jù)發(fā)現(xiàn)規(guī)律，找出對(duì)全體數(shù)據(jù)的描述。聚類(lèi)分析的常用方法：隨機(jī)搜索聚類(lèi)法特征聚類(lèi)CF樹(shù)31序列分析序列（Sequence）分析：序列分析主要用于分析數(shù)據(jù)倉(cāng)庫(kù)中的某類(lèi)與時(shí)間相關(guān)的數(shù)據(jù)，搜索類(lèi)似的序列或子序列，并挖掘時(shí)序模式、周期性、趨勢(shì)

21、和偏離等。例如，它可以導(dǎo)出類(lèi)似“若AT&T股票連續(xù)上漲兩天且DEC股票不下跌，則第三天IBM股票上漲的可能性為75%”的數(shù)據(jù)關(guān)系。序列模式可以看成是一種特定的關(guān)聯(lián)模型，它在關(guān)聯(lián)模型中增加了時(shí)間屬性。32偏差檢測(cè)與模式相似性挖掘偏差檢測(cè)（Deviation Detection）：用于檢測(cè)并解釋數(shù)據(jù)分類(lèi)的偏差，它有助于濾掉知識(shí)發(fā)現(xiàn)引擎所抽取的無(wú)關(guān)信息，也可濾掉那些不合適的數(shù)據(jù)，同時(shí)可產(chǎn)生新的關(guān)注性事實(shí)。模式相似性挖掘：用于在時(shí)間數(shù)據(jù)庫(kù)或空間數(shù)據(jù)庫(kù)中搜索相似模式時(shí)，從所有對(duì)象中找出用戶(hù)定義范圍內(nèi)的對(duì)象；或找出所有元素對(duì)，元素對(duì)中兩者的距離小于用戶(hù)定義的距離范圍。模式相似性挖掘的方法有相似度測(cè)量法、遺

22、傳算法等。33Web數(shù)據(jù)挖掘Web數(shù)據(jù)挖掘：萬(wàn)維網(wǎng)是一個(gè)巨大的、分布廣泛的和全球性的信息服務(wù)中心，其中包含了豐富的超鏈接信息，為數(shù)據(jù)挖掘提供了豐富的資源。Web使用模式挖掘：在Web環(huán)境中，文檔和對(duì)象一般都是通過(guò)鏈接來(lái)便于用戶(hù)訪問(wèn)。捕捉用戶(hù)的存取模式或發(fā)現(xiàn)一個(gè)Web網(wǎng)站最頻繁的訪問(wèn)路徑稱(chēng)為Web使用模式挖掘或Web路徑挖掘。Web結(jié)構(gòu)挖掘：是挖掘Web的鏈接結(jié)構(gòu)，并找出關(guān)于某一主題的權(quán)威網(wǎng)站。Web內(nèi)容挖掘：是指在大量訓(xùn)練樣本的基礎(chǔ)上，得到數(shù)據(jù)對(duì)象之間的內(nèi)在特征，并以此為依據(jù)進(jìn)行有目的的信息篩選，從而獲得指定內(nèi)容的信息。基于Web的研究：搜索引擎的設(shè)計(jì)、文件自動(dòng)分類(lèi)技術(shù)、關(guān)鍵詞的自動(dòng)提取、半結(jié)

23、構(gòu)化信息的提取及Web上新型應(yīng)用的研究34數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)數(shù)據(jù)挖掘系統(tǒng)可以采用三層的C/S結(jié)構(gòu)：第一層：為圖形用戶(hù)界面，位于系統(tǒng)的客戶(hù)端；第二層：為數(shù)據(jù)挖掘引擎，它是數(shù)據(jù)挖掘系統(tǒng)的核心，位于系統(tǒng)的應(yīng)用服務(wù)器端；第三層：為數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)，位于數(shù)據(jù)服務(wù)器端。35數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)圖形用戶(hù)界面該模塊實(shí)現(xiàn)用戶(hù)與數(shù)據(jù)挖掘系統(tǒng)之間的通信，允許用戶(hù)與系統(tǒng)交互。用戶(hù)可以通過(guò)圖形化界面指定數(shù)據(jù)挖掘任務(wù)、輸入有關(guān)信息，根據(jù)系統(tǒng)以可視化形式輸出的數(shù)據(jù)挖掘的中間結(jié)果進(jìn)行探索式的數(shù)據(jù)挖掘。此外，該模塊還提供用戶(hù)瀏覽數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)模式或數(shù)據(jù)結(jié)構(gòu)、評(píng)價(jià)數(shù)據(jù)挖掘的模式等功能。36數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu) 數(shù)據(jù)挖掘引擎數(shù)據(jù)挖掘

24、引擎是數(shù)據(jù)挖掘系統(tǒng)最基本、最重要的部分，是數(shù)據(jù)挖掘系統(tǒng)的核心。該部分由一系列功能模塊組成，分別用于關(guān)聯(lián)規(guī)則挖掘、分類(lèi)規(guī)則挖掘、聚類(lèi)規(guī)則挖掘、時(shí)序與序列數(shù)據(jù)挖掘和WEB數(shù)據(jù)挖掘等。37數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)該部分位于數(shù)據(jù)服務(wù)器端，包括數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、文件系統(tǒng)、其他數(shù)據(jù)源以及存放經(jīng)過(guò)數(shù)據(jù)準(zhǔn)備提取和集成后數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)。在知識(shí)庫(kù)中存放領(lǐng)域知識(shí)，用于搜索和對(duì)模式進(jìn)行評(píng)價(jià)。數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器的功能是根據(jù)用戶(hù)的數(shù)據(jù)挖掘請(qǐng)求，提取相應(yīng)的數(shù)據(jù)供數(shù)據(jù)挖掘引擎使用。38數(shù)據(jù)挖掘常用技術(shù)生物學(xué)方法人工神經(jīng)網(wǎng)絡(luò)遺傳算法信息論方法決策樹(shù)集合論方法約略集模糊集最鄰近技術(shù)統(tǒng)計(jì)學(xué)方法可視化技術(shù)39生物學(xué)方法神

25、經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的一個(gè)重要的分支。采用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的系統(tǒng)模擬人腦的結(jié)構(gòu)，而與傳統(tǒng)的系統(tǒng)截然不同。由醫(yī)學(xué)可知，人的大腦中有幾十億個(gè)大腦細(xì)胞（稱(chēng)為神經(jīng)元），這些神經(jīng)元通過(guò)神經(jīng)中樞的導(dǎo)電神經(jīng)纖維互相連接，從而形成一個(gè)復(fù)雜的腦神經(jīng)網(wǎng)絡(luò)。人在學(xué)習(xí)某一件事的時(shí)候，某些神經(jīng)元的連接得到強(qiáng)化。在人工神經(jīng)網(wǎng)絡(luò)中，用計(jì)算機(jī)處理單元來(lái)模擬人腦的神經(jīng)元，并將這些處理單元象人腦的神經(jīng)元那樣互相連接起來(lái)，構(gòu)成一個(gè)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)并非使用編程的方式讓計(jì)算機(jī)去做某項(xiàng)工作，而是采用所謂“訓(xùn)練”的方法讓神經(jīng)網(wǎng)絡(luò)進(jìn)行“學(xué)習(xí)”。完成某項(xiàng)工作的正確動(dòng)作，使得神經(jīng)網(wǎng)絡(luò)的某些連接或模式得到強(qiáng)化；而錯(cuò)誤的動(dòng)作則使神經(jīng)網(wǎng)絡(luò)的相應(yīng)

26、連接或模式不被強(qiáng)化。從而讓神經(jīng)網(wǎng)絡(luò)“學(xué)會(huì)”如何去做這項(xiàng)工作。40生物學(xué)方法神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)待分析數(shù)據(jù)中的模式來(lái)構(gòu)造模型，一般可對(duì)隱類(lèi)型進(jìn)行分類(lèi)，用于非線性的，復(fù)雜的數(shù)據(jù)。它通過(guò)模擬人腦神經(jīng)元結(jié)構(gòu)進(jìn)行數(shù)據(jù)挖掘。 以MP模型和Hebb學(xué)習(xí)規(guī)則為基礎(chǔ)，建立了三大類(lèi)多種神經(jīng)網(wǎng)絡(luò)模型：前饋式網(wǎng)絡(luò)：以感知機(jī)、反向傳播模型、函數(shù)型網(wǎng)絡(luò)為代表，可用于預(yù)測(cè)、模式識(shí)別等方面。反饋式網(wǎng)絡(luò)：以Hopfield的離散模型和連續(xù)模型為代表，分別用于聯(lián)想記憶和優(yōu)化計(jì)算。自組織網(wǎng)絡(luò)：以ART模型、Koholon模型為代表，用于聚類(lèi)。41生物學(xué)方法遺傳算法遺傳算法（Genetic Algorithms，簡(jiǎn)記為GI）

27、：是一種借鑒生物界自然選擇和進(jìn)化機(jī)制發(fā)展起來(lái)的高度并行、隨機(jī)、自適應(yīng)搜索算法。遺傳算法的研究歷史比較短，是從20世紀(jì)60年代末期到70年代初才開(kāi)始的，當(dāng)時(shí)的一些學(xué)者從試圖解釋自然界中生物的復(fù)雜適應(yīng)過(guò)程入手，模擬生物進(jìn)化的機(jī)制來(lái)建立人工系統(tǒng)的模型。經(jīng)過(guò)近30的發(fā)展，現(xiàn)已取得了理論研究的進(jìn)展和豐碩的應(yīng)用成果。目前，以遺傳算法為核心的進(jìn)化算法已與模糊系統(tǒng)理論、人工神經(jīng)網(wǎng)絡(luò)等一起成為人工智能研究中的熱點(diǎn)，受到許多學(xué)科的共同關(guān)注。42生物學(xué)方法遺傳算法遺傳算法的研究與生物進(jìn)化理論和遺傳學(xué)密切相關(guān)。生命的基本特征包括生長(zhǎng)、繁殖、新陳代謝和遺傳與變異。生命是進(jìn)化的產(chǎn)物，現(xiàn)代的生物是在長(zhǎng)期的進(jìn)化過(guò)程中發(fā)展起來(lái)

28、的。達(dá)爾文提出了用自然選擇來(lái)解釋生物的進(jìn)化過(guò)程，該學(xué)說(shuō)包括遺傳、變異、生存斗爭(zhēng)和適者生存三個(gè)方面。生物進(jìn)化是非常復(fù)雜的，它將涉及諸如染色體、脫氧核糖核酸、遺傳因子、種群、基因、進(jìn)化、選擇、復(fù)制、交叉、變異、編碼與解碼等許多名詞術(shù)語(yǔ)，而且許多現(xiàn)象尚無(wú)法用現(xiàn)有的進(jìn)化理論來(lái)解釋。43生物學(xué)方法遺傳算法遺傳算法的基本思想：從代表問(wèn)題的可能潛在解集的一個(gè)種群開(kāi)始，一個(gè)種群是由經(jīng)過(guò)基因編碼的一定數(shù)量的個(gè)體組成，每個(gè)個(gè)體是染色體帶有特征的實(shí)體，染色體是多個(gè)基因的集合，它決定了個(gè)體的形狀和外部表現(xiàn)；通過(guò)模擬基因編碼形成初代種群，然后按照適者生存和優(yōu)勝劣汰的原則逐代演化產(chǎn)生出越來(lái)越好的近似解；在每一代，根據(jù)問(wèn)題

29、域中個(gè)體的適應(yīng)度大小進(jìn)行選擇，并借助遺傳算子進(jìn)行組合交叉和變異，從而產(chǎn)生出代表新的解集的種群；以上過(guò)程將導(dǎo)致種群象自然進(jìn)化一樣的后代種群比前代種群更加適用于環(huán)境，末代種群中的最優(yōu)個(gè)體經(jīng)過(guò)解碼可以作為問(wèn)題的最優(yōu)近似解。44生物學(xué)方法遺傳算法遺傳算法中的三個(gè)基本操作：選擇：即通過(guò)適應(yīng)度的計(jì)算確定重組或交叉的個(gè)體，并確定被選個(gè)體將產(chǎn)生多少個(gè)子代個(gè)體。交叉：又稱(chēng)為基因重組，即結(jié)合來(lái)自父代種群中的信息產(chǎn)生新的個(gè)體。變異：即交叉之后子代的基因按小概率擾動(dòng)所產(chǎn)生的變化。遺傳算法可起到產(chǎn)生優(yōu)良后代的作用。這些后代需滿(mǎn)足適應(yīng)值，經(jīng)過(guò)若干代的遺傳，將得到滿(mǎn)足要求的后代（問(wèn)題的解）。遺傳算法提供了一種求解復(fù)雜系統(tǒng)優(yōu)

30、化問(wèn)題的通用框架，它不依賴(lài)于問(wèn)題的具體領(lǐng)域，因此可以應(yīng)用于函數(shù)優(yōu)化、組合優(yōu)化、生產(chǎn)調(diào)度、自動(dòng)控制、機(jī)器人智能控制、圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等眾多領(lǐng)域。45信息論方法信息論是研究信息的測(cè)度及其性質(zhì)、信息傳輸和信息處理系統(tǒng)的一般規(guī)律的學(xué)科分支。其研究?jī)?nèi)容主要包括：以編碼理論為中心的所謂狹義信息論，它研究信息的測(cè)度、信息的容量、信源特性、信源編碼、信道和信息系統(tǒng)模型等；信號(hào)處理技術(shù)，它研究信號(hào)和噪音分析、信號(hào)的過(guò)濾與檢測(cè)，以及有關(guān)理論；以計(jì)算機(jī)為中心的信息處理技術(shù)與理論，例如模式識(shí)別、自學(xué)習(xí)理論、自動(dòng)機(jī)器翻譯等。在數(shù)據(jù)挖掘中，決策樹(shù)（decision tree）是一種廣泛使用的圖解法決

31、策分析工具，它把影響各行動(dòng)的有關(guān)因素（自然狀態(tài)、概率、損益值等）用樹(shù)型圖表示，可直觀形象地表示出各條件和所允許的行動(dòng)以及各種結(jié)果中間的關(guān)系。46決策樹(shù)方法決策樹(shù)：用樹(shù)結(jié)構(gòu)表示決策集，這些決策產(chǎn)生規(guī)則，用于對(duì)數(shù)據(jù)集進(jìn)行分類(lèi)。決策樹(shù)的建立：利用訓(xùn)練集生成一個(gè)測(cè)試函數(shù)，根據(jù)不同取值建立樹(shù)的分支，再在每個(gè)分支子集中重復(fù)建樹(shù)的分支的過(guò)程，即可建立決策樹(shù)。然后對(duì)決策樹(shù)進(jìn)行剪枝處理，即可得到規(guī)則。典型的決策樹(shù)方法：ID3、分類(lèi)回歸樹(shù)（CART）、等。 47集合論方法約略集約略集（Rough Set）又稱(chēng)為粗糙集和粗集，是由波蘭華沙理工大學(xué)Z . Pawlak教授等提出的研究不完整數(shù)據(jù)、不精確知識(shí)的表達(dá)、學(xué)習(xí)

32、和歸納的理論與方法。約略集方法與使用統(tǒng)計(jì)學(xué)方法或模糊集合論方法處理不精確數(shù)據(jù)的方法不同，它是以對(duì)觀察和測(cè)量所得數(shù)據(jù)進(jìn)行分類(lèi)的能力為基礎(chǔ)的，為智能信息處理提供了有效的理論基礎(chǔ)和處理技術(shù)。48集合論方法約略集約略集理論是于1982年在計(jì)算機(jī)與信息科學(xué)國(guó)際雜志上發(fā)表的論文“Rough Sets”中首先提出的一個(gè)分析數(shù)據(jù)的數(shù)學(xué)理論。在分類(lèi)的意義下，這個(gè)理論定義了模糊性與不確定性的概念，由于最初的研究大多是用波蘭文發(fā)表的，因此，這項(xiàng)研究在當(dāng)時(shí)并未引起國(guó)際計(jì)算機(jī)學(xué)界的重視，研究地域局限在東歐各國(guó)。到了80年代末，這個(gè)理論引起了世界各國(guó)學(xué)者的注意，人們對(duì)約略集理論的主要興趣在于它恰好反映了人們以不完全信息或

33、知識(shí)去處理一些不分明現(xiàn)象的能力，或依據(jù)觀察、度量到的某些不精確的結(jié)果而進(jìn)行分類(lèi)數(shù)據(jù)的能力。如醫(yī)學(xué)、藥學(xué)、工業(yè)、工程技術(shù)、控制系統(tǒng)、社會(huì)科學(xué)、地球科學(xué)、開(kāi)關(guān)電路、圖象處理和其他許多方面都已經(jīng)成功地實(shí)現(xiàn)了它的應(yīng)用。49集合論方法約略集國(guó)際上關(guān)于約略集理論和知識(shí)發(fā)現(xiàn)的會(huì)議：1993年在Banff, Alberta, Canada舉行的The Intl Workshop on Rough Sets and Knowledge Discovery1996年在University of Tokyo舉行的The Fourth Intl Workshop on Rough Sets, Fuzzy Sets,

34、and Machine Discovery研究集中在約略集理論的數(shù)學(xué)性質(zhì)、拓廣、與其他不確定方法的關(guān)系和互補(bǔ)，以及有效算法等方面。基于Rough集方法的數(shù)據(jù)挖掘工具：如ProbRough、TRANCE、KDD-R、LERS、DataLogic/R等。50精確集與約略集令U是全域，XU，若X是任意基本集的并，則X是R（區(qū)分關(guān)系）可定義的，否則是R不可定義的；R可定義集也稱(chēng)作R精確集（R Exact Sets），它在U的知識(shí)庫(kù)中可以被定義，而R不可定義集不能在該知識(shí)庫(kù)中定義，稱(chēng)為R非精確集（R Inexact Sets）或R約略集（R Rough Sets）。51約略集上近似與下近似約略集的基本觀

35、點(diǎn)：用一個(gè)二元關(guān)系來(lái)建構(gòu)集合的近似。信息系統(tǒng)S =（U，T，V，）的不可區(qū)分集合RB(x)（在約略集理論中即等價(jià)類(lèi)xB）是用來(lái)近似任何子集XU的基石。如果用屬性B不能精確地定義集合X，這時(shí)可以考慮用等價(jià)關(guān)系B導(dǎo)出的等價(jià)類(lèi)近似地定義集合X，給出集合X的下近似和上近似的定義。根據(jù)X的上下近似，可以將U分為三個(gè)區(qū)域：正區(qū)域，負(fù)區(qū)域和邊界區(qū)域。 52概念X的上下近似圖解 53集合論方法約略集約略集理論用于分類(lèi)規(guī)則挖掘：發(fā)現(xiàn)不精確數(shù)據(jù)或噪聲數(shù)據(jù)的內(nèi)在結(jié)構(gòu)聯(lián)系。其基本思想是建立樣本數(shù)據(jù)內(nèi)部的等價(jià)類(lèi)，而這些等價(jià)類(lèi)是按照下近似和上近似“約略地”定義的。對(duì)于每一個(gè)等價(jià)類(lèi)可以產(chǎn)生相應(yīng)的判定規(guī)則，對(duì)于下近似可建立確定性規(guī)則，對(duì)于上近似可建立不確定性規(guī)則（含可信度），并用判定表表示這些規(guī)則。約略集理論用于特征歸約和相關(guān)分析：找出描述給定數(shù)據(jù)集中所有概念的最小屬性子集。約略集理論用于屬性化簡(jiǎn)及其規(guī)則篩選：減少數(shù)據(jù)庫(kù)系統(tǒng)中的冗余屬性，提高數(shù)據(jù)庫(kù)中所隱含知識(shí)的可理解性。54集合論方法模糊集方法模糊性是客觀存在的，系統(tǒng)的