數(shù)據(jù)挖掘研究生課件第一章緒論

1、第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析 數(shù)據(jù)挖掘技術(shù)的商業(yè)需求分析數(shù)據(jù)挖掘技術(shù)的商業(yè)需求分析 n隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)庫應(yīng)用的規(guī)模、隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)庫應(yīng)用的規(guī)模、范圍和深度不斷擴(kuò)大，網(wǎng)絡(luò)環(huán)境成為主流等等。范圍和深度不斷擴(kuò)大，網(wǎng)絡(luò)環(huán)境成為主流等等。產(chǎn)生產(chǎn)生“數(shù)據(jù)豐富而信息貧乏（數(shù)據(jù)豐富而信息貧乏（Data Rich & Data Rich & Informat

2、ion PoorInformation Poor）”現(xiàn)象?，F(xiàn)象。n在強(qiáng)大的商業(yè)需求的驅(qū)動(dòng)下，商家們開始注意到在強(qiáng)大的商業(yè)需求的驅(qū)動(dòng)下，商家們開始注意到有效地解決大容量數(shù)據(jù)的利用問題具有巨大的商有效地解決大容量數(shù)據(jù)的利用問題具有巨大的商機(jī)；學(xué)者們開始思考如何從大容量數(shù)據(jù)集中獲取機(jī)；學(xué)者們開始思考如何從大容量數(shù)據(jù)集中獲取有用信息和知識(shí)的方法。有用信息和知識(shí)的方法。n隨著信息技術(shù)的高速發(fā)展，人們希望能夠提供更隨著信息技術(shù)的高速發(fā)展，人們希望能夠提供更高層次的數(shù)據(jù)處理功能。高層次的數(shù)據(jù)處理功能。新的需求推動(dòng)新的技術(shù)新的需求推動(dòng)新的技術(shù)的誕生。的誕生。n數(shù)據(jù)（數(shù)據(jù)（DataData）、信息（）、信息（I

3、nformationInformation）和知識(shí)）和知識(shí)（KnowledgeKnowledge）是廣義數(shù)據(jù)表現(xiàn)的不同形式。）是廣義數(shù)據(jù)表現(xiàn)的不同形式。數(shù)據(jù)、信息和知識(shí)datainformationknowledge數(shù)據(jù)挖掘產(chǎn)生的技術(shù)背景數(shù)據(jù)挖掘產(chǎn)生的技術(shù)背景n 數(shù)據(jù)挖掘是相關(guān)學(xué)科充分發(fā)展的基礎(chǔ)上被提出和數(shù)據(jù)挖掘是相關(guān)學(xué)科充分發(fā)展的基礎(chǔ)上被提出和發(fā)展的。發(fā)展的。n 主要的相關(guān)技術(shù)：主要的相關(guān)技術(shù)：n 數(shù)據(jù)庫數(shù)據(jù)庫等信息技術(shù)的發(fā)展等信息技術(shù)的發(fā)展n 統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)深入應(yīng)用深入應(yīng)用n 人工智能人工智能技術(shù)的研究和應(yīng)用技術(shù)的研究和應(yīng)用數(shù)據(jù)挖掘是一個(gè)多學(xué)科交叉技術(shù) Data MiningDatabase

4、 TechnologyStatisticsOtherDisciplinesInformationScienceAI /MachineLearningVisualization數(shù)據(jù)庫系統(tǒng)的發(fā)展數(shù)據(jù)庫系統(tǒng)的發(fā)展n6060年代：簡單文件處理系統(tǒng)向數(shù)據(jù)庫系統(tǒng)變革年代：簡單文件處理系統(tǒng)向數(shù)據(jù)庫系統(tǒng)變革 。n7070年代：層次、網(wǎng)絡(luò)和關(guān)系型數(shù)據(jù)庫普及。年代：層次、網(wǎng)絡(luò)和關(guān)系型數(shù)據(jù)庫普及。 n8080年代：年代：RDBSRDBS及其相關(guān)工具、數(shù)據(jù)索引及數(shù)據(jù)組及其相關(guān)工具、數(shù)據(jù)索引及數(shù)據(jù)組織技術(shù)被廣泛采用；中期開始，分布式數(shù)據(jù)庫廣織技術(shù)被廣泛采用；中期開始，分布式數(shù)據(jù)庫廣發(fā)討論，關(guān)系數(shù)據(jù)庫技術(shù)和新型技術(shù)的結(jié)合

5、。發(fā)討論，關(guān)系數(shù)據(jù)庫技術(shù)和新型技術(shù)的結(jié)合。 n9090年代：數(shù)據(jù)庫領(lǐng)域中的新內(nèi)容、新應(yīng)用、新技年代：數(shù)據(jù)庫領(lǐng)域中的新內(nèi)容、新應(yīng)用、新技術(shù)層出不窮，形成了龐大的數(shù)據(jù)庫家族；人們期術(shù)層出不窮，形成了龐大的數(shù)據(jù)庫家族；人們期望分析預(yù)測、決策支持等高級(jí)應(yīng)用，望分析預(yù)測、決策支持等高級(jí)應(yīng)用， Data mining Data mining and data warehousingand data warehousing等出現(xiàn)。等出現(xiàn)。n本世紀(jì)開始：本世紀(jì)開始： Data mining Data mining 得到理論得到理論/ /技術(shù)深化。技術(shù)深化。統(tǒng)計(jì)學(xué)的深入應(yīng)用統(tǒng)計(jì)學(xué)的深入應(yīng)用n強(qiáng)大有效的數(shù)理統(tǒng)計(jì)方

6、法和工具，已成為信息咨強(qiáng)大有效的數(shù)理統(tǒng)計(jì)方法和工具，已成為信息咨詢業(yè)的基礎(chǔ)詢業(yè)的基礎(chǔ) 。n統(tǒng)計(jì)分析技術(shù)是基于嚴(yán)格的數(shù)學(xué)理論和高超的應(yīng)統(tǒng)計(jì)分析技術(shù)是基于嚴(yán)格的數(shù)學(xué)理論和高超的應(yīng)用技巧的用技巧的 。 n數(shù)據(jù)挖掘技術(shù)是數(shù)理統(tǒng)計(jì)分析應(yīng)用的延伸和發(fā)展數(shù)據(jù)挖掘技術(shù)是數(shù)理統(tǒng)計(jì)分析應(yīng)用的延伸和發(fā)展 。 n和數(shù)據(jù)庫技術(shù)的結(jié)合性研究和數(shù)據(jù)庫技術(shù)的結(jié)合性研究人工智能技術(shù)的研究和應(yīng)用n人工智能：爭議最多，強(qiáng)大生命人工智能：爭議最多，強(qiáng)大生命n專家系統(tǒng)曾經(jīng)的驕傲，但是諸多難題：專家系統(tǒng)曾經(jīng)的驕傲，但是諸多難題：n知識(shí)獲取成為專家系統(tǒng)研究中公認(rèn)的瓶頸問題。知識(shí)獲取成為專家系統(tǒng)研究中公認(rèn)的瓶頸問題。n知識(shí)表示成為一大難題：

7、知識(shí)工程師與領(lǐng)域?qū)＜摇ＶR(shí)表示成為一大難題：知識(shí)工程師與領(lǐng)域?qū)＜?。n對常識(shí)和百科知識(shí)出奇地貧乏：人工智能學(xué)家對常識(shí)和百科知識(shí)出奇地貧乏：人工智能學(xué)家FeigenbaumFeigenbaum估計(jì)，估計(jì)，一般人擁有的常識(shí)存入計(jì)算機(jī)大約有一般人擁有的常識(shí)存入計(jì)算機(jī)大約有100100萬條事實(shí)和抽象經(jīng)驗(yàn)法則，萬條事實(shí)和抽象經(jīng)驗(yàn)法則，離開常識(shí)的專家系統(tǒng)有時(shí)會(huì)比傻子還傻。離開常識(shí)的專家系統(tǒng)有時(shí)會(huì)比傻子還傻。n數(shù)據(jù)挖掘繼承了專家系統(tǒng)的高度實(shí)用性特點(diǎn)，并數(shù)據(jù)挖掘繼承了專家系統(tǒng)的高度實(shí)用性特點(diǎn)，并且以數(shù)據(jù)為基本出發(fā)點(diǎn)，客觀地挖掘知識(shí)。且以數(shù)據(jù)為基本出發(fā)點(diǎn)，客觀地挖掘知識(shí)。n機(jī)器學(xué)習(xí)得到了充分研究和發(fā)展：理論和算法

8、。機(jī)器學(xué)習(xí)得到了充分研究和發(fā)展：理論和算法。n數(shù)據(jù)挖掘研究在繼承已有的人工智能，特別是機(jī)數(shù)據(jù)挖掘研究在繼承已有的人工智能，特別是機(jī)器學(xué)習(xí)的研究成果基礎(chǔ)上，成為新的研究分支。器學(xué)習(xí)的研究成果基礎(chǔ)上，成為新的研究分支。第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用粗糙

9、集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析數(shù)據(jù)挖掘的應(yīng)用分析 數(shù)據(jù)挖掘處于研究和應(yīng)用探索階段數(shù)據(jù)挖掘處于研究和應(yīng)用探索階段n經(jīng)過十幾年的研究和實(shí)踐，數(shù)據(jù)挖掘技術(shù)已經(jīng)吸經(jīng)過十幾年的研究和實(shí)踐，數(shù)據(jù)挖掘技術(shù)已經(jīng)吸收了許多學(xué)科的最新研究成果、獨(dú)具特色支。收了許多學(xué)科的最新研究成果、獨(dú)具特色支。n大部分學(xué)者認(rèn)為數(shù)據(jù)挖掘的研究仍然處于廣泛研大部分學(xué)者認(rèn)為數(shù)據(jù)挖掘的研究仍然處于廣泛研究和探索階段：究和探索階段：n一方面，數(shù)據(jù)挖掘的概念已經(jīng)被廣泛接受。一方面，數(shù)據(jù)挖掘的概念已經(jīng)被廣泛接受。n另一方面，數(shù)據(jù)挖掘的大面積應(yīng)用還有待時(shí)日。另一方面，數(shù)據(jù)挖掘的大面積應(yīng)用還有待時(shí)日。n隨著隨著KDDKDD在學(xué)

10、術(shù)界和工業(yè)界的影響越來越大，數(shù)在學(xué)術(shù)界和工業(yè)界的影響越來越大，數(shù)據(jù)挖掘的研究向著更深入和實(shí)用技術(shù)方向發(fā)展：據(jù)挖掘的研究向著更深入和實(shí)用技術(shù)方向發(fā)展：n大學(xué)等研究機(jī)構(gòu)的大多數(shù)基礎(chǔ)性研究集中在數(shù)據(jù)挖掘理論、挖掘大學(xué)等研究機(jī)構(gòu)的大多數(shù)基礎(chǔ)性研究集中在數(shù)據(jù)挖掘理論、挖掘算法等的探討上。算法等的探討上。n公司的研究更注重和實(shí)際商業(yè)問題結(jié)合。公司的研究更注重和實(shí)際商業(yè)問題結(jié)合。n數(shù)據(jù)挖掘的經(jīng)濟(jì)價(jià)值已經(jīng)顯現(xiàn)出來：數(shù)據(jù)挖掘的經(jīng)濟(jì)價(jià)值已經(jīng)顯現(xiàn)出來：GartnerGartner報(bào)告報(bào)告中列舉重要影響的五項(xiàng)關(guān)鍵技術(shù)，其中中列舉重要影響的五項(xiàng)關(guān)鍵技術(shù)，其中KDDKDD和人和人工智能排名第一。工智能排名第一。數(shù)據(jù)挖掘研

11、究聚焦點(diǎn)數(shù)據(jù)挖掘研究聚焦點(diǎn)n數(shù)據(jù)挖掘在如下幾個(gè)方面需要重點(diǎn)開展工作：數(shù)據(jù)挖掘在如下幾個(gè)方面需要重點(diǎn)開展工作：n數(shù)據(jù)挖掘技術(shù)與特定商業(yè)邏輯的平滑集成問題：數(shù)據(jù)挖掘技術(shù)與特定商業(yè)邏輯的平滑集成問題： “ “啤酒與尿布啤酒與尿布”n數(shù)據(jù)挖掘技術(shù)與特定數(shù)據(jù)存儲(chǔ)類型的適應(yīng)問題：數(shù)據(jù)挖掘技術(shù)與特定數(shù)據(jù)存儲(chǔ)類型的適應(yīng)問題：n大型數(shù)據(jù)的選擇與規(guī)格化問題：大型數(shù)據(jù)的選擇與規(guī)格化問題：n數(shù)據(jù)的噪音、信息丟失等問題的處理；數(shù)據(jù)的噪音、信息丟失等問題的處理；n針對特定挖掘方法進(jìn)行數(shù)據(jù)規(guī)格化等問題。針對特定挖掘方法進(jìn)行數(shù)據(jù)規(guī)格化等問題。n數(shù)據(jù)挖掘系統(tǒng)的構(gòu)架與交互式挖掘技術(shù)：數(shù)據(jù)挖掘系統(tǒng)的構(gòu)架與交互式挖掘技術(shù)：n在具體的

12、實(shí)現(xiàn)機(jī)制等方面仍需細(xì)化和深入研究。在具體的實(shí)現(xiàn)機(jī)制等方面仍需細(xì)化和深入研究。n良好的交互式挖掘（良好的交互式挖掘（Interaction MiningInteraction Mining）。）。n數(shù)據(jù)挖掘語言與系統(tǒng)的可視化問題數(shù)據(jù)挖掘語言與系統(tǒng)的可視化問題n數(shù)據(jù)挖掘理論與算法研究數(shù)據(jù)挖掘理論與算法研究n一方面，面向?qū)嶋H應(yīng)用目標(biāo)的挖掘理論等待探索和創(chuàng)新。一方面，面向?qū)嶋H應(yīng)用目標(biāo)的挖掘理論等待探索和創(chuàng)新。n另一方面，隨著數(shù)據(jù)挖掘技術(shù)本身和相關(guān)技術(shù)的發(fā)展。另一方面，隨著數(shù)據(jù)挖掘技術(shù)本身和相關(guān)技術(shù)的發(fā)展。第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢n數(shù)據(jù)

13、挖掘概念n數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析 從商業(yè)角度看數(shù)據(jù)挖掘技術(shù)從商業(yè)角度看數(shù)據(jù)挖掘技術(shù) n數(shù)據(jù)挖掘從本質(zhì)上是一種新商業(yè)信息處理技術(shù)：數(shù)據(jù)挖掘從本質(zhì)上是一種新商業(yè)信息處理技術(shù)：n從低層次的聯(lián)機(jī)查詢，提高到?jīng)Q策支持、分析預(yù)測等高級(jí)應(yīng)用。從低層次的聯(lián)機(jī)查詢，提高到?jīng)Q策支持、分析預(yù)測等高級(jí)應(yīng)用。n通過對數(shù)據(jù)的統(tǒng)計(jì)、分析、綜合和推理，發(fā)現(xiàn)數(shù)據(jù)間的關(guān)聯(lián)性、未通過對數(shù)據(jù)的統(tǒng)計(jì)、分析、綜合和推理，發(fā)現(xiàn)數(shù)據(jù)間的關(guān)聯(lián)性、未來趨勢以及一般性的概括知識(shí)等，這些知識(shí)性的信息可以用來指導(dǎo)來趨勢以及一般

14、性的概括知識(shí)等，這些知識(shí)性的信息可以用來指導(dǎo)高級(jí)商務(wù)活動(dòng)。高級(jí)商務(wù)活動(dòng)。n從決策、分析和預(yù)測等高級(jí)商業(yè)目的看，原始數(shù)據(jù)從決策、分析和預(yù)測等高級(jí)商業(yè)目的看，原始數(shù)據(jù)只是未被開采的礦山，需要挖掘和提煉才能獲得對只是未被開采的礦山，需要挖掘和提煉才能獲得對商業(yè)目的有用的規(guī)律性知識(shí)。商業(yè)目的有用的規(guī)律性知識(shí)。n從商業(yè)角度看，數(shù)據(jù)挖掘是按企業(yè)的既定業(yè)務(wù)目標(biāo)，從商業(yè)角度看，數(shù)據(jù)挖掘是按企業(yè)的既定業(yè)務(wù)目標(biāo)，對大量企業(yè)數(shù)據(jù)進(jìn)行深層次分析以揭示隱藏、未知對大量企業(yè)數(shù)據(jù)進(jìn)行深層次分析以揭示隱藏、未知的規(guī)律性并將其模型化，支持商業(yè)決策。的規(guī)律性并將其模型化，支持商業(yè)決策。數(shù)據(jù)挖掘的技術(shù)含義數(shù)據(jù)挖掘的技術(shù)含義 n數(shù)據(jù)

15、庫中的知識(shí)發(fā)現(xiàn)（數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)（KDDKDD： Knowledge Knowledge Discovery in DatabasesDiscovery in Databases）是比數(shù)據(jù)挖掘出現(xiàn)更早）是比數(shù)據(jù)挖掘出現(xiàn)更早的一個(gè)名詞。的一個(gè)名詞。 nKDDKDD與與Data MiningData Mining的關(guān)系，有不同的看法：的關(guān)系，有不同的看法：nKDDKDD看成數(shù)據(jù)挖掘的一個(gè)特例：這是早期比較流行的觀點(diǎn)?？闯蓴?shù)據(jù)挖掘的一個(gè)特例：這是早期比較流行的觀點(diǎn)。n數(shù)據(jù)挖掘是數(shù)據(jù)挖掘是KDDKDD的一個(gè)關(guān)鍵步驟：這種觀點(diǎn)得到大多數(shù)學(xué)者認(rèn)同。的一個(gè)關(guān)鍵步驟：這種觀點(diǎn)得到大多數(shù)學(xué)者認(rèn)同。nKDDKD

16、D與與Data MiningData Mining含義相同：事實(shí)上，在現(xiàn)今的許多場合，如技含義相同：事實(shí)上，在現(xiàn)今的許多場合，如技術(shù)綜述等，這兩個(gè)術(shù)語仍然不加區(qū)分地使用著。術(shù)綜述等，這兩個(gè)術(shù)語仍然不加區(qū)分地使用著。n也有其他的說法：也有其他的說法：nKDDKDD在人工智能界更流行，而在人工智能界更流行，而Data MiningData Mining在數(shù)據(jù)庫界更多。在數(shù)據(jù)庫界更多。n在研究領(lǐng)域被稱作在研究領(lǐng)域被稱作KDDKDD，在工程領(lǐng)域則稱之為數(shù)據(jù)挖掘。，在工程領(lǐng)域則稱之為數(shù)據(jù)挖掘。 數(shù)據(jù)挖掘定義數(shù)據(jù)挖掘定義n數(shù)據(jù)挖掘定義有廣義和狹義之分。數(shù)據(jù)挖掘定義有廣義和狹義之分。n從廣義的觀點(diǎn)，數(shù)據(jù)挖掘

17、是從大型數(shù)據(jù)集（可能是不完全的、有從廣義的觀點(diǎn)，數(shù)據(jù)挖掘是從大型數(shù)據(jù)集（可能是不完全的、有噪聲的、不確定性的、各種存儲(chǔ)形式的）中，挖掘隱含在其中的、噪聲的、不確定性的、各種存儲(chǔ)形式的）中，挖掘隱含在其中的、人們事先不知道的、對決策有用的知識(shí)的過程。人們事先不知道的、對決策有用的知識(shí)的過程。n從這種狹義的觀點(diǎn)上，我們可以定義數(shù)據(jù)挖掘是從特定形式的數(shù)從這種狹義的觀點(diǎn)上，我們可以定義數(shù)據(jù)挖掘是從特定形式的數(shù)據(jù)集中提煉知識(shí)的過程。據(jù)集中提煉知識(shí)的過程。n下列技術(shù)不是數(shù)據(jù)挖掘：下列技術(shù)不是數(shù)據(jù)挖掘：nOLTP OLTP nExpert systems Expert systems nSmall MLSm

18、all MLnStatistical programsStatistical programs 數(shù)據(jù)挖掘研究的理論基礎(chǔ)數(shù)據(jù)挖掘研究的理論基礎(chǔ) n數(shù)據(jù)挖掘方法可以是基于數(shù)學(xué)理論的，也可以是數(shù)據(jù)挖掘方法可以是基于數(shù)學(xué)理論的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。n從研究者可能是來自于數(shù)據(jù)庫、人工智能、數(shù)理從研究者可能是來自于數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)以及其他方面的學(xué)者和工程技統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)以及其他方面的學(xué)者和工程技術(shù)人員，他們會(huì)從不同的視點(diǎn)進(jìn)行探討性研究。術(shù)人員，他們會(huì)從不同的視點(diǎn)進(jìn)行探討性研究。n有下面一些重要的理論視點(diǎn)值得關(guān)注：有

19、下面一些重要的理論視點(diǎn)值得關(guān)注：n模式發(fā)現(xiàn)（模式發(fā)現(xiàn)（Pattern DiscoveryPattern Discovery）架構(gòu)）架構(gòu)n規(guī)則發(fā)現(xiàn)（規(guī)則發(fā)現(xiàn)（Rule DiscoveryRule Discovery）架構(gòu)）架構(gòu) n基于概率和統(tǒng)計(jì)理論基于概率和統(tǒng)計(jì)理論n微觀經(jīng)濟(jì)學(xué)觀點(diǎn)（微觀經(jīng)濟(jì)學(xué)觀點(diǎn)（Microeconomic ViewMicroeconomic View）n基于數(shù)據(jù)壓縮（基于數(shù)據(jù)壓縮（Data CompressionData Compression）理論）理論n基于歸納數(shù)據(jù)庫（基于歸納數(shù)據(jù)庫（Inductive DatabaseInductive Database）理論）理論n可

20、視化數(shù)據(jù)挖掘（可視化數(shù)據(jù)挖掘（Visual Data MiningVisual Data Mining）n等等等等 第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析數(shù)據(jù)挖掘的應(yīng)用分析 根據(jù)挖掘任務(wù)根據(jù)挖掘任務(wù)n分

21、類或預(yù)測模型發(fā)現(xiàn)分類或預(yù)測模型發(fā)現(xiàn)n數(shù)據(jù)總結(jié)與聚類發(fā)現(xiàn)數(shù)據(jù)總結(jié)與聚類發(fā)現(xiàn)n關(guān)聯(lián)規(guī)則發(fā)現(xiàn)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)n序列模式發(fā)現(xiàn)序列模式發(fā)現(xiàn)n相似模式發(fā)現(xiàn)相似模式發(fā)現(xiàn)n混沌模式發(fā)現(xiàn)混沌模式發(fā)現(xiàn)n依賴關(guān)系或依賴模型發(fā)現(xiàn)依賴關(guān)系或依賴模型發(fā)現(xiàn)n異常和趨勢發(fā)現(xiàn)等異常和趨勢發(fā)現(xiàn)等根據(jù)挖掘?qū)ο蟾鶕?jù)挖掘?qū)ο髇關(guān)系數(shù)據(jù)庫挖掘關(guān)系數(shù)據(jù)庫挖掘n面向?qū)ο髷?shù)據(jù)庫挖掘面向?qū)ο髷?shù)據(jù)庫挖掘n空間數(shù)據(jù)庫挖掘空間數(shù)據(jù)庫挖掘n時(shí)態(tài)數(shù)據(jù)庫挖掘時(shí)態(tài)數(shù)據(jù)庫挖掘n文本數(shù)據(jù)源挖掘文本數(shù)據(jù)源挖掘n多媒體數(shù)據(jù)庫挖掘多媒體數(shù)據(jù)庫挖掘n異質(zhì)數(shù)據(jù)庫挖掘異質(zhì)數(shù)據(jù)庫挖掘n遺產(chǎn)數(shù)據(jù)庫挖掘遺產(chǎn)數(shù)據(jù)庫挖掘nwebweb數(shù)據(jù)挖掘等數(shù)據(jù)挖掘等根據(jù)挖掘方法根據(jù)挖掘方法n機(jī)器學(xué)習(xí)

22、方法機(jī)器學(xué)習(xí)方法n統(tǒng)計(jì)方法統(tǒng)計(jì)方法n聚類分析方法聚類分析方法n神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)（Neural NetworkNeural Network）方法）方法n遺傳算法（遺傳算法（Genetic AlgorithmGenetic Algorithm）方法）方法n數(shù)據(jù)庫方法數(shù)據(jù)庫方法n近似推理和不確定性推理方法近似推理和不確定性推理方法n基于證據(jù)理論和元模式的方法基于證據(jù)理論和元模式的方法n現(xiàn)代數(shù)學(xué)分析方法現(xiàn)代數(shù)學(xué)分析方法n粗糙集（粗糙集（Rough SetRough Set）或模糊集方法）或模糊集方法n集成方法等集成方法等根據(jù)知識(shí)類型根據(jù)知識(shí)類型n挖掘廣義型知識(shí)挖掘廣義型知識(shí)n挖掘差異型知識(shí)挖掘差異型

23、知識(shí)n挖掘關(guān)聯(lián)型知識(shí)挖掘關(guān)聯(lián)型知識(shí)n挖掘預(yù)測型知識(shí)挖掘預(yù)測型知識(shí)n挖掘偏離型（異常）知識(shí)挖掘偏離型（異常）知識(shí)n挖掘不確定性知識(shí)等挖掘不確定性知識(shí)等第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析數(shù)據(jù)挖掘的應(yīng)用分

24、析 知識(shí)表示模式分類知識(shí)表示模式分類n數(shù)據(jù)挖掘的目的是發(fā)現(xiàn)知識(shí)，知識(shí)要通過一定的數(shù)據(jù)挖掘的目的是發(fā)現(xiàn)知識(shí)，知識(shí)要通過一定的模式給出。通過對數(shù)據(jù)挖掘中知識(shí)表示模式及其模式給出。通過對數(shù)據(jù)挖掘中知識(shí)表示模式及其所采用方法的分析，可以更清楚地了解數(shù)據(jù)挖掘所采用方法的分析，可以更清楚地了解數(shù)據(jù)挖掘系統(tǒng)的特點(diǎn)。系統(tǒng)的特點(diǎn)。n主要知識(shí)模式類型有：主要知識(shí)模式類型有：n廣義知識(shí)（廣義知識(shí)（GeneralizationGeneralization）n關(guān)聯(lián)知識(shí)（關(guān)聯(lián)知識(shí)（AssociationAssociation）n類知識(shí)類知識(shí)（Class/ClusterClass/Cluster）n預(yù)測型知識(shí)（預(yù)測型知識(shí)（

25、PredictionPrediction）n特異型知識(shí)（特異型知識(shí)（ExceptionException） 廣義知識(shí)挖掘廣義知識(shí)挖掘 n廣義知識(shí)是指描述類別特征的概括性知識(shí)。對細(xì)節(jié)廣義知識(shí)是指描述類別特征的概括性知識(shí)。對細(xì)節(jié)數(shù)據(jù)的所蘊(yùn)涵的概念特征的概括和抽象的過程。數(shù)據(jù)的所蘊(yùn)涵的概念特征的概括和抽象的過程。n主要方法有：主要方法有：n概念描述（概念描述（Concept DescriptionConcept Description）：對某類對象內(nèi)涵特征的概括：）：對某類對象內(nèi)涵特征的概括：n特征性（特征性（CharacterizationCharacterization）描述：描述某類對象的共同

26、特征。）描述：描述某類對象的共同特征。n區(qū)別性（區(qū)別性（DiscriminationDiscrimination）描述：描述不同類對象之間的區(qū)別。）描述：描述不同類對象之間的區(qū)別。n多維數(shù)據(jù)分析可以看作是一種廣義知識(shí)挖掘的特例多維數(shù)據(jù)分析可以看作是一種廣義知識(shí)挖掘的特例n多層次概念描述問題：由數(shù)據(jù)歸納出的概念是有層次的。例如，多層次概念描述問題：由數(shù)據(jù)歸納出的概念是有層次的。例如，n“北京工業(yè)大學(xué)北京工業(yè)大學(xué)”能歸納出能歸納出“北京市北京市”、“中國中國”、“亞洲亞洲”等等層次。層次。n銷售表銷售表SALESSALES（ENOENO，ENAMEENAME，EAGEEAGE，VALUEVALUE

27、，DEPTDEPT），它的每個(gè)屬），它的每個(gè)屬性的定義域都可能存在蘊(yùn)涵于領(lǐng)域知識(shí)內(nèi)的概念延伸，如性的定義域都可能存在蘊(yùn)涵于領(lǐng)域知識(shí)內(nèi)的概念延伸，如DEPTDEPT。n概念分層（概念分層（Concept HierarchyConcept Hierarchy）技術(shù)：將低層概念集映射到高技術(shù)：將低層概念集映射到高層概念集的方法，是一個(gè)常用的處理多層次概念描述的方法。層概念集的方法，是一個(gè)常用的處理多層次概念描述的方法。主要的概念分層方法主要的概念分層方法 n模式分層（模式分層（Schema HierarchySchema Hierarchy）：利用屬性在特定背景知）：利用屬性在特定背景知識(shí)下的語義層

28、次形成不同層次的模式關(guān)聯(lián)。識(shí)下的語義層次形成不同層次的模式關(guān)聯(lián)。n這種關(guān)聯(lián)是一種的全序或偏序關(guān)系。這種關(guān)聯(lián)是一種的全序或偏序關(guān)系。n例如，例如，DEPTDEPT的模式分層結(jié)構(gòu)可能是：的模式分層結(jié)構(gòu)可能是：DEPTCOMPANYCITYCOUNTRYDEPTCOMPANYCITYCOUNTRY。n集合分組分層（集合分組分層（Set-Grouping HierarchySet-Grouping Hierarchy）：將屬性在特定）：將屬性在特定背景知識(shí)下的取值范圍合理分割，形成替代的離散值或區(qū)背景知識(shí)下的取值范圍合理分割，形成替代的離散值或區(qū)間集合。間集合。n例如，年齡例如，年齡EAGEEAGE可

29、以抽象成可以抽象成2020，2929，3030，3939，4040，4949，5050，5959或者或者 青年，中年，老年青年，中年，老年 。n操作導(dǎo)出分層（操作導(dǎo)出分層（Operation-Drived HierarchyOperation-Drived Hierarchy）：有些屬性）：有些屬性可能包含多類信息?？赡馨囝愋畔ⅰ例如，一個(gè)跨國公司的雇員號(hào)可能包含這個(gè)雇員的所在的部門、城市、例如，一個(gè)跨國公司的雇員號(hào)可能包含這個(gè)雇員的所在的部門、城市、國家和雇傭的時(shí)間等。對這類對象可以作為背景知識(shí)定義它的結(jié)構(gòu)，通國家和雇傭的時(shí)間等。對這類對象可以作為背景知識(shí)定義它的結(jié)構(gòu)，通過編碼解析等操

30、作完成概念的抽象。過編碼解析等操作完成概念的抽象。n基于規(guī)則分層（基于規(guī)則分層（Rule-Based HierarchyRule-Based Hierarchy）：通過定義背景知）：通過定義背景知識(shí)的抽象規(guī)則，形成不同層次上的概念的抽象。識(shí)的抽象規(guī)則，形成不同層次上的概念的抽象。關(guān)聯(lián)知識(shí)挖掘關(guān)聯(lián)知識(shí)挖掘 n關(guān)聯(lián)知識(shí)挖掘的目的就是找出數(shù)據(jù)庫中隱藏的關(guān)關(guān)聯(lián)知識(shí)挖掘的目的就是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)信息。聯(lián)信息。n關(guān)聯(lián)知識(shí)反映一個(gè)事件和其他事件之間的依賴或關(guān)聯(lián)。關(guān)聯(lián)知識(shí)反映一個(gè)事件和其他事件之間的依賴或關(guān)聯(lián)。n關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序（關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序（Time SeriesTime Seri

31、es）關(guān)聯(lián)、因果關(guān)聯(lián)、數(shù)）關(guān)聯(lián)、因果關(guān)聯(lián)、數(shù)量關(guān)聯(lián)等。量關(guān)聯(lián)等。n從廣義上講，關(guān)聯(lián)分析是數(shù)據(jù)挖掘的本質(zhì)。從廣義上講，關(guān)聯(lián)分析是數(shù)據(jù)挖掘的本質(zhì)。n關(guān)聯(lián)規(guī)則挖掘（關(guān)聯(lián)規(guī)則挖掘（Association Rule MiningAssociation Rule Mining）是關(guān)聯(lián)）是關(guān)聯(lián)知識(shí)發(fā)現(xiàn)的最常用方法：知識(shí)發(fā)現(xiàn)的最常用方法：n關(guān)聯(lián)規(guī)則的研究最早的分支之一，最著名的關(guān)聯(lián)規(guī)則的研究最早的分支之一，最著名的AprioriApriori算法。算法。n是數(shù)據(jù)挖掘研究中比較深入的分支，許多關(guān)聯(lián)規(guī)則挖掘的理論和是數(shù)據(jù)挖掘研究中比較深入的分支，許多關(guān)聯(lián)規(guī)則挖掘的理論和算法已經(jīng)被提出。算法已經(jīng)被提出。類知識(shí)挖掘類

32、知識(shí)挖掘n類知識(shí)（類知識(shí)（ClassClass）刻畫了一類事物，這類事物具有）刻畫了一類事物，這類事物具有共同特征，并明顯和不同類事物相區(qū)別。共同特征，并明顯和不同類事物相區(qū)別。 n有兩個(gè)基本的方法來挖掘類知識(shí)：有兩個(gè)基本的方法來挖掘類知識(shí)：n分類：分類是數(shù)據(jù)挖掘中的一個(gè)重要的目標(biāo)和任務(wù)，研究最多。分類：分類是數(shù)據(jù)挖掘中的一個(gè)重要的目標(biāo)和任務(wù)，研究最多。n分類的目的是學(xué)會(huì)一個(gè)分類模型（稱作分類器）：數(shù)據(jù)分類的目的是學(xué)會(huì)一個(gè)分類模型（稱作分類器）：數(shù)據(jù)類類n分類技術(shù)是一種有指導(dǎo)的學(xué)習(xí)（分類技術(shù)是一種有指導(dǎo)的學(xué)習(xí)（Supervised LearningSupervised Learning）。）。

33、n聚類：數(shù)據(jù)挖掘的目標(biāo)之一是進(jìn)行聚類分析。聚類：數(shù)據(jù)挖掘的目標(biāo)之一是進(jìn)行聚類分析。n聚類是把一組個(gè)體按照相似性歸成若干類別，目的是使屬于同聚類是把一組個(gè)體按照相似性歸成若干類別，目的是使屬于同一類別的個(gè)體之間的差別盡可能小，而不同類別上的個(gè)體間的一類別的個(gè)體之間的差別盡可能小，而不同類別上的個(gè)體間的差別盡可能的大。差別盡可能的大。n聚類屬于無指導(dǎo)學(xué)習(xí)（聚類屬于無指導(dǎo)學(xué)習(xí)（Unsupervised LearningUnsupervised Learning） ），形成的），形成的簇（簇（ClusterCluster），刻畫了數(shù)據(jù)所蘊(yùn)涵的類知識(shí)。），刻畫了數(shù)據(jù)所蘊(yùn)涵的類知識(shí)。分類中的基礎(chǔ)方法分類中

34、的基礎(chǔ)方法n決策樹方法：基本分類技術(shù)之一，如決策樹方法：基本分類技術(shù)之一，如ID3ID3及改進(jìn)算及改進(jìn)算法法ID4ID4、ID5ID5、C4.5C4.5、C5.0C5.0等；針對大訓(xùn)練樣本集等；針對大訓(xùn)練樣本集的的SLIQSLIQ、SPRINTSPRINT、雨林（、雨林（RainforestRainforest）BOATBOAT等。等。n貝葉斯分類貝葉斯分類 ：具有堅(jiān)實(shí)的理論基礎(chǔ)，理論上具有：具有堅(jiān)實(shí)的理論基礎(chǔ)，理論上具有較小的出錯(cuò)率。但是，它的適應(yīng)性差。較小的出錯(cuò)率。但是，它的適應(yīng)性差。n神經(jīng)網(wǎng)絡(luò)：作為一個(gè)相對獨(dú)立的研究分支已經(jīng)很神經(jīng)網(wǎng)絡(luò)：作為一個(gè)相對獨(dú)立的研究分支已經(jīng)很早被提出，高的抗干擾

35、能力，可以對未訓(xùn)練數(shù)據(jù)早被提出，高的抗干擾能力，可以對未訓(xùn)練數(shù)據(jù)進(jìn)行分類等優(yōu)點(diǎn)。進(jìn)行分類等優(yōu)點(diǎn)。n遺傳算法：是基于進(jìn)化理論的機(jī)器學(xué)習(xí)方法。遺傳算法：是基于進(jìn)化理論的機(jī)器學(xué)習(xí)方法。n類比學(xué)習(xí)類比學(xué)習(xí) ：最典型的方法是：最典型的方法是k-k-最臨近分類（最臨近分類（k-k-Nearest Neighbor ClassificationNearest Neighbor Classification）方法，它屬于懶）方法，它屬于懶散學(xué)習(xí)法。散學(xué)習(xí)法。n其他方法：如粗糙集（其他方法：如粗糙集（Rough SetRough Set）、模糊集）、模糊集（Fuzzy SetFuzzy Set）方法等）方法等

36、。 主要聚類的技術(shù)主要聚類的技術(shù)n基于劃分的聚類方法：基于劃分的聚類方法：k-k-平均算法是統(tǒng)計(jì)學(xué)中的一個(gè)經(jīng)典平均算法是統(tǒng)計(jì)學(xué)中的一個(gè)經(jīng)典聚類方法，它以預(yù)先定義好的簇平均值，構(gòu)造劃分。聚類方法，它以預(yù)先定義好的簇平均值，構(gòu)造劃分。n基于層次的聚類方法：通過對源數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行層次基于層次的聚類方法：通過對源數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行層次分解，達(dá)到目標(biāo)簇的逐步生成。分解，達(dá)到目標(biāo)簇的逐步生成。n凝聚（凝聚（AgglomerationAgglomeration）：由小到大逐步合并、評價(jià)。）：由小到大逐步合并、評價(jià)。n分裂（分裂（DivisionDivision）由大到小逐步分裂、評價(jià)。）由大到小逐步分裂

37、、評價(jià)。n基于密度的聚類方法：基于密度的聚類方法是通過度量區(qū)基于密度的聚類方法：基于密度的聚類方法是通過度量區(qū)域所包含的對象數(shù)目來形成最終目標(biāo)的。域所包含的對象數(shù)目來形成最終目標(biāo)的。n如果一個(gè)區(qū)域的密度超過指定的值，那么它就需要進(jìn)一步分解。如果一個(gè)區(qū)域的密度超過指定的值，那么它就需要進(jìn)一步分解。n基于網(wǎng)格的聚類方法：對象空間離散化成有限的網(wǎng)格單元，基于網(wǎng)格的聚類方法：對象空間離散化成有限的網(wǎng)格單元，聚類工作在這種網(wǎng)格結(jié)構(gòu)上進(jìn)行。聚類工作在這種網(wǎng)格結(jié)構(gòu)上進(jìn)行。n基于模型的聚類方法：每個(gè)簇假定一個(gè)模型，尋找數(shù)據(jù)對基于模型的聚類方法：每個(gè)簇假定一個(gè)模型，尋找數(shù)據(jù)對給定模型的最佳擬和。給定模型的最佳擬

38、和。預(yù)測型知識(shí)挖掘預(yù)測型知識(shí)挖掘n預(yù)測型知識(shí)（預(yù)測型知識(shí)（PredictionPrediction）是指由歷史的數(shù)據(jù)產(chǎn)生）是指由歷史的數(shù)據(jù)產(chǎn)生的并能推測未來數(shù)據(jù)趨勢的知識(shí)。的并能推測未來數(shù)據(jù)趨勢的知識(shí)。n預(yù)測性挖掘主要是對未來數(shù)據(jù)的概念分類和趨勢預(yù)測性挖掘主要是對未來數(shù)據(jù)的概念分類和趨勢輸出。輸出。n分類技術(shù)可以用于產(chǎn)生預(yù)測型的類知識(shí)。分類技術(shù)可以用于產(chǎn)生預(yù)測型的類知識(shí)。n統(tǒng)計(jì)學(xué)中的回歸方法等可以通過歷史數(shù)據(jù)直接產(chǎn)生對未來數(shù)據(jù)預(yù)統(tǒng)計(jì)學(xué)中的回歸方法等可以通過歷史數(shù)據(jù)直接產(chǎn)生對未來數(shù)據(jù)預(yù)測的連續(xù)值，因而這些預(yù)測型知識(shí)已經(jīng)蘊(yùn)藏在諸如趨勢曲線等輸測的連續(xù)值，因而這些預(yù)測型知識(shí)已經(jīng)蘊(yùn)藏在諸如趨勢曲線等輸

39、出形式中。出形式中。n預(yù)測型知識(shí)的挖掘可以結(jié)合經(jīng)典的統(tǒng)計(jì)方法、神預(yù)測型知識(shí)的挖掘可以結(jié)合經(jīng)典的統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等技術(shù)來研究。經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等技術(shù)來研究。預(yù)測型知識(shí)挖掘中的典型方法預(yù)測型知識(shí)挖掘中的典型方法 n趨勢預(yù)測模式：主要是針對那些具有時(shí)序（趨勢預(yù)測模式：主要是針對那些具有時(shí)序（Time Time SeriesSeries）屬性的數(shù)據(jù)，如股票價(jià)格等，或者是序列）屬性的數(shù)據(jù)，如股票價(jià)格等，或者是序列項(xiàng)目（項(xiàng)目（Sequence ItemsSequence Items）的數(shù)據(jù)，如年齡和薪水對）的數(shù)據(jù)，如年齡和薪水對照等，發(fā)現(xiàn)長期的趨勢變化等。照等，發(fā)現(xiàn)長期的趨勢變化等。n周期分析

40、模式：主要是針對那些數(shù)據(jù)分布和時(shí)間周期分析模式：主要是針對那些數(shù)據(jù)分布和時(shí)間的依賴性很強(qiáng)的數(shù)據(jù)進(jìn)行周期模式的挖掘。例如，的依賴性很強(qiáng)的數(shù)據(jù)進(jìn)行周期模式的挖掘。例如，服裝在某季節(jié)或所有季節(jié)的銷售周期。服裝在某季節(jié)或所有季節(jié)的銷售周期。n序列模式：主要是針對歷史事件發(fā)生次序的分析序列模式：主要是針對歷史事件發(fā)生次序的分析形成預(yù)測模式來對未來行為進(jìn)行預(yù)測。例如，預(yù)形成預(yù)測模式來對未來行為進(jìn)行預(yù)測。例如，預(yù)測測“三年前購買計(jì)算機(jī)的客戶有很大概率會(huì)買數(shù)三年前購買計(jì)算機(jī)的客戶有很大概率會(huì)買數(shù)字相機(jī)字相機(jī)”。n神經(jīng)網(wǎng)絡(luò)：在預(yù)測型知識(shí)挖掘中，神經(jīng)網(wǎng)絡(luò)也是神經(jīng)網(wǎng)絡(luò)：在預(yù)測型知識(shí)挖掘中，神經(jīng)網(wǎng)絡(luò)也是很有用的模式結(jié)

41、構(gòu)。很有用的模式結(jié)構(gòu)。特異型知識(shí)挖掘特異型知識(shí)挖掘 n特異型知識(shí)（特異型知識(shí)（ExceptionException）是源數(shù)據(jù)中所蘊(yùn)涵的極端特例或）是源數(shù)據(jù)中所蘊(yùn)涵的極端特例或明顯區(qū)別于其他數(shù)據(jù)的知識(shí)描述，它揭示了事物偏離常規(guī)明顯區(qū)別于其他數(shù)據(jù)的知識(shí)描述，它揭示了事物偏離常規(guī)的異常規(guī)律。的異常規(guī)律。n特異知識(shí)挖掘的價(jià)值：特異知識(shí)挖掘的價(jià)值：n例如，在例如，在WebWeb站點(diǎn)發(fā)現(xiàn)那些區(qū)別于正常登錄行為的用戶特點(diǎn)以防止入侵。站點(diǎn)發(fā)現(xiàn)那些區(qū)別于正常登錄行為的用戶特點(diǎn)以防止入侵。n金融、電信欺詐等金融、電信欺詐等n分類中的反常實(shí)例、不滿足普通規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的分類中的反常實(shí)例、不滿足普通

42、規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的偏差、數(shù)據(jù)聚類外的離群值等偏差、數(shù)據(jù)聚類外的離群值等n許多技術(shù)可以擴(kuò)展到特異型知識(shí)挖掘中許多技術(shù)可以擴(kuò)展到特異型知識(shí)挖掘中, ,如：如：n孤立點(diǎn)（孤立點(diǎn)（OutlierOutlier）分析：孤立點(diǎn)是指不符合數(shù)據(jù)一般模型的數(shù)據(jù)。在類）分析：孤立點(diǎn)是指不符合數(shù)據(jù)一般模型的數(shù)據(jù)。在類知識(shí)挖掘中，孤立點(diǎn)分析是不能歸入正常類知識(shí)中的零散數(shù)據(jù)再分析。知識(shí)挖掘中，孤立點(diǎn)分析是不能歸入正常類知識(shí)中的零散數(shù)據(jù)再分析。n異常序列分析：在一系列行為或事件對應(yīng)的序列中發(fā)現(xiàn)明顯不符合一般異常序列分析：在一系列行為或事件對應(yīng)的序列中發(fā)現(xiàn)明顯不符合一般規(guī)律的特異型知識(shí)。規(guī)律的特異型知識(shí)。n

43、特異規(guī)則發(fā)現(xiàn)：產(chǎn)生并評價(jià)雖然具有低支持度但可能很有價(jià)值的規(guī)則。特異規(guī)則發(fā)現(xiàn)：產(chǎn)生并評價(jià)雖然具有低支持度但可能很有價(jià)值的規(guī)則。 第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析數(shù)據(jù)挖掘的應(yīng)用分析 數(shù)據(jù)挖掘方法與數(shù)據(jù)

44、存儲(chǔ)類型數(shù)據(jù)挖掘方法與數(shù)據(jù)存儲(chǔ)類型n數(shù)據(jù)挖掘技術(shù)應(yīng)該應(yīng)用到任何數(shù)據(jù)存儲(chǔ)方式的知數(shù)據(jù)挖掘技術(shù)應(yīng)該應(yīng)用到任何數(shù)據(jù)存儲(chǔ)方式的知識(shí)挖掘中，但是因?yàn)樵磾?shù)據(jù)的存儲(chǔ)類型的不同，識(shí)挖掘中，但是因?yàn)樵磾?shù)據(jù)的存儲(chǔ)類型的不同，挖掘的挑戰(zhàn)性和技術(shù)會(huì)不同。挖掘的挑戰(zhàn)性和技術(shù)會(huì)不同。n近年來的研究表明數(shù)據(jù)挖掘所涉及的數(shù)據(jù)存儲(chǔ)類近年來的研究表明數(shù)據(jù)挖掘所涉及的數(shù)據(jù)存儲(chǔ)類型越來越豐富，除了一些有通用價(jià)值的模型、構(gòu)型越來越豐富，除了一些有通用價(jià)值的模型、構(gòu)架等研究外，也開展了一些針對復(fù)雜或新型數(shù)據(jù)架等研究外，也開展了一些針對復(fù)雜或新型數(shù)據(jù)存儲(chǔ)方式下的挖掘技術(shù)或算法的研究。存儲(chǔ)方式下的挖掘技術(shù)或算法的研究。n主要的數(shù)據(jù)類型：主要

45、的數(shù)據(jù)類型：n事務(wù)數(shù)據(jù)庫（事務(wù)數(shù)據(jù)庫（Transactional Database Transactional Database ）n關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫 （Related Database Related Database ）n數(shù)據(jù)倉庫（數(shù)據(jù)倉庫（Data Warehouse Data Warehouse ）n在關(guān)系模型基礎(chǔ)上發(fā)展的新型數(shù)據(jù)庫在關(guān)系模型基礎(chǔ)上發(fā)展的新型數(shù)據(jù)庫 n面向應(yīng)用的新型數(shù)據(jù)源面向應(yīng)用的新型數(shù)據(jù)源 nWebWeb數(shù)據(jù)數(shù)據(jù) 事務(wù)數(shù)據(jù)庫中的數(shù)據(jù)挖掘事務(wù)數(shù)據(jù)庫中的數(shù)據(jù)挖掘n一個(gè)事務(wù)數(shù)據(jù)庫是對事務(wù)型數(shù)據(jù)的收集。一個(gè)事務(wù)數(shù)據(jù)庫是對事務(wù)型數(shù)據(jù)的收集。19931993年，年，當(dāng)當(dāng)A

46、grawalAgrawal等開始討論數(shù)據(jù)挖掘問題時(shí)，是以購物等開始討論數(shù)據(jù)挖掘問題時(shí)，是以購物籃分析（籃分析（Market Basket AnalysisMarket Basket Analysis）作為商業(yè)應(yīng)用）作為商業(yè)應(yīng)用背景的。背景的。n從事務(wù)數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)是數(shù)據(jù)挖掘中研究較早從事務(wù)數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)是數(shù)據(jù)挖掘中研究較早但至今仍然很活躍的問題。通過特定的技術(shù)對事但至今仍然很活躍的問題。通過特定的技術(shù)對事務(wù)數(shù)據(jù)庫進(jìn)行挖掘，可以獲得動(dòng)態(tài)行為所蘊(yùn)藏的務(wù)數(shù)據(jù)庫進(jìn)行挖掘，可以獲得動(dòng)態(tài)行為所蘊(yùn)藏的關(guān)聯(lián)規(guī)則、分類、聚類以及預(yù)測等知識(shí)模式。關(guān)聯(lián)規(guī)則、分類、聚類以及預(yù)測等知識(shí)模式。n第三章將詳細(xì)講解第三章

47、將詳細(xì)講解關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)挖掘關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)挖掘n關(guān)系型數(shù)據(jù)庫是由一系列數(shù)據(jù)表組成的，相當(dāng)成熟：關(guān)系型數(shù)據(jù)庫是由一系列數(shù)據(jù)表組成的，相當(dāng)成熟：n成熟的語義模型（像實(shí)體成熟的語義模型（像實(shí)體- -關(guān)系模型）；成熟的關(guān)系模型）；成熟的DBMSDBMS（像（像OracleOracle）n成熟的查詢語言（像成熟的查詢語言（像SQLSQL語言；可視化的輔助工具和優(yōu)化軟件。語言；可視化的輔助工具和優(yōu)化軟件。n一些更深入和亟待解決的問題：一些更深入和亟待解決的問題：n多維知識(shí)挖掘：多維知識(shí)挖掘： 傳統(tǒng)的事務(wù)數(shù)據(jù)庫挖掘所研究的知識(shí)一般是單維的，但傳統(tǒng)的事務(wù)數(shù)據(jù)庫挖掘所研究的知識(shí)一般是單維的，但是，在

48、關(guān)系型數(shù)據(jù)庫中，多維的知識(shí)更普遍和有應(yīng)用價(jià)值。是，在關(guān)系型數(shù)據(jù)庫中，多維的知識(shí)更普遍和有應(yīng)用價(jià)值。n單維：單維： “購買計(jì)算機(jī)的人也購買打印機(jī)購買計(jì)算機(jī)的人也購買打印機(jī)”。n多維：多維： “什么樣購買計(jì)算機(jī)的人也購買打印機(jī)的可能性更大？什么樣購買計(jì)算機(jī)的人也購買打印機(jī)的可能性更大？” 。n多表挖掘：關(guān)系型數(shù)據(jù)庫是一系列表集合。因此，多表挖掘是必然的。多表挖掘：關(guān)系型數(shù)據(jù)庫是一系列表集合。因此，多表挖掘是必然的。n數(shù)量數(shù)據(jù)挖掘：數(shù)量數(shù)據(jù)挖掘： 關(guān)系型數(shù)據(jù)庫經(jīng)常包含非離散數(shù)量屬性（如工資）。關(guān)系型數(shù)據(jù)庫經(jīng)常包含非離散數(shù)量屬性（如工資）。n多層知識(shí)挖掘：數(shù)據(jù)及其關(guān)聯(lián)總是可在多個(gè)不同的概念層上來理解它

49、。多層知識(shí)挖掘：數(shù)據(jù)及其關(guān)聯(lián)總是可在多個(gè)不同的概念層上來理解它。n知識(shí)評價(jià)問題：是關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)挖掘在應(yīng)用必須要解決的問題。知識(shí)評價(jià)問題：是關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)挖掘在應(yīng)用必須要解決的問題。n約束數(shù)據(jù)挖掘問題：在約束指導(dǎo)下進(jìn)行，提高效率和準(zhǔn)確度。約束數(shù)據(jù)挖掘問題：在約束指導(dǎo)下進(jìn)行，提高效率和準(zhǔn)確度。數(shù)據(jù)倉庫中的數(shù)據(jù)挖掘數(shù)據(jù)倉庫中的數(shù)據(jù)挖掘n數(shù)據(jù)倉庫中的數(shù)據(jù)是按著主題來組織的。存儲(chǔ)的數(shù)據(jù)倉庫中的數(shù)據(jù)是按著主題來組織的。存儲(chǔ)的數(shù)據(jù)可以從歷史的觀點(diǎn)提供信息。雖然一些數(shù)據(jù)數(shù)據(jù)可以從歷史的觀點(diǎn)提供信息。雖然一些數(shù)據(jù)倉庫輔助工具可以幫助完成數(shù)據(jù)分析，但是發(fā)現(xiàn)倉庫輔助工具可以幫助完成數(shù)據(jù)分析，但是發(fā)現(xiàn)蘊(yùn)藏在

50、數(shù)據(jù)內(nèi)部的知識(shí)模式及其按知識(shí)工程方法蘊(yùn)藏在數(shù)據(jù)內(nèi)部的知識(shí)模式及其按知識(shí)工程方法來完成高層次的工作仍需要數(shù)據(jù)挖掘技術(shù)支持。來完成高層次的工作仍需要數(shù)據(jù)挖掘技術(shù)支持。n數(shù)據(jù)挖掘不僅伴隨數(shù)據(jù)倉庫而產(chǎn)生，而且隨著應(yīng)數(shù)據(jù)挖掘不僅伴隨數(shù)據(jù)倉庫而產(chǎn)生，而且隨著應(yīng)用深入產(chǎn)生了許多新的課題。用深入產(chǎn)生了許多新的課題。n如果我們把數(shù)據(jù)挖掘作為高級(jí)數(shù)據(jù)分析手段來看，那么它是伴隨如果我們把數(shù)據(jù)挖掘作為高級(jí)數(shù)據(jù)分析手段來看，那么它是伴隨數(shù)據(jù)倉庫技術(shù)提出并發(fā)展起來的。數(shù)據(jù)倉庫技術(shù)提出并發(fā)展起來的。nOLAPOLAP盡管在許多方面和數(shù)據(jù)挖掘是有區(qū)別的，但是它們在應(yīng)用目盡管在許多方面和數(shù)據(jù)挖掘是有區(qū)別的，但是它們在應(yīng)用目標(biāo)上

51、有很大的重合度。標(biāo)上有很大的重合度。n數(shù)據(jù)挖掘更看中數(shù)據(jù)分析后所形成的知識(shí)表示模式，而數(shù)據(jù)挖掘更看中數(shù)據(jù)分析后所形成的知識(shí)表示模式，而OLAPOLAP更注更注重利用多維等高級(jí)數(shù)據(jù)模型實(shí)現(xiàn)數(shù)據(jù)的聚合。某種意義上，可以重利用多維等高級(jí)數(shù)據(jù)模型實(shí)現(xiàn)數(shù)據(jù)的聚合。某種意義上，可以把數(shù)據(jù)挖掘看作是把數(shù)據(jù)挖掘看作是OLAPOLAP的高級(jí)形式，的高級(jí)形式，OLAMOLAM（聯(lián)機(jī)分析挖掘）。（聯(lián)機(jī)分析挖掘）。新型數(shù)據(jù)庫中的數(shù)據(jù)挖掘新型數(shù)據(jù)庫中的數(shù)據(jù)挖掘 n對象對象關(guān)系型數(shù)據(jù)庫（關(guān)系型數(shù)據(jù)庫（Object-Ralational DatabaseObject-Ralational Database）挖掘；挖掘；n面

52、向?qū)ο髷?shù)據(jù)庫的挖掘；面向?qū)ο髷?shù)據(jù)庫的挖掘；n空間數(shù)據(jù)庫的挖掘；空間數(shù)據(jù)庫的挖掘；n時(shí)態(tài)數(shù)據(jù)庫的挖掘；時(shí)態(tài)數(shù)據(jù)庫的挖掘；n工程數(shù)據(jù)庫（工程數(shù)據(jù)庫（Engineering DatabaseEngineering Database）的挖掘；）的挖掘；n多媒體數(shù)據(jù)庫（多媒體數(shù)據(jù)庫（Multimedia DatabaseMultimedia Database）的挖掘；）的挖掘；n等等等等 WebWeb數(shù)據(jù)源中的數(shù)據(jù)挖掘數(shù)據(jù)源中的數(shù)據(jù)挖掘n隨著隨著InternetInternet的廣泛使用，的廣泛使用， WebWeb蘊(yùn)藏著豐富有用信息。蘊(yùn)藏著豐富有用信息。n面向面向WebWeb的數(shù)據(jù)挖掘比面向數(shù)據(jù)庫的數(shù)據(jù)

53、挖掘要復(fù)雜多：的數(shù)據(jù)挖掘比面向數(shù)據(jù)庫的數(shù)據(jù)挖掘要復(fù)雜多：n異構(gòu)數(shù)據(jù)源環(huán)境：異構(gòu)數(shù)據(jù)源環(huán)境：n每個(gè)站點(diǎn)的信息和組織都不一樣；每個(gè)站點(diǎn)的信息和組織都不一樣；n存在大量的無結(jié)構(gòu)的文本信息、復(fù)雜的多媒體信息；存在大量的無結(jié)構(gòu)的文本信息、復(fù)雜的多媒體信息；n站點(diǎn)使用和安全性、私密性要求各異等等。站點(diǎn)使用和安全性、私密性要求各異等等。n數(shù)據(jù)的復(fù)雜性：數(shù)據(jù)的復(fù)雜性：n有些是無結(jié)構(gòu)的（如有些是無結(jié)構(gòu)的（如WebWeb頁），通常都是用長的句子或短語來表達(dá)文頁），通常都是用長的句子或短語來表達(dá)文檔類信息；檔類信息；n有些可能是半結(jié)構(gòu)的（如有些可能是半結(jié)構(gòu)的（如EmailEmail，HTMLHTML頁）。頁）。n動(dòng)

54、態(tài)變化的應(yīng)用環(huán)境：動(dòng)態(tài)變化的應(yīng)用環(huán)境：nWebWeb的信息是頻繁變化的，像新聞、股票等信息是實(shí)時(shí)更新的。的信息是頻繁變化的，像新聞、股票等信息是實(shí)時(shí)更新的。n這種高變化也體現(xiàn)在頁面的動(dòng)態(tài)鏈接和隨機(jī)存取上。這種高變化也體現(xiàn)在頁面的動(dòng)態(tài)鏈接和隨機(jī)存取上。nWebWeb上的用戶是難以預(yù)測的。上的用戶是難以預(yù)測的。nWebWeb上的數(shù)據(jù)環(huán)境是高噪音的。上的數(shù)據(jù)環(huán)境是高噪音的。WebWeb挖掘的研究主要流派挖掘的研究主要流派 nWebWeb結(jié)構(gòu)挖掘：挖掘結(jié)構(gòu)挖掘：挖掘WebWeb上的鏈接結(jié)構(gòu)。上的鏈接結(jié)構(gòu)。n通過通過WebWeb頁面間的鏈接信息可以識(shí)別出權(quán)威頁面（頁面間的鏈接信息可以識(shí)別出權(quán)威頁面（Au

55、thoritative Authoritative PagePage）、安全隱患（非法鏈接）等。）、安全隱患（非法鏈接）等。nWebWeb使用挖掘?qū)κ褂猛诰驅(qū)ebWeb上的上的LogLog日志記錄的挖掘日志記錄的挖掘nWebWeb上的上的LogLog日志記錄了包括日志記錄了包括URLURL請求、請求、IPIP地址及時(shí)間等訪問信息。地址及時(shí)間等訪問信息。n分析和發(fā)現(xiàn)分析和發(fā)現(xiàn)LogLog日志中蘊(yùn)藏的規(guī)律可以幫助我們識(shí)別潛在的客戶、日志中蘊(yùn)藏的規(guī)律可以幫助我們識(shí)別潛在的客戶、跟蹤跟蹤WebWeb服務(wù)的質(zhì)量以及偵探非法訪問的隱患等。服務(wù)的質(zhì)量以及偵探非法訪問的隱患等。nWebWeb內(nèi)容挖掘：內(nèi)容挖

56、掘： WebWeb的內(nèi)容是豐富的，而且構(gòu)成的內(nèi)容是豐富的，而且構(gòu)成成分是復(fù)雜的（無結(jié)構(gòu)的、半結(jié)構(gòu)的等），對內(nèi)成分是復(fù)雜的（無結(jié)構(gòu)的、半結(jié)構(gòu)的等），對內(nèi)容的分析是重要而艱巨的工作。容的分析是重要而艱巨的工作。nWebWeb的內(nèi)容主要是包含文本、聲音、圖片等的文檔信息。的內(nèi)容主要是包含文本、聲音、圖片等的文檔信息。n文本挖掘（文本挖掘（Text MiningText Mining）和）和WebWeb搜索引擎（搜索引擎（Search EngineSearch Engine）等相）等相關(guān)領(lǐng)域的研究。關(guān)領(lǐng)域的研究。n多媒體信息挖掘技術(shù)。多媒體信息挖掘技術(shù)。第一章第一章 緒論緒論 內(nèi)容提要內(nèi)容提要n數(shù)據(jù)挖

57、掘技術(shù)的產(chǎn)生與發(fā)展數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展 n數(shù)據(jù)挖掘研究的發(fā)展趨勢數(shù)據(jù)挖掘研究的發(fā)展趨勢 n數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘概念 n數(shù)據(jù)挖掘技術(shù)的分類問題數(shù)據(jù)挖掘技術(shù)的分類問題n數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法數(shù)據(jù)挖掘常用的知識(shí)表示模式與方法n不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題不同數(shù)據(jù)存儲(chǔ)形式下的數(shù)據(jù)挖掘問題 n粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用粗糙集方法及其在數(shù)據(jù)挖掘中的應(yīng)用 n數(shù)據(jù)挖掘的應(yīng)用分析數(shù)據(jù)挖掘的應(yīng)用分析 粗糙集理論簡介粗糙集理論簡介n粗糙集理論是一種研究不精確、不確定性知識(shí)的粗糙集理論是一種研究不精確、不確定性知識(shí)的數(shù)學(xué)工具，由波蘭科學(xué)家數(shù)學(xué)工具，由波蘭科學(xué)家Z. PawlakZ. Pawla

58、k在在19821982年首先年首先提出的。提出的。n粗糙集一經(jīng)提出就立刻引起數(shù)據(jù)挖掘研究人員的粗糙集一經(jīng)提出就立刻引起數(shù)據(jù)挖掘研究人員的注意，并被廣泛討論。注意，并被廣泛討論。n粗糙集的知識(shí)形成思想可以概括為：一種類別對粗糙集的知識(shí)形成思想可以概括為：一種類別對應(yīng)于一個(gè)概念，知識(shí)由概念組成。應(yīng)于一個(gè)概念，知識(shí)由概念組成。n粗糙集對不精確概念的描述方法是通過下近似粗糙集對不精確概念的描述方法是通過下近似（Lower ApproximationLower Approximation）和上近似（）和上近似（Upper Upper ApproximationApproximation）概念來表示：）概

59、念來表示：n一個(gè)概念（或集合）的下近似概念（或集合）中的元素肯定屬于一個(gè)概念（或集合）的下近似概念（或集合）中的元素肯定屬于該概念（或集合）該概念（或集合）n一個(gè)概念（或集合）的上近似概念（或集合）只是可能屬于該概一個(gè)概念（或集合）的上近似概念（或集合）只是可能屬于該概念。念。 信息系統(tǒng) n粗糙集把客觀世界抽象為一個(gè)信息系統(tǒng)。一個(gè)信息系統(tǒng)是四元組，：nU U是對象（或事例）的有限集合，記為是對象（或事例）的有限集合，記為U Uxx1 1，x x2 2，.，x xn n 。nA A是屬性的有限集合，記為是屬性的有限集合，記為A AAA1 1，A A2 2，.A.Am m 。n屬性集屬性集A A常

60、常又劃分為兩個(gè)集合常常又劃分為兩個(gè)集合C C和和D D，即，即A ACDCD，CDCD，C C表示條件屬性集，表示條件屬性集，D D表示決策屬性集。表示決策屬性集。nV V是屬性的值域集，記為是屬性的值域集，記為V VVV1 1，V V2 2，.，V Vm m ，其中，其中V Vi i是屬性是屬性A Ai i的的值域；值域；nf f是信息函數(shù)（是信息函數(shù)（Information FunctionInformation Function），即：），即：，f f（x xi i，A Aj j）V Vj j。nf f（e e，a a）的值確定記錄）的值確定記錄e e關(guān)于屬性關(guān)于屬性a a的取值。的取值