第十一章 數(shù)據(jù)挖掘

第十一章數(shù)據(jù)挖掘

本章結(jié)構(gòu)11.1數(shù)據(jù)挖掘的基本概念

11.2數(shù)據(jù)挖掘算法11.3數(shù)據(jù)挖掘?qū)嵤┓椒?1.4CRM中數(shù)據(jù)挖掘的基本應(yīng)用11.1數(shù)據(jù)挖掘的基本概念

11.1.1數(shù)據(jù)挖掘定義

數(shù)據(jù)挖掘（DataMining）是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取人們感興趣的知識(shí)，這些知識(shí)是隱含的、事先未知的、潛在有用的信息數(shù)據(jù)挖掘是一個(gè)交叉學(xué)科，它涉及了多個(gè)學(xué)科的思想和方法，比如數(shù)據(jù)庫(kù)系統(tǒng)、數(shù)理統(tǒng)計(jì)學(xué)、人工智能、可視化和信息科學(xué)

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念11.1.2數(shù)據(jù)挖掘的數(shù)據(jù)來源

關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)事務(wù)數(shù)據(jù)庫(kù)高級(jí)數(shù)據(jù)庫(kù)數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念11.1.3數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘的技術(shù)基礎(chǔ)是人工智能。人工智能是以自動(dòng)機(jī)為手段，通過模擬人類宏觀外顯的思維行為，從而高效率的解決事實(shí)世界問題的科學(xué)和技術(shù)。但是數(shù)據(jù)挖掘僅僅利用了人工智能中一些已經(jīng)成熟的算法和技術(shù)：人工神經(jīng)網(wǎng)絡(luò)遺傳算法前饋式網(wǎng)絡(luò)反饋式網(wǎng)絡(luò)自組織網(wǎng)絡(luò)繁殖交叉變異決策樹方法數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念

11.1.4數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘在生物醫(yī)學(xué)中的應(yīng)用數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用數(shù)據(jù)挖掘在金融業(yè)的應(yīng)用

數(shù)據(jù)挖掘技術(shù)主要用于DNA數(shù)據(jù)的分析

提高電信業(yè)的服務(wù)質(zhì)量，幫助確定電信模式、發(fā)現(xiàn)盜用行為將具有相同行為（比如儲(chǔ)蓄、貸款）的客戶分為一組,建立預(yù)測(cè)模型對(duì)客戶的貸款償還能力進(jìn)行預(yù)測(cè)數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念

11.2.1關(guān)聯(lián)分析（associationanalysis）

要了解關(guān)聯(lián)規(guī)則挖掘首先要了解兩個(gè)概念，即支持度和置信度支持度置信度

同時(shí)滿足最小支持度和最小置信度的規(guī)則稱為強(qiáng)規(guī)則。關(guān)聯(lián)規(guī)則挖掘就是尋找強(qiáng)規(guī)則的過程

11.2數(shù)據(jù)挖掘分析方法Support(A→B)=P(AUB)Confidence(A→B)=P(B|A)數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念A(yù)priori算法是一個(gè)關(guān)于單維、單層、布爾規(guī)則的方法。因此它也是關(guān)聯(lián)規(guī)則挖掘中形式最簡(jiǎn)單的方法我們用一個(gè)簡(jiǎn)單實(shí)例介紹Apriori算法的實(shí)現(xiàn)方法

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念根據(jù)表11-1中的事務(wù)數(shù)據(jù)進(jìn)行Apriori算法，過程如下圖所示

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念最終得到一個(gè)頻繁項(xiàng)集{A，B，D}。這就是用Apriori算法尋找頻繁項(xiàng)集的過程。

根據(jù)最小置信度80%，可得到三個(gè)強(qiáng)規(guī)則A

D

B、B

D

A和D

A

B。至此，完成了一個(gè)簡(jiǎn)單的規(guī)則挖掘。

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念11.2.5孤立點(diǎn)分析

孤立點(diǎn)又叫噪聲，是數(shù)據(jù)庫(kù)中與數(shù)據(jù)的一般模式不一致的數(shù)據(jù)對(duì)象孤立點(diǎn)分析主要包括了基于統(tǒng)計(jì)的孤立點(diǎn)檢測(cè)、基于距離的孤立點(diǎn)檢測(cè)等多種方法被廣泛應(yīng)用于信用卡詐騙、電話盜用等詐騙活動(dòng)的發(fā)現(xiàn)數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念

11.2.6復(fù)雜類型數(shù)據(jù)分析方法空間數(shù)據(jù)挖掘是針對(duì)空間數(shù)據(jù)庫(kù)進(jìn)行的數(shù)據(jù)挖掘?？臻g數(shù)據(jù)庫(kù)中存儲(chǔ)了大量與空間有關(guān)的數(shù)據(jù)，比如地圖、醫(yī)學(xué)圖像等空間數(shù)據(jù)挖掘運(yùn)用空間關(guān)聯(lián)分析、空間聚類、空間分類和空間趨勢(shì)分析等方法

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念多媒體數(shù)據(jù)庫(kù)中的存儲(chǔ)對(duì)象是多媒體對(duì)象，如音頻數(shù)據(jù)、視頻數(shù)據(jù)、圖像數(shù)據(jù)等。多媒體數(shù)據(jù)庫(kù)挖掘主要是對(duì)圖像數(shù)據(jù)的挖掘

文本挖掘技術(shù)可對(duì)文本文檔進(jìn)行內(nèi)容總結(jié)、關(guān)聯(lián)分析、分類和聚類分析等。文本挖掘可以用于文檔管理、郵件管理、市場(chǎng)研究、信息收集等許多方面多媒體數(shù)據(jù)挖掘主要方法有相似性搜索、多維分析、分類和預(yù)測(cè)分析、以及多媒體數(shù)據(jù)的關(guān)聯(lián)挖掘等文本數(shù)據(jù)挖掘數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念11.3數(shù)據(jù)挖掘?qū)嵤┓椒?/p>

11.3.1數(shù)據(jù)挖掘過程模型

5A模型AssessAnalyzeAccessActAutomateSEMMA模型SampleModifyExploreModelAssess數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念11.3.2數(shù)據(jù)挖掘的基本步驟

數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念這是數(shù)據(jù)挖掘的第一步，確定分析和預(yù)測(cè)的目標(biāo)相當(dāng)于需求分析，主要是明確業(yè)務(wù)目標(biāo)確定分析和預(yù)測(cè)目標(biāo)確定分析和預(yù)測(cè)目標(biāo)是數(shù)據(jù)挖掘的基礎(chǔ)條件數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘?qū)嵤┓椒–RM中數(shù)據(jù)挖掘的基本應(yīng)用數(shù)據(jù)挖掘的基本概念建立數(shù)據(jù)庫(kù)