數(shù)據(jù)挖掘概述

數(shù)據(jù)挖掘概述

now1

賈曉謙服務即產(chǎn)品品質(zhì)是生命

2003.8.20

?概念及發(fā)展背景

?數(shù)據(jù)挖掘項目實施過程

典型應用舉例

?:?未來發(fā)展及挑戰(zhàn)

?數(shù)據(jù)挖掘系統(tǒng)的選擇

。Q&A

概念定義

什么是數(shù)據(jù)挖掘？

—簡單的說，就是從大量數(shù)據(jù)中自動提取知識信息。

兩個要點：

---自動的

---知識信息，模式或規(guī)則

暗示了將使用統(tǒng)計學方法

數(shù)據(jù)挖掘的意義在于前瞻性，而不是對歷史的簡單回顧。

數(shù)據(jù)挖掘不是…

。數(shù)據(jù)挖掘不是

-----Datawarehousing

-----SQL/AdHocQueries/Reporting

-----OnlineAnalyticalProcessing(OLAP)

-----DataVisualization

。數(shù)據(jù)挖掘是對數(shù)據(jù)的深度加工

什么激發(fā)了數(shù)據(jù)挖掘

此三項技術促進了數(shù)據(jù)挖掘理論與實踐的大發(fā)展

數(shù)據(jù)的積累

報表太

多！暈

cP

O

能自動

發(fā)現(xiàn)模---------

NX

式嗎？,NN3

____

?：?年齡在25—30之間，男性IT工程師買XXX保險的可能性為35%)

計算能力的增強

?硬件資源

—過去30年，計算機硬件穩(wěn)步發(fā)展

—處理器達到了振奮人心的速度

—大容量存儲設備的問世為數(shù)據(jù)收集提供可能

軟件資源

—特別是并行處理系統(tǒng)的發(fā)展，使計算機有能力處理更復雜的任務

統(tǒng)計分析算法的應用

?決策樹

.分類

?神經(jīng)元網(wǎng)絡方法

?規(guī)則歸納

.

?聚類

.

i技術分類

數(shù)據(jù)挖掘

描述類

>聚類

關聯(lián)規(guī)則

」時間序列

應用領域

金融行業(yè)

—貸款償還預測和客戶信用度分析

—目標客戶群的識別，分類與聚類

—險種關聯(lián)分析，預測購買了某個險種的客戶是否會買另一種保險

電信行業(yè)

---流失客戶分析

—盜用模式分析和異常模式識別

---通話量時間序列分析

零售業(yè)

—產(chǎn)品相關性分析

---客戶忠誠度分析

生物醫(yī)學

—DNA序列間相似搜索和比較

概念及發(fā)展背景

?數(shù)據(jù)挖掘項目實施過程

?典型應用舉例

?:?未來發(fā)展及挑戰(zhàn)

?數(shù)據(jù)挖掘系統(tǒng)的選擇

。Q&A

數(shù)據(jù)挖掘方法論

。CRISP-DM

----Cross-IndustryStandardProcessForDataMining

—當今流行的數(shù)據(jù)挖掘流程標準之一

---由SPSS、NCR、Daimler-Benz制定

數(shù)據(jù)挖掘方法論

?商業(yè)理解

?數(shù)據(jù)理解

?數(shù)據(jù)準備

?建立模型

?總體評估

?模型發(fā)布

商業(yè)理解

?商業(yè)理解

■確定業(yè)務目標

?資源評估

-確定數(shù)據(jù)挖掘目標

-制定數(shù)據(jù)挖掘項目計劃

數(shù)據(jù)理解

數(shù)據(jù)理解

-收集初始數(shù)據(jù)

-描述數(shù)據(jù)

-分析數(shù)據(jù)

-檢查數(shù)據(jù)質(zhì)量

數(shù)據(jù)準備

數(shù)據(jù)準備

-選擇數(shù)據(jù)

■清洗數(shù)據(jù)

■構(gòu)建數(shù)據(jù)結(jié)構(gòu)

-集成數(shù)據(jù)

-規(guī)范化數(shù)據(jù)

建立模型

建立模型

■選擇模型技術

■設計實驗

-建立模型

-訪問模型

模型評估

模型評估

-評估數(shù)據(jù)挖掘結(jié)果

■處理過程回顧

-制訂下一步的計劃,如何改進

模型發(fā)布

模型發(fā)布

■制訂發(fā)布計劃

■制訂監(jiān)控和維護策略

-產(chǎn)生最終報告

■項目回顧

概念及發(fā)展背景

?數(shù)據(jù)挖掘項目實施過程

?典型應用舉例

?未來發(fā)展及挑戰(zhàn)

?數(shù)據(jù)挖掘系統(tǒng)的選擇

。Q&A

應用舉例-決策樹

?案例描述：

-某超市對會員實行卡式管理，分為金卡、銀卡、銅卡、普通卡

■持有不同卡的客戶應該得到不同的服務

-金卡客戶應該提供什么服務？需要找出金卡客戶的人群特征

-一個新登記的客戶成為金卡客戶的可能性有多大？服務上要有體現(xiàn)

?研究方法：

-以決策樹作為挖掘工具來尋找持卡客戶的人群特征

-選取年收入、婚姻狀況、家庭子女數(shù)作為培訓數(shù)據(jù)

-選取會員卡屬性作為被預測實體

應用舉例-決策樹

金卡銅卡

(73.66%)(81.86%)

下頁

、年收入上的信息增益

31、計算成員卡分

最大，所以作為根類所需的數(shù)學

節(jié)點，依次類推

期望=0.94

家庭子女數(shù)

=0.048

形成樹

性別=0.029

相關性網(wǎng)絡瀏覽器-test,|g|x|

&|0|Xl%I觸I

MaritalStatus

MemberCardTotalChildren

YearlyIncome

請選擇網(wǎng)絡中的節(jié)點以突出顯示其相關性

關閉I幫助(H)

16:17

應用舉例—聚類

案例描述：

-某超市定期給會員發(fā)送促銷雜志，效果不好。原因是對所有會員都發(fā)放

同樣的雜志，而促銷的廣告內(nèi)容只能適合某一部分人，眾口難調(diào)；

■市場部門打算對所有會員客戶進行一下分類，針對不同的人群發(fā)放不同

內(nèi)容的雜志。

研究方法：

?以聚類作為挖掘方法來對客戶群進行細分；

?選取會員的自然屬性年收入、婚姻狀況、家庭子女數(shù)、教育程度作為培

訓數(shù)據(jù)；

-選取銷售額作為劃分自然屬性的度量值；

-預先設置的聚類數(shù)為3,既打算把所有會員客戶分成3類。

應用舉例-關聯(lián)分析

?案例描述：

-為了分析商品之間的聯(lián)系，選取10000筆交易作為研究對象。統(tǒng)計發(fā)現(xiàn)

有6000筆包含產(chǎn)品A,7500筆包含產(chǎn)品B,而有4000筆同時包括A、B

兩產(chǎn)品。

研究方法：

■以關聯(lián)規(guī)則作為分析方法來研究A和B之間關系；

-支持度：表示規(guī)定的關聯(lián)規(guī)則必須滿足的最小閥值；

-可信度：表示關聯(lián)規(guī)則成立的最小可信程度。

應用舉例-關聯(lián)分析

?:?研究結(jié)果：

-支持度(Support)=(同時購買A和B的交易數(shù))/交易總數(shù)

=4000/10000

=40%

-可信度(Confidence)=(同時購買A和B的交易數(shù))/購買了A的交易數(shù)

=4000/6000

=66%

-結(jié)論：購買A產(chǎn)品的顧客有同時買B產(chǎn)品的可能

(Support=40%,Confidence=66%)。

概念及發(fā)展背景

數(shù)據(jù)挖掘項目實施過程

?典型應用舉例

?未來發(fā)展及挑戰(zhàn)

?數(shù)據(jù)挖掘系統(tǒng)的選擇

。Q&A

應用狀態(tài)

數(shù)據(jù)挖掘是一種技術，和其他的技術一樣也需要時間和精力來研究、開發(fā),

最終逐步成熟。整個生命周期應包含下列幾個階段：

落

溝

后

創(chuàng)

早

早

后

新

期

期

坎

期

者

多

多

接/

數(shù)

數(shù)

受

接

接

者

受

受

者

者

應用狀態(tài)

目前已經(jīng)有許多通用的數(shù)據(jù)挖掘系統(tǒng)，但都是給那些非常熟悉數(shù)據(jù)挖掘和

數(shù)據(jù)分析技術的專家設計的，這就是使得系統(tǒng)很難被企業(yè)經(jīng)理或普通百姓

使用。

目前的數(shù)據(jù)挖掘系統(tǒng)趨向于適合各種商業(yè)應用的橫向解決方案，而不是針

對某個特定商業(yè)應用的解決方案。這不能體現(xiàn)商業(yè)邏輯與數(shù)據(jù)挖掘功能的

平滑集成，不要期望通用的數(shù)據(jù)挖掘系統(tǒng)會象與領域無關的關系數(shù)據(jù)庫那

樣取得成功。

也有一些好的跡象，例如保險企業(yè)收益率分析等縱向解決方案的出現(xiàn)，會

為數(shù)據(jù)挖掘提供一個好的發(fā)展方向。/

主要挑戰(zhàn)

為了使數(shù)據(jù)挖掘成為一種被廣泛接受的技術，必須對下列內(nèi)容做進一步研

究和開發(fā)

—數(shù)據(jù)挖掘查詢語言的標準化

DMQL(DataMiningQueryLanguage)

—增加與用戶的交互，聯(lián)機挖掘

—背景知識與可視化技術的結(jié)合

—有效性和可伸縮性，不能停留在玩具階段

—應付復雜數(shù)據(jù)類型，如聚類中量剛處理，序列值處理等

—文本挖掘，漢語語料庫的完善、分詞技術的進一步提高

概念及發(fā)展背景

數(shù)據(jù)挖掘項目實施過程

?:?典型應用舉例

#未來發(fā)展及挑戰(zhàn)

?數(shù)據(jù)挖掘系統(tǒng)的選擇2

。Q&A

如何選擇數(shù)據(jù)挖掘系統(tǒng)

功能和方法

—有些系統(tǒng)只提供一兩種數(shù)據(jù)挖掘功能，而有些支持多種挖掘功能。

—有些系統(tǒng)只給出某一挖掘功能的一種方法，而有些則提供多種方法。

?與數(shù)據(jù)庫或數(shù)據(jù)倉庫的結(jié)合

—無偶合。只操作ASCII數(shù)據(jù)文件。

—松散偶合。數(shù)據(jù)首先被返回到緩沖區(qū)或主存，然后利用挖掘功能分析,

這樣的系統(tǒng)可伸縮性不好。

—半松偶合。只對少數(shù)幾個數(shù)據(jù)挖掘原語（排序、聚合、多路聯(lián)接）提

供了有效的實現(xiàn)。

—緊密偶合。最理想的方式，即把數(shù)據(jù)挖掘查詢優(yōu)化成循環(huán)的數(shù)據(jù)挖掘

和檢索過程，在數(shù)據(jù)庫端實現(xiàn)。

如何選擇數(shù)據(jù)挖掘系統(tǒng)

可伸縮性

—數(shù)據(jù)挖掘有兩種伸縮性問題，行（記錄）可伸縮性和列（維）可伸縮。

—行擴大10倍，而執(zhí)行時間不超過原來的10倍，則系統(tǒng)在行上可伸縮。

—