數據挖掘項目實施中地關鍵環(huán)節(jié)

數據挖掘項目實施中的關鍵環(huán)節(jié)

深圳華策輝弘科技有限公司

專業(yè)服務部

2007–12-131公司介紹華策輝弘科技有限公司致力于商業(yè)數據分析的咨詢服務，由具備豐富的國際、國內項目經驗的國內外資深專家創(chuàng)辦。公司有一支業(yè)界不多見的高水準咨詢服務專業(yè)團隊，項目的經驗覆蓋亞洲太平洋地區(qū)包括中國、澳洲、香港、泰國、馬來西亞等地的金融業(yè)、電訊業(yè)以及零售業(yè)，為這些不同國家和不同行業(yè)的客戶提供商業(yè)信息及分析性解決方案。2公司介紹華策輝弘科技有限公司歷史

1997–2002,共同創(chuàng)始人Eric工作于SAS中國，Dick工作于SAS香港

2002–2004,獨立進行咨詢顧問工作 2004–2006,Eric在北京創(chuàng)建了華策未來,Dick在香港創(chuàng)建了萬訊奧義 2006–至今,在深圳合并，成立了華策輝弘業(yè)務范圍

關于決策支持系統/客戶關系管理/數據挖掘/信用評分/分析的咨詢項目，其主要客戶是金融業(yè)和通訊行業(yè)基于SAS工具的數據處理和分析的開發(fā)服務提供針對SAS編程人員/分析師/設計師的培訓3團隊成員核心團隊成員大都擁有超過八年以上有關各項服務的經驗﹐同時具備應用SAS軟件八年以上的經驗﹐在銀行業(yè)、電訊業(yè)與保險業(yè)也有豐富的行業(yè)經驗,所擔任的角色分別從市場分析及報告到風險評估及管理。團隊成員曾經奪得第二屆國際智能數據分析比賽冠軍。專家團隊中有來自英國皇家統計學會的注冊統計師。4團隊成員在亞太地區(qū)及澳大利亞的各行業(yè)中的經驗銀行業(yè)中國工商銀行中國招商銀行中國建設銀行中國交通銀行中國中信銀行中國國家開發(fā)銀行中國廣東發(fā)展銀行中國人民銀行中國平安保險中國證監(jiān)會日本JCB澳洲國民銀行澳洲Westpac銀行香港上海匯豐銀行渣打銀行美國大通信用卡大新銀行中國銀行信用卡(國際)有限公司海外信托銀行有限公司永享銀行香港星展銀行亞洲聯合財務有限公司泰國Ayudhya銀行泰國SiamCity銀行5電訊行業(yè)中國移動有限公司中國聯通有限公司澳洲Optus電訊有限公司香港電訊(PCCW)有限公司香港和記黃埔有限公司香港和記環(huán)球電訊有限公司香港數碼通移動通訊有限公司泰國電訊有限公司泰國AIS電訊有限公司馬來西亞Maxis電訊有限公司團隊成員在亞太地區(qū)及澳大利亞的各行業(yè)中的經驗6團隊成員在亞太地區(qū)及澳大利亞的各行業(yè)中的經驗保險業(yè)澳洲MBF保險,澳洲蘇黎世保險

零售業(yè)百佳超級市場,加德士澳洲有限公司政府部門香港特別行政區(qū)統計處,香港貿易發(fā)展局中國海關總署半導體業(yè)摩托羅拉,英特爾媒體調研行業(yè)蓋洛普（中國）有限公司北京電視臺特雷森信息中心7公司介紹華策輝弘科技有限公司更多信息：

請訪問公司網站

或者與我們聯系：+86755333611838數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題9美國聯邦調查局（FBI）對地區(qū)調查員提交的大量報告進行審查，尋找和爆炸事件的聯系。.使用鏈路分析，聚類和規(guī)則歸納等分析方法來識別可能的線索?，F實世界中的數據挖掘可以用來干什么？

——搜索制造爆炸的恐怖分子數據挖掘概述10現實世界中的數據挖掘可以用來干什么？

——誰會同意擴大軍費開支？美國國會對擴大軍費開支進行投票。普遍認為有軍隊服役背景的議員會投贊成票，真實情況是這樣的嗎？數據挖掘概述11就象解謎語一樣,數據挖掘從大量復雜的數據中發(fā)現直接有效的信息和知識.面對成千上萬的客戶,

如何滿足您最好的客戶？

如何把損失降到最低？

如何更有效地分配資源？客戶洞察DATADATADATADATADATADATADATADATADATADATADATADATADATADATA答案是:數據挖掘數據挖掘概述12數據分析的最初

數據分析能力受到計算能力和存儲能力的限制.1959年，IBM大型機7090，0.5MHz處理器0.2MB內存！一個600行，4列的數據集需要約3000張打孔卡片！分析時，一次同時考慮的變量最多達到25個！數據挖掘概述13促進數據挖掘發(fā)展的要素數據

——大量的，運營型數據用戶和需求——業(yè)務決策支持的需求技術和方法——計算能力的飛速發(fā)展

——多學科領域研究的發(fā)展數據挖掘概述14數據試驗性的

運營性的用途 研究 運營價值 科學 商業(yè)產生 主動控制 被動記錄數據量 小

大質量 清潔 骯臟狀態(tài) 靜態(tài) 動態(tài)數據挖掘概述15數據洪水已經來臨：大量的數據在產生：金融、電信以及其它行業(yè)的交易數據科學實驗數據：天文、空間探索、生物及高能物理等Web數據：文字、圖像及其它多媒體格式數據挖掘概述16擁有16個望遠鏡的歐洲長基線干擾儀在25天的觀察期中每秒鐘產生1G數據2003年，法國電信的呼叫數據為30TB，AT&T以26TB的數據量位居第二，如此多的呼叫數據以致于AT&T無法全部保存，對數據的分析也只能是“粗略”的Google，40億以上的頁面（2004年4月統計），數據量為nTB據加州大學伯克利分校的研究人員統計，2002年新產生數據為1999年的2倍，而且數據的膨脹在不斷加速“天文”數據量：

數據挖掘概述17用戶和需求：

對于復雜現象的簡單結論市場–誰將會購買這個產品？預測–我們將面臨何種需求？忠誠度–誰最有可能流失？信用-哪一類人群不還款的傾向嚴重？欺詐-什么時候會發(fā)生？數據挖掘概述18用戶和需求通用

客戶分群

客戶獲取/保留

數據庫營銷

客戶生命期價值

交叉銷售銀行

信用記分

信用卡欺詐發(fā)現

產品組合分析

現金計劃保險&醫(yī)療保健

理賠分析

欺詐行為電信

呼叫行為分析

流失管理

欺詐發(fā)現零售/市場

菜籃子分析

目錄管理

信用記分制造/公用事業(yè)

流程管理 質量控制

需求模式

資源計劃

倉儲計劃數據挖掘概述19數據挖掘概述技術和方法——計算能力的飛速發(fā)展Since1963Moore’sLaw:Theinformationdensityonsiliconintegratedcircuitsdoublesevery18to24months.Parkinson’sLaw:Workexpandstofillthetimeavailableforitscompletion.20技術和方法——多學科領域研究的發(fā)展廣泛的商業(yè)需求，需要出現一種挖掘數據背后隱藏的知識的手段。1989年8月在美國底特律召開的第11屆國際人工智能聯合會議的專題討論會上首次出現知識發(fā)現（KDD）這個術語，數據挖掘（DM）是知識發(fā)現（KDD）中的一個特定步驟和核心技術數據挖掘的研究重點逐漸從發(fā)現方法轉向系統應用，注重多種發(fā)現策略和技術的集成，以及多種學科之間的相互滲透，現在已經成為一個自成體系的應用學科。數據挖掘概述神經計算數據庫知識發(fā)現數據挖掘統計學模式識別機器學習人工智能21什么是數據挖掘？定義： 從海量的數據庫中選擇、探索、識別出有效的、新穎的、具有潛在效用的乃至最終可理解的模式以獲取商業(yè)利益的非平凡的過程

-Fayyad，Piatetsky

Shapiror1996特征：處理海量的數據；揭示企業(yè)運作中的內在規(guī)律；為企業(yè)運作提供直接決策分析，并為企業(yè)帶來巨大經濟效益。數據挖掘概述22商業(yè)智能(BI)技術傳統的商業(yè)智能技術不能發(fā)現復雜的關系，也不能創(chuàng)建商業(yè)領域所需要的預測模型Ad-hocSQLEIS/DSS統計OLAP數據挖掘用戶直接發(fā)現自動發(fā)現查詢復雜性(e.g.維度個數)過去發(fā)生了什么？為什么會發(fā)生？未來會發(fā)生什么？希望未來發(fā)生什么？數據挖掘概述23預測的基本原理預測問題用于預測的歷史數據進行預測分析的工具和方法數據挖掘概述24數據挖掘——學習知識的過程歷史數據學習過程(建模)模型輸出新數據模型輸出結果建模學習階段應用實施階段數據挖掘概述25數據挖掘不是萬能的數據挖掘通過構建模型發(fā)現特征模式和關系.模型，就象地圖,是事實的抽象表示．數據挖掘只是一個工具,不是一個萬能魔杖數據挖掘不能替代業(yè)務分析人員或者經理們的角色,但是數據挖掘能為他們提供更有力的新工具以改善他們的工作數據挖掘既是一門藝術又是一門科學數據挖掘概述26數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題27我們的日常生活工作離不開分析：

數據挖掘與一般的分析活動的重要區(qū)別：數據挖掘是在有方法論指導的項目實踐中積累和推廣的數據挖掘實施方法論做什么？怎么做？做！做完以后怎么樣？28以SPSS，NCR等公司為代表的CRISP-DM方法論CRISP-DM是跨行業(yè)數據挖掘標準流程（Cross-IndustryStandardProcessforDataMining）的縮寫強調以業(yè)務理解（Businessunderstanding）、數據理解（Dataunderstanding）、數據準備（Datapreparation）、建模（Modeling）、評價（Evaluation）、發(fā)布（Deployment）為核心環(huán)節(jié)，將數據挖掘目標和商務目標有機地聯系在一起數據挖掘實施方法論29數據挖掘方法論–CRISP-DMCRISP-DM30數據挖掘方法論–SEMMA以SAS公司為代表的SEMMA方法論

SEMMA方法論以抽樣（Sample）、探索（Explore）、修改（Modify）、建模（Model）、評估（Assess）為核心環(huán)節(jié)，強調數據挖掘過程是這5個環(huán)節(jié)的有機循環(huán)抽樣（Sample）當進行數據挖掘時，首先要從企業(yè)大量數據中取出一個與你要探索問題相關的樣板數據子集，而不是動用全部企業(yè)數據。這就像在對開采出來礦石首先要進行選礦一樣。通過數據樣本的精選，不僅能減少數據處理量，節(jié)省系統資源，而且能通過數據的篩選，使你想要它反映的規(guī)律性更加凸現出來從巨大的企業(yè)數據母體中取出哪些數據作為樣本數據呢？這要依你所要達到的目標來區(qū)分采用不同的辦法

31數據挖掘方法論–SEMMA以SAS公司為代表的SEMMA方法論探索（Explore）前面所敘述的數據取樣，多少是帶著人們對如何達到數據挖掘目的的先驗的認識進行操作的。當我們拿到了一個樣本數據集后，它是否達到我們原來設想的要求；其中有沒有什么明顯的規(guī)律和趨勢；有沒有出現你所從未設想過的數據狀態(tài)；因素之間有什么相關性；它們可區(qū)分成怎樣一些類別……這都是要首先探索的內容修改（Modify）通過上述兩個步驟的操作，你對數據的狀態(tài)和趨勢可能有了進一步的了解。對你原來要解決的問題可能會有了進一步的明確；這時要盡可能對問題解決的要求能進一步的量化。問題越明確，越能進一步量化，問題就向它的解決更前進了一步。這是十分重要的。因為原來的問題很可能是諸如質量不好、生產率低等模糊的問題，沒有問題的進一步明確，你簡直就無法進行有效的數據挖掘操作針對問題的需要可能要對數據進行增刪；也可能按照你對整個數據挖掘過程的新認識，要組合或者生成一些新的變量，以體現對狀態(tài)的有效的描述32數據挖掘方法論–SEMMA以SAS公司為代表的SEMMA方法論建模（Model）這一步是數據挖掘工作的核心環(huán)節(jié)。按照SAS提出的SEMMA方法論走到這一步時，你對應采用的技術已有了較明確的方向；你的數據結構和內容也有了充分的適應性。SAS在這時也向你提供了充分的可選擇的技術手段：回歸分析方法等廣泛的數理統計方法；關聯分析方法；分類及聚類分析方法；人工神經元網絡；決策樹……等。在你的數據挖掘中使用哪一種方法，用SAS軟件包中什么方法來實現，這主要取決于你的數據集的特征和你要實現的目標。實際上這種選擇也不一定是唯一的。好在SAS軟件運行效率十分高，你不妨多試幾種方法，從實踐中選出最適合于你的方法。評估（Assess）從上述過程中將會得出一系列的分析結果、模式或模型。同一個數據源可以利用多種數據分析方法和模型進行分析，ASSESS的目的之一就是從這些模型中自動找出一個最好的模型出來，另外就是要對模型進行針對業(yè)務的解釋和應用。若能從模型中得出一個直接的結論當然很好。但更多的時候會得出對目標問題多側面的描述。這時就要能很好的綜合它們的影響規(guī)律性提供合理的決策支持信息。所謂合理，實際上往往是要你在所付出的代價和達到預期目標的可靠性的平衡上做出選擇。

33數據挖掘方法論–SEMMA完整的SEMMA方法論與外圍環(huán)節(jié)問題定義數據有效化取樣探索修改建模評估數據挖掘周期回顧模型實施環(huán)境評估取樣探索修改建模評估數據挖掘周期核心外圍SAS公司的數據挖掘項目方法論：34 實際上這兩種方法論本身并不矛盾，CRISP-DM強調高層的商務目的實現過程，SEMMA強調具體的數據挖掘技術實現過程，實際上，很多的項目中，是將二者有機地結合起來運用的 方法論的實踐，需要人力資源、技術和經驗三方面的配合數據挖掘實施方法論35數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題36數據挖掘過程是多個步驟相互連接、反復交互的過程。具體包括：

定義問題準備數據

建立模型應用模型確定業(yè)務問題和目標將問題和目標轉換為合適的分析方法確定建模數據結構和原始數據的需求獲取原始數據對原始數據進行預處理，生成建模數據訓練和調整模型評估模型并選擇最佳模型解釋模型應用模型或發(fā)現的模式和知識監(jiān)控和評價模型的應用效果數據挖掘項目實施流程37數據挖掘所需知識和技能

某個領域的業(yè)務知識（業(yè)務專家）

——理解業(yè)務問題的細節(jié)和特殊性，背景業(yè)務知識，內容含義，術語，知道對該業(yè)務問題的當前處理方法和優(yōu)劣。

數據知識和處理能力（數據專家）

——理解數據的結構，格式，數據源的狀況，數據量的大小，有對數據操作的能力。

分析方法和技能（分析專家）

——理解和該業(yè)務問題相關的分析方法的特點和局限，有使用相關算法進行數據分析和建模的能力。

這三種知識和技能根據實際情況可能會體現在1個人，2個人或3個人身上。數據挖掘項目實施流程38最關鍵的是理解業(yè)務和技術的綜合能力基本專業(yè)和技能業(yè)務知識數據知識分析技能人才類型業(yè)務專家數據專家分析專家 8010 10 1080 10 3030 40具有分析架構設計能力的分析專家，是建立數據和業(yè)務之間的橋梁!數據挖掘項目實施流程39確定業(yè)務問題和目標為什么重要？常見的誤區(qū)：很多人以為不需要事先確定問題和目標，只要對數據使用數據挖掘技術，然后再對分析挖掘后的結果進行尋找和解釋，自然會找到一些以前我們不知道的，有用的規(guī)律和知識，這就是所謂的數據挖掘能夠發(fā)掘隱藏在數據背后的金塊的神奇魔力?！狧erbEdelstein“如果你有上TB的數據，而你只是依賴于數據挖掘自動的去數據中尋找一些有趣的東西給你，那么，在沒有開始尋找之前，你已經迷失了?！薄叭藗兇_實需要知道他們在尋找什么，并且知道一旦找到了所要找的東西，要做些什么。”

-Beck1997定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程40確定業(yè)務問題和目標如何做好？先請看幾個例子：了解我們的客戶挽留更多的客戶對數據庫進行聚類使用神經元網絡對客戶進行細分，了解不同客戶群的特征和需求，以便有針對性的營銷。預測客戶的流失傾向和特征，以便提前主動進行有針對性的挽留。定義太寬泛而不明確另一個極端：過于技術化關鍵：業(yè)務語言和技術語言的良好溝通，確定以提升業(yè)務價值為核心，與分析相關的可操作性強的明確目標。不要忽視業(yè)務人員和分析人員任何一方的參與。定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程41將問題和目標轉換為合適的分析方法預測聚類關聯其他不同的分析方法是針對不同的特定問題的，不同的分析方法對數據的要求也不同。定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程42流失預測案例——定義問題分析的方法客戶流失率高，每年30％客戶流失

每年流失損失2億

無法預知客戶流失傾向

無法主動有效的挽留客戶預測客戶的流失傾向識別高流失傾向客戶的特征以便提前主動進行有針對性的挽留從而降低流失率，減少流失損失

用預測模型預測客戶流失的可能性

用預測模型得到影響流失的重要因素

用統計方法和描述變量得到高流失概率客戶的其他特征

輸出高流失概率客戶列表和特征描述

分析的目的業(yè)務問題起源示例定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程43確定建模數據結構和原始數據的需求數據中必須包含你想分析的內容數據的定義要符合業(yè)務規(guī)則利用業(yè)務知識建立新的變量使用最新的數據數據的可獲取性定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程44獲取原始數據ETL系統架構和流程

——考慮效率和對源系統的影響數據的完整性和一致性

——對原始數據的真實體現數據的檢查和清理

——數據質量的保證定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程45數據預處理數據匯總數據轉置計算生成衍生變量或指標其他變換目的：形成符合建模需要的格式的數據表Acct

CK

SVG

MMF

CD

LOC

MTG213311000126531100003544101111以客戶為中心：每個客戶一條記錄定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程46流失預測案例——準備數據流失定義：流失——拆機/報拆/雙停30天；未流失——活動客戶排除客戶：在網時長少于一年，在簽約期間的客戶用戶的欠費次數–月份1到月份6每個種類的總呼叫次數–月份1到月份6平均呼叫持續(xù)時間，對應各個呼叫種類（國際，本地，長途等）--月份1到月份6在網時間平均呼叫次數，對應各個呼叫種類（國際，本地，長途等）--月份1到月份6……當前時點目標窗口觀測窗口示例定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程47流失預測案例——準備數據.............................................客戶

A.........

客戶

B

客戶

C

客戶

Z流失X1X7X8X9XnX5X6X3X4X2分局號

客戶號

通話時長446121331604461224442446127732124461265325044612801122491135447865630249645856302635328622542442762254165759分局號

客戶號

通話時長44612133?49113544?56302496?62254244?示例定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程48訓練和調整模型合理的數據采樣：使數據有代表性，分層采樣，順序采樣，處理小概率事件數據分隔：分為訓練，確認，測試三個數據集，避免過擬合，確保模型的穩(wěn)定數據探索：了解數據分布模式，發(fā)現數據異常必要的數據變換：處理缺失值，異常值，改變數據分布形態(tài)，數據分段，減少有效變量數量模型參數的調整和優(yōu)化數據挖掘項目實施流程定義問題

準備數據

建立模型應用模型49評估和選擇最佳模型評價模型的穩(wěn)定性和準確性：模型在確認數據上的表現如何，是否穩(wěn)定？模型準確度如何，和無模型相比有多少提升？哪一個模型最好？很多評估方法或圖形可以提供幫助：十分位數分析LiftCharts(又叫gainschart)利潤/損失圖（Profit/LossCharts）投資效益比圖(ROI)診斷分類圖ROCCharts各種基于臨界值的圖形（Threshold-basedCharts）模型復雜程度誤差驗證數據訓練數據數據挖掘項目實施流程定義問題

準備數據

建立模型應用模型50解釋模型對模型的結果進行分析采用輔助手段是規(guī)律更加凸顯和易懂，如統計，數據可視化，報表甚至外部調查用業(yè)務語言描述發(fā)現的規(guī)律或模式根據這些規(guī)律，提出業(yè)務上的解釋和建議需要業(yè)務知識和對數據的分析的緊密結合，集中體現業(yè)務領悟力和創(chuàng)造性，這是最激動人心的時刻，發(fā)現了知識！同時也是需要你有耐心的時候。數據挖掘項目實施流程定義問題

準備數據

建立模型應用模型51流失預測案例——建立模型過采樣，處理小概率事件調整模型參數未流失流失無意義的分離505030302020完美的分離50505050流失未流失示例數據挖掘項目實施流程定義問題

準備數據

建立模型應用模型52流失預測案例——建立模型模型結果解釋模型評估}前30％預測流失客戶中就捕捉到58％的實際流失客戶示例數據挖掘項目實施流程定義問題

準備數據

建立模型應用模型隨著模型判斷流失可能性的下降，實際流失客戶減少53應用模型和知識按照用途，模型可以用來做：

——評分，如客戶流失計分，客戶價值計分。

——設計策略，如不同客戶群的營銷策略。按照實施方式，模型可以：

——集成在現有的業(yè)務系統中，實時評分。

——應用于決策支持系統中，提供決策支持信息。 ——集成于在線客戶服務系統，提供有意義的客戶信息。

——輸出客戶列表，為其他系統或應用提供數據。是否能自動應用和如何使用，取決于實際IT系統環(huán)境和業(yè)務流程。定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程54監(jiān)控和評價模型應用效果隨著時間的推移，市場、客戶、數據的變化，模型的效力必然衰減，并最終失效。最直觀的監(jiān)控方法就是看看模型應用到現實中的效果好壞，可以通過和控制組的比較評價效果。最終效果與模型，策略的設計，活動的執(zhí)行，其他因素都有關系，因此要對每個環(huán)節(jié)分析。如果對模型準確性和穩(wěn)定性評估證明模型的表現已經不可接受，就需要再訓練模型。定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程55流失預測案例——應用模型流失概率高的客戶列表示例定義問題

準備數據

建立模型應用模型數據挖掘項目實施流程56小結

定義問題準備數據

建立模型應用模型數據挖掘是一個反復的過程，不是一次性的，一勞永逸的工作。需要業(yè)務專家，數據專家，分析專家在多個環(huán)節(jié)上的緊密合作。數據挖掘的價值必須通過可執(zhí)行的策略和活動作用于業(yè)務上才能體現。關鍵是掌握從數據－>知識－>行動－>業(yè)務增值的方法論，建立一個良好的數據挖掘平臺和流程，從而具有按照實際業(yè)務的需要和環(huán)境的改變，再訓練模型，優(yōu)化模型，開發(fā)新的模型的能力。數據挖掘項目實施流程57數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題58描述性模型和預測性模型的目標設計差異風險類模型的目標設計營銷類模型的目標設計業(yè)務目標選定59定義目標模型種類模型類型選擇算法數據挖掘的最終目標是什么？例如：希望用數據挖掘技術留住有價值的客戶，則需要建立模型來：一、區(qū)別那些客戶是有價值的客戶；二、那些客戶有可能離開。確定合適的模型種類：1、分類。描述一特定用戶或事件屬于哪一類；2、回歸。預測一個變量的值。例如可以用分類確定用戶的價值，用預測來確定那些用戶有可能會離開。選擇模型的類型，例如用聚類來做分類，神經網絡、決策樹來做預測，還是用統計模型，如：邏輯回歸，普通線性模型等。每種模型都可能用不同的算法來實現，比如可以用回饋函數或radialbasis函數來建立神經網絡；決策樹還有CART、C5.0、QUEST、CHAID等。描述性模型和預測性模型的目標設計差異60數據挖掘是從企業(yè)數據財富中導出客戶洞察的方法.客戶洞察通常以描述性或預測模型的形式得到.允許描述數據集發(fā)現數據中過去不知道的模式和趨勢不被目標變量所“指導”舉例:

分群,關聯分析允許預測和解釋變量用于開發(fā)預測模型，該模型的建模過程受目標變量的“指導”舉例:

提升/交叉銷售模型,獲取模型,流失模型描述性/無監(jiān)督模型預測/有指導模型數據挖掘描述性模型和預測性模型的目標設計差異61①

預測

用過去的數據預測

未來發(fā)生什么

預測未來發(fā)生的可能性歷史數據預測模型

-神經元網絡

-決策樹-回歸②描述

用過去的數據

描述

現在發(fā)生了什么描述現在已經發(fā)生的規(guī)律歷史數據描述模型

-聚類-關聯描述性模型和預測性模型的目標設計差異62風險類模型的目標設計業(yè)務目的是預警和防范風險，在業(yè)務管理上像“踩剎車”風險的種類

流失風險 信用風險 欺詐風險 ……模型的目標是預測Good/Bad數據準備要包括已經發(fā)生了風險的Bad情形和在一定期間內沒有發(fā)生風險的Good情形業(yè)務目標選定63風險類模型的目標設計模型收益通過對客戶風險的預先量化判別，主動采取措施規(guī)避風險，控制風險損失通過模型預測的精確性與量化特征，可以有意識地引入可以容忍的風險，合理降低風險控制門檻，從而擴大業(yè)務發(fā)放規(guī)模模型的應用模式利用模型對每個客戶預測的風險概率，對低風險客戶實施綠色通道處理，或增加信用額度，促進其收益增長利用模型對每個客戶預測的風險概率，對高風險客戶實施紅色預警處理，或降低信用額度，降低其風險損失利用模型預測的風險級別，減少人工風控的工作量，將人工經驗用在模型情形處理的“刀刃”上，提高風控管理的效率可以量化地控管客戶風險與規(guī)模、收益增長的關系，輔助精細化管理可以利用客戶風險評分，監(jiān)控和評價客戶經理的工作成效業(yè)務目標選定64風險類模型的目標設計可行性積累和整理足夠數量和足夠長度的風險相關歷史數據，包括是否發(fā)生風險的情形，與判斷風險相關的特征（如申請表或交易行為等）利用數據建立預測模型，為每個客戶建立風險評分針對風險評分的高低，采取不同的風險控制策略根據風險評分的分布，確定風險控制的門限（例如，對于信用卡申請的批準率設置）業(yè)務目標選定65風險類模型的目標設計目標的定義風險模型的目標定義一般比業(yè)務上的風險定義要嚴格例如：信用風險的目標定義往往是拖欠達到90天及以上，而實際的業(yè)務壞賬標準是拖欠達到180天及以上因為更嚴格的目標定義可以為業(yè)務操作上留取一定的調整空間；同時，按照實際的業(yè)務壞賬標準定義的情形往往在預測期就已經不可逆轉，很難根據預測結果采取有效防范措施；另外，較嚴格的定義可以獲得更多的Bad樣本，技術上有利于建立預測模型模型上的風險定義也需要取得業(yè)務人員的認可，因為實際風險管理中也經常將風險定義收嚴，所以具備達成一致的條件當然，模型風險定義的情形要被證明有足夠高的概率將轉換成業(yè)務上定義的壞賬（可以采用roll-rate分析）業(yè)務目標選定66風險類模型的目標設計目標的定義是預測1個月出現零次話的用戶，還是預測連續(xù)2個月或3個月出現零次話的用戶？通過roll-rate分析，可以幫助我們進行預測目標的確定2005年1月不同狀態(tài)用戶數2005年2月不同狀態(tài)用戶數正常1個月零次戶2個月零次戶3個月零次戶4個月零次戶拆機正常

96989493987029504000520行%96.903.040000.051個月零次戶20191484801524000103行%24.01075.48000.512個月零次戶1248317100010721052行%13.700085.8800.423個月零次戶7564696000679177行%9.2000089.781.02

1個月零次話的用戶，在下一個月繼續(xù)為零次戶的可能性為75%，有24%的用戶下個月會自然回復正常

連續(xù)兩個月零次話的用戶，成為3個月零次戶的可能性為86%，自然回復正常的可能性為14%

從零次戶的自然回復正常比率和減少偶然性影響來看，最終決定以預測連續(xù)兩個月的零次戶為預測目標業(yè)務目標選定示例67風險類模型的目標設計避免“偽預測”風險現象在發(fā)生之前可能已經產生輕度風險現象，如果將此類現象當作預測因子，將產生“偽預測” 例如，已經發(fā)生“預約停機”情形的客戶發(fā)生離網流失的概率很高，但是，在業(yè)務上，如果這類客戶屬于值得挽留的客戶，已經有對應的流程去處理，對這個顯而易見的規(guī)律，預測失去了意義，無法體現對業(yè)務環(huán)節(jié)的提升；對業(yè)務人員來說，從表面上一直正常的客戶中發(fā)現突變的流失風險，才能真正提高維系和挽留工作的效率。

但是，由于使用這類顯而易見的因素作為預測因子，在模型技術評估上可以獲得很高的預測性能指標，如果沒有完備綜合的評估體系，將會干擾對模型有效性的確切評估。業(yè)務目標選定68市場類模型的目標設計業(yè)務目的是提升市場營銷能力，在業(yè)務管理上像“踩油門”市場模型的種類

交叉銷售 營銷響應

……模型的目標是預測客戶接受營銷的產品組合的機會數據準備應該包括已經接受了營銷推薦的情形和沒有接受營銷推薦的情形業(yè)務目標選定69市場類模型的目標設計（以交叉銷售為例）模型收益促進重點產品的發(fā)行增加客戶持有產品的數目增加持有多種產品的客戶規(guī)模模型的應用模式以各個獨立產品之間的相關性輔助產品組合設計找到最強關聯的產品組合的購買順序，設計交叉銷售方案列示出每個客戶最適合購買的下一個或者下三個產品，進行全接觸點的統一營銷可行性通過客戶分群總結客戶全方位特征（數據挖掘+人工討論結果）通過客戶特征推斷客戶需求（人工討論為主）根據客戶需求選擇或設計產品（人工設計為主）根據現有產品的相關性設計產品組合（數據挖掘+人工討論結果）建立客戶需求與產品組合的匹配（人工設計為主）在技術上和業(yè)務管理上應用交叉銷售模型的結果業(yè)務目標選定70市場類模型的目標設計（以交叉銷售為例）目標的定義可以使用描述性模型方案，則本身沒有直接的預測目標變量，而是利用產品購買清單，發(fā)現產品間的潛在關聯關系可以使用預測性模型方案，即以每個產品的持有為一個目標事件，利用人工神經元網絡等模型進行多目標的預測在交叉銷售目標定義中必須注意排除業(yè)務上固有的產品綁定和排斥規(guī)則，例如：語音通話和來電顯示自身就有很強的綁定性，而低價位普通手機和智能手機之間又具有互斥性避免“偽相關”分析中可能發(fā)現的強相關組合，可能因為業(yè)務本上就是捆綁銷售的產品組合，幾乎沒有分離銷售過，這將導致“偽相關”的分析結果因為以前的綁定很可能是拍腦袋的結果，如果數據挖掘不排除這些情形，就會干擾發(fā)現真正具有自然相關性的產品組合的過程業(yè)務目標選定71市場類模型的目標設計（以營銷響應為例）模型收益在投放成本不變的情況下，取得最大化的營銷響應率模型的應用模式根據營銷響應率預測的高低，針對性地選取投放對象，提升營銷活動的成本收益率根據營銷響應率預測的高低，進行營銷活動的預演，在策劃階段就提高活動的針對性利用不同產品營銷響應率的分布，進行優(yōu)化的客戶-產品匹配設計業(yè)務目標選定72市場類模型的目標設計（以營銷響應為例）可行性根據已經發(fā)生過的營銷活動的結果，準備有/無響應的客戶群體數據通過客戶分群總結客戶全方位特征（數據挖掘+人工討論結果）總結營銷活動的特征（人工分類）通過客戶特征、營銷活動特征與營銷響應結果建立營銷響應結果預測模型（數據挖掘）通過預測模型為建立基于響應概率的客戶列表（數據挖掘）根據模型結果優(yōu)化營銷投放目標客戶群（數據挖掘+人工篩選）業(yè)務目標選定73市場類模型的目標設計（以營銷響應為例）目標的定義營銷響應事件（有/無）需要規(guī)定響應的程度（接到推薦/完整地接聽推薦/對推薦產程回饋（如回復短信）/表示對推薦的正面評價/購買推薦的產品組合），最終購買作為目標可以直接關聯業(yè)務收益目標，但是存在跟蹤難度，因為很多客戶并不是當場購買，而是事后從別的渠道購買通常，以對推薦產程回饋（如回復短信）為目標響應事件，因為接近最終正面結果，同時可操作性強注意選取一定的考察期，對于營銷活動很長時間后才響應的客戶，視為不響應業(yè)務目標選定74數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題75數據挖掘項目有沒有效果數據挖掘項目評估方法？技術指標優(yōu)秀的模型好像幫不到業(yè)務指標的提升為什么看到別人的案例收效很大，但是自己做的項目卻沒有類似的收效花了這么多功夫，如果做出來的模型響應率達不到90%是不是還很失敗數據挖掘項目該如何評估76兼顧業(yè)務和技術：

從模型的技術指標和對業(yè)務的提升作用兩方面來評估，并注重其中的關聯性兼顧結果和過程

既要考察模型最終結果在業(yè)務和技術上的收效，也要看到模型開發(fā)過程中發(fā)現的問題和改善的環(huán)節(jié)兼顧絕對提升和相對提升

既要考察項目后技術指標和業(yè)務指標的絕對值水準，也要考察指標相對于以前的相對提升考慮業(yè)界普遍規(guī)律

以業(yè)界的普遍水準為參考，考察項目取得的收益。例如，直郵營銷的普遍回復率不到1%，如果項目能夠提升到8%-10%，已經是相當突出的效果了。數據挖掘項目評估方法建立數據挖掘項目評估體系的要點77數據挖掘項目評估方法數據挖掘項目評估體系業(yè)務評估技術評估宏觀市場指標評估占有率客戶構成客戶貢獻度

成本/收益率

規(guī)模/增長速度微觀市場指標評估

客戶細分群構成細分客戶貢獻度細分風險損失細分客戶親和力

細分客戶接觸效果評估特定業(yè)務活動（如營銷）的收效評估模型適用范圍評估模型技術性能評估模型/非模型提升率對比模型合理性評估模型魯棒性評估模型開發(fā)成本模型實施和維護成本項目投入成本評估業(yè)務實施投入技術實施投入時間成本機會成本項目過程收效評估模型對工作效率的提升模型建立過程中梳理業(yè)務問題和數據問題的潛在貢獻78業(yè)務評估：

從模型對業(yè)務和管理的實際提升效果來評估數據挖掘項目技術評估

從結果的性能、穩(wěn)定性和合理性等方面來評估數據挖掘項目數據挖掘項目評估方法79技術評估模型適用范圍評估

模型建立時使用的數據與最終投入應用時不同，例如建模數據可能是一年前的業(yè)務環(huán)境下，或者只是幾個中心城市的數據；在投入使用時，需要將模型結果在最終投入應用的數據上進行驗證，考察模型的性能在不同范圍的分布情形；最終的結論包括模型在不同地域、時間段范圍上的適用程度列表，進而導出模型的適用范圍數據挖掘項目評估方法80技術評估模型技術性能評估

主要包括通常的顯著性檢驗，包括（但不限于） 衡量模型對于目標和非目標區(qū)分度的KS值，Gini系數 衡量預測模型效果的十分位分數段分布檢驗 衡量不同模型針對于不建模型的隨機序列的提升程度的LiftCharts（也叫GainCharts） 衡量預測模型命中效果的查全率、查準率 衡量預測模型預測性能的預測-實際結果的誤差矩陣 衡量描述性模型的特征顯著性的指標（例如分群特征相對于整體特征的差異比率） 衡量預測模型收益損失的綜合圖表 利潤/損失圖（Profit/LossCharts） 投資效益比圖(ROI) 診斷分類圖 ROCCharts 各種基于臨界值的圖形（Threshold-basedCharts）數據挖掘項目評估方法81技術評估模型/非模型提升率對比

以LiftCharts（也叫GainCharts）為基礎，設置相應的控制組（controlgroup）來對比使用模型后的效果與不使用模型的效果；數據挖掘項目評估方法82技術評估模型合理性評估

判斷模型的結果是否合理，模型使用的分析變量是否合理，是否可以被業(yè)務上理解并應用。 在一個實例中，價值模型評分后，大量VIP群體分數較低，這個結論是不合理的，因此在合理性評估上被質疑，經調查，是因為大量VIP群體由于有專門的客戶經理專門應對，結果在系統移植時，沒有將必要的客戶資料重新錄入到新系統中，造成VIP群體在數據上大量缺失，影響了建模結論。此時的合理性評估，起到了為業(yè)務應用把關的作用。數據挖掘項目評估方法83技術評估模型魯棒性（Robustness）評估 即檢驗模型在時間推移、人群構成變化等條件下性能的穩(wěn)定性。 常用的模型魯棒性檢驗方法包括： 1、使用同時間段不同的樣本來檢驗，例如將數據劃分為訓練、校驗和測試數據，使用部分參與建模的校驗數據和完全沒有參與建模的測試數據進行檢驗 2、使用不同時間段的數據樣本進行檢驗，例如3個月，6個月以后的數據進行檢驗

其中方法1常在在建模時采用，用于模型微調； 方法2常在模型建立后一段監(jiān)控期內采用，用于模型的跟蹤和調整； 在實際應用中，更注重方法2的使用。數據挖掘項目評估方法84技術評估開發(fā)過程成本評估 模型開發(fā)成本 模型實施和維護成本數據挖掘項目評估方法85業(yè)務評估 宏觀市場指標評估 占有率 客戶構成

優(yōu)質、中層、靜默等客戶的占比 客戶貢獻度

包括了客戶收益和客戶風險、以及其它成本因素 成本/收益率 規(guī)模/增長速度數據挖掘項目評估方法86業(yè)務評估 微觀市場指標評估 客戶細分群構成

細分群體中優(yōu)質、中層、靜默等客戶的占比 細分客戶貢獻度

包括了細分群體的客戶收益和客戶風險、以及其它成本因素 細分風險損失

細分客戶群的信用、流失、欺詐等風險損失 細分客戶親和力

細分客戶群對于呼叫中心呼入的傾向，接受外呼的程度，響應客戶經理或柜面預約訪談的程度，等等 細分客戶接觸效果評估

細分客戶在各個接觸點（例如電話營銷、網絡、短信等）上的到達率、接受率、轉換率等指標數據挖掘項目評估方法87業(yè)務評估特定業(yè)務活動（如營銷）的收效評估 針對特定業(yè)務活動（如營銷）所建立的數據挖掘模型，將考察特定業(yè)務活動在使用模型前后的各項宏觀和微觀客戶考察指標的對比情況數據挖掘項目評估方法88業(yè)務評估 項目投入成本評估 業(yè)務實施投入 技術實施投入 時間成本 機會成本 項目過程收效評估 模型對工作效率的提升 模型建立過程中梳理業(yè)務問題和數據問題的潛在貢獻數據挖掘項目評估方法89數據挖掘概述數據挖掘實施方法論數據挖掘項目實施流程專題1：業(yè)務目標選定專題2：數據挖掘項目評估方法專題3：數據挖掘項目管理專題4：數據挖掘項目實施中的重要規(guī)范主題90數據挖掘項目管理計劃制定角色分配階段跟蹤變更管理問題處理91數據挖掘項目管理計劃制定

數據挖掘項目的計劃制定不同于一般的IT項目

一個典型的數據挖掘項目計劃（關鍵里程碑）樣例92數據挖掘項目管理計劃制定

數據挖掘項目的計劃制定不同于一般的IT項目 計劃目標的設定 完成對業(yè)務問題和效果評估的明確定義

完成模型開發(fā)的技術環(huán)節(jié)

模型被業(yè)務上理解和接受

對于要求上線應用的模型，還必須考慮： 模型具有持續(xù)評分的能力

模型具有監(jiān)控和調整體系 模型具備投入應用的可能

93數據挖掘項目管理計劃制定

數據挖掘項目的計劃制定不同于一般的IT項目 核心環(huán)節(jié)

問題定義

數據準備

數據質量檢驗

初步分析（數據探索，變量篩選等）

模型建立（包括模型開發(fā)和技術評估）

模型理解 模型監(jiān)控體系

模型部署 相關培訓（針對開發(fā)維護人員和業(yè)務應用人員兩方面）94數據挖掘項目管理耗時環(huán)節(jié)

數據準備耗時指數★★★★★耗時原因： 以前很少提出如此全面深入的數據考察需求

數據字典的規(guī)范管理經常性欠缺

數據源的梳理缺乏人力和系統支持

開發(fā)所需的熟練人員、軟件、硬件環(huán)境在前期往往比較“拮據”

數據轉換規(guī)則的確定會隨著開發(fā)過程出現反復

基礎數據經常缺失 新老系統切換問題常導致處理邏輯產生中斷和分支95數據挖掘項目管理耗時環(huán)節(jié)

數據質量檢驗耗時指數★★★★耗時原因： 以前很少從業(yè)務邏輯的各個角度全面地考察數據質量

數據質量檢驗缺乏規(guī)范

數據質量的檢驗方法缺乏工具支持而效率低下

數據質量問題的原因查找往往需要業(yè)務和技術方面的人員都到位 技術原因的數據變形（例如，新老系統遷移）

業(yè)務原因的數據變形（例如：非必填信息的錄入錯誤）96數據挖掘項目管理耗時環(huán)節(jié)

模型部署耗時指數★★★耗時原因： 數據挖掘模型的評分過程需要整合多方面的數據，并且這個過程需要能夠持續(xù)上線運轉，運算壓力超過一般的業(yè)務系統

模型開發(fā)時所用的系統語言可能與部署時不同 模型的評分和應用涉及現有業(yè)務系統的改造或新系統開發(fā)97數據挖掘項目管理變數較多的環(huán)節(jié)

問題定義對于數據挖掘的分析目標和結果期望可能很難達成共識

數據準備可能沒有足夠多，足夠長，質量合格的數據支持數據挖掘

模型理解可能在業(yè)務上無法理解模型的結果，或者無法建立可操作的應用

98數據挖掘項目管理角色分配

完整的角色定義

99數據挖掘項目管理階段跟蹤周計劃

將總體計劃分解到每個周內每天的任務分配周狀態(tài)報告 項目概述 里程碑進度 交付物進度 本周任務完成情況 下周任務安排 出現的問題階段例會

每周或者雙周進行，項目經理和相關部門領導參加

100數據挖掘項目管理變更管理變更流程變更的發(fā)起：變更單的生成 項目經理根據項目具體情況（考查或聽取組員意見），提出變更申請，填寫變更單初始內容變更的匯報與討論：變更單的上報 服務方和客戶方項目經理溝通后向高層項目領導小組匯報，提請討論變更的確認與發(fā)布：變更單的確認 被確認的變更，向全項目發(fā)布，同時更新所有級別的項目計劃變更的駁回：變更單的拒絕 變更申請被拒絕，同時公開因不變更而產生的風險預估結論101數據挖掘項目管理變更管理變更單的內容設置典型的變更單樣例

102數據挖掘項目管理變更管理變更管理的要點

一個項目存在過多的深層變更（涉及到項目交付目標或關鍵里程碑的變更）時，需要提請項目領導小組，重新評估項目的進程和前景變更的必要性，變更與否的風險評估需要由一線實施人員和資質的環(huán)節(jié)專家參與，同時必須獲得領導小組的理解，深層變更會議必須有領導小組的核心人員參與項目變更與計劃更新必須及時和全面，在各級計劃全部更新后方能發(fā)布變更通知，變更通知與更新的項目計劃需要同時到達每一個項目成員。103數據挖掘項目管理

問題處理文檔化管理

將口頭、臨時的模糊信息變?yōu)榭筛櫟拿鞔_信息 讓項目人員對問題有明確、詳細、無歧異的認識，提升了溝通效率

將解決的過程形成企業(yè)知識積累跟蹤機制

對于每個問題，有明確的問題負責人和回答負責人來跟蹤問題解決得狀態(tài)和過程 關鍵問題的跟蹤列入項目狀態(tài)報告和項目例會討論的內容 整個過程體現在文檔上通知機制

項目領導小組和項目工作小組的全體成員均需知曉問題詳情和狀態(tài)

關鍵問題簡述列入項目狀態(tài)報告通知項目組，并提供問題編號供關心的人員在項目問題文檔中隨時查閱問題詳情104數據挖掘項目管理問題處理的文檔要點<問題創(chuàng)建—問題提交人填寫>問題號 （必須唯一，建議含有日期和提交人信息）題目 （問題的簡要標題，必填）：涉及范圍：（項目的主題范圍）相關里程碑：是否突出問題：是（如果是，需要由項目組通報上級協調解決）問題影響：（描述）問題提交人：問題負責人：回答主管部門：回答負責人：提問時間（yyyy-mm-dd）：期望解決時間（yyyy-mm-dd