應(yīng)用進(jìn)行數(shù)據(jù)挖掘

應(yīng)用進(jìn)行數(shù)據(jù)挖掘第一頁，共七十三頁，編輯于2023年，星期六議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項目方法論及工具SAS/EM簡介Workshop第二頁，共七十三頁，編輯于2023年，星期六企業(yè)決策支持信息系統(tǒng)OLTP數(shù)據(jù)倉庫統(tǒng)計分析數(shù)據(jù)挖掘決策支持企業(yè)知識DWSolutionDM&AnalysisSolutionApplicationforC/S&B/SCBISolution1stQtr2ndQtr3rdQtr4thQtrPowerPlayFileEditDataValuesDisplayTextLegendLocation1992AllProductsAgegroupsRevenue($000)OLAP查詢報表第三頁，共七十三頁，編輯于2023年，星期六什么是數(shù)據(jù)挖掘？定義：

從海量的數(shù)據(jù)庫中選擇、探索、識別出有效的、新穎的、具有潛在效用的乃至最終可理解的模式以獲取商業(yè)利益的非平凡的過程

-Fayyad，Piatetsky-Shapiro特征：處理海量的數(shù)據(jù)；揭示企業(yè)運作中的內(nèi)在規(guī)律；為企業(yè)運作提供直接決策分析，并為企業(yè)帶來巨大經(jīng)濟(jì)效益。第四頁，共七十三頁，編輯于2023年，星期六待分析數(shù)據(jù)數(shù)據(jù)倉庫處理后數(shù)據(jù)模式變換后數(shù)據(jù)

知識Source:”FromDataMiningtoKnowledgeDiscovery:AnOverview”,AdvancesinKnowledgeDiscoveryandDataMining,AAAIPress/TheMITPress.數(shù)據(jù)抽取數(shù)據(jù)預(yù)處理數(shù)據(jù)挖掘數(shù)據(jù)變換解釋評價數(shù)據(jù)挖掘全過程第五頁，共七十三頁，編輯于2023年，星期六數(shù)據(jù)挖掘涉及領(lǐng)域神經(jīng)計算數(shù)據(jù)庫知識發(fā)現(xiàn)數(shù)據(jù)挖掘統(tǒng)計學(xué)模式識別機(jī)器學(xué)習(xí)人工智能第六頁，共七十三頁，編輯于2023年，星期六數(shù)據(jù)挖掘算法（按有無目標(biāo)變量）有監(jiān)督算法無監(jiān)督算法(有目標(biāo)變量)

(無目標(biāo)變量)傳統(tǒng)回歸 無神經(jīng)網(wǎng)絡(luò)決策樹

邏輯/概率回歸決策樹 聚類神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)判別分析基于記憶的推理決策樹 主成分分析 聚類

關(guān)聯(lián)/序列分析 連接分析 因子分析預(yù)測分類探索關(guān)聯(lián)第七頁，共七十三頁，編輯于2023年，星期六①

預(yù)測

用過去的數(shù)據(jù)預(yù)測

未來發(fā)生什么

預(yù)測未來發(fā)生的可能性歷史數(shù)據(jù)預(yù)測算法

-神經(jīng)元網(wǎng)絡(luò)

-決策樹

-回歸②描述

用過去的數(shù)據(jù)

描述

現(xiàn)在發(fā)生了什么描述現(xiàn)在已經(jīng)發(fā)生的規(guī)律歷史數(shù)據(jù)描述算法

-聚類

-關(guān)聯(lián)數(shù)據(jù)挖掘算法（按分析目的）第八頁，共七十三頁，編輯于2023年，星期六回歸算法：線性回歸、邏輯回歸、概率回歸統(tǒng)計方法：主成分分析、因子分析、判別分析等關(guān)聯(lián)算法：關(guān)聯(lián)模式、序列模式、連接分析等聚類算法：Cluster、SOM/Kohonen神經(jīng)元網(wǎng)絡(luò)：MLP、RBF決策樹：CHAID、CART、C4.5、C5.0數(shù)據(jù)挖掘算法第九頁，共七十三頁，編輯于2023年，星期六x20.00.20.40.60.81.0x10.00.20.40.60.81.0x20.00.20.40.60.81.0x10.00.20.40.60.81.0使用一元二次項使用簡單線性①預(yù)測型–回歸

希望預(yù)測“綠點”在哪些情況下發(fā)生以及發(fā)生的概率數(shù)據(jù)挖掘常用算法第十頁，共七十三頁，編輯于2023年，星期六Time

<13yesno70%9663%ratio

<.39time<10ratio<8410359%①

預(yù)測型–決策樹

希望預(yù)測“綠點”在哪些情況下發(fā)生以及發(fā)生的概率QuotedpriceLowerlimitprice(ratio)Time00.20.40.60.8910111315數(shù)據(jù)挖掘常用算法第十一頁，共七十三頁，編輯于2023年，星期六timemethod#oforderratio#ofordereditems

Y1=f1(x).Y2=f2(x).Y3=f3(x).Y=f1(x)+f2(x)+f3(x)數(shù)據(jù)挖掘常用算法①預(yù)測型–神經(jīng)元網(wǎng)絡(luò)

希望預(yù)測“綠點”在哪些情況下發(fā)生以及發(fā)生的概率第十二頁，共七十三頁，編輯于2023年，星期六CombinationADACC

AB&CDSupport2/52/52/51/5Confidence2/32/32/41/3ABCACDBCDADEBCE②

描述型–關(guān)聯(lián)

了解客戶購買哪些產(chǎn)品組合數(shù)據(jù)挖掘常用算法第十三頁，共七十三頁，編輯于2023年，星期六

cluster4cluster3cluster1cluster2cluster5②描述型–聚類

把具有相似行為的客戶分到一群QuotedamountTotalamountQuotedPriceAveragePrice數(shù)據(jù)挖掘常用算法第十四頁，共七十三頁，編輯于2023年，星期六議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項目方法論及工具EM簡介Workshop第十五頁，共七十三頁，編輯于2023年，星期六SAS數(shù)據(jù)挖掘項目方法論反復(fù)挖掘數(shù)據(jù)(SEMMA)定義業(yè)務(wù)問題考察業(yè)務(wù)情況提出業(yè)務(wù)問題考察數(shù)據(jù)可用性制定業(yè)務(wù)計劃選擇數(shù)據(jù)挖掘方法探索(E)調(diào)整(M)建模(M)評估(A)抽樣(S)系統(tǒng)環(huán)境評估評估系統(tǒng)環(huán)境評估企業(yè)準(zhǔn)備情況評估IT環(huán)境選擇軟硬件環(huán)境規(guī)劃實施體系結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備創(chuàng)建數(shù)據(jù)挖掘環(huán)境檢查和校驗數(shù)據(jù)準(zhǔn)備數(shù)據(jù)模型實施設(shè)計模型集成的體系結(jié)構(gòu)生成管理和業(yè)務(wù)報告清理數(shù)據(jù)使其可用把模型應(yīng)用于生產(chǎn)回顧與評價回顧模型對企業(yè)生產(chǎn)的效果回顧投資回報回顧模型的性能第十六頁，共七十三頁，編輯于2023年，星期六企業(yè)化經(jīng)典統(tǒng)計數(shù)據(jù)分析工具統(tǒng)計分析：STAT,LAB,INSIGHT計量經(jīng)濟(jì)學(xué)與時間序列分析：ETS運籌優(yōu)化：OR質(zhì)量控制與質(zhì)量提高：QC矩陣編程語言：IML圖形與分析工具：GRAPHThinClient:EnterpriseGuide數(shù)據(jù)挖掘工具：SAS/EnterpriseMiner傻瓜兼專家型國際標(biāo)準(zhǔn)的全方位的統(tǒng)計分析和數(shù)據(jù)挖掘工具第十七頁，共七十三頁，編輯于2023年，星期六EM基本介紹EM特色EM界面SEMMA方法論節(jié)點簡介節(jié)點通用概貌第十八頁，共七十三頁，編輯于2023年，星期六SAS/EM特色支持廣泛的平臺包括各種UNIX，MVS，OS/390，Linux可訪問的數(shù)據(jù)源多達(dá)50多種，和數(shù)據(jù)庫，數(shù)據(jù)倉庫很好的集成Client/Server結(jié)構(gòu)。SEMMA方法論引導(dǎo)，將數(shù)據(jù)挖掘功能模塊組成處理流程圖，可視化，圖形化，拖拽式操作界面，適用于業(yè)務(wù)和技術(shù)人員豐富的可視化數(shù)據(jù)探索節(jié)點，對數(shù)據(jù)進(jìn)行細(xì)致分析提供多種數(shù)據(jù)預(yù)處理和變換工具，包括變量自動選擇等功能提供豐富的數(shù)據(jù)挖掘模型和靈活的算法：決策樹，神經(jīng)元網(wǎng)絡(luò)，回歸，基于記憶的推理，兩階段模型，K均值聚類，自組織映射及其他統(tǒng)計方法，以及模型組裝技術(shù)(Ensemble)提供模型評估模塊和多種評估準(zhǔn)則提供完整的數(shù)據(jù)挖掘模型代碼輸出和打分（Scoring）功能報告工具可以將整個數(shù)據(jù)挖掘流程和結(jié)果生成HTML格式的詳細(xì)的報告，與其它業(yè)務(wù)專家和數(shù)據(jù)挖掘?qū)＜夜蚕怼５谑彭摚财呤?，編輯?023年，星期六SAS/EM界面第二十頁，共七十三頁，編輯于2023年，星期六數(shù)據(jù)取樣SAMPLE選數(shù)據(jù)樣本?數(shù)據(jù)探索EXPLORE可視化數(shù)據(jù)探索聚類分析和分類數(shù)據(jù)調(diào)整MODIFY數(shù)據(jù)重組和細(xì)分添加和變換變量模式化MODEL決策樹模型數(shù)理統(tǒng)計分析人工神經(jīng)網(wǎng)絡(luò)時間序列分析評價ASSESS新數(shù)據(jù)預(yù)測結(jié)論綜合和評價SAS數(shù)據(jù)挖掘過程方法論-SEMMA第二十一頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Sampling類節(jié)點InputData確定數(shù)據(jù)源。Sampling提供多種抽樣方法，如簡單隨機(jī)抽樣、分層抽樣、分類抽樣等。DataPartition將數(shù)據(jù)劃分為訓(xùn)練(Train)、檢驗(Validation)、測試(Test)數(shù)據(jù)，以避免模型過擬合。第二十二頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Explore類節(jié)點DistributionExplorer提供數(shù)據(jù)的多維分布圖，以了解變量的趨勢和特色Multiplot提供所有變量的分布圖及對KOV的關(guān)系圖SAS/INSIGHT提供交互式直觀統(tǒng)計分析VariableSelection提供選擇對KOV重要的KIVs的功能Association提供關(guān)聯(lián)分析和序列分析LinkAnalysis提供連接關(guān)系分析第二十三頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Modify類節(jié)點DataSetAttributes設(shè)置或改變數(shù)據(jù)集與變量的屬性FilterOutliers 提供處理數(shù)據(jù)集中異常點、稀缺值的功能TransformVariables提供變量變換的功能DataReplacement數(shù)據(jù)集中數(shù)據(jù)的替換和校正，主要用于處理缺失數(shù)據(jù)Cluster提供多種方法的聚類分析(K-mean)SOM/Kohonen自組織特征映射網(wǎng)絡(luò)據(jù)進(jìn)行分類第二十四頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Model類節(jié)點Regression提供多元回歸、邏輯/概率回歸及自動選擇變量變量的功能DecisionTree決策樹，支持CHAID,CART,ID3/C4.5等算法NeuralNetwork提供MLP、RBF等網(wǎng)絡(luò)結(jié)構(gòu)，及多種調(diào)整方法UserDefinedModel為SAS程序編制的模型提供統(tǒng)一的模型評價界面Ensemble提供模型整合的功能，如Combine,Stratified,Bagging&BoostingTwo-StageModel兩階段模型MemoryBasedReasoning第二十五頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Assess類節(jié)點Assessment 對不同模型提供圖形化比較：“哪一個模型最好？”Reporter 自動生成HTML格式報告第二十六頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Scoring類節(jié)點Score 可輸出SAS/BASE方式的預(yù)測代碼可用于對新的數(shù)據(jù)集進(jìn)行預(yù)測C*Score 可輸出Ccode的預(yù)測代碼第二十七頁，共七十三頁，編輯于2023年，星期六節(jié)點簡介：Utilities類節(jié)點SASCode提供SAS程序接口。GroupProcessing提供分組處理的功能Subdiagram建立模型流程子表，方便管理ControlPoint控制流程執(zhí)行，方便管理DataMiningDatabase(DMDB)建立DMDB(MetaData)第二十八頁，共七十三頁，編輯于2023年，星期六節(jié)點通用概貌In/OutDataProperties(選擇，瀏覽)Data/Variables/Log/Output/Notes等Tab修改節(jié)點后的自動保存節(jié)點的下拉菜單第二十九頁，共七十三頁，編輯于2023年，星期六SAS/EM處理示例模型應(yīng)用建模源數(shù)據(jù)預(yù)處理第三十頁，共七十三頁，編輯于2023年，星期六議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項目方法論及工具EM簡介Workshop第三十一頁，共七十三頁，編輯于2023年，星期六Workshop（信用風(fēng)險建模）業(yè)務(wù)問題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測模型模型的評估模型實施第三十二頁，共七十三頁，編輯于2023年，星期六信用風(fēng)險的業(yè)務(wù)問題客戶從商業(yè)機(jī)構(gòu)獲得資金、產(chǎn)品或服務(wù)，承諾在未來某天或某段時間內(nèi)償還他所使用的資金、產(chǎn)品或服務(wù)，并支付一定的費用一個“壞賬”客戶帶來的損失相當(dāng)于數(shù)百個“好”客戶給您帶來的收益信用管理者要求提供對風(fēng)險進(jìn)行定量的度量，以及根據(jù)其風(fēng)險大小決定采取何種最佳措施以減低將來的損失第三十三頁，共七十三頁，編輯于2023年，星期六定義我們關(guān)注的高信用風(fēng)險申請信用時關(guān)注的風(fēng)險Profitable?將來拖欠的可能性很大……客戶使用過程中關(guān)注的風(fēng)險信用卡欺詐客戶拖欠償還我提供的信用？多久才是高風(fēng)險？……催收欠費過程中關(guān)注的風(fēng)險無法收回？第三十四頁，共七十三頁，編輯于2023年，星期六信用周期-Applying客戶申請表內(nèi)部信息Strategy接受信用額度利息其他條件拒絕信用署數(shù)據(jù)其他外部信息政策/內(nèi)部規(guī)則申請打分引擎（AppScoringEngine）信控人員第三十五頁，共七十三頁，編輯于2023年，星期六信用周期-Behaviour行為打分引擎（BehScoringEngine）新的Strategy:Inc/DecLimitX-selling消費存現(xiàn)/取現(xiàn)

……移管(Transfer)拖欠(Delinquent)客戶消費情況6/157/157/318/109/17消費期對帳單到期日最后期限第三十六頁，共七十三頁，編輯于2023年，星期六信用周期-Collection收集打分引擎(ColScoringEngine)Strategy被移管的客戶9/17賣給債務(wù)代理公司W(wǎng)rite-off部分償還全部償還Recovery損失！催帳單

email

電話

……第三十七頁，共七十三頁，編輯于2023年，星期六Workshop（信用風(fēng)險建模）業(yè)務(wù)問題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測模型模型的評估模型實施第三十八頁，共七十三頁，編輯于2023年，星期六定義所需數(shù)據(jù)確定業(yè)務(wù)問題，找出您想預(yù)測的事物歷史數(shù)據(jù)必須包含您想預(yù)測的事物（目標(biāo)變量）其它的變量包括客戶的屬性，交易數(shù)據(jù)。使用最新的數(shù)據(jù)。第三十九頁，共七十三頁，編輯于2023年，星期六信用風(fēng)險分析數(shù)據(jù)集市......................................................①哪些客戶?......②哪些屬性？...目標(biāo)變量第四十頁，共七十三頁，編輯于2023年，星期六①哪些客戶?currentPerformancewindowobservationwindow第四十一頁，共七十三頁，編輯于2023年，星期六Target

DefinitionExclusionBadIndeterminateGood第四十二頁，共七十三頁，編輯于2023年，星期六②哪些屬性?

背景數(shù)據(jù)

年齡

性別

地區(qū)信用信息開戶日期、余額消費金額、償還金額卡數(shù)量、卡用途信用署信息noofoutstandingloansnoofcurrentloansnooffinishedloans拖欠信息在過去9個月中拖欠超過30天的次數(shù)拖欠超過60天的次數(shù)最后付款日期

其他相關(guān)信息是否本銀行的客戶多長時間上一次貸款日期第四十三頁，共七十三頁，編輯于2023年，星期六使用業(yè)務(wù)知識派生變量新的變量前3月內(nèi)余額大于0的次數(shù)前3月內(nèi)透支超過10天的次數(shù)最后一次消費距今的天數(shù)……比率前1/2/3月平均余額/n個月平均余額前1/2/3月消費額/n個月消費額……差分，移動平均，趨勢，……觀察使用量的動態(tài)狀況其它？？？第四十四頁，共七十三頁，編輯于2023年，星期六使用RFM方法派生變量MoneyT-1月余額T-2月余額T-3月余額過去三個月/六個月內(nèi)最大，最小，平均余額……Recency最后一次余額>0元距今天數(shù)余額連續(xù)2次<=0的時間距今天數(shù)余額連續(xù)3次<=0的時間距今天數(shù)……Frequency余額<=0元的次數(shù)余額連續(xù)2次<=0的次數(shù)余額連續(xù)3次<=0的次數(shù)……第四十五頁，共七十三頁，編輯于2023年，星期六Workshop（信用風(fēng)險建模）業(yè)務(wù)問題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測模型模型的評估模型實施第四十六頁，共七十三頁，編輯于2023年，星期六數(shù)據(jù)挖掘與采樣是否需要進(jìn)行采樣？數(shù)據(jù)在采樣前需要進(jìn)行什么處理？數(shù)據(jù)挖掘中所用到的一般采樣類型。如何決定樣本大小？數(shù)據(jù)挖掘中采樣的指導(dǎo)策略。對于某些特定的目的，如驗證和測試，是否應(yīng)該采用多重采樣？第四十七頁，共七十三頁，編輯于2023年，星期六針對小概率事件的過采樣GoodBad第四十八頁，共七十三頁，編輯于2023年，星期六數(shù)據(jù)分割校驗測試訓(xùn)練第四十九頁，共七十三頁，編輯于2023年，星期六Exploration階段通過探索去理解您的數(shù)據(jù)顯現(xiàn)您的數(shù)據(jù)InsightDistributionExplorerMultiplot使用VariableSelection工具發(fā)現(xiàn)最有影響的變量-降維第五十頁，共七十三頁，編輯于2023年，星期六DistributionExplorer節(jié)點交叉報表簡單的匯總分析第五十一頁，共七十三頁，編輯于2023年，星期六Multiplot節(jié)點為每個變量自動生成直方圖。同時標(biāo)明每個變量對目標(biāo)的影響。第五十二頁，共七十三頁，編輯于2023年，星期六Modify階段根據(jù)所用的模型進(jìn)行數(shù)據(jù)調(diào)整優(yōu)化您的數(shù)據(jù)極值，異常值缺失值變量轉(zhuǎn)換建立新的變量改變分布的形狀定義最優(yōu)的輸入域處理共線性第五十三頁，共七十三頁，編輯于2023年，星期六Replacement節(jié)點包括基于決策樹邏輯的缺失值處理。為修正變量建立指示器第五十四頁，共七十三頁，編輯于2023年，星期六TransformVariables節(jié)點提供各種變量轉(zhuǎn)換，包括為了優(yōu)化二元目標(biāo)變量預(yù)測而對變量進(jìn)行自動分裝。第五十五頁，共七十三頁，編輯于2023年，星期六VariableSelection節(jié)點根據(jù)目標(biāo)變量快速確定輸入變量(“modelscreening”)。描述它們擬合線型模型的框架(regression/ANOVA)。單變量R-平方及相關(guān)檢驗。建立新的變量組(AOV16)與降低分類變量的類型。第五十六頁，共七十三頁，編輯于2023年，星期六Workshop（信用風(fēng)險建模）業(yè)務(wù)問題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測模型模型的評估模型實施第五十七頁，共七十三頁，編輯于2023年，星期六建立預(yù)測模型回歸，神經(jīng)網(wǎng)絡(luò)和決策樹等。Good/Bad作為分析目標(biāo)。結(jié)果：

Bad的可能性（全部方法）

變量的重要性分析（回歸，決策樹）

規(guī)則分析（決策樹）第五十八頁，共七十三頁，編輯于2023年，星期六EM回歸節(jié)點第五十九頁，共七十三頁，編輯于2023年，星期六EM神經(jīng)網(wǎng)絡(luò)節(jié)點提供基本選項給普通用戶“智能”設(shè)定其它的復(fù)雜參數(shù)第六十頁，共七十三頁，編輯于2023年，星期六EM決策樹節(jié)點第六十一頁，共七十三頁，編輯于2023年，星期六Workshop（信用風(fēng)險建模）業(yè)務(wù)問題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測模型模型的評估模型實施第六十二頁，共七十三頁，編輯于2023年，星期六Assessment階段LiftCharts(又叫g(shù)