金融行業(yè)數(shù)據(jù)挖掘技術(shù)

1、.：.；金融行業(yè)數(shù)據(jù)發(fā)掘技術(shù)運(yùn)用論壇 數(shù)據(jù)發(fā)掘討論組 朱建秋 HYPERLINK mailto:zhujianqiuhotmail zhujianqiuhotmail一、 簡(jiǎn)介“金融行業(yè)數(shù)據(jù)發(fā)掘技術(shù)運(yùn)用論壇由中國(guó)電子信息產(chǎn)業(yè)開(kāi)展研討院(CCID)和其旗下賽迪集團(tuán)戰(zhàn)略數(shù)據(jù)資源管理中心主辦，北京賽迪數(shù)據(jù)擔(dān)任詳細(xì)承辦，2002年11月25日在北京新世紀(jì)飯店召開(kāi)。二、 會(huì)議紀(jì)要1 會(huì)議內(nèi)容1) 數(shù)據(jù)發(fā)掘技術(shù)與金融分析內(nèi)容 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)造與技術(shù) 數(shù)據(jù)發(fā)掘技術(shù) 評(píng)分系統(tǒng)在金融決策中的運(yùn)用 數(shù)據(jù)發(fā)掘用于評(píng)分系統(tǒng)主要觀念：1 數(shù)據(jù)倉(cāng)庫(kù)是適宜知識(shí)發(fā)現(xiàn)的過(guò)程的構(gòu)造。數(shù)據(jù)倉(cāng)庫(kù)的處置過(guò)程是從“數(shù)據(jù)清理/整合數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)

2、選擇數(shù)據(jù)發(fā)掘方式評(píng)價(jià)知識(shí)不斷循環(huán)的過(guò)程注：類似Fayyad 96年提出的數(shù)據(jù)發(fā)掘過(guò)程模型。2 將數(shù)據(jù)倉(cāng)庫(kù)和發(fā)掘的構(gòu)造劃分為四個(gè)層次：第一層是數(shù)據(jù)層，第二層是多維數(shù)據(jù)庫(kù)層MDDB，第三層是OLAP和OLAM，第四層是用戶界面。注：類似Han Jiawei的OLAM體系構(gòu)造3 數(shù)據(jù)發(fā)掘過(guò)程包括：數(shù)據(jù)選擇，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)發(fā)掘，數(shù)據(jù)解釋。4 數(shù)據(jù)發(fā)掘的方法：聯(lián)想，劃分，聚類，預(yù)測(cè)，順序方式，類似時(shí)間序列。5 數(shù)據(jù)發(fā)掘的科學(xué)方法數(shù)學(xué)工具：統(tǒng)計(jì)學(xué)，決策樹(shù)，神經(jīng)網(wǎng)絡(luò)，模糊邏輯，線性規(guī)劃。6 個(gè)人信譽(yù)評(píng)分系統(tǒng)是將個(gè)人信譽(yù)的歷史六個(gè)月以上經(jīng)過(guò)45至65個(gè)要素的刻劃后表述的決策模型。通常個(gè)人信譽(yù)評(píng)分為350至85

3、0之間。每人從850分起，有壞帳記錄，即扣去不同比例的分?jǐn)?shù)。經(jīng)過(guò)評(píng)分模型的分析，最后得到?jīng)Q策評(píng)分。850為最好7 評(píng)分要素：過(guò)去的付帳歷史、信譽(yù)欠帳量、信譽(yù)卡運(yùn)用時(shí)間、新信譽(yù)卡的懇求、信譽(yù)卡的類、信譽(yù)卡買(mǎi)賣情況、現(xiàn)金提取情況8 運(yùn)用前景：銀行各類信貸風(fēng)險(xiǎn)分析，企業(yè)和個(gè)人信譽(yù)風(fēng)險(xiǎn)分析2) 如何利用數(shù)據(jù)發(fā)掘工具協(xié)助進(jìn)展市場(chǎng)營(yíng)銷內(nèi)容 數(shù)據(jù)發(fā)掘的定義 IBM數(shù)據(jù)發(fā)掘的處理方案 在金融行業(yè)的運(yùn)用主要觀念：1 強(qiáng)調(diào)了數(shù)據(jù)發(fā)掘過(guò)程，首先必需明確需求處理的商業(yè)問(wèn)題。2 IBM有從數(shù)據(jù)庫(kù)到最上層的發(fā)掘工具的一整套商業(yè)智能處理方案。3 在銀行運(yùn)用的層次：信譽(yù)評(píng)分，購(gòu)物籃分析，區(qū)隔分析，交叉營(yíng)銷/向上營(yíng)銷，客戶流失

4、，客戶價(jià)值。4 講解了Lift Chart圖的含義3) 數(shù)據(jù)發(fā)掘在金融行業(yè)的運(yùn)用趨勢(shì)分析內(nèi)容 數(shù)據(jù)管理技術(shù)的挑戰(zhàn) 構(gòu)造化數(shù)據(jù)發(fā)掘運(yùn)用 非構(gòu)造化數(shù)據(jù)發(fā)掘運(yùn)用 金融行業(yè)數(shù)據(jù)發(fā)掘運(yùn)用趨勢(shì)主要觀念：1 八十年代初，銀行自動(dòng)化建立，九十年代初銀行網(wǎng)絡(luò)化建立階段，九五末期，數(shù)據(jù)大集中。2 2002年上半年金融行業(yè)IT運(yùn)用特點(diǎn)：數(shù)據(jù)大集中平穩(wěn)進(jìn)展，“銀聯(lián)改善信譽(yù)卡環(huán)境，電視會(huì)議擴(kuò)展運(yùn)用，個(gè)人理財(cái)系統(tǒng)成為新焦點(diǎn)，農(nóng)信社信息化市場(chǎng)升溫，無(wú)線局域網(wǎng)開(kāi)場(chǎng)運(yùn)用。3 構(gòu)造化發(fā)掘原理：從現(xiàn)有業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)、客戶數(shù)據(jù)，建立深層次的分析體系數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、業(yè)務(wù)分析模型，以信息驅(qū)動(dòng)業(yè)務(wù)的管理、新一代電子商務(wù)企業(yè)

5、市場(chǎng)觸覺(jué)敏感、以客戶為中心、以信息驅(qū)動(dòng)。4 一個(gè)比喻：數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)發(fā)掘好比一個(gè)大的廚師燒菜，開(kāi)場(chǎng)需求選擇原料，然后，將各種原料加工終了洗、切、剁等等，分門(mén)別類的放在廚房，這時(shí)候廚房就象數(shù)據(jù)倉(cāng)庫(kù)。廚師根據(jù)這些原料做出菜肴，就象數(shù)據(jù)發(fā)掘得出有意義的知識(shí)。5 構(gòu)造化數(shù)據(jù)發(fā)掘內(nèi)容：6 人事、財(cái)務(wù)消費(fèi)、銷售人事、財(cái)務(wù)消費(fèi)、銷售客戶資料數(shù)據(jù)倉(cāng)庫(kù)抽取過(guò)濾轉(zhuǎn)換市場(chǎng)需求客戶忠實(shí)度客戶等級(jí)客戶銷售模型分析7 非構(gòu)造化數(shù)據(jù)發(fā)掘在企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)的運(yùn)用，企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)將成為下一個(gè)數(shù)據(jù)發(fā)掘運(yùn)用的熱點(diǎn)。8 金融行業(yè)數(shù)據(jù)發(fā)掘運(yùn)用趨勢(shì)，在數(shù)據(jù)集中的平臺(tái)上，結(jié)合構(gòu)造化和非構(gòu)造化數(shù)據(jù)發(fā)掘技術(shù)，部署企業(yè)的商業(yè)智能、客戶關(guān)系管理

6、、市場(chǎng)銷售分析、競(jìng)爭(zhēng)對(duì)手分析、市場(chǎng)需求動(dòng)向等。4) 用友金融行業(yè)財(cái)務(wù)管理處理方案黃偉先生一上來(lái)演示了一個(gè)FLASH游戲，在多張不同花樣的牌中，讓觀眾記住一張牌，闡明他可以知道一切人記住的是什么牌。然后，他抽去一張牌，再翻開(kāi)其他的牌，觀眾所記住的牌曾經(jīng)都不在了。緣由很簡(jiǎn)單，他換去了一切牌的花樣，呵斥一種錯(cuò)覺(jué)。黃偉先生用這個(gè)游戲闡明，錯(cuò)覺(jué)往往帶來(lái)錯(cuò)誤的決策，引申開(kāi)來(lái)，數(shù)據(jù)發(fā)掘需求有正確的數(shù)據(jù)，才干進(jìn)展深化的發(fā)掘。引見(jiàn)了用友集中式的財(cái)務(wù)管理處理方案，闡明必需先搜集這些重要的財(cái)務(wù)數(shù)據(jù)，才干進(jìn)展更深化的發(fā)掘。5) CA數(shù)據(jù)管理技術(shù)行業(yè)運(yùn)用途理方案講解了CA公司的情況，以及CA的商業(yè)智能處理方案，特出了C

7、A本人研制的一種預(yù)測(cè)技術(shù)。6) 透過(guò)數(shù)據(jù)發(fā)掘改善客戶效力中心的管理講解了一些數(shù)據(jù)發(fā)掘概念性的東西，并舉出了那個(gè)經(jīng)典的“啤酒-尿布的案例。7) 金融信譽(yù)決策的技術(shù)突破數(shù)據(jù)發(fā)掘的運(yùn)用 引言 信譽(yù)周期普通引見(jiàn) 信譽(yù)決策的簡(jiǎn)化流程 信譽(yù)決策技術(shù)解析 信譽(yù)決策技術(shù)的幾個(gè)例子 信譽(yù)決策技術(shù)帶來(lái)的利益 中國(guó)運(yùn)用信譽(yù)技術(shù)的可行方案主要觀念：1 抵押貸款有很多缺陷，信譽(yù)貸款都能彌補(bǔ)，所以信譽(yù)貸款是好的，是趨勢(shì)。2 信譽(yù)周期Credit Life Cycle：招商招商Account Acquisition立戶Account Origination信譽(yù)決策管理CRM信譽(yù)風(fēng)險(xiǎn)，市場(chǎng)管理Risk & Marketing

8、付帳管理Billing & Remittance信譽(yù)量管理Line Increase & Line Decrease超支管理Over limit離走管理Attrition促銷管理Promotions定價(jià)管理Pricing再授信Reissue 資信金融Securitization收帳Collection & Recoverary3 信譽(yù)決策簡(jiǎn)化流程外部?jī)?nèi)部外部?jī)?nèi)部數(shù)據(jù)管理Data MGMT決策制定中心執(zhí)行系統(tǒng)Strategy Execution顧客或潛在顧客作用于Action反響及信息搜集Reaction4 傳統(tǒng)的決策制定中心是客觀制定決策JUDGEMENT，客觀決策存在一些缺乏，數(shù)據(jù)發(fā)掘給決策

9、技術(shù)帶來(lái)了突破。數(shù)據(jù)發(fā)掘是從廣義的角度講的，包括統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等等。5 預(yù)測(cè)解析Predictive Analytics：信譽(yù)評(píng)分技術(shù)Credit Scoring。 內(nèi)在了解分析Exploratory Analysis/KDD：模塊識(shí)別和相關(guān)性分析。 決策建模Decision Modeling：經(jīng)過(guò)圖論方法建立模型，對(duì)于給定的一個(gè)或多個(gè)決策建立數(shù)學(xué)關(guān)系。 戰(zhàn)略優(yōu)化Strategy Optimization：在給定的一些限制條件下，尋覓改良利潤(rùn)的最優(yōu)戰(zhàn)略解。 戰(zhàn)略精調(diào)Strategy Refinement：精調(diào)最優(yōu)戰(zhàn)略解，使其穩(wěn)定可靠，易了解、易執(zhí)行。外部?jī)?nèi)部外部?jī)?nèi)部數(shù)據(jù)管理Data

10、MGMT執(zhí)行系統(tǒng)Strategy Execution顧客或潛在顧客作用于Action反響及信息搜集Reaction數(shù)據(jù)發(fā)掘預(yù)測(cè)解析內(nèi)在了解決策建模戰(zhàn)略優(yōu)化戰(zhàn)略精調(diào)6 預(yù)測(cè)解析：針對(duì)不同的信譽(yù)周期階段和不同的商業(yè)目的，建立模型 招商：根據(jù)風(fēng)險(xiǎn)的招商模型，懇求模型，價(jià)值模型和呼應(yīng)模型。 立戶：風(fēng)險(xiǎn)壞帳，破產(chǎn)等，離走和利潤(rùn)定量等。 用戶管理：分檔系統(tǒng)，風(fēng)險(xiǎn)預(yù)測(cè)系統(tǒng)，壞帳、破產(chǎn)預(yù)警系統(tǒng)，債量預(yù)測(cè)模型，利潤(rùn)預(yù)測(cè)模型，欺詐預(yù)測(cè)模型等。 收帳：前期收帳，后期收帳等。 總體：損失預(yù)測(cè)，營(yíng)利預(yù)測(cè)，最優(yōu)組合建立，階梯變壞率預(yù)測(cè)，等等。7 內(nèi)在了解分析 普通了解分析：變量的相互關(guān)系。工具因子分析、主成分分析、聚類分

11、析、關(guān)聯(lián)規(guī)那么等。 特殊了解分析：對(duì)給定目的，尋覓奉獻(xiàn)或影響的變量。工具FISHER顯著性檢驗(yàn)、參數(shù)估計(jì)、線性/非線性/LOGISTIC回歸、神經(jīng)網(wǎng)絡(luò)、決策樹(shù)等。8 決策建模：對(duì)于1個(gè)或幾個(gè)決策建立圖論模型。從而建立起他們之間的數(shù)學(xué)關(guān)系。如以下圖所示：假設(shè)，、分別記作 利率、信譽(yù)量、債務(wù)，那么R收入= FX1，Xn，,L損失= FX1，Xn，,C費(fèi)用= FX1，Xn，,最大利潤(rùn) = R收入max(,) - L損失min(,) - C費(fèi)用min(,)壞帳模型離走模型壞帳模型離走模型當(dāng)前債務(wù)利率調(diào)整信譽(yù)量調(diào)整債務(wù)轉(zhuǎn)移收入利潤(rùn)損失和費(fèi)用9 優(yōu)化決策和決策精調(diào)： 高中高中低高中低高中-2%$1000.

12、00$2000.00-2%$2500.00$3000.000%$0.00$0.002%$-2000.00$0.00壞帳分?jǐn)?shù)離走分?jǐn)?shù)當(dāng)前債務(wù)利率調(diào)整信譽(yù)量調(diào)整債務(wù)轉(zhuǎn)移優(yōu)化決策和決策精調(diào)10 信譽(yù)評(píng)數(shù)技術(shù)：例子對(duì)偶模型 11 信譽(yù)決策技術(shù)利益：減少壞帳；添加利潤(rùn)；效率提升，開(kāi)銷減少；戰(zhàn)略的公平性和一向性得以保證。12 中國(guó)的可行方案 逐漸建立完好的數(shù)據(jù)庫(kù) 人員培訓(xùn)預(yù)測(cè)建模技術(shù)，決策建模技術(shù)，戰(zhàn)略設(shè)計(jì)技術(shù) 逐漸建立決策系統(tǒng)這篇演講是非常有價(jià)值的，所以我將其詳細(xì)的整理出來(lái)。無(wú)論對(duì)于研討數(shù)據(jù)發(fā)掘或金融模型的學(xué)者/學(xué)生，還是從現(xiàn)實(shí)踐工程設(shè)計(jì)的工程人員，都有非常高的參考價(jià)值。三、 結(jié)語(yǔ)在短短的三個(gè)半小時(shí)內(nèi)，

13、可以組織這樣一個(gè)規(guī)模大、內(nèi)容豐富、偏重運(yùn)用的論壇，賽迪是功不可沒(méi)的。一些可以討論的概念和思緒：1. 數(shù)據(jù)發(fā)掘的定義在提到數(shù)據(jù)發(fā)掘的時(shí)候，一些書(shū)或者文獻(xiàn)都要強(qiáng)調(diào)它與統(tǒng)計(jì)和OLAP的區(qū)別。我覺(jué)得應(yīng)該從更廣義的概念上來(lái)了解數(shù)據(jù)發(fā)掘，它是一門(mén)跨越多個(gè)學(xué)科的技術(shù)，只需可以從數(shù)據(jù)發(fā)現(xiàn)有意義的方式，都可以稱為數(shù)據(jù)發(fā)掘。2. 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)發(fā)掘的關(guān)系很多人一講數(shù)據(jù)發(fā)掘，首先必需講數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)發(fā)掘是從大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的方式。大量的數(shù)據(jù)并不一定是來(lái)源于數(shù)據(jù)倉(cāng)庫(kù)。由于，這樣會(huì)呵斥一種誤解，進(jìn)展數(shù)據(jù)發(fā)掘工程，一定要先建立數(shù)據(jù)倉(cāng)庫(kù)。另一方面，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)造，其實(shí)并適宜進(jìn)展數(shù)據(jù)發(fā)掘分析，由于我們都看到，大部分?jǐn)?shù)據(jù)

14、倉(cāng)庫(kù)的構(gòu)造采用星型或雪花型數(shù)據(jù)模型，這些數(shù)據(jù)倉(cāng)庫(kù)其實(shí)是為OLAP建立的，更適宜進(jìn)展OLAP的多維分析，而要從事數(shù)據(jù)發(fā)掘工程還需求將數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)發(fā)掘算法可以識(shí)別的數(shù)據(jù)構(gòu)造。數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)發(fā)掘所做的，應(yīng)該從數(shù)據(jù)整合和清洗的角度來(lái)了解。也就是說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)將不同操作源的數(shù)據(jù)存放到一個(gè)集中的環(huán)境中，并且進(jìn)展適當(dāng)?shù)那逑春娃D(zhuǎn)換。這點(diǎn)上面李峻博士所舉的廚房的例子是一個(gè)貼切的比喻。數(shù)據(jù)發(fā)掘所需求的數(shù)據(jù)，可以直接從數(shù)據(jù)倉(cāng)庫(kù)獲得，但是獲得后還是需求進(jìn)展轉(zhuǎn)換，假設(shè)沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)，就需求直接從操作型數(shù)據(jù)源中獲取，并且要進(jìn)展ECTL抽取、清洗、轉(zhuǎn)換、裝載的操作。因此，沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)也是可以進(jìn)展數(shù)據(jù)發(fā)掘工程，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)造不

15、是為數(shù)據(jù)發(fā)掘設(shè)計(jì)的，它更適宜OLAP操作。3. 國(guó)內(nèi)的數(shù)據(jù)發(fā)掘工程現(xiàn)狀國(guó)內(nèi)的金融行業(yè)真正從事數(shù)據(jù)發(fā)掘工程的不多，這從論壇的國(guó)內(nèi)報(bào)告可以看出。報(bào)告的內(nèi)容主要還是“看想說(shuō)的步驟。也就是說(shuō)，看一些資料/文獻(xiàn)/書(shū)，再?gòu)哪壳暗那闆r中展開(kāi)聯(lián)想，最后將這些整理的想法構(gòu)成方案，并報(bào)告說(shuō)出來(lái)。我們非常希望，在以后的運(yùn)用論壇上，可以象林博士舉國(guó)外的信譽(yù)決策的例子一樣，來(lái)講國(guó)內(nèi)的數(shù)據(jù)發(fā)掘案例。從而作到“看想做說(shuō)。4. 金融行業(yè)如何從事數(shù)據(jù)發(fā)掘工程林博士的“中國(guó)信譽(yù)決策的可行方案是比較貼切的，除了信譽(yù)決策，對(duì)于其他曾經(jīng)積累了很多業(yè)務(wù)數(shù)據(jù)的系統(tǒng)，都可以參考。利用數(shù)據(jù)發(fā)掘技術(shù)，構(gòu)建決策系統(tǒng)，使得決策來(lái)源于數(shù)據(jù)，而不僅僅是客觀判別JUDGEMENT。金融行業(yè)的數(shù)據(jù)發(fā)掘研討，需求多方面的人員的共同參與，包括領(lǐng)域?qū)＜?、?shù)據(jù)管理員、數(shù)據(jù)分析人員、業(yè)務(wù)分析人員、數(shù)據(jù)發(fā)掘?qū)＜?，?gòu)成一個(gè)團(tuán)隊(duì)，從某一個(gè)實(shí)踐的問(wèn)題出發(fā)，探求適宜本人企業(yè)的一