數(shù)據(jù)挖掘在商業(yè)管理與決策分析之實(shí)例應(yīng)用課程

1、數(shù)據(jù)挖掘在商業(yè)管理與決策數(shù)據(jù)挖掘在商業(yè)管理與決策分析之實(shí)例應(yīng)用分析之實(shí)例應(yīng)用決策分析質(zhì)量與效率之提升數(shù)據(jù)挖掘之原理概念與功能數(shù)據(jù)挖掘之建構(gòu)方法應(yīng)用案例介紹電子商務(wù)之應(yīng)用（Web Mining/WAP Mining）建議與結(jié)論引言引言經(jīng)營環(huán)境經(jīng)營環(huán)境 經(jīng)營環(huán)境日益挑戰(zhàn)經(jīng)營環(huán)境日益挑戰(zhàn)-考慮：成本、利潤、質(zhì)量考慮：成本、利潤、質(zhì)量 . . . . 管理活動(dòng)管理活動(dòng)-整合：業(yè)務(wù)運(yùn)作、管理控制、策略規(guī)畫整合：業(yè)務(wù)運(yùn)作、管理控制、策略規(guī)畫 信息密集行業(yè)信息密集行業(yè) 全方位全方位/多角化經(jīng)營多角化經(jīng)營資料資料 -企業(yè)寶貴之資產(chǎn)企業(yè)寶貴之資產(chǎn) 信息信息Mining資料資料倉儲(chǔ)倉儲(chǔ)Mining知識(shí)知識(shí)(Cor

2、porate Memory)(Corporate Intelligence)Database/DataWarehouseTargetdataCleaneddataTransformeddataPattern/model評(píng)鑒數(shù)據(jù)視覺資料挖掘資料挖掘數(shù)據(jù)轉(zhuǎn)換與簡(jiǎn)化前置處理與清理樣本選取PerformancesystemKnowledge/Adapted from IBM Corp./數(shù)據(jù)挖掘之基本概念數(shù)據(jù)挖掘之基本概念 背景背景 管理信息超載及結(jié)構(gòu)化不足 信息混亂與誤用 管理問題復(fù)雜度高 實(shí)時(shí)決策分析日益重視 發(fā)展目的發(fā)展目的 有效利用搜集之市場(chǎng)、客戶、供貨商、競(jìng)爭(zhēng)對(duì)手及未來趨勢(shì)信息 使企業(yè)經(jīng)由有

3、效之方法與技術(shù)從歷史數(shù)據(jù)里擷取有用的知識(shí)數(shù)據(jù)挖掘原理數(shù)據(jù)挖掘原理 主要方法主要方法 數(shù)據(jù)庫、數(shù)據(jù)視覺、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等數(shù)據(jù)庫、數(shù)據(jù)視覺、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等 相關(guān)技術(shù)相關(guān)技術(shù) 類神經(jīng)網(wǎng)絡(luò)、模糊邏輯、基因算法、基因規(guī)畫、類神經(jīng)網(wǎng)絡(luò)、模糊邏輯、基因算法、基因規(guī)畫、 案例庫案例庫推理法、規(guī)則庫推理、統(tǒng)計(jì)回歸等推理法、規(guī)則庫推理、統(tǒng)計(jì)回歸等 知識(shí)表現(xiàn)知識(shí)表現(xiàn) 決策樹決策樹 、法則、定量數(shù)學(xué)公式、黑箱公式、法則、定量數(shù)學(xué)公式、黑箱公式 等等Data mining主要主要功能與技術(shù)功能與技術(shù)功能功能 技術(shù)技術(shù) 適用領(lǐng)域適用領(lǐng)域關(guān)聯(lián)性 (Association) 案例庫推理/集合理論/統(tǒng)計(jì) 菜籃分析時(shí)間序列

4、 (Sequence) 類神經(jīng)網(wǎng)絡(luò)/統(tǒng)計(jì) 利率預(yù)測(cè)分類 (Classification) 基因演算/類神經(jīng)網(wǎng)絡(luò)/統(tǒng)計(jì)/ 客戶評(píng)鑒分類 模糊邏輯案例推理/決策樹公式 (Modeling) 基因規(guī)劃/基因演算/回歸 銷售預(yù)測(cè)群組 (Clustering) 類神經(jīng)網(wǎng)絡(luò)/模糊邏輯/ 市場(chǎng)區(qū)隔基因演算/統(tǒng)計(jì)數(shù)據(jù)挖掘應(yīng)用現(xiàn)況數(shù)據(jù)挖掘應(yīng)用現(xiàn)況 Safeway 販賣促銷信息（e.g. coupon) 音樂/電影喜好問卷搜集 Fidelity Investment客戶服務(wù) （cross-selling/ wallet share) First USA Bank信用卡資料（汽車房貸） Capital One 降低

5、貸款風(fēng)險(xiǎn)損失率 First Union預(yù)測(cè)潛在流失客戶 預(yù)測(cè)侵蝕性的物質(zhì)對(duì)皮膚的影響降低產(chǎn)品(藥品或毒品)的發(fā)展成本和時(shí)間，以及減少動(dòng)物實(shí)驗(yàn)的需求 分析零售商店歷史銷售記錄與位置概述以決定最佳的位置 分析提款機(jī)設(shè)置地點(diǎn)最佳位置Data Mining 過程過程 了解應(yīng)用領(lǐng)域 建立目標(biāo)集、選擇目標(biāo)數(shù)據(jù)集 去除數(shù)據(jù)雜質(zhì)、做先置處理 減少數(shù)據(jù)和數(shù)據(jù)轉(zhuǎn)換 選擇數(shù)據(jù)挖掘的模式（功能） 選擇數(shù)據(jù)挖掘的算法（技術(shù)） 資料挖掘 評(píng)估第七步驟的結(jié)果 整理發(fā)現(xiàn)的知識(shí)實(shí)例應(yīng)用實(shí)例應(yīng)用 客戶評(píng)鑒與分類 (NeuroFuzzy) 提升郵購回函率 (Fuzzy) 股市交易最佳化規(guī)則之發(fā)掘 (GA) 零售商品與客源群聚相關(guān)性

6、分析 (Neural/Statistic) 民航機(jī)重落地分析（Regression Tree) 化妝品偏好分析（Classification Tree) 窯燒最佳化控制（Neural/GA) 大哥大忠誠客戶與游離客戶之分析及預(yù)測(cè)（Classification Tree)股市交易最佳化規(guī)則之發(fā)掘股市交易最佳化規(guī)則之發(fā)掘 規(guī)則一假如6日RSI小于20且6日BIAS 小于 -4%時(shí)則 買入并持有12日 規(guī)則二規(guī)則二假如6日RSI 大于 80且6日BIAS 大于 5%時(shí)則 賣出并放空10日傳統(tǒng)判斷GA買 1買 2買 3買 4買 5訓(xùn)練測(cè)試應(yīng)用期間(起)84. 1. 585. 1. 484. 1. 58

7、5. 1. 4應(yīng)用期間(迄)84. 12. 3085. 8. 31 84. 12. 30 85. 8. 31總次數(shù)286286286286184286184買6 日 RSI2020302087入6 日 股價(jià)BIAS-4%-4%-2%-2%-4%規(guī)6 日 成交量BIAS-4%則13 日 心理線808070808014出6 日 股價(jià)BIAS+4% +4% +2% +2% +2% 規(guī)6 日 成交量BIAS+4% 75放空期間1 日1 日6 日12 日12 日12 日12 日賣投資次數(shù)0225200216102215出投資率0. 0%78. 7%69. 9%75. 5%55. 4%7. 3%2. 7%

8、結(jié)正確數(shù)013111812946153果正確率-58. 2%59. 0%59. 7%45. 1%71. 4%60. 0%每筆報(bào)酬率-0. 3%-0. 9%-1. 6%1. 0%-2. 8%-0. 7%總報(bào)酬率-60. 8%-174. 0%-343. 4%106. 1%-58. 4%-3. 6%整體報(bào)酬-0. 7%45. 4%105. 6%270. 8%-43. 2%63. 9%99. 0%賣出類別模擬方式買入類別Feature (I)Data TypeContent性別CharacterF: Female; M: Male婚姻狀況CharacterY: Married; N: Single:

9、U: Unknown子女?dāng)?shù)目IntegerRange: 1.8年齡IntegerRange: 1.70職業(yè)別ListRange: 1.10郵遞區(qū)號(hào)IntegerThree-digits zip code儲(chǔ)蓄率IntegerRange: 1.27購買潛力購買潛力 (predicted outcome)CharacterY: Yes; N: No客戶購買案例特色客戶購買案例特色0.770.650.50.440%10%20%30%40%50%60%70%80%90%100%Learning RateTesting RateGA-CBRRegression類別性別婚姻狀況 子女?dāng)?shù)目 年紀(jì)職業(yè)別郵遞區(qū)號(hào)

10、 儲(chǔ)蓄率A女Y140354027B男N464754027最具購買最具購買潛力客戶潛力客戶C男Y452257026類別性別婚姻狀況 子女?dāng)?shù)目 年紀(jì)職業(yè)別郵遞區(qū)號(hào) 儲(chǔ)蓄率D女Y358212019E男N460212019最不具購最不具購買潛力客買潛力客戶戶F女N455665023 最具最具（最不具）購買潛力客戶案例組合（最不具）購買潛力客戶案例組合提升提升Direct Mail回函率回函率寄出信函數(shù)（寄出成本）寄出信函數(shù)（寄出成本）回函數(shù)回函數(shù)節(jié)省節(jié)省目標(biāo)營銷大眾營銷預(yù)定目標(biāo)預(yù)定目標(biāo)Selected Data for Customer SegmentationAttribute Logical Da

11、ta Type Values RepresentationAge Continuous numeric 18-74 Scaled(0.0 to 1.0)Sex Categorical Male, Female, 1, 0, 0.5 UnknownMarital Status Categorical Single, Married, 1, 0, 0.5 Divorced, UnknownHomeowner Categorical Yes, No, Unknown 1, 0, 0.5Sporting Goods ($) Continuous numeric $0 to $1500 Scaled(0

12、.0 to 1.0)Exercise Equipment ($) Continuous numeric $0 to $2500 Scaled(0.0 to 1.0)Home Appliances ($) Continuous numeric $0 to $5000 Scaled(0.0 to 1.0)Electronics/Music ($) Continuous numeric $0 to $2500 Scaled(0.0 to 1.0)Furniture ($) Continuous numeric $0 to $5000 Scaled(0.0 to 1.0)Total Amount($)

13、 Continuous numeric $0 to $15000 Scaled(0.0 to 1.0)Segment 1 (Age 43)(42.8%)Segment 2 (Age 42)(24.8%)Segment 3 (Age 52)(20.4%)Segment 4 (Age 26)(11.9%)Market SegmentationSegment size, average ageFigure 9.3 Segmentation Results: Segment Size and Average Age Sport Exercise Appliance Entertainment Furn

14、iturepopulationSegment3Segmnet1Segmenet4Segment2Target CategoriesAvg$spent300020002500150010005000Market Segment AnalysisSegments v.s. PopulationFigure 9.4 Market Segmentation AnalysisSafeway 案例 面臨之挑戰(zhàn)面臨之挑戰(zhàn) 8 million transaction data/week (4 T MB) 500家店面與600萬客戶 市場(chǎng)競(jìng)爭(zhēng)激烈，傳統(tǒng)手法技術(shù)式微 （如更低價(jià)位，更多據(jù)點(diǎn)，多類產(chǎn)品） 新的競(jìng)爭(zhēng)關(guān)

15、鍵焦點(diǎn)：掌握客戶需要-哪類客戶買哪些商品以及購買頻率Market Basket Analysis (菜籃分析）菜籃分析）CokeMilkJuiceEggCokeMilkJuiceEggEggJuiceMilkCoke其它相關(guān)應(yīng)用其它相關(guān)應(yīng)用 發(fā)掘背部手術(shù)成敗關(guān)鍵因素 磁磚顏色配比決策輔助 旋窯燃燒最佳化控制 研磨機(jī)鋼球配比及置放址決策輔助 電子能量、功率、廢氣流量、氨氣流量組合對(duì)氮氧化物及硫氧化物去除效率之模式發(fā)展 污染排放量預(yù)測(cè)模式（DECADES MODEL） 燃燒爐中NG、LPG、與正?？諝庵浔葘?duì)燃燒效率及其它有害氣體之排放程度之影響其它相關(guān)應(yīng)用其它相關(guān)應(yīng)用(續(xù)) 發(fā)掘共同基金潛在客戶

16、 銀行活期存款賬戶流失率估計(jì) 相關(guān)產(chǎn)品群組設(shè)計(jì)（cross-selling） 預(yù)測(cè)油田生產(chǎn)量 海上石油外溢對(duì)生態(tài)破壞影響之估計(jì) 飛機(jī)結(jié)構(gòu)負(fù)載醫(yī)療案例醫(yī)療案例 DISXPERT - 殘障職業(yè)轉(zhuǎn)介專家系統(tǒng) 區(qū)別分析尋找分類要因 數(shù)據(jù)學(xué)習(xí)以萃取分類規(guī)則 整合專家規(guī)則與萃取分類規(guī)則 延伸應(yīng)用 客戶分類醫(yī)療保險(xiǎn)醫(yī)療保險(xiǎn)FAMS的的 功功 能能 偵測(cè)偵測(cè) ( Detection )( Detection )利用fuzzy modeling和統(tǒng)計(jì)技術(shù)來分析群組的行為，針對(duì)每個(gè)醫(yī)療服務(wù)提供者評(píng)定分?jǐn)?shù)，以反應(yīng)其遍離行為標(biāo)準(zhǔn)的程度 調(diào)查調(diào)查 ( Investigation )( Investigation )分析

17、提供者的分?jǐn)?shù)和詳細(xì)的賠償數(shù)據(jù) 解決解決 ( Settlement )( Settlement )詳細(xì)分析群組行為和賠償?shù)膱?bào)告和圖表。報(bào)告可以用來協(xié)商、解決問題和檢舉不法之事 預(yù)防預(yù)防 ( Prevention )( Prevention )支持提供者的監(jiān)視和提供新的工具來評(píng)估和教育他們，改善提供者的行為，以防止醫(yī)療詐欺和濫用，減低保險(xiǎn)公司的損失FAMS的特性的特性利用案例數(shù)據(jù)的“retrospective analysis”，分析帳目和醫(yī)療提供者的醫(yī)療工作，以找出有嫌疑的提供者依據(jù)醫(yī)療專業(yè)和地理位置來定義群組例如，你可以著重于Los Angeles的經(jīng)神科、Hartford的皮膚科、大都會(huì)地區(qū)

18、的緊急救護(hù)服務(wù)建置數(shù)據(jù)剖析應(yīng)注意事項(xiàng)建置數(shù)據(jù)剖析應(yīng)注意事項(xiàng) 在規(guī)畫Data Warehouse時(shí)即應(yīng)與所需Mining之目標(biāo)結(jié)合 配合數(shù)據(jù)處理情況 Data Warehouse - Data Marts - Cube 選擇軟硬件發(fā)展平臺(tái) 分期或分步驟并以漸進(jìn)式方法開發(fā) 80%心力需投入于Data Preparation步驟 常見之主機(jī)平臺(tái)包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS可能遭遇問題之影響因素可能遭遇問題之影響因素 企業(yè)教育訓(xùn)練之不足 不適當(dāng)之支持工具 數(shù)據(jù)之無效性 資料樣型（patterns）太多 多變與時(shí)間性數(shù)據(jù) 復(fù)雜之?dāng)?shù)據(jù)型態(tài) 沒有現(xiàn)

19、成之模式可立即使用 數(shù)據(jù)質(zhì)量 資料可取得性 專家意見Web/WAP Mining Dynamic product catalog Dynamic banner Dynamic content Tailored mailing listData Mining for CRM/Churn Management Defector identification Campaign promotion Marketing resource allocation Risk assessment & fraud detection Royal customer identificationData P

20、reprocessingMachine LearningMarket CampaignTargetMessageCampaignTimingControlMessage OrderMissing values &Data transformationLearning methods/techniquesselection & Implementation Scheduling & OptimizationResearch Focus圖 一. 研究架構(gòu)321Business Intelligence in Electronic Commerce建議與結(jié)論建議與結(jié)論以信息科

21、技為主軸之經(jīng)營管理數(shù)據(jù)之保存、管理與運(yùn)用為致勝關(guān)鍵善用商業(yè)智慧工具以有效解決問題案例（一）案例（一）建物抵押貸款申請(qǐng)?jiān)u估建物抵押貸款申請(qǐng)?jiān)u估 說明說明：評(píng)估模式針對(duì)五個(gè)輸入變項(xiàng)值給予綜合評(píng)定 分?jǐn)?shù)-1).建造的施工質(zhì)量、 2).建筑物的位置、 3).申貸人的資產(chǎn)、 4).申貸人的收入、 5).利 息支付情況。各個(gè)項(xiàng)目的評(píng)分范圍從0分到 100分。 可使用之技術(shù)可使用之技術(shù)：基因算法、決策樹、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法計(jì)分模式結(jié)構(gòu)計(jì)分模式結(jié)構(gòu)案例（二）案例（二） DM寄送對(duì)象評(píng)分寄送對(duì)象評(píng)分 說明說明：評(píng)估模式針對(duì)六個(gè)輸入變項(xiàng)值給予綜合評(píng)定 分?jǐn)?shù) - 1).盈余、2).住家地理位置、 3).房地產(chǎn)

22、 總值、 4).年齡、 5).小孩個(gè)數(shù)、 6).是否結(jié)婚。 可使用之技術(shù)可使用之技術(shù)：基因算法、決策樹、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法計(jì)分模式結(jié)構(gòu)計(jì)分模式結(jié)構(gòu)TABLE 11.1 Selected Data for Customer Ranking Application Attribute Logical data type Values RepresentationYears in business Continuous numeric 1-15 Scaled(0.0 to 1.0)Number of employees Continuous numeric 1 to 100 Scaled(0.

23、0 to 1.0)Type of business Categorical Manufacturing, One-of-N code Service, Retail, NonprofitRevenue Continuous numeric $0 to $4,000,000 Scaled(0.0 to 1.0)Ave. Number of orders Continuous numeric 1 to 80 Scaled(0.0 to 1.0)Ave. Revenue per order Continuous numeric $6 to 250 Scaled (0.0 to 1.0)Ave. Pr

24、ofit per order Continuous numeric $1 to $50 Scaled(0.0 to 1.0)Goodness Continuous numeric 6 to 2600 One-of-N code窯燒最佳穩(wěn)定控制結(jié)果窯燒最佳穩(wěn)定控制結(jié)果x1x2x3x4x5資料挖掘技術(shù)與發(fā)展資料挖掘技術(shù)與發(fā)展輸入依誤差調(diào)整權(quán)重真實(shí)值預(yù)測(cè)值監(jiān)督式學(xué)習(xí)架構(gòu)類神經(jīng)網(wǎng)絡(luò)類神經(jīng)網(wǎng)絡(luò)- -監(jiān)督式學(xué)習(xí)監(jiān)督式學(xué)習(xí)輸入調(diào)整優(yōu)勝單元至輸入層之權(quán)重競(jìng)爭(zhēng)優(yōu)勝單元輸出非監(jiān)督式學(xué)習(xí)架構(gòu)類神經(jīng)網(wǎng)絡(luò)類神經(jīng)網(wǎng)絡(luò)- -非監(jiān)督式學(xué)習(xí)非監(jiān)督式學(xué)習(xí)模糊化部分模糊推論部分模糊推論部分規(guī)則庫/ 資料庫規(guī)則庫/ 資料庫受控系統(tǒng)受

25、控系統(tǒng)輸入輸出模糊運(yùn)算單元解模糊化模糊邏輯系統(tǒng)基本架構(gòu)圖A1A2B2B1模糊化解模糊化模糊推論變數(shù)A變數(shù)B規(guī)則1規(guī)則2模糊推論與解模糊化I. 模糊化之歸屬函數(shù) N:低 Z : 中 P :高 技術(shù)指標(biāo)NZP6 日 RSI103020508070906 日 股價(jià)B I AS-12-2-4042126 日 成交量B I A S-12-2-404212II. 規(guī)則庫+1:Buy 0:Hold -1:Sell規(guī)則123456789101112131415161718RSI111111111222222222假如股價(jià)B I AS111222333111222333成交量B I A S12312312312

26、3123123則0-100-10-10000-1000001規(guī)則權(quán)重763170401457724982516528558670481919買賣臨界值買 0.77賣 0 then x := (x+6)*(y-5)else y := x-y+1;end if;X0-*IF-THEN-ELSE+-X+Y1SET-XSET-YX65YProcessProcess*+5yx+*+y3+x6y(x*y)+(3+(y+6)(x+y)*5皌玡*5+*yx(x*y)+(x+y)(3+(y+6)*5+3+6y+yx皌交交配配運(yùn)運(yùn)算算原始資料規(guī)則庫規(guī)則評(píng)估解模糊化模糊輸出模糊邏輯輸入滿足目標(biāo)條件解碼GP機(jī)制歸屬函

27、數(shù)資料前處理Fuzzy機(jī)制模糊化規(guī)則強(qiáng)度推論解模糊化方法技術(shù)指標(biāo)轉(zhuǎn)換規(guī)則權(quán)重再生交配突變編 碼適合度評(píng)估是否系統(tǒng)輸出系統(tǒng)輸出GP-Fuzzy基因規(guī)劃-模糊系統(tǒng)PresentationRetrievalAdaptationValidationUpdateCase Base案例推理流程案例推理流程If Time_band =2.5 yearsand Time_employed =1.5 yearwhile reject is only 3.2% likely.A total of 63 cases fit this profile,61 accepts and 2 rejects. 決策樹決策樹過

28、去相關(guān)過去相關(guān)RD經(jīng)歷經(jīng)歷 民營單位計(jì)劃民營單位計(jì)劃 因特網(wǎng)客戶購買行為分析暨預(yù)測(cè)（安瑟在線），2000 網(wǎng)頁瀏覽使用行為分析（發(fā)現(xiàn)者國際公司），2000 大哥大門號(hào)轉(zhuǎn)換與客戶流失分析(自行研究)，2000 網(wǎng)際廣告暨電視廣告采買組合決策輔助系統(tǒng)(潤利公司)，1999 消費(fèi)者對(duì)化妝品之品牌選擇模式建構(gòu)與分析（資生堂、佳麗寶與香奈兒），1999 ISP客戶使用意愿分析因果預(yù)測(cè)模式建構(gòu)(自行研究)，1999 信用卡持卡人延滯繳款預(yù)測(cè)模式研究（某國內(nèi)金融機(jī)構(gòu)）,1999 信用卡簽帳金額預(yù)測(cè)（某金融單位），1999 保險(xiǎn)產(chǎn)品與客戶選擇分析輔助系統(tǒng)（某保險(xiǎn)經(jīng)濟(jì)人公司），1999 醫(yī)院洗腎中心護(hù)理人員排班輔助系統(tǒng)(長(zhǎng)庚醫(yī)院)，1998 船席調(diào)配作業(yè)專家決策系統(tǒng)(基隆港務(wù)局)，1998過去相關(guān)過去相關(guān)RD經(jīng)歷經(jīng)歷(續(xù)）續(xù)） 公營單位公營單位 基因工程算法則應(yīng)用于飛機(jī)結(jié)構(gòu)負(fù)載歷程之分析， 航發(fā)中心，NSC 89-2623-D-155 -005，1999/7/12000/6/31 動(dòng)態(tài)基因規(guī)劃， 國科會(huì)， NSC 89-2416-H-155 -015，1999/8/12000/7/31 建立區(qū)域整體資源規(guī)劃數(shù)據(jù)庫先期研究，臺(tái)灣電力綜合研究所，TAE8700