金融數(shù)據(jù)挖掘和商業(yè)數(shù)據(jù)挖掘建構(gòu)信用卡評(píng)分模型之商業(yè)智能流程課件

金融數(shù)據(jù)挖掘和商業(yè)數(shù)據(jù)挖掘

建構(gòu)信用卡評(píng)分模型之商業(yè)智能流程鄭宇庭謝邦昌程兆慶

臺(tái)灣政治大學(xué)資料采礦中心11/1/20221金融數(shù)據(jù)挖掘和商業(yè)數(shù)據(jù)挖掘

建構(gòu)信用卡評(píng)分模型之商業(yè)智能流報(bào)告大綱研究目的分析工具

建模流程結(jié)論與建議Q&A11/1/20222報(bào)告大綱研究目的10/23/20222研究目的有效地篩選出償債能力不佳的個(gè)人信用卡客戶(hù)，依此開(kāi)發(fā)出一套信用風(fēng)險(xiǎn)系統(tǒng)，以幫助銀行做出正確的核卡決策。這個(gè)系統(tǒng)的開(kāi)發(fā)、維護(hù)、與更新的成本預(yù)期將比銀行現(xiàn)有系統(tǒng)的成本低。11/1/20223研究目的有效地篩選出償債能力不佳的個(gè)人信用卡客戶(hù)，依此開(kāi)發(fā)出分析工具M(jìn)icrosoftSQLSever2005價(jià)格自動(dòng)化以及開(kāi)發(fā)延伸程度目前SPSS跟微軟之間是采取合作的態(tài)度11/1/20224分析工具M(jìn)icrosoftSQLSever200510建模流程：CRISP-DMDATAMINING執(zhí)行階段商業(yè)理解資料理解資料準(zhǔn)備建模評(píng)估發(fā)布資料源DATAMINING處理流程11/1/20225圖表來(lái)源：楊自強(qiáng)企業(yè)如何應(yīng)用商業(yè)智慧來(lái)提升執(zhí)行力與競(jìng)爭(zhēng)力建模流程：CRISP-DMDATAMINING商業(yè)理解資料微軟商業(yè)智慧解決方案SSIS

分析服務(wù)報(bào)表服務(wù)分析服務(wù)(DataMining)資料來(lái)源檢視表(DataSourceView)整合性服務(wù)(SSIS)商業(yè)理解資料理解資料準(zhǔn)備建模評(píng)估發(fā)布資料源資料源11/1/20226圖表來(lái)源：楊自強(qiáng)企業(yè)如何應(yīng)用商業(yè)智慧來(lái)提升執(zhí)行力與競(jìng)爭(zhēng)力微軟商業(yè)智慧解決方案SSIS資料來(lái)源檢視表(DataSou資料采礦無(wú)處不在商業(yè)問(wèn)題Microsoft算法預(yù)測(cè)類(lèi)別變量，例如營(yíng)銷(xiāo)響應(yīng)、顧客流失、違約預(yù)測(cè)(巴塞爾資本協(xié)定IRB)…決策樹(shù)貝氏機(jī)率分類(lèi)群集類(lèi)神經(jīng)網(wǎng)絡(luò)羅吉斯回歸預(yù)測(cè)連續(xù)變量，例如預(yù)測(cè)銷(xiāo)售量、預(yù)測(cè)客戶(hù)價(jià)值變動(dòng)、預(yù)測(cè)金融商品價(jià)格波動(dòng)...回歸樹(shù)時(shí)間序列類(lèi)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)序列，例如找出網(wǎng)站使用者的點(diǎn)選路徑模式、客戶(hù)繳款行為模式、商品購(gòu)物順序時(shí)序群集找出產(chǎn)品交叉銷(xiāo)售關(guān)聯(lián)性，又稱(chēng)為購(gòu)物籃分析關(guān)聯(lián)規(guī)則決策樹(shù)找出潛在相似性，例如市場(chǎng)區(qū)隔、偵測(cè)晶圓瑕疵分配、文件分類(lèi)、保險(xiǎn)浮濫理賠偵測(cè)、偽卡偵測(cè)群集時(shí)序群集11/1/20227資料采礦無(wú)處不在商業(yè)問(wèn)題Microsoft算法預(yù)測(cè)類(lèi)別變量商業(yè)理解(BusinessUnderstanding)厘清商業(yè)問(wèn)題目前呆帳率是多少？信用卡審核流程？信用卡評(píng)分模型=分類(lèi)模型11/1/20228商業(yè)理解(BusinessUnderstanding)厘清資料理解(DataUnderstanding)資料來(lái)源某銀行2000.1.1~2002.6.30的信用卡資料數(shù)據(jù)內(nèi)容申請(qǐng)數(shù)據(jù)文件繳款紀(jì)錄文件總共有1220個(gè)變數(shù)，502,333筆原始資料違約戶(hù)定義繳款期間曾經(jīng)有逾期60天以上未繳之卡戶(hù)

11/1/20229資料理解(DataUnderstanding)資料來(lái)源10建模流程圖選擇2001.4~2001.6原始資料清除遺漏值、異常值數(shù)據(jù)轉(zhuǎn)換誤差抽樣訓(xùn)練組測(cè)試組建模評(píng)估評(píng)估11/1/202210建模流程圖選擇2001.4~2001.6原始資料清除遺漏值、資料準(zhǔn)備(DataPreparation)選擇合理的建模變量基本數(shù)據(jù)性別、教育程度、職業(yè)別……聯(lián)合征信中心(JCIC)的資料被查詢(xún)總家數(shù)、延遲月數(shù)比率……與銀行往來(lái)的資料申請(qǐng)卡別類(lèi)型、有沒(méi)有使用扣款服務(wù)……11/1/202211資料準(zhǔn)備(DataPreparation)選擇合理的建模變資料準(zhǔn)備(DataPreparation)選擇合理的建模時(shí)間時(shí)間間隔取為12個(gè)月至18個(gè)月清除遺漏值、異常值數(shù)據(jù)轉(zhuǎn)換連續(xù)型轉(zhuǎn)成離散型：被查詢(xún)總家數(shù)…合并變項(xiàng)太多之變量：職業(yè)別…衍生新的變數(shù)11/1/202212資料準(zhǔn)備(DataPreparation)選擇合理的建模時(shí)類(lèi)型變量名稱(chēng)數(shù)據(jù)類(lèi)型個(gè)人資料教育別類(lèi)別型(2類(lèi))性別旗標(biāo)型行業(yè)別類(lèi)別型(3類(lèi))職稱(chēng)別類(lèi)別型(3類(lèi))工作年資類(lèi)別型(5類(lèi))緊急聯(lián)絡(luò)人與正卡關(guān)系類(lèi)別型(4類(lèi))與銀行往來(lái)紀(jì)錄是否申請(qǐng)結(jié)余代償旗標(biāo)型扣款賬號(hào)旗標(biāo)型金融聯(lián)合征信中心<過(guò)去六個(gè)月>延遲月數(shù)比率連續(xù)型<過(guò)去六個(gè)月>循還月數(shù)比率連續(xù)型近一年M2次數(shù)整數(shù)型<最近一個(gè)月>近期是否逾期旗標(biāo)型負(fù)債所得比連續(xù)型有效卡張數(shù)類(lèi)別型(3類(lèi))被查詢(xún)總家數(shù)類(lèi)別型(4類(lèi))11/1/202213類(lèi)型變量名稱(chēng)數(shù)據(jù)類(lèi)型個(gè)人資料教育別類(lèi)別型(2類(lèi))性別旗標(biāo)型行建模(Modeling)誤差抽樣(Over-Sampling)將稀有事件透過(guò)抽樣的方式將其比重提高多的少抽(Reduce)：正常戶(hù)抽取率0.1違約戶(hù)抽取率1將資料分成訓(xùn)練組與測(cè)試組避免過(guò)度學(xué)習(xí)(Over-fitting)建模方法選擇羅吉斯回歸、決策樹(shù)、類(lèi)神經(jīng)網(wǎng)絡(luò)11/1/202214建模(Modeling)誤差抽樣(Over-SamplingDataMiningModelEvaluation11/1/202215DataMiningModelEvaluation10DataMiningModelEvaluation分類(lèi)矩陣橫軸為預(yù)測(cè)結(jié)果，縱軸為實(shí)際結(jié)果增益圖橫軸為名單百分比，縱軸為累積占全體之百分比收益圖根據(jù)成本以及銷(xiāo)售成功利潤(rùn)，并計(jì)算出累積利潤(rùn)圖散布圖針對(duì)連續(xù)變量，可以利用此功能了解實(shí)際值與預(yù)測(cè)值間之差異性以及預(yù)測(cè)之趨勢(shì)變動(dòng)情形11/1/202216DataMiningModelEvaluation分類(lèi)選擇“vTargetMail(dbo)”勾選需要比較之模型DataMiningModelEvaluation說(shuō)明：在進(jìn)行模型效益評(píng)估前必須先選入數(shù)據(jù)表，并在模型中勾選要進(jìn)行評(píng)估比較之模型11/1/202217選擇“vTargetMail(dbo)”勾選需要比較之模型DDataMiningModelEvaluation分類(lèi)矩陣藉由分類(lèi)矩陣進(jìn)一步比較，判別兩模型的預(yù)測(cè)能力，由決策樹(shù)模型發(fā)現(xiàn)，預(yù)測(cè)正確的資料有7103+5857=12960；而群集分析模型的正確預(yù)測(cè)數(shù)據(jù)為5395+5308=10703，也可看出決策樹(shù)分類(lèi)結(jié)果較群集分析分類(lèi)結(jié)果好11/1/202218DataMiningModelEvaluation分類(lèi)DataMiningModelEvaluation增益圖增益圖：主要展現(xiàn)在整體的百分上所累積的效益狀況11/1/202219DataMiningModelEvaluation增益DataMiningModelEvaluation收益圖收益圖：可根據(jù)所設(shè)定之固定成本、單位成本以及單位營(yíng)收加以計(jì)算，找出最佳獲利點(diǎn)11/1/202220DataMiningModelEvaluation收益DataMiningModelEvaluation散布圖散布圖：了解各模型之預(yù)測(cè)值、預(yù)測(cè)趨勢(shì)以及實(shí)際值11/1/202221DataMiningModelEvaluation散布評(píng)估(Evaluation)增益圖（liftchart）11/1/202222評(píng)估(Evaluation)增益圖（liftchart）1評(píng)估(Evaluation)分類(lèi)矩陣(classificationmatrix)衡量指標(biāo)Precise=a/a+bRecall=a/a+cAccuracy=a+d/a+b+c+d

實(shí)際預(yù)測(cè)違約戶(hù)正常戶(hù)違約戶(hù)ab正常戶(hù)cd11/1/202223評(píng)估(Evaluation)分類(lèi)矩陣(classificat發(fā)布(Deployment)產(chǎn)生預(yù)測(cè)的違約機(jī)率值單一查詢(xún)整批查詢(xún)11/1/202224發(fā)布(Deployment)產(chǎn)生預(yù)測(cè)的違約機(jī)率值10/23/結(jié)論與建議本研究以羅吉斯回歸模型預(yù)測(cè)能力最好本研究目的在于幫助作核卡的決策，另外有一些主題可供繼續(xù)研究核卡后針對(duì)繳費(fèi)情況的變化，再建構(gòu)一預(yù)測(cè)違約模型，以預(yù)防違約發(fā)生。已違約建立一處理催收順序的模型11/1/202225結(jié)論與建議本研究以羅吉斯回歸模型預(yù)測(cè)能力最好10/23/20Q&A歡迎提出問(wèn)題討論11/1/202226Q&A10/23/202226金融數(shù)據(jù)挖掘和商業(yè)數(shù)據(jù)挖掘

建構(gòu)信用卡評(píng)分模型之商業(yè)智能流程鄭宇庭謝邦昌程兆慶

臺(tái)灣政治大學(xué)資料采礦中心11/1/202227金融數(shù)據(jù)挖掘和商業(yè)數(shù)據(jù)挖掘

建構(gòu)信用卡評(píng)分模型之商業(yè)智能流報(bào)告大綱研究目的分析工具

建模流程結(jié)論與建議Q&A11/1/202228報(bào)告大綱研究目的10/23/20222研究目的有效地篩選出償債能力不佳的個(gè)人信用卡客戶(hù)，依此開(kāi)發(fā)出一套信用風(fēng)險(xiǎn)系統(tǒng)，以幫助銀行做出正確的核卡決策。這個(gè)系統(tǒng)的開(kāi)發(fā)、維護(hù)、與更新的成本預(yù)期將比銀行現(xiàn)有系統(tǒng)的成本低。11/1/202229研究目的有效地篩選出償債能力不佳的個(gè)人信用卡客戶(hù)，依此開(kāi)發(fā)出分析工具M(jìn)icrosoftSQLSever2005價(jià)格自動(dòng)化以及開(kāi)發(fā)延伸程度目前SPSS跟微軟之間是采取合作的態(tài)度11/1/202230分析工具M(jìn)icrosoftSQLSever200510建模流程：CRISP-DMDATAMINING執(zhí)行階段商業(yè)理解資料理解資料準(zhǔn)備建模評(píng)估發(fā)布資料源DATAMINING處理流程11/1/202231圖表來(lái)源：楊自強(qiáng)企業(yè)如何應(yīng)用商業(yè)智慧來(lái)提升執(zhí)行力與競(jìng)爭(zhēng)力建模流程：CRISP-DMDATAMINING商業(yè)理解資料微軟商業(yè)智慧解決方案SSIS

分析服務(wù)報(bào)表服務(wù)分析服務(wù)(DataMining)資料來(lái)源檢視表(DataSourceView)整合性服務(wù)(SSIS)商業(yè)理解資料理解資料準(zhǔn)備建模評(píng)估發(fā)布資料源資料源11/1/202232圖表來(lái)源：楊自強(qiáng)企業(yè)如何應(yīng)用商業(yè)智慧來(lái)提升執(zhí)行力與競(jìng)爭(zhēng)力微軟商業(yè)智慧解決方案SSIS資料來(lái)源檢視表(DataSou資料采礦無(wú)處不在商業(yè)問(wèn)題Microsoft算法預(yù)測(cè)類(lèi)別變量，例如營(yíng)銷(xiāo)響應(yīng)、顧客流失、違約預(yù)測(cè)(巴塞爾資本協(xié)定IRB)…決策樹(shù)貝氏機(jī)率分類(lèi)群集類(lèi)神經(jīng)網(wǎng)絡(luò)羅吉斯回歸預(yù)測(cè)連續(xù)變量，例如預(yù)測(cè)銷(xiāo)售量、預(yù)測(cè)客戶(hù)價(jià)值變動(dòng)、預(yù)測(cè)金融商品價(jià)格波動(dòng)...回歸樹(shù)時(shí)間序列類(lèi)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)序列，例如找出網(wǎng)站使用者的點(diǎn)選路徑模式、客戶(hù)繳款行為模式、商品購(gòu)物順序時(shí)序群集找出產(chǎn)品交叉銷(xiāo)售關(guān)聯(lián)性，又稱(chēng)為購(gòu)物籃分析關(guān)聯(lián)規(guī)則決策樹(shù)找出潛在相似性，例如市場(chǎng)區(qū)隔、偵測(cè)晶圓瑕疵分配、文件分類(lèi)、保險(xiǎn)浮濫理賠偵測(cè)、偽卡偵測(cè)群集時(shí)序群集11/1/202233資料采礦無(wú)處不在商業(yè)問(wèn)題Microsoft算法預(yù)測(cè)類(lèi)別變量商業(yè)理解(BusinessUnderstanding)厘清商業(yè)問(wèn)題目前呆帳率是多少？信用卡審核流程？信用卡評(píng)分模型=分類(lèi)模型11/1/202234商業(yè)理解(BusinessUnderstanding)厘清資料理解(DataUnderstanding)資料來(lái)源某銀行2000.1.1~2002.6.30的信用卡資料數(shù)據(jù)內(nèi)容申請(qǐng)數(shù)據(jù)文件繳款紀(jì)錄文件總共有1220個(gè)變數(shù)，502,333筆原始資料違約戶(hù)定義繳款期間曾經(jīng)有逾期60天以上未繳之卡戶(hù)

11/1/202235資料理解(DataUnderstanding)資料來(lái)源10建模流程圖選擇2001.4~2001.6原始資料清除遺漏值、異常值數(shù)據(jù)轉(zhuǎn)換誤差抽樣訓(xùn)練組測(cè)試組建模評(píng)估評(píng)估11/1/202236建模流程圖選擇2001.4~2001.6原始資料清除遺漏值、資料準(zhǔn)備(DataPreparation)選擇合理的建模變量基本數(shù)據(jù)性別、教育程度、職業(yè)別……聯(lián)合征信中心(JCIC)的資料被查詢(xún)總家數(shù)、延遲月數(shù)比率……與銀行往來(lái)的資料申請(qǐng)卡別類(lèi)型、有沒(méi)有使用扣款服務(wù)……11/1/202237資料準(zhǔn)備(DataPreparation)選擇合理的建模變資料準(zhǔn)備(DataPreparation)選擇合理的建模時(shí)間時(shí)間間隔取為12個(gè)月至18個(gè)月清除遺漏值、異常值數(shù)據(jù)轉(zhuǎn)換連續(xù)型轉(zhuǎn)成離散型：被查詢(xún)總家數(shù)…合并變項(xiàng)太多之變量：職業(yè)別…衍生新的變數(shù)11/1/202238資料準(zhǔn)備(DataPreparation)選擇合理的建模時(shí)類(lèi)型變量名稱(chēng)數(shù)據(jù)類(lèi)型個(gè)人資料教育別類(lèi)別型(2類(lèi))性別旗標(biāo)型行業(yè)別類(lèi)別型(3類(lèi))職稱(chēng)別類(lèi)別型(3類(lèi))工作年資類(lèi)別型(5類(lèi))緊急聯(lián)絡(luò)人與正卡關(guān)系類(lèi)別型(4類(lèi))與銀行往來(lái)紀(jì)錄是否申請(qǐng)結(jié)余代償旗標(biāo)型扣款賬號(hào)旗標(biāo)型金融聯(lián)合征信中心<過(guò)去六個(gè)月>延遲月數(shù)比率連續(xù)型<過(guò)去六個(gè)月>循還月數(shù)比率連續(xù)型近一年M2次數(shù)整數(shù)型<最近一個(gè)月>近期是否逾期旗標(biāo)型負(fù)債所得比連續(xù)型有效卡張數(shù)類(lèi)別型(3類(lèi))被查詢(xún)總家數(shù)類(lèi)別型(4類(lèi))11/1/202239類(lèi)型變量名稱(chēng)數(shù)據(jù)類(lèi)型個(gè)人資料教育別類(lèi)別型(2類(lèi))性別旗標(biāo)型行建模(Modeling)誤差抽樣(Over-Sampling)將稀有事件透過(guò)抽樣的方式將其比重提高多的少抽(Reduce)：正常戶(hù)抽取率0.1違約戶(hù)抽取率1將資料分成訓(xùn)練組與測(cè)試組避免過(guò)度學(xué)習(xí)(Over-fitting)建模方法選擇羅吉斯回歸、決策樹(shù)、類(lèi)神經(jīng)網(wǎng)絡(luò)11/1/202240建模(Modeling)誤差抽樣(Over-SamplingDataMiningModelEvaluation11/1/202241DataMiningModelEvaluation10DataMiningModelEvaluation分類(lèi)矩陣橫軸為預(yù)測(cè)結(jié)果，縱軸為實(shí)際結(jié)果增益圖橫軸為名單百分比，縱軸為累積占全體之百分比收益圖根據(jù)成本以及銷(xiāo)售成功利潤(rùn)，并計(jì)算出累積利潤(rùn)圖散布圖針對(duì)連續(xù)變量，可以利用此功能了解實(shí)際值與預(yù)測(cè)值間之差異性以及預(yù)測(cè)之趨勢(shì)變動(dòng)情形11/1/202242DataMiningModelEvaluation分類(lèi)選擇“vTargetMail(dbo)”勾選需要比較之模型DataMiningModelEvaluation說(shuō)明：在進(jìn)行模型效益評(píng)估前必須先選入數(shù)據(jù)表，并在模型中勾選要進(jìn)行評(píng)估比較之模型11/1/202243選擇“vTargetMail(dbo)”勾選需要比較之模型DDataMiningModelEvaluation分類(lèi)矩陣藉由分類(lèi)矩陣進(jìn)一步比較，判別兩模型的預(yù)測(cè)能力，由決策樹(shù)模型發(fā)現(xiàn)，預(yù)測(cè)正確的資料有7103+5857=12960；而群集分析模型的正確預(yù)測(cè)數(shù)據(jù)為5395+5308=10703，也可看出決策樹(shù)分類(lèi)結(jié)果較群集分析分類(lèi)結(jié)果好11/1/202244DataMiningModelEvaluation分類(lèi)DataMiningModelEvaluation增益圖增益圖：主要展現(xiàn)在整體的百分上所累積的效益狀況11/1/202245DataMiningModelEvaluat