金融數(shù)據(jù)挖掘課件

金融市場(chǎng)的數(shù)據(jù)挖掘教材：數(shù)據(jù)采掘入門與應(yīng)用張堯庭編中國(guó)統(tǒng)計(jì)出版社參考教材：

1、數(shù)據(jù)挖掘——概念與技術(shù)

jiaweiHan著，范明譯機(jī)械工業(yè)出版社

2、多元統(tǒng)計(jì)數(shù)據(jù)分析——理論、方法、實(shí)例任若恩著國(guó)防工業(yè)出版社配套應(yīng)用軟件：

1、Intelligentminerfordata2、SAS

第一章：概論

一、何為數(shù)據(jù)挖掘（datamining）現(xiàn)代信息社會(huì)的特征：信息（數(shù)據(jù)）泛濫、知識(shí)缺乏，如何從海量數(shù)據(jù)（廣義的概念）中挖掘出決策有用信息？

數(shù)據(jù)挖掘是結(jié)合現(xiàn)代數(shù)學(xué)、統(tǒng)計(jì)學(xué)，機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)庫(kù)管理、計(jì)算機(jī)圖形學(xué)、軟件工程等各領(lǐng)域的技術(shù)和知識(shí)，1990年代在西方國(guó)家出現(xiàn)的一種高新技術(shù)——從海量數(shù)據(jù)中挖掘出決策有用信息的技術(shù)。

1990年代末，在對(duì)100名美國(guó)著名科學(xué)家的問卷調(diào)查中，數(shù)據(jù)挖掘被列為21世紀(jì)對(duì)人類發(fā)展影響最大、最有前途的10大技術(shù)的第三位。

我國(guó)對(duì)數(shù)據(jù)挖掘技術(shù)的重視（開發(fā)與應(yīng)用）

1、863、963項(xiàng)目；

2、國(guó)家及省重點(diǎn)科學(xué)領(lǐng)域；

3、國(guó)家統(tǒng)計(jì)局在全國(guó)組織數(shù)據(jù)挖掘培訓(xùn)（2000）；

4、企業(yè)特別是銀行對(duì)數(shù)據(jù)挖掘技術(shù)的重視；

5、人民大學(xué)數(shù)據(jù)挖掘研究與應(yīng)用中心。

海量數(shù)據(jù)——沙漠，隱含的知識(shí)——金子，數(shù)據(jù)挖掘——從沙漠中挖掘金子的技術(shù)。

二、不同學(xué)科對(duì)數(shù)據(jù)挖掘技術(shù)的研究與開發(fā)

1、理論研究——各種數(shù)據(jù)挖掘技術(shù)的理論基礎(chǔ)、理論依據(jù)研究，從數(shù)學(xué)、統(tǒng)計(jì)學(xué)、人工智能、計(jì)算機(jī)圖形學(xué)等不同領(lǐng)域；

2、挖掘技術(shù)研究，從統(tǒng)計(jì)學(xué)、人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)圖形學(xué)、軟件工程等領(lǐng)域；3、數(shù)據(jù)管理策略研究，從數(shù)據(jù)庫(kù)管理技術(shù)等領(lǐng)域；

4、數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究，其中數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用是一個(gè)重要方面。三、幾種相對(duì)比較成熟的數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是一門新興的、正在不斷發(fā)展中的技術(shù)，近年來，幾類十分重要、且相對(duì)比較成熟的數(shù)據(jù)挖掘技術(shù)是：

1、分類與預(yù)測(cè)

2、特征化、比較與關(guān)聯(lián)規(guī)則挖掘

3、聚類分析

4、序列發(fā)現(xiàn)

本課程主要內(nèi)容：幾類數(shù)據(jù)挖掘技術(shù)的基本原理、數(shù)據(jù)挖掘方法、及這些挖掘技術(shù)在金融領(lǐng)域的應(yīng)用。

2、預(yù)測(cè)

預(yù)測(cè)是指對(duì)連續(xù)性變量的取值進(jìn)行預(yù)測(cè)，如：*某個(gè)借款人的違約概率是多少

*銀行資產(chǎn)組合明天在99%置信度下的最大損失（VaR）有多大

*如果某開放式基金因面臨巨額贖回申請(qǐng)而不得不大量拋售某種證券，這種證券的價(jià)格會(huì)下跌多少分類——對(duì)離散型變量進(jìn)行預(yù)測(cè)預(yù)測(cè)——對(duì)連續(xù)型變量進(jìn)行預(yù)測(cè)

二、分類案例教學(xué)——

上市公司財(cái)務(wù)困境預(yù)測(cè)模型構(gòu)建

1、要求：

將因財(cái)務(wù)狀況異常而被特別處理的ST公司界定為財(cái)務(wù)困境公司、非ST公司界定為財(cái)務(wù)正常公司，利用上市公司的財(cái)務(wù)報(bào)表數(shù)據(jù)，建立上市公司財(cái)務(wù)困境預(yù)測(cè)模型（提前一年預(yù)測(cè)，即用第t-2年的數(shù)據(jù)預(yù)測(cè)企業(yè)在第t年是否會(huì)陷入財(cái)務(wù)困境）。分類變量y的取值y=0如果公司為財(cái)務(wù)困境公司y=1如果公司為財(cái)務(wù)正常公司

5、研究所需數(shù)據(jù)

①、預(yù)測(cè)變量選取——實(shí)踐經(jīng)驗(yàn)、其他文獻(xiàn)使用的預(yù)測(cè)變量、采用技術(shù)手段（統(tǒng)計(jì)技術(shù)、數(shù)據(jù)挖掘技術(shù)）選取預(yù)測(cè)變量、在一定理論指導(dǎo)下構(gòu)造新的預(yù)測(cè)變量；②、樣本數(shù)據(jù)的結(jié)構(gòu)形式

③、采集樣本數(shù)據(jù)時(shí)應(yīng)注意的問題

*盡量采用跨年度數(shù)據(jù)*需要?jiǎng)h除的數(shù)據(jù)

*盡量不采用配對(duì)抽樣

④、隨機(jī)構(gòu)造的訓(xùn)練樣本組與檢驗(yàn)樣本組（過度擬合現(xiàn)象）

⑤、本案例的數(shù)據(jù)說明（sj0）：

*1995年底前上市的公司；*刪除其他原因被特別處理的公司；*數(shù)據(jù)跨期1996-2001，分別預(yù)測(cè)1998-2003；*刪除在預(yù)測(cè)年度已陷入財(cái)務(wù)困境的公司；*共有非ST公司數(shù)據(jù)1008個(gè)，ST公司數(shù)據(jù)111個(gè)；*采用的6個(gè)預(yù)測(cè)變量為（第一種方法）：

總負(fù)債/總資產(chǎn)、主營(yíng)業(yè)務(wù)收入/總資產(chǎn)、總利潤(rùn)/總資產(chǎn)、（貨幣資金+短期投資凈額）/流動(dòng)資產(chǎn)、留存盈余/總資產(chǎn)、總資產(chǎn)的自然對(duì)數(shù)。

⑥、隨機(jī)抽樣構(gòu)造訓(xùn)練樣本組、檢驗(yàn)樣本組的SAS方法：*將EXCEL數(shù)據(jù)庫(kù)轉(zhuǎn)為SAS數(shù)據(jù)庫(kù)；

*

SAS隨機(jī)數(shù)函數(shù)——uniform（seed），隨機(jī)種子數(shù)seed取奇數(shù)，產(chǎn)生[0，1]區(qū)間上的一個(gè)隨機(jī)數(shù)*隨機(jī)建立訓(xùn)練樣本組、檢驗(yàn)樣本組的SAS程序#dataa；setsasuser.sj0;k=uniform(15);run;#對(duì)已進(jìn)行k排序的數(shù)據(jù)庫(kù)adatab;seta;m=int(_n_/2);run;（sj1，sj2）二、構(gòu)造分類預(yù)測(cè)模型的方法1、判別分析法

①、判別分析方法的統(tǒng)計(jì)學(xué)原理假設(shè)有兩個(gè)總體——財(cái)務(wù)困境公司與財(cái)務(wù)正常公司，每個(gè)總體都可以用一個(gè)六維隨機(jī)變量表示，不同的總體分布不同。預(yù)測(cè)上市公司是否會(huì)陷入財(cái)務(wù)困境，就是判斷這個(gè)公司所對(duì)應(yīng)的樣本屬于哪個(gè)總體。判別分析是利用距離（相似程度的體現(xiàn)）來判斷樣本的歸屬。較常用的距離度量是馬氏距離：，判別分析實(shí)際上是利用距離差：為判斷指標(biāo)來判斷樣本的歸屬。由于馬氏距離為一個(gè)二次型，因此當(dāng)時(shí)，距離差也會(huì)一個(gè)二次型，這樣在計(jì)算時(shí)較復(fù)雜，如果，且兩個(gè)總體均服從正態(tài)分布，則距離差為一個(gè)線性函數(shù)（線性判別函數(shù)），可利用這個(gè)線性函數(shù)建立預(yù)測(cè)規(guī)則。

②、判別分析的SAS程序：procdiscrimdata=sasuser.sj1;classy;run;③、SAS結(jié)果

對(duì)兩個(gè)距離的說明?，F(xiàn)在可以得到線行判別函數(shù)為：

⑦、討論

*判別分析只能運(yùn)用于離散型因變量預(yù)測(cè)，而不能運(yùn)用于連續(xù)型因變量預(yù)測(cè)；*建立線性判別準(zhǔn)則，需要較強(qiáng)的限制條件——正態(tài)分布與等協(xié)方差矩陣；*臨界值的確定需考慮不同誤判的損失函數(shù)，考慮使用者的風(fēng)險(xiǎn)偏好；*使用判別分析方法，需要事先確定預(yù)測(cè)變量。*也可以建立另外形式的預(yù)測(cè)規(guī)則。

練習(xí)：交換sj1與sj2的地位，建立預(yù)測(cè)規(guī)則，并進(jìn)行預(yù)測(cè)準(zhǔn)確率檢驗(yàn)。或建立其他問題的判別分析預(yù)測(cè)模型。

2、Logistic回歸預(yù)測(cè)

①、統(tǒng)計(jì)學(xué)原理計(jì)量經(jīng)濟(jì)學(xué)中，回歸模型具有預(yù)測(cè)功能，但現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Logistic回歸模型實(shí)際上是概率預(yù)測(cè)模型，其原理如下：

建立如下形式的線性模型：

則得到概率預(yù)測(cè)模型

⑤、預(yù)測(cè)準(zhǔn)確率檢驗(yàn)訓(xùn)練樣本組檢驗(yàn)樣本組ST公司46/56=82.1%44/55=80%非ST公司433/504=85.9%425/504=84.3%⑥、討論*模型可用于分類預(yù)測(cè)，也可用于概率預(yù)測(cè)（如違約率預(yù)測(cè)）；*構(gòu)建模型時(shí)應(yīng)該避免非隨機(jī)抽樣，否則模型參數(shù)估計(jì)會(huì)產(chǎn)生偏差，特別是在構(gòu)建概率預(yù)測(cè)模型時(shí)；*如果需要采用分層抽樣方法，則對(duì)參數(shù)估計(jì)方法應(yīng)進(jìn)行調(diào)整；*事先確定預(yù)測(cè)變量，否則的話，可以采用逐步回歸法。

⑦、逐步回歸方法與預(yù)測(cè)變量選取預(yù)測(cè)變量選取是建立分類預(yù)測(cè)模型的關(guān)鍵步驟。經(jīng)常的情況是，知道預(yù)測(cè)變量的大致范圍，但不知哪些變量具有較大的信息含量。利用逐步回歸方法，可以在這個(gè)范圍內(nèi)挑選出較佳的構(gòu)建Logistic回歸模型的預(yù)測(cè)變量組?，F(xiàn)在，另外選取了15個(gè)可能有用的預(yù)測(cè)指標(biāo)y1-y15，對(duì)1119家上市公司利用逐步回歸法建立預(yù)測(cè)模型。

⑧、逐步回歸的SAS程序

proclogisticdescendingdata=sasuser.sj00;modely=y1-y15/selection=stepwise;run;

⑨、SAS結(jié)果構(gòu)建Logistic回歸模型的變量為：y3、y4、y5、y6、y10、y11、y12、y13、y14；

⑩、預(yù)測(cè)規(guī)則與預(yù)測(cè)準(zhǔn)確率預(yù)測(cè)規(guī)則：P＞0.09,一年后上市公司將陷入財(cái)務(wù)困境;P＜0.09,一年后上市公司不會(huì)陷入財(cái)務(wù)困境。預(yù)測(cè)準(zhǔn)確率ST公司：92/111=82.9%;非ST公司：864/1008=85.71%.

3、Probir回歸預(yù)測(cè)

數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Probit建立如下形式的回歸模型：

Probit回歸同樣通過最大似然估計(jì)來估計(jì)模型參數(shù)。

Probit回歸的SAS程序

procprobitdata=sasuser.sj1;classy;(注意Logistic程序中沒有這一項(xiàng))modely=x1-x6;run;經(jīng)計(jì)算得到:

預(yù)測(cè)規(guī)則:

P>0.1一年后上市公司將陷入財(cái)務(wù)困境，或者就不會(huì)陷入財(cái)務(wù)困境。預(yù)測(cè)準(zhǔn)確率：訓(xùn)練樣本組檢驗(yàn)樣本組

St公司：46/56=82.146/55=83.6

非St公司：428/504=84.9419/504=83.1

4、決策樹方法與前面討論的幾種分類預(yù)測(cè)方法相比，決策樹方法是一種近年來才出現(xiàn)的分類預(yù)測(cè)方法，其基本原理如下。①、熵與信息