神經(jīng)網(wǎng)絡(luò)模型原理

1、2 BP神經(jīng)網(wǎng)絡(luò)模型原理2.1 BP模型概述BP ( Back-Propagation )神經(jīng)網(wǎng)絡(luò)是一類前饋型神經(jīng)網(wǎng)絡(luò)，它由輸入層、中間層和輸出層 組成，中間層也就是隱含層，可以是一個(gè)或多個(gè)。每層包含若干互不連接的神經(jīng)元節(jié)點(diǎn)，相鄰層之間各神經(jīng)元通過(guò)不斷變化的連接強(qiáng)度或權(quán)值進(jìn)行全連接。圖1所示為BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。其中：輸入層有n個(gè)節(jié)點(diǎn)，對(duì)應(yīng)輸入x1xn ;輸出層有m個(gè)節(jié)點(diǎn)，對(duì)應(yīng)輸出y1ym ； 隱含層有q個(gè)節(jié)點(diǎn)，對(duì)應(yīng)的輸出 z1zq ;輸入層與隱含層之間的權(quán)值vik，隱含層與輸出層之間的權(quán)值為wkj。BP網(wǎng)絡(luò)中隱含層激活函數(shù)通常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。由于激活函數(shù)是連續(xù)可微的，不

2、僅使得網(wǎng)絡(luò)的容錯(cuò)性較好，而且可以嚴(yán)格利用剃度法進(jìn)行推算，權(quán)值修正的解析式十分明確7。W I抽埠坤冏帝峯事錯(cuò)擱BP網(wǎng)絡(luò)中隱含層激活函數(shù)通常采用 S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。 由于激活函數(shù)是連 續(xù)可微的，不僅使得網(wǎng)絡(luò)的容錯(cuò)性較好， 而且可以嚴(yán)格利用剃度法進(jìn)行推算， 權(quán)值修正的解 析式十分明確7。2.2 BP學(xué)習(xí)算法BP學(xué)習(xí)算法是一種有監(jiān)督的學(xué)習(xí)過(guò)程，它是根據(jù)給定的(輸入、輸出)樣本數(shù)據(jù)來(lái)進(jìn)行學(xué) 習(xí)，并通過(guò)調(diào)整網(wǎng)絡(luò)連接權(quán)值來(lái)體現(xiàn)學(xué)習(xí)的效果。就整個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，一次學(xué)習(xí)過(guò)程由輸入數(shù)據(jù)的正向傳播和誤差的反向傳播兩個(gè)子過(guò)程構(gòu)成。設(shè)有N個(gè)學(xué)習(xí)樣本(Xk，Y*k )，k=1 ,2,，N，對(duì)樣本(Xk ,

3、Y*k ),在正向傳播過(guò)程中，樣本k的輸入向量Xk=(x1k , x2k,，xnk)從輸入層的n個(gè)節(jié)點(diǎn)輸入，經(jīng)隱含層逐層處理，在輸出層的m個(gè)節(jié)點(diǎn)的輸出端得到樣本k的網(wǎng)絡(luò)計(jì)算輸出向量 Yk=(y1k , y2k , ymk)。比較Yk和樣本k的期望輸出向量 Y*k =(y *1k , y *2k，y *mk )，若N個(gè)學(xué)習(xí)樣本的計(jì)算輸出都達(dá)到期望的結(jié)果，則學(xué)習(xí)過(guò)程 結(jié)束；否則，進(jìn)入誤差反向傳播過(guò)程，把Yk與Y*k的誤差由網(wǎng)絡(luò)輸出層向輸入層反向傳播，在反向傳播過(guò)程中，修改各層神經(jīng)元的連接權(quán)值8。BP反向傳播算法的具體步驟可歸納如下：(1) 輸入N個(gè)學(xué)習(xí)樣本(Xk , Y*k ) , k=1, 2,

4、，N。(2) 建立BP網(wǎng)絡(luò)結(jié)構(gòu)。確定網(wǎng)絡(luò)層數(shù)L > 3和各層節(jié)點(diǎn)數(shù)，由學(xué)習(xí)樣本輸入向量Xk的長(zhǎng)度n確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)為n;由學(xué)習(xí)樣本輸出向量Y*k的長(zhǎng)度m確定網(wǎng)絡(luò)輸出節(jié)點(diǎn)數(shù)為m ;第I層的節(jié)點(diǎn)數(shù)為n(l)。定義各層間連接權(quán)矩陣，第I層連接第1+1層的連接權(quán)矩 陣為W(l)=W(l)ij n(l) x n(l+1)(l=1 , 2，L-1)，初始化各連接權(quán)矩陣的元素值。(3) 輸入允許誤差£和學(xué)習(xí)率n ,初始化迭代計(jì)算次數(shù)t=1，學(xué)習(xí)樣本序號(hào)k=1。(4) 取第 k 個(gè)學(xué)習(xí)樣本(Xk，Y*k )，Xk=(x1k，x2k，xnk)，Y*k =(y*1k，y*2k，y *mk )

5、。( 5)由 Xk 進(jìn)行正向傳播計(jì)算，計(jì)算輸入層各節(jié)點(diǎn)的輸出為O(l)jk=f (xjk) (j=1, 2,，n) (1)逐層計(jì)算各層的各節(jié)點(diǎn)輸入和輸出為I(l)jk=n(l-1)i =1 工 w(l-1)ij O(l-1)ik (2)O(l)jk=f(l(l)jk ) (l=2，L;j=1 , 2,，n(l)(3)(6) 計(jì)算輸出層(第L 層)的各輸出節(jié)點(diǎn)誤差為yjk=O(l)k ( 4)Ejk=12(y*jk-yjk)2 (j=1, 2，m) (5)(7) 若對(duì)N個(gè)學(xué)習(xí)樣本的任一樣本k有Ejk w & (j=1 , 2，m),則學(xué)習(xí)過(guò)程結(jié)束；否 則，進(jìn)行誤差反向傳播修改各連接權(quán)矩陣

6、。(8) 誤差反向傳播計(jì)算。修改第L-1 層隱含層至輸出層(第 L 層)的連接權(quán)矩陣為3 ( L)jk =-(y*jk-yjk) f (l(L)jk )( 6)w(L-1)ij (t)=n3(L+1)ji O(L)ik ( 7)w(L-1)ij (t+1)=w(L-1)ij (t)+ w(L-1)ij (t)(8)(j=1 , 2,，m； i=1 , 2,，n(L-1) 反向逐層修改連接各隱含層的連接權(quán)矩陣：3( l)jk =f(l(l)jk )n(l+1)q=1 2 3 (l+1) qk w(l) jq( 9)w(l-1)ij (t)=-n 3 (l)jkO(l-1)ik ( 10)w(l-

7、1)ij (t+1)=w(l-1)ij (t)+ w(l-1)ij (t) (11)(I=L-1 ,，2, 1; j=1 , 2,，n(l) ; i=1 , 2，n(1-1)(9) k=k+1(modN) ， t=t+1 轉(zhuǎn)步驟( 4)。3 樣本選取與模型設(shè)計(jì)3.1 樣本選取和分析本文主要針對(duì)滬深 300 指數(shù)的日內(nèi)高頻數(shù)據(jù),對(duì)其收益率進(jìn)行建模和預(yù)測(cè)。所用數(shù)據(jù)全部 來(lái)自同花順股票交易系統(tǒng), 采用滬深 300 指數(shù) 2008 年 7 月 1 日至 9 月 18 日每日的 1 分 鐘高頻數(shù)據(jù) , 共 13817 個(gè)有效樣本,其中包括 10658 個(gè)學(xué)習(xí)樣本和 3159 個(gè)測(cè)試樣本。本文的研究對(duì)象是

8、高頻金融時(shí)間序列的收益率,并采用下面的公式來(lái)表示：Rt(i)= Pt-Pt-iPt-ii=1 , 2,，n (12)式中： Rt 為滬深 300 指數(shù)時(shí)刻(以 1 分鐘為單位)的收益率， Pt 為 t 時(shí)刻的收盤(pán)價(jià)格， Pt-i 為 t-i 時(shí)刻的收盤(pán)價(jià)格。在金融文獻(xiàn)中,資本資產(chǎn)定價(jià)模型( CAPM )理論就假定資產(chǎn)收益率序列是不可預(yù)測(cè)的,應(yīng) 沒(méi)有自相關(guān)性。零自相關(guān)系數(shù)的檢驗(yàn)被用來(lái)作為有效市場(chǎng)假定是否成立的判定工具。然而, 股價(jià)的決定方式和指數(shù)收益率的計(jì)算方式可導(dǎo)致在觀察到的收益率序列中有自相關(guān)性, 尤其 是分析高頻數(shù)據(jù)時(shí)。 為研究樣本時(shí)期內(nèi)高頻金融時(shí)間序列的計(jì)量統(tǒng)計(jì)特點(diǎn), 本文采用 Evie

9、ws 對(duì)該數(shù)據(jù)進(jìn)行相關(guān)性檢驗(yàn),并得到高頻金融數(shù)據(jù)波動(dòng)率自相關(guān)及偏相關(guān)分析如表 1 所示：« I高頻數(shù)據(jù)收益率相關(guān)性檢騎表AultJCiLjrFa ImI i uhI 'or 11 >11 - ur trS"|上111n .蘆&之8.jo口 ,自4<_»ItjU11o加)yClrorIeLI127401S3IflD102f 1a1衛(wèi)OLtots*1 3aI IAf1 44J11七1yen；iri! 7I16u 1啟11兮白4口1SO171-<：Tr il *J *DO3323a 8 JI4MJa nos nT(1i13 87In O

10、4tfIn niH<-O LXJSeoo $-IU Uihj0 039innjic4nCM曰o liQ f ?gO I" 2Q CKJilO-O LIJ! V-o mft CLOU# O I3&S o r Hi I47 PW O £»3O tK» «i ULft. O (XK o n?o o fl 1 2C EKJ2 ru* o ijm o m i n mov m 1O 022 n UTMo I I 1 o薩鼻"f *11 口i in4 4 G OOO &<i4? 4 口 ODQ Wti O t«

11、Xl 61 出3 O dJU 6? J r o ODO fi Q CWCMl 已 1 7 4 Li I JLM 6B39 < 0 DOO 召GST O HOCisuc f ro«tl m t?m n 產(chǎn)斗口 E77 3 71 F&LMj u4 14< I| H4fi 型 丁肩作I 777 呂 戶呦2 * FT J rrn?亍 /74 j 1 F7O® s roi i o mifi ? 戸刨右Q wi y n7 nli rm： u uoo o nm o notO LILJO n ooo n nm LUJ e goU I K i O I Ol O OCKJ

12、a aoa u uuu Q QDC o nm o aoci o «>xj o ocm n mi 心0UU O CMTH n ncm尸/ £J LXJU 'GA 2 O COO ziriT v n o a i從表1可以發(fā)現(xiàn)，在0.05的臨界水平下，高頻金融時(shí)間序列收益率與其37階以內(nèi)的滯后項(xiàng)存在較為顯著的相關(guān)性，但是與37階以后的滯后項(xiàng)不存在明顯的相關(guān)性。因此，在對(duì)高頻金融時(shí)間序列收益率進(jìn)行建模時(shí)，可以選擇當(dāng)前收益率及其37階滯后項(xiàng)作為變量。3.2輸入出層的向量確定神經(jīng)網(wǎng)絡(luò)不需要任何已知的統(tǒng)計(jì)或數(shù)學(xué)知識(shí)描述輸入一輸出模式間的映像，它是根據(jù)已 選取的樣本數(shù)據(jù)，通過(guò)

13、學(xué)習(xí)和訓(xùn)練，憑自身的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對(duì)信息的記憶，然后對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)。因此，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，訓(xùn)練數(shù)據(jù)應(yīng)包含所研究對(duì)象的全部模式。即，本文輸 入向量的各個(gè)分量應(yīng)該選取能充分反映滬深300指數(shù)收益率的定量指標(biāo)。通過(guò)對(duì)高頻金融時(shí)間序列波動(dòng)率相關(guān)性表的研究，確立了 38個(gè)輸入層節(jié)點(diǎn)(神經(jīng)元)，包括時(shí)刻的收益率 及其前37分鐘每分鐘的收益率，即 Rt(1)、Rt(2)、Rt(37)、Rt(38)。輸出層是對(duì)基于高頻數(shù)據(jù)的收益率進(jìn)行預(yù)測(cè)，即以時(shí)刻的滬深300指數(shù)收益率作為輸出神經(jīng)元。輸入及輸出變量的樣本數(shù)據(jù)見(jiàn)表2:表2輸入及輸出變量樣本數(shù)據(jù)片斷高頻數(shù)據(jù)時(shí)點(diǎn) Rt(1) Rt(2) Rt(3)Rt(38)

14、 Rt+1第 1 分鐘 0.002643 0.002564 0.002852 0.011275 0.002858第 2 分鐘 0.002858 0.005509 0.005430 0.013909 -0.00079第 3 分鐘-0.00079 0.002068 0.004717 0.0112150 -0.00125 3.3隱層神經(jīng)元數(shù)目的確定隱層神經(jīng)元負(fù)責(zé)實(shí)現(xiàn)非線性樣本的線性轉(zhuǎn)換，所以在 BP 網(wǎng)絡(luò)設(shè)計(jì)中具有十分重要的作用。 隱含層層數(shù)和節(jié)點(diǎn)個(gè)數(shù)可自行指定， 一般在神經(jīng)網(wǎng)絡(luò)中選擇一層隱含層， 而確定合適的隱層 神經(jīng)元數(shù)目是設(shè)計(jì) BP 網(wǎng)絡(luò)的關(guān)鍵。在以往的眾多研究中，人們總結(jié)出一些關(guān)于確定隱層神

15、 經(jīng)元個(gè)數(shù)的經(jīng)驗(yàn)公式，其中，Mirchadani認(rèn)為隱含層單元數(shù) J與輸入模式P的關(guān)系為：J=log2 P。本文根據(jù)Clementine神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法中的快速訓(xùn)練法，運(yùn)用多層感知機(jī)模型， 確定為一層隱含層，而隱含層的節(jié)點(diǎn)數(shù)目依據(jù)公式 max(3， (ni+n0)/20) ，其中： ni 為輸入節(jié)點(diǎn)數(shù)； n0 為輸出節(jié)點(diǎn)數(shù)。根據(jù)以上公式，可以計(jì)算隱含層的神經(jīng)元數(shù)目為3。3.4 激活函數(shù)的確定 激活函數(shù)是一個(gè)神經(jīng)元及網(wǎng)絡(luò)的核心，網(wǎng)絡(luò)的預(yù)測(cè)能力在很大程度上取決于所采用的激活函數(shù)。激活函數(shù)f(x)的作用是激活神經(jīng)元，使其對(duì)輸入產(chǎn)生響應(yīng)。在實(shí)際應(yīng)用中，可根據(jù) 需要選取適當(dāng)?shù)募せ詈瘮?shù)，常用的是Sigmo

16、id類型的函數(shù)。由于激活函數(shù)f(x)所具有的非線性特征， 使 BP 算法訓(xùn)練的多層前饋式網(wǎng)絡(luò)建立了從輸入到輸出的高度非線性映射，可以表達(dá)復(fù)雜的客觀現(xiàn)象。而且，由于其導(dǎo)數(shù)常?？捎?f(x) 自身表示，所以在誤差反向傳播的過(guò)程 中，不需要另外計(jì)算激活函數(shù)的導(dǎo)數(shù)，大幅度地減少了計(jì)算量，提高了網(wǎng)絡(luò)的效率。在實(shí)際 應(yīng)用中，通過(guò)對(duì)股票樣本數(shù)據(jù)的學(xué)習(xí)訓(xùn)練，可以發(fā)現(xiàn)采用 f(x)=tan!1/1+exp(-x)" 作為激活函 數(shù)，網(wǎng)絡(luò)的收斂速度最快。4 實(shí)證結(jié)果與分析本文運(yùn)用 SPSS Clementine 數(shù)據(jù)挖掘軟件，以高頻數(shù)據(jù)為樣本對(duì)滬深 300 指數(shù)的日內(nèi)收 益率構(gòu)建 BP 神經(jīng)網(wǎng)絡(luò)模型。

17、其基本過(guò)程是， 首先將 2008 年7 月1 日至 8 月 29 日的 10658 個(gè)樣本數(shù)據(jù)作為學(xué)習(xí)和訓(xùn)練樣本，建立一個(gè)三層 BP 神經(jīng)網(wǎng)絡(luò)模型，然后用剩余的 3159 個(gè) 樣本數(shù)據(jù)作為測(cè)試樣本， 來(lái)進(jìn)行模式識(shí)別， 再判斷神經(jīng)網(wǎng)絡(luò)模型對(duì)滬深指數(shù)收益率的擬合程 度及預(yù)測(cè)效果。用樣本數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，需要網(wǎng)絡(luò)訓(xùn)練參數(shù)進(jìn)行設(shè)置，本文確定動(dòng)力因子a=0.9,較高的a值有助于避免網(wǎng)絡(luò)的局部極小值，使神經(jīng)網(wǎng)絡(luò)的權(quán)數(shù)調(diào)整更加平滑；預(yù)測(cè)精 度為 90%，迭代周期為 250 次，控制誤差取為 0.0001。最大容許誤差設(shè)為 0.005，學(xué)習(xí)步長(zhǎng) 為 0.01，最大訓(xùn)練次數(shù)為 500。利用上述神經(jīng)網(wǎng)絡(luò)及

18、其網(wǎng)絡(luò)規(guī)則，可以得到預(yù)測(cè)精度為 98.72%的神經(jīng)網(wǎng)絡(luò)模型?；谝褬?gòu) 建的 BP 神經(jīng)網(wǎng)絡(luò)模型 , 再將其對(duì)剩余 3159 個(gè)測(cè)試樣本進(jìn)行判斷， 來(lái)驗(yàn)證系統(tǒng)的預(yù)測(cè)結(jié)果。 在 Clementine 中，將 BP 神經(jīng)網(wǎng)絡(luò)加入到測(cè)試樣本的數(shù)據(jù)流中，可以得到測(cè)試樣本相對(duì)應(yīng) 的滬深指數(shù)收益率預(yù)測(cè)值。再將收益率預(yù)測(cè)值和收益率實(shí)際值做比較分析，如圖2 所示：00 2收益率實(shí)際値與預(yù)測(cè)值比較從圖2可以發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)模型較好地?cái)M合了測(cè)試樣本的收益率，僅僅有幾個(gè)時(shí)點(diǎn)預(yù)測(cè)效果不佳。由于測(cè)試樣本較大， 為了更加直觀清楚地判斷收益率的預(yù)測(cè)效果，選取了預(yù)測(cè)周期第一天的收益率實(shí)際值與預(yù)測(cè)值進(jìn)行比較，得到圖3的時(shí)間序列圖：

19、圖3股指收益率預(yù)測(cè)値與實(shí)際值時(shí)序比較圖由圖3可見(jiàn)，BP神經(jīng)網(wǎng)絡(luò)對(duì)于滬深 300指數(shù)收益率的擬合效果相當(dāng)不錯(cuò)，就整體趨勢(shì)而 言，網(wǎng)絡(luò)模型基本上模擬出實(shí)際收益率的特征，說(shuō)明BP神經(jīng)網(wǎng)絡(luò)對(duì)于指數(shù)收益率的預(yù)測(cè)能力是較強(qiáng)的。為檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)效果，引入MAPE指標(biāo)，MAPE平均相對(duì)誤差絕對(duì)值的定義為：MAPE=1 nni =1 工 yi-y 贊 i yi(13)式中，yi為實(shí)際值，y贊i為預(yù)期值。根據(jù)上述公式，計(jì)算得到BP神經(jīng)網(wǎng)絡(luò)3159個(gè)測(cè)試樣本的 MAPE=1.66% ,表明神經(jīng)網(wǎng)絡(luò)的 預(yù)測(cè)精度非常高， BP 神經(jīng)網(wǎng)絡(luò)對(duì)于高頻金融時(shí)間序列收益率的預(yù)測(cè)是有效的，而且預(yù)測(cè)效 果非常好。5 結(jié)論與啟示股票市

20、場(chǎng)高頻數(shù)據(jù)是當(dāng)前金融計(jì)量研究的熱點(diǎn)問(wèn)題， 基于高頻數(shù)據(jù)的股指日內(nèi)收益率建模與 預(yù)測(cè)對(duì)于深入研究證券市場(chǎng)具有十分重大的意義。 本文采用數(shù)據(jù)挖掘中的神經(jīng)網(wǎng)絡(luò)對(duì)高頻數(shù) 據(jù)進(jìn)行建模與預(yù)測(cè)， 實(shí)證研究表明其預(yù)測(cè)能力是非常有效的， 可以有效地模擬出短期的滬深 300 股票指數(shù)時(shí)間序列收益率的趨勢(shì)特征。 這不僅僅驗(yàn)證了數(shù)據(jù)挖掘技術(shù)在高頻數(shù)據(jù)中應(yīng)用 的可行性， 而且也為進(jìn)一步測(cè)算股票市場(chǎng)波動(dòng)率與金融領(lǐng)域的衍生工具定價(jià)、 風(fēng)險(xiǎn)管理與控 制及投資組合等提供了一個(gè)可靠的工具。參考文獻(xiàn)1 Ruey S.Tsay.Analysis of Financcial Time SeriesM. 北京：機(jī)械工業(yè)出版社， 2006. 234-263.2 Atiya A F.Bankrucy prediction for credit risk using neural networks: A survey and new results.Neural Networks,IEEE Transactions on,2001,(12):929-935.3 Chen J F.Analysis of an adaptive time-