神經網(wǎng)絡模型原理

1、2 BP神經網(wǎng)絡模型原理2.1 BP模型概述BP ( Back-Propagation )神經網(wǎng)絡是一類前饋型神經網(wǎng)絡，它由輸入層、中間層和輸出層 組成，中間層也就是隱含層，可以是一個或多個。每層包含若干互不連接的神經元節(jié)點，相鄰層之間各神經元通過不斷變化的連接強度或權值進行全連接。圖1所示為BP神經網(wǎng)絡拓撲結構。其中：輸入層有n個節(jié)點，對應輸入x1xn ;輸出層有m個節(jié)點，對應輸出y1ym ； 隱含層有q個節(jié)點，對應的輸出 z1zq ;輸入層與隱含層之間的權值vik，隱含層與輸出層之間的權值為wkj。BP網(wǎng)絡中隱含層激活函數(shù)通常采用S型的對數(shù)或正切函數(shù)和線性函數(shù)。由于激活函數(shù)是連續(xù)可微的，不

2、僅使得網(wǎng)絡的容錯性較好，而且可以嚴格利用剃度法進行推算，權值修正的解析式十分明確7。W I抽埠坤冏帝峯事錯擱BP網(wǎng)絡中隱含層激活函數(shù)通常采用 S型的對數(shù)或正切函數(shù)和線性函數(shù)。 由于激活函數(shù)是連 續(xù)可微的，不僅使得網(wǎng)絡的容錯性較好， 而且可以嚴格利用剃度法進行推算， 權值修正的解 析式十分明確7。2.2 BP學習算法BP學習算法是一種有監(jiān)督的學習過程，它是根據(jù)給定的(輸入、輸出)樣本數(shù)據(jù)來進行學 習，并通過調整網(wǎng)絡連接權值來體現(xiàn)學習的效果。就整個神經網(wǎng)絡來說，一次學習過程由輸入數(shù)據(jù)的正向傳播和誤差的反向傳播兩個子過程構成。設有N個學習樣本(Xk，Y*k )，k=1 ,2,，N，對樣本(Xk ,

3、Y*k ),在正向傳播過程中，樣本k的輸入向量Xk=(x1k , x2k,，xnk)從輸入層的n個節(jié)點輸入，經隱含層逐層處理，在輸出層的m個節(jié)點的輸出端得到樣本k的網(wǎng)絡計算輸出向量 Yk=(y1k , y2k , ymk)。比較Yk和樣本k的期望輸出向量 Y*k =(y *1k , y *2k，y *mk )，若N個學習樣本的計算輸出都達到期望的結果，則學習過程 結束；否則，進入誤差反向傳播過程，把Yk與Y*k的誤差由網(wǎng)絡輸出層向輸入層反向傳播，在反向傳播過程中，修改各層神經元的連接權值8。BP反向傳播算法的具體步驟可歸納如下：(1) 輸入N個學習樣本(Xk , Y*k ) , k=1, 2,

4、，N。(2) 建立BP網(wǎng)絡結構。確定網(wǎng)絡層數(shù)L > 3和各層節(jié)點數(shù)，由學習樣本輸入向量Xk的長度n確定網(wǎng)絡輸入層節(jié)點數(shù)為n;由學習樣本輸出向量Y*k的長度m確定網(wǎng)絡輸出節(jié)點數(shù)為m ;第I層的節(jié)點數(shù)為n(l)。定義各層間連接權矩陣，第I層連接第1+1層的連接權矩 陣為W(l)=W(l)ij n(l) x n(l+1)(l=1 , 2，L-1)，初始化各連接權矩陣的元素值。(3) 輸入允許誤差£和學習率n ,初始化迭代計算次數(shù)t=1，學習樣本序號k=1。(4) 取第 k 個學習樣本(Xk，Y*k )，Xk=(x1k，x2k，xnk)，Y*k =(y*1k，y*2k，y *mk )

5、。( 5)由 Xk 進行正向傳播計算，計算輸入層各節(jié)點的輸出為O(l)jk=f (xjk) (j=1, 2,，n) (1)逐層計算各層的各節(jié)點輸入和輸出為I(l)jk=n(l-1)i =1 工 w(l-1)ij O(l-1)ik (2)O(l)jk=f(l(l)jk ) (l=2，L;j=1 , 2,，n(l)(3)(6) 計算輸出層(第L 層)的各輸出節(jié)點誤差為yjk=O(l)k ( 4)Ejk=12(y*jk-yjk)2 (j=1, 2，m) (5)(7) 若對N個學習樣本的任一樣本k有Ejk w & (j=1 , 2，m),則學習過程結束；否 則，進行誤差反向傳播修改各連接權矩陣

6、。(8) 誤差反向傳播計算。修改第L-1 層隱含層至輸出層(第 L 層)的連接權矩陣為3 ( L)jk =-(y*jk-yjk) f (l(L)jk )( 6)w(L-1)ij (t)=n3(L+1)ji O(L)ik ( 7)w(L-1)ij (t+1)=w(L-1)ij (t)+ w(L-1)ij (t)(8)(j=1 , 2,，m； i=1 , 2,，n(L-1) 反向逐層修改連接各隱含層的連接權矩陣：3( l)jk =f(l(l)jk )n(l+1)q=1 2 3 (l+1) qk w(l) jq( 9)w(l-1)ij (t)=-n 3 (l)jkO(l-1)ik ( 10)w(l-

7、1)ij (t+1)=w(l-1)ij (t)+ w(l-1)ij (t) (11)(I=L-1 ,，2, 1; j=1 , 2,，n(l) ; i=1 , 2，n(1-1)(9) k=k+1(modN) ， t=t+1 轉步驟( 4)。3 樣本選取與模型設計3.1 樣本選取和分析本文主要針對滬深 300 指數(shù)的日內高頻數(shù)據(jù),對其收益率進行建模和預測。所用數(shù)據(jù)全部 來自同花順股票交易系統(tǒng), 采用滬深 300 指數(shù) 2008 年 7 月 1 日至 9 月 18 日每日的 1 分 鐘高頻數(shù)據(jù) , 共 13817 個有效樣本,其中包括 10658 個學習樣本和 3159 個測試樣本。本文的研究對象是

8、高頻金融時間序列的收益率,并采用下面的公式來表示：Rt(i)= Pt-Pt-iPt-ii=1 , 2,，n (12)式中： Rt 為滬深 300 指數(shù)時刻(以 1 分鐘為單位)的收益率， Pt 為 t 時刻的收盤價格， Pt-i 為 t-i 時刻的收盤價格。在金融文獻中,資本資產定價模型( CAPM )理論就假定資產收益率序列是不可預測的,應 沒有自相關性。零自相關系數(shù)的檢驗被用來作為有效市場假定是否成立的判定工具。然而, 股價的決定方式和指數(shù)收益率的計算方式可導致在觀察到的收益率序列中有自相關性, 尤其 是分析高頻數(shù)據(jù)時。 為研究樣本時期內高頻金融時間序列的計量統(tǒng)計特點, 本文采用 Evie

9、ws 對該數(shù)據(jù)進行相關性檢驗,并得到高頻金融數(shù)據(jù)波動率自相關及偏相關分析如表 1 所示：« I高頻數(shù)據(jù)收益率相關性檢騎表AultJCiLjrFa ImI i uhI 'or 11 >11 - ur trS"|上111n .蘆&之8.jo口 ,自4<_»ItjU11o加)yClrorIeLI127401S3IflD102f 1a1衛(wèi)OLtots*1 3aI IAf1 44J11七1yen；iri! 7I16u 1啟11兮白4口1SO171-<：Tr il *J *DO3323a 8 JI4MJa nos nT(1i13 87In O

10、4tfIn niH<-O LXJSeoo $-IU Uihj0 039innjic4nCM曰o liQ f ?gO I" 2Q CKJilO-O LIJ! V-o mft CLOU# O I3&S o r Hi I47 PW O £»3O tK» «i ULft. O (XK o n?o o fl 1 2C EKJ2 ru* o ijm o m i n mov m 1O 022 n UTMo I I 1 o薩鼻"f *11 口i in4 4 G OOO &<i4? 4 口 ODQ Wti O t«

11、Xl 61 出3 O dJU 6? J r o ODO fi Q CWCMl 已 1 7 4 Li I JLM 6B39 < 0 DOO 召GST O HOCisuc f ro«tl m t?m n 產斗口 E77 3 71 F&LMj u4 14< I| H4fi 型 丁肩作I 777 呂 戶呦2 * FT J rrn?亍 /74 j 1 F7O® s roi i o mifi ? 戸刨右Q wi y n7 nli rm： u uoo o nm o notO LILJO n ooo n nm LUJ e goU I K i O I Ol O OCKJ

12、a aoa u uuu Q QDC o nm o aoci o «>xj o ocm n mi 心0UU O CMTH n ncm尸/ £J LXJU 'GA 2 O COO ziriT v n o a i從表1可以發(fā)現(xiàn)，在0.05的臨界水平下，高頻金融時間序列收益率與其37階以內的滯后項存在較為顯著的相關性，但是與37階以后的滯后項不存在明顯的相關性。因此，在對高頻金融時間序列收益率進行建模時，可以選擇當前收益率及其37階滯后項作為變量。3.2輸入出層的向量確定神經網(wǎng)絡不需要任何已知的統(tǒng)計或數(shù)學知識描述輸入一輸出模式間的映像，它是根據(jù)已 選取的樣本數(shù)據(jù)，通過

13、學習和訓練，憑自身的網(wǎng)絡結構實現(xiàn)對信息的記憶，然后對測試樣本進行預測。因此，在神經網(wǎng)絡訓練時，訓練數(shù)據(jù)應包含所研究對象的全部模式。即，本文輸 入向量的各個分量應該選取能充分反映滬深300指數(shù)收益率的定量指標。通過對高頻金融時間序列波動率相關性表的研究，確立了 38個輸入層節(jié)點(神經元)，包括時刻的收益率 及其前37分鐘每分鐘的收益率，即 Rt(1)、Rt(2)、Rt(37)、Rt(38)。輸出層是對基于高頻數(shù)據(jù)的收益率進行預測，即以時刻的滬深300指數(shù)收益率作為輸出神經元。輸入及輸出變量的樣本數(shù)據(jù)見表2:表2輸入及輸出變量樣本數(shù)據(jù)片斷高頻數(shù)據(jù)時點 Rt(1) Rt(2) Rt(3)Rt(38)

14、 Rt+1第 1 分鐘 0.002643 0.002564 0.002852 0.011275 0.002858第 2 分鐘 0.002858 0.005509 0.005430 0.013909 -0.00079第 3 分鐘-0.00079 0.002068 0.004717 0.0112150 -0.00125 3.3隱層神經元數(shù)目的確定隱層神經元負責實現(xiàn)非線性樣本的線性轉換，所以在 BP 網(wǎng)絡設計中具有十分重要的作用。 隱含層層數(shù)和節(jié)點個數(shù)可自行指定， 一般在神經網(wǎng)絡中選擇一層隱含層， 而確定合適的隱層 神經元數(shù)目是設計 BP 網(wǎng)絡的關鍵。在以往的眾多研究中，人們總結出一些關于確定隱層神

15、 經元個數(shù)的經驗公式，其中，Mirchadani認為隱含層單元數(shù) J與輸入模式P的關系為：J=log2 P。本文根據(jù)Clementine神經網(wǎng)絡訓練方法中的快速訓練法，運用多層感知機模型， 確定為一層隱含層，而隱含層的節(jié)點數(shù)目依據(jù)公式 max(3， (ni+n0)/20) ，其中： ni 為輸入節(jié)點數(shù)； n0 為輸出節(jié)點數(shù)。根據(jù)以上公式，可以計算隱含層的神經元數(shù)目為3。3.4 激活函數(shù)的確定 激活函數(shù)是一個神經元及網(wǎng)絡的核心，網(wǎng)絡的預測能力在很大程度上取決于所采用的激活函數(shù)。激活函數(shù)f(x)的作用是激活神經元，使其對輸入產生響應。在實際應用中，可根據(jù) 需要選取適當?shù)募せ詈瘮?shù)，常用的是Sigmo

16、id類型的函數(shù)。由于激活函數(shù)f(x)所具有的非線性特征， 使 BP 算法訓練的多層前饋式網(wǎng)絡建立了從輸入到輸出的高度非線性映射，可以表達復雜的客觀現(xiàn)象。而且，由于其導數(shù)常常可用 f(x) 自身表示，所以在誤差反向傳播的過程 中，不需要另外計算激活函數(shù)的導數(shù)，大幅度地減少了計算量，提高了網(wǎng)絡的效率。在實際 應用中，通過對股票樣本數(shù)據(jù)的學習訓練，可以發(fā)現(xiàn)采用 f(x)=tan!1/1+exp(-x)" 作為激活函 數(shù)，網(wǎng)絡的收斂速度最快。4 實證結果與分析本文運用 SPSS Clementine 數(shù)據(jù)挖掘軟件，以高頻數(shù)據(jù)為樣本對滬深 300 指數(shù)的日內收 益率構建 BP 神經網(wǎng)絡模型。

17、其基本過程是， 首先將 2008 年7 月1 日至 8 月 29 日的 10658 個樣本數(shù)據(jù)作為學習和訓練樣本，建立一個三層 BP 神經網(wǎng)絡模型，然后用剩余的 3159 個 樣本數(shù)據(jù)作為測試樣本， 來進行模式識別， 再判斷神經網(wǎng)絡模型對滬深指數(shù)收益率的擬合程 度及預測效果。用樣本數(shù)據(jù)對神經網(wǎng)絡進行訓練時，需要網(wǎng)絡訓練參數(shù)進行設置，本文確定動力因子a=0.9,較高的a值有助于避免網(wǎng)絡的局部極小值，使神經網(wǎng)絡的權數(shù)調整更加平滑；預測精 度為 90%，迭代周期為 250 次，控制誤差取為 0.0001。最大容許誤差設為 0.005，學習步長 為 0.01，最大訓練次數(shù)為 500。利用上述神經網(wǎng)絡及

18、其網(wǎng)絡規(guī)則，可以得到預測精度為 98.72%的神經網(wǎng)絡模型?；谝褬?建的 BP 神經網(wǎng)絡模型 , 再將其對剩余 3159 個測試樣本進行判斷， 來驗證系統(tǒng)的預測結果。 在 Clementine 中，將 BP 神經網(wǎng)絡加入到測試樣本的數(shù)據(jù)流中，可以得到測試樣本相對應 的滬深指數(shù)收益率預測值。再將收益率預測值和收益率實際值做比較分析，如圖2 所示：00 2收益率實際値與預測值比較從圖2可以發(fā)現(xiàn)，神經網(wǎng)絡模型較好地擬合了測試樣本的收益率，僅僅有幾個時點預測效果不佳。由于測試樣本較大， 為了更加直觀清楚地判斷收益率的預測效果，選取了預測周期第一天的收益率實際值與預測值進行比較，得到圖3的時間序列圖：

19、圖3股指收益率預測値與實際值時序比較圖由圖3可見，BP神經網(wǎng)絡對于滬深 300指數(shù)收益率的擬合效果相當不錯，就整體趨勢而 言，網(wǎng)絡模型基本上模擬出實際收益率的特征，說明BP神經網(wǎng)絡對于指數(shù)收益率的預測能力是較強的。為檢驗模型的預測效果，引入MAPE指標，MAPE平均相對誤差絕對值的定義為：MAPE=1 nni =1 工 yi-y 贊 i yi(13)式中，yi為實際值，y贊i為預期值。根據(jù)上述公式，計算得到BP神經網(wǎng)絡3159個測試樣本的 MAPE=1.66% ,表明神經網(wǎng)絡的 預測精度非常高， BP 神經網(wǎng)絡對于高頻金融時間序列收益率的預測是有效的，而且預測效 果非常好。5 結論與啟示股票市

20、場高頻數(shù)據(jù)是當前金融計量研究的熱點問題， 基于高頻數(shù)據(jù)的股指日內收益率建模與 預測對于深入研究證券市場具有十分重大的意義。 本文采用數(shù)據(jù)挖掘中的神經網(wǎng)絡對高頻數(shù) 據(jù)進行建模與預測， 實證研究表明其預測能力是非常有效的， 可以有效地模擬出短期的滬深 300 股票指數(shù)時間序列收益率的趨勢特征。 這不僅僅驗證了數(shù)據(jù)挖掘技術在高頻數(shù)據(jù)中應用 的可行性， 而且也為進一步測算股票市場波動率與金融領域的衍生工具定價、 風險管理與控 制及投資組合等提供了一個可靠的工具。參考文獻1 Ruey S.Tsay.Analysis of Financcial Time SeriesM. 北京：機械工業(yè)出版社， 2006. 234-263.2 Atiya A F.Bankrucy prediction for credit risk using neural networks: A survey and new results.Neural Networks,IEEE Transactions on,2001,(12):929-935.3 Chen J F.Analysis of an adaptive time-