《金融大數(shù)據(jù)分析》課件第13章 人工神經(jīng)網(wǎng)絡算法

《Python金融數(shù)據(jù)挖掘》高等教育出版第十三章人工神經(jīng)網(wǎng)絡算法【知識框架圖】人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡發(fā)展歷程人工神經(jīng)網(wǎng)絡模型模型構成模型數(shù)學描述權重調整方法人工神經(jīng)網(wǎng)絡分類算法流程與實現(xiàn)綜合應用目錄Contents第一節(jié)人工神經(jīng)網(wǎng)絡模型第二節(jié)人工神經(jīng)網(wǎng)絡分類算法第三節(jié)案例本章學習目標了解人工神經(jīng)網(wǎng)絡的發(fā)展歷程、基本工作模型。掌握后向傳播、激活函數(shù)、權重調整、梯度下降等重要概念。掌握人工神經(jīng)網(wǎng)絡分類算法的原理與實現(xiàn)方法。需求背景人工神經(jīng)網(wǎng)絡（artificialneuralnetwork，ANN）是一種人腦的抽象計算模型，是一種模擬人腦思維的計算機建模方式。生物神經(jīng)元是大腦處理信息的基本單元，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡。01人工神經(jīng)網(wǎng)絡模型1943年，心理學家W.S.McCulloch和數(shù)理邏輯學家W.Pitts建立了神經(jīng)網(wǎng)絡數(shù)學模型。他們通過該模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結構方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡研究的時代。1958年，F(xiàn).Rosenblatt提出了感知模型，該模型是由閾值神經(jīng)元組成的，它試圖模擬動物和人的感知和學習能力。Minkey和Papert于1969年出版了《感知機》一書，提出感知機不可能實現(xiàn)復雜的邏輯函數(shù)，他們認為感知機的功能是有限的，不能解決如XOR這樣的基本問題，而且多層的網(wǎng)絡還不能找到有效的計算方法，進而否定了這一模型。直到1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播算法，克服了當初阻礙感知機繼續(xù)發(fā)展的重要障礙。與此同時，馮諾依曼機在處理視覺、聽覺、聯(lián)想記憶都方面都體現(xiàn)出了局限性，促使人們開始尋找更加接近人腦的計算模型，于是又產(chǎn)生了對神經(jīng)網(wǎng)絡研究的熱潮。神經(jīng)元模型與單層神經(jīng)網(wǎng)絡：人工神經(jīng)網(wǎng)絡中最基本的成分是神經(jīng)元模型，由W.S.McCulloch和W.Pitts發(fā)布的，也稱為“MP神經(jīng)元模型”，該模型如圖13-3所示：圖13-3MP神經(jīng)元模型

多層人工神經(jīng)網(wǎng)絡模型：感知器本質上是一個若干各權重與信號乘積的線性組合，無法解決非線性問題。在此基礎上加入隱含層，發(fā)展出了多層感知器，也稱為多層神經(jīng)網(wǎng)絡，其模型結構如圖13-4所示。多層神經(jīng)網(wǎng)絡由于加入了隱含層，模型的表達能力增強，可以靈活的應用于分類、聚類和回歸問題，圖13-4多層人工神經(jīng)網(wǎng)絡結構圖圖13-4所示的神經(jīng)網(wǎng)絡中最左邊的一層的為輸入層，包含4個神經(jīng)元的輸入，中間的一層為隱含層，包含4個神經(jīng)元，最后一層為輸出層。輸入層的神經(jīng)元作為隱含層的輸入，同時隱含層的神經(jīng)元也是輸出層神經(jīng)元的輸入，因此這也稱為前饋神經(jīng)網(wǎng)絡。輸入層的節(jié)點數(shù)要與特征的維度進行匹配，隱含層的節(jié)點數(shù)是要人為設置的，輸出層的節(jié)點數(shù)要與目標的維度進行匹配。假設輸入層特征的輸入數(shù)據(jù)為矩陣X(1)，權重為矩陣W(1)，偏置值為向量θ(1)；隱含層神經(jīng)元的值為矩陣X(2)，權重為矩陣W(2)，偏置值為向量θ(2)；輸出為向量y，f為激活函數(shù)，最終輸出y的推導公式如下：神經(jīng)網(wǎng)絡實際上就是將多個感知機進行組合，用不同的方法進行連接并作用在不同的激活函數(shù)上。激活函數(shù)f一般使用Sigmoid函數(shù)或tanh函數(shù)。Sigmoid函數(shù)定義為：之所以選擇Sigmoid函數(shù)，主要是因為它的函數(shù)圖像和正態(tài)高斯分布的分布函數(shù)圖像非常接近，如圖13-5所示。日常生活中的大多數(shù)現(xiàn)象，都是符合正態(tài)分布的。以神經(jīng)元的反應來說，低于閾值太多，刺激不夠強，感受不到；超出閾值太多，刺激太強，感受也會出錯(生物可能會昏厥或休克)；而在一個區(qū)間內(nèi)，感受和刺激強弱基本成正比。這正好符合正態(tài)分布和Sigmoid函數(shù)圖像。Sigmoid函數(shù)的另一個好處是計算比較簡單，降低了算法計算開銷。通過參數(shù)與激活函數(shù)來擬合特征與目標之間的真實函數(shù)關系，使得預測與真實模型逼近。使用損失函數(shù)來評價模型擬合的程度，最小平方誤差準則（MSE）是其中的一個常用的損失函數(shù)：其中，G是構建的模型：輸入矩陣X輸出一個預測值G(X)。yi為目標值。當預測值G(X)和目標值Y的歐式距離越大，損失就越大，反之越小。通過優(yōu)化模型參數(shù)，讓損失函數(shù)的值達到最小。神經(jīng)網(wǎng)絡常用的一階優(yōu)化算法是梯度下降：在一個方向上更新和調整模型的參數(shù)，對神經(jīng)網(wǎng)絡模型中權重進行更新，獲得損失函數(shù)的最小值。權重和偏置的更新規(guī)則：

其中，L為損失函數(shù)。η稱為學習率，作用是如果損失函數(shù)使用的是均方差，那么當預測值與實際值偏差比較大時，均方差的值將會非常大,可能會造成損失函數(shù)出現(xiàn)大幅度的偏移，因此η用來調整搜索的步長。在人工神經(jīng)網(wǎng)絡模型中，對損失函數(shù)用梯度下降法進行迭代優(yōu)化求極小值的過程使用的是BP（BackPropagation，反向傳播）神經(jīng)網(wǎng)絡算法。BP算法由信號的正向傳播與誤差的反向傳播兩部分組成。正向傳播即信號由網(wǎng)絡的輸入層經(jīng)隱層傳遞至輸出層，得到網(wǎng)絡的輸出。若實際輸出與期望輸出不一致，則傳入誤差反向傳播階段。在反向傳播階段，將輸出誤差經(jīng)由隱含層向輸入層反傳，從而獲得各層各節(jié)點的誤差信號，依此信號對網(wǎng)絡連接權值進行調整。反復執(zhí)行信號的正向傳播與誤差的反向傳播，直至網(wǎng)絡輸出誤差小于預先設定的閾值，或進行到預先設定的學習次數(shù)為止。02人工神經(jīng)網(wǎng)絡分類算法人工神經(jīng)網(wǎng)絡BP算法流程圖：圖13-6人工神經(jīng)網(wǎng)絡BP算法流程圖【例13-1】根據(jù)以上分析，繼續(xù)對決策樹分類算法一章中某保險產(chǎn)品被加入購物車后是否實際成交的問題進行分類預測。教材方法程序演示。基于scikit-learn的人工神經(jīng)網(wǎng)絡算法及其程序演示多層感知器分類器（Multi-layerPerceptronclassifier）MLPClassifier(hidden_layer_sizes=(100,),

activation='relu',

*,

solver='adam',

alpha=0.0001,

batch_size='auto',

learning_rate='constant',

learning_rate_init=0.001,

power_t=0.5,

max_iter=200,

shuffle=True,

random_state=None,

tol=0.0001,

verbose=False,

warm_start=False,

momentum=0.9,

nesterovs_momentum=True,

early_stopping=False,

validation_fraction=0.1,

beta_1=0.9,

beta_2=0.999,

epsilon=1e-08,

n_iter_no_change=10,

max_fun=15000)參數(shù)參數(shù)參數(shù)參數(shù)參數(shù)參數(shù)參數(shù)參數(shù)屬性屬性屬性方法Fit(X,y)predict(X)03案例【例13-2】鑒于股票序列的非線性特征，可以將神經(jīng)網(wǎng)絡用于股票收益預測這一領域，下面通過中國平安股票數(shù)據(jù)評價它的預測性能。記錄如表13-1所示。表13-1中國平安A股歷史數(shù)據(jù)時間開盤最高最低收盤漲幅………………………………2017-10-30,一6465.363.1364.060.20%2017-10-31,二63.564.563.3164.360.47%2017-11-01,三64.4766.2863.7264.12-0.37%2017-11-02,四64.264.396364.140.03%2017-11-03,五6464.8463.4864.450.48%2017-11-06,一64.6964.762.9264.01-0.68%2017-11-07,二64.366.5764.365.372.12%2017-11-08,三65.466.3564.3264.61-1.16%………………………………2019-04-22,一87.2288.0984.584.96-2.34%2019-04-23,二84.7587.3884.586.061.29%2019-04-24,三86.0886.8883.5585.03-1.20%2019-04-25,四84.3584.9983.1583.4-1.92%2019-04-26,五8384.4382.883.11-0.35%2019-04-29,一83.8887.1383.386.433.99%2019-04-30,二86.587.4884.5386.1-0.38%

表13-2輸入與輸出變量計算公式變量名稱計算公式RDP5RDP10RDP15RDP20EMA15RDP注預測的性能通過以下的統(tǒng)計指標來衡量：均方誤差和平均絕對誤差。表13-3描述了這些準則的定義。它們是真實值與預測值之間的偏差度量，其值越小表示預測性能越好。指標名稱計算公式均方誤差（MSE）平均絕對誤差（MAE）注n表示樣本個數(shù)，y與分別表示真實值與預測值表13-3性能指標與計算公式數(shù)據(jù)預處理程序演示數(shù)據(jù)集切分基于Scikit-learn的方法程序演示數(shù)據(jù)預處理程序演示數(shù)據(jù)集切分層感知器回歸器：參數(shù)、屬性、方法基本多層感知器分類器一樣MLPRegressor(hidden_layer_sizes=(100,),activation='relu',*,solver='adam',alpha=0.0001,batch_size='auto',learning_rate='constant',learning_rate_init=0.001,power_t=0.5,max_iter=200,shuffle=True,random_state=None,tol=0.0001,verbose=False,warm_start=False,momentum=0.9,nesterovs_momentum=True,early_stopping=False,validation_fraction=0.1,beta_1=0.9,beta_2=0.999,epsilon=1e-08,n_iter_no_change=10,max_fun=15000)目前，神經(jīng)網(wǎng)絡的發(fā)展非常迅速，從理論上對它的計算能力、對任意連續(xù)函數(shù)的逼近能力、學習理論以及動態(tài)網(wǎng)絡的穩(wěn)定性分析上都取得了豐碩的成果。在應用上已迅速擴展到許多重要領域，如模式識別與圖像處理中的手寫體字符識別、語音識別、人臉識別、基因序列分析、控制及優(yōu)化等。另外，在金融中的股票市場預測、借貸風險管理、信用卡欺騙檢測等應用領域，也收到了較好的效果。本章小結本章我們介紹了人工神經(jīng)網(wǎng)絡算法的基本概念和原理，學會了用Python代碼實現(xiàn)人工神經(jīng)網(wǎng)絡算法。重要概念1.人工神經(jīng)網(wǎng)絡2.神經(jīng)元3.輸入層4.隱含層5.輸出層6.激活函數(shù)7.BP反向傳播復習思考題1.自行下載某股票近一年的行情數(shù)據(jù)，采用人工神經(jīng)網(wǎng)絡算法預測該股票價格的走勢。進一步，選取不同的隱藏層數(shù)（hiddenlayer）、激活函數(shù)（activationfunction）、最優(yōu)算法類型（algorithm）和學習率對模型比較。2.Iris數(shù)據(jù)集（iris.csv）是常用的分類實驗數(shù)據(jù)集。數(shù)據(jù)集包含150個數(shù)據(jù)集，分為3類，每類50個數(shù)據(jù)，每個數(shù)據(jù)包含4