BP神經(jīng)網(wǎng)絡(luò)算法原理課件

1、BP神經(jīng)網(wǎng)絡(luò)算法原理1 2.4 BP2.4 BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法 BP神經(jīng)網(wǎng)絡(luò)算法原理2 概述概述 RumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP網(wǎng)絡(luò)的誤差反網(wǎng)絡(luò)的誤差反 向后傳向后傳BP(Back Propagation)BP(Back Propagation)學(xué)習(xí)算法學(xué)習(xí)算法 BPBP算法基本原理算法基本原理 利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差， 再用這個誤差估計更前一層的誤差，如此一層一層的反 傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David

2、 RumelhartRumelhart BP神經(jīng)網(wǎng)絡(luò)算法原理3 2.4.1 BP2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 p三層三層BPBP網(wǎng)絡(luò)網(wǎng)絡(luò) 1 x 2 x 1 N x 1 y 2 y 2 N y 1 z 2 z 3 N z 1 2 3 N 1 T 2 T ih w hj w - - - - - 隱含層輸出層輸入層 3 N T BP神經(jīng)網(wǎng)絡(luò)算法原理4 2.4.1 BP2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 激活函數(shù)激活函數(shù) 必須處處可導(dǎo) 一般都使用一般都使用S S型函數(shù)型函數(shù) 使用使用S S型激活函數(shù)時型激活函數(shù)時BPBP網(wǎng)絡(luò)輸入與輸出關(guān)系網(wǎng)絡(luò)輸入與輸出關(guān)系 輸入 輸出 1122 .

3、 nn netx wx wx w 1 f() 1e net ynet BP神經(jīng)網(wǎng)絡(luò)算法原理5 2.4.1 BP2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 輸出的導(dǎo)數(shù) 2 11 f ()(1) 1e(1e) -netnet netyy 根據(jù)根據(jù)S S型激活函數(shù)的圖形可知型激活函數(shù)的圖形可知, ,對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，應(yīng)該將對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，應(yīng)該將netnet的值盡的值盡 量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) BP神經(jīng)網(wǎng)絡(luò)算法原理6 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 p學(xué)習(xí)的過程：學(xué)習(xí)的過程： 神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng) 絡(luò)的連接權(quán)值

4、,以使網(wǎng)絡(luò)的輸出不斷地接近期 望的輸出。 p學(xué)習(xí)的本質(zhì)：學(xué)習(xí)的本質(zhì)： 對各連接權(quán)值的動態(tài)調(diào)整 p學(xué)習(xí)規(guī)則：學(xué)習(xí)規(guī)則： 權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng) 元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。 BP神經(jīng)網(wǎng)絡(luò)算法原理7 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法- -算法思算法思 想想 學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí) 核心思想：核心思想： 將輸出誤差以某種形式通過隱層向輸入層逐層反傳 學(xué)習(xí)的過程：學(xué)習(xí)的過程： 信號的正向傳播 誤差的反向傳播 將誤差分?jǐn)偨o各層的所有將誤差分?jǐn)偨o各層的所有 單元各層單元的誤單元各層單元的誤 差信號差信號 修正各單元權(quán)修正

5、各單元權(quán) 值值 BP神經(jīng)網(wǎng)絡(luò)算法原理8 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法- -學(xué)習(xí)過學(xué)習(xí)過 程程 正向傳播：正向傳播： 輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段：判斷是否轉(zhuǎn)入反向傳播階段： 若輸出層的實際輸出與期望的輸出（教師信號）不 符 誤差反傳誤差反傳 誤差以某種形式在各層表示修正各層單元 的權(quán)值 網(wǎng)絡(luò)輸出的誤差減少到可接受的程度網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止 BP神經(jīng)網(wǎng)絡(luò)算法原理9 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 輸入層有n個

6、神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元 變量定義變量定義 輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量; 12 , n xxxx 12 , p hihihihi 12 , p ho hohoho 12 , q yiyiyiyi 12 , q yoyoyoyo 12 , q ddd o d BP神經(jīng)網(wǎng)絡(luò)算法原理10 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 輸入層與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個數(shù): 激活函數(shù): 誤差函數(shù)： ih w

7、 f( ) ho w h b 1,2,km o b 2 1 1 ( )( ) 2 q oo o edkyo k BP神經(jīng)網(wǎng)絡(luò)算法原理11 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第一步，網(wǎng)絡(luò)初始化第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1） 內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計 算精度值 和最大學(xué)習(xí)次數(shù)M。 第二步第二步, ,隨機選取第隨機選取第 個輸入樣本及對應(yīng)期個輸入樣本及對應(yīng)期 望輸出望輸出 k 12 ( )( ),( ),( ) n kx kx kx kx 12 ( )( ),( ),( ) q kd kdkdk o d BP神經(jīng)網(wǎng)絡(luò)算法原理1

8、2 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第三步，計算隱含層各神經(jīng)元的輸入和輸?shù)谌剑嬎汶[含層各神經(jīng)元的輸入和輸 出出 1 ( )( )1,2, n hihih i hikw x kbhp ( )f( )1,2, hh ho khi khp 1 ( )( )1,2, p ohoho h yi kw ho kboq ( )f( )1,2, oo yo kyi koq BP神經(jīng)網(wǎng)絡(luò)算法原理13 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出， 計算誤差函數(shù)對輸出層的各神經(jīng)

9、元的偏導(dǎo)計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo) 數(shù)數(shù) 。 o hooho eeyi wyiw ( ) ( ) ( ) p hoho oh h hoho w ho kb yi k ho k ww 2 1 1 ( ( )( ) 2 ( ( )( )( ) ( ( )( )f( )( ) q oo o ooo oo oooo d kyo k e d kyo k yo k yiyi d kyo kyi kk ( ) o k BP神經(jīng)網(wǎng)絡(luò)算法原理14 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 ( )( ) o oh hooho eeyi k ho k wyiw 1 ( ) (

10、) ( ) ( ) ( ) h ihhih n ihih hi i ihih eehik whikw w x kb hik x k ww p第五步，利用隱含層到輸出層的連接權(quán)第五步，利用隱含層到輸出層的連接權(quán) 值、輸出層的值、輸出層的 和隱含層的輸出計算誤和隱含層的輸出計算誤 差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 ( ) h k ( ) o k BP神經(jīng)網(wǎng)絡(luò)算法原理15 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 2 1 2 1 2 11 1 ( )( ) ) ( )2 ( )( )( ) 1 ( )f( ) ) ( )2 ( )( ) 1

11、 ( )f( ) ) ( )2 ( )( ) q oo ho hhh q oo ho hh qp ohoho hoh hh d kyo k eho k hi kho khi k d kyi k ho k ho khi k d kw ho kb ho k ho khi k 1 1 ( ) ( )( )f ( ) ( ) ( )f ( )( ) q h oooho o h q ohohh o ho k d kyo kyi kw hi k k whi kk BP神經(jīng)網(wǎng)絡(luò)算法原理16 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第六步，利用輸出層各神經(jīng)元的第六步，利用輸出層各

12、神經(jīng)元的 和隱和隱 含層各神經(jīng)元的輸出來修正連接權(quán)含層各神經(jīng)元的輸出來修正連接權(quán) 值值 。 1 ( )( )( ) ( )( ) hooh ho NN hohooh e wkk ho k w wwk ho k ( ) o k ( ) ho wk BP神經(jīng)網(wǎng)絡(luò)算法原理17 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第七步，利用隱含層各神經(jīng)元的第七步，利用隱含層各神經(jīng)元的 和輸和輸 入層各神經(jīng)元的輸入修正連接權(quán)。入層各神經(jīng)元的輸入修正連接權(quán)。 ( ) h k 1 ( ) ( )( ) ( ) ( ) ( ) ( ) h ihhi ihhih NN ihihhi eehi

13、 k w kk x k whi kw wwk x k BP神經(jīng)網(wǎng)絡(luò)算法原理18 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 第八步，計算全局誤差第八步，計算全局誤差 第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差 達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)， 則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對 應(yīng)的期望輸出，返回到第三步，進入下一輪學(xué)應(yīng)的期望輸出，返回到第三步，進入下一輪學(xué) 習(xí)。習(xí)。 2 11 1 ( )( ) 2 qm oo ko Edky k m

14、 BP神經(jīng)網(wǎng)絡(luò)算法原理19 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 BPBP算法直觀解釋算法直觀解釋 情況一直觀表達 當(dāng)誤差對權(quán)值的偏當(dāng)誤差對權(quán)值的偏 導(dǎo)數(shù)大于零時，權(quán)值導(dǎo)數(shù)大于零時，權(quán)值 調(diào)整量為負，實際輸調(diào)整量為負，實際輸 出大于期望輸出，出大于期望輸出， 權(quán)值向減少方向調(diào)整，權(quán)值向減少方向調(diào)整， 使得實際輸出與期望使得實際輸出與期望 輸出的差減少。輸出的差減少。 who ho e w e 0，此時，此時who0 BP神經(jīng)網(wǎng)絡(luò)算法原理20 2.4.2 BP2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 BPBP算法直解釋算法直解釋 情況二直觀表達 當(dāng)誤差

15、對權(quán)值的偏導(dǎo)數(shù)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù) 小于零時，權(quán)值調(diào)整量小于零時，權(quán)值調(diào)整量 為正，實際輸出少于期為正，實際輸出少于期 望輸出，權(quán)值向增大方向望輸出，權(quán)值向增大方向 調(diào)整，使得實際輸出與期調(diào)整，使得實際輸出與期 望輸出的差減少。望輸出的差減少。 ho e w e 0 who BP神經(jīng)網(wǎng)絡(luò)算法原理21 2.4.3 BP2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) MATLABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功 能能 函函 數(shù)數(shù) 名名功功 能能 newff()生成一個前饋生成一個前饋BP網(wǎng)絡(luò)網(wǎng)絡(luò) tansig()雙曲

16、正切雙曲正切S型型(Tan-Sigmoid)傳輸函數(shù)傳輸函數(shù) logsig()對數(shù)對數(shù)S型型(Log-Sigmoid)傳輸函數(shù)傳輸函數(shù) traingd()梯度下降梯度下降BP訓(xùn)練函數(shù)訓(xùn)練函數(shù) BP神經(jīng)網(wǎng)絡(luò)算法原理22 2.4.3 BP2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) MATLABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 newff() 功能功能 建立一個前向建立一個前向BPBP網(wǎng)絡(luò)網(wǎng)絡(luò) 格式格式 net = newff(PR net = newff(PR，S1 S2.SN1S1 S2.SN1，TF1 T

17、F1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF) 說明說明 net net為創(chuàng)建的新為創(chuàng)建的新BPBP神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)；PRPR為網(wǎng)絡(luò)輸入為網(wǎng)絡(luò)輸入 取向量取值范圍的矩陣；取向量取值范圍的矩陣；S1 S2S1 S2SNlSNl表示網(wǎng)絡(luò)表示網(wǎng)絡(luò) 隱含層和輸出層神經(jīng)元的個數(shù)；隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFl TF2TFN1TFN1 表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為 tansigtansig；BTFBTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為 trainlmtrainlm；BLFBLF表示

18、網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認為表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認為 learngdmlearngdm；PFPF表示性能數(shù)，默認為表示性能數(shù)，默認為msemse。 BP神經(jīng)網(wǎng)絡(luò)算法原理23 2.4.3 BP2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) MATLABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 tansig() 功能功能 正切正切sigmoidsigmoid激活函數(shù)激活函數(shù) 格式格式 a = tansig(n) a = tansig(n) 說明說明 雙曲正切雙曲正切SigmoidSigmoid函數(shù)把神經(jīng)元的輸入范圍從

19、函數(shù)把神經(jīng)元的輸入范圍從(-(-， +)+)映射到映射到(-1(-1，1)1)。它是可導(dǎo)函數(shù)，適用于。它是可導(dǎo)函數(shù)，適用于BPBP訓(xùn)練的神經(jīng)元。訓(xùn)練的神經(jīng)元。 logsig() 功能功能 對數(shù)對數(shù)SigmoidSigmoid激活函數(shù)激活函數(shù) 格式格式 a = logsig(N) a = logsig(N) 說明對數(shù)說明對數(shù)SigmoidSigmoid函數(shù)把神經(jīng)元的輸入范圍從函數(shù)把神經(jīng)元的輸入范圍從(-(-，+)+)映射映射 到到(0(0，1)1)。它是可導(dǎo)函數(shù)，適用于。它是可導(dǎo)函數(shù)，適用于BPBP訓(xùn)練的神經(jīng)元。訓(xùn)練的神經(jīng)元。 BP神經(jīng)網(wǎng)絡(luò)算法原理24 2.4.3 BP2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)

20、習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) 例例2-32-3，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BPBP神經(jīng)神經(jīng) 網(wǎng)絡(luò)對藥品的銷售進行預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)網(wǎng)絡(luò)對藥品的銷售進行預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù) 為為5 5，隱含層的激活函數(shù)為，隱含層的激活函數(shù)為tansigtansig；輸出層結(jié)點數(shù)為；輸出層結(jié)點數(shù)為1 1個，輸出層個，輸出層 的激活函數(shù)為的激活函數(shù)為logsiglogsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進行預(yù)測，并利用此網(wǎng)絡(luò)對藥品的銷售量進行預(yù)測， 預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷

21、售量來預(yù)測第四預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷售量來預(yù)測第四 個月的銷售量，如用個月的銷售量，如用1 1、2 2、3 3月的銷售量為輸入預(yù)測第月的銷售量為輸入預(yù)測第4 4個月的銷個月的銷 售量，用售量，用2 2、3 3、4 4月的銷售量為輸入預(yù)測第月的銷售量為輸入預(yù)測第5 5個月的銷售量個月的銷售量. .如此反如此反 復(fù)直至滿足預(yù)測精度要求為止。復(fù)直至滿足預(yù)測精度要求為止。 月份月份123456 銷量銷量205623952600229816341600 月份月份789101112 銷量銷量187314781900150020461556 BP神經(jīng)網(wǎng)絡(luò)算法原理25 2.4.3 BP2.

22、4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) %以每三個月的銷售量經(jīng)歸一化處理后作為輸入 P=0.5152P=0.51520.81730.81731.0000 ;1.0000 ; 0.8173 0.81731.00001.00000.7308;0.7308; 1.0000 1.00000.73080.73080.1390;0.1390; 0.7308 0.73080.13900.13900.1087;0.1087; 0.1390 0.13900.10870.10870.3520;0.3520; 0.1087 0.10870.35200.35200.0000;

23、0.0000; %以第四個月的銷售量歸一化處理后作為目標(biāo)向量 T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為0 ,1，隱含層有5個 神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活 函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí) 算法 net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd); net.trainParam.epochs=15000;net.trainParam.epochs=15000; net.trainParam.goal=0.01;net.trainParam.goal=0.01; %設(shè)置學(xué)習(xí)速率為0.1 LP.lr=0.1;LP.lr=0.1; net=train(net,P,T); net=train(net,P,T); BP神經(jīng)網(wǎng)絡(luò)算法原理26 2