人工神經(jīng)網(wǎng)絡課件

制造系統(tǒng)監(jiān)控中的人工智能技術

----人工神經(jīng)網(wǎng)絡2012.03制造系統(tǒng)監(jiān)控中的人工智能技術

----人工神經(jīng)網(wǎng)絡2012制造系統(tǒng)監(jiān)控中的人工智能概述WhatisAI?人工智能（ArtificialIntelligence,AI）是當前科學技發(fā)展的一門前沿學科，同時也是一門新思想，新觀念，新理論，新技術不斷出現(xiàn)的新興學科以及正在發(fā)展的學科。

它是在計算機科學，控制論，信息論，神經(jīng)心理學，哲學，語言學等多種學科研究的基礎發(fā)展起來的，因此又可把它看作是一門綜合性的邊緣學科。

它的出現(xiàn)及所取得的成就引起了人們的高度重視,并取得了很高的評價。有的人把它與空間技術，原子能技術一起并譽為20世紀的三大科學技術成就。制造系統(tǒng)監(jiān)控中的人工智能概述WhatisAI?它是在計制造系統(tǒng)監(jiān)控中的人工智能概述ArtificialIntelligenceAI--計算機科學的一個分支，是智能計算機系統(tǒng)，即人類智慧在機器上的模擬，或者說是人們使機器具有類似于人的智慧（對語言能理解、能學習、能推理）。

人工智能的非正式定義--研究如何用計算機來表示和執(zhí)行人類的智能活動，以模擬人腦所從事的推理、學習、思考、規(guī)劃等思維活動，并解決需要人類的智力才能處理的復雜問題，如醫(yī)療診斷、管理決策、下棋、自然語言理解等。制造系統(tǒng)監(jiān)控中的人工智能概述ArtificialIntel制造系統(tǒng)監(jiān)控中的人工智能概述研究人工智能的目的

基本目標：Makemachinessmarter；崇高目標：Understandwhatintelligenceis；

商業(yè)目標：Makemachinesuseful。

制造系統(tǒng)監(jiān)控中的人工智能概述研究人工智能的目的崇高目標：U制造系統(tǒng)監(jiān)控中的人工智能概述人工智能研究歷史

Aristotle，Bacon，Leibnitz，Boole，Godel，Turing，VonNeumann，McCulloch，Shannon

，McCarthy，制造系統(tǒng)監(jiān)控中的人工智能概述人工智能研究歷史Turing，制造系統(tǒng)監(jiān)控中的人工智能概述人工智能發(fā)展歷程

形成期（1956-1961）；成長期（1961-1979）；

快速發(fā)展期（20世紀80年代初）（agoldrush）穩(wěn)步增長期（20世紀80年代后期以來）制造系統(tǒng)監(jiān)控中的人工智能概述人工智能發(fā)展歷程成長期（196制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測診斷技術

專家系統(tǒng)模糊理論人工神經(jīng)網(wǎng)絡支持向量機實例推理、數(shù)據(jù)挖掘制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測診斷技術人工智能的廣泛應用1難題求解2自動規(guī)劃、調度與配置3機器定理證明4自動程序設計5機器翻譯6智能控制7智能管理8智能決策9智能通信10智能仿真人工智能的廣泛應用11智能CAD12智能制造13智能CAI14智能人機接口15模式識別16數(shù)據(jù)挖掘與數(shù)據(jù)庫中的知識發(fā)現(xiàn)17計算機輔助創(chuàng)新18計算機文藝創(chuàng)作19機器博弈20智能機器人11智能CAD制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測診斷應用實例

基于專家系統(tǒng)的故障診斷基于神經(jīng)網(wǎng)絡的刀具狀態(tài)識別基于模糊理論等的智能控制人工智能在計算機輔助設計等領域的應用利用人工智能進行數(shù)據(jù)挖掘制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測診斷應用實例人工神經(jīng)網(wǎng)絡基礎1生物神經(jīng)網(wǎng)2人工神經(jīng)元3人工神經(jīng)網(wǎng)絡的拓撲特性4存儲與映射5人工神經(jīng)網(wǎng)絡的訓練人工神經(jīng)網(wǎng)絡基礎1生物神經(jīng)網(wǎng)人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎生物神經(jīng)網(wǎng)1、構成胞體(Soma)樹突（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程生物神經(jīng)網(wǎng)1、構成胞體(Soma)樹突（Dendrite）胞生物神經(jīng)網(wǎng)3、六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。生物神經(jīng)網(wǎng)3、六個基本特征：人工神經(jīng)元神經(jīng)元是構成神經(jīng)網(wǎng)絡的最基本單元（構件）。人工神經(jīng)元模型應該具有生物神經(jīng)元的六個基本特性。

人工神經(jīng)元神經(jīng)元是構成神經(jīng)網(wǎng)絡的最基本單元（構件）。人工神經(jīng)元的基本構成

單輸入神經(jīng)元權值，偏置（偏移量），凈輸入，傳輸函數(shù)（激活函數(shù)）思考：該神經(jīng)元模型與生物神經(jīng)元有何對應關系人工神經(jīng)元的基本構成單輸入神經(jīng)元思考：該神經(jīng)元模型與生物神傳輸函數(shù)硬極限傳輸函數(shù)傳輸函數(shù)硬極限傳輸函數(shù)傳輸函數(shù)線性傳輸函數(shù)傳輸函數(shù)線性傳輸函數(shù)傳輸函數(shù)對數(shù)-S形傳輸函數(shù)傳輸函數(shù)對數(shù)-S形傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)多輸入神經(jīng)元多輸入神經(jīng)元權值矩陣，偏置（偏移量），凈輸入，傳輸函數(shù)（激活函數(shù)）多輸入神經(jīng)元多輸入神經(jīng)元單層神經(jīng)元單層神經(jīng)元多層神經(jīng)元多層神經(jīng)元人工神經(jīng)網(wǎng)絡的訓練

人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡著名的學習定理：人工神經(jīng)網(wǎng)絡可以學會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡的表達能力大大地限制了它的學習能力。人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程人工神經(jīng)網(wǎng)絡的訓練人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習無導師學習

無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應

抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權的形式存于網(wǎng)絡中。無導師學習無導師學習(UnsupervisedLearn有導師學習

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。有導師學習的訓練算法的主要步驟包括：

1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網(wǎng)絡的實際輸出O；

3）

求D=Bi-O；

4）

根據(jù)D調整權矩陣W；

5）對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。

有導師學習有導師學習(SupervisedLearnin感知器（Perceptrons）感知器（Perceptrons）感知器（Perceptrons）20世紀50年代末，感知器神經(jīng)網(wǎng)絡提出。與神經(jīng)元模型十分相似，主要貢獻在于引入了用于訓練神經(jīng)網(wǎng)絡解決模式識別問題的學習規(guī)則。感知器網(wǎng)絡本身具有其內在的局限性，直接導致了神經(jīng)網(wǎng)絡研究的低潮。感知器（Perceptrons）20世紀50年代末，感知器感知器的結構感知器的結構感知器1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡可以學會它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層感知器1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡可以感知器的學習算法

感知器的學習是有導師學習感知器的訓練算法的基本原理來源于著名的Hebb學習律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡中,根據(jù)輸出結果和理想輸出之間的差別來調整網(wǎng)絡中的權矩陣

感知器的學習算法感知器的學習是有導師學習離散單輸出感知器訓練算法

二值網(wǎng)絡：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓練樣本集：{(X，Y)|Y為輸入向量X對應的輸出}離散單輸出感知器訓練算法二值網(wǎng)絡：自變量及其函數(shù)的值、向量離散單輸出感知器訓練算法1.初始化權向量W；2.重復下列過程，直到訓練完成：

2.1對每個樣本（X，Y），重復如下過程：

2.1.1輸入X；

2.1.2計算o=F（XW）；

2.1.3如果輸出不正確，則 當o=0時，取W=W+X， 當o=1時，取W=W-X離散單輸出感知器訓練算法1.初始化權向量W；離散多輸出感知器訓練算法樣本集：{(X,Y)|Y為輸入向量X對應的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F

權矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層離散多輸出感知器訓練算法樣本集：{(X,Y)|Y為輸入向量X離散多輸出感知器訓練算法1.初始化權矩陣W；2.重復下列過程，直到訓練完成：

2.1對每個樣本（X，Y），重復如下過程：

2.1.1輸入X；

2.1.2計算O=F（XW）；

2.1.3forj=1tomdo執(zhí)行如下操作：

ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi離散多輸出感知器訓練算法1.初始化權矩陣W；離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經(jīng)元的處理。第1步，權矩陣的初始化：一系列小偽隨機數(shù)。

離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地離散多輸出感知器訓練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進——分階段迭代控制：設定一個基本的迭代次數(shù)N，每當訓練完成N次迭代后，就給出一個中間結果離散多輸出感知器訓練算法第2步，循環(huán)控制。離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數(shù)精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和“死循環(huán)”：網(wǎng)絡無法表示樣本所代表的問題離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用

注意：精度參數(shù)的設置。根據(jù)實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合連續(xù)多輸出感知器訓練算法用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由α（yj-oj）xi表現(xiàn)出來好處：不僅使得算法的控制在結構上更容易理解，而且還使得它的適應面更寬

連續(xù)多輸出感知器訓練算法用公式wij=wij+α（yj-oj連續(xù)多輸出感知器訓練算法1．用適當?shù)男坞S機數(shù)初始化權矩陣W；2.初置精度控制參數(shù)ε，學習率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改權矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)2連續(xù)多輸出感知器訓練算法1．用適當?shù)男坞S機數(shù)初始化權矩陣W連續(xù)多輸出感知器訓練算法1、程序實現(xiàn):ε、α、d、i、j、n、m為簡單變量來表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時間有關5、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經(jīng)過多少步才能完成訓練。連續(xù)多輸出感知器訓練算法1、程序實現(xiàn):ε、α、d、i、j、n線性不可分問題

異或(Exclusive–OR)問題

g（x，y）y01x001110線性不可分問題異或(Exclusive–OR)問題g（線性不可分問題的克服

用多個單級網(wǎng)組合在一起，并用其中的一個去綜合其它單級網(wǎng)的結果，我們就可以構成一個兩級網(wǎng)絡，該網(wǎng)絡可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網(wǎng)將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯(lián)接權的調整問題是非常關鍵的

線性不可分問題的克服用多個單級網(wǎng)組合在一起，并用其中的一個兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域…x1ANmAN1ABP網(wǎng)絡4.1概述

4.2基本BP算法

4.3算法的改進

4.4算法的實現(xiàn)

4.5算法的理論基礎

4.6幾個問題的討論

BP網(wǎng)絡4.1概述BP網(wǎng)絡概述

1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應性和有效性。BP網(wǎng)絡概述1、BP算法的出現(xiàn)基本BP算法

網(wǎng)絡的構成

神經(jīng)元的網(wǎng)絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：基本BP算法網(wǎng)絡的構成輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導的輸出函數(shù)分析

0.5f′(net)0.25o01

（0網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn……網(wǎng)絡的拓撲結構

BP網(wǎng)的結構輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡精度和表達能力。BP網(wǎng)一般都選用二級網(wǎng)絡（三層BP網(wǎng)絡）。網(wǎng)絡的拓撲結構BP網(wǎng)的結構網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV網(wǎng)絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn……訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡；（2）計算相應的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))訓練過程概述樣本：(輸入向量，理想輸出向量)訓練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調整權矩陣。（3）網(wǎng)絡關于第p個樣本的誤差測度：（4）網(wǎng)絡關于整個樣本集的誤差測度：訓練過程概述2、向后傳播階段——誤差傳播階段：（4）網(wǎng)絡誤差傳播分析

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq誤差傳播分析1、輸出層權的調整wpq=wpq+?wpqw隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……隱藏層權的調整

ANpANqANhvhp δpk-1δ1k隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk

有關不妨認為δpk-1通過權wp1對δ1k做出貢獻，通過權wp2對δ2k做出貢獻，……通過權wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk有隱藏層權的調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……隱藏層權的調整vhp=vhp+?vhpANpANqANhv基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調整，重復這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

基本的BP算法樣本集：S={(X1,Y1),(X2,Y2)基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

基本BP算法1fork=1toLdo基本BP算法4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應式子調整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應式子調整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

基本BP算法4.2對S中的每一個樣本（Xp,Yp）算法的改進

1、BP網(wǎng)絡接受樣本的順序對訓練結果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當?shù)捻樞?，是非常困難的。3、樣本順序影響結果的原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

算法的改進1、BP網(wǎng)絡接受樣本的順序對訓練結果有較大影響。消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

消除樣本順序影響的BP算法1fork=1toL4.3對S中的每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應的實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對所有i，j根據(jù)相應式子計算?pw(L)ij；

4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對所有i,j根據(jù)相應式子計算?pw(k)ij；

4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

4.3對S中的每一個樣本（Xp,Yp）：算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題

收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度沖量：聯(lián)接權的本次修改要考慮上次修改的影響，以減少抖動問題

算法4-2分析較好地解決了因樣本的順序引起的精度問題和訓算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

算法4-2分析——沖量設置Rumelhart等人1986年算法的實現(xiàn)

主要數(shù)據(jù)結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入（隱藏）層的權矩陣；?o[m]——輸出層各聯(lián)接權的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

算法的實現(xiàn)主要數(shù)據(jù)結構算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學習率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作

算法的主要實現(xiàn)步驟用不同的小偽隨機數(shù)初始化W，V；對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量

fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；對每一個樣本(X,Y)，執(zhí)行的操作4.2.1計算：O1對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的建議

隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調試階段，最外層循環(huán)內，加一層控制，以探測網(wǎng)絡是否陷入了局部極小點

建議隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)算法的理論基礎基本假設網(wǎng)絡含有L層聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經(jīng)元：Hk個自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

誤差測度: 算法的理論基礎基本假設用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為

O=（o1，o2，…，om）誤差測度用E代表EP，用（X，Y）代表（XP，YP）誤差測度誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij最速下降法，要求E的極小點wijE>0，此時Δwij<0取而其中的

所以，