人工神經(jīng)網(wǎng)絡(luò)的基本模型

人工神經(jīng)網(wǎng)絡(luò)的基本模型目前一頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系2第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)元的基本模型幾種典型的激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)目前二頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系3

生物神經(jīng)元結(jié)構(gòu)

（1）細(xì)胞體:細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。（2）樹突：胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。（3）軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。（4）突觸：神經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬～10萬個(gè)突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。（5）細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，能產(chǎn)生興奮與抑制。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前三頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系4

生物神經(jīng)元結(jié)構(gòu)2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前四頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系5

生物神經(jīng)元功能（1）興奮與抑制：當(dāng)傳入神經(jīng)元沖動，經(jīng)整和使細(xì)胞膜電位升高，超過動作電位的閾值時(shí)，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。當(dāng)傳入神經(jīng)元的沖動，經(jīng)整和，使細(xì)胞膜電位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。（2）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前五頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系62.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

人工神經(jīng)元的六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用，也可以是起抑制作用；5）一個(gè)神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。目前六頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系7圖2.1MP神經(jīng)元模型（a）2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

神經(jīng)元i的輸入yj輸出yi

描述:設(shè)則每一神經(jīng)元的輸出，或‘0’或‘1’，‘0’表示’抑制’，‘1’表示‘興奮’：

基本MP模型目前七頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系8f(x)：作用（激發(fā)）函數(shù)——是一種階躍函數(shù)。從神經(jīng)元的結(jié)構(gòu)示意圖上可見：當(dāng)輸入yj的加權(quán)和大于域值時(shí)，神經(jīng)元的輸出yi

=1，即神經(jīng)元處于“興奮狀態(tài)”；反之，當(dāng)輸入yj的加權(quán)和大于域值時(shí)，神經(jīng)元的輸出yi=0，即神經(jīng)元處于“抑制狀態(tài)”在基本MP模型中取整數(shù)。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前八頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系9人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：Y=（y0，y1，y2，…，yn）聯(lián)接權(quán)：W=（w0，w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

netj=∑wjiyi向量形式：

netj=WYynwn∑y1w1y2w2neti=WY…MP模型的另一種形式令，則MP神經(jīng)元模型可以表示為：2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前九頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系102.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型M-P模型從哪些方面刻畫了自然神經(jīng)元？前面已介紹過生物（自然）神經(jīng)元具有如下特點(diǎn)：兩態(tài)工作：即工作于興奮或抑制兩種狀態(tài)；閾值作用：即超過某一閾值則神經(jīng)元興奮；多輸入單輸出特性；空間疊加性；可塑性聯(lián)接：即突觸部分的聯(lián)接強(qiáng)度可以調(diào)節(jié)。雖然M-P模型無法實(shí)現(xiàn)生物神經(jīng)元的空間、時(shí)間的交叉疊加性，但其它生物神經(jīng)元功能都具備。目前十頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系11M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過不同的修正，改進(jìn)變換而發(fā)展起來。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前十一頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系122.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型對M-P人工神經(jīng)元進(jìn)行改進(jìn)的主要方式有如下幾個(gè)方面:神經(jīng)元的內(nèi)部改造：對人工神經(jīng)元取不同的非線性函數(shù)；對輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造：人工神經(jīng)元之間的聯(lián)接形式不同。算法的改進(jìn)：在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上不同。其它形式的改造。目前十二頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系13

激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net)線性函數(shù)（LinerFunction）

f(net)=k*net+c

netooc2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前十三頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系142、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*netif|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

γ-γθ

-θ

net

o

2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前十四頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系15

β ifnet>θf（net）= -γ ifnet≤θβγθ均為非負(fù)實(shí)數(shù)，θ為閾值。二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θβ

-γθonet02.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型閾值函數(shù)（ThresholdFunction）階躍函數(shù)目前十五頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系162.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

其他形式的作用函數(shù):不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。

非對稱型Sigmoid函數(shù):簡稱S型作用函數(shù)，是可微的，用下式表示：如圖(a)和(b)

fxex()=+-11

或

fxex()=+-11b

b>0目前十六頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系17第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型對稱型Sigmoid函數(shù)

是可微的，用下式表示：如圖(a)和(b)

fxeexx()=-+--11

或

fxeexx()=-+--11bb

，

b>0或

fxeeeexxxx()=-+--bbbb

，

b>0目前十七頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系18對稱型階躍函數(shù)第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前十八頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系19第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型高斯函數(shù):是可微的，分一維和高維，用下式表示：如圖(a)和(b)目前十九頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系20神經(jīng)元演示

非線性作用函數(shù)（激發(fā)函數(shù)）2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前二十頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系21非線性作用函數(shù)1非對稱型Sigmoid函數(shù)目前二十一頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系22非線性作用函數(shù)2對稱型Sigmoid函數(shù)目前二十二頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系23非線性作用函數(shù)3

非對稱型階躍函數(shù)目前二十三頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系24非線性作用函數(shù)4

對稱型階躍函數(shù)目前二十四頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系25非線性作用函數(shù)目前二十五頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系26非線性作用函數(shù)5高斯RBF(一維)目前二十六頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系27非線性作用函數(shù)5高斯RBF（二維）目前二十七頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系28非線性作用函數(shù)5高斯RBF（二維）目前二十八頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系29非線性作用函數(shù)6B樣條函數(shù)（０次）目前二十九頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系30非線性作用函數(shù)6B樣條函數(shù)（1次）目前三十頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系31非線性作用函數(shù)目前三十一頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系322.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)過程就是調(diào)整權(quán)值的過程。1、競爭學(xué)習(xí)2、有監(jiān)督學(xué)習(xí)3、無監(jiān)督學(xué)習(xí)4、Hebb和Delta學(xué)習(xí)5、有、無監(jiān)督混合學(xué)習(xí)6、隨即自適應(yīng)學(xué)習(xí)模擬退火7、模糊學(xué)習(xí)等等幾種常見類型學(xué)習(xí)算法：目前三十二頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系33對于競爭學(xué)習(xí)規(guī)則，有三個(gè)基本元素：1.一個(gè)神經(jīng)元集合，這些神經(jīng)元除了一些隨機(jī)分布的突觸權(quán)值之外是完全相同的，并且由于突觸權(quán)值的不同而對一個(gè)給定的輸入模式集合由不同的響應(yīng)。2.在每個(gè)神經(jīng)元的強(qiáng)度上給定一個(gè)極限。3.一個(gè)機(jī)制，它允許神經(jīng)元為響應(yīng)一個(gè)給定輸入子集的權(quán)利而競爭，從而使得每次只有一個(gè)輸出神經(jīng)元或者每組只有一個(gè)神經(jīng)元是激活的（即，“開”）.競爭獲勝神經(jīng)元被叫做勝者通吃（winner-takes-all）神經(jīng)元。2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型競爭學(xué)習(xí)目前三十三頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系342.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型競爭學(xué)習(xí)按照標(biāo)準(zhǔn)的競爭學(xué)習(xí)規(guī)則，作用于突觸權(quán)值wkj的改變量wkj定義為獲勝神經(jīng)元k的輸出信號yk被置為1；競爭失敗的所有神經(jīng)元的輸出信號被置為0。我們有:目前三十四頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系352.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）

神經(jīng)網(wǎng)絡(luò)的參數(shù)可以綜合訓(xùn)練向量和反饋回的誤差信號進(jìn)行適當(dāng)調(diào)整。

目前三十五頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系362.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

如果我們能給定一個(gè)設(shè)計(jì)好的算法來使成本費(fèi)用最小，而且有足夠的輸入/輸出的數(shù)據(jù)集，那么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模式分類，函數(shù)逼近之類的任務(wù)。有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）

誤差信號可以定義為：神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與預(yù)期響應(yīng)之差。這種調(diào)節(jié)可以逐步而又不斷反復(fù)地進(jìn)行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬老師——學(xué)習(xí)樣本；從統(tǒng)計(jì)的角度來看，這種模擬是最優(yōu)的。目前三十六頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系372.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

無教師學(xué)習(xí)模式中沒有老師來監(jiān)視學(xué)習(xí)過程的。即神經(jīng)網(wǎng)絡(luò)沒有任何帶標(biāo)號的例子可以學(xué)習(xí)參考。這學(xué)習(xí)模式又分2類：無教師學(xué)習(xí)（稱為無監(jiān)督學(xué)習(xí)）加強(qiáng)學(xué)習(xí)/神經(jīng)動態(tài)規(guī)劃目前三十七頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系382.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型無教師學(xué)習(xí)（稱為無監(jiān)督學(xué)習(xí)）無監(jiān)督學(xué)習(xí)

在無監(jiān)督或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的老師或者評價(jià)來監(jiān)督學(xué)習(xí)的過程。提供獨(dú)立于任務(wù)的表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將根據(jù)這個(gè)度量來逐步優(yōu)化網(wǎng)絡(luò)。為了實(shí)際地使用無監(jiān)督系統(tǒng)，我們可能會使用競爭性學(xué)習(xí)規(guī)則。目前三十八頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系392.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)模式聯(lián)想

存儲階段回憶階段模式聯(lián)想xy輸入向量輸出向量模式聯(lián)想輸入輸出關(guān)系圖目前三十九頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系402.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)模式識別

模式識別將收到的模式或信號置以一個(gè)預(yù)先定義好的分類號。識別機(jī)設(shè)計(jì)成一個(gè)采用監(jiān)督學(xué)習(xí)算法的多層前饋網(wǎng)絡(luò)。特征抽取的非監(jiān)督網(wǎng)絡(luò)分類的監(jiān)督網(wǎng)絡(luò)12:r

輸入模式x特征向量y模式分類的經(jīng)典分類方法圖解.

m維觀察空間

g維特征空間

r維決策空間

目前四十頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系412.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型其中向量x是輸入，向量d為輸出。向量值函數(shù)假定為未知。為了彌補(bǔ)函數(shù)未知的知識缺乏,我們假定有如下確定的訓(xùn)練樣本集合:考慮下面的一個(gè)非線性輸入輸出映射函數(shù)關(guān)系式：

T={(xi,,di)}i=1N

對于所有的是一個(gè)很小的正數(shù).其中d=f(x)學(xué)習(xí)任務(wù)——函數(shù)逼近

逼近問題其實(shí)是一個(gè)很完整的監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)。其中xi是輸入向量，而di是期望的反饋向量。反之，完全可以將監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)看成是一個(gè)函數(shù)逼近問題。目前四十一頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系422.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)——函數(shù)逼近

神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近問題實(shí)際上也是逼近一個(gè)未知輸入輸出映射函數(shù)問題：

系統(tǒng)識別模塊圖目前四十二頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系432.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)——函數(shù)逼近

逆模式系統(tǒng)圖

目前四十三頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系44

Hebb學(xué)習(xí)規(guī)則

按照生物學(xué)的條件反射原理，Hebb構(gòu)造了一種簡單的神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整原則：若第i

與第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)。即：

Dwyyijij=a，a>0這和“條件反射”學(xué)說一致，并已得到證實(shí)。

Hebb

學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型目前四十四頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化系45

Delta學(xué)習(xí)規(guī)則（誤差校正規(guī)則如梯度方法、BP算法）

Widrow和Hoff的寫法：

Wij(t+1)=Wij(t)+α(yj-aj(t))neti(t)

也可以寫成：

Wij(t+1)=Wij(t)+Wij(t)Wij(t)=αδjneti(t)δj=yj-aj(t)Grossberg的寫法為：

Wij(t)=αai(t)(netj(t)-Wij(t))更一般的Delta規(guī)則為：

Wij(t)=g(ai(t)，yj，netj(t)，Wij(t))其中：ai(t)是網(wǎng)絡(luò)目標(biāo)輸出；yj是網(wǎng)絡(luò)計(jì)算輸出；

netj(t)網(wǎng)絡(luò)內(nèi)部疊加信號；Wij(t)網(wǎng)絡(luò)權(quán)值。目前四十五頁\總數(shù)五十一頁\編于十二點(diǎn)2006-5-9北京科技大學(xué)自動化