ch04決策支持系統(tǒng)(神經(jīng)網(wǎng)絡(luò))

決策支持系統(tǒng)系統(tǒng)工程專業(yè)本科學(xué)員必修課第四章智能決策支持系統(tǒng)和智能技術(shù)的決策支持人工智能基本原理本章內(nèi)容智能決策支持系統(tǒng)概述專家系統(tǒng)與智能決策支持系統(tǒng)神經(jīng)網(wǎng)絡(luò)的決策支持遺傳算法的決策支持機(jī)器學(xué)習(xí)的決策支持4.4神經(jīng)網(wǎng)絡(luò)的決策支持4.4.1神經(jīng)網(wǎng)絡(luò)原理4.4.2感知機(jī)模型4.4.4神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)及實(shí)例4.4.5神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性4.4.3反向傳播模型

傳統(tǒng)AI能解決的問(wèn)題局限于人的邏輯思維所能解決的問(wèn)題之內(nèi)，完全是一種邏輯思維的模擬。而人腦除邏輯思維外，還有形象思維與邏輯表象等，因而單靠傳統(tǒng)的AI不能很好地模擬智能。另外，對(duì)于無(wú)法形式化的問(wèn)，難以用AI來(lái)求解。傳統(tǒng)人工智能的局限性

人工神經(jīng)元網(wǎng)絡(luò)具有自學(xué)習(xí)能力，將其與傳統(tǒng)AI結(jié)合起來(lái)是模擬智能的很好的途徑。ANN是一種模仿人腦行為及其活動(dòng)過(guò)程的推理分析方法，它具有自學(xué)習(xí)能力，能從一系列的數(shù)據(jù)中綜合出規(guī)律性的知識(shí)——較為有效地解決了專家系統(tǒng)知識(shí)獲取困難。傳統(tǒng)人工智能的局限性人類大腦大約包含有1.4

1011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103～105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。4.4.1神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。神經(jīng)元組成:樹突：神經(jīng)纖維較短，是接收信息的。細(xì)胞核：對(duì)接收到的信息進(jìn)行處理。軸突：較長(zhǎng)的神經(jīng)纖維，是發(fā)出信息的。突觸：一個(gè)神經(jīng)元的軸突末端與另一個(gè)神經(jīng)元的樹突之間密切接觸。神經(jīng)元具有如下性質(zhì)：（1）多輸入單輸出；（2）突觸具有加權(quán)的效果；（3）信息進(jìn)行傳遞；（4）信息加工是非線性。人工神經(jīng)元:人工神經(jīng)元是組成人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，簡(jiǎn)稱為神經(jīng)元。心理學(xué)家麥克洛奇(W．McCulloch)和數(shù)理邏輯學(xué)家皮茲(W.Pitts)于1943年首先提出了一個(gè)簡(jiǎn)化的神經(jīng)元模型，稱為M-P模型。1、神經(jīng)元的數(shù)學(xué)模型圖：

其中：I1、I2、…In為輸入；Oi為該神經(jīng)元的輸出；Wij為外面神經(jīng)元與該神經(jīng)元連接強(qiáng)度（即權(quán)），

為閾值，f(X)為該神經(jīng)元的作用函數(shù)。

每個(gè)神經(jīng)元的狀態(tài)0i（i＝1,2,…n）只取0或1，分別代表抑制與興奮。每個(gè)神經(jīng)元的狀態(tài)，由M-P方程決定：

其中：Wij是神經(jīng)元之間的連接強(qiáng)度，Wij（i≠j）是可調(diào)實(shí)數(shù)，由學(xué)習(xí)過(guò)程來(lái)調(diào)整。

i是閾值，f(x)是階梯函數(shù)。

MP（MccullochPitts）模型[0,1]階梯函數(shù)

(0,1)S型函數(shù)：神經(jīng)元作用函數(shù)

[-1,1]階梯函數(shù)(-1,1)S型函數(shù)：

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，主要是指通過(guò)一定的學(xué)習(xí)算法或規(guī)則實(shí)現(xiàn)對(duì)突觸結(jié)合強(qiáng)度(權(quán)值)的調(diào)整。ANN學(xué)習(xí)規(guī)則主要有四種，即聯(lián)想式學(xué)習(xí)、誤差傳播學(xué)習(xí)、概率式學(xué)習(xí)和競(jìng)爭(zhēng)式學(xué)習(xí)。2、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(1)聯(lián)想學(xué)習(xí)：聯(lián)想學(xué)習(xí)是模擬人腦的聯(lián)想功能，典型聯(lián)想學(xué)習(xí)規(guī)則是由心理學(xué)家Hebb于1949年提出的學(xué)習(xí)行為的突觸聯(lián)系，稱為Hebb學(xué)習(xí)規(guī)則。Hebb規(guī)則若i與j兩種神經(jīng)元之間同時(shí)處于興奮狀態(tài)，則它們間的連接應(yīng)加強(qiáng)，即：△Wij＝

SiSj(

＞0) 設(shè)α＝1，當(dāng)Si＝Sj＝1時(shí)，△Wij＝1，在Si，Sj中有一個(gè)為0時(shí)，△Wij＝0；這一規(guī)則與“條件反射”學(xué)說(shuō)一致，并得到神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。

(2)誤差傳播學(xué)習(xí)：以1986年Rumelhart等人提出的δ規(guī)則(BP算法)為典型

δ規(guī)則中，誤差由輸出層逐層反向傳至輸入層，由誤差修改網(wǎng)絡(luò)權(quán)值，直至得到網(wǎng)絡(luò)權(quán)值適應(yīng)學(xué)習(xí)樣本?；舅枷耄?、神經(jīng)網(wǎng)絡(luò)的幾何意義(1)神經(jīng)元與超平面

其中Wij為神經(jīng)元j到神經(jīng)元i的連接權(quán)值，

i為神經(jīng)元的閾值。神經(jīng)元xj(j=1,2,…,n)相當(dāng)于n維空間（x1,x2,…,xn）中一個(gè)結(jié)點(diǎn)的n維坐標(biāo)（為了便于討論，省略i下標(biāo)記）。

由n個(gè)神經(jīng)元（j=1,2,…,n）對(duì)連接于神經(jīng)元i的信息總輸入Ii為：

它代表了n維空間中，以坐標(biāo)xj為變量的一個(gè)超平面。其中Wj為坐標(biāo)的系數(shù)，

為常數(shù)項(xiàng)。令：當(dāng)n=2時(shí)，“超平面”為平面（x1,x2）上的一條直線：當(dāng)n=3時(shí)，“超平面”為空間（x1,x2,x3）上的一個(gè)平面：從幾何角度看，一個(gè)神經(jīng)元代表一個(gè)超平面。(2)超平面的作用n維空間（x1,x2,…,xn）上的超平面I=0，將空間劃分為三部分。 平面本身超平面上的任意結(jié)點(diǎn)滿足于超平面方程，即：超平面上部P超平面上部P的任意結(jié)點(diǎn)滿足于不等式，即超平面上部P超平面上部P的任意結(jié)點(diǎn)滿足于不等式，即超平面下部Q超平面下部Q的任意結(jié)點(diǎn)滿足于不等式，即(3)作用函數(shù)的幾何意義神經(jīng)網(wǎng)絡(luò)中使用的階梯型作用函數(shù)f(x)把n維空間中超平面的作用和神經(jīng)網(wǎng)絡(luò)作用函數(shù)結(jié)合起來(lái)，即

它的含義為：超平面上部P的任意結(jié)點(diǎn)經(jīng)過(guò)作用函數(shù)后轉(zhuǎn)換成數(shù)值1；超平面上任意結(jié)點(diǎn)和超平面下部Q上的任意結(jié)點(diǎn)經(jīng)過(guò)作用函數(shù)后轉(zhuǎn)換成數(shù)值0。通過(guò)以上分析可知，一個(gè)神經(jīng)元將其它神經(jīng)元對(duì)它的信息總輸入I，作用以后（通過(guò)作用函數(shù)）的輸出，相當(dāng)于：

該神經(jīng)元所代表的超平面將n維空間（n個(gè)輸入神經(jīng)元構(gòu)成的空間）中超平面上部結(jié)點(diǎn)P轉(zhuǎn)換成1類，超平面及其下部結(jié)點(diǎn)轉(zhuǎn)換成0類。結(jié)論：神經(jīng)元起了一個(gè)分類作用。（4）線性樣本與非線性樣本定義：對(duì)空間中的一組兩類樣本，當(dāng)能找出一個(gè)超平面將兩者分開，稱該樣本是線性樣本。若不能找到一個(gè)超平面將兩者分開，則稱該樣本是非線性樣本。（5）非線性樣本變換成線性樣本利用超平面分割空間原理，對(duì)一個(gè)非線性樣本它是不能用一個(gè)超平面分割開。用多個(gè)超平面分割空間成若干區(qū)，使每個(gè)區(qū)中只含同類樣本的結(jié)點(diǎn)。這種分割完成了一種變換，使原非線性樣本變換成二進(jìn)制值下的新線性樣本。4.4.2感知機(jī)模型神經(jīng)元i的輸入為Ｉi＝∑ＷijＳj

Ｓj為j神經(jīng)元的輸出，Ｗij為神經(jīng)元j到神經(jīng)元i的連接權(quán)重。神經(jīng)元i的輸出為：Ｏi＝ｆ(Ｉi)其中ｆ(ｘ)為神經(jīng)元作用函數(shù)。(一般采用[0,1]階梯函數(shù))WijSji1…j…n1……設(shè)i神經(jīng)元的期望輸出為Ｄi，它與計(jì)算輸出Ｏi之差為：

δｉ＝Ｄi－Ｏi通過(guò)樣本學(xué)習(xí)，應(yīng)該讓權(quán)重Ｗij使δi盡可能小。利用著名的德爾塔規(guī)則（deltarule）計(jì)算：△Ｗij＝αδi

Ｓj（α為常數(shù)）δ規(guī)則:Ｗij(t+1)＝Ｗij(t)＋△Ｗij更新權(quán)重Ｗij。實(shí)例─兩值邏輯加法輸入X1X2輸出ｄ（期望）００００１１１０１１１１

該例子的感知機(jī)計(jì)算公式：┌Ｗ1┐(k)┌Ｗ1┐(k-1)┌ｘ1┐││＝││＋ｃ（ｄ－ｙ）││└Ｗ2┘└Ｗ2┘└ｘ2┘

初值┌Ｗ1┐┌０┐ｃ＝１└Ｗ2┘└０┘

其中ｄ為期望輸出，ｙ為計(jì)算輸出。yx1x2w1w2(0,1)(1,1)(1,0)(0,0)定義：對(duì)空間中的一組兩類樣本，當(dāng)能找出一個(gè)超平面將兩者分開，稱該樣本是線性可分樣本。

計(jì)算過(guò)程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０

d=0

┌Ｗ1┐(1)┌Ｗ1┐(0)┌０┐┌０┐┌０┐┌０┐││＝││＋（０－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└０┘└０┘└０┘Ｋ＝２，ｙ＝ｆ（０＋1）＝０

d=1

┌Ｗ1┐(2)┌Ｗ1┐(1)┌０┐┌０┐┌０┐┌０┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└０┘└１┘└１┘Ｋ＝３，ｙ＝ｆ（0＋０）＝０

d=1

┌Ｗ1┐(3)┌Ｗ1┐(2)┌１┐┌０┐┌１┐┌１┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└１┘└０┘└１┘

Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１

d=1

┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌０┐┌１┐││＝││＋（１－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└０┘└１┘再循環(huán)一次，將會(huì)得到所有例子的（ｄ－ｙ）值均為零，即權(quán)值（Ｗ1＝１，Ｗ2＝１）滿足所有實(shí)例要求。對(duì)ＸＯＲ異或問(wèn)題：輸入ｘ1ｘ2輸出d００００１１１０１１１0樣本是非線性樣本，即找不到一個(gè)超平面，將兩類樣本分開。(0,1)(1,1)(1,0)(0,0)修改后的權(quán)值，又回到了初始狀態(tài)，如果繼續(xù)計(jì)算，將出現(xiàn)無(wú)限循環(huán)，永遠(yuǎn)不會(huì)收斂。該例充分說(shuō)明感知機(jī)對(duì)非線性樣本無(wú)效。感知機(jī)對(duì)ＸＯＲ問(wèn)題的計(jì)算：同二值邏輯樣本計(jì)算，Ｋ＝１，２，３的計(jì)算相同，Ｋ＝４時(shí)有：

ｙ＝ｆ（１＋１）＝ｆ（２）＝１┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌－１┐┌０┐││＝││＋（０－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└－１┘└０┘4.4.3反向傳播模型BP模型是1985年由Rumelhart等人提出的1.多層網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)不僅有輸入節(jié)點(diǎn)、輸出節(jié)點(diǎn)，而且有一層或多層隱節(jié)點(diǎn),如圖：TliWijBP算法的學(xué)習(xí)過(guò)程：信息的正向傳播，誤差的反向傳播。由正向傳播和反向傳播組成，在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)過(guò)隱層，再傳向輸出層，每一層的神經(jīng)元的狀態(tài)值只影響下一層神經(jīng)元的狀態(tài)值；如果在輸出層不能得到期望的輸出值，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿逆向通路修正各層神經(jīng)元的權(quán)值，使得網(wǎng)絡(luò)的總誤差值收斂到極小。網(wǎng)絡(luò)開始訓(xùn)練時(shí)選用較小的隨機(jī)給定權(quán)值與內(nèi)部閾值（θ），通過(guò)反復(fù)利用訓(xùn)練樣本調(diào)整權(quán)值，直到誤差函數(shù)下降到可以接受的允許值（如0.05）。BP神經(jīng)網(wǎng)絡(luò)對(duì)非線性數(shù)據(jù)分類是十分有效的。2.作用函數(shù)為(0,1)S型函數(shù)3.誤差函數(shù)第p個(gè)樣本誤差計(jì)算公式可定義為：對(duì)于整個(gè)網(wǎng)絡(luò)系統(tǒng)的總均方誤差為：E＝1/p∑Ep，其中p為訓(xùn)練樣本總數(shù)，tpiQpi分別為實(shí)際輸出和計(jì)算輸出。網(wǎng)絡(luò)訓(xùn)練的目的是找到一組權(quán)值，使E極小化。LMS算法用梯度下降法，即權(quán)重的增量正比于誤差的負(fù)導(dǎo)數(shù)：用誤差去修正輸出層和隱節(jié)點(diǎn)的權(quán)值，誤差反向傳播。誤差反向傳播示意圖BP模型計(jì)算公式匯總1.輸出結(jié)點(diǎn)輸出Ol計(jì)算公式（1）輸入結(jié)點(diǎn)的輸入xj（2）隱結(jié)點(diǎn)的輸出：其中：Wij連接權(quán)值，結(jié)點(diǎn)閾值。(3)輸出結(jié)點(diǎn)輸出：其中：Tij連接權(quán)值，結(jié)點(diǎn)閾值。輸出層（隱結(jié)點(diǎn)到輸出結(jié)點(diǎn)間）的修正公式輸出結(jié)點(diǎn)的期望輸出：tl誤差控制：所有樣本誤差：其中一個(gè)樣本誤差：其中，p為樣本數(shù)，n為輸出結(jié)點(diǎn)數(shù)。（3）誤差公式： （4）權(quán)值修正：其中k為迭代次數(shù)。（5）閾值修正： 2、隱結(jié)點(diǎn)層（輸入結(jié)點(diǎn)到隱結(jié)點(diǎn)間）的修正公式（1）誤差公式：（2）權(quán)值修正：（3）閾值修正：··

求

l(2)

i(1)Ol=f（－

l）yi=f（－

i）

l(k+1)=

l(k)+

l(2)

j·

修正（Tli，

l），（Wij，

i）修正權(quán)

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋

l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋

i(1)xj輸出節(jié)點(diǎn)lTli

隱節(jié)點(diǎn)

i修正權(quán)Wij輸入節(jié)點(diǎn)xj

i(k+1)=

i(k)+

i(1)BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程⑴樣本的正向傳播過(guò)程(由輸入計(jì)算到輸出)⑵誤差的逆向傳播過(guò)程(由誤差修改權(quán)值)⑶記憶訓(xùn)練過(guò)程：⑴、⑵的交替過(guò)程(反復(fù)修改權(quán)值)⑷學(xué)習(xí)的收斂過(guò)程：Emin例：對(duì)如下BP神經(jīng)網(wǎng)絡(luò)，寫出它的計(jì)算公式（含學(xué)習(xí)公式），并對(duì)其初始權(quán)值以及樣本x1=1，x2=0，d=0進(jìn)行一次神經(jīng)網(wǎng)絡(luò)計(jì)算和學(xué)習(xí)（該系數(shù)

=1，各點(diǎn)閾值為0）。作用函數(shù)為：··

求

l(2)

i(1)Ol=f（－

l）yi=f（－

i）

l(k+1)=

l(k)+

l(2)

j·

修正（Tli，

l），（Wij，

i）修正權(quán)

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋

l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋

i(1)xj輸出節(jié)點(diǎn)lTli

隱節(jié)點(diǎn)

i修正權(quán)Wij輸入節(jié)點(diǎn)xj

i(k+1)=

i(k)+

i(1)回顧神經(jīng)元i的誤差δｉ＝Ｄi－Ｏi△Ｗij＝αδi

Ｓj（α為常數(shù)）δ規(guī)則:Ｗij(t+1)＝Ｗij(t)＋△Ｗij1、感知機(jī)模型2、反向傳播模型TliWij結(jié)合實(shí)例講解感知機(jī)模型對(duì)線性數(shù)據(jù)分類是十分有效的信息的正向傳播，誤差的反向傳播結(jié)合實(shí)例講述BP網(wǎng)絡(luò)的幾何意義反向傳播模型對(duì)非線性數(shù)據(jù)分類是十分有效的實(shí)例分析1.異或問(wèn)題的BP神經(jīng)網(wǎng)絡(luò)按問(wèn)題要求，設(shè)置輸入結(jié)點(diǎn)為兩個(gè)（x1,x2），輸出結(jié)點(diǎn)為1個(gè)（z），隱結(jié)點(diǎn)定為2個(gè)（y1，y2）。各結(jié)點(diǎn)閾值和網(wǎng)絡(luò)權(quán)值見圖說(shuō)明。2.計(jì)算機(jī)運(yùn)行結(jié)果迭代次數(shù)：16745次；總誤差：0.05隱層網(wǎng)絡(luò)權(quán)值和閾值：

w11=5.24，w12=5.23，w21=6.68，w22=6.64

1=8.01

2=2.98輸出層網(wǎng)絡(luò)權(quán)值和閾值：

T1=-10，T2=10，

=4.793.用計(jì)算結(jié)果分析神經(jīng)網(wǎng)絡(luò)的幾何意義隱結(jié)點(diǎn)代表的直線方程

y1：5.24x1+5.23x2-8.01=0

即x1+0.998x2-1.529=0 y2：6.68x1+6.64x2-2.98=0即x1+0.994x2-0.446=0 圖、隱結(jié)點(diǎn)代表的直線方程直線y1和y2將平面（x1，x2）分為三區(qū)：y1線上方區(qū)，x1+x2-1.53>0，x1+x2-0.45>0y1,y2線之間區(qū)，x1+x2-1.53<0，x1+x2-0.45>0y2線的下方區(qū)，x1+x2-1.53<0，x1+x2-0.45<0對(duì)樣本點(diǎn)：點(diǎn)(0,0)落入y2的下方區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)（暫取它為階梯函數(shù)），得到輸出y1=0,y2=0。點(diǎn)(1,0)和點(diǎn)(0,1)落入y1,y2線之間區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出均為y1=0,y2=1。點(diǎn)(1,1)落入y1線上方區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出為y1=1,y2=1。結(jié)論：隱結(jié)點(diǎn)將x1,x2平面上四個(gè)樣本點(diǎn) (0,0)，(0,1)，(1,0)，(1,1)變換成三個(gè)樣本點(diǎn) (0,0)，(0,1)，(1,1)它已是線性樣本。輸出結(jié)點(diǎn)代表的直線方程Z：-10y1+10y2-4.79=0，即 -y1+y2-0.479=0 直線Z將平面(y1,y2)分為兩區(qū)Z線上方區(qū)-y1+y2-0.479>0Z線下方區(qū)-y1+y2-0.479<0對(duì)樣本點(diǎn)：點(diǎn)(0,1)（即y1=0,y2=1）落入Z線上方區(qū)，經(jīng)過(guò)輸出結(jié)點(diǎn)作用函數(shù)f(x)（暫取它為階梯函數(shù)）得到輸出為：Z=1點(diǎn)(0,0)（即y1=0,y2=0），點(diǎn)(1,1)（即y1=1,y2=1）落入Z線下方區(qū)，經(jīng)過(guò)輸出結(jié)點(diǎn)作用函數(shù)f(x)得到輸出為：Z=0結(jié)論：輸出結(jié)點(diǎn)將y1,y2平面上三個(gè)樣本(0,0)，(0,1)，(1,1)變換成兩類樣本Z=1和Z=0。4.神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)的作用隱結(jié)點(diǎn)作用是將原非線性樣本（四個(gè)）變換成線性樣本（三個(gè)）。輸出結(jié)點(diǎn)作用是將線性樣本（三個(gè)）變換成兩類（1類或0類）。對(duì)于作用函數(shù)f(x)取為S型函數(shù)，最后變換成兩類為“接近1類”和“接近0類”。4.4.4神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)及實(shí)例1.神經(jīng)元網(wǎng)絡(luò)知識(shí)庫(kù)體現(xiàn)在神經(jīng)元之間的連接強(qiáng)度（權(quán)值）上。它是分布式存貯的，適合于并行處理。2.推理機(jī)是基于神經(jīng)元的信息處理過(guò)程。它是以Ｍ－P模型為基礎(chǔ)的，采用數(shù)值計(jì)算方法。一、神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)特點(diǎn)3.神經(jīng)元網(wǎng)絡(luò)有成熟的學(xué)習(xí)算法。感知機(jī)采用delta規(guī)則。反向傳播模型采用誤差沿梯度方向下降以及隱節(jié)點(diǎn)的誤差由輸出結(jié)點(diǎn)誤差反向傳播的思想進(jìn)行的。４.容錯(cuò)性好。由于信息是分布式存貯，在個(gè)別單元上即使出錯(cuò)或丟失，所有單元的總體計(jì)算結(jié)果，可能并不改變。神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)進(jìn)一步發(fā)展的核心問(wèn)題：

學(xué)習(xí)算法的改進(jìn)與提高二、神經(jīng)元網(wǎng)絡(luò)專家系統(tǒng)結(jié)構(gòu)用戶知識(shí)工程師

學(xué)習(xí)樣本

確定系統(tǒng)框架

神經(jīng)元學(xué)習(xí)形成學(xué)習(xí)樣本

知識(shí)庫(kù)（分布式）實(shí)際問(wèn)題參數(shù)輸入模