第6講神經(jīng)網(wǎng)絡(luò)

以馮·諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時(shí)確遇到了很大的困難。大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)）也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。小結(jié)神經(jīng)網(wǎng)絡(luò)的研究發(fā)展史第一次神經(jīng)網(wǎng)絡(luò)研究高潮對大腦神經(jīng)元的研究表明，當(dāng)其處于興奮狀態(tài)時(shí)，輸出側(cè)的軸突就會發(fā)出脈沖信號，每個(gè)神經(jīng)元的樹狀突起與來自其它神經(jīng)元軸突的互相結(jié)合部（此結(jié)合部稱為Synapse，即突觸）接收由軸突傳來的信號。如果—神經(jīng)元所接收到的信號的總和超過了它本身的“閾值”，則該神經(jīng)元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。1943年，W.S.McCulloch和W.Pitts根據(jù)上述研究發(fā)表了他們的神經(jīng)元模型，通常稱為MP模型。1949年，D.O.Hebb提出了神經(jīng)元的學(xué)習(xí)法則，即Hebb法則。50年代末，F(xiàn). Rosenblatt基于上述原理提出了一種模式識別機(jī)，即感知機(jī)（Perceptron）模型。感知機(jī)是現(xiàn)代神經(jīng)計(jì)算的出發(fā)點(diǎn)。Block于1962年用解析法證明了感知機(jī)的學(xué)習(xí)收斂定理。正是由于這一定理的存在，才使得感知機(jī)的理論具有實(shí)際的意義，并引發(fā)了60年代以感知機(jī)為代表的第一次神經(jīng)網(wǎng)絡(luò)研究發(fā)展的高潮。M.Minsky和S.Papert進(jìn)一步發(fā)展了感知機(jī)的理論，他們把感知機(jī)定義為一種邏輯函數(shù)的學(xué)習(xí)機(jī)。B.Widraw在稍后于感知機(jī)提出了Adine分類學(xué)習(xí)機(jī)。它在結(jié)構(gòu)上與感知機(jī)相似，但在學(xué)習(xí)法則上采用了最小二乘平均誤差法。1961年，E.R.Caianiello提出了能實(shí)現(xiàn)記憶和識別的神經(jīng)網(wǎng)絡(luò)模型，它由學(xué)習(xí)方程式和記憶方程式兩部分組成。遺憾的是感知機(jī)只能對線性可分離的模式進(jìn)行正確的分類。當(dāng)輸入模式是線性不可分離時(shí)，則無論怎樣調(diào)節(jié)突觸的結(jié)合強(qiáng)度和閾值的大小也不可能對輸入進(jìn)行正確的分類。第二次神經(jīng)網(wǎng)絡(luò)研究高潮1982年，美國物理學(xué)家Hopfield對神經(jīng)網(wǎng)絡(luò)的動態(tài)特性進(jìn)行了研究，提出了所謂Hopfield神經(jīng)網(wǎng)絡(luò)模型。以Rumelhart為首的PDP(ParallelDistributedProcessing)并行分布處理研究集團(tuán)對聯(lián)結(jié)機(jī)制(connections)進(jìn)行了研究。T.J.Sejnowski等人還研究了神經(jīng)網(wǎng)絡(luò)語音信息處理裝置。這些成功的研究對第二次神經(jīng)網(wǎng)絡(luò)研究高潮的形成起了決定性的作用。Hopfield模型的動作原理只要由神經(jīng)元興奮的算法和神經(jīng)元之間的結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。1985年，Hopfield和D.W.Tank用上述模型求解了古典的旅行推銷商問題(TravelingSalesmanProblem)，簡稱TSP問題（已知n個(gè)城市之間的相互距離,現(xiàn)有一推銷員必須遍訪n個(gè)城市,并且每個(gè)城市只能訪問一次,最后又必須返回出發(fā)城市。如何安排訪問次序,才可以使其旅行路線的總長度最短,這是一個(gè)典型的組合優(yōu)化問題,并且是一個(gè)NP非確定性難題）。1983年，S.E.Farmann和Hiton提出了波爾茲曼機(jī)BM（BoltzmannMachine），該神經(jīng)網(wǎng)絡(luò)模型中使用了概率動作的神經(jīng)元，把神經(jīng)元的輸出函數(shù)與統(tǒng)計(jì)力學(xué)中的波爾茲曼分布聯(lián)系起來。1985年，W.O.Hillis發(fā)表了稱為聯(lián)結(jié)機(jī)（connection）的超級并行計(jì)算機(jī)。他把65536個(gè)1bit的微處理機(jī)排列成立方體的互連形式，每個(gè)微處理機(jī)還帶有4bit的存儲器。誤差反向傳播神經(jīng)網(wǎng)絡(luò)BP（ErrorBackPropagationNeuralNetwork）是1986年由Rumelhart和Hinton提出的，存在的問題神經(jīng)網(wǎng)絡(luò)識別機(jī)的原型是感知機(jī)，而BP只是學(xué)習(xí)方法改進(jìn)了的感知機(jī)，所以把它當(dāng)作識別機(jī)械時(shí)，可能存在著中間層神經(jīng)元的個(gè)數(shù)會很龐大、學(xué)習(xí)時(shí)間太長、結(jié)合系統(tǒng)的范圍太寬等嚴(yán)重缺點(diǎn)。當(dāng)把Hopfield神經(jīng)網(wǎng)絡(luò)模型和波爾茲曼機(jī)用作最優(yōu)解的求解機(jī)時(shí)，還需要弄清楚該模型對具體的對象是否適用。當(dāng)神經(jīng)網(wǎng)絡(luò)用于運(yùn)動控制裝置時(shí)，另一個(gè)重要的問題時(shí)如何獲得自組織的運(yùn)動模式。綜上所述，神經(jīng)網(wǎng)絡(luò)的研究雖然時(shí)有起伏，出現(xiàn)了研究的高潮與低潮，但總的方向無疑還是正確的。神經(jīng)網(wǎng)絡(luò)分類器缺點(diǎn)長時(shí)間訓(xùn)練需要大量的參數(shù)，這些通常主要靠經(jīng)驗(yàn)確定，如網(wǎng)絡(luò)拓?fù)浠蚪Y(jié)構(gòu)解釋性差：人們很難解釋蘊(yùn)涵在學(xué)習(xí)權(quán)之中的符號含義優(yōu)點(diǎn)對噪音數(shù)據(jù)的高承受能力對未經(jīng)訓(xùn)練的數(shù)據(jù)的分類能力可以對各種各樣的真實(shí)數(shù)據(jù)進(jìn)行分析有訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)提取規(guī)則算法目錄10.1神經(jīng)網(wǎng)絡(luò)及幾何意義10.2感知機(jī)10.3反向傳播模型附1：神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)附2：神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性

10.1神經(jīng)網(wǎng)絡(luò)及幾何意義

10.1.1神經(jīng)網(wǎng)絡(luò)原理

人工神經(jīng)網(wǎng)絡(luò)（ANN）是模擬人腦神經(jīng)元活動的過程，其中包括對信息的加工、處理、存儲、搜索等過程。

ANN不能對人腦進(jìn)行逼真描述，但它是人腦的某種抽象、簡化和模擬。人腦神經(jīng)元的形狀為：神經(jīng)元組成；樹突：神經(jīng)纖維較短，是接收信息的。細(xì)胞體：對接收到的信息進(jìn)行處理。軸突：較長的神經(jīng)纖維，是發(fā)出信息的。突觸：一個(gè)神經(jīng)元的軸突末端與另一個(gè)神經(jīng)元的樹突之間密切接觸。神經(jīng)元具有如下性質(zhì)：（1）多輸入單輸出；（2）突觸具有加權(quán)的效果；（3）信息進(jìn)行傳遞；（4）信息加工是非線性。神經(jīng)元的數(shù)學(xué)模型圖：

其中：V1、V2、…Vn為輸入；Ｕi為該神經(jīng)元的輸出；Ｔij為外面神經(jīng)元與該神經(jīng)元連接強(qiáng)度（即權(quán)），為閾值，f(X)為該神經(jīng)元的作用函數(shù)。每個(gè)神經(jīng)元的狀態(tài)Si（i＝1,2,…n）只取0或1，分別代表抑制與興奮。每個(gè)神經(jīng)元的狀態(tài)，由M-P方程決定： 其中：Wij是神經(jīng)元之間的連接強(qiáng)度，Wij（i≠j）是可調(diào)實(shí)數(shù)，由學(xué)習(xí)過程來調(diào)整。i是閾值，f(x)是階梯函數(shù)。

MP（MccullochPitts）模型[0,1]階梯函數(shù)

(0,1)S型函數(shù)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，主要是指通過一定的學(xué)習(xí)算法或規(guī)則實(shí)現(xiàn)對突觸結(jié)合強(qiáng)度(權(quán)值)的調(diào)整。ANN學(xué)習(xí)規(guī)則主要有四種，即聯(lián)想式學(xué)習(xí)、誤差傳播學(xué)習(xí)、概率式學(xué)習(xí)和競爭式學(xué)習(xí)。

(1)聯(lián)想學(xué)習(xí)：聯(lián)想學(xué)習(xí)是模擬人腦的聯(lián)想功能，典型聯(lián)想學(xué)習(xí)規(guī)則是由心理學(xué)家Hebb于1949年提出的學(xué)習(xí)行為的突觸聯(lián)系，稱為Hebb學(xué)習(xí)規(guī)則。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)Hebb規(guī)則若i與j兩種神經(jīng)元之間同時(shí)處于興奮狀態(tài)，則它們間的連接應(yīng)加強(qiáng)，即：△Wij＝SiSj(＞0) 這一規(guī)則與“條件反射”學(xué)說一致，并得到神經(jīng)細(xì)胞學(xué)說的證實(shí)。設(shè)α＝1，當(dāng)Si＝Sj＝1時(shí)，△Wij＝1，在Si，Sj中有一個(gè)為0時(shí)，△Wij＝0。

(2)誤差傳播學(xué)習(xí)：以1986年Rumelhart等人提出的δ規(guī)則(BP算法)為典型

δ規(guī)則中，誤差由輸出層逐層反向傳至輸入層，由誤差修改網(wǎng)絡(luò)權(quán)值，直至得到網(wǎng)絡(luò)權(quán)值適應(yīng)學(xué)習(xí)樣本。(3)概率式學(xué)習(xí)：典型代表是基于模擬退火的統(tǒng)計(jì)優(yōu)化方法的BOLTZMANN機(jī)學(xué)習(xí)規(guī)則，又稱為模擬退火算法。(4)競爭學(xué)習(xí)：利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)結(jié)，距離較遠(yuǎn)的神經(jīng)元之間產(chǎn)生抑制性聯(lián)結(jié)。

Grossberg等將競爭學(xué)習(xí)機(jī)制引入其建立的自適應(yīng)共振網(wǎng)絡(luò)模型(ART)

Kohonen提出的自組織特征映射網(wǎng)絡(luò)(SOM)等采用的是競爭學(xué)習(xí)機(jī)制10.1.2神經(jīng)網(wǎng)絡(luò)的幾何意義1．神經(jīng)元與超平面由n個(gè)神經(jīng)元（j=1,2,…,n）對連接于神經(jīng)元i的信息總輸入Ii為：

其中Wij為神經(jīng)元j到神經(jīng)元i的連接權(quán)值，i為神經(jīng)元的閾值。神經(jīng)元xj(j=1,2,…,n)相當(dāng)于n維空間（x1,x2,…,xn）中一個(gè)結(jié)點(diǎn)的n維坐標(biāo)（為了便于討論，省略i下標(biāo)記）。令：

它代表了n維空間中，以坐標(biāo)xj為變量的一個(gè)超平面。其中wj為坐標(biāo)的系數(shù)，為常數(shù)項(xiàng)。當(dāng)n=2時(shí)，“超平面”為平面（x1,x2）上的一條直線：當(dāng)n=3時(shí)，“超平面”為空間（x1,x2,x3）上的一個(gè)平面：從幾何角度看，一個(gè)神經(jīng)元代表一個(gè)超平面。2.超平面的作用n維空間（x1,x2,…,xn）上的超平面I=0，將空間劃分為三部分。（1）平面本身超平面上的任意結(jié)點(diǎn)滿足于超平面方程，即：

（2）超平面上部P超平面上部P的任意結(jié)點(diǎn)滿足于不等式，即

（3）超平面下部Q超平面下部Q的任意結(jié)點(diǎn)滿足于不等式，即

3.作用函數(shù)的幾何意義神經(jīng)網(wǎng)絡(luò)中使用的階梯型作用函數(shù)f（x）把n維空間中超平面的作用和神經(jīng)網(wǎng)絡(luò)作用函數(shù)結(jié)合起來，即

它的含義為：超平面上部P的任意結(jié)點(diǎn)經(jīng)過作用函數(shù)后轉(zhuǎn)換成數(shù)值1。超平面上任意結(jié)點(diǎn)和超平面下部Q上的任意結(jié)點(diǎn)經(jīng)過作用函數(shù)后轉(zhuǎn)換成數(shù)值0。4．神經(jīng)元的幾何意義通過以上分析可知，一個(gè)神經(jīng)元將其它神經(jīng)元對它的信息總輸入I，作用以后（通過作用函數(shù)）的輸出，相當(dāng)于:該神經(jīng)元所代表的超平面將n維空間（n個(gè)輸入神經(jīng)元構(gòu)成的空間）中超平面上部結(jié)點(diǎn)P轉(zhuǎn)換成1類，超平面及其下部結(jié)點(diǎn)轉(zhuǎn)換成0類。結(jié)論：神經(jīng)元起了一個(gè)分類作用。5．線性樣本與非線性樣本定義：對空間中的一組兩類樣本，當(dāng)能找出一個(gè)超平面將兩者分開，稱該樣本是線性樣本。若不能找到一個(gè)超平面將兩者分開，則稱該樣本是非線性樣本。6．非線性樣本變換成線性樣本利用超平面分割空間原理，對一個(gè)非線性樣本它是不能用一個(gè)超平面分割開。用多個(gè)超平面分割空間成若干區(qū)，使每個(gè)區(qū)中只含同類樣本的結(jié)點(diǎn)。這種分割完成了一種變換，使原非線性樣本變換成二進(jìn)制值下的新線性樣本。10.2感知機(jī)模型(Perceptron)

神經(jīng)元i的輸入為

Ｉi＝∑ＷijＳj

Ｓj為j神經(jīng)元的輸出，Ｗij為神經(jīng)元j到神經(jīng)元i的連接權(quán)重。神經(jīng)元i的輸出為：Ｏi＝ｆ（Ｉi）

其中ｆ（ｘ）為神經(jīng)元作用函數(shù)。（一般采用[0,1]階梯函數(shù)）

設(shè)i神經(jīng)元的期望輸出為Ｄi，它與計(jì)算輸出Ｏi之差為：

δｉ＝Ｄi－Ｏi

通過樣本學(xué)習(xí)，應(yīng)該讓權(quán)重Ｗij使δi盡可能小。利用著名的德爾塔規(guī)則（deltarule）計(jì)算：

△Ｗij＝αδi

Ｓj

（α為常數(shù)）δ規(guī)則:

Ｗij(t+1)＝Ｗij(t)＋△Ｗij

更新權(quán)重Ｗij。實(shí)例─兩值邏輯加法(或)輸入X1

X2

輸出ｄ（期望）００００１１１０１１１１

該例子的感知機(jī)計(jì)算公式：

┌Ｗ1┐(k+1)┌Ｗ1┐(k)┌ｘ1┐

│

│＝││＋ｃ（ｄ－ｙ）││└Ｗ2┘└Ｗ2┘└ｘ2┘

初值：┌Ｗ1┐┌０┐ｃ＝１

└Ｗ2┘

└０┘其中ｄ為期望輸出，ｙ為計(jì)算輸出。定義：對空間中的一組兩類樣本，當(dāng)能找出一個(gè)超平面將兩者分開，稱該樣本是線性可分樣本。

yx1x2w1w2(0,1)(1,1)(1,0)(0,0)計(jì)算過程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(1)┌Ｗ1┐(0)

┌０┐

┌０┐

┌０┐┌０┐

││＝││＋（０－０）││＝││＋│

│＝││

└Ｗ2┘└Ｗ2┘

└０┘

└０┘└０┘

└０┘Ｋ＝２，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(2)┌Ｗ1┐(1)

┌０┐

┌０┐

┌０┐┌０┐

││＝││＋（１－０）││＝││＋│

│＝││

└Ｗ2┘└Ｗ2┘

└１┘

└０┘└１┘

└１┘Ｋ＝３，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(3)┌Ｗ1┐(2)

┌１┐

┌０┐

┌１┐┌１┐

││＝││＋（１－０）││＝││＋│

│＝││

└Ｗ2┘└Ｗ2┘

└０┘

└１┘└０┘

└１┘

Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１

┌Ｗ1┐(4)┌Ｗ1┐(3)

┌１┐

┌１┐

┌０┐┌１┐

││＝││＋（１－１）││＝││＋│

│＝││

└Ｗ2┘└Ｗ2┘

└１┘

└１┘└０┘

└１┘再循環(huán)一次，將會得到所有例子的（ｄ－ｙ）值均為零，即權(quán)值（Ｗ1＝１，Ｗ2＝１）滿足所有實(shí)例要求。對ＸＯＲ異或問題：輸入ｘ1ｘ2輸出ｙ００００１１１０１１１0

樣本是非線性樣本，即找不到一個(gè)超平面，將兩類樣本分開。感知機(jī)對ＸＯＲ問題的計(jì)算：同二值邏輯樣本計(jì)算，Ｋ＝１，２，３的計(jì)算相同，Ｋ＝４時(shí)有：

ｙ＝ｆ（１＋１）＝ｆ（２）＝１

┌Ｗ11┐(4)┌Ｗ11┐(3)

┌１┐

┌１┐

┌－１┐

┌０┐

││＝││＋（０－１）││＝││＋│

│＝││

└Ｗ21┘└Ｗ21┘

└１┘

└１┘└－１┘

└０┘修改后的權(quán)值，又回到了初始狀態(tài)，如果繼續(xù)計(jì)算，將出現(xiàn)無限循環(huán)，永遠(yuǎn)不會收斂。該例充分說明感知機(jī)對非線性樣本無效。(0,1)(1,1)(1,0)(0,0)神經(jīng)網(wǎng)絡(luò)BP模型原理：

BP算法的學(xué)習(xí)過程，由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)過隱層，再傳向輸出層，每一層的神經(jīng)元的狀態(tài)值只影響下一層神經(jīng)元的狀態(tài)值；如果在輸出層不能得到期望的輸出值，則轉(zhuǎn)入反向傳播，將誤差信號沿逆向通路返回，通過修正各層神經(jīng)元的權(quán)值，使得網(wǎng)絡(luò)的總誤差值收斂到極小。信息的正向傳播，誤差的反向傳播。10.3反向傳播模型(BackPropagationBP模型)網(wǎng)絡(luò)開始訓(xùn)練時(shí)選用較小的隨機(jī)給定權(quán)值與內(nèi)部閾值（θ），通過反復(fù)利用訓(xùn)練樣本調(diào)整權(quán)值，直到誤差函數(shù)下降到可以接受的允許值（如0.05）。

BP神經(jīng)網(wǎng)絡(luò)對非線性數(shù)據(jù)分類是十分有效的。BP模型是1985年由Rumelhart等人提出的。1.多層感知機(jī)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)不僅有輸入節(jié)點(diǎn)、輸出節(jié)點(diǎn)，而且有一層或多層隱節(jié)點(diǎn),如圖：2.作用函數(shù)為(0,1)S型函數(shù)

3.誤差函數(shù)

BP算法是最小均方差算法（LMS）的一般化，用梯度搜索技術(shù)，使均方差函數(shù)最小。根據(jù)最小二乘法原理，對第p個(gè)樣本誤差計(jì)算公式可定義為：對于整個(gè)網(wǎng)絡(luò)系統(tǒng)的總均方誤差為：E＝1/p∑Ep，其中p為訓(xùn)練樣本總數(shù)。網(wǎng)絡(luò)訓(xùn)練的目的是找到一組權(quán)值，使E極小化。LMS算法用梯度下降法，即權(quán)重的增量正比于誤差的負(fù)導(dǎo)數(shù)：用誤差去修正輸出層和隱節(jié)點(diǎn)的權(quán)值，誤差反向傳播。誤差反向傳播示意圖BP算法計(jì)算公式：

1.隱結(jié)點(diǎn)的輸出：2.輸出結(jié)點(diǎn)計(jì)算輸出：其中：其中：3.輸出結(jié)點(diǎn)的誤差公式：其中：令：對輸出節(jié)點(diǎn)：對隱節(jié)點(diǎn)：令：其中：1.對輸出結(jié)點(diǎn)： 2.權(quán)值修正：

3.對隱結(jié)點(diǎn)： 4.權(quán)值修正： 其中，隱結(jié)點(diǎn)誤差的含義：表示輸出層結(jié)點(diǎn)l的誤差通過權(quán)值向隱結(jié)點(diǎn)I反向傳播（誤差乘權(quán)值再累加）成為隱結(jié)點(diǎn)的誤差。閾值的修正

閾值也是一個(gè)變化值，在修正權(quán)值的同時(shí)也修正它，原理同權(quán)值的修正。對輸出結(jié)點(diǎn)：對隱結(jié)點(diǎn)：對算法公式的進(jìn)一步推導(dǎo)和簡化：作用函數(shù)存在關(guān)系對輸出結(jié)點(diǎn)：

對隱結(jié)點(diǎn)：

BP模型計(jì)算公式匯總1.輸出結(jié)點(diǎn)輸出Ol計(jì)算公式（1）輸入結(jié)點(diǎn)的輸入xj（2）隱結(jié)點(diǎn)的輸出：其中：Wij連接權(quán)值，結(jié)點(diǎn)閾值。

(3)輸出結(jié)點(diǎn)輸出：其中：Tij連接權(quán)值，結(jié)點(diǎn)閾值。輸出層（隱結(jié)點(diǎn)到輸出結(jié)點(diǎn)間）的修正公式輸出結(jié)點(diǎn)的期望輸出：tl誤差控制：所有樣本誤差：其中一個(gè)樣本誤差：其中，p為樣本數(shù)，n為輸出結(jié)點(diǎn)數(shù)。（3）誤差公式： （4）權(quán)值修正：其中k為迭代次數(shù)。（5）閾值修正： 3、隱結(jié)點(diǎn)層（輸入結(jié)點(diǎn)到隱結(jié)點(diǎn)間）的修正公式（1）誤差公式：（2）權(quán)值修正：（3）閾值修正：··

求

l(2)

i(1)Ol=f（

－l

）yi=f（－i

）l(k+1)=l(k)+l(2)

j·

修正（Tli，l

），（Wij，i）修正權(quán)

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋i(1)xj輸出節(jié)點(diǎn)lTli

隱節(jié)點(diǎn)

i修正權(quán)Wij輸入節(jié)點(diǎn)xji(k+1)=i(k)+i(1)BP網(wǎng)絡(luò)的學(xué)習(xí)過程⑴樣本的正向傳播過程(由輸入計(jì)算到輸出)⑵誤差的逆向傳播過程(由誤差修改權(quán)值)⑶記憶訓(xùn)練過程：⑴、⑵的交替過程(反復(fù)修改權(quán)值)⑷學(xué)習(xí)的收斂過程：Emin實(shí)例分析1.異或問題的BP神經(jīng)網(wǎng)絡(luò)按問題要求，設(shè)置輸入結(jié)點(diǎn)為兩個(gè)（x1,x2），輸出結(jié)點(diǎn)為1個(gè)（z），隱結(jié)點(diǎn)定為2個(gè)（y1，y2）。各結(jié)點(diǎn)閾值和網(wǎng)絡(luò)權(quán)值見圖說明。2.計(jì)算機(jī)運(yùn)行結(jié)果迭代次數(shù)：16745次；總誤差：0.05隱層網(wǎng)絡(luò)權(quán)值和閾值：

w11=5.24，w12=5.23，w21=6.68，w22=6.64 1=8.01 2=2.98輸出層網(wǎng)絡(luò)權(quán)值和閾值：

T1=-10，T2=10，=4.793.用計(jì)算結(jié)果分析神經(jīng)網(wǎng)絡(luò)的幾何意義隱結(jié)點(diǎn)代表的直線方程

y1：5.24x1+5.23x2-8.01=0

即x1+0.998x2-1.529=0 y2：6.68x1+6.64x2-2.98=0即 x1+0.994x2-0.446=0 圖、隱結(jié)點(diǎn)代表的直線方程直線y1和y2將平面（x1，x2）分為三區(qū)：y1線上方區(qū)，x1+x2-1.53>0，x1+x2-0.45>0y1,y2線之間區(qū)，x1+x2-1.53<0，x1+x2-0.45>0y2線的下方區(qū)，x1+x2-1.53<0，x1+x2-0.45<0對樣本點(diǎn)：點(diǎn)(0,0)落入y2的下方區(qū)，經(jīng)過隱結(jié)點(diǎn)作用函數(shù)f(x)（暫取它為階梯函數(shù)），得到輸出y1=0,y2=0。點(diǎn)(1,0)和點(diǎn)(0,1)落入y1,y2線之間區(qū)，經(jīng)過隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出均為y1=0,y2=1。點(diǎn)(1,1)落入y1線上方區(qū)，經(jīng)過隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出為y1=1,y2=1。結(jié)論：隱結(jié)點(diǎn)將x1,x2平面上四個(gè)樣本點(diǎn)

(0,0)，(0,1)，(1,0)，(1,1)變換成三個(gè)樣本點(diǎn)

(0,0)，(0,1)，(1,1)它已是線性樣本。輸出結(jié)點(diǎn)代表的直線方程Z：-10y1+10y2-4.79=0，即 -y1+y2-0.479=0 直線Z將平面(y1,y2)分為兩區(qū)Z線上方區(qū)-y1+y2-0.479>0Z線下方區(qū)-y1+y2-0.479<0對樣本點(diǎn)：點(diǎn)(0,1)（即y1=0,y2=1）落入Z線上方區(qū)，經(jīng)過輸出結(jié)點(diǎn)作用函數(shù)f(x)（暫取它為階梯函數(shù)）得到輸出為：Z=1點(diǎn)(0,0)（即y1=0,y2=0），點(diǎn)(1,1)（即y1=1,y2=1）落入Z線下方區(qū)，經(jīng)過輸出結(jié)點(diǎn)作用函數(shù)f(x)得到輸出為：Z=0結(jié)論：輸出結(jié)點(diǎn)將y1,y2平面上三個(gè)樣本(0,0)，(0,1)，(1,1)變換成兩類樣本Z=1和Z=0。4.神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)的作用隱結(jié)點(diǎn)作用是將原非線性樣本（四個(gè)）變換成線性樣本（三個(gè)）。輸出結(jié)點(diǎn)作用是將線性樣本（三個(gè)）變換成兩類（1類或0類）。對于作用函數(shù)f(x)取為S型函數(shù)，最后變換成兩類為“接近1類”和“接近0類”。

附1：神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)一、神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)特點(diǎn)1.神經(jīng)元網(wǎng)絡(luò)知識庫體現(xiàn)在神經(jīng)元之間的連接強(qiáng)度（權(quán)值）上。它是分布式存貯的，適合于并行處理。2.推理機(jī)是基于神經(jīng)元的信息處理過程。它是以Ｍ－P模型為基礎(chǔ)的，采用數(shù)值計(jì)算方法。3.神經(jīng)元網(wǎng)絡(luò)有成熟的學(xué)習(xí)算法。感知機(jī)采用delta規(guī)則。反向傳播模型采用誤差沿梯度方向下降以及隱節(jié)點(diǎn)的誤差由輸出結(jié)點(diǎn)誤差反向傳播的思想進(jìn)行的。４.容錯(cuò)性好。由于信息是分布式存貯，在個(gè)別單元上即使出錯(cuò)或丟失，所有單元的總體計(jì)算結(jié)果，可能并不改變。二、神經(jīng)元網(wǎng)絡(luò)專家系統(tǒng)結(jié)構(gòu)用戶知識工程師

學(xué)習(xí)樣本

確定系統(tǒng)框架

神經(jīng)元學(xué)習(xí)

形成學(xué)習(xí)樣本

知識庫（分布式）實(shí)際問題參數(shù)輸入模式轉(zhuǎn)換

推理機(jī)制輸出模式轉(zhuǎn)換實(shí)際問題結(jié)果（一）確定系統(tǒng)框架

1.完成對神經(jīng)元網(wǎng)絡(luò)的拓樸結(jié)構(gòu)設(shè)計(jì)：（1）神經(jīng)元個(gè)數(shù)（2）神經(jīng)元網(wǎng)絡(luò)層次（3）網(wǎng)絡(luò)單元的連接

2.確定神經(jīng)元的作用函數(shù)和閾值作用函數(shù)用得較多的有兩種：（1）階梯函數(shù)（2）S型函數(shù)閾值的選取可為定值如i=0或i=0.5，或者進(jìn)行迭代計(jì)算。（二）學(xué)習(xí)樣本學(xué)習(xí)樣本是實(shí)際問題中已有結(jié)果的實(shí)例、公認(rèn)的原理，規(guī)則或事實(shí)。（三）學(xué)習(xí)算法對不同的網(wǎng)絡(luò)模型采用不同的學(xué)習(xí)算法，但都以Hebb規(guī)則為基礎(chǔ)。

1.Perceptron(感知機(jī))模型：采用delta規(guī)則。2.Back-propagation(反向傳播)模型：采用誤差反向傳播方法。（四）推理機(jī)推理機(jī)是基于神經(jīng)元的信息處理過程。

1.神經(jīng)元j的輸入：

其中，Wjk為神經(jīng)元j和下層神經(jīng)元k之間的連接權(quán)值。Ok為k神經(jīng)元的輸出。

2.神經(jīng)元j的輸出

Oj=f(Ij-j)

j為閾值，f為神經(jīng)元作用函數(shù)。（五）知識庫知識庫主要是存放各個(gè)神經(jīng)元之間連接權(quán)值。由于上下兩層間各神經(jīng)元都有關(guān)系，用數(shù)組表示為：

(Wij)i行對應(yīng)上層結(jié)點(diǎn)，j列對應(yīng)下層結(jié)點(diǎn)。（六）輸入模式轉(zhuǎn)換實(shí)際問題的輸入，一般是以一種概念形式表示，而神經(jīng)元的輸入，要求以(-∞,∞)間的數(shù)值形式表示。這需要將物理概念轉(zhuǎn)換成數(shù)值。

建立兩個(gè)向量集：（1）實(shí)際輸入概念集：各輸入節(jié)點(diǎn)的具體物理意義，一般采用表的形式。（2）神經(jīng)元輸入數(shù)值集：各輸入節(jié)點(diǎn)的數(shù)值。（七）輸出模式轉(zhuǎn)換實(shí)際問題的輸出，一般也是以一種概念形式表示。而神經(jīng)元的輸出，一般是在[0,1]間的數(shù)值形式，這需要將數(shù)值向物理概念的轉(zhuǎn)換。城市醫(yī)療服務(wù)能力評價(jià)系統(tǒng)輸入包括五個(gè)方面：（1）病床數(shù)，（2）醫(yī)生數(shù)，（3）醫(yī)務(wù)人員數(shù)，（4）門診數(shù)，（5）死亡率。輸出模式包括四個(gè)級別：（1）非常好(v)；（2）好(g)；（3）可接受(a)；（4）差(b)，建立一個(gè)三層的神經(jīng)元網(wǎng)絡(luò)。輸出數(shù)據(jù)用四個(gè)節(jié)點(diǎn)分別