軟件建模與UML 第九章課件

1、 第 9 章 神 經(jīng) 網(wǎng) 絡(luò)目 錄9.1 神經(jīng)網(wǎng)絡(luò)概念與感知機(jī)9.2 反向傳播網(wǎng)絡(luò)9.3 徑向基函數(shù)網(wǎng)絡(luò)9.4 神經(jīng)網(wǎng)絡(luò)的幾何意義附1：神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)附2：神經(jīng)網(wǎng)絡(luò)的容錯性 9.1 神經(jīng)網(wǎng)絡(luò)概念與感知機(jī) 9.1.1神經(jīng)網(wǎng)絡(luò)原理 人工神經(jīng)網(wǎng)絡(luò)（ANN）是模擬人腦神經(jīng)元活動的過程，其中包括對信息的加工、處理、存儲、搜索等過程。 ANN不能對人腦進(jìn)行逼真描述，但它是人腦的某種抽象、簡化和模擬。人腦神經(jīng)元的形狀為：神經(jīng)元組成；樹突：神經(jīng)纖維較短，是接收信息的。細(xì)胞體：對接收到的信息進(jìn)行處理。軸突：較長的神經(jīng)纖維，是發(fā)出信息的。突觸：一個神經(jīng)元的軸突末端與另一個神經(jīng)元的樹突之間密切接觸。神經(jīng)元具有如下

2、性質(zhì)：（1）多輸入單輸出；（2）突觸具有加權(quán)的效果；（3）信息進(jìn)行傳遞；（4）信息加工是非線性。每個神經(jīng)元的狀態(tài)Ui（i1,2,n）只取0或1，分別代表抑制與興奮。每個神經(jīng)元的狀態(tài)，由M-P方程決定：其中：wij是神經(jīng)元之間的連接強(qiáng)度，wij（ij）是可調(diào)實數(shù)，由學(xué)習(xí)過程來調(diào)整。i是閾值，f(x)是階梯函數(shù)。 MP（Mcculloch Pitts）模型0,1階梯函數(shù) (0,1)S型函數(shù)：9.1.2 感知機(jī)網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)應(yīng)用最早，且最成功的神經(jīng)網(wǎng)絡(luò)模型。1.感知機(jī)網(wǎng)絡(luò)原理感知機(jī)網(wǎng)絡(luò)是雙層模型。輸出層神經(jīng)元i的輸入為： iijxj xj為j神經(jīng)元的輸出，ij為神經(jīng)元j到神經(jīng)元i的連接權(quán)重

3、。神經(jīng)元i的輸出為： i（i）其中（）為神經(jīng)元作用函數(shù)。（一般采用 0,1階梯函數(shù) ）設(shè)i神經(jīng)元的期望輸出為i，它與計算輸出i之差為： ii 通過樣本學(xué)習(xí)，應(yīng)該讓權(quán)重ij使i盡可能小。利用著名的德爾塔規(guī)則（delta rule）計算： iji xj （為常數(shù)）規(guī)則: ij(t+1)ij(t)ij 更新權(quán)重ij。9.2.3感知機(jī)實例與討論兩值邏輯加法實例 輸入X1X2輸出（期望） 該例子的感知機(jī)計算公式： 1(k+1) 1(k) 1 （） 2 2 2 初值： 1 2 其中為期望輸出，為計算輸出。yx1x2w1w2(0,1)(1,1)(1,0)(0,0) 對異或（）問題：輸入12輸出 0樣本是非線

4、性樣本，即找不到一個超平面，將兩類樣本分開。感知機(jī)對問題的計算：同二值邏輯樣本計算，的計算相同，時有：（）（）11 (4)11(3) （） 21 21 修改后的權(quán)值，又回到了初始狀態(tài)，如果繼續(xù)計算，將出現(xiàn)無限循環(huán)，永遠(yuǎn)不會收斂。該例充分說明感知機(jī)對非線性樣本無效。(0,1)(1,1)(1,0)(0,0)9.2 反向傳播網(wǎng)絡(luò)9.2.1 反向傳播BP網(wǎng)絡(luò)結(jié)構(gòu)9.2.2 BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)9.2.3 BP網(wǎng)絡(luò)的典型實例 網(wǎng)絡(luò)開始訓(xùn)練時選用較小的隨機(jī)數(shù)給定權(quán)值與內(nèi)部閾值（），通過反復(fù)利用訓(xùn)練樣本調(diào)整權(quán)值，直到誤差函數(shù)下降到可以接受的允許值（如0.05）。 BP神經(jīng)網(wǎng)絡(luò)對非線性數(shù)據(jù)分類是十分有效的。B

5、P模型是1985年由Rumelhart等人提出的。1. 多層網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)不僅有輸入節(jié)點、輸出節(jié)點，而且有一層或多層隱節(jié)點,如圖：2. 作用函數(shù)為(0,1)S型函數(shù) 3.誤差函數(shù) BP算法是最小均方差算法（LMS）的一般化，用梯度搜索技術(shù)，使均方差函數(shù)最小。 根據(jù)最小二乘法原理， 對第p個樣本誤差計算公式可定義為為： 對于整個網(wǎng)絡(luò)系統(tǒng)的總均方誤差為：E1/pEp，其中p為訓(xùn)練樣本總數(shù)。網(wǎng)絡(luò)訓(xùn)練的目的是找到一組權(quán)值，使E極小化。算法用梯度下降法，即權(quán)重的增量正比于誤差的負(fù)導(dǎo)數(shù)：用誤差去修正輸出層和隱節(jié)點的權(quán)值，誤差反向傳播。誤差反向傳播示意圖BP算法計算公式： 1.隱結(jié)點的輸出：2. 輸出結(jié)

6、點計算輸出：其中：其中：3. 輸出結(jié)點的誤差公式：對隱節(jié)點：令：其中：1. 對輸出結(jié)點：2. 權(quán)值修正：3. 對隱結(jié)點：4. 權(quán)值修正：其中，隱結(jié)點誤差的含義： 表示輸出層結(jié)點l的誤差 通過權(quán)值 向隱結(jié)點I反向傳播（誤差乘 權(quán)值 再累加）成為隱結(jié)點的誤差。對算法公式的進(jìn)一步推導(dǎo)和簡化：作用函數(shù) 存在關(guān)系 對輸出結(jié)點： 對隱結(jié)點： BP模型計算公式匯總1. 輸出結(jié)點輸出Ol計算公式（1）輸入結(jié)點的輸入xj（2）隱結(jié)點的輸出：其中：Wij連接權(quán)值， 結(jié)點閾值。 (3) 輸出結(jié)點輸出：其中：Tij連接權(quán)值， 結(jié)點閾值。輸出層（隱結(jié)點到輸出結(jié)點間）的修正公式輸出結(jié)點的期望輸出：tl誤差控制：所有樣本誤

7、差：其中一個樣本誤差： 其中，p為樣本數(shù)，n為輸出結(jié)點數(shù)。（3）誤差公式：（4）權(quán)值修正： 其中k為迭代次數(shù)。 （5） 閾值修正：3、隱結(jié)點層（輸入結(jié)點到隱結(jié)點間）的修正公式（1）誤差公式：（2）權(quán)值修正：（3）閾值修正： 求 l(2) i(1)Ol=f（ l ）yi=f（ i ）l(k+1)= l(k)+ l(2) j 修正（Tli，l ），（Wij，i）修正權(quán) l(2)=Ol(1Ol)(dlOl)Til(k+1)= Til(k)l(2)yi i(1)= yi(1yi )Wij(k+1)=Wij(k)i(1)xj輸出節(jié)點lTli 隱節(jié)點 i修正權(quán)Wij輸入節(jié)點xji(k+1)= i(k)+

8、i(1)BP網(wǎng)絡(luò)的學(xué)習(xí)過程樣本的正向傳播過程(由輸入計算到輸出)誤差的逆向傳播過程(由誤差修改權(quán)值)記憶訓(xùn)練過程：、的交替過程(反復(fù)修改權(quán)值)學(xué)習(xí)的收斂過程：E min9.2.3 BP網(wǎng)絡(luò)典型實例1. 異或問題的BP神經(jīng)網(wǎng)絡(luò)按問題要求，設(shè)置輸入結(jié)點為兩個（x1,x2），輸出結(jié)點為1個（z），隱結(jié)點定為2個（y1，y2）。各結(jié)點閾值和網(wǎng)絡(luò)權(quán)值見圖說明。2. 計算機(jī)運行結(jié)果迭代次數(shù)：16745次；總誤差：0.05隱層網(wǎng)絡(luò)權(quán)值和閾值： w11=5.24，w12=5.23，w21=6.68，w22=6.641=8.012=2.98輸出層網(wǎng)絡(luò)權(quán)值和閾值：T1=-10，T2=10，=4.799.3 徑向基

9、函數(shù)網(wǎng)絡(luò) 9.3.1 徑向基函數(shù)RBF網(wǎng)絡(luò)原理 9.3.2 RBF網(wǎng)絡(luò)算法與分析9.3.1 徑向基函數(shù)RBF網(wǎng)絡(luò)原理1基本概念徑向基函數(shù) (Radial Basis Function，RBF) 神經(jīng)網(wǎng)絡(luò)是一類常用的三層前饋網(wǎng)絡(luò)，用于模式分類，也可用于函數(shù)逼近。RBF神經(jīng)網(wǎng)絡(luò)也是含有隱層的前向三層神經(jīng)網(wǎng)絡(luò)。 輸入層由一些輸入單元組成。隱層單元的變換函數(shù)是徑向基函數(shù)，它是非線性的，在輸入空間到隱層空間之間進(jìn)行非線性變換。輸出層的輸出是對隱層單元的線性分類。即RBF神經(jīng)網(wǎng)絡(luò)分成前后兩部分：（1）將非線性樣本：X（x1，x2，xn），通過徑向基函數(shù)變換成線性樣本：H（h1（x），h2（x），hk（x）

10、。（2）通過類似于感知機(jī)神經(jīng)網(wǎng)絡(luò)，將線性樣本H（X）進(jìn)行分類。 RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 x1x2xixn-1xny1y2ymh1(x)wijh2(x)hk(x)當(dāng)隱單元的個數(shù)和徑向基函數(shù)的參數(shù)確定后，RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)只集中在隱層至輸出層的連接權(quán)值的訓(xùn)練學(xué)習(xí)，這時的訓(xùn)練是基于線性尋優(yōu)的。RBF網(wǎng)絡(luò)具有逼近精度高、網(wǎng)絡(luò)規(guī)模小、學(xué)習(xí)速度快和不存在局部最小問題等特點。徑向基函數(shù)取高斯函數(shù)，即隱層第k個結(jié)點的輸出為：式中ck=（c1k，c2k，cnk）為第k個隱結(jié)點的中心向量；為第k個隱結(jié)點的寬度； 為輸入向量x（x1，x2，xn）與中心向量ck 的距離。整個網(wǎng)絡(luò)的輸入輸出方程為：式中：

11、k為當(dāng)前網(wǎng)絡(luò)中隱結(jié)點的個數(shù)； 為隱層第j個終結(jié)點與輸出層第i個結(jié)點的連接權(quán)值。由于輸出層是線性函數(shù)，網(wǎng)絡(luò)輸出是徑向基隱層輸出的線性組合，從而很容易達(dá)到從輸入空間到輸出空間非線性映射的目的。2隱層設(shè)計設(shè)計RBF網(wǎng)絡(luò)的隱層，主要是確定隱層單元數(shù)目和它們的激勵函數(shù)（高斯函數(shù)），高斯函數(shù)由聚類中心ck和聚類寬度 確定。在初始計算時，由于訓(xùn)練模式的類別是己知的，因此可以采用K-均值聚類方法，即每一類對應(yīng)隱層網(wǎng)絡(luò)的一個單元。高斯函數(shù)的寬度參數(shù)可以根據(jù)各類中的點與中心點的距離取均值，而高斯函數(shù)的中心分別取各類的均值作為各自單元的中心點。 9.3.2 RBF網(wǎng)絡(luò)算法與分析1 RBF網(wǎng)絡(luò)的訓(xùn)練假設(shè)有一個樣本序列

12、 x（l），d（l），其中x（l）第l個輸入樣本，d（l）為x（l）對應(yīng)的實際輸出，這些樣本一個接一個地提供給網(wǎng)絡(luò)。為了達(dá)到學(xué)習(xí)的，在某時刻t輸入樣本（x（t），d（t），根據(jù)網(wǎng)絡(luò)計算輸出與樣本實際輸出的差異程度來決定是否需要修改網(wǎng)絡(luò)參數(shù)。 常用的訓(xùn)練算法，包括聚類方法，梯度訓(xùn)練算法，以及正交最小二乘學(xué)習(xí)算法。 2梯度訓(xùn)練算法公式RBF網(wǎng)絡(luò)的梯度訓(xùn)練方法與BP算法訓(xùn)練原理類似， 通過最小化目標(biāo)函數(shù)實現(xiàn)對 各隱節(jié)點數(shù)據(jù)中心、寬度和輸出權(quán)值的學(xué)習(xí)。建立這種訓(xùn)練過程首先是定義一個誤差函數(shù)E 來衡量網(wǎng)絡(luò)計算輸出y與 樣本實際輸出d之間的差異， 形式為： 這里的di，yi分別為網(wǎng)絡(luò)第i個輸出結(jié)點的實際輸

13、出和計算輸出。按照梯度下降方法，和BP算法一樣，用誤差函數(shù)E分別對 、ck、 求偏導(dǎo)數(shù)，得出此三個數(shù)的迭代公式： 3基本的RBF算法的流程 根據(jù)己知樣本的類別個數(shù)確定隱層結(jié)點數(shù)目k，并分別在各類別中隨機(jī)選取一個樣本作為該類的中心ck，初始寬度 可以通過各類中的樣本標(biāo)準(zhǔn)差確定，再初始化 。 設(shè)定容許誤差 （0）、學(xué)習(xí)率 ， ， 。假設(shè)目前可用的最大訓(xùn)練樣本數(shù)為 S（S 1），設(shè)定循環(huán)變量t初始為1。(2) 輸入第t個訓(xùn)練樣本，按公式求得網(wǎng)絡(luò)實際輸出y。 (3) 求計算輸出與實際輸出之間的誤差 E；如果誤差為E ，則該樣本不需要調(diào)整網(wǎng)絡(luò)參數(shù)，跳到（6）；否則進(jìn)入下一步。(4) 按i=1，2，m；j

14、=1，2，k，對權(quán)值 、中心矢量 ck 、寬度 進(jìn)行修正。(5) 基于新的網(wǎng)絡(luò)參數(shù)（t+1），轉(zhuǎn)到(2)。(6) t+1；如果t S（樣本數(shù)），即無新樣本，則整個學(xué)習(xí)過程結(jié)束；否則轉(zhuǎn)到(2)。 4. RBF神經(jīng)網(wǎng)絡(luò)算法分析徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)是一種三層前饋神經(jīng)網(wǎng)絡(luò)，其隱含層和輸出層所完成的功能是不同的。隱含層是對RBF的輸入?yún)?shù)進(jìn)行調(diào)整，采用的是非線性樣本轉(zhuǎn)換成線性樣本的策略。輸出層是對線性樣本進(jìn)行分類，采用的是線性優(yōu)化策略。網(wǎng)絡(luò)訓(xùn)練算法包括兩部分（1）網(wǎng)絡(luò)隱層徑向基函數(shù)的中心cj和寬度 的確定；（2）隱層到輸出層權(quán)值 的確定，即調(diào)整隱層空間到輸出空間的權(quán)值矩陣。 這兩個部分可以同步進(jìn)

15、行（上面給出的RBF算法流程），也可異步進(jìn)行: 對第（1）步進(jìn)行訓(xùn)練樣本的聚類變換，對第 （2）步進(jìn)行類似于感知機(jī)神經(jīng)網(wǎng)絡(luò)計算，完成分類。 因為網(wǎng)絡(luò)輸出與連接權(quán)之間呈線性關(guān)系，所以對權(quán)值的訓(xùn)練可以采用類似于感知機(jī)神經(jīng)網(wǎng)絡(luò)算法。所以，RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的關(guān)鍵在于第（1）步的徑向基函數(shù)的中心矢量和寬度的確定。9.4 神經(jīng)網(wǎng)絡(luò)的幾何意義9.4.1 神經(jīng)網(wǎng)絡(luò)的超平面含義9.4.2 異或問題的實例分析9.4.1 神經(jīng)網(wǎng)絡(luò)的超平面含義1神經(jīng)元與超平面由n個神經(jīng)元（j=1,2,n）對連接于神經(jīng)元i的信息總輸入Ii為：其中wij為神經(jīng)元j到神經(jīng)元i的連接權(quán)值，i為神經(jīng)元的閾值。神經(jīng)元xj(j=1,2,n)

16、相當(dāng)于n維空間（x1,x2,xn）中一個結(jié)點的n維坐標(biāo)（為了便于討論，省略i下標(biāo)記）。令：它代表了n維空間中，以坐標(biāo)xj為變量的一個超平面。其中wj為坐標(biāo)的系數(shù)，為常數(shù)項。當(dāng)n=2時，“超平面”為平面（x1, x2）上的一條直線：當(dāng)n=3時，“超平面”為空間（x1, x2,x3）上的一個平面：從幾何角度看，一個神經(jīng)元代表一個超平面。2.超平面的作用 n維空間（x1,x2,xn）上的超平面I=0，將空間劃分為三部分。（1）平面本身超平面上的任意結(jié)點 滿足于超平面方程，即：（2）超平面上部 P超平面上部 P 的任意結(jié)點滿足于不等式，即（3）超平面下部 Q超平面下部 Q 的任意結(jié)點滿足于不等式，即3

17、.作用函數(shù)的幾何意義神經(jīng)網(wǎng)絡(luò)中使用的階梯型作用函數(shù)f（x）, 把n維空間中超平面的作用和神經(jīng)網(wǎng)絡(luò)作用函數(shù)結(jié)合起來，即它的含義為：超平面上部P的任意結(jié)點經(jīng)過作用函數(shù)后轉(zhuǎn)換成數(shù)值1。超平面上任意結(jié)點和超平面下部Q上的任意結(jié)點經(jīng)過作用函數(shù)后轉(zhuǎn)換成數(shù)值0。4神經(jīng)元的幾何意義 一個神經(jīng)元將其它神經(jīng)元對它的信息總輸入I，作用以后（通過作用函數(shù)）的輸出，相當(dāng)于:該神經(jīng)元所代表的超平面將n維空間（n個輸入神經(jīng)元構(gòu)成的空間）中超平面上部結(jié)點P轉(zhuǎn)換成1類，超平面及其下部結(jié)點轉(zhuǎn)換成0類。結(jié)論：神經(jīng)元起了一個分類作用。5線性樣本與非線性樣本定義：對空間中的一組兩類樣本，當(dāng)能找出一個超平面將兩者分開，稱該樣本是線性樣本

18、。 若不能找到一個超平面將兩者分開，則稱該樣本是非線性樣本。6非線性樣本變換成線性樣本利用超平面分割空間原理，對一個非線性樣本它是不能用一個超平面分割開。用多個超平面分割空間成若干區(qū)，使每個區(qū)中只含同類樣本的結(jié)點。這種分割完成了一種變換，使原非線性樣本變換成二進(jìn)制值下的新線性樣本。9.4.2 異或問題的實例分析異或問題（XOR）的解已在9.2.3節(jié)給出，對其神經(jīng)網(wǎng)絡(luò)的幾何意義具體分析如下：1. 隱結(jié)點代表的直線方程利用隱結(jié)點的權(quán)值和閾值可以建立隱結(jié)點代表的方程： y1：5.24x1+5.23 x2-8.01=0 即 x1+0.998 x2-1.529=0 y2：6.68x1+6.64 x2-2

19、.98=0即 x1+0.994 x2-0.446=0圖9.12 隱結(jié)點代表的直線方程直線y1和y2將平面（x1，x2）分為三區(qū)：y1線上方區(qū)，x1+x2-1.530，x1+x2-0.450y1,y2線之間區(qū)，x1+x2-1.530y2線的下方區(qū)，x1+x2-1.530，x1+x2-0.450Z線下方區(qū) -y1+y2-0.4790對樣本點：點(0,1)（即y1=0,y2=1）落入Z線上方區(qū)，經(jīng)過輸出結(jié)點作用函數(shù)f(x)（暫取它為階梯函數(shù)）得到輸出為：Z=1點(0,0)（即y1=0,y2=0），點(1,1)（即y1=1,y2=1）落入Z線下方區(qū)，經(jīng)過輸出結(jié)點作用函數(shù)f(x)得到輸出為：Z=0結(jié)論：

20、輸出結(jié)點將y1,y2平面上三個樣本(0,0)，(0,1)，(1,1)變換成兩類樣本Z=1和Z=0。4. 神經(jīng)網(wǎng)絡(luò)結(jié)點的作用隱結(jié)點作用是將原非線性樣本（四個）變換成線性樣本（三個）。輸出結(jié)點作用是將線性樣本（三個）變換成兩類（1類或0類）。對于作用函數(shù)f(x)取為S型函數(shù)，最后變換成兩類為“接近1類”和“接近0類”。 附1：神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)一、神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)特點1. 神經(jīng)元網(wǎng)絡(luò)知識庫體現(xiàn)在神經(jīng)元之間的連接強(qiáng)度（權(quán)值）上。它是分布式存貯的，適合于并行處理。2. 推理機(jī)是基于神經(jīng)元的信息處理過程。它是以P模型為基礎(chǔ)的，采用數(shù)值計算方法。3. 神經(jīng)元網(wǎng)絡(luò)有成熟的學(xué)習(xí)算法。感知機(jī)采用delta規(guī)則。反

21、向傳播模型采用誤差沿梯度方向下降以及隱節(jié)點的誤差由輸出結(jié)點誤差反向傳播的思想進(jìn)行的。. 容錯性好。由于信息是分布式存貯，在個別單元上即使出錯或丟失，所有單元的總體計算結(jié)果，可能并不改變。二、神經(jīng)元網(wǎng)絡(luò)專家系統(tǒng)結(jié)構(gòu)用 戶知識工程師 學(xué) 習(xí) 樣 本 確定 系統(tǒng) 框架 神經(jīng)元 學(xué)習(xí) 形成 學(xué)習(xí)樣本 知識庫（分布式）實際問題 參數(shù)輸入模式 轉(zhuǎn)換 推 理 機(jī) 制輸出模式 轉(zhuǎn)換實際問題 結(jié)果（一）確定系統(tǒng)框架 1. 完成對神經(jīng)元網(wǎng)絡(luò)的拓樸結(jié)構(gòu)設(shè)計： （1）神經(jīng)元個數(shù) （2）神經(jīng)元網(wǎng)絡(luò)層次 （3）網(wǎng)絡(luò)單元的連接 2. 確定神經(jīng)元的作用函數(shù)和閾值 作用函數(shù)用得較多的有兩種： （1）階梯函數(shù) （2）S型函數(shù) 閾

22、值的選取可為定值如i=0或i=0.5，或者進(jìn)行迭代計算。（二）學(xué)習(xí)樣本 學(xué)習(xí)樣本是實際問題中已有結(jié)果的實例、公認(rèn)的原理，規(guī)則或事實。（三）學(xué)習(xí)算法 對不同的網(wǎng)絡(luò)模型采用不同的學(xué)習(xí)算法，但都以Hebb規(guī)則為基礎(chǔ)。 1. Perceptron(感知機(jī))模型：采用delta規(guī)則。2. Back-propagation(反向傳播)模型：采用誤差反向傳播方法。（四）推理機(jī) 推理機(jī)是基于神經(jīng)元的信息處理過程。 1. 神經(jīng)元j的輸入： 其中，Wjk為神經(jīng)元j和下層神經(jīng)元k之間的連接權(quán)值。Ok為k神經(jīng)元的輸出。 2. 神經(jīng)元j的輸出 Oj=f(Ij-j) j為閾值，f為神經(jīng)元作用函數(shù)。（五）知識庫 知識庫主要

23、是存放各個神經(jīng)元之間連接權(quán)值。 由于上下兩層間各神經(jīng)元都有關(guān)系， 用數(shù)組表示為： (Wij) i行對應(yīng)上層結(jié)點，j列對應(yīng)下層結(jié)點。（六）輸入模式轉(zhuǎn)換 實際問題的輸入，一般是以一種概念形式表示，而神經(jīng)元的輸入，要求以(-,)間的數(shù)值形式表示。這需要將物理概念轉(zhuǎn)換成數(shù)值。 建立兩個向量集： （1）實際輸入概念集：各輸入節(jié)點的具體物理意義，一般采用表的形式。 （2）神經(jīng)元輸入數(shù)值集：各輸入節(jié)點的數(shù)值。（七）輸出模式轉(zhuǎn)換 實際問題的輸出，一般也是以一種概念形式表示。而神經(jīng)元的輸出，一般是在0,1間的數(shù)值形式，這需要將數(shù)值向物理概念的轉(zhuǎn)換。 利用神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)解決實際問題，有如下問題值得研討： （1）

24、連接權(quán)值Wij的初值選取。 （2）收斂因子的選取。 （3）反向傳播模型中隱節(jié)點個數(shù)的選取。 （4）迭代過程中總誤差的控制。 （5）迭代公式的收斂速度問題。 （6）物理概念的數(shù)值轉(zhuǎn)換問題。 （7）學(xué)習(xí)樣本對學(xué)習(xí)過程收斂性的影響。 （8）神經(jīng)元網(wǎng)絡(luò)的容錯性效果。1. 初始權(quán)值的選取 實驗結(jié)果表明，對感知機(jī)模型權(quán)值賦常數(shù)初值是合適的。對B-P模型的權(quán)值初值必須用隨機(jī)數(shù)。2. 收斂因子值的選取 經(jīng)過大量試算，在2.55.5之間迭代次數(shù)較少，比較合適。3. 隱節(jié)點數(shù)的選取 經(jīng)過大量試算，隱節(jié)點數(shù)介于輸入節(jié)點數(shù)和輸出節(jié)點數(shù)之間比較合適。4. 物理概念的數(shù)值轉(zhuǎn)換 我們對中國科學(xué)院生態(tài)環(huán)境研究中心研制的城市醫(yī)

25、療服務(wù)能力評價系統(tǒng)實例進(jìn)行了研究。城市醫(yī)療服務(wù)能力評價系統(tǒng)輸入包括五個方面：（1）病床數(shù)，（2）醫(yī)生數(shù)，（3）醫(yī)務(wù)人員數(shù) ，（4）門診數(shù)，（5）死亡率。輸出模式包括四個級別：（1）非常好(v)；（2）好(g)；（3）可接受(a)；（4）差(b)，建立一個三層的神經(jīng)元網(wǎng)絡(luò)。輸出數(shù)據(jù)用四個節(jié)點分別表示v,g,a,b。輸入節(jié)點用五個節(jié)點分別表示五個指標(biāo)，對每個指標(biāo)節(jié)點都有v,g,a,b四種可能。醫(yī)生數(shù)病床數(shù)醫(yī)務(wù)人員數(shù)門診數(shù)非常好好可接受差死亡率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖選擇十個城市的數(shù)據(jù)作為訓(xùn)練集，學(xué)習(xí)之后，對其它城市進(jìn)行評價。進(jìn)行神經(jīng)元網(wǎng)絡(luò)計算，需要對物理概念的數(shù)值轉(zhuǎn)換。輸入節(jié)點數(shù)據(jù)允許在范圍 (-,)中取值，輸出數(shù)據(jù)在范圍0,1中取值。 城市醫(yī)療服務(wù)能力訓(xùn)練例 四個物理概念（很好、好、可接受、差）的數(shù)值轉(zhuǎn)換，我們進(jìn)行了五個方案的計算，方案如下： 方案1 ：v=3 g=1 a= -1 b= -3 方案2 ：v=1.5 g=0.5 a= - 0.5 b= -1.5 方案3 ：v=6 g=2 a= - 2 b= - 6 方案4 ：v=1 g=0.66 a=0.33