神經(jīng)網(wǎng)絡(luò)在模糊控制中應(yīng)用

1、第四章 神經(jīng)網(wǎng)絡(luò)基本理論 人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式。 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。6.1 神經(jīng)網(wǎng)絡(luò)的基本原理 神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。神經(jīng)網(wǎng)絡(luò)的基本特征與功能結(jié)構(gòu)特征：并行式處理分布式存儲容錯性能力特征：自學(xué)習自組織自適應(yīng)性非線性映射功能分類與識別功能 人類大腦大約包含有1.41011個神經(jīng)元，每個神經(jīng)元與大約103105個其它神經(jīng)元相連接，構(gòu)成一個極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生

2、物神經(jīng)網(wǎng)絡(luò)。6.1.2 神經(jīng)元的生理結(jié)構(gòu)6 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。1 神經(jīng)元的生理結(jié)構(gòu)1生物神經(jīng)元的結(jié)構(gòu) 生物神經(jīng)元在結(jié)構(gòu)上由 細胞體(Cell body) 樹突(Dendrite) 軸突(Axon) 突觸(Synapse) 四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。4.1 人工神經(jīng)元模型 人工神經(jīng)元是對人或其它生物的神經(jīng)元細胞的若干基本特性的抽象和模擬。 生物神經(jīng)元模型生物神經(jīng)元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位

3、；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和超過某個閾值，神經(jīng)元將產(chǎn)生沖動。 人工神經(jīng)元模型模仿生物神經(jīng)元產(chǎn)生沖動的過程，可以建立一個典型的人工神經(jīng)元數(shù)學(xué)模型x1,xnT為輸入向量，y為輸出，f()為激發(fā)函數(shù)，為閾值。 Wi為神經(jīng)元與其它神經(jīng)元的連接強度，也稱權(quán)值。6.1.3 神經(jīng)元的數(shù)學(xué)模型4.1 人工神經(jīng)元模型常用的激發(fā)函數(shù)f 的種類 ：1）閾值型函數(shù)4.1 人工神經(jīng)元模型2）分段線性函數(shù)3）雙曲函數(shù)4.1 人工神經(jīng)元模型4）S型函數(shù)5）高斯函數(shù)6.1.4 人工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 定義 特點（1）

4、非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習與訓(xùn)練進行自組織，以適應(yīng)不同信息處理的要求。（3） 并行處理性。網(wǎng)絡(luò)的各單元可以同時進行類似的處理過程，整個網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯性和聯(lián)想記憶功能。（5）便于集成

5、實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。 1 感知器模型感知器(Perceptron)是由美國學(xué)者F.Rosenblatt于1957年提出的，它是一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。 激發(fā)函數(shù)為閾值型函數(shù)，當其輸入的加權(quán)和大于或等于閾值時，輸出為1，否則為0或-1。它的權(quán)系W可變，這樣它就可以學(xué)習。 感知器的結(jié)構(gòu)4.3 感知器模型感知器的學(xué)習算法為方便起見，將閾值(它也同樣需要學(xué)習)并入W中，令Wn+1=-，X向量也相應(yīng)地增加一個分量xn+1=1，則學(xué)習算法： 給定初始值：賦給Wi(0)各一個較小的隨機非零值，這里Wi(t)為

6、t時刻第i個輸入的權(quán)(1in)，Wn+1(t)為t時刻的閾值； 輸入一樣本X=(xi,xn,1)和它的希望輸出d； 計算實際輸出 修正權(quán)W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 轉(zhuǎn)到直到W對一切樣本均穩(wěn)定不變?yōu)橹埂?根據(jù)某樣本訓(xùn)練時，均方差隨訓(xùn)練次數(shù)的收斂情況 構(gòu)成 從Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過一組狀態(tài)方程和一組學(xué)習方程加以描述。 狀態(tài)方程描述每個神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。 學(xué)習方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過修正這些權(quán)值來進行學(xué)習，從而調(diào)整整個神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。 分類 （1）從結(jié)構(gòu)上劃分 通常所說的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指

7、它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓撲結(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 4.4 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類層狀結(jié)構(gòu)：網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個神經(jīng)元之間都可能雙向聯(lián)接。反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出信號引回自身輸入的自環(huán)反饋。 混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)的同一層神經(jīng)元之間有互聯(lián)的網(wǎng)絡(luò)。（2）從激發(fā)函數(shù)的類型上劃分 高斯基函數(shù)神經(jīng)網(wǎng)

8、絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等等 （3）從網(wǎng)絡(luò)的學(xué)習方式上劃分有導(dǎo)師學(xué)習神經(jīng)網(wǎng)絡(luò)為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，對網(wǎng)絡(luò)進行訓(xùn)練，使網(wǎng)絡(luò)的輸入輸出關(guān)系逼近樣本數(shù)據(jù)的輸入輸出關(guān)系。無導(dǎo)師學(xué)習神經(jīng)網(wǎng)絡(luò)不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學(xué)習過程中網(wǎng)絡(luò)自動將輸入數(shù)據(jù)的特征提取出來。 （4）從學(xué)習算法上來劃分：基于BP算法的網(wǎng)絡(luò)、基于Hebb算法的網(wǎng)絡(luò)、基于競爭式學(xué)習算法的網(wǎng)絡(luò)、基于遺傳算法的網(wǎng)絡(luò)。6.1.6 BP型神經(jīng)網(wǎng)絡(luò) 原理簡介最早由werbos在1974年提出的，1985年由Rumelhart再次進行發(fā)展。 多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號沿輸入輸

9、出的方向逐層傳遞。 沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用Inj(i)， Outj(i)表示第i層第j個神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為： 第一層（輸入層）：將輸入引入網(wǎng)絡(luò) 第二層（隱層）第三層（輸出層） 網(wǎng)絡(luò)的學(xué)習 學(xué)習的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實際輸出盡可能接近期望的輸出。 假設(shè)有M個樣本: 將第k個樣本Xk輸入網(wǎng)絡(luò)，得到的網(wǎng)絡(luò)輸出為 定義學(xué)習的目標函數(shù)為 ：為使目標函數(shù)最小，訓(xùn)練算法是：令 則學(xué)習的步驟：（1）依次取第k組樣本 ，將Xk輸入網(wǎng)絡(luò)。（2）依次計算 ，如果 ，退出。（3）計算（4）計算（5），修正權(quán)值，返回（1） 如果樣本數(shù)少，則學(xué)習

10、知識不夠；如果樣本多，則需計算更多的dJk/dw, ，訓(xùn)練時間長。可采用隨機學(xué)習法每次以樣本中隨機選取幾個樣本，計算 dJk/dw, ，調(diào)整權(quán)值。 例4.1 多層前向BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練樣本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)輸入輸出關(guān)系：需訓(xùn)練的量：訓(xùn)練算法：訓(xùn)練初始參數(shù)：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;Learni

11、ngRate4=0.2;訓(xùn)練后參數(shù)：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;訓(xùn)練1000次目標函數(shù)的變化曲線：訓(xùn)練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況前向網(wǎng)絡(luò)進一步需研究的問題 局部最優(yōu)問題，（網(wǎng)絡(luò)初值選取不恰當）。學(xué)習算法收斂速度慢，Sigmaid函數(shù)本身存在無窮多閃導(dǎo)數(shù)，而BP算法只用了一次導(dǎo)數(shù)，致使收斂速度

12、慢。網(wǎng)絡(luò)的運行是單向傳播，沒有反饋，是一個非淺性映射，而不是非淺性動力系統(tǒng)。網(wǎng)絡(luò)隱層節(jié)點個數(shù)和初始權(quán)值的選取，尚無理論指導(dǎo)。 4.5 大腦自組織神經(jīng)網(wǎng)絡(luò) 是一種無導(dǎo)師學(xué)習的網(wǎng)絡(luò)腦神經(jīng)科學(xué)研究表明：傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特征。 大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的有序排列 在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度wij(t)相連接。通過某種規(guī)則，不斷地

13、調(diào)整wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。 4.5 大腦自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習算法：權(quán)值初始化并選定領(lǐng)域的大小；(2) 輸入模式； (3) 計算空間距離式中xi(t)是t時刻i節(jié)點的輸入，wij(t)是輸入節(jié)點i與輸出節(jié)點j 的連接強度，N為輸入節(jié)點的數(shù)目； (4) 選擇節(jié)點j*，它滿足(5) 按下式改變j*和其領(lǐng)域節(jié)點的連接強度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的領(lǐng)域，0iN-1 式中(t)稱之為衰減因子。 (6) 返回到第(2)步，直至滿足xi(t)- wij(

14、t)2(為給定的誤差)。 4.5 大腦自組織神經(jīng)網(wǎng)絡(luò)例4.2 大腦自組織網(wǎng)絡(luò)的訓(xùn)練輸入模式：Xx1,x2,x3網(wǎng)絡(luò)節(jié)點數(shù)量：9 鄰域：1網(wǎng)絡(luò)初始權(quán)值：W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;4.5 大腦自組織神經(jīng)網(wǎng)絡(luò)1. 單模式訓(xùn)練情況輸入為：X=0 0

15、1結(jié)果：W= 0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025輸入為：X=0 1 0結(jié)果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.986

16、2 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.00004.5 大腦自組織神經(jīng)網(wǎng)絡(luò)2. 多模式訓(xùn)練情況1 0 00 1 00 0 1Input=訓(xùn)練結(jié)果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000

17、0.0000 0.0000 0.0000 0.0000 0.0000W網(wǎng)絡(luò)輸出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式1模式2模式3模式2模式1模式3模式1模式2模式36.2 模糊神經(jīng)網(wǎng)絡(luò)模糊神經(jīng)網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)模糊推理。1

18、）使網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值具有了明確的物理意義，網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計和權(quán)值的初始化都有了理論的根據(jù)，避免了網(wǎng)絡(luò)陷入局部最優(yōu)。2）可以利用神經(jīng)網(wǎng)絡(luò)的學(xué)習能力來調(diào)整模糊控制的控制規(guī)則和模糊化的方式，使模糊控制具有了一定的自適應(yīng)能力。3）模糊神經(jīng)網(wǎng)絡(luò)將定性的知識表達和定量的數(shù)值運算很好地結(jié)合了起來，具有很好的控制效果PBNB輸入層模糊化模糊推理去模糊化第1層（輸入層）：將輸入（系統(tǒng)誤差，誤差變化率）引入網(wǎng)絡(luò)：第2層（模糊化層）：對輸入進行模糊化。假設(shè)在每個輸入論域上定義3個模糊語言詞集N，Z，P=“負”，“零”，“正”，隸屬函數(shù)采用高斯基函數(shù)，與N，Z，P對應(yīng)的中心值分別為-1，0，1，寬度為0.5，0.5，0.5。隸屬函數(shù)的形狀與分布如圖所示。 第3層（模糊推理）：代表“and”操作，在此網(wǎng)絡(luò)中用乘法代替取小運算 第4層代表去模糊化過程，在這里采用權(quán)值平均判決法。 wij為網(wǎng)絡(luò)的權(quán)值，其物理意義是各控制規(guī)則的輸出對應(yīng)的語言詞集的中心值。學(xué)習仍采用BP算法，定義目標函數(shù) 則6.3 用自