智能控制課件總結(jié)2

遺傳算法應(yīng)用舉例例6.1利用遺傳算法求解區(qū)間［0,31］上的二次函數(shù)y=x2的最大值。分析原問(wèn)題可轉(zhuǎn)化為在區(qū)間［0,31］中搜索能使y取最大值的點(diǎn)a的問(wèn)題。那么，［0,31］中的點(diǎn)x就是個(gè)體,函數(shù)值f(x)恰好就可以作為x的適應(yīng)度，區(qū)間［0,31］就是一個(gè)(解)空間。這樣,只要能給出個(gè)體x的適當(dāng)染色體編碼,該問(wèn)題就可以用遺傳算法來(lái)解決。解(1)設(shè)定種群規(guī)模,編碼染色體，產(chǎn)生初始種群。將種群規(guī)模設(shè)定為4；用5位二進(jìn)制數(shù)編碼染色體；取下列個(gè)體組成初始種群S1:s1=13(01101),s2=24(11000)s3=8(01000),s4=19(10011)(2)定義適應(yīng)度函數(shù),取適應(yīng)度函數(shù)：f(x)=x2(3)計(jì)算各代種群中的各個(gè)體的適應(yīng)度,并對(duì)其染色體進(jìn)行遺傳操作,直到適應(yīng)度最高的個(gè)體(即31（11111）)出現(xiàn)為止。首先計(jì)算種群S1中各個(gè)體s1=13(01101),s2=24(11000)，s3=8(01000),s4=19(10011)的適應(yīng)度f(wàn)(si)。容易求得f(s1)=f(13)=132=169，f(s2)=f(24)=242=576f(s3)=f(8)=82=64，f(s4)=f(19)=192=361再計(jì)算種群S1選擇概率的計(jì)算公式為選擇概率的計(jì)算公式為由此可求得P(s1)=P(13)=0.14，P(s2)=P(24)=0.49，P(s3)=P(8)=0.06，P(s4)=P(19)=0.31●賭輪選擇法在算法中賭輪選擇法可用下面的子過(guò)程來(lái)模擬:①在［0,1］區(qū)間內(nèi)產(chǎn)生一個(gè)均勻分布的隨機(jī)數(shù)r。②若r≤q1,則染色體x1被選中。③若qk-1<r≤qk(2≤k≤N),則染色體xk被選中。其中的qi稱為染色體xi(i=1,2,…,n)的積累概率,其計(jì)算公式為選擇-復(fù)制設(shè)從區(qū)間［0,1］中產(chǎn)生4個(gè)隨機(jī)數(shù)如下:r1=0.450126,r2=0.110347，r3=0.572496,r4=0.98503染色體適應(yīng)度選擇概率積累概率選中次數(shù)s1=011011690.140.141s2=110005760.490.632s3=01000640.060.690s4=100113610.311.001于是，經(jīng)復(fù)制得群體s1’=11000（24）,s2’=01101（13），s3’=11000（24），s4’=10011交叉設(shè)交叉率pc=100%，即S1中的全體染色體都參加交叉運(yùn)算。設(shè)s1’與s2’配對(duì)，s3’與s4’配對(duì)。分別交換后兩位基因，得新染色體：s1’’=11001（25）,s2’’=01100（12）s3’’=11011（27）,變異設(shè)變異率pm=0.001。這樣，群體S1中共有5×4×0.001=0.02位基因可以變異。0.02位顯然不足1位，所以本輪遺傳操作不做變異。于是，得到第二代種群S2：s1=11001（25）s2=01100（12），s3=11011（27）,s4=10000（16）第二代種群S2中各染色體的情況染色體適應(yīng)度選擇概率積累概率估計(jì)的選中次數(shù)s1=110016250.360.361s2=011001440.080.440s3=110117290.410.852s4=100002560.151.001假設(shè)這一輪選擇-復(fù)制操作中，種群S2中的4個(gè)染色體都被選中，則得到群體：s1’=11001（25）,s2’=01100（12）s3’=11011（27）,s4’=10000做交叉運(yùn)算，讓s1’與s2’，s3’與s4’分別交換后三位基因，得s1’’=11100（28）,s2’’=01001（9）s3’’=11000（24）,s4’于是，得第三代種群S3：s1=11100（28）,s2=01001（9）s3=11000（24）,s4=10011（19）第三代種群S3中各染色體的情況染色體適應(yīng)度選擇概率積累概率估計(jì)的選中次數(shù)s1=111007840.440.442s2=01001810.040.480s3=110005760.320.801s4=100113610.201.001設(shè)這一輪的選擇-復(fù)制結(jié)果為：s1’=11100（28）s2’=11100（28）s3’=11000（24）s4’=10011（19）做交叉運(yùn)算，讓s1’與s4’，s2s1’’=11111（31）,s2’’=11100（28）s3’’=11000（24）,s4’’=10000這一輪仍然不會(huì)發(fā)生變異。于是，得第四代種群S4：s1=11111（31）,s2=11100（28）s3=11000（24）,s4=10000（16）顯然，在這一代種群中已經(jīng)出現(xiàn)了適應(yīng)度最高的染色體s1=11111。于是，遺傳操作終止，將染色體“11111”作為最終結(jié)果輸出。然后，將染色體“11111”解碼為表現(xiàn)型，即得所求的最優(yōu)解：31。將31代入函數(shù)y=x2中，即得原問(wèn)題的解，即函數(shù)y=x2的最大值為961。YYYy=x28131924X第一代種群及其適應(yīng)度y=x212162527XY第二代種群及其適應(yīng)度y=x29192428XY第三代種群及其適應(yīng)度y=x216242831X第四代種群及其適應(yīng)度例6.2用遺傳算法求解TSP。分析由于其任一可能解——一個(gè)合法的城市序列，即n個(gè)城市的一個(gè)排列，都可以事先構(gòu)造出來(lái)。于是，我們就可以直接在解空間（所有合法的城市序列）中搜索最佳解。這正適合用遺傳算法求解。（1）定義適應(yīng)度函數(shù)我們將一個(gè)合法的城市序列s=（c1,c2,…,cn,cn+1）(cn+1就是c1)作為一個(gè)個(gè)體。這個(gè)序列中相鄰兩城之間的距離之和的倒數(shù)就可作為相應(yīng)個(gè)體s的適應(yīng)度，從而適應(yīng)度函數(shù)就是（2）對(duì)個(gè)體s=（c1,c2,…,cn,cn+1）進(jìn)行編碼。但對(duì)于這樣的個(gè)體如何編碼卻不是一件直截了當(dāng)?shù)氖虑?。因?yàn)槿绻幋a不當(dāng)，就會(huì)在實(shí)施交叉或變異操作時(shí)出現(xiàn)非法城市序列即無(wú)效解。例如，對(duì)于5個(gè)城市的TSP，我們用符號(hào)A、B、C、D、E代表相應(yīng)的城市，用這5個(gè)符號(hào)的序列表示可能解即染色體。然后進(jìn)行遺傳操作。設(shè)s1=（A,C,B,E,D,A），s2=（A,E,D,C,B,A）實(shí)施常規(guī)的交叉或變異操作，如交換后三位，得s1’=（A,C,B,C,B,A），s2’=（A,E,D,E,D,A）或者將染色體s1第二位的C變?yōu)镋，得s1’’=（A,E,B,E,D,A）可以看出，上面得到的s1’，s2’為此，對(duì)TSP必須設(shè)計(jì)合適的染色體和相應(yīng)的遺傳運(yùn)算。事實(shí)上，人們針對(duì)TSP提出了許多編碼方法和相應(yīng)的特殊化了的交叉、變異操作，如順序編碼或整數(shù)編碼、隨機(jī)鍵編碼、部分映射交叉、順序交叉、循環(huán)交叉、位置交叉、反轉(zhuǎn)變異、移位變異、互換變異等等。從而巧妙地用遺傳算法解決了TSP。四、遺傳算法的特點(diǎn)與優(yōu)勢(shì)◆遺傳算法的主要特點(diǎn)——遺傳算法一般是直接在解空間搜索,而不像圖搜索那樣一般是在問(wèn)題空間搜索,最后才找到解?！z傳算法的搜索隨機(jī)地始于搜索空間的一個(gè)點(diǎn)集,而不像圖搜索那樣固定地始于搜索空間的初始節(jié)點(diǎn)或終止節(jié)點(diǎn),所以遺傳算法是一種隨機(jī)搜索算法?！z傳算法總是在尋找優(yōu)解,而不像圖搜索那樣并非總是要求優(yōu)解,而一般是設(shè)法盡快找到解,所以遺傳算法又是一種優(yōu)化搜索算法?！z傳算法的搜索過(guò)程是從空間的一個(gè)點(diǎn)集(種群)到另一個(gè)點(diǎn)集(種群)的搜索,而不像圖搜索那樣一般是從空間的一個(gè)點(diǎn)到另一個(gè)點(diǎn)地搜索。因而它實(shí)際是一種并行搜索,適合大規(guī)模并行計(jì)算,而且這種種群到種群的搜索有能力跳出局部最優(yōu)解?！z傳算法的適應(yīng)性強(qiáng),除需知適應(yīng)度函數(shù)外,幾乎不需要其他的先驗(yàn)知識(shí)?！z傳算法長(zhǎng)于全局搜索,它不受搜索空間的限制性假設(shè)的約束,不要求連續(xù)性,能以很大的概率從離散的、多極值的、含有噪聲的高維問(wèn)題中找到全局最優(yōu)解?！暨z傳算法的應(yīng)用：遺傳算法在人工智能的眾多領(lǐng)域便得到了廣泛應(yīng)用。例如，機(jī)器學(xué)習(xí)、聚類、控制（如煤氣管道控制）、規(guī)劃（如生產(chǎn)任務(wù)規(guī)劃）、設(shè)計(jì)（如通信網(wǎng)絡(luò)設(shè)計(jì)、布局設(shè)計(jì)）、調(diào)度（如作業(yè)車間調(diào)度、機(jī)器調(diào)度、運(yùn)輸問(wèn)題）、配置（機(jī)器配置、分配問(wèn)題）、組合優(yōu)化（如TSP、背包問(wèn)題）、函數(shù)的最大值以及圖像處理和信號(hào)處理等等。另一方面，人們又將遺傳算法與其他智能算法和技術(shù)相結(jié)合，使其問(wèn)題求解能力得到進(jìn)一步擴(kuò)展和提高。例如，將遺傳算法與模糊技術(shù)、神經(jīng)網(wǎng)絡(luò)相結(jié)合，已取得了不少成果。7.1.1生物神經(jīng)元模型特點(diǎn)：（1）每個(gè)神經(jīng)元雖然都十分簡(jiǎn)單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式；（2）大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測(cè)的反應(yīng)方式。從生物控制論的觀點(diǎn)來(lái)看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：時(shí)空整合功能，興奮與抑制狀態(tài)，脈沖與電位轉(zhuǎn)換，神經(jīng)纖維傳導(dǎo)速度，突觸延時(shí)和不應(yīng)期，學(xué)習(xí)、遺忘和疲勞7.1.2人工神經(jīng)元模型人工神經(jīng)元是對(duì)生物神經(jīng)元的一種模擬與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡(jiǎn)化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸出的非線性元件其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來(lái)的輸入信號(hào)；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)。輸出激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特性。下圖表示了幾種常見(jiàn)的激發(fā)函數(shù)：1.閾值型函數(shù)（見(jiàn)圖（a），（b））2.飽和型函數(shù)（見(jiàn)圖（c））3.雙曲函數(shù)（見(jiàn)圖（d））4.S型函數(shù)（見(jiàn)（e））5.高斯函數(shù)（見(jiàn)圖（f））人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如下圖所示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點(diǎn)來(lái)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)。典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）的結(jié)構(gòu)如下圖所示。如果總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，那么每個(gè)節(jié)點(diǎn)有N個(gè)輸入和一個(gè)輸出，也就是說(shuō)，所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一AddressibleMemory，CAM）的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfie1d神經(jīng)網(wǎng)絡(luò)還可以用來(lái)解決快速尋優(yōu)問(wèn)題。神經(jīng)網(wǎng)絡(luò)的工作方式與人腦的作用機(jī)理類似，神經(jīng)網(wǎng)絡(luò)完成任務(wù)的工作過(guò)程包含兩個(gè)階段：（1）學(xué)習(xí)（訓(xùn)練）階段。這是神經(jīng)網(wǎng)絡(luò)自我完善的階段，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改權(quán)系數(shù)；（2）執(zhí)行（回憶或聯(lián)想）階段。神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，并產(chǎn)生對(duì)應(yīng)的輸出過(guò)程。學(xué)習(xí)和執(zhí)行是神經(jīng)網(wǎng)絡(luò)不可缺少的兩個(gè)處理功能或工作方式。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法與規(guī)則學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無(wú)導(dǎo)師來(lái)分類，可分為有教師（導(dǎo)師或監(jiān)督）學(xué)習(xí)（SupervisedLearning）、無(wú)教師（導(dǎo)師或監(jiān)督）學(xué)習(xí)（UnsupervisedLearning）和再勵(lì)學(xué)習(xí)（ReinforcementLearning）等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無(wú)教師的學(xué)習(xí)方式中，輸入模式進(jìn)人網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。有教師學(xué)習(xí)權(quán)值調(diào)整公式：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)最終均體現(xiàn)為單個(gè)神經(jīng)元的權(quán)值調(diào)整。權(quán)值調(diào)整公式w(t+1)=w(t)+η?w(t)η---學(xué)習(xí)率；w(t)=(ω1,ω2,…,ωn,θ)；輸入x=(x1,x2,…,xn，-1)；d---期望輸出神經(jīng)網(wǎng)絡(luò)中常用的幾種最基本的學(xué)習(xí)方法與規(guī)則1.Hebb學(xué)習(xí)規(guī)則（P230）定義：兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)（或一個(gè)突觸前活動(dòng)在時(shí)間上緊隨一個(gè)突觸后活動(dòng)），它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種無(wú)教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。公式：w(t+1)=w(t)+ηyx或w(t+1)=w(t)+?w(t)η---學(xué)習(xí)率；w(t)=(ω1,ω2,…,ωn,θ)；輸入x=(x1,x2,…,xn)；y=f(wTx)---輸出2．Delta（δ）學(xué)習(xí)規(guī)則（P231）δ學(xué)習(xí)規(guī)則（梯度法或最速下降法）實(shí)現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達(dá)到最小值。E=1/2?(d-y)2δ學(xué)習(xí)規(guī)則的目的：通過(guò)訓(xùn)練權(quán)值w，使得對(duì)于訓(xùn)練樣本對(duì)(x,d),神經(jīng)元的輸出誤差E=1/2?(d-y)2為最小。常用于單層及多層感知器、BP網(wǎng)絡(luò)公式：?w(t)=-c(d-y)f′(wTx)xc>0較??；f(u)---激活函數(shù)3.離散感知器學(xué)習(xí)規(guī)則（P231）（1）是一種有教師學(xué)習(xí)算法（2）公式：?w(t)=e(t)x誤差e(t)=d-y=d–sgn(wTx)（3）常用于單層及多層離散感知器網(wǎng)絡(luò)4.Widrow-Hoff學(xué)習(xí)規(guī)則（P231）（1）是一種有教師學(xué)習(xí)算法（2）公式?w(t)=-c(d-y)x使訓(xùn)練樣本對(duì)(x,d)，對(duì)神經(jīng)元輸出誤差E=1/2?(d-y)2最小。（3）用于自適應(yīng)線性單元函數(shù)學(xué)習(xí)5．概率式學(xué)習(xí)從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。同時(shí)，此概率還取決于溫度參數(shù)T。T越大，不同狀態(tài)出現(xiàn)概率的差異便越小，較容易跳出能量的局部極小點(diǎn)而到全局的極小點(diǎn)；T越小時(shí)，情形正相反。概率式學(xué)習(xí)的典型代表是Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計(jì)優(yōu)化方法，因此又稱模擬退火算法。6．競(jìng)爭(zhēng)式學(xué)習(xí)競(jìng)爭(zhēng)式學(xué)習(xí)屬于無(wú)教師學(xué)習(xí)方式。定義：此種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引人竟?fàn)帣C(jī)制的學(xué)習(xí)方式稱為竟?fàn)幨綄W(xué)習(xí)。競(jìng)爭(zhēng)式學(xué)習(xí)方法的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競(jìng)爭(zhēng)識(shí)別。感知器的一種學(xué)習(xí)算法：1）隨機(jī)地給定一組連接權(quán)2）輸入一組樣本和期望的輸出（亦稱之為教師信號(hào)）3）計(jì)算感知器實(shí)際輸出4）修正權(quán)值5）選取另外一組樣本，重復(fù)上述2）～4）的過(guò)程，直到權(quán)值對(duì)一切樣本均穩(wěn)定不變?yōu)橹梗瑢W(xué)習(xí)過(guò)程結(jié)束。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來(lái)的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。誤差反向傳播的BP算法簡(jiǎn)稱BP算法。其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)人反向傳播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。BP網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則1).輸出層權(quán)系數(shù)的調(diào)整2).隱含層節(jié)點(diǎn)權(quán)系數(shù)的調(diào)整BP學(xué)習(xí)算法的計(jì)算步驟1).初始化置所有權(quán)值為較小的隨機(jī)數(shù)2).提供訓(xùn)練集3).計(jì)算實(shí)際輸出，計(jì)算隱含層、輸出層各神經(jīng)元輸出4).計(jì)算目標(biāo)值與實(shí)際輸出的偏差E5).計(jì)算6).計(jì)算7).返回“2）”重復(fù)計(jì)算，直到誤差滿足要求為止在使用BP算法時(shí)，應(yīng)注意的幾個(gè)問(wèn)題是：1).學(xué)習(xí)開始時(shí)，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜。2).采用S型激發(fā)函數(shù)時(shí)，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時(shí)，期望的輸出分量dpk不能設(shè)置為1或0，以設(shè)置為或0，1較為適宜。3).學(xué)習(xí)速率η的選擇，在學(xué)習(xí)開始階段，η選較大的值可以加快學(xué)習(xí)速度。學(xué)習(xí)接近優(yōu)化區(qū)時(shí)，η值必須相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩而不收斂。平滑因子α的選值在左右。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1．多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)：1).網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題；2).網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力；2．多層前向BP網(wǎng)絡(luò)的問(wèn)題：1).BP算法的學(xué)習(xí)速度很慢2).網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大3).難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾4).網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定5).新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同6).網(wǎng)絡(luò)的預(yù)測(cè)能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾3．BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1).增加“慣性項(xiàng)”2).采用動(dòng)態(tài)步長(zhǎng)3).與其他全局搜索算法相結(jié)合4).模擬退火算法目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從理論上保證收斂結(jié)果是全局最優(yōu)的。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可以任意逼近一個(gè)緊集上的任意函數(shù)這一特點(diǎn)是神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用的理論基礎(chǔ)。在實(shí)際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值參數(shù)，來(lái)描述給定的映射或逼近一個(gè)未知的映射，只能通過(guò)學(xué)習(xí)來(lái)得到滿足要求的網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下：1．獲取訓(xùn)練樣本集：獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等2．選擇網(wǎng)絡(luò)類型與結(jié)構(gòu)：神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來(lái)選擇合適的網(wǎng)絡(luò)類型。3．訓(xùn)練與測(cè)試：最后一步是利用獲取的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練，直至得到合適的映射結(jié)果。反饋神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。離散Hopfield網(wǎng)絡(luò)1.網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡(luò)是一個(gè)單層網(wǎng)絡(luò)，有個(gè)神經(jīng)元節(jié)點(diǎn)，每個(gè)神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒(méi)有自反饋，每個(gè)節(jié)點(diǎn)都附有一個(gè)閥值。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過(guò)其閥值時(shí)，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。網(wǎng)絡(luò)有兩種工作方式：即串行方式和并行方式。2.穩(wěn)定性：任何初始條件下穩(wěn)定。3.連接權(quán)的設(shè)計(jì)4.作用：聯(lián)想記憶連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)也是單層的反饋網(wǎng)絡(luò)。其實(shí)質(zhì)上是一個(gè)連續(xù)的非線性動(dòng)力學(xué)系統(tǒng)，它可以用一組非線性微分方程來(lái)描述。當(dāng)給定初始狀態(tài)，通過(guò)求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)的運(yùn)行軌跡。若系統(tǒng)是穩(wěn)定的，則它最終可收斂到一個(gè)穩(wěn)定狀態(tài)。作用：優(yōu)化計(jì)算Boltzmann機(jī)1.Boltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)和工作方式Boltzmann機(jī)網(wǎng)絡(luò)是一個(gè)相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有對(duì)稱的連接權(quán)系數(shù)，及wij＝wji且wii=0。網(wǎng)絡(luò)由可見(jiàn)單元（VisibleUnit）和隱單元（HiddenUnit）構(gòu)成。2.網(wǎng)絡(luò)單元由輸入、輸出部分組成。每個(gè)單元節(jié)點(diǎn)只取1或0兩種狀態(tài)。1代表接通或接受，0表示斷開或拒絕。當(dāng)神經(jīng)元的輸入加權(quán)和發(fā)生變化時(shí)，神經(jīng)元的狀態(tài)隨之更新。各單元之間狀態(tài)的更新是異步的。與Hopfield網(wǎng)絡(luò)相似，Boltzmann機(jī)的實(shí)際運(yùn)行也分為兩個(gè)階段：第一階段是學(xué)習(xí)和訓(xùn)練階段，即根據(jù)學(xué)習(xí)樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將知識(shí)分布地存儲(chǔ)于網(wǎng)絡(luò)的連接權(quán)中；第二階段是工作階段，即根據(jù)輸入運(yùn)行網(wǎng)絡(luò)得到合適的輸出，這一步實(shí)質(zhì)上是按照某種機(jī)制將知識(shí)提取出來(lái)。2.網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)的目的是通過(guò)給出一組學(xué)習(xí)樣本，經(jīng)學(xué)習(xí)后得到Boltzmann機(jī)各種神經(jīng)元之間的連接權(quán)wij.Boltzmann機(jī)網(wǎng)絡(luò)學(xué)習(xí)的步驟可歸納如下：1).隨機(jī)設(shè)定網(wǎng)絡(luò)的連接權(quán)wij(0)及初始高溫。2).按照已知的概率p(xα)，依次給定學(xué)習(xí)樣本。在樣本的約束下，按照模擬退火程度運(yùn)行網(wǎng)絡(luò)，直至達(dá)到平衡狀態(tài)，統(tǒng)計(jì)出各pij。在無(wú)約束條件下，按同樣的步驟并同樣的次數(shù)運(yùn)行網(wǎng)絡(luò)，統(tǒng)計(jì)出各p’ij。3).按下述公式修改權(quán)值wij(k+1)=wij(k)+η(pij-p’ij),η>04).重復(fù)上述步驟，直到pij-p’ij小于一定的容限。神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢(shì)，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進(jìn)一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種：1．在傳統(tǒng)的控制系統(tǒng)中用以動(dòng)態(tài)系統(tǒng)建模，充當(dāng)對(duì)象模型；2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；3．在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用；4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合?；贐P神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制BP神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡(jiǎn)單明確。通過(guò)神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)。基于BP神經(jīng)網(wǎng)絡(luò)的PD控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個(gè)部分組成：①經(jīng)典的PID控制器：直接對(duì)被控對(duì)象進(jìn)行閉環(huán)控制，并且KP,KI,KD三個(gè)參數(shù)為在線整定；②神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對(duì)應(yīng)于PID控制器的三個(gè)可調(diào)參數(shù)KP,KI,KD，通過(guò)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對(duì)應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；3).對(duì)r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；4).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)；5).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；6).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；7).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；8).置k=k+1，返回到“2）”。改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測(cè)輸出值或其變化量來(lái)計(jì)算權(quán)系數(shù)的修正量。但實(shí)際上，系統(tǒng)的預(yù)測(cè)輸出值是不易直接測(cè)得的，通常的做法是建立被控對(duì)象的預(yù)測(cè)數(shù)學(xué)模型，用該模型所計(jì)算的預(yù)測(cè)輸出來(lái)取代預(yù)測(cè)處的實(shí)測(cè)值，以提高控制效果。采用線性預(yù)測(cè)模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).用線性系統(tǒng)辨識(shí)法估計(jì)出參數(shù)矢量θ(k)，從而形成一步預(yù)報(bào)模型式；3).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；4).對(duì)r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；5).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)；6).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；7).計(jì)算和；8).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；3).對(duì)r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；4).前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)；5).計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；6).前向計(jì)算NNM的各層神經(jīng)元的輸入和輸出，NNM的輸出為，計(jì)算修正隱含層和輸出層的權(quán)系數(shù)；7).計(jì)算；8).計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。BP算法基本原理利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)：使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入