智能控制_08高級神經(jīng)網(wǎng)絡(luò)

1、第第8章章 高級神經(jīng)網(wǎng)絡(luò)高級神經(jīng)網(wǎng)絡(luò) 模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是模糊系統(tǒng)的其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是模糊系統(tǒng)的實現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)又具有神經(jīng)網(wǎng)絡(luò)實現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)又具有神經(jīng)網(wǎng)絡(luò)的特性。的特性。 神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的比較見表神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的比較見表8-1。模糊神經(jīng)。模糊神經(jīng)網(wǎng)絡(luò)充分地利用了神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)各自的優(yōu)點，網(wǎng)絡(luò)充分地利用了神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)各自的優(yōu)點，因而受到了重視。因而受到了重視。模糊系統(tǒng)模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)獲取知識獲取知識專家經(jīng)驗專家經(jīng)驗算法實例算法實例推

2、理機制推理機制啟發(fā)式搜索啟發(fā)式搜索并行計算并行計算推理速度推理速度低低高高容錯性容錯性低低非常高非常高學習機制學習機制歸納歸納調(diào)整權(quán)值調(diào)整權(quán)值自然語言自然語言實現(xiàn)實現(xiàn)明確的明確的不明顯不明顯自然語言自然語言靈活性靈活性高高低低表表8-1 模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的比較模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的比較 將神經(jīng)網(wǎng)絡(luò)的學習能力引到模糊系統(tǒng)中，將模將神經(jīng)網(wǎng)絡(luò)的學習能力引到模糊系統(tǒng)中，將模糊系統(tǒng)的模糊化處理、模糊推理、精確化計算通過糊系統(tǒng)的模糊化處理、模糊推理、精確化計算通過分布式的神經(jīng)網(wǎng)絡(luò)來表示是實現(xiàn)模糊系統(tǒng)自組織、分布式的神經(jīng)網(wǎng)絡(luò)來表示是實現(xiàn)模糊系統(tǒng)自組織、自學習的重要途徑。在模糊神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)自學習的重要

3、途徑。在模糊神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點用來表示模糊系統(tǒng)的輸入、輸出的輸入、輸出節(jié)點用來表示模糊系統(tǒng)的輸入、輸出信號，神經(jīng)網(wǎng)絡(luò)的隱含節(jié)點用來表示隸屬函數(shù)和模信號，神經(jīng)網(wǎng)絡(luò)的隱含節(jié)點用來表示隸屬函數(shù)和模糊規(guī)則，利用神經(jīng)網(wǎng)絡(luò)的并行處理能力使得模糊系糊規(guī)則，利用神經(jīng)網(wǎng)絡(luò)的并行處理能力使得模糊系統(tǒng)的推理能力大大提高。統(tǒng)的推理能力大大提高。 模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦予模糊輸入信號和模糊權(quán)值，其學習算法通常是神予模糊輸入信號和模糊權(quán)值，其學習算法通常是神經(jīng)網(wǎng)絡(luò)學習算法或其推廣。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)經(jīng)網(wǎng)絡(luò)學習算法或其推廣。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)獲

4、得了廣泛的應(yīng)用，當前的應(yīng)用主要集中在以下幾獲得了廣泛的應(yīng)用，當前的應(yīng)用主要集中在以下幾個領(lǐng)域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模個領(lǐng)域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊矩陣方程、模糊建模和模糊模式識別。糊矩陣方程、模糊建模和模糊模式識別。 模糊神經(jīng)網(wǎng)絡(luò)是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合模糊神經(jīng)網(wǎng)絡(luò)是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合而構(gòu)成的網(wǎng)絡(luò)。利用而構(gòu)成的網(wǎng)絡(luò)。利用RBFRBF網(wǎng)絡(luò)與模糊系統(tǒng)相結(jié)合，網(wǎng)絡(luò)與模糊系統(tǒng)相結(jié)合，構(gòu)成了模糊構(gòu)成了模糊RBFRBF網(wǎng)絡(luò)。網(wǎng)絡(luò)。 (o)ixif)(1第二層：隸屬函數(shù)層，即模糊化層第二層：隸屬函數(shù)層，即模糊化層該層的每個節(jié)點具有隸屬函數(shù)的功能，采用高斯函數(shù)該層的每

5、個節(jié)點具有隸屬函數(shù)的功能，采用高斯函數(shù)作為隸屬函數(shù)。對第作為隸屬函數(shù)。對第j個節(jié)點：個節(jié)點：其中其中和和分別是第分別是第i個輸入變量的第個輸入變量的第j個模糊集合高個模糊集合高斯函數(shù)的均值和標準差。斯函數(shù)的均值和標準差。2212)()(jijjbcifnet)exp(),(22jnetjifijcjbNj(i,j)f(j)f123niiNN1其中其中 為輸入層中第為輸入層中第i個輸入隸屬函數(shù)的個數(shù)，即個輸入隸屬函數(shù)的個數(shù)，即模糊化層節(jié)點數(shù)。模糊化層節(jié)點數(shù)。iN, Njjfjlwfwlf1334,)(ijcjb圖8-2 模糊RBF神經(jīng)網(wǎng)絡(luò)逼近 取取 ， 和和 分別表示網(wǎng)絡(luò)輸出和理想輸出。網(wǎng)絡(luò)分別

6、表示網(wǎng)絡(luò)輸出和理想輸出。網(wǎng)絡(luò)的輸入為的輸入為u(k)和和y(k)，網(wǎng)絡(luò)的輸出為，網(wǎng)絡(luò)的輸出為 ，則網(wǎng)絡(luò)逼近誤差為：，則網(wǎng)絡(luò)逼近誤差為： 采用梯度下降法來修正可調(diào)參數(shù)，定義目標函數(shù)為：采用梯度下降法來修正可調(diào)參數(shù)，定義目標函數(shù)為： 4fkym kym ky kym kykykem 221keE 網(wǎng)絡(luò)的學習算法如下：網(wǎng)絡(luò)的學習算法如下： 輸出層的權(quán)值通過如下方式來調(diào)整輸出層的權(quán)值通過如下方式來調(diào)整: 3fkewyyeeEwEkwmm則輸出層的權(quán)值學習算法為：則輸出層的權(quán)值學習算法為： 211kwkwkwkwkw其中其中 為學習速率，為學習速率， 為動量因子。為動量因子。輸入隸屬函數(shù)參數(shù)修正算法為：

7、輸入隸屬函數(shù)參數(shù)修正算法為：2222)(2ijijijijjjijijbcxcnetnetEcEc3222)(2jijijjjjjjbcxbnetnetEbEb其中其中 322233222wfkenetffffykenetykenetEjmjmjj 211kckckckckcijijijijij 211kbkbkbkbkbjjjjj隸屬函數(shù)參數(shù)學習算法為：隸屬函數(shù)參數(shù)學習算法為：8.1.3 仿真實例 使用模糊使用模糊RBF網(wǎng)絡(luò)逼近對象：網(wǎng)絡(luò)逼近對象：其中采樣時間為其中采樣時間為1ms1ms。 模糊模糊RBF網(wǎng)絡(luò)逼近程序見網(wǎng)絡(luò)逼近程序見chap8_1.m。 23) 1(1) 1()()(kyky

8、kuky8.2Pi-Sigma神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)神經(jīng)模糊建模是近年來基于模糊集理論發(fā)展起來神經(jīng)模糊建模是近年來基于模糊集理論發(fā)展起來的一種新的方法。的一種新的方法。模糊建模技術(shù)缺點是過分地依賴隸屬函數(shù)的準確模糊建模技術(shù)缺點是過分地依賴隸屬函數(shù)的準確性。采用高木性。采用高木-關(guān)野模糊系統(tǒng)，用一種混合型的關(guān)野模糊系統(tǒng)，用一種混合型的pi-sigma神經(jīng)網(wǎng)絡(luò)，可以建立一種自適應(yīng)能力很強的模神經(jīng)網(wǎng)絡(luò)，可以建立一種自適應(yīng)能力很強的模糊模型。這種模型不但實現(xiàn)了模糊模型的自動更新，糊模型。這種模型不但實現(xiàn)了模糊模型的自動更新，而且能不斷修正各模糊子集的隸屬函數(shù)，使模糊建模而且能不斷修正各模糊子集的隸屬函數(shù)，使

9、模糊建模更具合理性。更具合理性。8.2.1高木高木-關(guān)野模糊系統(tǒng)關(guān)野模糊系統(tǒng) 在高木在高木-關(guān)野模糊系統(tǒng)中，高木和關(guān)野用以下關(guān)野模糊系統(tǒng)中，高木和關(guān)野用以下“ “ ”規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：If is ， is ， ， is then iR1xiA12xiA2nxinAkikiiixpxppy110thenif 對于輸入向量，高木對于輸入向量，高木-關(guān)野模糊系統(tǒng)的各規(guī)則輸關(guān)野模糊系統(tǒng)的各規(guī)則輸出出等于各等于各的加權(quán)平均：的加權(quán)平均：miimiiinyy11nyiy式中，加權(quán)系數(shù)式中，加權(quán)系數(shù) 包括了規(guī)則包括了規(guī)則 作用于輸入所取得作用于輸入所取得的值。的

10、值。iiR jkiixAij18.2.2混合型混合型pi-sigma神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 常規(guī)的前向型神經(jīng)網(wǎng)絡(luò)含有求和節(jié)點，這給常規(guī)的前向型神經(jīng)網(wǎng)絡(luò)含有求和節(jié)點，這給處理某些復雜問題帶來了困難。一種基于混合型處理某些復雜問題帶來了困難。一種基于混合型pi-sigma神經(jīng)網(wǎng)絡(luò)模型如圖神經(jīng)網(wǎng)絡(luò)模型如圖8-5所示，在該網(wǎng)絡(luò)中，輸所示，在該網(wǎng)絡(luò)中，輸入神經(jīng)元有入神經(jīng)元有4個，個，S、P和和分別表示相加、相乘和分別表示相加、相乘和相乘運算。相乘運算。SSSSSSSSPPPPPPPPSN LP LP LN LP LN LP LN Lk1k2k3k4x1x2x4x3pi0pi1pi2pi3pi41i1Yi圖圖8

11、-5具有具有4個輸入的混合型個輸入的混合型pi-sigma神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) miAAAAmiiiiiiAAAAmiimiiinxxxxxpxpxpxppxxxxyyiiiiiiii14321144332211043211143214321顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木-關(guān)野模糊系關(guān)野模糊系統(tǒng)。采用該網(wǎng)絡(luò)實現(xiàn)的模糊系統(tǒng)可方便地在線修正隸統(tǒng)。采用該網(wǎng)絡(luò)實現(xiàn)的模糊系統(tǒng)可方便地在線修正隸屬函數(shù)和參數(shù)，適合于復雜系統(tǒng)的模糊預(yù)測和控制。屬函數(shù)和參數(shù)，適合于復雜系統(tǒng)的模糊預(yù)測和控制。 為方便神經(jīng)網(wǎng)絡(luò)的學習，各模糊子集的隸屬函數(shù)為方便神經(jīng)網(wǎng)絡(luò)的學習，各模糊子集的隸屬函數(shù)均取高

12、斯型，即：均取高斯型，即： 網(wǎng)絡(luò)的輸出為：網(wǎng)絡(luò)的輸出為：ijijjAbcxij/exp2混合型混合型pi-sigma神經(jīng)網(wǎng)絡(luò)學習算法：神經(jīng)網(wǎng)絡(luò)學習算法：假設(shè)網(wǎng)絡(luò)的期望輸出為假設(shè)網(wǎng)絡(luò)的期望輸出為定義代價函數(shù)：定義代價函數(shù)：221ndyyEdy根據(jù)梯度下降法有：根據(jù)梯度下降法有： ijijijpEkpkp1ijimiiindijmiimiiindijnnijpyyypyyypyyEpE111 miiindijijijijyykppEkpkp11其中其中其中 。 4 , 3 , 2 , 1j ijijijaEkckc1 ijijijbEkbkb1對對 有：有：ijijbc ,其中其中ijiinnij

13、nnijcyyEcyyEcEijiijjmiimiiimiiindbcxyyyy221112221111ijijjimiimiiimiiindijiinnijnnijbcxyyyybyyEbyyEbE 222111ijiijjmiimiiimiiindbcxyyyy 211121miiijiijjmiiimiiindijijbcxyyyykckc 2122111miiijiijjmiiimiiindijijbcxyyyykbkb其中、為學習速率。 8.2.3仿真實例仿真實例使用混合型使用混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近對象：神經(jīng)網(wǎng)絡(luò)逼近對象：23) 1(1) 1()()(kykykuky混合

14、型混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近程序見神經(jīng)網(wǎng)絡(luò)逼近程序見chap8_2.m8.3 8.3 小腦模型神經(jīng)網(wǎng)絡(luò)小腦模型神經(jīng)網(wǎng)絡(luò)8.3.1CMAC概述概述小腦模型神經(jīng)網(wǎng)絡(luò)（小腦模型神經(jīng)網(wǎng)絡(luò)（CMAC-CerebellarModelArticulationController）是一種表達復雜非線性函數(shù)）是一種表達復雜非線性函數(shù)的表格查詢型自適應(yīng)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可通過學習算的表格查詢型自適應(yīng)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可通過學習算法改變表格的內(nèi)容，具有信息分類存儲的能力。法改變表格的內(nèi)容，具有信息分類存儲的能力。CMAC已被公認為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組已被公認為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組成部分，能夠?qū)W習任意

15、多維非線性映射，成部分，能夠?qū)W習任意多維非線性映射，CMAC算法算法被證明可有效地用于非線性函數(shù)逼近、動態(tài)建模、控制被證明可有效地用于非線性函數(shù)逼近、動態(tài)建模、控制系統(tǒng)設(shè)計等。系統(tǒng)設(shè)計等。CMAC比其它神經(jīng)網(wǎng)絡(luò)的優(yōu)越性體現(xiàn)在：比其它神經(jīng)網(wǎng)絡(luò)的優(yōu)越性體現(xiàn)在：（1）小腦模型是基于局部學習的神經(jīng)網(wǎng)絡(luò)，它把信息）小腦模型是基于局部學習的神經(jīng)網(wǎng)絡(luò)，它把信息存儲在局部結(jié)構(gòu)上，使每次修正的權(quán)極少，在保證函數(shù)存儲在局部結(jié)構(gòu)上，使每次修正的權(quán)極少，在保證函數(shù)非線性逼近性能的前提下，學習速度快，適合于實時控非線性逼近性能的前提下，學習速度快，適合于實時控制；制；（2）具有一定的泛化能力，即所謂相近輸入產(chǎn)生相近）具

16、有一定的泛化能力，即所謂相近輸入產(chǎn)生相近輸出，不同輸入給出不同輸出；輸出，不同輸入給出不同輸出；8.3.2一種典型一種典型CMAC算法算法CMAC網(wǎng)絡(luò)由輸入層，中間層和輸出層組成。在輸網(wǎng)絡(luò)由輸入層，中間層和輸出層組成。在輸入層與中間層、中間層與輸出層之間分別為由設(shè)計者入層與中間層、中間層與輸出層之間分別為由設(shè)計者預(yù)先確定的輸入層非線性映射和輸出層權(quán)值自適應(yīng)性預(yù)先確定的輸入層非線性映射和輸出層權(quán)值自適應(yīng)性線性映射。線性映射。CMAC神經(jīng)網(wǎng)絡(luò)的設(shè)計主要包括輸入空間的化分、神經(jīng)網(wǎng)絡(luò)的設(shè)計主要包括輸入空間的化分、輸入層至輸出層非線性映射的實現(xiàn)及輸出層權(quán)值學習輸入層至輸出層非線性映射的實現(xiàn)及輸出層權(quán)值學

17、習算法。算法。CMAC是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)系由以下兩個基本映射實現(xiàn)。系由以下兩個基本映射實現(xiàn)。（1）概念映射（）概念映射（UAC）概念映射是從輸入空間概念映射是從輸入空間U至概念存儲器至概念存儲器AC的映射。的映射。設(shè)輸入空間向量為設(shè)輸入空間向量為，量化編，量化編碼為碼為，輸入空間映射至，輸入空間映射至AC中中c個存儲單元（個存儲單元（c為二進為二進制非零單元的數(shù)目）。制非零單元的數(shù)目）。Tnp2p1ppu,u,uupucjpjjnuswy1)(cjjnwy1CMAC采用的學習算法如下：采用的學習算法如下： 采用采用學習規(guī)則調(diào)整權(quán)值，權(quán)值調(diào)整指標

18、為學習規(guī)則調(diào)整權(quán)值，權(quán)值調(diào)整指標為2)(21tecE 其中其中 。)()()(tytrte由梯度下降法，權(quán)值按下式調(diào)整：由梯度下降法，權(quán)值按下式調(diào)整：ctewyctytrwEtwj)()()()()2() 1()(1)-(t(t)twtwtwwwjjjjjTcpwwww21其中 為慣性系數(shù)。 8.3.3 仿真實例 采用CMAC網(wǎng)絡(luò)逼近非線性對象： ) 1(1/() 1() 1()(23kykykuky取取u(k)作為網(wǎng)絡(luò)的輸入，采用線性化函數(shù)對輸入狀作為網(wǎng)絡(luò)的輸入，采用線性化函數(shù)對輸入狀態(tài)進行量化，實現(xiàn)態(tài)進行量化，實現(xiàn)CMAC的概念映射的概念映射：minmaxmin)()(xxMxkuroun

19、dks其中其中xmin和和xmax輸入的最大最小值，輸入的最大最小值，M為為xmax量化后所量化后所對應(yīng)的最大值，對應(yīng)的最大值，round()round()為四舍五入的為四舍五入的MatlabMatlab函數(shù)。函數(shù)。采用雜散編碼技術(shù)中的除留余數(shù)法實現(xiàn)采用雜散編碼技術(shù)中的除留余數(shù)法實現(xiàn)CMAC的的實際映射。設(shè)雜湊表長為實際映射。設(shè)雜湊表長為m，以元素值，以元素值s(k)+i除以某除以某數(shù)數(shù)N（N=m）后所得余數(shù)）后所得余數(shù)+1作為雜湊地址，實現(xiàn)了作為雜湊地址，實現(xiàn)了實際映射，即實際映射，即 1MOD N)i (s(k)iad其中其中。在仿真中，取在仿真中，取M=100，N=7，取泛化參數(shù)，取泛化

20、參數(shù)c=7, =1.5, =0.05。CMAC網(wǎng)絡(luò)逼近程序為網(wǎng)絡(luò)逼近程序為chap8_3.m。c,1,2,iiRiCiIiuiVi.jRjCjIjujVj1R1C1I1u1V1. . . .ijw對于對于HopfieldHopfield神經(jīng)網(wǎng)絡(luò)第神經(jīng)網(wǎng)絡(luò)第i i個神經(jīng)元，采用微分方程個神經(jīng)元，采用微分方程建立其輸入輸出關(guān)系，即：建立其輸入輸出關(guān)系，即： 其中其中 。 iiiiinjjijiiugvIRuvwdtduC1ni,.,2 , 1 sseesg11Tnuuu,.,21uTnvvv,.,V21TnIII,.,21I iiiiviiijjiijNvIdvvgRvvwEi01121若權(quán)值矩陣

21、若權(quán)值矩陣是對稱的（是對稱的（），則），則Wjiijww iiiiijiiijijiniiiNdtduCdtdvIRuvwdtdvtvvEdtdE1由于由于 , ,則則 iiugv iiiiiNdtdvdvvdgCdtdE21由于由于，雙曲函數(shù)是單調(diào)上升函數(shù)，顯然它的雙曲函數(shù)是單調(diào)上升函數(shù)，顯然它的反函數(shù)反函數(shù) 也為單調(diào)上升函數(shù)，即有也為單調(diào)上升函數(shù)，即有，則則可得到可得到，即能量函數(shù)，即能量函數(shù)具有負的梯度，當且具有負的梯度，當且僅當僅當時時,（ ）。）。0iC ivg1 01iidvvdg0dtdE0dtdvi0dtdENni,.,2 , 1NE 由此可見，隨著時間的演化，網(wǎng)絡(luò)的解在狀態(tài)空

22、間由此可見，隨著時間的演化，網(wǎng)絡(luò)的解在狀態(tài)空間中總是朝著能量中總是朝著能量E EN N減少的方向運動。網(wǎng)絡(luò)最終輸出向量減少的方向運動。網(wǎng)絡(luò)最終輸出向量V V為網(wǎng)絡(luò)的穩(wěn)定平衡點，即為網(wǎng)絡(luò)的穩(wěn)定平衡點，即E EN N的極小點。的極小點。8.4.2 基于Hopfield網(wǎng)絡(luò)的自適應(yīng)控制 1. 系統(tǒng)描述系統(tǒng)描述 被控對象為一階系統(tǒng)：uJ即 其中 為轉(zhuǎn)動慣量， 為控制輸入，實際速度為 。uJn1Jun取速度指令為取速度指令為，將控制器設(shè)計為，將控制器設(shè)計為“P控制控制+前饋前饋控制控制”的形式：的形式：整理得：整理得：ddndfdpnknnku)(dfppdfdpnJkJknJknJknnJkn)(令

23、, , JK1pkF fpkkG則 dKGnKFnn其中其中F F和和G G為待定控制器參數(shù)，可采用為待定控制器參數(shù)，可采用HopfieldHopfield網(wǎng)絡(luò)進行辨識。網(wǎng)絡(luò)進行辨識。 2.基于基于Hopfield網(wǎng)絡(luò)的控制器優(yōu)化網(wǎng)絡(luò)的控制器優(yōu)化所采用的所采用的hopfield網(wǎng)絡(luò)結(jié)構(gòu)如圖網(wǎng)絡(luò)結(jié)構(gòu)如圖8-11所示。所示。ijw圖圖8-11Hopfield網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)控制系統(tǒng)的能量函數(shù)取控制系統(tǒng)的能量函數(shù)取將將表達式代入上式并展開得：表達式代入上式并展開得：2)(21nnEddddddFGnnKKGnnKFnnGKnFKnE2222222222222121n取取Hopfield網(wǎng)絡(luò)輸出神經(jīng)元

24、數(shù)為網(wǎng)絡(luò)輸出神經(jīng)元數(shù)為2，假設(shè)輸入電阻無，假設(shè)輸入電阻無窮大，此時窮大，此時Hopfield網(wǎng)絡(luò)的標準能量函數(shù)為：網(wǎng)絡(luò)的標準能量函數(shù)為：21212121iiiijjiijNIvvvwE將 展開，得： NE2211222212212112211121IvIvvwvvwvvwvwEN令 ，得：GvFv21,21222211221121GIFIGwFGwFGwFwEN 當當Hopfield網(wǎng)絡(luò)處于平衡狀態(tài)時，能量函數(shù)最小，網(wǎng)絡(luò)處于平衡狀態(tài)時，能量函數(shù)最小，由網(wǎng)絡(luò)權(quán)值對稱得由網(wǎng)絡(luò)權(quán)值對稱得，此時，此時2112ww0FEFEN0GEGEN02221221112111211211IGwFwIGwGwFwF

25、EN022221222ddGnnKnKnFnKFE由上兩式得：由上兩式得：2211nKwdnnKww22112nKnId102221221222122222112IGwFwIGwFwFwGEN0222212222dddFnnkknGnkGE由上兩式得：由上兩式得：22dknI 2222dnkw連接權(quán)矩陣連接權(quán)矩陣 和外部輸入和外部輸入 如下：如下： WI222222dddnknnknnknkW2ddknnknI標準標準Hopfield網(wǎng)絡(luò)的動態(tài)方程為：網(wǎng)絡(luò)的動態(tài)方程為：injiijiiIvwdtduC1)(iiugv 取取 ，將所求的，將所求的 和和 代入上式得：代入上式得：0 . 1iCWI

26、12121111Ivwvwdtdu22221212Ivwvwdtdu取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即其中其中。iiiiiiuuiiuiieeSSeSug1112)(0;2, 1iSi網(wǎng)絡(luò)實際輸出為：網(wǎng)絡(luò)實際輸出為：)(1ugF )(2ugG 由于由于，則，則112111SFSeu222122SGSeu122112121111121112221)(21111SFSSSFSFFSSeeSdudFuudtduSFSdtdududFdtdF112211112同理可得：同理可得：2222222SGSdudGdtduSGSdtdududGdtdG22222222

27、2 求解微分方程，可得到優(yōu)化后的求解微分方程，可得到優(yōu)化后的F、G，從而實現(xiàn)從而實現(xiàn) 和和 的整定。的整定。pkfk3仿真實例仿真實例被控對象為一階系統(tǒng)：被控對象為一階系統(tǒng)：uJ其中 ， 。 101J101JKHopfield網(wǎng)絡(luò)的自適應(yīng)控制程序包括主程序網(wǎng)絡(luò)的自適應(yīng)控制程序包括主程序chap8_4sim.mdl、控制器、控制器S函數(shù)程序函數(shù)程序chap8_4s.m、被控對象、被控對象S函數(shù)程序函數(shù)程序chap8_4plant.m和作圖程序和作圖程序chap8_4plot.m。8.4.2 Hopfield網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識 在系統(tǒng)辨識中，直接采用在系統(tǒng)辨識中，直接采用Ho

28、pfield神經(jīng)網(wǎng)絡(luò)對時域內(nèi)動態(tài)系統(tǒng)實神經(jīng)網(wǎng)絡(luò)對時域內(nèi)動態(tài)系統(tǒng)實現(xiàn)參數(shù)估計是一種簡單而直接的動態(tài)系統(tǒng)辨識方法。該方法的特點現(xiàn)參數(shù)估計是一種簡單而直接的動態(tài)系統(tǒng)辨識方法。該方法的特點是根據(jù)是根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)的動力學機制，使其神經(jīng)元的輸出值對應(yīng)是神經(jīng)網(wǎng)絡(luò)的動力學機制，使其神經(jīng)元的輸出值對應(yīng)是待識參數(shù)識，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識參數(shù)辨識的過程。待識參數(shù)識，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識參數(shù)辨識的過程。利用利用Hopfield網(wǎng)絡(luò)進行辨識時，取所定義的辨識能量函數(shù)等于網(wǎng)絡(luò)進行辨識時，取所定義的辨識能量函數(shù)等于Hopfield網(wǎng)絡(luò)標準能量函數(shù)，通過網(wǎng)絡(luò)標準能量函數(shù)，通過Hopfield

29、神經(jīng)網(wǎng)絡(luò)動態(tài)方程，得到神經(jīng)網(wǎng)絡(luò)動態(tài)方程，得到Hopfield網(wǎng)絡(luò)的連接權(quán)矩陣和神經(jīng)元的外部輸入，然后將其代入網(wǎng)絡(luò)的連接權(quán)矩陣和神經(jīng)元的外部輸入，然后將其代入Hopfield網(wǎng)絡(luò)動態(tài)方程運行，經(jīng)過一段時間后，可得到穩(wěn)定的參數(shù)辨網(wǎng)絡(luò)動態(tài)方程運行，經(jīng)過一段時間后，可得到穩(wěn)定的參數(shù)辨識結(jié)果。識結(jié)果。1. 系統(tǒng)描述系統(tǒng)描述 設(shè)待辨識為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為設(shè)待辨識為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為uxAxB（8.38）其中其中、為待辨識的參數(shù)矩陣，取為待辨識的參數(shù)矩陣，取，且且狀態(tài)矢量，狀態(tài)矢量，是單個控制輸入。是單個控制輸入。則二階線性系統(tǒng)的參數(shù)的辨識過程就是向量則二階線性系統(tǒng)的參數(shù)

30、的辨識過程就是向量的辨識過程。的辨識過程。ABT111221222122AAAABBPx12TxxxuP2. 參數(shù)辨識基本原理參數(shù)辨識基本原理 用于辨識的可調(diào)系統(tǒng)為用于辨識的可調(diào)系統(tǒng)為（8.39）puxFxG 其中其中 ， ，取，取 。 11122122aaaaF12bbGT111221222122aaaabbV 用由式（用由式（8.38）和式（）和式（8.39）得：）得：ueAF xBG（8.40） 其中其中 為狀態(tài)偏差。為狀態(tài)偏差。 epexx（8.41） 用由于用由于 與線性無關(guān)，則當與線性無關(guān)，則當 時，時， ， ，從而實，從而實現(xiàn)現(xiàn) 。 x0e FAGBVP3. HopfieldHo

31、pfield網(wǎng)絡(luò)網(wǎng)絡(luò)辨識能量函數(shù)的設(shè)計辨識能量函數(shù)的設(shè)計為了實現(xiàn)為了實現(xiàn)，選擇基于狀態(tài)偏差變化率的參數(shù)辨識能量函數(shù)為：，選擇基于狀態(tài)偏差變化率的參數(shù)辨識能量函數(shù)為：0e T12E e e （8.42） 由于由于 TTTTTTTTTTTTTTTTTuuuuuuuu e exFxGxFxGx xx Fxx Gx F xx F Fxx F GG xG FxG G 即即 TTTTTTTTTTTTTTTTTTTTTTTTTTTTTT121 2Euuuuuuuuuuuux xx Fxx Gx F xx F Fxx F GG xG FxG Gx xx F FxG Gx F GG Fxx Fxx F xx G

32、G x （8.43） 其中各項可表達為式（其中各項可表達為式（8.44）式（式（8.49）：）： T2212xxx x （8.44）111211112TT121222212222222222211 111 122121 122212111 121212221221222222222222111 221314 3211 212223 41242xaaaaxxaaaaxa xa a x xa xa a x xa a x xa xa a x xa xv xv v x xv xv v x xv v x xv xv v x xv xx F Fx（8.45）TT2222221256uubbuvvuG G（

33、8.46） 由于由于 ，則則 11121TTTT1211 1 112 1221 2 122 2212222baauuxxua b xa b xa b xa b xuaabx F GG FxTTTT11 1 112 1221 2122221 5 12 523 614 6222uua b xa b xa b xa b xuv v xv v xv v xv v xux F GG Fx（8.47）TTTT11 1 112122121222222 a x xa x xa x xa x x x Fxx F xx Fx（8.48）TTTT1 12222uuub xb xu x GG xx G（8.50） 在

34、式（在式（8.43）中，取，其中取的前）中，取，其中取的前5項，取的后項，取的后2項，則有項，則有TTTTTTTTT1222222222212111 221314 3211 212223 41242222561 5 12 523 614 62121 22Euuuuxxv xv v x xv xv v x xv v x xv xv v x xv xvvuv v xv v xv v xv v xux xx F FxG Gx F GG Fx （8.49）TTTTTT211 1 11212212122221 1221 1 12123214225 1621122 Euua x xa x xa x xa

35、x xb xub x uv x xv x xv x xv x xv xuv x u x Fxx F xx GG x（8.51）4. 用于辨識的用于辨識的HopfieldHopfield網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)設(shè)計 Hopfield網(wǎng)絡(luò)能量函數(shù)趨于極小的過程，就是估計矩陣網(wǎng)絡(luò)能量函數(shù)趨于極小的過程，就是估計矩陣和和收斂于實收斂于實際矩陣際矩陣和和的過程。通過構(gòu)建一個具體的的過程。通過構(gòu)建一個具體的Hopfield網(wǎng)絡(luò)，可進行參數(shù)辨網(wǎng)絡(luò)，可進行參數(shù)辨識。識。Hopfield神經(jīng)網(wǎng)絡(luò)第個神經(jīng)元的動態(tài)微分方程為：神經(jīng)網(wǎng)絡(luò)第個神經(jīng)元的動態(tài)微分方程為：GFAB 1ddniiiijjijiiiuuCw vItRvg u

36、（8.52） 其中其中 ， 11uueg ue0 假定假定Hopfield神經(jīng)元由理想放大器構(gòu)成，即神經(jīng)元由理想放大器構(gòu)成，即，同時取，同時取，則，則Hopfield神經(jīng)網(wǎng)絡(luò)動態(tài)方程變?yōu)椋荷窠?jīng)網(wǎng)絡(luò)動態(tài)方程變?yōu)椋篿R 1iC ddiijjiiuw vtI（8.53） Hopfield網(wǎng)絡(luò)的標準能量函數(shù)為：網(wǎng)絡(luò)的標準能量函數(shù)為： 1N0112ivijijiiiijiiiEw vvgv dvI vR （8.54） 由于由于，取，取Hopfield網(wǎng)絡(luò)的輸出對應(yīng)待辨識參數(shù)，網(wǎng)絡(luò)的輸出對應(yīng)待辨識參數(shù)，即即，則，則R T111221222122aaaabbVN12ijijiiijiEw vvI v （8.

37、55） 由式（由式（8.53）和式（）和式（8.55）可以看出如下關(guān)系成立：）可以看出如下關(guān)系成立：NijjiiiEw vv I 利用利用Hopfield網(wǎng)絡(luò)進行辨識時，取所定義的辨識能量函數(shù)與網(wǎng)絡(luò)進行辨識時，取所定義的辨識能量函數(shù)與Hopfield網(wǎng)網(wǎng)絡(luò)標準能量函數(shù)相等，即絡(luò)標準能量函數(shù)相等，即，則由上式可得：，則由上式可得：NEEijjiiiEw vv I 由根據(jù)函數(shù)對向量求導的定義，有由根據(jù)函數(shù)對向量求導的定義，有111666d djjijjiEw vvIEEIw vv WVIV（8.56） 由于由于，則有，則有12EEE12ddddddEEE WVIVVV（8.57） 由于由于1211

38、1221 12212125 1221211 121233124412551266222d1d2EEvvEEv xv x xv x xv xuvvv x xv x xvEEvvEEEvvEEvvEEvvV1 1222521223 142141261212223213 1242622151 1222263 14221 12125 11 12222222222222x xxv x ux xv xv x xv x xv xux xx xv x xv x xv xv x uxuv uv xuv x ux uv uv xuv x uv xv x xv xuv x xv21 1112122252212122

39、223 141261121121222221223 1242622151 1222263 142000000000000 x xxx xxuxv x ux xx xxx uv xv x xv xux xxx xxux xx xxx uv x xv xv x uuxuv uv xuv x uuxv uv xuv x u11 12213124222511222126000000vx xvx xvx xvx xvuxxuxuuxuxuxuv 對比式（對比式（8.57）和式（）和式（8.58），可將網(wǎng)絡(luò)得權(quán)值表示為：），可將網(wǎng)絡(luò)得權(quán)值表示為：211212212221121221222122120000

40、00000000000000 xx xxux xxx uxx xxux xxx uuxuxuuxuxu W1 121122212x xx xx xx xuxuxI（8.59） 由式（由式（8.59）的和代入（）的和代入（8.53）式，可得到穩(wěn)定的）式，可得到穩(wěn)定的，通過，通過，可得到網(wǎng)絡(luò)最終辨識結(jié)果的輸出：，可得到網(wǎng)絡(luò)最終辨識結(jié)果的輸出：iu g 1()g uF2()g uG（8.60） 需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助MATLAB的符的符號編程方法實現(xiàn)求權(quán)值號編程方法實現(xiàn)求權(quán)值和和的過程。具體方法為：根據(jù)式（的過程。具體方法為：

41、根據(jù)式（8.56），首），首先通過先通過MATLAB函數(shù)函數(shù)實現(xiàn)，然后通過實現(xiàn)，然后通過MATLAB函數(shù)函數(shù)實現(xiàn)實現(xiàn)，最后通過式（，最后通過式（8.57）實現(xiàn)）實現(xiàn)，并采用函數(shù)，并采用函數(shù)實現(xiàn)實現(xiàn)的的化簡。由仿真結(jié)果可見，由符號編程方法求解的權(quán)值化簡。由仿真結(jié)果可見，由符號編程方法求解的權(quán)值和和與式（與式（8.59）相同。符號運算求解權(quán)值仿真程序見相同。符號運算求解權(quán)值仿真程序見chap8_4juzhen.m。有了權(quán)值和，求解動態(tài)微分方程式（有了權(quán)值和，求解動態(tài)微分方程式（8.52），便可得到最終的辨識結(jié)），便可得到最終的辨識結(jié)果果。WIdiff,E VddEVddiff,dEVVI simp

42、lify IIWIV5. 仿真實例仿真實例 針對二階系統(tǒng)進行參數(shù)辨識。系統(tǒng)的狀態(tài)方程為：針對二階系統(tǒng)進行參數(shù)辨識。系統(tǒng)的狀態(tài)方程為：uxAxB Hopfield網(wǎng)絡(luò)的輸出對應(yīng)待辨識參數(shù)，網(wǎng)絡(luò)的輸出對應(yīng)待辨識參數(shù)，Hopfield網(wǎng)絡(luò)權(quán)值和初值取零。網(wǎng)絡(luò)權(quán)值和初值取零。 在仿真程序中，取在仿真程序中，取，和和為常數(shù)矩陣，為常數(shù)矩陣，取，取，。經(jīng)。經(jīng)過一段時間的仿真運行后，辨識參數(shù)的結(jié)果為過一段時間的仿真運行后，辨識參數(shù)的結(jié)果為1M AB01025A0133BTT111221222122010250133AAAABBP8005.0T-0.00031.00380.0060-24.9962-0.027

43、3133.0231V 在仿真程序中，取在仿真程序中，取，和和為時變系數(shù)矩陣，為時變系數(shù)矩陣，。取。取，參數(shù)辨識過程的仿真結(jié)果如圖，參數(shù)辨識過程的仿真結(jié)果如圖8-11和圖和圖8-12所示。所示。2M AB011+0.1sin 0.5 t025A01+0.1sin 0.2 t133B8005.002468101214161820-0.500.51t/sA11 identification02468101214161820012t/sA12 identification02468101214161820-1000100t/sA21 identification02468101214161820-20

44、0-1000100t/sA22 identification02468101214161820-1-0.500.51t/sB1 identification02468101214161820-1000100200300t/sB2 identification 圖圖8-11矩陣中各參數(shù)的辨識結(jié)果矩陣中各參數(shù)的辨識結(jié)果 圖圖8-12矩陣中各參數(shù)的辨識結(jié)果矩陣中各參數(shù)的辨識結(jié)果8.5 基于基于Hopfield網(wǎng)絡(luò)的路徑優(yōu)化網(wǎng)絡(luò)的路徑優(yōu)化在旅行商問題（在旅行商問題（TravelingSalesmanProblem，簡稱，簡稱TSP）可描述）可描述為：已知個城市之間的相互距離，現(xiàn)有一推銷員必須遍訪這個城

45、市，為：已知個城市之間的相互距離，現(xiàn)有一推銷員必須遍訪這個城市，并且每個城市只能訪問一次，最后又必須返回出發(fā)城市。并且對如并且每個城市只能訪問一次，最后又必須返回出發(fā)城市。并且對如何安排他對這些城市的訪問次序，使其旅行路線總長度最短。何安排他對這些城市的訪問次序，使其旅行路線總長度最短。旅行商問題是一個典型的組合優(yōu)化問題，其可能的路徑數(shù)目與城市旅行商問題是一個典型的組合優(yōu)化問題，其可能的路徑數(shù)目與城市數(shù)目呈指數(shù)型增長的，一般很難精確的求出其最優(yōu)解，因而尋找其數(shù)目呈指數(shù)型增長的，一般很難精確的求出其最優(yōu)解，因而尋找其有效的近似求解算法具有重要的理論意義。另一方面，很多實際應(yīng)有效的近似求解算法具有

46、重要的理論意義。另一方面，很多實際應(yīng)用問題，經(jīng)過簡化處理后，均可化為旅行商問題，因而對旅行商問用問題，經(jīng)過簡化處理后，均可化為旅行商問題，因而對旅行商問8.5.1 旅行商問題的描述旅行商問題的描述題求解方法的研究具有重要的應(yīng)用價值題求解方法的研究具有重要的應(yīng)用價值旅行商問題是一個典型的組合優(yōu)化問題，特別是當?shù)臄?shù)目很大時，用旅行商問題是一個典型的組合優(yōu)化問題，特別是當?shù)臄?shù)目很大時，用常規(guī)的方法求解計算量太大。對龐大的搜索空間中尋求最優(yōu)解，對于常規(guī)的方法求解計算量太大。對龐大的搜索空間中尋求最優(yōu)解，對于常規(guī)方法和現(xiàn)有的計算工具而言，存在著諸多的計算困難。使用常規(guī)方法和現(xiàn)有的計算工具而言，存在著諸多

47、的計算困難。使用Hopfield網(wǎng)絡(luò)的優(yōu)化能力可以很容易地解決這類問題。網(wǎng)絡(luò)的優(yōu)化能力可以很容易地解決這類問題。Hopfield等等1采用神經(jīng)網(wǎng)絡(luò)求得經(jīng)典組合優(yōu)化問題（采用神經(jīng)網(wǎng)絡(luò)求得經(jīng)典組合優(yōu)化問題（TSP）的最優(yōu)解，）的最優(yōu)解，開創(chuàng)了優(yōu)化問題求解的新方法。開創(chuàng)了優(yōu)化問題求解的新方法。 TSP問題是在一個城市集合 中找出一個最短且經(jīng)過每個城市各一次并回到起點的路徑。為了將TSP問題映射為一個神經(jīng)網(wǎng)絡(luò)的動態(tài)過程，Hopfield采取了換位矩陣的表示方法，用 矩陣表示商人訪問 個城市。例如，有四個城市 ，訪問路線是 ： ， 則Hopfield網(wǎng)絡(luò)輸出所代表的有效解用下面的二維矩陣表8-1來表示：

48、8.5.2 求解求解TSP問題的問題的Hopfield網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)設(shè)計 cccA ,B ,C NNNccccA ,B ,C ,DcccccDACBD表表8-1 四個城市的訪問路線四個城市的訪問路線 cAcBcCcD 次 序城 市12340100000100101000 表表8-1構(gòu)成了一個的矩陣，該矩陣中，各行各列只有一個元素為構(gòu)成了一個的矩陣，該矩陣中，各行各列只有一個元素為1，其余為其余為0，否則是一個無效的路徑。采用，否則是一個無效的路徑。采用 表示神經(jīng)元表示神經(jīng)元 的輸出，的輸出，相應(yīng)的輸入用相應(yīng)的輸入用 表示。如果城市表示。如果城市 在在 位置上被訪問，則位置上被訪問，則 ，否，否則

49、則 。 針對針對TSP問題，問題，Hopfield定義了如下形式的能量函數(shù)定義了如下形式的能量函數(shù)1：xiV, x ixiUxi1xiV 0 xiV 111112,1,111111AB22CD 22NNNNNNxixjxiyjxijixyxNNNNNxixyxiy iy ixixyiEV VV VVNd VVV （8.61）式中，式中，A.B.C.D是權(quán)值，是權(quán)值， 表示城市表示城市 到城市到城市 之間的距離。之間的距離。 xydxy 式（式（8.61）中，）中，E的前三項是問題的約束項，最后一項是優(yōu)化目標的前三項是問題的約束項，最后一項是優(yōu)化目標項項,E的第一項為保證矩陣的第一項為保證矩陣V

50、的每一行不多于一個的每一行不多于一個1時時E最?。疵總€城最?。疵總€城市只去一次），市只去一次），E的第二項保證矩陣的每一列不多于一個的第二項保證矩陣的每一列不多于一個1時時E最小最?。疵看沃辉L問一城市），（即每次只訪問一城市），E的第三項保證矩陣的第三項保證矩陣V中中1的個數(shù)恰好為的個數(shù)恰好為N時時E最小。最小。 Hopfield將能量函數(shù)的概念引入神經(jīng)網(wǎng)絡(luò)，開創(chuàng)了求解優(yōu)化問題的將能量函數(shù)的概念引入神經(jīng)網(wǎng)絡(luò)，開創(chuàng)了求解優(yōu)化問題的新方法。但該方法在求解上存在局部極小、不穩(wěn)定等問題。為此，文新方法。但該方法在求解上存在局部極小、不穩(wěn)定等問題。為此，文獻獻2將將TSP的能量函數(shù)定義為：的能量函數(shù)定義為：22,11111111AAD11222NNNNNNNxixixixyy ixiixxyiEVVV d V （8.62）取式取式（8.62），HopfieldHopfield網(wǎng)絡(luò)的動態(tài)方程為：網(wǎng)絡(luò)的動態(tài)方程為： 采用Hopfield網(wǎng)絡(luò)求解TSP問題的算法描述如下：(1) 置初值， , ， , ；(2) 計算N個城市之間的距離 ；(3) 神經(jīng)網(wǎng)絡(luò)輸入 的