智能控制_08高級神經網絡

1、第第8章章 高級神經網絡高級神經網絡 模糊系統(tǒng)與模糊神經網絡既有聯系又有區(qū)別，模糊系統(tǒng)與模糊神經網絡既有聯系又有區(qū)別，其聯系表現為模糊神經網絡在本質上是模糊系統(tǒng)的其聯系表現為模糊神經網絡在本質上是模糊系統(tǒng)的實現，其區(qū)別表現為模糊神經網絡又具有神經網絡實現，其區(qū)別表現為模糊神經網絡又具有神經網絡的特性。的特性。 神經網絡與模糊系統(tǒng)的比較見表神經網絡與模糊系統(tǒng)的比較見表8-1。模糊神經。模糊神經網絡充分地利用了神經網絡和模糊系統(tǒng)各自的優(yōu)點，網絡充分地利用了神經網絡和模糊系統(tǒng)各自的優(yōu)點，因而受到了重視。因而受到了重視。模糊系統(tǒng)模糊系統(tǒng)神經網絡神經網絡獲取知識獲取知識專家經驗專家經驗算法實例算法實例推

2、理機制推理機制啟發(fā)式搜索啟發(fā)式搜索并行計算并行計算推理速度推理速度低低高高容錯性容錯性低低非常高非常高學習機制學習機制歸納歸納調整權值調整權值自然語言自然語言實現實現明確的明確的不明顯不明顯自然語言自然語言靈活性靈活性高高低低表表8-1 模糊系統(tǒng)與神經網絡的比較模糊系統(tǒng)與神經網絡的比較 將神經網絡的學習能力引到模糊系統(tǒng)中，將模將神經網絡的學習能力引到模糊系統(tǒng)中，將模糊系統(tǒng)的模糊化處理、模糊推理、精確化計算通過糊系統(tǒng)的模糊化處理、模糊推理、精確化計算通過分布式的神經網絡來表示是實現模糊系統(tǒng)自組織、分布式的神經網絡來表示是實現模糊系統(tǒng)自組織、自學習的重要途徑。在模糊神經網絡中，神經網絡自學習的重要

3、途徑。在模糊神經網絡中，神經網絡的輸入、輸出節(jié)點用來表示模糊系統(tǒng)的輸入、輸出的輸入、輸出節(jié)點用來表示模糊系統(tǒng)的輸入、輸出信號，神經網絡的隱含節(jié)點用來表示隸屬函數和模信號，神經網絡的隱含節(jié)點用來表示隸屬函數和模糊規(guī)則，利用神經網絡的并行處理能力使得模糊系糊規(guī)則，利用神經網絡的并行處理能力使得模糊系統(tǒng)的推理能力大大提高。統(tǒng)的推理能力大大提高。 模糊神經網絡在本質上是將常規(guī)的神經網絡賦模糊神經網絡在本質上是將常規(guī)的神經網絡賦予模糊輸入信號和模糊權值，其學習算法通常是神予模糊輸入信號和模糊權值，其學習算法通常是神經網絡學習算法或其推廣。模糊神經網絡技術已經經網絡學習算法或其推廣。模糊神經網絡技術已經獲

4、得了廣泛的應用，當前的應用主要集中在以下幾獲得了廣泛的應用，當前的應用主要集中在以下幾個領域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模個領域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊矩陣方程、模糊建模和模糊模式識別。糊矩陣方程、模糊建模和模糊模式識別。 模糊神經網絡是將模糊系統(tǒng)和神經網絡相結合模糊神經網絡是將模糊系統(tǒng)和神經網絡相結合而構成的網絡。利用而構成的網絡。利用RBFRBF網絡與模糊系統(tǒng)相結合，網絡與模糊系統(tǒng)相結合，構成了模糊構成了模糊RBFRBF網絡。網絡。 (o)ixif)(1第二層：隸屬函數層，即模糊化層第二層：隸屬函數層，即模糊化層該層的每個節(jié)點具有隸屬函數的功能，采用高斯函數該層的每

5、個節(jié)點具有隸屬函數的功能，采用高斯函數作為隸屬函數。對第作為隸屬函數。對第j個節(jié)點：個節(jié)點：其中其中和和分別是第分別是第i個輸入變量的第個輸入變量的第j個模糊集合高個模糊集合高斯函數的均值和標準差。斯函數的均值和標準差。2212)()(jijjbcifnet)exp(),(22jnetjifijcjbNj(i,j)f(j)f123niiNN1其中其中 為輸入層中第為輸入層中第i個輸入隸屬函數的個數，即個輸入隸屬函數的個數，即模糊化層節(jié)點數。模糊化層節(jié)點數。iN, Njjfjlwfwlf1334,)(ijcjb圖8-2 模糊RBF神經網絡逼近 取取 ， 和和 分別表示網絡輸出和理想輸出。網絡分別

6、表示網絡輸出和理想輸出。網絡的輸入為的輸入為u(k)和和y(k)，網絡的輸出為，網絡的輸出為 ，則網絡逼近誤差為：，則網絡逼近誤差為： 采用梯度下降法來修正可調參數，定義目標函數為：采用梯度下降法來修正可調參數，定義目標函數為： 4fkym kym ky kym kykykem 221keE 網絡的學習算法如下：網絡的學習算法如下： 輸出層的權值通過如下方式來調整輸出層的權值通過如下方式來調整: 3fkewyyeeEwEkwmm則輸出層的權值學習算法為：則輸出層的權值學習算法為： 211kwkwkwkwkw其中其中 為學習速率，為學習速率， 為動量因子。為動量因子。輸入隸屬函數參數修正算法為：

7、輸入隸屬函數參數修正算法為：2222)(2ijijijijjjijijbcxcnetnetEcEc3222)(2jijijjjjjjbcxbnetnetEbEb其中其中 322233222wfkenetffffykenetykenetEjmjmjj 211kckckckckcijijijijij 211kbkbkbkbkbjjjjj隸屬函數參數學習算法為：隸屬函數參數學習算法為：8.1.3 仿真實例 使用模糊使用模糊RBF網絡逼近對象：網絡逼近對象：其中采樣時間為其中采樣時間為1ms1ms。 模糊模糊RBF網絡逼近程序見網絡逼近程序見chap8_1.m。 23) 1(1) 1()()(kyky

8、kuky8.2Pi-Sigma神經網絡神經網絡神經模糊建模是近年來基于模糊集理論發(fā)展起來神經模糊建模是近年來基于模糊集理論發(fā)展起來的一種新的方法。的一種新的方法。模糊建模技術缺點是過分地依賴隸屬函數的準確模糊建模技術缺點是過分地依賴隸屬函數的準確性。采用高木性。采用高木-關野模糊系統(tǒng)，用一種混合型的關野模糊系統(tǒng)，用一種混合型的pi-sigma神經網絡，可以建立一種自適應能力很強的模神經網絡，可以建立一種自適應能力很強的模糊模型。這種模型不但實現了模糊模型的自動更新，糊模型。這種模型不但實現了模糊模型的自動更新，而且能不斷修正各模糊子集的隸屬函數，使模糊建模而且能不斷修正各模糊子集的隸屬函數，使

9、模糊建模更具合理性。更具合理性。8.2.1高木高木-關野模糊系統(tǒng)關野模糊系統(tǒng) 在高木在高木-關野模糊系統(tǒng)中，高木和關野用以下關野模糊系統(tǒng)中，高木和關野用以下“ “ ”規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：If is ， is ， ， is then iR1xiA12xiA2nxinAkikiiixpxppy110thenif 對于輸入向量，高木對于輸入向量，高木-關野模糊系統(tǒng)的各規(guī)則輸關野模糊系統(tǒng)的各規(guī)則輸出出等于各等于各的加權平均：的加權平均：miimiiinyy11nyiy式中，加權系數式中，加權系數 包括了規(guī)則包括了規(guī)則 作用于輸入所取得作用于輸入所取得的值。的

10、值。iiR jkiixAij18.2.2混合型混合型pi-sigma神經網絡神經網絡 常規(guī)的前向型神經網絡含有求和節(jié)點，這給常規(guī)的前向型神經網絡含有求和節(jié)點，這給處理某些復雜問題帶來了困難。一種基于混合型處理某些復雜問題帶來了困難。一種基于混合型pi-sigma神經網絡模型如圖神經網絡模型如圖8-5所示，在該網絡中，輸所示，在該網絡中，輸入神經元有入神經元有4個，個，S、P和和分別表示相加、相乘和分別表示相加、相乘和相乘運算。相乘運算。SSSSSSSSPPPPPPPPSN LP LP LN LP LN LP LN Lk1k2k3k4x1x2x4x3pi0pi1pi2pi3pi41i1Yi圖圖8

11、-5具有具有4個輸入的混合型個輸入的混合型pi-sigma神經網絡神經網絡 miAAAAmiiiiiiAAAAmiimiiinxxxxxpxpxpxppxxxxyyiiiiiiii14321144332211043211143214321顯然，這種結構的神經網絡屬于高木顯然，這種結構的神經網絡屬于高木-關野模糊系關野模糊系統(tǒng)。采用該網絡實現的模糊系統(tǒng)可方便地在線修正隸統(tǒng)。采用該網絡實現的模糊系統(tǒng)可方便地在線修正隸屬函數和參數，適合于復雜系統(tǒng)的模糊預測和控制。屬函數和參數，適合于復雜系統(tǒng)的模糊預測和控制。 為方便神經網絡的學習，各模糊子集的隸屬函數為方便神經網絡的學習，各模糊子集的隸屬函數均取高

12、斯型，即：均取高斯型，即： 網絡的輸出為：網絡的輸出為：ijijjAbcxij/exp2混合型混合型pi-sigma神經網絡學習算法：神經網絡學習算法：假設網絡的期望輸出為假設網絡的期望輸出為定義代價函數：定義代價函數：221ndyyEdy根據梯度下降法有：根據梯度下降法有： ijijijpEkpkp1ijimiiindijmiimiiindijnnijpyyypyyypyyEpE111 miiindijijijijyykppEkpkp11其中其中其中 。 4 , 3 , 2 , 1j ijijijaEkckc1 ijijijbEkbkb1對對 有：有：ijijbc ,其中其中ijiinnij

13、nnijcyyEcyyEcEijiijjmiimiiimiiindbcxyyyy221112221111ijijjimiimiiimiiindijiinnijnnijbcxyyyybyyEbyyEbE 222111ijiijjmiimiiimiiindbcxyyyy 211121miiijiijjmiiimiiindijijbcxyyyykckc 2122111miiijiijjmiiimiiindijijbcxyyyykbkb其中、為學習速率。 8.2.3仿真實例仿真實例使用混合型使用混合型pi-sigma神經網絡逼近對象：神經網絡逼近對象：23) 1(1) 1()()(kykykuky混合

14、型混合型pi-sigma神經網絡逼近程序見神經網絡逼近程序見chap8_2.m8.3 8.3 小腦模型神經網絡小腦模型神經網絡8.3.1CMAC概述概述小腦模型神經網絡（小腦模型神經網絡（CMAC-CerebellarModelArticulationController）是一種表達復雜非線性函數）是一種表達復雜非線性函數的表格查詢型自適應神經網絡，該網絡可通過學習算的表格查詢型自適應神經網絡，該網絡可通過學習算法改變表格的內容，具有信息分類存儲的能力。法改變表格的內容，具有信息分類存儲的能力。CMAC已被公認為是一類聯想記憶網絡的重要組已被公認為是一類聯想記憶網絡的重要組成部分，能夠學習任意

15、多維非線性映射，成部分，能夠學習任意多維非線性映射，CMAC算法算法被證明可有效地用于非線性函數逼近、動態(tài)建模、控制被證明可有效地用于非線性函數逼近、動態(tài)建模、控制系統(tǒng)設計等。系統(tǒng)設計等。CMAC比其它神經網絡的優(yōu)越性體現在：比其它神經網絡的優(yōu)越性體現在：（1）小腦模型是基于局部學習的神經網絡，它把信息）小腦模型是基于局部學習的神經網絡，它把信息存儲在局部結構上，使每次修正的權極少，在保證函數存儲在局部結構上，使每次修正的權極少，在保證函數非線性逼近性能的前提下，學習速度快，適合于實時控非線性逼近性能的前提下，學習速度快，適合于實時控制；制；（2）具有一定的泛化能力，即所謂相近輸入產生相近）具

16、有一定的泛化能力，即所謂相近輸入產生相近輸出，不同輸入給出不同輸出；輸出，不同輸入給出不同輸出；8.3.2一種典型一種典型CMAC算法算法CMAC網絡由輸入層，中間層和輸出層組成。在輸網絡由輸入層，中間層和輸出層組成。在輸入層與中間層、中間層與輸出層之間分別為由設計者入層與中間層、中間層與輸出層之間分別為由設計者預先確定的輸入層非線性映射和輸出層權值自適應性預先確定的輸入層非線性映射和輸出層權值自適應性線性映射。線性映射。CMAC神經網絡的設計主要包括輸入空間的化分、神經網絡的設計主要包括輸入空間的化分、輸入層至輸出層非線性映射的實現及輸出層權值學習輸入層至輸出層非線性映射的實現及輸出層權值學

17、習算法。算法。CMAC是前饋網絡，輸入輸出之間的非線性關是前饋網絡，輸入輸出之間的非線性關系由以下兩個基本映射實現。系由以下兩個基本映射實現。（1）概念映射（）概念映射（UAC）概念映射是從輸入空間概念映射是從輸入空間U至概念存儲器至概念存儲器AC的映射。的映射。設輸入空間向量為設輸入空間向量為，量化編，量化編碼為碼為，輸入空間映射至，輸入空間映射至AC中中c個存儲單元（個存儲單元（c為二進為二進制非零單元的數目）。制非零單元的數目）。Tnp2p1ppu,u,uupucjpjjnuswy1)(cjjnwy1CMAC采用的學習算法如下：采用的學習算法如下： 采用采用學習規(guī)則調整權值，權值調整指標

18、為學習規(guī)則調整權值，權值調整指標為2)(21tecE 其中其中 。)()()(tytrte由梯度下降法，權值按下式調整：由梯度下降法，權值按下式調整：ctewyctytrwEtwj)()()()()2() 1()(1)-(t(t)twtwtwwwjjjjjTcpwwww21其中 為慣性系數。 8.3.3 仿真實例 采用CMAC網絡逼近非線性對象： ) 1(1/() 1() 1()(23kykykuky取取u(k)作為網絡的輸入，采用線性化函數對輸入狀作為網絡的輸入，采用線性化函數對輸入狀態(tài)進行量化，實現態(tài)進行量化，實現CMAC的概念映射的概念映射：minmaxmin)()(xxMxkuroun

19、dks其中其中xmin和和xmax輸入的最大最小值，輸入的最大最小值，M為為xmax量化后所量化后所對應的最大值，對應的最大值，round()round()為四舍五入的為四舍五入的MatlabMatlab函數。函數。采用雜散編碼技術中的除留余數法實現采用雜散編碼技術中的除留余數法實現CMAC的的實際映射。設雜湊表長為實際映射。設雜湊表長為m，以元素值，以元素值s(k)+i除以某除以某數數N（N=m）后所得余數）后所得余數+1作為雜湊地址，實現了作為雜湊地址，實現了實際映射，即實際映射，即 1MOD N)i (s(k)iad其中其中。在仿真中，取在仿真中，取M=100，N=7，取泛化參數，取泛化

20、參數c=7, =1.5, =0.05。CMAC網絡逼近程序為網絡逼近程序為chap8_3.m。c,1,2,iiRiCiIiuiVi.jRjCjIjujVj1R1C1I1u1V1. . . .ijw對于對于HopfieldHopfield神經網絡第神經網絡第i i個神經元，采用微分方程個神經元，采用微分方程建立其輸入輸出關系，即：建立其輸入輸出關系，即： 其中其中 。 iiiiinjjijiiugvIRuvwdtduC1ni,.,2 , 1 sseesg11Tnuuu,.,21uTnvvv,.,V21TnIII,.,21I iiiiviiijjiijNvIdvvgRvvwEi01121若權值矩陣

21、若權值矩陣是對稱的（是對稱的（），則），則Wjiijww iiiiijiiijijiniiiNdtduCdtdvIRuvwdtdvtvvEdtdE1由于由于 , ,則則 iiugv iiiiiNdtdvdvvdgCdtdE21由于由于，雙曲函數是單調上升函數，顯然它的雙曲函數是單調上升函數，顯然它的反函數反函數 也為單調上升函數，即有也為單調上升函數，即有，則則可得到可得到，即能量函數，即能量函數具有負的梯度，當且具有負的梯度，當且僅當僅當時時,（ ）。）。0iC ivg1 01iidvvdg0dtdE0dtdvi0dtdENni,.,2 , 1NE 由此可見，隨著時間的演化，網絡的解在狀態(tài)空

22、間由此可見，隨著時間的演化，網絡的解在狀態(tài)空間中總是朝著能量中總是朝著能量E EN N減少的方向運動。網絡最終輸出向量減少的方向運動。網絡最終輸出向量V V為網絡的穩(wěn)定平衡點，即為網絡的穩(wěn)定平衡點，即E EN N的極小點。的極小點。8.4.2 基于Hopfield網絡的自適應控制 1. 系統(tǒng)描述系統(tǒng)描述 被控對象為一階系統(tǒng)：uJ即 其中 為轉動慣量， 為控制輸入，實際速度為 。uJn1Jun取速度指令為取速度指令為，將控制器設計為，將控制器設計為“P控制控制+前饋前饋控制控制”的形式：的形式：整理得：整理得：ddndfdpnknnku)(dfppdfdpnJkJknJknJknnJkn)(令

23、, , JK1pkF fpkkG則 dKGnKFnn其中其中F F和和G G為待定控制器參數，可采用為待定控制器參數，可采用HopfieldHopfield網絡進行辨識。網絡進行辨識。 2.基于基于Hopfield網絡的控制器優(yōu)化網絡的控制器優(yōu)化所采用的所采用的hopfield網絡結構如圖網絡結構如圖8-11所示。所示。ijw圖圖8-11Hopfield網絡結構網絡結構控制系統(tǒng)的能量函數取控制系統(tǒng)的能量函數取將將表達式代入上式并展開得：表達式代入上式并展開得：2)(21nnEddddddFGnnKKGnnKFnnGKnFKnE2222222222222121n取取Hopfield網絡輸出神經元

24、數為網絡輸出神經元數為2，假設輸入電阻無，假設輸入電阻無窮大，此時窮大，此時Hopfield網絡的標準能量函數為：網絡的標準能量函數為：21212121iiiijjiijNIvvvwE將 展開，得： NE2211222212212112211121IvIvvwvvwvvwvwEN令 ，得：GvFv21,21222211221121GIFIGwFGwFGwFwEN 當當Hopfield網絡處于平衡狀態(tài)時，能量函數最小，網絡處于平衡狀態(tài)時，能量函數最小，由網絡權值對稱得由網絡權值對稱得，此時，此時2112ww0FEFEN0GEGEN02221221112111211211IGwFwIGwGwFwF

25、EN022221222ddGnnKnKnFnKFE由上兩式得：由上兩式得：2211nKwdnnKww22112nKnId102221221222122222112IGwFwIGwFwFwGEN0222212222dddFnnkknGnkGE由上兩式得：由上兩式得：22dknI 2222dnkw連接權矩陣連接權矩陣 和外部輸入和外部輸入 如下：如下： WI222222dddnknnknnknkW2ddknnknI標準標準Hopfield網絡的動態(tài)方程為：網絡的動態(tài)方程為：injiijiiIvwdtduC1)(iiugv 取取 ，將所求的，將所求的 和和 代入上式得：代入上式得：0 . 1iCWI

26、12121111Ivwvwdtdu22221212Ivwvwdtdu取神經元輸出的非線性特性為雙曲函數，即取神經元輸出的非線性特性為雙曲函數，即其中其中。iiiiiiuuiiuiieeSSeSug1112)(0;2, 1iSi網絡實際輸出為：網絡實際輸出為：)(1ugF )(2ugG 由于由于，則，則112111SFSeu222122SGSeu122112121111121112221)(21111SFSSSFSFFSSeeSdudFuudtduSFSdtdududFdtdF112211112同理可得：同理可得：2222222SGSdudGdtduSGSdtdududGdtdG22222222

27、2 求解微分方程，可得到優(yōu)化后的求解微分方程，可得到優(yōu)化后的F、G，從而實現從而實現 和和 的整定。的整定。pkfk3仿真實例仿真實例被控對象為一階系統(tǒng)：被控對象為一階系統(tǒng)：uJ其中 ， 。 101J101JKHopfield網絡的自適應控制程序包括主程序網絡的自適應控制程序包括主程序chap8_4sim.mdl、控制器、控制器S函數程序函數程序chap8_4s.m、被控對象、被控對象S函數程序函數程序chap8_4plant.m和作圖程序和作圖程序chap8_4plot.m。8.4.2 Hopfield網絡線性系統(tǒng)參數辨識網絡線性系統(tǒng)參數辨識 在系統(tǒng)辨識中，直接采用在系統(tǒng)辨識中，直接采用Ho

28、pfield神經網絡對時域內動態(tài)系統(tǒng)實神經網絡對時域內動態(tài)系統(tǒng)實現參數估計是一種簡單而直接的動態(tài)系統(tǒng)辨識方法。該方法的特點現參數估計是一種簡單而直接的動態(tài)系統(tǒng)辨識方法。該方法的特點是根據是根據Hopfield神經網絡的動力學機制，使其神經元的輸出值對應是神經網絡的動力學機制，使其神經元的輸出值對應是待識參數識，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識參數辨識的過程。待識參數識，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識參數辨識的過程。利用利用Hopfield網絡進行辨識時，取所定義的辨識能量函數等于網絡進行辨識時，取所定義的辨識能量函數等于Hopfield網絡標準能量函數，通過網絡標準能量函數，通過Hopfield

29、神經網絡動態(tài)方程，得到神經網絡動態(tài)方程，得到Hopfield網絡的連接權矩陣和神經元的外部輸入，然后將其代入網絡的連接權矩陣和神經元的外部輸入，然后將其代入Hopfield網絡動態(tài)方程運行，經過一段時間后，可得到穩(wěn)定的參數辨網絡動態(tài)方程運行，經過一段時間后，可得到穩(wěn)定的參數辨識結果。識結果。1. 系統(tǒng)描述系統(tǒng)描述 設待辨識為二階線性系統(tǒng)的參數，系統(tǒng)的狀態(tài)方程為設待辨識為二階線性系統(tǒng)的參數，系統(tǒng)的狀態(tài)方程為uxAxB（8.38）其中其中、為待辨識的參數矩陣，取為待辨識的參數矩陣，取，且且狀態(tài)矢量，狀態(tài)矢量，是單個控制輸入。是單個控制輸入。則二階線性系統(tǒng)的參數的辨識過程就是向量則二階線性系統(tǒng)的參數

30、的辨識過程就是向量的辨識過程。的辨識過程。ABT111221222122AAAABBPx12TxxxuP2. 參數辨識基本原理參數辨識基本原理 用于辨識的可調系統(tǒng)為用于辨識的可調系統(tǒng)為（8.39）puxFxG 其中其中 ， ，取，取 。 11122122aaaaF12bbGT111221222122aaaabbV 用由式（用由式（8.38）和式（）和式（8.39）得：）得：ueAF xBG（8.40） 其中其中 為狀態(tài)偏差。為狀態(tài)偏差。 epexx（8.41） 用由于用由于 與線性無關，則當與線性無關，則當 時，時， ， ，從而實，從而實現現 。 x0e FAGBVP3. HopfieldHo

31、pfield網絡網絡辨識能量函數的設計辨識能量函數的設計為了實現為了實現，選擇基于狀態(tài)偏差變化率的參數辨識能量函數為：，選擇基于狀態(tài)偏差變化率的參數辨識能量函數為：0e T12E e e （8.42） 由于由于 TTTTTTTTTTTTTTTTTuuuuuuuu e exFxGxFxGx xx Fxx Gx F xx F Fxx F GG xG FxG G 即即 TTTTTTTTTTTTTTTTTTTTTTTTTTTTTT121 2Euuuuuuuuuuuux xx Fxx Gx F xx F Fxx F GG xG FxG Gx xx F FxG Gx F GG Fxx Fxx F xx G

32、G x （8.43） 其中各項可表達為式（其中各項可表達為式（8.44）式（式（8.49）：）： T2212xxx x （8.44）111211112TT121222212222222222211 111 122121 122212111 121212221221222222222222111 221314 3211 212223 41242xaaaaxxaaaaxa xa a x xa xa a x xa a x xa xa a x xa xv xv v x xv xv v x xv v x xv xv v x xv xx F Fx（8.45）TT2222221256uubbuvvuG G（

33、8.46） 由于由于 ，則則 11121TTTT1211 1 112 1221 2 122 2212222baauuxxua b xa b xa b xa b xuaabx F GG FxTTTT11 1 112 1221 2122221 5 12 523 614 6222uua b xa b xa b xa b xuv v xv v xv v xv v xux F GG Fx（8.47）TTTT11 1 112122121222222 a x xa x xa x xa x x x Fxx F xx Fx（8.48）TTTT1 12222uuub xb xu x GG xx G（8.50） 在

34、式（在式（8.43）中，取，其中取的前）中，取，其中取的前5項，取的后項，取的后2項，則有項，則有TTTTTTTTT1222222222212111 221314 3211 212223 41242222561 5 12 523 614 62121 22Euuuuxxv xv v x xv xv v x xv v x xv xv v x xv xvvuv v xv v xv v xv v xux xx F FxG Gx F GG Fx （8.49）TTTTTT211 1 11212212122221 1221 1 12123214225 1621122 Euua x xa x xa x xa

35、x xb xub x uv x xv x xv x xv x xv xuv x u x Fxx F xx GG x（8.51）4. 用于辨識的用于辨識的HopfieldHopfield網絡設計網絡設計 Hopfield網絡能量函數趨于極小的過程，就是估計矩陣網絡能量函數趨于極小的過程，就是估計矩陣和和收斂于實收斂于實際矩陣際矩陣和和的過程。通過構建一個具體的的過程。通過構建一個具體的Hopfield網絡，可進行參數辨網絡，可進行參數辨識。識。Hopfield神經網絡第個神經元的動態(tài)微分方程為：神經網絡第個神經元的動態(tài)微分方程為：GFAB 1ddniiiijjijiiiuuCw vItRvg u

36、（8.52） 其中其中 ， 11uueg ue0 假定假定Hopfield神經元由理想放大器構成，即神經元由理想放大器構成，即，同時取，同時取，則，則Hopfield神經網絡動態(tài)方程變?yōu)椋荷窠浘W絡動態(tài)方程變?yōu)椋篿R 1iC ddiijjiiuw vtI（8.53） Hopfield網絡的標準能量函數為：網絡的標準能量函數為： 1N0112ivijijiiiijiiiEw vvgv dvI vR （8.54） 由于由于，取，取Hopfield網絡的輸出對應待辨識參數，網絡的輸出對應待辨識參數，即即，則，則R T111221222122aaaabbVN12ijijiiijiEw vvI v （8.

37、55） 由式（由式（8.53）和式（）和式（8.55）可以看出如下關系成立：）可以看出如下關系成立：NijjiiiEw vv I 利用利用Hopfield網絡進行辨識時，取所定義的辨識能量函數與網絡進行辨識時，取所定義的辨識能量函數與Hopfield網網絡標準能量函數相等，即絡標準能量函數相等，即，則由上式可得：，則由上式可得：NEEijjiiiEw vv I 由根據函數對向量求導的定義，有由根據函數對向量求導的定義，有111666d djjijjiEw vvIEEIw vv WVIV（8.56） 由于由于，則有，則有12EEE12ddddddEEE WVIVVV（8.57） 由于由于1211

38、1221 12212125 1221211 121233124412551266222d1d2EEvvEEv xv x xv x xv xuvvv x xv x xvEEvvEEEvvEEvvEEvvV1 1222521223 142141261212223213 1242622151 1222263 14221 12125 11 12222222222222x xxv x ux xv xv x xv x xv xux xx xv x xv x xv xv x uxuv uv xuv x ux uv uv xuv x uv xv x xv xuv x xv21 1112122252212122

39、223 141261121121222221223 1242622151 1222263 142000000000000 x xxx xxuxv x ux xx xxx uv xv x xv xux xxx xxux xx xxx uv x xv xv x uuxuv uv xuv x uuxv uv xuv x u11 12213124222511222126000000vx xvx xvx xvx xvuxxuxuuxuxuxuv 對比式（對比式（8.57）和式（）和式（8.58），可將網絡得權值表示為：），可將網絡得權值表示為：211212212221121221222122120000

40、00000000000000 xx xxux xxx uxx xxux xxx uuxuxuuxuxu W1 121122212x xx xx xx xuxuxI（8.59） 由式（由式（8.59）的和代入（）的和代入（8.53）式，可得到穩(wěn)定的）式，可得到穩(wěn)定的，通過，通過，可得到網絡最終辨識結果的輸出：，可得到網絡最終辨識結果的輸出：iu g 1()g uF2()g uG（8.60） 需要說明的是，上述求權值和的過程過于煩瑣，可借助需要說明的是，上述求權值和的過程過于煩瑣，可借助MATLAB的符的符號編程方法實現求權值號編程方法實現求權值和和的過程。具體方法為：根據式（的過程。具體方法為：

41、根據式（8.56），首），首先通過先通過MATLAB函數函數實現，然后通過實現，然后通過MATLAB函數函數實現實現，最后通過式（，最后通過式（8.57）實現）實現，并采用函數，并采用函數實現實現的的化簡。由仿真結果可見，由符號編程方法求解的權值化簡。由仿真結果可見，由符號編程方法求解的權值和和與式（與式（8.59）相同。符號運算求解權值仿真程序見相同。符號運算求解權值仿真程序見chap8_4juzhen.m。有了權值和，求解動態(tài)微分方程式（有了權值和，求解動態(tài)微分方程式（8.52），便可得到最終的辨識結），便可得到最終的辨識結果果。WIdiff,E VddEVddiff,dEVVI simp

42、lify IIWIV5. 仿真實例仿真實例 針對二階系統(tǒng)進行參數辨識。系統(tǒng)的狀態(tài)方程為：針對二階系統(tǒng)進行參數辨識。系統(tǒng)的狀態(tài)方程為：uxAxB Hopfield網絡的輸出對應待辨識參數，網絡的輸出對應待辨識參數，Hopfield網絡權值和初值取零。網絡權值和初值取零。 在仿真程序中，取在仿真程序中，取，和和為常數矩陣，為常數矩陣，取，取，。經。經過一段時間的仿真運行后，辨識參數的結果為過一段時間的仿真運行后，辨識參數的結果為1M AB01025A0133BTT111221222122010250133AAAABBP8005.0T-0.00031.00380.0060-24.9962-0.027

43、3133.0231V 在仿真程序中，取在仿真程序中，取，和和為時變系數矩陣，為時變系數矩陣，。取。取，參數辨識過程的仿真結果如圖，參數辨識過程的仿真結果如圖8-11和圖和圖8-12所示。所示。2M AB011+0.1sin 0.5 t025A01+0.1sin 0.2 t133B8005.002468101214161820-0.500.51t/sA11 identification02468101214161820012t/sA12 identification02468101214161820-1000100t/sA21 identification02468101214161820-20

44、0-1000100t/sA22 identification02468101214161820-1-0.500.51t/sB1 identification02468101214161820-1000100200300t/sB2 identification 圖圖8-11矩陣中各參數的辨識結果矩陣中各參數的辨識結果 圖圖8-12矩陣中各參數的辨識結果矩陣中各參數的辨識結果8.5 基于基于Hopfield網絡的路徑優(yōu)化網絡的路徑優(yōu)化在旅行商問題（在旅行商問題（TravelingSalesmanProblem，簡稱，簡稱TSP）可描述）可描述為：已知個城市之間的相互距離，現有一推銷員必須遍訪這個城

45、市，為：已知個城市之間的相互距離，現有一推銷員必須遍訪這個城市，并且每個城市只能訪問一次，最后又必須返回出發(fā)城市。并且對如并且每個城市只能訪問一次，最后又必須返回出發(fā)城市。并且對如何安排他對這些城市的訪問次序，使其旅行路線總長度最短。何安排他對這些城市的訪問次序，使其旅行路線總長度最短。旅行商問題是一個典型的組合優(yōu)化問題，其可能的路徑數目與城市旅行商問題是一個典型的組合優(yōu)化問題，其可能的路徑數目與城市數目呈指數型增長的，一般很難精確的求出其最優(yōu)解，因而尋找其數目呈指數型增長的，一般很難精確的求出其最優(yōu)解，因而尋找其有效的近似求解算法具有重要的理論意義。另一方面，很多實際應有效的近似求解算法具有

46、重要的理論意義。另一方面，很多實際應用問題，經過簡化處理后，均可化為旅行商問題，因而對旅行商問用問題，經過簡化處理后，均可化為旅行商問題，因而對旅行商問8.5.1 旅行商問題的描述旅行商問題的描述題求解方法的研究具有重要的應用價值題求解方法的研究具有重要的應用價值旅行商問題是一個典型的組合優(yōu)化問題，特別是當的數目很大時，用旅行商問題是一個典型的組合優(yōu)化問題，特別是當的數目很大時，用常規(guī)的方法求解計算量太大。對龐大的搜索空間中尋求最優(yōu)解，對于常規(guī)的方法求解計算量太大。對龐大的搜索空間中尋求最優(yōu)解，對于常規(guī)方法和現有的計算工具而言，存在著諸多的計算困難。使用常規(guī)方法和現有的計算工具而言，存在著諸多

47、的計算困難。使用Hopfield網絡的優(yōu)化能力可以很容易地解決這類問題。網絡的優(yōu)化能力可以很容易地解決這類問題。Hopfield等等1采用神經網絡求得經典組合優(yōu)化問題（采用神經網絡求得經典組合優(yōu)化問題（TSP）的最優(yōu)解，）的最優(yōu)解，開創(chuàng)了優(yōu)化問題求解的新方法。開創(chuàng)了優(yōu)化問題求解的新方法。 TSP問題是在一個城市集合 中找出一個最短且經過每個城市各一次并回到起點的路徑。為了將TSP問題映射為一個神經網絡的動態(tài)過程，Hopfield采取了換位矩陣的表示方法，用 矩陣表示商人訪問 個城市。例如，有四個城市 ，訪問路線是 ： ， 則Hopfield網絡輸出所代表的有效解用下面的二維矩陣表8-1來表示：

48、8.5.2 求解求解TSP問題的問題的Hopfield網絡設計網絡設計 cccA ,B ,C NNNccccA ,B ,C ,DcccccDACBD表表8-1 四個城市的訪問路線四個城市的訪問路線 cAcBcCcD 次 序城 市12340100000100101000 表表8-1構成了一個的矩陣，該矩陣中，各行各列只有一個元素為構成了一個的矩陣，該矩陣中，各行各列只有一個元素為1，其余為其余為0，否則是一個無效的路徑。采用，否則是一個無效的路徑。采用 表示神經元表示神經元 的輸出，的輸出，相應的輸入用相應的輸入用 表示。如果城市表示。如果城市 在在 位置上被訪問，則位置上被訪問，則 ，否，否則

49、則 。 針對針對TSP問題，問題，Hopfield定義了如下形式的能量函數定義了如下形式的能量函數1：xiV, x ixiUxi1xiV 0 xiV 111112,1,111111AB22CD 22NNNNNNxixjxiyjxijixyxNNNNNxixyxiy iy ixixyiEV VV VVNd VVV （8.61）式中，式中，A.B.C.D是權值，是權值， 表示城市表示城市 到城市到城市 之間的距離。之間的距離。 xydxy 式（式（8.61）中，）中，E的前三項是問題的約束項，最后一項是優(yōu)化目標的前三項是問題的約束項，最后一項是優(yōu)化目標項項,E的第一項為保證矩陣的第一項為保證矩陣V

50、的每一行不多于一個的每一行不多于一個1時時E最?。疵總€城最小（即每個城市只去一次），市只去一次），E的第二項保證矩陣的每一列不多于一個的第二項保證矩陣的每一列不多于一個1時時E最小最?。疵看沃辉L問一城市），（即每次只訪問一城市），E的第三項保證矩陣的第三項保證矩陣V中中1的個數恰好為的個數恰好為N時時E最小。最小。 Hopfield將能量函數的概念引入神經網絡，開創(chuàng)了求解優(yōu)化問題的將能量函數的概念引入神經網絡，開創(chuàng)了求解優(yōu)化問題的新方法。但該方法在求解上存在局部極小、不穩(wěn)定等問題。為此，文新方法。但該方法在求解上存在局部極小、不穩(wěn)定等問題。為此，文獻獻2將將TSP的能量函數定義為：的能量函數定義為：22,11111111AAD11222NNNNNNNxixixixyy ixiixxyiEVVV d V （8.62）取式取式（8.62），HopfieldHopfield網絡的動態(tài)方程為：網絡的動態(tài)方程為： 采用Hopfield網絡求解TSP問題的算法描述如下：(1) 置初值， , ， , ；(2) 計算N個城市之間的距離 ；(3) 神經網絡輸入 的