智能控制第二版演示chap8課件

第8章高級(jí)神經(jīng)網(wǎng)絡(luò)第8章高級(jí)神經(jīng)網(wǎng)絡(luò)18.1模糊RBF網(wǎng)絡(luò)在模糊系統(tǒng)中，模糊集、隸屬度函數(shù)和模糊規(guī)則的設(shè)計(jì)是建立在經(jīng)驗(yàn)知識(shí)基礎(chǔ)上的。這種設(shè)計(jì)方法存在很大的主觀性。將學(xué)習(xí)機(jī)制引到模糊系統(tǒng)中，使模糊系統(tǒng)能夠通過不斷學(xué)習(xí)來修改和完善隸屬函數(shù)和模糊規(guī)則，是模糊系統(tǒng)的發(fā)展方向。

8.1模糊RBF網(wǎng)絡(luò)2模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是模糊系統(tǒng)的實(shí)現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)又具有神經(jīng)網(wǎng)絡(luò)的特性。神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的比較見表8-1。模糊神經(jīng)網(wǎng)絡(luò)充分地利用了神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)各自的優(yōu)點(diǎn)，因而受到了重視。模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，其聯(lián)3

模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)獲取知識(shí)專家經(jīng)驗(yàn)算法實(shí)例推理機(jī)制啟發(fā)式搜索并行計(jì)算推理速度低高容錯(cuò)性低非常高學(xué)習(xí)機(jī)制歸納調(diào)整權(quán)值自然語言實(shí)現(xiàn)明確的不明顯自然語言靈活性高低表8-1模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的比較

模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)獲取知識(shí)專家經(jīng)驗(yàn)算法實(shí)例推理機(jī)制啟發(fā)式搜索4將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力引到模糊系統(tǒng)中，將模糊系統(tǒng)的模糊化處理、模糊推理、精確化計(jì)算通過分布式的神經(jīng)網(wǎng)絡(luò)來表示是實(shí)現(xiàn)模糊系統(tǒng)自組織、自學(xué)習(xí)的重要途徑。在模糊神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)用來表示模糊系統(tǒng)的輸入、輸出信號(hào)，神經(jīng)網(wǎng)絡(luò)的隱含節(jié)點(diǎn)用來表示隸屬函數(shù)和模糊規(guī)則，利用神經(jīng)網(wǎng)絡(luò)的并行處理能力使得模糊系統(tǒng)的推理能力大大提高。將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力引到模糊系統(tǒng)中，將模糊系5

模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦予模糊輸入信號(hào)和模糊權(quán)值，其學(xué)習(xí)算法通常是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法或其推廣。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)獲得了廣泛的應(yīng)用，當(dāng)前的應(yīng)用主要集中在以下幾個(gè)領(lǐng)域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊矩陣方程、模糊建模和模糊模式識(shí)別。模糊神經(jīng)網(wǎng)絡(luò)是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合而構(gòu)成的網(wǎng)絡(luò)。利用RBF網(wǎng)絡(luò)與模糊系統(tǒng)相結(jié)合，構(gòu)成了模糊RBF網(wǎng)絡(luò)。

模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦予模68.1.

1網(wǎng)絡(luò)結(jié)構(gòu)

采用圖8-1所示的模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其模糊推理系統(tǒng)主要由輸入層、模糊化層、模糊相聯(lián)層、模糊后相連層和輸出層構(gòu)成。8.1.

1網(wǎng)絡(luò)結(jié)構(gòu)7

輸出層(o)模糊推理層(k)模糊化層(j)輸入層(i)圖8-1模糊RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸出層(o)模糊推理層(k)模糊化層(j)輸入層(i)圖88

模糊RBF網(wǎng)絡(luò)中信號(hào)傳播及各層的功能表示如下：第一層：輸入層該層的各個(gè)節(jié)點(diǎn)直接與輸入量的各個(gè)分量連接，將輸入量傳到下一層。對(duì)該層的每個(gè)節(jié)點(diǎn)i的輸入輸出表示為：模糊RBF網(wǎng)絡(luò)中信號(hào)傳播及各層的功能表示如下：9第二層：隸屬函數(shù)層，即模糊化層該層的每個(gè)節(jié)點(diǎn)具有隸屬函數(shù)的功能，采用高斯函數(shù)作為隸屬函數(shù)。對(duì)第j個(gè)節(jié)點(diǎn)：其中和分別是第i個(gè)輸入變量的第j個(gè)模糊集合高斯函數(shù)的均值和標(biāo)準(zhǔn)差。第二層：隸屬函數(shù)層，即模糊化層10第三層：規(guī)則層，即模糊推理層該層通過與模糊化層的連接來完成模糊規(guī)則的匹配，各個(gè)節(jié)點(diǎn)之間實(shí)現(xiàn)模糊運(yùn)算，即通過各個(gè)模糊節(jié)點(diǎn)的組合得到相應(yīng)的點(diǎn)火強(qiáng)度。每個(gè)節(jié)點(diǎn)j的輸出為該節(jié)點(diǎn)所有輸入信號(hào)的乘積，即其中為輸入層中第i個(gè)輸入隸屬函數(shù)的個(gè)數(shù)，即模糊化層節(jié)點(diǎn)數(shù)。第三層：規(guī)則層，即模糊推理層其中為輸入層中第i個(gè)11,

第四層：輸出層該層的每個(gè)節(jié)點(diǎn)的輸出為該節(jié)點(diǎn)所有輸入信號(hào)的加權(quán)和，即其中l(wèi)為輸出層節(jié)點(diǎn)的個(gè)數(shù)，W為輸出節(jié)點(diǎn)與第三層各節(jié)點(diǎn)的連接權(quán)矩陣。

,第四層：輸出層12

在此模糊神經(jīng)網(wǎng)絡(luò)中，可調(diào)參數(shù)有三類：一類為規(guī)則的權(quán)系數(shù)；第二類和第三類為高斯函數(shù)的均值和標(biāo)準(zhǔn)差，即輸入隸屬函數(shù)的參數(shù)。8.1.2基于模糊RBF網(wǎng)絡(luò)的逼近算法采用模糊RBF網(wǎng)絡(luò)逼近對(duì)象，取網(wǎng)絡(luò)結(jié)構(gòu)為2-4-1，如圖8-2所示。在此模糊神經(jīng)網(wǎng)絡(luò)中，可調(diào)參數(shù)有三類：一類為規(guī)則的權(quán)系13圖8-2模糊RBF神經(jīng)網(wǎng)絡(luò)逼近圖8-2模糊RBF神經(jīng)網(wǎng)絡(luò)逼近14取，和分別表示網(wǎng)絡(luò)輸出和理想輸出。網(wǎng)絡(luò)的輸入為u(k)和y(k)，網(wǎng)絡(luò)的輸出為，則網(wǎng)絡(luò)逼近誤差為：采用梯度下降法來修正可調(diào)參數(shù)，定義目標(biāo)函數(shù)為：

取，15

網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

輸出層的權(quán)值通過如下方式來調(diào)整:

則輸出層的權(quán)值學(xué)習(xí)算法為：其中為學(xué)習(xí)速率，為動(dòng)量因子。

網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

輸出層的權(quán)值16輸入隸屬函數(shù)參數(shù)修正算法為：其中

輸入隸屬函數(shù)參數(shù)修正算法為：其中17隸屬函數(shù)參數(shù)學(xué)習(xí)算法為：隸屬函數(shù)參數(shù)學(xué)習(xí)算法為：188.1.3仿真實(shí)例使用模糊RBF網(wǎng)絡(luò)逼近對(duì)象：其中采樣時(shí)間為1ms。

模糊RBF網(wǎng)絡(luò)逼近程序見chap8_1.m。

8.1.3仿真實(shí)例使用模糊RBF網(wǎng)絡(luò)逼近對(duì)象：198.2Pi-Sigma神經(jīng)網(wǎng)絡(luò)

神經(jīng)模糊建模是近年來基于模糊集理論發(fā)展起來的一種新的方法。模糊建模技術(shù)缺點(diǎn)是過分地依賴隸屬函數(shù)的準(zhǔn)確性。采用高木-關(guān)野模糊系統(tǒng)，用一種混合型的pi-sigma神經(jīng)網(wǎng)絡(luò)，可以建立一種自適應(yīng)能力很強(qiáng)的模糊模型。這種模型不但實(shí)現(xiàn)了模糊模型的自動(dòng)更新，而且能不斷修正各模糊子集的隸屬函數(shù)，使模糊建模更具合理性。8.2Pi-Sigma神經(jīng)網(wǎng)絡(luò)

20

8.2.1

高木-關(guān)野模糊系統(tǒng)在高木-關(guān)野模糊系統(tǒng)中，高木和關(guān)野用以下“”規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：

：Ifis，is，

…

，isthen

：Ifis，is21

對(duì)于輸入向量，高木-關(guān)野模糊系統(tǒng)的各規(guī)則輸出等于各的加權(quán)平均：

式中，加權(quán)系數(shù)包括了規(guī)則作用于輸入所取得的值。

對(duì)于輸入向量，高木-關(guān)野模糊系統(tǒng)的各規(guī)則輸出228.2.2混合型pi-sigma神經(jīng)網(wǎng)絡(luò)

常規(guī)的前向型神經(jīng)網(wǎng)絡(luò)含有求和節(jié)點(diǎn)，這給處理某些復(fù)雜問題帶來了困難。一種基于混合型pi-sigma神經(jīng)網(wǎng)絡(luò)模型如圖8-5所示，在該網(wǎng)絡(luò)中，輸入神經(jīng)元有4個(gè)，S、P和·分別表示相加、相乘和相乘運(yùn)算。8.2.2混合型pi-sigma神經(jīng)網(wǎng)絡(luò)23圖8-5具有4個(gè)輸入的混合型pi-sigma神經(jīng)網(wǎng)絡(luò)圖8-5具有4個(gè)輸入的混合型pi-sigma神經(jīng)網(wǎng)絡(luò)24

顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木-關(guān)野模糊系統(tǒng)。采用該網(wǎng)絡(luò)實(shí)現(xiàn)的模糊系統(tǒng)可方便地在線修正隸屬函數(shù)和參數(shù)，適合于復(fù)雜系統(tǒng)的模糊預(yù)測(cè)和控制。為方便神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，各模糊子集的隸屬函數(shù)均取高斯型，即：

網(wǎng)絡(luò)的輸出為：

顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木-關(guān)野模糊系統(tǒng)。采用25混合型pi-sigma神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：假設(shè)網(wǎng)絡(luò)的期望輸出為定義代價(jià)函數(shù)：

根據(jù)梯度下降法有：

混合型pi-sigma神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：根據(jù)梯度下降法有：26其中

其中。

其中其中。27對(duì)有：

其中

對(duì)有：其中28智能控制第二版演示chap8課件29其中α、β為學(xué)習(xí)速率。

其中α、β為學(xué)習(xí)速率。308.2.3仿真實(shí)例使用混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近對(duì)象：混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近程序見chap8_2.m

8.2.3仿真實(shí)例混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近程序318.3小腦模型神經(jīng)網(wǎng)絡(luò)8.3.

1CMAC概述

小腦模型神經(jīng)網(wǎng)絡(luò)（CMAC-CerebellarModelArticulationController）是一種表達(dá)復(fù)雜非線性函數(shù)的表格查詢型自適應(yīng)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可通過學(xué)習(xí)算法改變表格的內(nèi)容，具有信息分類存儲(chǔ)的能力。8.3小腦模型神經(jīng)網(wǎng)絡(luò)32

CMAC已被公認(rèn)為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組成部分，能夠?qū)W習(xí)任意多維非線性映射，CMAC算法被證明可有效地用于非線性函數(shù)逼近、動(dòng)態(tài)建模、控制系統(tǒng)設(shè)計(jì)等。CMAC比其它神經(jīng)網(wǎng)絡(luò)的優(yōu)越性體現(xiàn)在：（1）小腦模型是基于局部學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它把信息存儲(chǔ)在局部結(jié)構(gòu)上，使每次修正的權(quán)極少，在保證函數(shù)非線性逼近性能的前提下，學(xué)習(xí)速度快，適合于實(shí)時(shí)控制；（2）具有一定的泛化能力，即所謂相近輸入產(chǎn)生相近輸出，不同輸入給出不同輸出；CMAC已被公認(rèn)為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組成33(3)

具有連續(xù)（模擬）輸入輸出能力；(4)

采用尋址編程方式，在利用串行計(jì)算機(jī)仿真時(shí)，它將使響應(yīng)速度加快；(5)

CMAC函數(shù)非線性逼近器對(duì)學(xué)習(xí)數(shù)據(jù)出現(xiàn)的次序不敏感。由于CMAC所具有的上述優(yōu)越性能，使它比一般神經(jīng)網(wǎng)絡(luò)具有更好的非線性逼近能力，更適合于復(fù)雜動(dòng)態(tài)環(huán)境下非線性實(shí)時(shí)控制的要求。CMAC神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖8-8所示。(3)

具有連續(xù)（模擬）輸入輸出能力；34圖8-8CMAC神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖8-8CMAC神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)358.3.2一種典型CMAC算法CMAC網(wǎng)絡(luò)由輸入層，中間層和輸出層組成。在輸入層與中間層、中間層與輸出層之間分別為由設(shè)計(jì)者預(yù)先確定的輸入層非線性映射和輸出層權(quán)值自適應(yīng)性線性映射。CMAC神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入空間的化分、輸入層至輸出層非線性映射的實(shí)現(xiàn)及輸出層權(quán)值學(xué)習(xí)算法。8.3.2一種典型CMAC算法36

CMAC是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)系由以下兩個(gè)基本映射實(shí)現(xiàn)。

（1）概念映射（UAC）概念映射是從輸入空間U至概念存儲(chǔ)器AC的映射。設(shè)輸入空間向量為，量化編碼為，輸入空間映射至AC中c個(gè)存儲(chǔ)單元（c為二進(jìn)制非零單元的數(shù)目）。CMAC是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)系37采用下式表示映射后的向量：Rp=S([up])=[s1(up),s2(up),…,sc(up)]T式中sj([up])=1,j=1,2,…,c映射原則為：在輸入空間鄰近的兩個(gè)點(diǎn)，在AC中有部分的重疊單元被激勵(lì)。距離越近，重疊越多；距離越遠(yuǎn)的點(diǎn)，在AC中不重疊，這稱為局域泛化，c為泛化常數(shù)。采用下式表示映射后的向量：38（2）實(shí)際映射（ACAP）實(shí)際映射是由概念存儲(chǔ)器AC中的c個(gè)單元，用雜散編碼技術(shù)映射至實(shí)際存儲(chǔ)器AP的c個(gè)單元，c個(gè)單元中存放著相應(yīng)權(quán)值。網(wǎng)絡(luò)的輸出為AP中c個(gè)單元的權(quán)值的和。只考慮單輸出：即（2）實(shí)際映射（ACAP）39

CMAC采用的學(xué)習(xí)算法如下：采用δ學(xué)習(xí)規(guī)則調(diào)整權(quán)值，權(quán)值調(diào)整指標(biāo)為

其中。

由梯度下降法，權(quán)值按下式調(diào)整：

CMAC采用的學(xué)習(xí)算法如下：其中40其中為慣性系數(shù)。

其中為慣性系數(shù)。418.3.3仿真實(shí)例采用CMAC網(wǎng)絡(luò)逼近非線性對(duì)象：

取u(k)作為網(wǎng)絡(luò)的輸入，采用線性化函數(shù)對(duì)輸入狀態(tài)進(jìn)行量化，實(shí)現(xiàn)CMAC的概念映射：8.3.3仿真實(shí)例采用CMAC網(wǎng)絡(luò)逼近非線性對(duì)象：取u42其中xmin和xmax輸入的最大最小值，M為xmax量化后所對(duì)應(yīng)的最大值，round()為四舍五入的Matlab函數(shù)。

采用雜散編碼技術(shù)中的除留余數(shù)法實(shí)現(xiàn)CMAC的實(shí)際映射。設(shè)雜湊表長為m，以元素值s(k)+i除以某數(shù)N（N<=m）后所得余數(shù)+1作為雜湊地址，實(shí)現(xiàn)了實(shí)際映射，即其中xmin和xmax輸入的最大最小值，M為xmax量化后所43其中。在仿真中，取M=100，N=7，取泛化參數(shù)c=7,=1.5,=0.05。CMAC網(wǎng)絡(luò)逼近程序?yàn)閏hap8_3.m。

其中。448.4Hopfield神經(jīng)網(wǎng)絡(luò)8.4.1Hopfield網(wǎng)絡(luò)原理

1986年美國物理學(xué)家J.J.Hopfield利用非線性動(dòng)力學(xué)系統(tǒng)理論中的能量函數(shù)方法研究反饋人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，提出了Hopfield神經(jīng)網(wǎng)絡(luò)，并建立了求解優(yōu)化計(jì)算問題的方程。8.4Hopfield神經(jīng)網(wǎng)絡(luò)45

基本的Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)，Hopfield網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過來的信息。Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元在時(shí)刻的輸出狀態(tài)實(shí)際上間接地與自己的時(shí)刻的輸出狀態(tài)有關(guān)?；镜腍opfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成46

反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)，當(dāng)網(wǎng)絡(luò)達(dá)47

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。Hopfield神經(jīng)網(wǎng)絡(luò)模型是由一系列互聯(lián)的神經(jīng)單元組成的反饋型網(wǎng)絡(luò)，如圖8-10所示。

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，48圖8-10Hopfield網(wǎng)絡(luò)模型圖8-10Hopfield網(wǎng)絡(luò)模型49

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把50對(duì)于Hopfield神經(jīng)網(wǎng)絡(luò)第i個(gè)神經(jīng)元，采用微分方程建立其輸入輸出關(guān)系，即：

其中。對(duì)于Hopfield神經(jīng)網(wǎng)絡(luò)第i個(gè)神經(jīng)元，采用微分方程建立其51其中g(shù)(?)為雙曲函數(shù)，一般取為：

為n個(gè)神經(jīng)元的網(wǎng)絡(luò)狀態(tài)向量；

為網(wǎng)絡(luò)的輸出向量；

為網(wǎng)絡(luò)的輸入向量。其中g(shù)(?)為雙曲函數(shù)，一般取為：52

定義Hopfield網(wǎng)絡(luò)的Lyapunov能量函數(shù)為若權(quán)值矩陣是對(duì)稱的（），則定義Hopfield網(wǎng)絡(luò)的Lyapunov能量函數(shù)為53由于,則

由于，雙曲函數(shù)是單調(diào)上升函數(shù)，顯然它的反函數(shù)也為單調(diào)上升函數(shù)，即有，則可得到，即能量函數(shù)具有負(fù)的梯度，當(dāng)且僅當(dāng)時(shí),（）。由于,則由于，雙曲54

由此可見，隨著時(shí)間的演化，網(wǎng)絡(luò)的解在狀態(tài)空間中總是朝著能量EN減少的方向運(yùn)動(dòng)。網(wǎng)絡(luò)最終輸出向量V為網(wǎng)絡(luò)的穩(wěn)定平衡點(diǎn)，即EN的極小點(diǎn)。Hopfield網(wǎng)絡(luò)在優(yōu)化計(jì)算中得到成功應(yīng)用，有效地解決了著名的旅行推銷商問題（TSP問題），另外，它在智能控制和系統(tǒng)辨識(shí)中也有廣泛應(yīng)用。由此可見，隨著時(shí)間的演化，網(wǎng)絡(luò)的解在狀態(tài)空間中總是朝著能558.4.2基于Hopfield網(wǎng)絡(luò)的自適應(yīng)控制

1.系統(tǒng)描述被控對(duì)象為一階系統(tǒng)：即

其中為轉(zhuǎn)動(dòng)慣量，為控制輸入，實(shí)際速度為。8.4.2基于Hopfield網(wǎng)絡(luò)的自適應(yīng)控制1.系56取速度指令為，將控制器設(shè)計(jì)為“P控制+前饋控制”的形式：

整理得：令,,則其中F和G為待定控制器參數(shù)，可采用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)。

取速度指令為，將控制器設(shè)計(jì)為“P控制+前饋控572.基于Hopfield網(wǎng)絡(luò)的控制器優(yōu)化所采用的hopfield網(wǎng)絡(luò)結(jié)構(gòu)如圖8-11所示。圖8-11Hopfield網(wǎng)絡(luò)結(jié)構(gòu)2.基于Hopfield網(wǎng)絡(luò)的控制器優(yōu)化圖8-11Ho58控制系統(tǒng)的能量函數(shù)取將表達(dá)式代入上式并展開得：

取Hopfield網(wǎng)絡(luò)輸出神經(jīng)元數(shù)為2，假設(shè)輸入電阻無窮大，此時(shí)Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：控制系統(tǒng)的能量函數(shù)取取Hopfield網(wǎng)絡(luò)輸出神經(jīng)元數(shù)59將展開，得：

令，得：

當(dāng)Hopfield網(wǎng)絡(luò)處于平衡狀態(tài)時(shí)，能量函數(shù)最小，由網(wǎng)絡(luò)權(quán)值對(duì)稱得，此時(shí)將展開，得：令60由上兩式得：

由上兩式得：61由上兩式得：連接權(quán)矩陣和外部輸入如下：

由上兩式得：連接權(quán)矩陣和外部輸入如下：62標(biāo)準(zhǔn)Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：

取，將所求的和代入上式得：

標(biāo)準(zhǔn)Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：取，將所求63取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即

其中。網(wǎng)絡(luò)實(shí)際輸出為：由于，，則取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即網(wǎng)絡(luò)實(shí)際輸出為：由于64同理可得：

求解微分方程，可得到優(yōu)化后的F、G，從而實(shí)現(xiàn)和的整定。

同理可得：求解微分方程，可得到優(yōu)化后的F、G，從而653仿真實(shí)例被控對(duì)象為一階系統(tǒng)：其中，。

Hopfield網(wǎng)絡(luò)的自適應(yīng)控制程序包括主程序chap8_4sim.mdl、控制器S函數(shù)程序chap8_4s.m、被控對(duì)象S函數(shù)程序chap8_4plant.m和作圖程序chap8_4plot.m。

3仿真實(shí)例其中，。668.4.2Hopfield網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識(shí)

在系統(tǒng)辨識(shí)中，直接采用Hopfield神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)域內(nèi)動(dòng)態(tài)系統(tǒng)實(shí)現(xiàn)參數(shù)估計(jì)是一種簡單而直接的動(dòng)態(tài)系統(tǒng)辨識(shí)方法。該方法的特點(diǎn)是根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)機(jī)制，使其神經(jīng)元的輸出值對(duì)應(yīng)是待識(shí)參數(shù)識(shí)，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識(shí)參數(shù)辨識(shí)的過程。利用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)時(shí)，取所定義的辨識(shí)能量函數(shù)等于Hopfield網(wǎng)絡(luò)標(biāo)準(zhǔn)能量函數(shù)，通過Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程，得到Hopfield網(wǎng)絡(luò)的連接權(quán)矩陣和神經(jīng)元的外部輸入，然后將其代入Hopfield網(wǎng)絡(luò)動(dòng)態(tài)方程運(yùn)行，經(jīng)過一段時(shí)間后，可得到穩(wěn)定的參數(shù)辨識(shí)結(jié)果。8.4.2Hopfield網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識(shí)671.系統(tǒng)描述設(shè)待辨識(shí)為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為（8.38）其中、為待辨識(shí)的參數(shù)矩陣，取，且狀態(tài)矢量，，是單個(gè)控制輸入。

則二階線性系統(tǒng)的參數(shù)的辨識(shí)過程就是向量的辨識(shí)過程。1.系統(tǒng)描述設(shè)待辨識(shí)為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀682.參數(shù)辨識(shí)基本原理用于辨識(shí)的可調(diào)系統(tǒng)為（8.39）其中，，取。用由式（8.38）和式（8.39）得：（8.40）其中為狀態(tài)偏差。

（8.41）用由于與線性無關(guān)，則當(dāng)時(shí)，，，從而實(shí)現(xiàn)。

2.參數(shù)辨識(shí)基本原理用于辨識(shí)的可調(diào)系統(tǒng)為（8.39693.Hopfield網(wǎng)絡(luò)辨識(shí)能量函數(shù)的設(shè)計(jì)為了實(shí)現(xiàn)，選擇基于狀態(tài)偏差變化率的參數(shù)辨識(shí)能量函數(shù)為：（8.42）由于

即

（8.43）其中各項(xiàng)可表達(dá)為式（8.44）~式（8.49）：

3.Hopfield網(wǎng)絡(luò)辨識(shí)能量函數(shù)的設(shè)計(jì)為了實(shí)現(xiàn)70（8.44）（8.45）（8.46）由于

，

則

（8.47）（8.44）（8.45）（8.46）由于71（8.48）（8.50）在式（8.43）中，取，其中取的前5項(xiàng)，取的后2項(xiàng)，則有（8.49）（8.51）（8.48）（8.50）在式（8.43）中，取，其中取的724.用于辨識(shí)的Hopfield網(wǎng)絡(luò)設(shè)計(jì)

Hopfield網(wǎng)絡(luò)能量函數(shù)趨于極小的過程，就是估計(jì)矩陣和收斂于實(shí)際矩陣和的過程。通過構(gòu)建一個(gè)具體的Hopfield網(wǎng)絡(luò)，可進(jìn)行參數(shù)辨識(shí)。

Hopfield神經(jīng)網(wǎng)絡(luò)第個(gè)神經(jīng)元的動(dòng)態(tài)微分方程為：（8.52）其中，

假定Hopfield神經(jīng)元由理想放大器構(gòu)成，即，同時(shí)取，則Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程變?yōu)椋海?.53）4.用于辨識(shí)的Hopfield網(wǎng)絡(luò)設(shè)計(jì)Hopfie73Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：（8.54）

由于，取Hopfield網(wǎng)絡(luò)的輸出對(duì)應(yīng)待辨識(shí)參數(shù)，

即，則（8.55）

由式（8.53）和式（8.55）可以看出如下關(guān)系成立：

利用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)時(shí)，取所定義的辨識(shí)能量函數(shù)與Hopfield網(wǎng)絡(luò)標(biāo)準(zhǔn)能量函數(shù)相等，即，則由上式可得：Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：（8.54）74

由根據(jù)函數(shù)對(duì)向量求導(dǎo)的定義，有（8.56）

由于，則有（8.57）由根據(jù)函數(shù)對(duì)向量求導(dǎo)的定義，有（8.56）由于75

由于由于76

對(duì)比式（8.57）和式（8.58），可將網(wǎng)絡(luò)得權(quán)值表示為：（8.59）

由式（8.59）的和代入（8.53）式，可得到穩(wěn)定的，通過雙曲函數(shù)，可得到網(wǎng)絡(luò)最終辨識(shí)結(jié)果的輸出：（8.60）對(duì)比式（8.57）和式（8.58），可將網(wǎng)絡(luò)得權(quán)值表示77

需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助MATLAB的符號(hào)編程方法實(shí)現(xiàn)求權(quán)值和的過程。具體方法為：根據(jù)式（8.56），首先通過MATLAB函數(shù)實(shí)現(xiàn)，然后通過MATLAB函數(shù)實(shí)現(xiàn)，最后通過式（8.57）實(shí)現(xiàn)，并采用函數(shù)實(shí)現(xiàn)的化簡。由仿真結(jié)果可見，由符號(hào)編程方法求解的權(quán)值和與式（8.59）相同。符號(hào)運(yùn)算求解權(quán)值仿真程序見chap8_4juzhen.m。

有了權(quán)值和，求解動(dòng)態(tài)微分方程式（8.52），便可得到最終的辨識(shí)結(jié)果。需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助M785.仿真實(shí)例

針對(duì)二階系統(tǒng)進(jìn)行參數(shù)辨識(shí)。系統(tǒng)的狀態(tài)方程為：

Hopfield網(wǎng)絡(luò)的輸出對(duì)應(yīng)待辨識(shí)參數(shù)，Hopfield網(wǎng)絡(luò)權(quán)值和初值取零。

在仿真程序中，取，和為常數(shù)矩陣，，，

，取，。經(jīng)過一段時(shí)間的仿真運(yùn)行后，辨識(shí)參數(shù)的結(jié)果為

在仿真程序中，取，和為時(shí)變系數(shù)矩陣，

。取，，參數(shù)辨識(shí)過程的仿真結(jié)果如圖8-11和圖8-12所示。5.仿真實(shí)例針對(duì)二階系統(tǒng)進(jìn)行參數(shù)辨識(shí)。系統(tǒng)的狀態(tài)方程79

圖8-11矩陣中各參數(shù)的辨識(shí)結(jié)果

圖8-12矩陣中各參數(shù)的辨識(shí)結(jié)果圖8-11矩陣中各參數(shù)的辨識(shí)結(jié)果圖8-12矩808.5基于Hopfield網(wǎng)絡(luò)的路徑優(yōu)化在旅行商問題（TravelingSalesmanProblem，簡稱TSP）可描述為：已知個(gè)城市之間的相互距離，現(xiàn)有一推銷員必須遍訪這個(gè)城市，并且每個(gè)城市只能訪問一次，最后又必須返回出發(fā)城市。并且對(duì)如何安排他對(duì)這些城市的訪問次序，使其旅行路線總長度最短。旅行商問題是一個(gè)典型的組合優(yōu)化問題，其可能的路徑數(shù)目與城市數(shù)目呈指數(shù)型增長的，一般很難精確的求出其最優(yōu)解，因而尋找其有效的近似求解算法具有重要的理論意義。另一方面，很多實(shí)際應(yīng)用問題，經(jīng)過簡化處理后，均可化為旅行商問題，因而對(duì)旅行商問8.5.1旅行商問題的描述題求解方法的研究具有重要的應(yīng)用價(jià)值8.5基于Hopfield網(wǎng)絡(luò)的路徑優(yōu)化在旅行81旅行商問題是一個(gè)典型的組合優(yōu)化問題，特別是當(dāng)?shù)臄?shù)目很大時(shí)，用常規(guī)的方法求解計(jì)算量太大。對(duì)龐大的搜索空間中尋求最優(yōu)解，對(duì)于常規(guī)方法和現(xiàn)有的計(jì)算工具而言，存在著諸多的計(jì)算困難。使用Hopfield網(wǎng)絡(luò)的優(yōu)化能力可以很容易地解決這類問題。Hopfield等[1]采用神經(jīng)網(wǎng)絡(luò)求得經(jīng)典組合優(yōu)化問題（TSP）的最優(yōu)解，開創(chuàng)了優(yōu)化問題求解的新方法。旅行商問題是一個(gè)典型的組合優(yōu)化問題，特別是當(dāng)?shù)臄?shù)目很大時(shí)，用82TSP問題是在一個(gè)城市集合中找出一個(gè)最短且經(jīng)過每個(gè)城市各一次并回到起點(diǎn)的路徑。為了將TSP問題映射為一個(gè)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)過程，Hopfield采取了換位矩陣的表示方法，用矩陣表示商人訪問個(gè)城市。例如，有四個(gè)城市，訪問路線是：，則Hopfield網(wǎng)絡(luò)輸出所代表的有效解用下面的二維矩陣表8-1來表示：8.5.2求解TSP問題的Hopfield網(wǎng)絡(luò)設(shè)計(jì)

表8-1四個(gè)城市的訪問路線

次序城市12340100000100101000TSP問題是在一個(gè)城市集合83

表8-1構(gòu)成了一個(gè)的矩陣，該矩陣中，各行各列只有一個(gè)元素為1，其余為0，否則是一個(gè)無效的路徑。采用表示神經(jīng)元的輸出，相應(yīng)的輸入用表示。如果城市在位置上被訪問，則，否則。針對(duì)TSP問題，Hopfield定義了如下形式的能量函數(shù)[1]：（8.61）式中，A.B.C.D是權(quán)值，

表示城市到城市之間的距離。

表8-1構(gòu)成了一個(gè)的矩陣，該矩陣中，各行各84式（8.61）中，E的前三項(xiàng)是問題的約束項(xiàng)，最后一項(xiàng)是優(yōu)化目標(biāo)項(xiàng),E的第一項(xiàng)為保證矩陣V的每一行不多于一個(gè)1時(shí)E最小（即每個(gè)城市只去一次），E的第二項(xiàng)保證矩陣的每一列不多于一個(gè)1時(shí)E最?。疵看沃辉L問一城市），E的第三項(xiàng)保證矩陣V中1的個(gè)數(shù)恰好為N時(shí)E最小。Hopfield將能量函數(shù)的概念引入神經(jīng)網(wǎng)絡(luò)，開創(chuàng)了求解優(yōu)化問題的新方法。但該方法在求解上存在局部極小、不穩(wěn)定等問題。為此，文獻(xiàn)[2]將TSP的能量函數(shù)定義為：（8.62）式（8.61）中，E的前三項(xiàng)是問題的約束項(xiàng)85取式（8.62），Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：采用Hopfield網(wǎng)絡(luò)求解TSP問題的算法描述如下：(1)置初值，,，,；(2)計(jì)算N個(gè)城市之間的距離；(3)神經(jīng)網(wǎng)絡(luò)輸入的初始化在0附近產(chǎn)生；(4)利用動(dòng)態(tài)方程（8.63）計(jì)算；（8.63）取式（8.62），Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：采用H86(5)根據(jù)一階歐拉法計(jì)算(6)為了保證收斂于正確解，即矩陣V各行各列只有一個(gè)元素為1，其余為0，采用Sigmoid函數(shù)計(jì)算其中，值的大小決定了Sigmoid函數(shù)的形狀。(7)根據(jù)式（8.62），計(jì)算能量函數(shù)E；(8)檢查路徑的合法性，判斷迭代次數(shù)是否結(jié)束，如果結(jié)束，則終止，否則返回到第（4）步；(9)顯示輸出迭代次數(shù)、最優(yōu)路徑、最優(yōu)能量函數(shù)、路徑長度的值，并作出能量函數(shù)隨時(shí)間的變化的曲線圖。（8.64）（8.65）（8.64）（8.65）87在TSP的Hopfield網(wǎng)絡(luò)能量函數(shù)（8.62）式中，取，。采樣時(shí)間取，網(wǎng)絡(luò)輸入初始值選擇在間的隨機(jī)值，在式（8.65）的函數(shù)中，取較大的，以使函數(shù)比較陡峭，從而穩(wěn)態(tài)時(shí)能夠趨于1或趨于0。以8個(gè)城市的路徑優(yōu)化為例，其城市路徑坐標(biāo)保存在路徑e:\ljkmb\的程序cities8.txt中。如果初始化的尋優(yōu)路徑有效，即路徑矩陣中各行各列只有一個(gè)元素為1，其余為0，則給出最后的優(yōu)化路徑，否則停止優(yōu)化，需要重新運(yùn)行優(yōu)化程序。如果本次尋優(yōu)路徑有效，經(jīng)過2000次迭代，最優(yōu)能量函數(shù)為Final_E=1.4468，初始路程為Initial_Length=4.1419，最短路程為Final_Length=2.8937。8.5.3仿真實(shí)例在TSP的Hopfield網(wǎng)絡(luò)能量函數(shù)88由于網(wǎng)絡(luò)輸入初始選擇的隨機(jī)性，可能會(huì)導(dǎo)致初始化的尋優(yōu)路徑無效，即路徑矩陣中各行各列不滿足“只有一個(gè)元素為1，其余為0”的條件，此時(shí)尋優(yōu)失敗，停止優(yōu)化，需要重新運(yùn)行優(yōu)化程序。仿真過程表明，在20次仿真實(shí)驗(yàn)中，有16次可收斂到最優(yōu)解。仿真結(jié)果如圖8-14和圖8-15所示，其中圖8-14為初始路徑及優(yōu)化后的路徑的比較，圖8-15為能量函數(shù)隨時(shí)間的變化過程。由仿真結(jié)果可見，能量函數(shù)E單調(diào)下降，E的最小點(diǎn)對(duì)應(yīng)問題的最優(yōu)解。仿真程序說明：仿真中所采用的關(guān)鍵命令如下：由于網(wǎng)絡(luò)輸入初始選擇的隨機(jī)89sumsqr(X)：求矩陣X中各元素的平方值之和；Sum(X)或Sum(X,1)為矩陣中各行相加，Sum(X,2)為矩陣中各列相加repmat：用于矩陣復(fù)制，例如，，則

：計(jì)算兩點(diǎn)間的距離，例如，，則sumsqr(X)：求矩陣X中各元素的平方值之和；90圖8-14初始路徑及優(yōu)化后的路徑圖8-14初始路徑及優(yōu)化后的路徑91圖8-15能量函數(shù)隨迭代次數(shù)的變化

圖8-15能量函數(shù)隨迭代次數(shù)的變化92第8章高級(jí)神經(jīng)網(wǎng)絡(luò)第8章高級(jí)神經(jīng)網(wǎng)絡(luò)938.1模糊RBF網(wǎng)絡(luò)在模糊系統(tǒng)中，模糊集、隸屬度函數(shù)和模糊規(guī)則的設(shè)計(jì)是建立在經(jīng)驗(yàn)知識(shí)基礎(chǔ)上的。這種設(shè)計(jì)方法存在很大的主觀性。將學(xué)習(xí)機(jī)制引到模糊系統(tǒng)中，使模糊系統(tǒng)能夠通過不斷學(xué)習(xí)來修改和完善隸屬函數(shù)和模糊規(guī)則，是模糊系統(tǒng)的發(fā)展方向。

8.1模糊RBF網(wǎng)絡(luò)94模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是模糊系統(tǒng)的實(shí)現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡(luò)又具有神經(jīng)網(wǎng)絡(luò)的特性。神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的比較見表8-1。模糊神經(jīng)網(wǎng)絡(luò)充分地利用了神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)各自的優(yōu)點(diǎn)，因而受到了重視。模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡(luò)既有聯(lián)系又有區(qū)別，其聯(lián)95

模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)獲取知識(shí)專家經(jīng)驗(yàn)算法實(shí)例推理機(jī)制啟發(fā)式搜索并行計(jì)算推理速度低高容錯(cuò)性低非常高學(xué)習(xí)機(jī)制歸納調(diào)整權(quán)值自然語言實(shí)現(xiàn)明確的不明顯自然語言靈活性高低表8-1模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的比較

模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)獲取知識(shí)專家經(jīng)驗(yàn)算法實(shí)例推理機(jī)制啟發(fā)式搜索96將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力引到模糊系統(tǒng)中，將模糊系統(tǒng)的模糊化處理、模糊推理、精確化計(jì)算通過分布式的神經(jīng)網(wǎng)絡(luò)來表示是實(shí)現(xiàn)模糊系統(tǒng)自組織、自學(xué)習(xí)的重要途徑。在模糊神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)用來表示模糊系統(tǒng)的輸入、輸出信號(hào)，神經(jīng)網(wǎng)絡(luò)的隱含節(jié)點(diǎn)用來表示隸屬函數(shù)和模糊規(guī)則，利用神經(jīng)網(wǎng)絡(luò)的并行處理能力使得模糊系統(tǒng)的推理能力大大提高。將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力引到模糊系統(tǒng)中，將模糊系97

模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦予模糊輸入信號(hào)和模糊權(quán)值，其學(xué)習(xí)算法通常是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法或其推廣。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)獲得了廣泛的應(yīng)用，當(dāng)前的應(yīng)用主要集中在以下幾個(gè)領(lǐng)域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊矩陣方程、模糊建模和模糊模式識(shí)別。模糊神經(jīng)網(wǎng)絡(luò)是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合而構(gòu)成的網(wǎng)絡(luò)。利用RBF網(wǎng)絡(luò)與模糊系統(tǒng)相結(jié)合，構(gòu)成了模糊RBF網(wǎng)絡(luò)。

模糊神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是將常規(guī)的神經(jīng)網(wǎng)絡(luò)賦予模988.1.

1網(wǎng)絡(luò)結(jié)構(gòu)

采用圖8-1所示的模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其模糊推理系統(tǒng)主要由輸入層、模糊化層、模糊相聯(lián)層、模糊后相連層和輸出層構(gòu)成。8.1.

1網(wǎng)絡(luò)結(jié)構(gòu)99

輸出層(o)模糊推理層(k)模糊化層(j)輸入層(i)圖8-1模糊RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸出層(o)模糊推理層(k)模糊化層(j)輸入層(i)圖8100

模糊RBF網(wǎng)絡(luò)中信號(hào)傳播及各層的功能表示如下：第一層：輸入層該層的各個(gè)節(jié)點(diǎn)直接與輸入量的各個(gè)分量連接，將輸入量傳到下一層。對(duì)該層的每個(gè)節(jié)點(diǎn)i的輸入輸出表示為：模糊RBF網(wǎng)絡(luò)中信號(hào)傳播及各層的功能表示如下：101第二層：隸屬函數(shù)層，即模糊化層該層的每個(gè)節(jié)點(diǎn)具有隸屬函數(shù)的功能，采用高斯函數(shù)作為隸屬函數(shù)。對(duì)第j個(gè)節(jié)點(diǎn)：其中和分別是第i個(gè)輸入變量的第j個(gè)模糊集合高斯函數(shù)的均值和標(biāo)準(zhǔn)差。第二層：隸屬函數(shù)層，即模糊化層102第三層：規(guī)則層，即模糊推理層該層通過與模糊化層的連接來完成模糊規(guī)則的匹配，各個(gè)節(jié)點(diǎn)之間實(shí)現(xiàn)模糊運(yùn)算，即通過各個(gè)模糊節(jié)點(diǎn)的組合得到相應(yīng)的點(diǎn)火強(qiáng)度。每個(gè)節(jié)點(diǎn)j的輸出為該節(jié)點(diǎn)所有輸入信號(hào)的乘積，即其中為輸入層中第i個(gè)輸入隸屬函數(shù)的個(gè)數(shù)，即模糊化層節(jié)點(diǎn)數(shù)。第三層：規(guī)則層，即模糊推理層其中為輸入層中第i個(gè)103,

第四層：輸出層該層的每個(gè)節(jié)點(diǎn)的輸出為該節(jié)點(diǎn)所有輸入信號(hào)的加權(quán)和，即其中l(wèi)為輸出層節(jié)點(diǎn)的個(gè)數(shù)，W為輸出節(jié)點(diǎn)與第三層各節(jié)點(diǎn)的連接權(quán)矩陣。

,第四層：輸出層104

在此模糊神經(jīng)網(wǎng)絡(luò)中，可調(diào)參數(shù)有三類：一類為規(guī)則的權(quán)系數(shù)；第二類和第三類為高斯函數(shù)的均值和標(biāo)準(zhǔn)差，即輸入隸屬函數(shù)的參數(shù)。8.1.2基于模糊RBF網(wǎng)絡(luò)的逼近算法采用模糊RBF網(wǎng)絡(luò)逼近對(duì)象，取網(wǎng)絡(luò)結(jié)構(gòu)為2-4-1，如圖8-2所示。在此模糊神經(jīng)網(wǎng)絡(luò)中，可調(diào)參數(shù)有三類：一類為規(guī)則的權(quán)系105圖8-2模糊RBF神經(jīng)網(wǎng)絡(luò)逼近圖8-2模糊RBF神經(jīng)網(wǎng)絡(luò)逼近106取，和分別表示網(wǎng)絡(luò)輸出和理想輸出。網(wǎng)絡(luò)的輸入為u(k)和y(k)，網(wǎng)絡(luò)的輸出為，則網(wǎng)絡(luò)逼近誤差為：采用梯度下降法來修正可調(diào)參數(shù)，定義目標(biāo)函數(shù)為：

取，107

網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

輸出層的權(quán)值通過如下方式來調(diào)整:

則輸出層的權(quán)值學(xué)習(xí)算法為：其中為學(xué)習(xí)速率，為動(dòng)量因子。

網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

輸出層的權(quán)值108輸入隸屬函數(shù)參數(shù)修正算法為：其中

輸入隸屬函數(shù)參數(shù)修正算法為：其中109隸屬函數(shù)參數(shù)學(xué)習(xí)算法為：隸屬函數(shù)參數(shù)學(xué)習(xí)算法為：1108.1.3仿真實(shí)例使用模糊RBF網(wǎng)絡(luò)逼近對(duì)象：其中采樣時(shí)間為1ms。

模糊RBF網(wǎng)絡(luò)逼近程序見chap8_1.m。

8.1.3仿真實(shí)例使用模糊RBF網(wǎng)絡(luò)逼近對(duì)象：1118.2Pi-Sigma神經(jīng)網(wǎng)絡(luò)

神經(jīng)模糊建模是近年來基于模糊集理論發(fā)展起來的一種新的方法。模糊建模技術(shù)缺點(diǎn)是過分地依賴隸屬函數(shù)的準(zhǔn)確性。采用高木-關(guān)野模糊系統(tǒng)，用一種混合型的pi-sigma神經(jīng)網(wǎng)絡(luò)，可以建立一種自適應(yīng)能力很強(qiáng)的模糊模型。這種模型不但實(shí)現(xiàn)了模糊模型的自動(dòng)更新，而且能不斷修正各模糊子集的隸屬函數(shù)，使模糊建模更具合理性。8.2Pi-Sigma神經(jīng)網(wǎng)絡(luò)

112

8.2.1

高木-關(guān)野模糊系統(tǒng)在高木-關(guān)野模糊系統(tǒng)中，高木和關(guān)野用以下“”規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：

：Ifis，is，

…

，isthen

：Ifis，is113

對(duì)于輸入向量，高木-關(guān)野模糊系統(tǒng)的各規(guī)則輸出等于各的加權(quán)平均：

式中，加權(quán)系數(shù)包括了規(guī)則作用于輸入所取得的值。

對(duì)于輸入向量，高木-關(guān)野模糊系統(tǒng)的各規(guī)則輸出1148.2.2混合型pi-sigma神經(jīng)網(wǎng)絡(luò)

常規(guī)的前向型神經(jīng)網(wǎng)絡(luò)含有求和節(jié)點(diǎn)，這給處理某些復(fù)雜問題帶來了困難。一種基于混合型pi-sigma神經(jīng)網(wǎng)絡(luò)模型如圖8-5所示，在該網(wǎng)絡(luò)中，輸入神經(jīng)元有4個(gè)，S、P和·分別表示相加、相乘和相乘運(yùn)算。8.2.2混合型pi-sigma神經(jīng)網(wǎng)絡(luò)115圖8-5具有4個(gè)輸入的混合型pi-sigma神經(jīng)網(wǎng)絡(luò)圖8-5具有4個(gè)輸入的混合型pi-sigma神經(jīng)網(wǎng)絡(luò)116

顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木-關(guān)野模糊系統(tǒng)。采用該網(wǎng)絡(luò)實(shí)現(xiàn)的模糊系統(tǒng)可方便地在線修正隸屬函數(shù)和參數(shù)，適合于復(fù)雜系統(tǒng)的模糊預(yù)測(cè)和控制。為方便神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，各模糊子集的隸屬函數(shù)均取高斯型，即：

網(wǎng)絡(luò)的輸出為：

顯然，這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)屬于高木-關(guān)野模糊系統(tǒng)。采用117混合型pi-sigma神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：假設(shè)網(wǎng)絡(luò)的期望輸出為定義代價(jià)函數(shù)：

根據(jù)梯度下降法有：

混合型pi-sigma神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：根據(jù)梯度下降法有：118其中

其中。

其中其中。119對(duì)有：

其中

對(duì)有：其中120智能控制第二版演示chap8課件121其中α、β為學(xué)習(xí)速率。

其中α、β為學(xué)習(xí)速率。1228.2.3仿真實(shí)例使用混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近對(duì)象：混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近程序見chap8_2.m

8.2.3仿真實(shí)例混合型pi-sigma神經(jīng)網(wǎng)絡(luò)逼近程序1238.3小腦模型神經(jīng)網(wǎng)絡(luò)8.3.

1CMAC概述

小腦模型神經(jīng)網(wǎng)絡(luò)（CMAC-CerebellarModelArticulationController）是一種表達(dá)復(fù)雜非線性函數(shù)的表格查詢型自適應(yīng)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可通過學(xué)習(xí)算法改變表格的內(nèi)容，具有信息分類存儲(chǔ)的能力。8.3小腦模型神經(jīng)網(wǎng)絡(luò)124

CMAC已被公認(rèn)為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組成部分，能夠?qū)W習(xí)任意多維非線性映射，CMAC算法被證明可有效地用于非線性函數(shù)逼近、動(dòng)態(tài)建模、控制系統(tǒng)設(shè)計(jì)等。CMAC比其它神經(jīng)網(wǎng)絡(luò)的優(yōu)越性體現(xiàn)在：（1）小腦模型是基于局部學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它把信息存儲(chǔ)在局部結(jié)構(gòu)上，使每次修正的權(quán)極少，在保證函數(shù)非線性逼近性能的前提下，學(xué)習(xí)速度快，適合于實(shí)時(shí)控制；（2）具有一定的泛化能力，即所謂相近輸入產(chǎn)生相近輸出，不同輸入給出不同輸出；CMAC已被公認(rèn)為是一類聯(lián)想記憶網(wǎng)絡(luò)的重要組成125(3)

具有連續(xù)（模擬）輸入輸出能力；(4)

采用尋址編程方式，在利用串行計(jì)算機(jī)仿真時(shí)，它將使響應(yīng)速度加快；(5)

CMAC函數(shù)非線性逼近器對(duì)學(xué)習(xí)數(shù)據(jù)出現(xiàn)的次序不敏感。由于CMAC所具有的上述優(yōu)越性能，使它比一般神經(jīng)網(wǎng)絡(luò)具有更好的非線性逼近能力，更適合于復(fù)雜動(dòng)態(tài)環(huán)境下非線性實(shí)時(shí)控制的要求。CMAC神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖8-8所示。(3)

具有連續(xù)（模擬）輸入輸出能力；126圖8-8CMAC神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖8-8CMAC神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1278.3.2一種典型CMAC算法CMAC網(wǎng)絡(luò)由輸入層，中間層和輸出層組成。在輸入層與中間層、中間層與輸出層之間分別為由設(shè)計(jì)者預(yù)先確定的輸入層非線性映射和輸出層權(quán)值自適應(yīng)性線性映射。CMAC神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入空間的化分、輸入層至輸出層非線性映射的實(shí)現(xiàn)及輸出層權(quán)值學(xué)習(xí)算法。8.3.2一種典型CMAC算法128

CMAC是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)系由以下兩個(gè)基本映射實(shí)現(xiàn)。

（1）概念映射（UAC）概念映射是從輸入空間U至概念存儲(chǔ)器AC的映射。設(shè)輸入空間向量為，量化編碼為，輸入空間映射至AC中c個(gè)存儲(chǔ)單元（c為二進(jìn)制非零單元的數(shù)目）。CMAC是前饋網(wǎng)絡(luò)，輸入輸出之間的非線性關(guān)系129采用下式表示映射后的向量：Rp=S([up])=[s1(up),s2(up),…,sc(up)]T式中sj([up])=1,j=1,2,…,c映射原則為：在輸入空間鄰近的兩個(gè)點(diǎn)，在AC中有部分的重疊單元被激勵(lì)。距離越近，重疊越多；距離越遠(yuǎn)的點(diǎn)，在AC中不重疊，這稱為局域泛化，c為泛化常數(shù)。采用下式表示映射后的向量：130（2）實(shí)際映射（ACAP）實(shí)際映射是由概念存儲(chǔ)器AC中的c個(gè)單元，用雜散編碼技術(shù)映射至實(shí)際存儲(chǔ)器AP的c個(gè)單元，c個(gè)單元中存放著相應(yīng)權(quán)值。網(wǎng)絡(luò)的輸出為AP中c個(gè)單元的權(quán)值的和。只考慮單輸出：即（2）實(shí)際映射（ACAP）131

CMAC采用的學(xué)習(xí)算法如下：采用δ學(xué)習(xí)規(guī)則調(diào)整權(quán)值，權(quán)值調(diào)整指標(biāo)為

其中。

由梯度下降法，權(quán)值按下式調(diào)整：

CMAC采用的學(xué)習(xí)算法如下：其中132其中為慣性系數(shù)。

其中為慣性系數(shù)。1338.3.3仿真實(shí)例采用CMAC網(wǎng)絡(luò)逼近非線性對(duì)象：

取u(k)作為網(wǎng)絡(luò)的輸入，采用線性化函數(shù)對(duì)輸入狀態(tài)進(jìn)行量化，實(shí)現(xiàn)CMAC的概念映射：8.3.3仿真實(shí)例采用CMAC網(wǎng)絡(luò)逼近非線性對(duì)象：取u134其中xmin和xmax輸入的最大最小值，M為xmax量化后所對(duì)應(yīng)的最大值，round()為四舍五入的Matlab函數(shù)。

采用雜散編碼技術(shù)中的除留余數(shù)法實(shí)現(xiàn)CMAC的實(shí)際映射。設(shè)雜湊表長為m，以元素值s(k)+i除以某數(shù)N（N<=m）后所得余數(shù)+1作為雜湊地址，實(shí)現(xiàn)了實(shí)際映射，即其中xmin和xmax輸入的最大最小值，M為xmax量化后所135其中。在仿真中，取M=100，N=7，取泛化參數(shù)c=7,=1.5,=0.05。CMAC網(wǎng)絡(luò)逼近程序?yàn)閏hap8_3.m。

其中。1368.4Hopfield神經(jīng)網(wǎng)絡(luò)8.4.1Hopfield網(wǎng)絡(luò)原理

1986年美國物理學(xué)家J.J.Hopfield利用非線性動(dòng)力學(xué)系統(tǒng)理論中的能量函數(shù)方法研究反饋人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，提出了Hopfield神經(jīng)網(wǎng)絡(luò)，并建立了求解優(yōu)化計(jì)算問題的方程。8.4Hopfield神經(jīng)網(wǎng)絡(luò)137

基本的Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)，Hopfield網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過來的信息。Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元在時(shí)刻的輸出狀態(tài)實(shí)際上間接地與自己的時(shí)刻的輸出狀態(tài)有關(guān)?；镜腍opfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成138

反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)，當(dāng)網(wǎng)絡(luò)達(dá)139

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。Hopfield神經(jīng)網(wǎng)絡(luò)模型是由一系列互聯(lián)的神經(jīng)單元組成的反饋型網(wǎng)絡(luò)，如圖8-10所示。

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，140圖8-10Hopfield網(wǎng)絡(luò)模型圖8-10Hopfield網(wǎng)絡(luò)模型141

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。

如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把142對(duì)于Hopfield神經(jīng)網(wǎng)絡(luò)第i個(gè)神經(jīng)元，采用微分方程建立其輸入輸出關(guān)系，即：

其中。對(duì)于Hopfield神經(jīng)網(wǎng)絡(luò)第i個(gè)神經(jīng)元，采用微分方程建立其143其中g(shù)(?)為雙曲函數(shù)，一般取為：

為n個(gè)神經(jīng)元的網(wǎng)絡(luò)狀態(tài)向量；

為網(wǎng)絡(luò)的輸出向量；

為網(wǎng)絡(luò)的輸入向量。其中g(shù)(?)為雙曲函數(shù)，一般取為：144

定義Hopfield網(wǎng)絡(luò)的Lyapunov能量函數(shù)為若權(quán)值矩陣是對(duì)稱的（），則定義Hopfield網(wǎng)絡(luò)的Lyapunov能量函數(shù)為145由于,則

由于，雙曲函數(shù)是單調(diào)上升函數(shù)，顯然它的反函數(shù)也為單調(diào)上升函數(shù)，即有，則可得到，即能量函數(shù)具有負(fù)的梯度，當(dāng)且僅當(dāng)時(shí),（）。由于,則由于，雙曲146

由此可見，隨著時(shí)間的演化，網(wǎng)絡(luò)的解在狀態(tài)空間中總是朝著能量EN減少的方向運(yùn)動(dòng)。網(wǎng)絡(luò)最終輸出向量V為網(wǎng)絡(luò)的穩(wěn)定平衡點(diǎn)，即EN的極小點(diǎn)。Hopfield網(wǎng)絡(luò)在優(yōu)化計(jì)算中得到成功應(yīng)用，有效地解決了著名的旅行推銷商問題（TSP問題），另外，它在智能控制和系統(tǒng)辨識(shí)中也有廣泛應(yīng)用。由此可見，隨著時(shí)間的演化，網(wǎng)絡(luò)的解在狀態(tài)空間中總是朝著能1478.4.2基于Hopfield網(wǎng)絡(luò)的自適應(yīng)控制

1.系統(tǒng)描述被控對(duì)象為一階系統(tǒng)：即

其中為轉(zhuǎn)動(dòng)慣量，為控制輸入，實(shí)際速度為。8.4.2基于Hopfield網(wǎng)絡(luò)的自適應(yīng)控制1.系148取速度指令為，將控制器設(shè)計(jì)為“P控制+前饋控制”的形式：

整理得：令,,則其中F和G為待定控制器參數(shù)，可采用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)。

取速度指令為，將控制器設(shè)計(jì)為“P控制+前饋控1492.基于Hopfield網(wǎng)絡(luò)的控制器優(yōu)化所采用的hopfield網(wǎng)絡(luò)結(jié)構(gòu)如圖8-11所示。圖8-11Hopfield網(wǎng)絡(luò)結(jié)構(gòu)2.基于Hopfield網(wǎng)絡(luò)的控制器優(yōu)化圖8-11Ho150控制系統(tǒng)的能量函數(shù)取將表達(dá)式代入上式并展開得：

取Hopfield網(wǎng)絡(luò)輸出神經(jīng)元數(shù)為2，假設(shè)輸入電阻無窮大，此時(shí)Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：控制系統(tǒng)的能量函數(shù)取取Hopfield網(wǎng)絡(luò)輸出神經(jīng)元數(shù)151將展開，得：

令，得：

當(dāng)Hopfield網(wǎng)絡(luò)處于平衡狀態(tài)時(shí)，能量函數(shù)最小，由網(wǎng)絡(luò)權(quán)值對(duì)稱得，此時(shí)將展開，得：令152由上兩式得：

由上兩式得：153由上兩式得：連接權(quán)矩陣和外部輸入如下：

由上兩式得：連接權(quán)矩陣和外部輸入如下：154標(biāo)準(zhǔn)Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：

取，將所求的和代入上式得：

標(biāo)準(zhǔn)Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程為：取，將所求155取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即

其中。網(wǎng)絡(luò)實(shí)際輸出為：由于，，則取神經(jīng)元輸出的非線性特性為雙曲函數(shù)，即網(wǎng)絡(luò)實(shí)際輸出為：由于156同理可得：

求解微分方程，可得到優(yōu)化后的F、G，從而實(shí)現(xiàn)和的整定。

同理可得：求解微分方程，可得到優(yōu)化后的F、G，從而1573仿真實(shí)例被控對(duì)象為一階系統(tǒng)：其中，。

Hopfield網(wǎng)絡(luò)的自適應(yīng)控制程序包括主程序chap8_4sim.mdl、控制器S函數(shù)程序chap8_4s.m、被控對(duì)象S函數(shù)程序chap8_4plant.m和作圖程序chap8_4plot.m。

3仿真實(shí)例其中，。1588.4.2Hopfield網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識(shí)

在系統(tǒng)辨識(shí)中，直接采用Hopfield神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)域內(nèi)動(dòng)態(tài)系統(tǒng)實(shí)現(xiàn)參數(shù)估計(jì)是一種簡單而直接的動(dòng)態(tài)系統(tǒng)辨識(shí)方法。該方法的特點(diǎn)是根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)機(jī)制，使其神經(jīng)元的輸出值對(duì)應(yīng)是待識(shí)參數(shù)識(shí)，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識(shí)參數(shù)辨識(shí)的過程。利用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)時(shí)，取所定義的辨識(shí)能量函數(shù)等于Hopfield網(wǎng)絡(luò)標(biāo)準(zhǔn)能量函數(shù)，通過Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程，得到Hopfield網(wǎng)絡(luò)的連接權(quán)矩陣和神經(jīng)元的外部輸入，然后將其代入Hopfield網(wǎng)絡(luò)動(dòng)態(tài)方程運(yùn)行，經(jīng)過一段時(shí)間后，可得到穩(wěn)定的參數(shù)辨識(shí)結(jié)果。8.4.2Hopfield網(wǎng)絡(luò)線性系統(tǒng)參數(shù)辨識(shí)1591.系統(tǒng)描述設(shè)待辨識(shí)為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為（8.38）其中、為待辨識(shí)的參數(shù)矩陣，取，且狀態(tài)矢量，，是單個(gè)控制輸入。

則二階線性系統(tǒng)的參數(shù)的辨識(shí)過程就是向量的辨識(shí)過程。1.系統(tǒng)描述設(shè)待辨識(shí)為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀1602.參數(shù)辨識(shí)基本原理用于辨識(shí)的可調(diào)系統(tǒng)為（8.39）其中，，取。用由式（8.38）和式（8.39）得：（8.40）其中為狀態(tài)偏差。

（8.41）用由于與線性無關(guān)，則當(dāng)時(shí)，，，從而實(shí)現(xiàn)。

2.參數(shù)辨識(shí)基本原理用于辨識(shí)的可調(diào)系統(tǒng)為（8.391613.Hopfield網(wǎng)絡(luò)辨識(shí)能量函數(shù)的設(shè)計(jì)為了實(shí)現(xiàn)，選擇基于狀態(tài)偏差變化率的參數(shù)辨識(shí)能量函數(shù)為：（8.42）由于

即

（8.43）其中各項(xiàng)可表達(dá)為式（8.44）~式（8.49）：

3.Hopfield網(wǎng)絡(luò)辨識(shí)能量函數(shù)的設(shè)計(jì)為了實(shí)現(xiàn)162（8.44）（8.45）（8.46）由于

，

則

（8.47）（8.44）（8.45）（8.46）由于163（8.48）（8.50）在式（8.43）中，取，其中取的前5項(xiàng)，取的后2項(xiàng)，則有（8.49）（8.51）（8.48）（8.50）在式（8.43）中，取，其中取的1644.用于辨識(shí)的Hopfield網(wǎng)絡(luò)設(shè)計(jì)

Hopfield網(wǎng)絡(luò)能量函數(shù)趨于極小的過程，就是估計(jì)矩陣和收斂于實(shí)際矩陣和的過程。通過構(gòu)建一個(gè)具體的Hopfield網(wǎng)絡(luò)，可進(jìn)行參數(shù)辨識(shí)。

Hopfield神經(jīng)網(wǎng)絡(luò)第個(gè)神經(jīng)元的動(dòng)態(tài)微分方程為：（8.52）其中，

假定Hopfield神經(jīng)元由理想放大器構(gòu)成，即，同時(shí)取，則Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程變?yōu)椋海?.53）4.用于辨識(shí)的Hopfield網(wǎng)絡(luò)設(shè)計(jì)Hopfie165Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：（8.54）

由于，取Hopfield網(wǎng)絡(luò)的輸出對(duì)應(yīng)待辨識(shí)參數(shù)，

即，則（8.55）

由式（8.53）和式（8.55）可以看出如下關(guān)系成立：

利用Hopfield網(wǎng)絡(luò)進(jìn)行辨識(shí)時(shí)，取所定義的辨識(shí)能量函數(shù)與Hopfield網(wǎng)絡(luò)標(biāo)準(zhǔn)能量函數(shù)相等，即，則由上式可得：Hopfield網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)為：（8.54）166

由根據(jù)函數(shù)對(duì)向量求導(dǎo)的定義，有（8.56）

由于，則有（8.57）由根據(jù)函數(shù)對(duì)向量求導(dǎo)的定義，有（8.56）由于167

由于由于168

對(duì)比式（8.57）和式（8.58），可將網(wǎng)絡(luò)得權(quán)值表示為：（8.59）

由式（8.59）的和代入（8.53）式，可得到穩(wěn)定的，通過雙曲函數(shù)，可得到網(wǎng)絡(luò)最終辨識(shí)結(jié)果的輸出：（8.60）對(duì)比式（8.57）和式（8.58），可將網(wǎng)絡(luò)得權(quán)值表示169

需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助MATLAB的符號(hào)編程方法實(shí)現(xiàn)求權(quán)值和的過程。具體方法為：根據(jù)式（8.56），首先通過MATLAB函數(shù)實(shí)現(xiàn)，然后通過MATLAB函數(shù)實(shí)現(xiàn)，最后通過式（8.57）實(shí)現(xiàn)，并采用函數(shù)實(shí)現(xiàn)的化簡。由仿真結(jié)果可見，由符號(hào)編程方法求解的權(quán)值和與式（8.59）相同。符號(hào)運(yùn)算求解權(quán)值仿真程序見chap8_4juzhen.m。

有了權(quán)值和，求解動(dòng)態(tài)微分方程式（8.52），便可得到最終的辨識(shí)結(jié)果。需要說明的是，上述求權(quán)值和的過程過于煩瑣，可借助M1705.仿真實(shí)例

針對(duì)二階系統(tǒng)進(jìn)行參數(shù)辨識(shí)。系統(tǒng)的狀態(tài)方程為：

Hopfield網(wǎng)絡(luò)的輸出對(duì)應(yīng)待辨識(shí)參數(shù)，Hopfield網(wǎng)絡(luò)權(quán)值和初值取零。

在仿真程序中，取，和為常數(shù)矩陣，，，

，取，。經(jīng)過一段時(shí)間的仿真運(yùn)行后，辨識(shí)參數(shù)的結(jié)果為

在仿真程序中，取，和為時(shí)變系數(shù)矩陣，

。取，，參數(shù)辨識(shí)過程的仿真結(jié)果如圖8-11和圖8-12所示。5.仿真實(shí)例針對(duì)二階系統(tǒng)進(jìn)行參數(shù)辨識(shí)。系統(tǒng)的狀態(tài)方程171

圖8-11矩陣中各參數(shù)的辨識(shí)結(jié)果

圖8-12矩陣中各參數(shù)的辨識(shí)結(jié)果圖8-11矩陣中各參數(shù)的辨識(shí)結(jié)果圖8-12矩1728.5基于Hopfield網(wǎng)絡(luò)的路徑優(yōu)化在旅行商問題（TravelingSalesmanProblem，簡稱TSP）可描述為：已知個(gè)城市之間的相互距離，現(xiàn)有一推銷員必須遍訪這個(gè)城市，并且每個(gè)城市只能訪問一次，最后又必須返回出發(fā)城市。并且對(duì)如何安排他對(duì)這些城市的訪問次序，使其旅行路線總長度最短。旅行商問題是一個(gè)典型的組合優(yōu)化問題，其可能的路徑數(shù)目與城市數(shù)目呈指數(shù)型增長的，一般很