神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)設(shè)計(jì)第一頁，共八十六頁，編輯于2023年，星期三111.1神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)（ANN—ArtificialNeuralNetworks）或稱聯(lián)接機(jī)制（Connectionism），是源于人腦神經(jīng)系統(tǒng)的一類模型，是模擬人類智能的一條重要途徑，具有模擬人的部分形象思維的能力。它是由簡單信息處理單元（人工神經(jīng)元，簡稱神經(jīng)元）互連組成的網(wǎng)絡(luò)，能接受并處理信息，網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來實(shí)現(xiàn)，它是通過把問題表達(dá)成處理單元之間的聯(lián)接權(quán)來處理的。2第二頁，共八十六頁，編輯于2023年，星期三11.1.1人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)——NN）是由人工神經(jīng)元（簡稱神經(jīng)元）互連組成的網(wǎng)絡(luò)，它是從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。神經(jīng)網(wǎng)絡(luò)對控制領(lǐng)域有吸引力的特征：(1)能逼近任意的非線性函數(shù)。(2)信息的并行分布式處理與存儲。(3)可以多輸入、多輸出。3第三頁，共八十六頁，編輯于2023年，星期三(4)便于用超大規(guī)模集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)。(5)能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。決定網(wǎng)絡(luò)整體性能的三大要素：(1)神經(jīng)元（信息處理單元）的特性。(2)神經(jīng)元之間相互聯(lián)接的形式——拓?fù)浣Y(jié)構(gòu)。(3)為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。4第四頁，共八十六頁，編輯于2023年，星期三11.1.2人工神經(jīng)網(wǎng)絡(luò)原理如同大腦一樣，神經(jīng)網(wǎng)絡(luò)的基本單元也稱為神經(jīng)元或人工神經(jīng)元或處理單元?？烧J(rèn)為處理單元是一種類似的最基本的生物神經(jīng)元，它能完成生物神經(jīng)元最基本的三種處理過程：(1)評價(jià)輸入信號，決定每個(gè)輸入信號的強(qiáng)度。(2)計(jì)算所有輸入信號的權(quán)重之和，并與處理單元的閾值進(jìn)行比較。(3)決定處理單元的輸出。5第五頁，共八十六頁，編輯于2023年，星期三

閾值由傳遞函數(shù)來確定。傳遞函數(shù)一般是非線性的，有時(shí)也采用線性函數(shù)。但應(yīng)該注意許多問題不能簡單地用一條直線將其分成兩類。將處理單元排成一列，形成一個(gè)處理單元層，若將幾層連接在一起，接受輸入的層稱為輸入層，給出輸出信號的層稱為輸出層，其他層為中間層或隱含層，這些層在神經(jīng)網(wǎng)絡(luò)中類似于黑箱。如果前一層的每一個(gè)處理單元都與后一層中的每個(gè)處理單元相連，則這種網(wǎng)絡(luò)稱為全面連接的網(wǎng)絡(luò)。否則為部分連接的網(wǎng)絡(luò)。若沒有一個(gè)處理單元的輸出與本層或前一層的處理單元相連接，則這種網(wǎng)絡(luò)稱為正反饋網(wǎng)絡(luò)；反之，若輸出可直接返回同層或前一層處理單元的輸入，則這種網(wǎng)絡(luò)稱為負(fù)反饋網(wǎng)絡(luò)。具有閉環(huán)的負(fù)反饋網(wǎng)絡(luò)又稱為循環(huán)系統(tǒng)。6第六頁，共八十六頁，編輯于2023年，星期三編制神經(jīng)網(wǎng)絡(luò)程序，主要是確定傳遞函數(shù)（即決定值的方程）、訓(xùn)練規(guī)劃（即設(shè)置初始權(quán)重的規(guī)則及修改權(quán)重的方程）以及網(wǎng)絡(luò)的結(jié)構(gòu)（即處理單元數(shù)、層數(shù)及相互連接狀況）。

在網(wǎng)絡(luò)中，信息不像普通計(jì)算機(jī)儲存在單一的內(nèi)存區(qū)，而是儲存在整個(gè)系統(tǒng)中，這種結(jié)構(gòu)使網(wǎng)絡(luò)更具有適應(yīng)性，如果遺失某些處理單元，則仍可不丟失存在那兒的信息。這種儲存信息的方式是新一代信息處理方式的代表。7第七頁，共八十六頁，編輯于2023年，星期三11.1.3MP神經(jīng)元模型與人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成早在1943年，McCulloch和Pitts就定義了一種簡單的人工神經(jīng)元模型，稱為MP模型。其響應(yīng)函數(shù)為階躍函數(shù)，模型結(jié)構(gòu)如圖11.1所示。yx1x2xnw1w2wn早在1943年McCulloch

┇┇圖11.1MP模型結(jié)構(gòu)8第八頁，共八十六頁，編輯于2023年，星期三設(shè)神經(jīng)元的一組輸入用向量表示為X=(x1，x2，…，xn)其相應(yīng)權(quán)值為W=(w1，w2，…，wn)神經(jīng)元的閾值為θ，輸出為y，則其中9第九頁，共八十六頁，編輯于2023年，星期三階層型和全互連接型。如圖11.2和圖11.3所示:x1x2┇xny1y2yn┇圖11.2階層型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖11.3全互連接型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)10第十頁，共八十六頁，編輯于2023年，星期三11.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法1．基本的學(xué)習(xí)機(jī)理一個(gè)神經(jīng)網(wǎng)絡(luò)僅僅具有拓?fù)浣Y(jié)構(gòu)，還不能具有任何智能特性，必須有一套完整的學(xué)習(xí)、工作規(guī)則與之配合。其實(shí)，對于大腦神經(jīng)網(wǎng)絡(luò)來說，完成不同功能的網(wǎng)絡(luò)區(qū)域都具有各自的學(xué)習(xí)規(guī)則，這些完整和巧妙的學(xué)習(xí)規(guī)則是大腦在進(jìn)化學(xué)習(xí)階段獲得的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，說到底就是網(wǎng)絡(luò)連接權(quán)的調(diào)整規(guī)則。我們可以從日常生活中一個(gè)簡單的例子了解網(wǎng)絡(luò)連接權(quán)的調(diào)整機(jī)理。11第十一頁，共八十六頁，編輯于2023年，星期三

神經(jīng)網(wǎng)絡(luò)是由許多相互連接的處理單元組成的。每一個(gè)處理單元有許多輸入量xi，而對每一個(gè)輸入量都相應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重wi。處理單元將經(jīng)過權(quán)重的輸入量xi·wi相加（權(quán)重和），而且計(jì)算出唯一的輸出量yi。這個(gè)輸出量是權(quán)重和的函數(shù)f。處理單元模型如圖11.4所示。圖中y1y2yn┇x1x2xnw1w2wnI|f┇┇圖11.4處理單元模型12第十二頁，共八十六頁，編輯于2023年，星期三2．學(xué)習(xí)方式有兩種不同的學(xué)習(xí)方式或訓(xùn)練方式，即有指導(dǎo)的訓(xùn)練和沒有指導(dǎo)的訓(xùn)練。很明顯，有指導(dǎo)的學(xué)習(xí)或訓(xùn)練需要“教師”，教師即是訓(xùn)練數(shù)據(jù)本身，不但包括有輸入數(shù)據(jù)，還包括有在一定輸入條件下的輸出數(shù)據(jù)。網(wǎng)絡(luò)根據(jù)訓(xùn)練數(shù)據(jù)的輸入和輸出來調(diào)節(jié)本身的權(quán)重，使網(wǎng)絡(luò)的輸出符合于實(shí)際的輸出。沒有指導(dǎo)的學(xué)習(xí)過程指訓(xùn)練數(shù)據(jù)只有輸入而沒有輸出，網(wǎng)絡(luò)必須根據(jù)一定的判斷標(biāo)準(zhǔn)自行調(diào)整權(quán)重。

(1)有指導(dǎo)的學(xué)習(xí);(2)沒有指導(dǎo)的學(xué)習(xí);13第十三頁，共八十六頁，編輯于2023年，星期三3．學(xué)習(xí)規(guī)則在神經(jīng)網(wǎng)絡(luò)中，使用各種學(xué)習(xí)規(guī)則，最有名的是Hebb規(guī)則，研究仍在繼續(xù)，許多新的想法也在不斷嘗試。有些研究者將生物學(xué)習(xí)的模型作為主要研究方向，有一些在修改現(xiàn)有的學(xué)習(xí)規(guī)則，使其更接近自然界中的學(xué)習(xí)規(guī)律。但是在生物系統(tǒng)中，到底學(xué)習(xí)是如何發(fā)生的，目前知道得還不多，也不容易得到實(shí)驗(yàn)的證實(shí)。

(1)Hebb規(guī)則;(2)Delta規(guī)則;(3)梯度下降規(guī)則;(4)Kohonen學(xué)習(xí)規(guī)則;(5)后傳播學(xué)習(xí)方法;14第十四頁，共八十六頁，編輯于2023年，星期三11.2神經(jīng)網(wǎng)絡(luò)的模型與算法11.2.1感知器（Perceptron）網(wǎng)絡(luò)感知器是早期仿生學(xué)的研究成果，是羅森布拉特（Rosenblatt）首先提出的一種神經(jīng)網(wǎng)絡(luò)模型。早期的研究人員試圖用感知器模擬人腦的感知特征，但后來發(fā)現(xiàn)感知器的學(xué)習(xí)能力有很大的局限性，以致曾經(jīng)有人對它的感知能力和應(yīng)用前景得出了十分悲觀的結(jié)論。盡管如此，這種神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)對早期神經(jīng)網(wǎng)絡(luò)的研究，以及對后來許多神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)，產(chǎn)生了極大的影響。它仍然是一種很有用的神經(jīng)網(wǎng)絡(luò)模型。15第十五頁，共八十六頁，編輯于2023年，星期三感知器采用有教師的學(xué)習(xí)算法，即用來學(xué)習(xí)的樣本模式的類別是已知的，而且各模式類的樣本具有充分的代表性。當(dāng)依次輸入學(xué)習(xí)樣本時(shí)，網(wǎng)絡(luò)以迭代方式根據(jù)神經(jīng)元的實(shí)際輸出與期望輸出的差別對權(quán)值進(jìn)行修正，最終得到希望的權(quán)值。具體算法如下：第一步：設(shè)置初始權(quán)值wji(m)。通常，各權(quán)值的初始值設(shè)置為較小的非零隨機(jī)數(shù)。第二步：輸入新的模式。16第十六頁，共八十六頁，編輯于2023年，星期三第三步：計(jì)算神經(jīng)元的實(shí)際輸出。設(shè)第k次輸入的模式為xk，與第j個(gè)神經(jīng)元連接的權(quán)矢量為wi(k)=(wj1，wj2，…，wjn+1)T，則第j個(gè)神經(jīng)元的實(shí)際輸出為

式中f為雙極值階躍函數(shù)，且17第十七頁，共八十六頁，編輯于2023年，星期三第四步：修正權(quán)值。設(shè)bj為第j個(gè)神經(jīng)元的期望輸出，則權(quán)值按下式修正

第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能利用某一次迭代得到的權(quán)值正確分類時(shí)，學(xué)習(xí)過程結(jié)束?？梢宰C明，當(dāng)模式類線性可分時(shí)，上述算法在有限次選代后收斂。權(quán)矢量的修正量與輸入模式xk成正比，比例因子為ρ[bj-yj(k)]。若ρ的取值太大，算法可能出現(xiàn)振蕩，ρ的取值太小，收斂速度會(huì)很慢。

18第十八頁，共八十六頁，編輯于2023年，星期三11.2.2多階層網(wǎng)絡(luò)與誤差逆?zhèn)鞑ニ惴ǜ兄鞯陌l(fā)明，曾使神經(jīng)網(wǎng)絡(luò)的研究邁出了歷史性的一步。但是正如前面所述，盡管感知器具有很出色的學(xué)習(xí)和記憶功能，可由于它只適用于線性模式的識別，因此對非線性模式的識別顯得無能為力，甚至不能解決“異或”這樣簡單的非線性運(yùn)算問題。誤差逆?zhèn)鞑W(xué)習(xí)算法，有時(shí)也將按這一學(xué)習(xí)算法進(jìn)行訓(xùn)練的多階層神經(jīng)網(wǎng)絡(luò)直接稱為誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)，簡稱BP算法。19第十九頁，共八十六頁，編輯于2023年，星期三1．誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)（BP）的結(jié)構(gòu)與學(xué)習(xí)規(guī)則典型的BP網(wǎng)絡(luò)是三層前饋階層網(wǎng)絡(luò)，即：輸入層、隱含層（也稱中間層）和輸出層。各層之間實(shí)行全連接，如圖11.5所示:x1x2┇xny1y2yn┇輸入層隱含層輸出層圖11.5典型BP網(wǎng)絡(luò)模型結(jié)構(gòu)20第二十頁，共八十六頁，編輯于2023年，星期三

BP網(wǎng)絡(luò)的學(xué)習(xí)，由四個(gè)過程組成：BP網(wǎng)絡(luò)的學(xué)習(xí)，由四個(gè)過程成：輸入模式由輸入層經(jīng)隱含層向輸出層的“模式順傳播”過程；網(wǎng)絡(luò)的希望輸出與網(wǎng)絡(luò)實(shí)際輸出之差的誤差信號由輸出層經(jīng)隱含層向輸入層逐層修正連接權(quán)的“誤差逆?zhèn)鞑ァ边^程；由“模式順傳播”與“誤差逆?zhèn)鞑ァ钡姆磸?fù)交替進(jìn)行的網(wǎng)絡(luò)“記憶訓(xùn)練”過程；網(wǎng)絡(luò)趨向收斂即網(wǎng)絡(luò)的全局誤差趨向極小值的“學(xué)習(xí)收斂”過程。歸結(jié)起來為，“模式順傳播”→“誤差逆?zhèn)鞑ァ薄坝洃浻?xùn)練”→“學(xué)習(xí)收斂”過程。BP網(wǎng)絡(luò)的學(xué)習(xí)方法也稱為廣義δ規(guī)則。21第二十一頁，共八十六頁，編輯于2023年，星期三(1)模式的順傳播模式順傳播過程是由輸入模式提供給網(wǎng)絡(luò)的輸入層開始的輸入層各個(gè)單元對應(yīng)于輸入模式向量的各個(gè)元素。設(shè)輸入模式向量為Xk=(x1，x2，…，xn)，k=1，2，…，m，m為學(xué)習(xí)模式個(gè)數(shù)；輸入層單元到隱含層單元的連接權(quán)為vhi，h=1，2，…，n，i=1，2，…，p；隱含層單元到輸出層單元的連接權(quán)為wij，i=1，2，…，p，j=1，2，…，q。將Xk的值送到輸入層單元，通過連接權(quán)矩陣V送到隱含層單元，產(chǎn)生隱含層單元新的激活值式中22第二十二頁，共八十六頁，編輯于2023年，星期三按模式順傳播的思路，計(jì)算輸出層各單元的輸入、輸出:式中wij為中間層至輸出層連接權(quán)；ri為輸出層單元閾值；f為S函數(shù)。至此，一個(gè)輸入模式完成了一遍順傳播過程。23第二十三頁，共八十六頁，編輯于2023年，星期三(2)誤差的逆?zhèn)鞑プ鳛檎`差逆?zhèn)鞑サ牡谝徊?，是進(jìn)行誤差計(jì)算。誤差逆?zhèn)鞑ミ^程是由輸出層的誤差從di向中間層的誤差di傳遞的過程。①計(jì)算輸出層單元的一般化誤差式中為輸出層單元j的希望輸出。②計(jì)算隱含層單元對于每個(gè)di的誤差上式相當(dāng)于將輸出層單元的誤差反向傳播到隱含層。24第二十四頁，共八十六頁，編輯于2023年，星期三③調(diào)整隱含層到輸出層的連接權(quán)式中λ為學(xué)習(xí)率，0<λ<1。④調(diào)整輸入層到隱含層的連接權(quán)⑤調(diào)整輸出層單元的閾值⑥調(diào)整隱含層單元的閾值25第二十五頁，共八十六頁，編輯于2023年，星期三(3)訓(xùn)練過程所謂訓(xùn)練過程，是指反復(fù)學(xué)習(xí)的過程，也就是根據(jù)教師示教的希望輸出與網(wǎng)絡(luò)實(shí)際輸出的誤差調(diào)整連接權(quán)的過程。希望輸出實(shí)際上是對輸入模式分類的一種表示，是人為設(shè)定的，所以因人而異。隨著“模式順傳播”與“誤差逆?zhèn)鞑ァ边^程的反復(fù)進(jìn)行，網(wǎng)絡(luò)的實(shí)際輸出逐漸向各自所對應(yīng)的希望輸出逼近。對于典型的BP網(wǎng)絡(luò)，一組訓(xùn)練模式一般要經(jīng)過數(shù)百次乃至幾千次的學(xué)習(xí)過程，才能使網(wǎng)絡(luò)收斂。26第二十六頁，共八十六頁，編輯于2023年，星期三(4)收斂過程BP網(wǎng)絡(luò)的收斂過程，很可能在遇到局部極小點(diǎn)便被“凍結(jié)”，而無法最終收斂于全局最小點(diǎn)，也就無法對學(xué)習(xí)模式準(zhǔn)確記憶。導(dǎo)致BP網(wǎng)絡(luò)這一缺陷的原因，是由于BP學(xué)習(xí)規(guī)則同Madaline算法類似，采用了按誤差函數(shù)梯度下降的方向進(jìn)行收斂，如圖11.6所示。AB局部極小點(diǎn)局部極小點(diǎn)全部最小點(diǎn)圖11.6誤差函數(shù)梯度下降示意圖27第二十七頁，共八十六頁，編輯于2023年，星期三2．網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)

(1)引入動(dòng)量項(xiàng)上述標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡單的最快速下降靜態(tài)尋優(yōu)算法，在修正w(k)時(shí)，只是按k時(shí)刻的負(fù)梯度方向進(jìn)行修正，而沒有考慮以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，而收斂緩慢。為此，有人提出了如下的改進(jìn)算法中w(k)既可表示單個(gè)的連接權(quán)系數(shù)，也可表示連接權(quán)向量（其元素為連接權(quán)系數(shù)）；D(k)=-E/w(k)為k時(shí)刻的負(fù)梯度；D(k-1)為k-1時(shí)刻的負(fù)梯度；α>0為學(xué)習(xí)率；η為動(dòng)量項(xiàng)因子，0≤η<1。28第二十八頁，共八十六頁，編輯于2023年，星期三(2)變步長法一階梯度法尋優(yōu)收斂較慢的一個(gè)重要原因是α不好選擇。選得太小，收斂太慢，若選得太大，則有可能修正得過頭，導(dǎo)致振蕩甚至發(fā)散。下面給出的這個(gè)變步長法即是針對這個(gè)問題而提出的。算法為這里w表示某個(gè)連接權(quán)系數(shù)。當(dāng)需要引入動(dòng)量項(xiàng)時(shí)，上述算法的第二項(xiàng)可修改如下：

29第二十九頁，共八十六頁，編輯于2023年，星期三11.2.3Hopfield神經(jīng)網(wǎng)絡(luò)1．Hopfield網(wǎng)絡(luò)的基本思想

Hopfield網(wǎng)絡(luò)作為一種全連接型神經(jīng)網(wǎng)絡(luò)，曾經(jīng)在人工神經(jīng)網(wǎng)絡(luò)研究發(fā)展歷程中起過喚起希望、開辟研究新途徑的作用。它用與階層神經(jīng)網(wǎng)絡(luò)不同的結(jié)構(gòu)特征和學(xué)習(xí)方法，模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理，獲得了令人滿意的結(jié)果。這一網(wǎng)絡(luò)及學(xué)習(xí)算法最初是由美國物理學(xué)家J.J.Hopfield于1982年首先提出來的，故稱為Hopfield網(wǎng)絡(luò)。30第三十頁，共八十六頁，編輯于2023年，星期三2．Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)與算法設(shè)網(wǎng)絡(luò)有n個(gè)神經(jīng)元，其中每個(gè)神經(jīng)元只能取“1”或“0”兩個(gè)狀態(tài)，各個(gè)神經(jīng)元的狀態(tài)可用向量U表示：其中ui=1或0（i=1，2，…，n）。

Hopfield網(wǎng)絡(luò)的各個(gè)神經(jīng)元都是相互連接的，即每一個(gè)神經(jīng)元都有自己的輸出通過連接權(quán)送給所有其他神經(jīng)元，同時(shí)每個(gè)神經(jīng)元又都接收所有其他神經(jīng)元傳遞過來的信息。31第三十一頁，共八十六頁，編輯于2023年，星期三對于Hopfield網(wǎng)絡(luò)已有定理證明，當(dāng)網(wǎng)絡(luò)滿足以下兩個(gè)條件時(shí)，Hopfield學(xué)習(xí)算法總是收斂的。

(1)網(wǎng)絡(luò)的連接權(quán)矩陣無連接且具有對稱性，即這一假設(shè)條件雖然不符合生物神經(jīng)網(wǎng)絡(luò)的實(shí)際情況（生物神經(jīng)網(wǎng)絡(luò)之間連接強(qiáng)度通常是不對稱的），但是卻與磁場中各磁旋的相互作用情況一致。

(2)網(wǎng)絡(luò)中各神經(jīng)元以非同步或串行方式，依據(jù)運(yùn)行規(guī)則改變其狀態(tài)，即各神經(jīng)元隨機(jī)選取方式，依據(jù)運(yùn)行規(guī)則改變狀態(tài)，且當(dāng)某個(gè)神經(jīng)元改變狀態(tài)時(shí)，其他所有神經(jīng)元保持原狀態(tài)不變，這一點(diǎn)符合生物神經(jīng)網(wǎng)絡(luò)的情況。32第三十二頁，共八十六頁，編輯于2023年，星期三3．網(wǎng)絡(luò)計(jì)算能量函數(shù)與網(wǎng)絡(luò)收斂從Hopfield網(wǎng)絡(luò)工作運(yùn)行規(guī)則可以看出，網(wǎng)絡(luò)中某個(gè)神經(jīng)元t時(shí)刻的輸出狀態(tài)，通過其他神經(jīng)元間接地與自己的t-1時(shí)刻的輸出狀態(tài)發(fā)生聯(lián)系。準(zhǔn)確地說，它是一個(gè)多輸人、多輸出、帶閾值的二態(tài)非線性動(dòng)力學(xué)系統(tǒng)。在滿足一定的參數(shù)條件下，某種“能量函數(shù)”的能量在網(wǎng)絡(luò)運(yùn)行過程中不斷地降低，最后趨于穩(wěn)定的平衡狀態(tài)。設(shè)t時(shí)刻網(wǎng)絡(luò)的狀態(tài)用n

個(gè)神經(jīng)元的輸出向量U(t)表示為33第三十三頁，共八十六頁，編輯于2023年，星期三而每個(gè)神經(jīng)元只有“1”或“0”兩種狀態(tài)，所以n個(gè)神經(jīng)元共有2n種狀態(tài)。從幾何學(xué)的角度看，這2n種狀態(tài)正好對應(yīng)一個(gè)n維超立方體的各個(gè)頂點(diǎn)。以n=3為例，一個(gè)立方體的八個(gè)頂點(diǎn)正好對應(yīng)網(wǎng)絡(luò)的八種狀態(tài)。網(wǎng)絡(luò)的能量函數(shù)可定義為網(wǎng)絡(luò)狀態(tài)的二次函數(shù)34第三十四頁，共八十六頁，編輯于2023年，星期三所謂網(wǎng)絡(luò)的收斂，就是指能量函數(shù)達(dá)到極小值?？梢宰C明，按照Hopfield工作運(yùn)行規(guī)則，改變網(wǎng)絡(luò)狀態(tài)，能量函數(shù)將單調(diào)減小。圖11.7是Hopfield網(wǎng)絡(luò)能量函數(shù)的示意圖。能量狀態(tài)0圖11.7Hopfield網(wǎng)絡(luò)能量函數(shù)示意圖35第三十五頁，共八十六頁，編輯于2023年，星期三4．聯(lián)想記憶記憶是生物神經(jīng)網(wǎng)絡(luò)一個(gè)最基本也是最重要的功能。人具有很強(qiáng)的模式識別能力，其主要原因之一就是人具有聯(lián)想記憶的能力。具體來說，人不僅能識別記憶中一個(gè)完整的模式，而且能根據(jù)記憶中模式的部分登記進(jìn)行正確的識別和分類。這種特征使人的識別能力具有很強(qiáng)的容錯(cuò)性。正因?yàn)槿绱耍S多研究人員對人的聯(lián)想記憶特征進(jìn)行了長期不懈的研究，并提出了一些模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡(luò)模型。其中最重要的并對未來神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重大影響的是Hopfield提出的反饋形式的神經(jīng)網(wǎng)絡(luò)模型（HNN）。36第三十六頁，共八十六頁，編輯于2023年，星期三

Hopfield網(wǎng)絡(luò)是如何實(shí)現(xiàn)聯(lián)想記憶的呢？前面曾經(jīng)指出，Hopfield網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，網(wǎng)絡(luò)的“能量函數(shù)”存在著一個(gè)或多個(gè)極小點(diǎn)（或稱為平衡點(diǎn)、平衡狀態(tài)）。當(dāng)某一時(shí)刻各神經(jīng)元的狀態(tài)確定之后，即網(wǎng)絡(luò)的初始狀態(tài)確定之后，網(wǎng)絡(luò)的狀態(tài)將按動(dòng)力學(xué)方程，即Hopfield工作運(yùn)行規(guī)則向能量遞減的方向變化，最后接近或達(dá)到網(wǎng)絡(luò)的平衡狀態(tài)。這種實(shí)際上可觀測的平衡狀態(tài)又稱為吸引子。實(shí)際上，吸引子可以是穩(wěn)定的，也可以是不穩(wěn)定的，可以是平衡點(diǎn)，也可以是極限環(huán)或混沌吸引子（奇異吸引子）。不隨時(shí)間變化的吸引子稱為穩(wěn)定平衡點(diǎn)。37第三十七頁，共八十六頁，編輯于2023年，星期三11.2.4局部遞歸型神經(jīng)網(wǎng)絡(luò)局部遞歸型神經(jīng)網(wǎng)絡(luò)可分為兩種：內(nèi)時(shí)延反饋型與外時(shí)延反饋型。1．內(nèi)時(shí)延反饋型網(wǎng)絡(luò)(1)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法內(nèi)時(shí)延反饋網(wǎng)絡(luò)有輸入、輸出和隱層，隱層節(jié)點(diǎn)具有時(shí)延反饋，設(shè)網(wǎng)絡(luò)外部輸人時(shí)間序列u(t)、隱層輸出o(t)，網(wǎng)絡(luò)輸出y(t)，則網(wǎng)絡(luò)描述為38第三十八頁，共八十六頁，編輯于2023年，星期三式中，1W、2W、HW分別為輸入至隱層、隱層至輸出層、隱層節(jié)點(diǎn)之間（包括節(jié)點(diǎn)自身）的聯(lián)接權(quán)矩陣；f1、f2非線性作用函數(shù)。網(wǎng)絡(luò)采用動(dòng)態(tài)BP學(xué)習(xí)算法：①設(shè)網(wǎng)絡(luò)的目標(biāo)函數(shù)（為簡單起見，網(wǎng)絡(luò)為多輸入單輸出）為式中，yd、y分別為樣本輸出、網(wǎng)絡(luò)輸出。39第三十九頁，共八十六頁，編輯于2023年，星期三②權(quán)調(diào)整算法隱層至輸出聯(lián)接權(quán)2W：式中隱層聯(lián)接權(quán)HW40第四十頁，共八十六頁，編輯于2023年，星期三式中41第四十一頁，共八十六頁，編輯于2023年，星期三輸入至隱層聯(lián)接權(quán)1W則可得動(dòng)態(tài)BP學(xué)習(xí)算法，權(quán)實(shí)時(shí)調(diào)整為42第四十二頁，共八十六頁，編輯于2023年，星期三式中(2)Elman網(wǎng)絡(luò)Elman網(wǎng)絡(luò)是典型的局部遞歸內(nèi)時(shí)延反饋型神經(jīng)網(wǎng)絡(luò)，分基本型與改進(jìn)型兩種。①基本Elman網(wǎng)絡(luò)基本Elman網(wǎng)絡(luò)結(jié)構(gòu)如圖11.8所示，是單輸入單獨(dú)出之例，其特點(diǎn)是，除了輸入、輸出和隱層節(jié)點(diǎn)外，還有與隱層節(jié)點(diǎn)數(shù)相同的反饋節(jié)點(diǎn)，其輸入是隱節(jié)點(diǎn)輸出的一步延遲。43第四十三頁，共八十六頁，編輯于2023年，星期三一般情況下考慮多輸入多輸出。設(shè)反饋層的輸出為yc(t)，網(wǎng)絡(luò)在外部輸入時(shí)間序列u(t)下的輸出序列為y(t)，則若將yc(t+1)用o(t)代入，則44第四十四頁，共八十六頁，編輯于2023年，星期三u(t)y(t+1)o(t+1)yc(t+1)反饋層隱含層圖11.8基本Elman網(wǎng)絡(luò)45第四十五頁，共八十六頁，編輯于2023年，星期三②改進(jìn)型Elman網(wǎng)絡(luò)改進(jìn)型Elman網(wǎng)絡(luò)結(jié)構(gòu)如圖11.9所示，與圖11.8比較可見，反饋節(jié)點(diǎn)有增益為α的自反饋連接，該網(wǎng)絡(luò)能模擬更高階的動(dòng)態(tài)系統(tǒng)。此時(shí)，反饋層的輸出為46第四十六頁，共八十六頁，編輯于2023年，星期三u(t)y(t+1)o(t+1)yc(t+1)反饋層隱含層圖11.9改進(jìn)型Elman網(wǎng)絡(luò)47第四十七頁，共八十六頁，編輯于2023年，星期三2．外時(shí)延反饋型網(wǎng)絡(luò)外時(shí)延反饋網(wǎng)絡(luò)又稱輸出時(shí)延反饋網(wǎng)，是由多層前饋網(wǎng)與輸出時(shí)延反饋兩部分組成，典型結(jié)構(gòu)如圖11.10所示。以單輸入單輸出網(wǎng)絡(luò)為例，設(shè)網(wǎng)絡(luò)的外部輸入時(shí)間序列為u(t)，輸出序列為y(t)，此時(shí)，多層前饋網(wǎng)的輸入有兩部分：u(t-1)，u(t-2)，…，u(t-m)與輸出反饋y(t-1)，y(t-2)，…，y(t-n)。它們由按拍延遲線實(shí)現(xiàn)，z-1表示一步延遲。48第四十八頁，共八十六頁，編輯于2023年，星期三u(t-1)u(t-m)y(t-n)y(t-1)y(t)u(t)圖11.10外時(shí)延反饋型局部遞歸網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)z-1z-1z-1z-149第四十九頁，共八十六頁，編輯于2023年，星期三網(wǎng)絡(luò)用BP算法調(diào)整權(quán)值：在時(shí)刻t，多層前饋網(wǎng)的輸入/輸出樣本對為網(wǎng)絡(luò)的輸出為目標(biāo)函數(shù)為式中，τ＝l，2，…，L，L為樣本長度。50第五十頁，共八十六頁，編輯于2023年，星期三訓(xùn)練網(wǎng)絡(luò)為用上面的式子進(jìn)行訓(xùn)練網(wǎng)絡(luò)，直到J≤ε，局部遞歸型網(wǎng)絡(luò)用于非線性系統(tǒng)辨識與控制中。51第五十一頁，共八十六頁，編輯于2023年，星期三11.3神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)用于控制，主要是為了解決復(fù)雜的非線性、不確定、不確知系統(tǒng)的控制問題。由于神經(jīng)網(wǎng)絡(luò)具有模擬人的部分智能的特性，主要是具有學(xué)習(xí)能力和自適應(yīng)性，使神經(jīng)網(wǎng)絡(luò)控制能對變化的環(huán)境具有自適應(yīng)性，且成為基本上不依賴于模型的一類控制。因此，神經(jīng)網(wǎng)絡(luò)控制已成為“智能控制”的一個(gè)新的分支。52第五十二頁，共八十六頁，編輯于2023年，星期三1．直接逆動(dòng)態(tài)控制直接逆動(dòng)態(tài)控制，也稱直接自校正控制，是前饋控制。神經(jīng)控制器（NNC）與被控對象串聯(lián)，NNC實(shí)現(xiàn)對象A的逆模型?-1，且能在線調(diào)整，可見，此種控制結(jié)構(gòu)，要求對象動(dòng)態(tài)可逆。圖11.11和圖11.12為該控制結(jié)構(gòu)的兩種方案，其中，圖11.11網(wǎng)絡(luò)NNC與NN具有相同的結(jié)構(gòu)和學(xué)習(xí)算法。由圖可知，控制系統(tǒng)的傳遞函數(shù)為P-1P=1，實(shí)際上，輸出y跟蹤輸入r的精度，取決于逆模型的精度。53第五十三頁，共八十六頁，編輯于2023年，星期三uyr-NNC（?-1）被控對象（A）NN（?-1）圖11.11神經(jīng)直接逆動(dòng)態(tài)控制1uyrNNC（?-1）被控對象（A）評價(jià)函數(shù)圖11.12神經(jīng)直接逆動(dòng)態(tài)控制254第五十四頁，共八十六頁，編輯于2023年，星期三2．間接自校正控制間接自校正控制，一般稱自校正控制，其結(jié)構(gòu)如圖11.13所示，由神經(jīng)網(wǎng)絡(luò)辨識器（NNI）對被控對象（A）進(jìn)行在線辨識（?），根據(jù)“確定性等價(jià)”原則，設(shè)計(jì)控制器參數(shù)，以達(dá)到有效控制的目的。uyr控制器設(shè)計(jì)辨識器（NNI）自校正控制器圖11.13神經(jīng)自校正控制被控對象（A）55第五十五頁，共八十六頁，編輯于2023年，星期三3．模型參考自適應(yīng)控制神經(jīng)模型參考自適應(yīng)控制有兩種結(jié)構(gòu)：直接型與間接型，如圖11.14和圖11.15所示。構(gòu)造一個(gè)參考模型，使其輸出為期望輸出，控制的目的是使y跟蹤yM。由于對象特性未知，因此，圖11.15結(jié)構(gòu)較好，神經(jīng)網(wǎng)絡(luò)NNI與NNC分別實(shí)現(xiàn)在線辨識器與控制器。-yMuyr-NNC被控對象（A）參考模型圖11.14直接型神經(jīng)模型參考自適應(yīng)控制56第五十六頁，共八十六頁，編輯于2023年，星期三yM---uyr參考模型辨識器（NNI）NNC圖11.15間接型神經(jīng)模型參考自適應(yīng)控制被控對象（A）57第五十七頁，共八十六頁，編輯于2023年，星期三4．PID控制

PID控制是最常用的一種控制方法，神經(jīng)PID控制，結(jié)構(gòu)如圖11.16所示，有兩個(gè)神經(jīng)網(wǎng)絡(luò)、分別為神經(jīng)辨識器NNI（A-1）與神經(jīng)控制器NNC（PID）。---uyrNNC（PID）被控對象（A）NNI圖11.16神經(jīng)PID控制58第五十八頁，共八十六頁，編輯于2023年，星期三5．內(nèi)?？刂苾?nèi)模控制，即內(nèi)部模型控制（IMC）都是一種很好的控制器設(shè)計(jì)方法，神經(jīng)內(nèi)?？刂平Y(jié)構(gòu)，如圖11.17所示。神經(jīng)辨識器NNI辨識對象A的模型?（內(nèi)部模型），神經(jīng)控制器NNC實(shí)現(xiàn)對象的逆模型?-1，濾波器是為了提高控制系統(tǒng)的魯棒性。內(nèi)?？刂瓶赏ㄟ^被控對象與內(nèi)部模型的輸出誤差來調(diào)整控制器的輸出。--uyr濾波器NNI（?）NNC（?-1）圖11.17神經(jīng)內(nèi)模控制被控對象（A）59第五十九頁，共八十六頁，編輯于2023年，星期三6．前饋反饋控制前饋反饋控制結(jié)構(gòu)，如圖11.18所示，常規(guī)控制器（如PD控制）為反饋控制，神經(jīng)控制器NNC為前饋控制，實(shí)現(xiàn)對象A的逆模型?-1。該控制結(jié)構(gòu)，起始時(shí)，由于誤差e很大，常規(guī)控制器起主導(dǎo)作用，由于神經(jīng)控制器NNC經(jīng)訓(xùn)練（信號uc），調(diào)整其權(quán)值，使誤差e→0，進(jìn)而使uc→0。此時(shí)，神經(jīng)控制器NNC起主導(dǎo)控制作用。由于常規(guī)控制器的存在，通過反饋，能起到有效抑制擾動(dòng)的作用。euc+-uyrNNC（?-1）被控對象（A）控制器圖11.18神經(jīng)前饋反饋控制60第六十頁，共八十六頁，編輯于2023年，星期三7．預(yù)測控制預(yù)測控制是一種基于模型的控制，其特點(diǎn)是，預(yù)測模型、滾動(dòng)優(yōu)化和反饋校正。已證明它對非線性系統(tǒng)的控制具有期望的穩(wěn)定性。神經(jīng)預(yù)測控制結(jié)構(gòu)如圖11.19所示，神經(jīng)預(yù)測器NNP可在線調(diào)整，建立非線性被控對象的預(yù)測模型，既可由對象第k時(shí)刻的輸入u(k)與輸出y(k)，預(yù)報(bào)控制系統(tǒng)未來的輸出y(k+i)，i>0，非線性優(yōu)化器實(shí)現(xiàn)優(yōu)化算法，使二次型性能指標(biāo)極小，以得到相應(yīng)的控制u(k)。--uyr濾波器NNP非線性優(yōu)化器圖11.19神經(jīng)預(yù)測控制被控對象（A）61第六十一頁，共八十六頁，編輯于2023年，星期三11.3.2神經(jīng)自校正控制自校正控制是一種由辨識器將對象參數(shù)進(jìn)行在線估計(jì)，用調(diào)節(jié)器（或控制器）實(shí)現(xiàn)參數(shù)的自動(dòng)整定相結(jié)合的自適應(yīng)控制技術(shù)，可用于結(jié)構(gòu)已知而參數(shù)未知但恒定的隨機(jī)系統(tǒng)，也可用于結(jié)構(gòu)已知而參數(shù)緩慢時(shí)變的隨機(jī)系統(tǒng)。但傳統(tǒng)的自校正控制，是將被控對象用線性或線性化模型進(jìn)行辨識，對于復(fù)雜的非線性系統(tǒng)的自校正控制，則難以實(shí)現(xiàn)，因此，具有一定的局限性。62第六十二頁，共八十六頁，編輯于2023年，星期三1．神經(jīng)自校正控制結(jié)構(gòu)神經(jīng)自校正控制結(jié)構(gòu)如圖11.20所示，它由兩個(gè)回路組成：uyr控制器設(shè)計(jì)辨識器（NNI）自校正控制器圖11.20神經(jīng)自校正控制框圖被控對象（A）63第六十三頁，共八十六頁，編輯于2023年，星期三(1)自校正控制器與被控對象構(gòu)成的反饋回路。(2)神經(jīng)網(wǎng)絡(luò)辨識器與控制器設(shè)計(jì)，以得到控制器的參數(shù)?？梢姳孀R器與自校正控制器的在線設(shè)計(jì)，是自校正控制實(shí)現(xiàn)的關(guān)鍵。設(shè)被控對象為式中，u、y分別為對象的輸入、輸出；r為控制系統(tǒng)的輸入；g[·]、φ[·]為非零函數(shù)。若g[·]、φ[·]已知，根據(jù)“確定性等價(jià)原則”，控制器的控制算法為此時(shí)，控制系統(tǒng)的輸出y(k)能精確地跟蹤輸入r(k)。64第六十四頁，共八十六頁，編輯于2023年，星期三若g[·]、φ[·]未知，則通過在線訓(xùn)練神經(jīng)網(wǎng)絡(luò)辨識器，使其逐漸逼近被控對象，此時(shí)，由辨識器的Ng[·]、Nφ[·]代替g[·]、φ[·]，則控制器的輸出為

式中，Ng[·]、Nφ[·]分別為組成辨識器的非線性動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)。65第六十五頁，共八十六頁，編輯于2023年，星期三2．神經(jīng)網(wǎng)絡(luò)辨識器為使問題簡化，考慮如下一階被控對象：神經(jīng)網(wǎng)絡(luò)辨識器如圖11.21所示。66第六十六頁，共八十六頁，編輯于2023年，星期三A(k+1)u(k)w0v0WVNg[·]Nφ[·]y(k)y(k)LLLHHHLLHHH圖11.21神經(jīng)網(wǎng)絡(luò)辯識器67第六十七頁，共八十六頁，編輯于2023年，星期三由兩個(gè)三層非線性DNTT實(shí)現(xiàn)，網(wǎng)絡(luò)輸入{y(k)，u(k)}，輸出為式中，W、V為兩個(gè)網(wǎng)絡(luò)的權(quán)系其中，p為隱層非線性節(jié)點(diǎn)數(shù)；w0=Ng[0，W]；v0=Nφ[0，V]。68第六十八頁，共八十六頁，編輯于2023年，星期三圖中，L為線性節(jié)點(diǎn)；H為非線性節(jié)點(diǎn)，每一網(wǎng)絡(luò)各為p個(gè)，所用非線性作用函數(shù)為則控制系統(tǒng)的輸出為可見，只有當(dāng)Ng[·]→g[·]與Nφ[·]→φ[·]時(shí)，才能使y(k)→r(k)。設(shè)準(zhǔn)則函數(shù)為69第六十九頁，共八十六頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)辨識的訓(xùn)練過程，即權(quán)系的調(diào)整過程：用BP學(xué)習(xí)算法：70第七十頁，共八十六頁，編輯于2023年，星期三則式中，ηw>0和ηv>0，它們決定著神經(jīng)網(wǎng)絡(luò)辨識器收斂于被控對象的速度。71第七十一頁，共八十六頁，編輯于2023年，星期三由以上所述，所描述的非線性被控對象的神經(jīng)自校正控制系統(tǒng)如圖11.22所示。NφA-Nguyr學(xué)習(xí)算法A(k+1)=Ng[y(k)]+Nφ[y(k)]u(k)u(k)=[r(k+1)-Ng[y(k)]]/Nφ[y(k)]圖11.22神經(jīng)自校正控制框圖y(k+1)=g[y(k)]+φ[y(k)]u(k)72第七十二頁，共八十六頁，編輯于2023年，星期三例11.1被控對象具有非線性時(shí)變特性，仿真模型為系統(tǒng)輸入為作用于被控對象的擾動(dòng)為73第七十三頁，共八十六頁，編輯于2023年，星期三則神經(jīng)網(wǎng)絡(luò)辨識器的模型為選非線性作用函數(shù)為權(quán)值調(diào)整算法為74第七十四頁，共八十六頁，編輯于2023年，星期三設(shè)隱層節(jié)點(diǎn)的輸出o(k)，輸入至隱層、隱層至輸出聯(lián)接權(quán)分別為1W、2W，則有經(jīng)反復(fù)設(shè)計(jì)，仿真檢驗(yàn)，最終?。?0.03≤1wi(0)，2wi(0)≤0.03的隨機(jī)數(shù)，w0=0，η=0.5，β=0.4。