第5章神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡控制技術

NeuralnetworkControl授課教師石慶升2023/9/23內(nèi)容提要河南工業(yè)大學電氣工程學院2智能控制智能控制概述模糊控制神經(jīng)網(wǎng)絡控制遺傳算法專家系統(tǒng)第五章神經(jīng)網(wǎng)絡控制5.1人工神經(jīng)網(wǎng)絡5.2神經(jīng)網(wǎng)絡的基本知識5.3幾種類型的神經(jīng)網(wǎng)絡5.4神經(jīng)網(wǎng)絡控制系統(tǒng)5.5MATLAB神經(jīng)網(wǎng)絡工具箱介紹河南工業(yè)大學電氣工程學院智能控制:第五章神經(jīng)網(wǎng)絡控制5.1人工神經(jīng)網(wǎng)絡ANNs什么是人工神經(jīng)網(wǎng)絡？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應?！盇NNs研究的目的和意義(1)通過揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。(2)爭取構造出盡可能與人腦具有相似功能的計算機，即ANN計算機。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。

研究ANN方法（1）生理結構的模擬：用仿生學觀點，探索人腦的生理結構，把對人腦的微觀結構及其智能行為的研究結合起來即人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwroks，簡稱ANNs）方法。（2）宏觀功能的模擬：從人的思維活動和智能行為的心理學特性出發(fā)，利用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符號處理方法。ANN的研究內(nèi)容（1）理論研究：ANN模型及其學習算法，試圖從數(shù)學上描述ANN的動力學過程，建立相應的ANN模型，在該模型的基礎上，對于給定的學習樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的算法。（2）實現(xiàn)技術的研究：探討利用電子、光學、生物等技術實現(xiàn)神經(jīng)計算機的途徑。（3）應用的研究：探討如何應用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。人工神經(jīng)網(wǎng)絡研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡的研究經(jīng)歷了不少的曲折，大體上可分為四個階段:

產(chǎn)生時期(20世紀50年代中期之前)

1943年，心理學家Mcculloch和數(shù)理邏輯學家Pitts在分析、總結神經(jīng)元基本特性的基礎上首先提出神經(jīng)元的數(shù)學模型。(先驅(qū))1948年，馮·諾依曼在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經(jīng)元構成的再生自動機網(wǎng)絡結構。

高潮時期(20世紀50年代中期到20世紀60年代末期)

50年代末，F(xiàn)·Rosenblatt設計制作了“感知機”。這項工作首次把人工神經(jīng)網(wǎng)絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題。

然而，以下兩個原因使得此項研究陷入低潮：

1）當時數(shù)字計算機的發(fā)展處于全盛時期許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；2）當時的電子技術工藝水平比較落后要制作在規(guī)模上與真實的神經(jīng)網(wǎng)絡相似是完全不可能的；

低潮時期(20世紀60年代末到20世紀80年代初期)

隨著人們對感知機興趣的衰退，神經(jīng)網(wǎng)絡的研究沉寂了相當長的時間。

蓬勃發(fā)展時期(20世紀80年代以后)80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數(shù)字計算機的發(fā)展在若干應用領域遇到困難。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經(jīng)網(wǎng)絡研究的論文，引起了巨大的反響。人們重新認識到神經(jīng)網(wǎng)絡的威力以及付諸應用的現(xiàn)實性。

腦神經(jīng)信息活動的特征(1)巨量并行性。(2)信息處理和存儲單元結合在一起。(3)自組織自學習功能。

生物神經(jīng)網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡三層前饋網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡全局遞歸型神經(jīng)網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡基本Elman網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡改進型Elman網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡局部遞歸型神經(jīng)網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡連續(xù)型Hopfield網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡+小腦模型神經(jīng)網(wǎng)絡（CMAC）智能控制:第五章神經(jīng)網(wǎng)絡控制生物神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡PID神經(jīng)網(wǎng)絡智能控制:第五章神經(jīng)網(wǎng)絡控制5.2神經(jīng)網(wǎng)絡的基本知識5.2.1人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡是對人或動物腦神經(jīng)若干基本特性的抽象和模擬。生物神經(jīng)元的模型：生物神經(jīng)元由細胞體、樹突和軸突組成河南工業(yè)大學電氣工程學院21細胞體樹突軸突另一個神經(jīng)元智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院22

樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和超過某個閾值，神經(jīng)元將產(chǎn)生沖動。智能控制:第五章神經(jīng)網(wǎng)絡控制人工神經(jīng)網(wǎng)絡基本模型河南工業(yè)大學電氣工程學院23模仿生物神經(jīng)元產(chǎn)生沖動的過程，可以建立一個典型的人工神經(jīng)元數(shù)學模型：-θ1

眾多的人工神經(jīng)元連接在一起就構成了人工神經(jīng)網(wǎng)絡，簡稱神經(jīng)網(wǎng)絡。智能控制:第五章神經(jīng)網(wǎng)絡控制基本人工神經(jīng)元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputox1x2xnw2wnw1w0x0=+1輸入維數(shù)增加一維x0，則把域值-θ包括進去W0=-θ智能控制:第五章神經(jīng)網(wǎng)絡控制人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權：W=（w1，w2，…，wn）T網(wǎng)絡輸入：net=∑xiwi-θ向量形式：net=XW-θ激活函數(shù)：f網(wǎng)絡輸出：o=f（net）

智能控制:第五章神經(jīng)網(wǎng)絡控制典型激活函數(shù)netooc線性函數(shù)（LinerFunction）

f（net）=k*net+cnet

γ-γ

θ

-θ

o

非線性斜面函數(shù)（RampFunction）或稱為飽和線性函數(shù)f(net)=(|net+1|-|net-1|)/2a+bo(0,c)netac=a+b/2

S形函數(shù)f(net)=(1-e-λnet)/(1+e-λnet)

智能控制:第五章神經(jīng)網(wǎng)絡控制硬限函數(shù)（HardLimiterFunction）

f（net）= 1 net≥0

-1或0 net<0net0-11O高斯函數(shù)（GaussFunction）

f(net)=e-net2/λ2net01O激活函數(shù)的典型應用硬限函數(shù) 分類線性函數(shù) 函數(shù)逼近飽和線性 分類Sigmoid函數(shù)

分類、函數(shù)逼近或優(yōu)化Gauss函數(shù) 徑向基函數(shù)神經(jīng)網(wǎng)絡(RBF網(wǎng)絡)舉例：用MP神經(jīng)元實現(xiàn)兩個輸入的邏輯與、或、異或激活函數(shù)

f

采用硬限函數(shù)。兩個輸入的邏輯與或異或的邏輯真值表x1 x2 yAND yOR yXOR0 0 0 0 00 1 0 1 11 0 0 1 11 1 1 1 011x1x2θ=2y22x1x2θ=2y22m1m2θ=2yx1x2-12θ=22-1θ=2分析：邏輯與：

net=x1×1+x2×1-θ={-2-1-10} y=f(net)={0001}邏輯或： net=x1×2+x2×2-θ={-2002} y=f(net)={0111}異或：

net1=x1×2+x2×(-1)-2={-2-30-1}

net2=x1×(-1)+x2×2-2={-20-3-1}

m1=f(net1)={0010} m2=f(net2)={0100} net=m1×2+m2×2-2={-200-2} y=f(net)={0110}上述結果與真值表對比結果一致。河南工業(yè)大學電氣工程學院30（1）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡中的存儲是按內(nèi)容分布于許多神經(jīng)元中的，部分神經(jīng)元的損壞不會影響整個網(wǎng)絡的信息恢復。（2）自適應性與自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可調(diào)性，這使得神經(jīng)網(wǎng)絡可以通過學習和訓練進行自組織。智能控制:第五章神經(jīng)網(wǎng)絡控制5.2.2人工神經(jīng)網(wǎng)絡基本特性及表示基本特性河南工業(yè)大學電氣工程學院31（3）并行處理性。網(wǎng)絡的各單元可以同時進行類似的處理過程，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的，處理速度快。（4）能以任意精度逼近任意的非線性函數(shù)關系。智能控制:第五章神經(jīng)網(wǎng)絡控制基本特性河南工業(yè)大學電氣工程學院32信號流圖（有向圖）表示。信號流圖是由一些帶方向的連接和節(jié)點組成。信號沿連接線按箭頭方向流動。連接線：突觸連接和函數(shù)連接節(jié)點：求和節(jié)點和分送節(jié)點智能控制:第五章神經(jīng)網(wǎng)絡控制神經(jīng)網(wǎng)絡表示河南工業(yè)大學電氣工程學院335.2.3神經(jīng)網(wǎng)絡的結構從連接方式分為前饋型網(wǎng)絡和反饋型網(wǎng)絡。前饋網(wǎng)絡：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層?！悄芸刂?第五章神經(jīng)網(wǎng)絡控制輸出層輸入層 隱層河南工業(yè)大學電氣工程學院34反饋網(wǎng)絡：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出信號引回自身輸入的自環(huán)反饋。智能控制:第五章神經(jīng)網(wǎng)絡控制……輸入 輸出 神經(jīng)網(wǎng)絡工作過程兩個階段第一階段學習期各計算單元狀態(tài)不變，各連線權值可通過學習來修改。第二階段工作期各連線權值固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)。作用效果分析：前饋網(wǎng)絡主要是函數(shù)映射反饋網(wǎng)絡按對能量函數(shù)的極小點的利用分類：

所有極小點都起作用：用作各種聯(lián)想存儲器

全局極小點起作用：用作求解最優(yōu)化問題用于模式識別和函數(shù)逼近河南工業(yè)大學電氣工程學院36神經(jīng)網(wǎng)絡的學習方式/網(wǎng)絡③強化學習（再勵學習）神經(jīng)網(wǎng)絡是有導師學習的特例。只對輸出結果給評價，系統(tǒng)通過強化受獎勵的輸出改善自身性能。①有導師學習（監(jiān)督學習）神經(jīng)網(wǎng)絡：為神經(jīng)網(wǎng)絡提供樣本數(shù)據(jù)，對網(wǎng)絡進行訓練，使網(wǎng)絡的輸入輸出關系逼近樣本數(shù)據(jù)的輸入輸出關系。②無導師學習（非監(jiān)督學習）神經(jīng)網(wǎng)絡：不為神經(jīng)網(wǎng)絡提供樣本數(shù)據(jù)，學習過程中網(wǎng)絡自動將輸入數(shù)據(jù)的特征提取出來。智能控制:第五章神經(jīng)網(wǎng)絡控制①感知器、誤差反傳網(wǎng)絡（BP）、小腦模型連接控制器（CMAC）、模塊（組合）網(wǎng)絡、增強學習網(wǎng)絡②競爭學習和Kohonen網(wǎng)絡、Hopfield網(wǎng)絡、雙向聯(lián)想存貯器（BAM）、Boltzman機③GA舉例：典型網(wǎng)絡結構簡單單級網(wǎng)……x1x2…xno1o2onwnmw11w1mw2mwn1輸出層輸入層 智能控制:第五章神經(jīng)網(wǎng)絡控制輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 net單級橫向反饋網(wǎng)智能控制:第五章神經(jīng)網(wǎng)絡控制輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 net多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………智能控制:第五章神經(jīng)網(wǎng)絡控制循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院415.2.4最簡單的神經(jīng)網(wǎng)絡：感知器（Perceptron)模型

Perceptron模型是美國學者Rosenblutt在1957年提出的，首次使神經(jīng)網(wǎng)絡具有了學習的能力，后來的神經(jīng)網(wǎng)絡模型都是在此模型的基礎上進行的改進和推廣。該模型的結構：-θ1該模型的數(shù)學模型：權值或連接強度，可調(diào)令wn+1=-θ，xn+1=1，則：，智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院42Perceptron模型的學習方法：輸入一學習樣本X=（x1，x2，……xn，1）和它的希望輸出d。計算網(wǎng)絡的實際輸出：用下式對權值w進行修正：反復修改，直至w穩(wěn)定不變其實是最優(yōu)化方法的最速梯度下降法，目標是使函數(shù)最小，也就是使網(wǎng)絡的輸出盡可能地逼近希望輸出d。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院43智能控制:第五章神經(jīng)網(wǎng)絡控制 上述模型可以看出神經(jīng)網(wǎng)絡通過一組狀態(tài)方程和一組學習方程加以描述。狀態(tài)方程描述每個神經(jīng)元的輸入、輸出、權值間的函數(shù)關系；學習方程描述權值應該怎樣修正。神經(jīng)網(wǎng)絡通過修正這些權值來進行學習，從而調(diào)整整個神經(jīng)網(wǎng)絡的輸入輸出關系。單層感知器

用于兩類模式分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。已證明若輸入的兩類模式是線性可分集合（指存在一個超平面能將其分開），則算法一定收斂。局限性若輸入模式為線性不可分集合，網(wǎng)絡的學習算法不收斂，不能進行正確分類。舉例線性可分集合（1）二維平面上的兩類模式，見表。用圖所示二輸入/單輸出單層感知器，輸入輸出描述：

即

可見：輸入輸出為線性可分集合，因此一定可找到一條直線，將輸入模式分為兩類，此直線方程：則見圖，此直線與權值及閾值有關。舉例

線性可分集合平面上的兩類模式分類用圖所示三輸入/單輸出的單層感知器，輸入輸出：

即可見，輸入輸出為線性可分集合，一定可找到一個平面，將輸入模式分為兩類，平面方程：則此平面與權值及閾值有關，見圖。（2）三維空間上的兩類模式

（3）可引伸到n>3維空間上的線性可分集合，一定可找到一超平面，將輸入模式分為兩類。由n輸入/單輸出的單層感知器實現(xiàn)。

對二維平面上的另一類模式——異或（XOR）問題見表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見圖?？梢姡簡螌痈兄鞑荒芙鉀Q異或問題。感知器網(wǎng)絡感知器是前饋(正向傳輸)網(wǎng)絡,所有節(jié)點都是線性的.●●●●●●●●●●●●x1x2xny1y2ym權向量W BP網(wǎng)絡與感知器的主要差別在于： BP網(wǎng)絡的節(jié)點是非線性的。采用廣義 學習規(guī)則。智能控制:第五章神經(jīng)網(wǎng)絡控制輸入與輸出的關系：權矩陣可以按下式求解：學習規(guī)則：代表輸入與輸出的差別。是學習因子隨著學習迭代次數(shù)k的增加，保證網(wǎng)絡的收斂。這學習規(guī)則即是著名的學習規(guī)則。智能控制:第五章神經(jīng)網(wǎng)絡控制小結通過向環(huán)境學習而獲取知識并改進自身性能是神經(jīng)網(wǎng)絡的一個重要特點。一般情況下是按某種預定的度量通過凍結自身參數(shù)（如權值）逐步達到的。智能控制:第五章神經(jīng)網(wǎng)絡控制5.3幾種類型的神經(jīng)網(wǎng)絡河南工業(yè)大學電氣工程學院535.3.1前向多層BP神經(jīng)網(wǎng)絡BP算法權值修正……d+-輸入層隱層輸出層訓練算法信息的傳播方向智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院54沿信息的傳播方向，給出網(wǎng)絡的狀態(tài)方程，用和表示第i層第j個神經(jīng)元的輸入和輸出，則網(wǎng)絡的各層輸入輸出關系可描述為：第一層（輸入層）：將輸入引入網(wǎng)絡第二層（隱層）：連接強度網(wǎng)絡的結構智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院55為激活函數(shù)，可以取不同的形式，如：S函數(shù)：高斯基函數(shù)：徑向基函數(shù)、樣條基函數(shù)、小波函數(shù)等智能控制:第五章神經(jīng)網(wǎng)絡控制其中，河南工業(yè)大學電氣工程學院56第三層（輸出層）：網(wǎng)絡的學習學習的基本思想是：通過一定的算法調(diào)整網(wǎng)絡的權值，使網(wǎng)絡的實際輸出盡可能接近期望的輸出。在本網(wǎng)絡中，采用誤差反傳（BP）算法來調(diào)整權值。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院57

假設當網(wǎng)絡的輸入為X=（x1，x2，……，xn)時，網(wǎng)絡的實際輸出為Y=（y1，y2，……，ym)，網(wǎng)絡的期望輸出為D=（d1，d2，……，dm)。則定義學習的目標函數(shù)為：平均方差BP算法通過下列公式來調(diào)整權值，使目標函數(shù)最?。鹤钏偬荻认陆捣▽W習率智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院58具體說來，有：其中：偏差逐步反傳智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院59學習的流程：輸入X，根據(jù)網(wǎng)絡的狀態(tài)方程沿信號傳播方向計算出網(wǎng)絡輸出Y假設已知輸入為X時，期望輸入為D，則網(wǎng)絡學習的流程為：計算目標函數(shù)J<ε?yes訓練完成修正權值No智能控制:第五章神經(jīng)網(wǎng)絡控制●多層前向神經(jīng)網(wǎng)絡的結構圖一個輸入層，一個輸出層，多個隱層。jpp1xp1xpndpk

dpmOp1OpnOp2隱層wj1wjn輸入層隱層輸出層信息流······pm智能控制:第五章神經(jīng)網(wǎng)絡控制隱層節(jié)點j輸出和輸入節(jié)點p的關系：輸出節(jié)點k和隱層輸出節(jié)點p的關系：學習過程：定義輸出誤差多層前向神經(jīng)網(wǎng)絡的BP算法智能控制:第五章神經(jīng)網(wǎng)絡控制學習的目的是要使以下定義的誤差平方和最?。阂虼耍笠韵碌钠珜?，引入誤差，最后得到二個權值改變的重要公式：智能控制:第五章神經(jīng)網(wǎng)絡控制初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權值改變訓練樣本訓練要終止？迭代終止？BP算法的基本流程NoNoyy智能控制:第五章神經(jīng)網(wǎng)絡控制舉例：用BP網(wǎng)絡逼近非線性函數(shù)取BP網(wǎng)絡，隱節(jié)點作用函數(shù)選對稱型S函數(shù)，輸出節(jié)點為線性；BP算法，?。唬?）訓練輸入樣本集u=-0.5:0.05:0.45，圖（a）‘*’；訓練輸出樣本集，圖（b）‘*’，樣本集長度；（2）測試輸入集u1=-0.48:0.05:0.47，圖（a）中‘+’；測試數(shù)據(jù)集，圖（b）中‘+’；（5）網(wǎng)絡泛化能力見圖，訓練集目標函數(shù)（實線）；測試集目標函數(shù)（虛線），t=1~1500；由圖知：1000次訓練后，再訓練：網(wǎng)絡的已幾乎不減小，說明網(wǎng)絡的權系值已幾乎不調(diào)整了。BP網(wǎng)絡訓練例河南工業(yè)大學電氣工程學院685.3.2Hopfield網(wǎng)絡（反饋網(wǎng)絡）……智能控制:第五章神經(jīng)網(wǎng)絡控制Hopfield網(wǎng)絡有離散與連續(xù)兩種類型。連續(xù)Hopfield網(wǎng)結構見圖。用模擬電路（電阻、電容和運算放大器）實現(xiàn)網(wǎng)絡的神經(jīng)元（節(jié)點）。Hopfield單層反饋非線性網(wǎng)，每一節(jié)點的輸出反饋至輸入。

連續(xù)型Hopfield網(wǎng)絡網(wǎng)絡的描述河南工業(yè)大學電氣工程學院71網(wǎng)絡的狀態(tài)方程可以描述為網(wǎng)絡的學習假設d(k+1)是網(wǎng)絡的期望輸出，定義目標函數(shù)為：同樣可以根據(jù)BP算法來對網(wǎng)絡權值進行訓練：智能控制:第五章神經(jīng)網(wǎng)絡控制有關的幾個問題

對于具有N個神經(jīng)元的網(wǎng)絡，其狀態(tài)可以用向量S來確定：

S是N位二進制信息，滿足以下條件：

1）時間t趨近無限，允許回歸網(wǎng)絡達到穩(wěn)態(tài)；

2）在非線性函數(shù)的原點，斜率無窮大，具有硬限幅器特性。

工作過程1）存貯階段。確定權值矩陣。設要存貯的向量為：則按外積規(guī)則，神經(jīng)元i到神經(jīng)元j的連接權定義為：寫成向量形式：2）第二階段信息檢索輸入信息，進行隨機的、異步的迭代，直到網(wǎng)絡達到穩(wěn)定，這時單元的輸出為：穩(wěn)定條件也稱匹配條件。狀態(tài)向量滿足匹配條件的稱系統(tǒng)相空間的穩(wěn)定點或固定點，檢索完成，Hopfield收斂到穩(wěn)態(tài)。舉例：由3個神經(jīng)元組成的Hopfield網(wǎng)絡，有2個基本存貯器，存貯2個向量[1，-1，1]和[-1，1，-1]，設計權連接矩陣。按公式：相應的連接圖形如右：滿足匹配條件的固定點或向量計算如下：其它點都是不穩(wěn)定的點，例如，對[1，1，1]，和[1，1，-1]，迭代結果都移向穩(wěn)定點。對[1，1，1]對[1，1，-1]此過程可用圖表示如右：●關于Hopfield網(wǎng)絡的穩(wěn)定性問題設定網(wǎng)絡的能量函數(shù)：保證：討論Hopfield網(wǎng)絡的工作過程有4個步驟：1）存貯（學習），異步、隨機。2）初始化，加入初始試樣，然后移走。3）迭代直至收斂4）輸出，得到穩(wěn)定點。有能量函數(shù)，保證迭代過程能量的增量為負。連續(xù)Hopfield網(wǎng)絡具有同樣的性質(zhì)。●雙向聯(lián)想存貯器BMA是一個雙層回歸聯(lián)想存貯器，是Hopfield網(wǎng)絡的擴展，也是內(nèi)容編址存貯器，但各單元可以有自反饋。（一）全反饋型神經(jīng)網(wǎng)絡

反饋型神經(jīng)網(wǎng)絡（RNN）也稱互聯(lián)型網(wǎng)絡，是具有反饋的網(wǎng)絡，是動態(tài)網(wǎng)。分為兩種：

全反饋型與局部反饋型。全反饋型（RNN）網(wǎng)絡網(wǎng)絡結構網(wǎng)絡的學習算法：有導師的學習已知希望的輸入/輸出時間序列，在時間t=t0～t之間，使所定的評價函數(shù)（誤差平方和函數(shù)）最小的權系搜索問題。這一問題，歸結到非線性系統(tǒng)的參數(shù)最優(yōu)化問題。有兩種算法：

沿時間BP（BPTT）算法實時遞歸學習（RTRL）算法由于該網(wǎng)絡權值多，穩(wěn)定性與收斂性很難調(diào)試，故控制中很少用。（二）Elman網(wǎng)絡圖

基本Elman網(wǎng)絡（2）改進型Elman網(wǎng)絡

圖改進型Elman網(wǎng)絡網(wǎng)絡結構見圖，與基本Elman比較，反饋節(jié)點有增益為的自反饋連接，該網(wǎng)絡能模擬更高階動態(tài)系統(tǒng)。反饋層輸出：

（三）外時延反饋型網(wǎng)絡圖

局部遞歸網(wǎng)絡——外時延反饋型網(wǎng)絡用BP算法調(diào)整權值：

圖

外時延反饋型網(wǎng)絡河南工業(yè)大學電氣工程學院865.3.3小腦神經(jīng)網(wǎng)絡（CMAC）

小腦模型關節(jié)控制器（CMAC）是由Albus最初于1975年基于神經(jīng)生理學提出的，它是一種基于局部逼近的簡單快速的神經(jīng)網(wǎng)絡，CMAC是一種聯(lián)想網(wǎng)絡，對每一輸出只有一小部分神經(jīng)元與之相關，它的聯(lián)想具有局部泛化能力。與感知器相似，適合非線性映射。特點：1)具有局部逼近能力，每次修正的權值極少，學習速度快，適合于在線學習。2)一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出。3）具有連續(xù)輸入輸出能力。4）具有尋址編程方式。在利用計算機仿真時，響應速度加快。智能控制:第五章神經(jīng)網(wǎng)絡控制

1.CMAC的原理

智能控制:第五章神經(jīng)網(wǎng)絡控制CMAC是一種模仿人類小腦的學習結構，其一般結構如下圖所示。yM/AC＋U輸入空間雜散編碼AP(W)輸出輸入向量CMAC結構在這種技術里，每個狀態(tài)變量被量化并且問題空間被劃分成離散狀態(tài)。量化的輸入構成的向量指定了一個離散狀態(tài)并且被用于產(chǎn)生地址來激活聯(lián)想單元中存儲的聯(lián)想強度從而恢復這個狀態(tài)的信息。河南工業(yè)大學電氣工程學院90

對于輸入空間較大的情況，為了減少存儲空間，幾個聯(lián)想單元可以通過hash映射被分配同一個存儲單元（hash單元）。這時，聯(lián)想單元中只存儲hash單元的散列地址編碼，而hash單元中才存儲真正的聯(lián)想強度。由于hash映射增加了分析CMAC行為的難度，所以只有當存儲器空間不夠時才使用hash映射。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院91下圖描述了雙變量CMAC的空間劃分和量化機制。

超立方體聯(lián)想單元“塊”智能控制:第五章神經(jīng)網(wǎng)絡控制V1V2河南工業(yè)大學電氣工程學院92

這個簡單的例子有兩個狀態(tài)變量（V1和V2），每個變量在論域上被劃分為幾個離散的區(qū)域叫做“塊”。塊的寬度影響CMAC的概括能力。 為了能夠用較簡潔的矩陣形式來描述CMAC的機制和特性，在這里我們將塊的數(shù)量限定為2。譬如，V1被劃分為A、B；V2被劃分為a、b。區(qū)域Aa,Ab,Ba

和Bb被稱作“超立方體”（hypercubes）。

智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院93

通過將每個變量以相同的方式平移一小段間隔（稱為“元素”，如圖中1，2，3，4），可以獲得不同的超立方體。例如，V1通過平移后的區(qū)域C，D和V2的c，d組成一層新的超立方體Cc，Cd，Dc，Dd。 我們規(guī)定，相同的劃分方式組成一層超立方體，例如V1的第p種劃分方式與V2的第p種劃分方式對應組成第p層超立方體。用上述方法分解，我們可以得到一共有3層的超立方體，其中每一層對應一種劃分方式。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院94

從圖中可看出，兩變量的每一種狀態(tài)組合(1,2,…,16)在每一層都被一個超立方體覆蓋，則對應所有的劃分方式，一共被3個不同的超立方體覆蓋。 也就是說，兩變量的每一種狀態(tài)將激活3個不同的超立方體，CMAC為每個超立方體分配一個物理的存儲單元（聯(lián)想單元），每個聯(lián)想單元中存儲著相應的超立方體對于輸出的影響強度（聯(lián)想強度），這樣，兩變量的每一種狀態(tài)將激活Ne個不同的聯(lián)想單元，這被激活的Ne個聯(lián)想單元又以不同的聯(lián)想強度影響輸出。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院952CMAC學習的數(shù)學推導無hash映射的CMAC

在CMAC中，每個量化的狀態(tài)屬于Ne個超立方體（聯(lián)想單元）。假設Nh是總的聯(lián)想單元的數(shù)量。用CMAC技術，第s個狀態(tài)對應的輸出數(shù)據(jù)ys可以被表示為：

式中，W是代表存儲內(nèi)容（聯(lián)想強度）的向量，Cs是存儲單元激活向量，該向量包含Ne個1。智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院96

在決定了空間的劃分方式后，對于指定的狀態(tài)，單元激活向量Cs也隨之確定。例如，對于圖中的CMAC，有16個離散狀態(tài)，并且安排了標號。有12個聯(lián)想單元分別對應超立方體Aa,Ab,Ba,Bb,Cc,Cd,Dc,Dd,Ee,Ef,Fe和Ff，這些單元從1到12按升序排列。則第1個狀態(tài)被超立方體Aa、Cc、Ee覆蓋，將激活與這三個超立方體相對應的聯(lián)想單元，對應于該狀態(tài)的激活向量因此為智能控制:第五章神經(jīng)網(wǎng)絡控制河南工業(yè)大學電氣工程學院97有hash映射的CMAC

hash映射將幾個聯(lián)想單元和一個物理存儲位置(hash單元)相對應。hash單元中存儲聯(lián)想強度，而此時的聯(lián)想單元是虛擬的存儲空間，只存儲hash單元的散列地址編碼。有hash映射的CMAC特別適用于存儲空間小于超立方體數(shù)量時的情況。用有hash映射的CMAC技術，第s個狀態(tài)對應的輸出數(shù)據(jù)ys可以被表示為：智能控制:第五章神經(jīng)網(wǎng)絡控制

式中，Mp是hash單元的數(shù)量，它小于聯(lián)想單元數(shù)Nh。hij=1表示聯(lián)想單元i激活hash單元