利用simulink對自適應控制系統(tǒng)模型進行仿真分析

1、第一章 前言1.1 課題的意義：本畢業(yè)設計旨在學習并比較各種自適應控制算法，掌握matlab語言，利用simulink對自適應控制系統(tǒng)模型進行仿真分析。自適應控制是人們要求越來越高的控制性能和針對被控系統(tǒng)的高度復雜化，高度不確定性的情況下產生的，是人工智能滲入到應用科技領域的必然結果。并在常規(guī)控制理論的基礎上得到進一步的發(fā)展和提高。進入21世紀以來，智能控制技術和遠程監(jiān)測技術繼續(xù)飛速發(fā)展，逐漸被應用到電力、交通和物流等領域。從衛(wèi)星智能控制，到智能家居機器人；從公共場所的無線報警系統(tǒng)，到家用煤氣、自來水等數(shù)據(jù)的采集?？梢哉f，智能控制技術和遠程監(jiān)測技術己經滲透到了人們日常生活之中，節(jié)約了大量的人力

2、和物力，給人們的日常生活帶來了極大的便利。目前，自適應控制的研究以認知科學、心理學、社會學、系統(tǒng)學、語言學和哲學為基礎，有效的把數(shù)字技術、遠程通信、計算機網絡、數(shù)據(jù)庫、計算機圖形學、語音與聽覺、機器人學、過程控制等技術有機的結合，提供了解決復雜問題的有效手段。自適應控制是在人們在追求高控制性能、高度復雜化和高度不確定性的被控系統(tǒng)情況下產生的，是人工智能滲入到應用科技領域的必然結果，并在常規(guī)控制理論的基礎上得到進一步的發(fā)展和提高。主要研究對象從單輸入、單輸出的常系數(shù)線性系統(tǒng)，發(fā)展為多輸入、多輸出的復雜控制系統(tǒng)。自適應控制理論的產生為解決復雜系統(tǒng)控制問題開辟了新的途徑，成為當下控制領域的研究和發(fā)展

3、熱點。1.2 國內外研究概況及發(fā)展趨勢：1943年，心理學家W·Mcculloch和數(shù)理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數(shù)學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網絡研究的先驅。1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經元構成的再生自動機網絡結構。但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續(xù)投身于指令存儲式

4、計算機技術的研究，并在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯(lián)系在一起的，但他也是人工神經網絡研究的先驅之一。 50年代末，F(xiàn)·Rosenblatt設計制作了“感知機”，它是一種多層的神經網絡。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網絡的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當時數(shù)字計算機的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機

5、的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經網絡相似是完全不可能的；另外，在1968年一本名為感知機的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經網絡的前景失去信心。60年代末期，人工神經網絡的研究進入了低潮。 另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續(xù)取值的線性加權求和閾值網絡。后來，在此基礎上發(fā)展了非線性多層自適應網絡。當時，這些工作雖未標出神經網絡的名稱，而

6、實際上就是一種人工神經網絡模型。隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數(shù)字計算機的發(fā)展在若干應用領域遇到困難。這一背景預示，向人工神經網絡尋求出路的時機已經成熟。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現(xiàn)實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。 1985年，Ac

7、kley，Hinton，and Sejnowski將模擬退火算法應用到神經網絡訓練中，提出了Boltzmann機，該算法具有逃離極值的優(yōu)點，但是訓練時間需要很長。1986年，Rumelhart，Hinton，and Williams提出了多層前饋神經網絡的學習算法，即BP算法。它從證明的角度推導算法的正確性，是學習算法有理論依據(jù)。從學習算法角度上看，是一個很大的進步。1988年，Broomhead and Lowe第一次提出了徑向基網絡：RBF網絡。1.3 設計要求1、 設計要求1) 首先完成簡單控制系統(tǒng)模塊的仿真分析；2) 提出自適應控制系統(tǒng)設計的方法；3) 建立基于神經網絡的自適應控制系統(tǒng)

8、的仿真模型；4) 利用simulink對基于神經網絡的自適應控制系統(tǒng)模型進行仿真；5) 從仿真結果分析基于神經網絡模型的自適應控制算法的性能。2、 原始資料1) MATLAB語言；2) 控制系統(tǒng)設計的基礎理論；3) Simulink中控制系統(tǒng)模塊的應用；4) 翻譯相關課題英文資料。第二章 神經網絡2.1神經網絡簡介人工神經網絡（artificial neural network，ANN）是模仿生物神經網絡功能的一種經驗模型。生物神經元受到傳入的刺激，其反應又從輸出端傳到相聯(lián)的其它神經元，輸入和輸出之間的變換關系一般是非線性的。神經網絡是由若干簡單（通常是自適應的）元件及其層次組織，以大規(guī)模并行

9、連接方式構造而成的網絡，按照生物神經網絡類似的方式處理輸入的信息。模仿生物神經網絡而建立的人工神經網絡，對輸入信號有功能強大的反應和處理能力9。神經網絡是由大量的處理單元（神經元）互相連接而成的網絡。為了模擬大腦的基本特性，在神經科學研究的基礎上，提出了神經網絡的模型。但是，實際上神經網絡并沒有完全反映大腦的功能，只是對生物神經網絡進行了某種抽象、簡化和模擬8。神經網絡的信息處理通過神經元的互相作用來實現(xiàn)，知識與信息的存儲表現(xiàn)為網絡元件互相分布式的物理聯(lián)系。神經網絡的學習和識別取決于各種神經元連接權系數(shù)的動態(tài)演化過程。若干神經元連接成網絡，其中的一個神經元可以接受多個輸入信號，按照一定的規(guī)則轉

10、換為輸出信號。由于神經網絡中神經元間復雜的連接關系和各神經元傳遞信號的非線性方式，輸入和輸出信號間可以構建出各種各樣的關系，因此可以用來作為黑箱模型，表達那些用機理模型還無法精確描述、但輸入和輸出之間確實有客觀的、確定性的或模糊性的規(guī)律。因此，人工神經網絡作為經驗模型的一種，在化工生產、研究和開發(fā)中得到了越來越多的用途。2.2神經網絡結構與學習規(guī)則2.2.1 人工神經元模型圖3-1表示出了作為人工神經網絡（artificial neural network，以下簡稱NN）的基本單元的神經元模型，它有三個基本要素：圖3-1 人工神經網絡模型（i）一組連接（對應于生物神經元的突觸），連接強度由各連

11、接上的權值表示，權值為正表示激活，為負表示抑制。（ii）一個求和單元，用于求取各輸入信號的加權和（線性組合）。（iii）一個非線性激活函數(shù)，起非線性映射作用并將神經元輸出幅度限制在一定范圍內（一般限制在或之間）。此外還有一個閾值（或偏置）。以上作用可分別以數(shù)學式表達出來： ， ， 式中為輸入信號，為神經元之權值，為線性組合結果，為閾值，為激活函數(shù)，為神經元的輸出。若把輸入的維數(shù)增加一維，則可把閾值包括進去。例如 ，此處增加了一個新的連接，其輸入為（或），權值為（或），如圖3-2所示。圖3-2 復雜人工神經網絡模型激活函數(shù)可以有以下幾種：（i）閾值函數(shù) 即階梯函數(shù)。這時相應的輸出為 其中，常稱此

12、種神經元為模型。（ii）分段線性函數(shù) 它類似于一個放大系數(shù)為1的非線性放大器，當工作于線性區(qū)時它是一個線性組合器，放大系數(shù)趨于無窮大時變成一個閾值單元。（iii）sigmoid函數(shù)最常用的函數(shù)形式為 參數(shù)可控制其斜率。另一種常用的是雙曲正切函數(shù) 這類函數(shù)具有平滑和漸近性，并保持單調性。Matlab中的激活（傳遞）函數(shù)如下表所示：表2-1 傳遞函數(shù)函數(shù)名功 能purelin線性傳遞函數(shù)hardlim硬限幅傳遞函數(shù)hardlims對稱硬限幅傳遞函數(shù)satlin飽和線性傳遞函數(shù)satlins對稱飽和線性傳遞函數(shù)logsig對數(shù)S形傳遞函數(shù)tansig正切S形傳遞函數(shù)radbas徑向基傳遞函數(shù)comp

13、et競爭層傳遞函數(shù)各個函數(shù)的定義及使用方法，可以參看Matlab的幫助（如在Matlab命令窗口運行help tansig，可以看到tantig的使用方法，及tansig的定義為）。2.2.2 網絡結構及工作方式除單元特性外，網絡的拓撲結構也是NN的一個重要特性。從連接方式看NN主要有兩種。（i）前饋型網絡各神經元接受前一層的輸入，并輸出給下一層，沒有反饋。結點分為兩類，即輸入單元和計算單元，每一計算單元可有任意個輸入，但只有一個輸出（它可耦合到任意多個其它結點作為其輸入）。通常前饋網絡可分為不同的層，第層的輸入只與第層輸出相連，輸入和輸出結點與外界相連，而其它中間層則稱為隱層。（ii）反饋型

14、網絡所有結點都是計算單元，同時也可接受輸入，并向外界輸出。NN的工作過程主要分為兩個階段：第一個階段是學習期，此時各計算單元狀態(tài)不變，各連線上的權值可通過學習來修改；第二階段是工作期，此時各連接權固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)。從作用效果看，前饋網絡主要是函數(shù)映射，可用于模式識別和函數(shù)逼近。反饋網絡按對能量函數(shù)的極小點的利用來分類有兩種：第一類是能量函數(shù)的所有極小點都起作用，這一類主要用作各種聯(lián)想存儲器；第二類只利用全局極小點，它主要用于求解最優(yōu)化問題。 2.2.3 神經網絡的學習方式學習是神經網絡的主要特征之一。學習規(guī)則就是修正神經元之間連接強度或加權系數(shù)的算法，使獲得的知識結構

15、適應周圍環(huán)境的變化。在學習過程中，執(zhí)行學習規(guī)則，修正加權系數(shù)。神經網絡的學習方式主要分為有導師(指導式)學習、無導師(自學式)學習和再勵學習(強化學習)三種： （l）有導師學習：就是在學習的過程中，有一個期望的網絡輸出，學習算法根據(jù)給定輸入的神經網絡實際輸出與期望輸出之間的誤差來調整神經元的連接強度，即權值。因此學習需要有導師來提供期望輸出信號。(2)無導師學習：就是在學習過程中不需要有期望輸出，因而不存在直接的誤差信息。網絡學習需要建立一個間接的評價函數(shù)，每個處理單元能夠自適應連接權值，以對網絡的某種行為趨向作出評價。(3)再勵學習：這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結果只給出

16、評價(獎或罰)而不是給出正確答案，學習系統(tǒng)經過強化那些受獎勵的行為來改善自身性能。2.2.4 神經網絡的學習規(guī)則神經網絡通常采用的網絡學習規(guī)則包括以下三種：(l)誤差糾正學習規(guī)則令是輸入時神經元k在n時刻的實際輸出，表示應有的輸出(可由訓練樣本給出)，則誤差信號可寫為： 誤差糾正學習的最終目的是使某一基于的目標函數(shù)達到要求，以使網絡中每一輸出單元的實際輸出在某種統(tǒng)計意義上逼近應有輸出。一旦選定了目標函數(shù)形式，誤差糾正學習就變成了一個典型的最優(yōu)化問題，最常用的目標函數(shù)是均方誤差判據(jù)，定義為誤差平方和的均值：其中E為期望算子。上式的前提是被學習的過程是平穩(wěn)的，具體方法可用最優(yōu)梯度下降法。直接用J作

17、為目標函數(shù)時需要知道整個過程的統(tǒng)計特性，為解決這一問題，通常用J在時刻n的瞬時值代替J，即： 問題變?yōu)榍驟對權值w的極小值，據(jù)梯度下降法可得：其中為學習步長，這就是通常所說的誤差糾正學習規(guī)則。(2)Hebb學習規(guī)則由神經心理學家Hebb提出的學習規(guī)則可歸納為“當某一突觸連接兩端的神經元同時處于激活狀態(tài)(或同為抑制)時，該連接的強度應增加，反之應減弱”用數(shù)學方式可描述為：由于與的相關成比例，有時稱為相關學習規(guī)則。(3)競爭學習規(guī)則顧名思義，在競爭學習時，網絡各輸出單元互相競爭，最后達到只有一個最強者激活，最常見的一種情況是輸出神經元之間有側向抑制性連接，這樣原來輸出單元中如有某一單元較強，則它將

18、獲勝并抑制其它單元，最后只有此強者處于激活狀態(tài)。最常用的競爭學習規(guī)則可寫為：第三章 仿真環(huán)境3.1 Matlab簡介MATLAB(Matrix Laboratory)是美國 MathWorks 公司開發(fā)的用于概念設計，算法開發(fā)，建模仿真，實時實現(xiàn)的理想的集成環(huán)境，是目前最好的科學計算類軟件。MATLAB 已發(fā)展成為適合眾多學科，多種工作平臺、功能強大的大型軟件，成為了諸多領域的開發(fā)首選軟件，并且， MATLAB 還具有500 余家第三方合作伙伴，分布在科學計算、機械動力、化工、計算機通訊、汽車、金融等領域，接口方式包括了聯(lián)合建模、數(shù)據(jù)共享、開發(fā)流程銜接等等。在歐美等國家的高校，MATLAB已成

19、為線性代數(shù)、自動控制理論、數(shù)理統(tǒng)計、數(shù)字信號處理、時間序列分析、動態(tài)系統(tǒng)仿真等高級課程的基本教學工具。成為攻讀學位的本科、碩士、博士生必須掌握的基本技能。在設計研究單位和工業(yè)開發(fā)部門，MATLAB被廣泛的應用于研究和解決各種具體問題。3.2 MATLAB的主要組成部分： 3.2.1開發(fā)環(huán)境(development Environment)：為MATLAB用戶或程序編制員提供的一套應用工具和設施。由一組圖形化用戶接口工具和組件集成：包括MATLAB桌面、命令窗口、命令歷史窗口、編輯調試窗口及幫助信息、工作空間、文件和搜索路徑等瀏覽器；3.2.2 MATLAB數(shù)學函數(shù)庫(Math Function

20、 Library)：數(shù)學和分析功能在MATLAB工具箱中被組織成8個文件夾。 elmat 初步矩陣，和矩陣操作。 elfun 初步的數(shù)學函數(shù)。求和、正弦、余弦和復數(shù)運算等specfun 特殊的數(shù)學函數(shù)。矩陣求逆、矩陣特征值、貝塞爾函數(shù)等；matfun 矩陣函數(shù)用數(shù)字表示的線性代數(shù)。 atafun 數(shù)據(jù)分析和傅立葉變換。 polyfun 插值，多項式。 funfun 功能函數(shù)。 sparfun 稀疏矩陣。3.2.3 MATLAB 語言：MATLAB Language一種高級編程語言（高階的矩陣/數(shù)組語言），包括控制流的描述、函數(shù)、數(shù)據(jù)結構、輸入輸出及面對對象編程；3.2.4 句柄圖形(Handl

21、e Graphics) ：MATLAB制圖系統(tǒng)具有2維、三維的數(shù)據(jù)可視化，圖象處理，動畫片制作和表示圖形功能?？梢詫Ω鞣N圖形對象進行更為細膩的修飾和控制。允許你建造完整的圖形用戶界面（GUI），以及建立完整的圖形界面的應用程序。制圖法功能在MATLAB工具箱中被組織成5個文件夾： graph2d 二維數(shù)圖表。 graph3d 三維圖表。 specgraph 專業(yè)化圖表。 graphics 制圖法。 uitools 圖形用戶界面工具。3.2.5 應用程序接口 (Applied Function Interface) ：MATLAB的應用程序接口允許用戶使用C或FORTRAN語言編寫程序與MATL

22、AB連接。圖3-1 Matlab開發(fā)環(huán)境3.3 MATLAB的語言特點一種語言之所以能如此迅速地普及，顯示出如此旺盛的生命力，是由于它有著不同于其他語言的特點。正如同F(xiàn)ORTRAN和C等高級語言使人們擺脫了需要直接對計算機硬件資源進行操作一樣，被稱作為第四代計算機語言的MATLAB，利用其豐富的函數(shù)資源，使編程人員從繁瑣的程序代碼中解放出來。MATLAB的最突出的特點就是簡潔。MATLAB用更直觀的、符合人們思維習慣的代碼，代替了C和FORTRAN語言的冗長代碼。MATLAB給用戶帶來的是最直觀、最簡潔的程序開發(fā)環(huán)境。以下簡單介紹一下MATLAB的主要特點。語言簡潔緊湊，使用方便靈活，庫函數(shù)極

23、其豐富。MATLAB程序書寫形式自由，利用其豐富的庫函數(shù)避開繁雜的子程序編程任務，壓縮了一切不必要的編程工作。由于庫函數(shù)都由本領域的專家編寫，用戶不必擔心函數(shù)的可靠性?？梢哉f，用MATLAB進行科技開發(fā)是站在專家的肩膀上。具有FORTRAN和C等高級計算機語言知識的讀者可能已經注意到，如果用FORTRAN或C語言去編寫程序，尤其當涉及矩陣運算和畫圖時，編程會很麻煩。例如，如果用戶想求解一個線性代數(shù)方程，就得編寫一個程序塊讀入數(shù)據(jù)，然后再使用一種求解線性方程的算法（例如追趕法）編寫一個程序塊來求解方程，最后再輸出計算結果。在求解過程中，最麻煩的要算第二部分。解線性方程的麻煩在于要對矩陣的元素作循

24、環(huán)，選擇穩(wěn)定的算法以及代碼的調試都不容易。即使有部分源代碼，用戶也會感到麻煩，且不能保證運算的穩(wěn)定性。解線性方程的程序用FORTRAN和C這樣的高級語言編寫至少需要好幾十行。再如用雙步QR方法求解矩陣特征值，如果用FORTRAN編寫，至少需要四百多行，調試這種幾百行的計算程序可以說很困難。以下為用MATLAB編寫以上兩個小程序的具體過程。用MATLAB求解下列方程，并求矩陣A的特征值。 其中：解為：x=Ab；設A的特征值組成的向量為e，e=eig（A）?？梢?，MATLAB的程序極其簡短。更為難能可貴的是，MATLAB甚至具有一定的智能水平，比如上面的解方程，MATLAB會根據(jù)矩陣的特性選擇方程

25、的求解方法，所以用戶根本不用懷疑MATLAB的準確性。運算符豐富。由于MATLAB是用C語言編寫的，MATLAB提供了和C語言幾乎一樣多的運算符，靈活使用MATLAB的運算符將使程序變得極為簡短，具體運算符見附表。MATLAB既具有結構化的控制語句（如for循環(huán)、while循環(huán)、break語句和if語句），又有面向對象編程的特性。語法限制不嚴格，程序設計自由度大。例如，在MATLAB里，用戶無需對矩陣預定義就可使用。程序的可移植性很好，基本上不做修改就可以在各種型號的計算機和操作系統(tǒng)上運行。MATLAB的圖形功能強大。在FORTRAN和C語言里，繪圖都很不容易，但在MATLAB里，數(shù)據(jù)的可視化

26、非常簡單。MATLAB還具有較強的編輯圖形界面的能力。MATLAB的缺點是，它和其他高級程序相比，程序的執(zhí)行速度較慢。由于MATLAB的程序不用編譯等預處理，也不生成可執(zhí)行文件，程序為解釋執(zhí)行，所以速度較慢。功能強勁的工具箱是MATLAB的另一重大特色。MATLAB包含兩個部分：核心部分和各種可選的工具箱。核心部分中有數(shù)百個核心內部函數(shù)。其工具箱又可分為兩類：功能性工具箱和學科性工具箱。功能性工具箱主要用來擴充其符號計算功能、圖示建模仿真功能、文字處理功能以及與硬件實時交互功能。功能性工具箱能用于多種學科。而學科性工具箱是專業(yè)性比較強的，如control、toolbox、signal proc

27、essing toolbox、communication toolbox等。這些工具箱都是由該領域內的學術水平很高的專家編寫的，所以用戶無需編寫自己學科范圍內的基礎程序，而直接進行高、精、尖的研究。下表列出了MATLAB的核心部分及其工具箱等產品系列的主要應用領域。源程序的開放性。開放性也許是MATLAB最受人們歡迎的特點。除內部函數(shù)以外，所有MATLAB的核心文件和工具箱文件都是可讀可改的源文件，用戶可通過對源文件的修改以及加入自己的文件構成新的工具箱。第四章 基于BP神經網絡的自適應控制算法4.1 BP神經網絡4.1.1 BP神經網絡定義 BP (Back Propagation)神經網絡

28、是一種神經網絡學習算法。其由輸入層、中間層、輸出層組成的階層型神經網絡，中間層可擴展為多層。相鄰層之間各神經元進行全連接，而每層各神經元之間無連接，網絡按有教師示教的方式進行學習，當一對學習模式提供給網絡后，各神經元獲得網絡的輸入響應產生連接權值（Weight）。然后按減小希望輸出與實際輸出誤差的方向，從輸出層經各中間層逐層修正各連接權，回到輸入層。此過程反復交替進行，直至網絡的全局誤差趨向給定的極小值，即完成學習的過程。4.1.2 BP神經網絡模型及其基本原理BP神經網絡是誤差反向傳播神經網絡的簡稱，它由一個輸入層，一個或多個隱含層和一個輸出層構成，每一次由一定數(shù)量的的神經元構成。這些神經元

29、如同人的神經細胞一樣是互相關聯(lián)的。其結構如圖4-1所示： 圖4-1 BP神經網絡模型生物神經元信號的傳遞是通過突觸進行的一個復雜的電化學等過程， 在人工神經網絡中是將其簡化模擬成一組數(shù)字信號通過一定的學習規(guī)則而不斷變動更新的過程，這組數(shù)字儲存在神經元之間的連接權重。網絡的輸入層模擬的是神經系統(tǒng)中的感覺神經元，它接收輸入樣本信號。輸入信號經輸入層輸入， 通過隱含層的復雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中，誤差通過梯度下降算法，分攤給各層的所有單元，從而獲得各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權值，網絡

30、權值因此被重新分布。此過程完成后， 輸入信號再次由輸入層輸入網絡，重復上述過程。這種信號正向傳播與誤差反向傳播的各層權值調整過程周而復始地進行著，直到網絡輸出的誤差減少到可以接受的程度，或進行到預先設定的學習次數(shù)為止。權值不斷調整的過程就是網絡的學習訓練過程。BP 神經網絡的信息處理方式具有如下特點： 1）信息分布存儲。人腦存儲信息的特點是利用突觸效能的變化來調整存儲內容， 即信息存儲在神經元之間的連接強度的分布上， B P神經網絡模擬人腦的這一特點，使信息以連接權值的形式分布于整個網絡。2) 信息并行處理。人腦神經元之間傳遞脈沖信號的速度遠低于馮·諾依曼計算機的工作速度，但是在很多

31、問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。BP神經網絡的基本結構模仿人腦，具有并行處理的特征，大大提高了網絡功能。3）具有容錯性。生物神經系統(tǒng)部分不嚴重損傷并不影響整體功能，BP神經網絡也具有這種特性，網絡的高度連接意味著少量的誤差可能不會產生嚴重的后果，部分神經元的損傷不破壞整體，它可以自動修正誤差。這與現(xiàn)代計算機的脆弱性形成鮮明對比。4）具有自學習、自組織、自適應的能力。BP神經網絡具有初步的自適應與自組織能力，在學習或訓練中改變突觸權值以適應環(huán)境，可以在使用過程中不斷學習完善自己的功能，并且同一網絡因學習方式的不同可以具有不同的功能，它甚至

32、具有創(chuàng)新能力，可以發(fā)展知識，以至超過設計者原有的知識水平。4.1.3 BP神經網絡的主要功能目前，在人工神經網絡的實際應用中。絕大部分的神經網絡模型都采用BP神經網絡及其變化形式。它也是前向網絡的核心部分，體現(xiàn)了人工神經網絡的精華。BP網絡主要用于以下四方面。函數(shù)逼近：用輸入向量和相應的輸出向量訓練一個網絡以逼近一個函數(shù)。模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。分類：把輸入向量所定義的合適方式進行分類。數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。4.2 基于BP神經網絡的PID自適應控制實例4.2.1實例原理PID控制要取得好的控制效果，就必須通過調整好比例、積分和微分三種控制作用

33、，在形成控制量中相互配合又相互制約的關系。神經網絡具有逼近任意非線性函數(shù)的能力，而且結構和學習算法簡單明確。可以通過對系統(tǒng)性能的學習來實現(xiàn)具有最佳組合的PID控制。采用基于BP神經網絡的PID自適應控制，可以建立參數(shù)、自學習的神經PID控制，從而達到參數(shù)自行調整的。實例控制器由兩部分組成：（1）經典的PID控制器：直接對被控對象進行閉環(huán)控制，仍然是靠改變三個參數(shù)、來獲得滿意的控制效果。（2）神經網絡：根據(jù)系統(tǒng)的運行狀態(tài)，調節(jié)PID控制器的參數(shù)，以其達到某種性能指標的最優(yōu)化。采用如圖4-2的系統(tǒng)結構，即使輸出層神經元的輸出狀態(tài)對應于PID控制器的三個可調參數(shù)、，通過神經網絡的自身學習、加權系數(shù)調

34、整，從而使其穩(wěn)定狀態(tài)對應于某種最優(yōu)控制規(guī)律下的PID的控制器各個參數(shù)。采用基于BP神經網絡的PID控制的系統(tǒng)結構如圖4-2所示：BP神經網絡被控對象PID控制器+r kp ki kd u y - e 圖4-2 基于BP神經網絡的PID控制結構圖圖4-2中的BP神經網絡選如圖4-3的形式，采用三層結構：一個輸入層，一個隱含層，一個輸出層，j表示輸入層節(jié)點，i表示隱層節(jié)點，l表示輸出層節(jié)點。輸入層有m個輸入節(jié)點，隱含層有q個隱含節(jié)點，輸出層有3個輸出節(jié)點。輸入節(jié)點對應所選的系統(tǒng)運行狀態(tài)量，如系統(tǒng)不同時刻的輸入量和輸出量，偏差量等。輸出節(jié)點分別對應PID控制器的三個參數(shù)、，由于、不能為負，所以輸出層

35、神經元活化函數(shù)取非負的Sigmoid函數(shù)。ijl 輸入節(jié)點輸出層節(jié)點隱層節(jié)點 圖4-3 BP神經網絡結構圖由圖可見，此處BP神經網絡的輸入層輸出為 j=1，2，3m 隱層輸入為： 隱層輸出為： =1，2 式中，為輸入層到隱含層加權系數(shù)，上標（1）、（2）、（3）分別代表輸入層、隱含層、輸出層，f(x)為正負對稱的Sigmoid函數(shù)，即 。最后網絡輸出層三個節(jié)點的輸入為 最后的輸出層的三個輸出為 ： =1，2，3 即 式中，為隱層到輸出層加權系數(shù)，輸出層神經元活化函數(shù)為 取性能指標函數(shù) 用梯度下降法修正網絡的權系數(shù)，并附加一使搜索快速收斂全局極小的慣性項，則有： 為學習率，為慣性系數(shù)。其中： （

36、4-1）這里需要用到的變量，由于模型可以未知，所以未知，但是可以測出的相對變化量，即：也可以近似用符號函數(shù)： 取代，由此帶來計算上的不精確可以通過調整學習速率來補償。這樣做一方面可以簡化運算，另一方面避免了當很接近時導致式（4-1）趨于無窮。這種替代在算法上是可以的，因為是式（4-1）中的一個乘積因子，他的符號的正負決定著權值變化的方向，而數(shù)值變化的大小只影響權值變化的速度，但是權值變化的速度可以通過學習步長加以調節(jié)。由式：可得： （4-2）這樣，可得BP神經網絡輸出層權計算公式為 把上式代入后得： 可令，則上式可寫為： 由式（4-2）可確定，由符號函數(shù)代替，由可得。同理可得隱含層權計算公式為

37、 =1，2， 令 則： =1，2， 該控制器的算法如下：（1）確定BP神經網絡的結構，即確定輸入節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給各層加權系數(shù)的初值和，選定學習速率和慣性系數(shù)，此時k=1；（2）采樣得到rin(k)和yout(k)，計算該時刻誤差error(k)=rin(k)-yout(k)；（3）計算神經網絡NN各層神經元的輸入、輸出，NN輸出層的輸出即為PID控制器的三個可調參數(shù)，；（4）根據(jù)經典增量數(shù)字PID的控制算法(見下式)計算PID控制器的輸出u(k)； （5）進行神經網絡學習，在線調整加權系數(shù)和實現(xiàn)PID控制參數(shù)的自適應調整；（6）置k=k+1，返回到（1）。4.2.2 實例運行結果

38、（程序見附錄一）仿真輸入： rin(k)=1.0;仿真輸出：a(k)=1.2*(1-0.8*exp(-0.1*k); yout(k)=a(k)*y_1/(1+y_12)+u_1;BP網絡參數(shù)：IN=4;H=5;Out=3; 圖4-4預想輸出與實際輸出圖4-5 輸入與輸出間的誤差圖4-6 PID參數(shù)仿真輸入： rin(k)=sin(1*2*pi*k*ts);仿真輸出：a(k)=1.2*(1-0.8*exp(-0.1*k); yout(k)=a(k)*y_1/(1+y_12)+u_1;BP網絡參數(shù)：IN=4;H=5;Out=3; 圖4-7預想輸出與實際輸出圖4-8 輸入與輸出間的誤差圖4-6 PI

39、D參數(shù)4.3 仿真結果通過仿真實例可以直觀地看出：基于BP神經網絡的PID控制器可以通過學習自動調整PID參數(shù)，使系統(tǒng)誤差調整在允許誤差范圍內。4.4 結果分析BP神經網絡最主要的優(yōu)點是具有極強的非線性映射能力。理論上，對于一個三層和三層以上的BP網絡，只要隱層神經元數(shù)目足夠多，該網絡就能以任意精度逼近一個非線性函數(shù)。其次，BP神經網絡具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯(lián)想的方式，才能將相關神經元全部調動起來。BP 神經網絡通過預先存儲信息和學習機制進行自適應訓練，可以從不完整的信息和噪聲干擾中恢復原始的完整信息。這種能力使

40、其在圖像復原、語言處理、模式識別等方面具有重要應用。再次，BP 神經網絡對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分類， 解決了神經網絡發(fā)展史上的非線性分類難題。另外， BP 神經網絡具有優(yōu)化計算能力。BP神經網絡本質上是一個非線性優(yōu)化問題， 它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標函數(shù)達到最小。不過，其優(yōu)化計算存在局部極小問題，必須通過改進完善。由于BP網絡訓練中穩(wěn)定性要求學習效率很小，所以梯度下降法使得訓練很慢。動量法因為學習率的提高通常比單純的梯度下降法要快一些，但在實際應用中還是速度不夠，這兩種方法通常只應用于遞

41、增訓練。多層神經網絡可以應用于線性系統(tǒng)和非線性系統(tǒng)中，對于任意函數(shù)模擬逼近。當然，感知器和線性神經網絡能夠解決這類網絡問題。但是，雖然理論上是可行的，但實際上BP網絡并不一定總能有解。對于非線性系統(tǒng)，選擇合適的學習率是一個重要的問題。在線性網絡中，學習率過大會導致訓練過程不穩(wěn)定。相反，學習率過小又會造成訓練時間過長。和線性網絡不同，對于非線性多層網絡很難選擇很好的學習率。對那些快速訓練算法，缺省參數(shù)值基本上都是最有效的設置。非線性網絡的誤差面比線性網絡的誤差面復雜得多，問題在于多層網絡中非線性傳遞函數(shù)有多個局部最優(yōu)解。尋優(yōu)的過程與初始點的選擇關系很大，初始點如果更靠近局部最優(yōu)點，而不是全局最優(yōu)

42、點，就不會得到正確的結果，這也是多層網絡無法得到最優(yōu)解的一個原因。為了解決這個問題，在實際訓練過程中，應重復選取多個初始點進行訓練，以保證訓練結果的全局最優(yōu)性。網絡隱層神經元的數(shù)目也對網絡有一定的影響。神經元數(shù)目太少會造成網絡的不適性，而神經元數(shù)目太多又會引起網絡的過適性。第五章 基于RBF神經網絡的自適應控制算法5.1 RBF網絡5.1.1 RBF網絡的結構RBF神經元網絡即Radial Basis Function Neural Network，它的產生具有很強的生物學背景。在人的大腦皮層區(qū)域中，局部調節(jié)及交疊的感受野(Receptive Field)是人腦反應的特點。基于感受野這一特性，

43、Moody和Darken提出了一種神經網絡結構，即RBF網絡。圖5-1是這種思想的結構圖。圖5-1 RBF神經網絡這是一種前向網絡的拓撲結構，隱含層的單元是感受野單元，每個感受野單元輸出為i=Ri(X) =Ri(X-ci/i)， i= 1，HX是N維輸入向量，ci是與X同維數(shù)的向量，Ri(·)具有局部感受的特點。例如Ri(·)取高斯函數(shù)，即Ri(X)=exp(-X-ci2/2i)，Ri(·)只有在ci周圍的一部分區(qū)域內有較強的反應，這正體現(xiàn)了大腦皮質層的反應特點。RBF神經元網絡不僅具有上述的生物學背景，而且還有數(shù)學理論的支持。利用正則化方法證明了如下結論。若S=

44、(Xi，Yi)Rn×R i=1，N是訓練集合，(·，w)表示未知的函數(shù)，其中w也未知。正則化問題的學習過程是尋找及參數(shù)w使H =(Yi-(Xi，w)2+P2最小。用變分原理可以證明應該選擇徑向基函數(shù)(Ra-dial Basis Function) 。5.2 RBF網絡的自適應控制算法RBF 網絡是一種三層前饋網絡, 由輸入層、輸出層和隱層組成。其中, 輸入層和輸出層皆由線性神經元組成; 隱層的激活函數(shù)( 核函數(shù)) 采用中心徑向對稱衰減的非負非線性函數(shù), 其作用是對輸入信號在局部產生響應。輸入層與隱層之間的權值固定為1, 只有隱層與輸出層之間的權值可調。設輸入矢量 , 隱層節(jié)

45、點個數(shù)為m, RBF 網絡的輸出可表示為: 式中: 是第i 個隱層節(jié)點與輸出層之間的權值; 為隱層激活函數(shù)。通常采用如下高斯函數(shù)式中: 和分別表示該隱層節(jié)點的寬度和中心矢量;|.|是歐氏范數(shù)。RBF 選取得越多, 網絡的逼近精度越高, 但同時也會使網絡的泛化能力下降, 因此, 在滿足一定逼近精度的條件下, 應選取盡可能少的中心向量, 以保證網絡有較好的泛化能力。本文提出的算法, 根據(jù)網絡的輸出誤差在輸入空間的非均勻分布, 以及每個RBF 對網絡所作貢獻的大小, 通過相應的添加和刪除策略對網絡參數(shù)進行自適應調整, 使網絡的逼近性能和泛化能力都達到較高的要求。同時, 網絡的訓練和工作可以交替進行,

46、所以它能夠適應外界環(huán)境的緩慢變化。5.2.1 添加策略添加策略綜合考慮了網絡輸出誤差在輸入空間的非均勻分布。需要統(tǒng)計每個輸入矢量產生的輸出誤差,然后通過比較找出誤差相對較大的點, 再在這些點附近適當?shù)夭迦腚[層節(jié)點。設是一組訓練樣本, 初始時刻, 隱層節(jié)點數(shù)為零, 每次執(zhí)行添加操作, 依據(jù)以下準則判斷是否添加隱層節(jié)點: 式中: 是網絡輸出均方誤差; 和分別對應與輸入向量Xk 最接近的隱層節(jié)點中心和輸入向量。如果滿足添加條件, 則將設為新的隱層節(jié)點中心, 將ek 設為新節(jié)點的權值, 中心寬度取5.2.2 刪除策略由于RBF 神經網絡是一種局部感知場網絡, 網絡總的輸出取決于隱層與輸出層之間的權值和

47、隱層節(jié)點中心與輸入矢量之間的距離。進行訓練時, 所選取的訓練樣本相對比較稀疏。當某一個隱層節(jié)點中心離每一個輸入矢量都很遠時, 即使其權值是一個較大的數(shù), 也不會對輸出產生太大的影響。在訓練結束后進行檢驗的過程中, 檢驗的數(shù)據(jù)一般都比較密集, 若某些輸入矢量離該隱層中心較近, 則輸出會受到很大的影響,這使網絡的泛化能力變差。因此需要制定一種策略來刪除這樣的隱層節(jié)點, 由此引入了刪除策略。刪除策略是針對每個隱層節(jié)點對整個網絡所作貢獻的大小不同而提出的。貢獻大的節(jié)點, 繼續(xù)保留; 貢獻小的節(jié)點, 則刪除。對任意隱層節(jié)點i, 用A i 來表示它對整個網絡所作的貢獻。A i 定義為: 執(zhí)行刪除操作前,

48、先對Ai 進行歸一化處理, 即。最后的判斷規(guī)則為: 若, 則刪除第i 個隱層節(jié)點, 其中為判決門限。在采用梯度下降法調整隱層節(jié)點中心位置和權值的過程中, 需要計算每個輸入矢量對應的輸出誤差ek ,以及每個隱層節(jié)點的輸出值。而執(zhí)行添加和刪除操作時也需要計算ek 和。為了減小計算量, 提高運算效率, 可以在調整隱層的中心位置和權值的過程中先保存ek 和 的值。5.2.3 算法流程自適應RBF 神經網絡學習算法的具體流程如圖1所示。對RBF 進行訓練之前, 先確定最大訓練次數(shù)M和訓練允許誤差E r , 作為訓練結束的條件。整個算法的流程大體可分成三個部分。第一個部分是調節(jié)隱層節(jié)點的中心位置和隱層與輸

49、出層之間的權值。本文采用梯度下降法, 每循環(huán)一次, 相應地調節(jié)一次。第二個部分是執(zhí)行添加操作。添加的策略是根據(jù)輸出誤差在輸入空間分布的不均勻性而提出的。如果執(zhí)行該操作過頻, 不但會減小隱層節(jié)點的中心位置和權值的調節(jié)速度, 而且會造成隱層節(jié)點數(shù)目過多, 計算量增大, 導致過度擬合。考慮到以上因素, 采用間歇的方式執(zhí)行添加操作, 只有當i = 4n + 1( n = 0, 1, 2, 􀀂)時, 才執(zhí)行添加操作。第三個部分是執(zhí)行刪除操作。如果執(zhí)行該操作過頻, 對于一些新增加的隱層節(jié)點, 其中心位置和權值有可能還沒來得及調整就已經被刪除了, 所以也采用間歇的方式執(zhí)行。當i = 8m

50、+ 7( m = 0, 1,2, 􀀂) 時, 才執(zhí)行刪除操作。圖 5-2 算法流程圖5.2.4 RBF 網絡參數(shù)調整算法采用梯度下降法調整RBF 的隱層節(jié)點中心位置和權值。設隱層節(jié)點的數(shù)目為m, 一共有N 組訓練樣本: ( x, y ) = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x N , yN ) 。神經網絡的實際輸出為: y = y 1 , y 2 , 􀀂, y N 。選取均方差為誤差函數(shù), 取和為學習率。( 1) 調整隱層節(jié)點的權值 得到：( 2) 調整隱層節(jié)點的中心位置5.3仿真實例 5.2.1 問題說明簡單的運動系統(tǒng)動

51、力學方程為：其中為角度，為控制輸入。寫成狀態(tài)方程形式為： 其中為未知。位置指令為，則誤差及其變化率為，定義誤差函數(shù)為， 則。由式上式可見，如果，則且。5.2.2 RBF網絡原理由于RBF網絡具有萬能逼近特性，采用RBF神經網絡逼近，網絡算法為： 其中為網絡的輸入，為網絡隱含層第個節(jié)點， 為網絡的高斯基函數(shù)輸出，為網絡的理想權值， 為網絡的逼近誤差，。網絡輸入取，則網絡輸出為： 5.2.3 控制算法設計與分析由于。定義Lyapunov函數(shù)為 其中，。則 設計控制律為 （5-1）則取，自適應律為 （5-2） 則。5.2.4仿真實例考慮如下被控對象其中。控制律采用式（5-1），自適應律采用式（5-2

52、），取，。根據(jù)網絡輸入和的實際范圍，高斯基函數(shù)的參數(shù)和取值分別取和3.0。網絡權值矩陣中各個元素的初始值取0，10。仿真結果如圖5-3和圖5-4所示。圖5-3 位置和速度跟蹤 圖5-4 及逼近5.2.5仿真程序Simulink主程序： rbf_ctrl_sim.mdl控制律及自適應律程序： rbf_ctrl.m被控對象程序： rbf_ctrl_plant.m作圖程序： rbf_ctrl_plot.m圖5-5 神經網絡自適應控制Simulink仿真圖5.4仿真結果與分析通過基于RBF網絡自適應控制算法的simulink仿真可知，該算法可以實現(xiàn)系統(tǒng)自適應控制，通過學習功能使系統(tǒng)輸出與理想輸出之間的

53、誤差快速收斂，直至控制在可以接受的范圍之內。RBF神經網絡是一種性能優(yōu)良的前饋型神經網絡，RBF網絡可以任意精度逼近任意的非線性函數(shù)，且具有全局逼近能力，從根本上解決了BP網絡的局部最優(yōu)問題，而且拓撲結構緊湊，結構參數(shù)可實現(xiàn)分離學習，收斂速度快。RBF網絡和模糊邏輯能夠實現(xiàn)很好的互補，提高神經網絡的學習泛化能力。5.5 RBF神經網絡與BP神經網絡RBF神經網絡除了具有一般神經網絡的優(yōu)點，如多維非線性映射能力，泛化能力，并行信息處理能力等，還具有很強的聚類分析能力，學習算法簡單方便等優(yōu)點；徑向基函數(shù)(RBF) 神經網絡是一種性能良好的前向網絡L利用在多維空間中插值的傳統(tǒng)技術， 可以對幾乎所有的系統(tǒng)進行辯識和建模L它不僅在理論上有著任意逼近性能和最佳逼近性能， 而且在應用中具有很多優(yōu)勢L 如和Sigmoid 函數(shù)作為激活函數(shù)的神經網絡相比， 算法速度大大高于一般的BP 算法。RBF 神經網絡同BP 網絡相比， 不但在理論上它是前向網絡中最優(yōu)的網絡， 而且學習方法也避免了局部最優(yōu)的問題。已經證明：一個RBF網絡，在隱層節(jié)點足夠多的情況下，經過充分學習，可以