智能控制 第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)課件

1、第6章 神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ) 模糊控制從人的經(jīng)驗出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。 模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。 人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，Neural Network）是模擬人腦思維方式的數(shù)學(xué)模型。 神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息

2、處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。 20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Network）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個階段。1 啟蒙期（1890-1969年）1890年，W.James發(fā)表專著心理學(xué)，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動作的數(shù)學(xué)模型，即M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。6.1 神經(jīng)

3、網(wǎng)絡(luò)發(fā)展歷史1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計。2 低潮期（1969-1982） 受當(dāng)時神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮諾依曼式計算機發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。 在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Koh

4、onen提出了自組織映射的SOM模型。3 復(fù)興期（1982-1986）4 新連接機制時期（1986-現(xiàn)在） 神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。 神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預(yù)測與管理（市場預(yù)測、風(fēng)險分析）、通信等。6 .2 神經(jīng)網(wǎng)絡(luò)原理 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。 人腦能完成智能、思維等高級活動，為了能利用數(shù)學(xué)模型來模擬人腦的活動，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。 神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)

5、元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。 每個神經(jīng)元都由一個細(xì)胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。 軸突功能是將本神經(jīng)元的輸出信號(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。圖 單個神經(jīng)元的解剖圖 神經(jīng)元由三部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104105個/每個神經(jīng)元）。 通過樹突和軸突，神經(jīng)元之間實現(xiàn)了信息的傳遞。(2) 學(xué)習(xí)與遺忘：由于

6、神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。 決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：(1)神經(jīng)元（信息處理單元）的特性；(2)神經(jīng)元之間相互連接的形式拓?fù)浣Y(jié)構(gòu)；(3)為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。6.3 神經(jīng)網(wǎng)絡(luò)的分類 目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò) （BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。 根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：（1）前向網(wǎng)絡(luò) 如圖所示，神經(jīng)元分層排列，組

7、成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。圖 前饋型神經(jīng)網(wǎng)絡(luò)（2）反饋網(wǎng)絡(luò) 該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問題。圖 反饋型神經(jīng)網(wǎng)絡(luò) Kohonen網(wǎng)絡(luò)通過無導(dǎo)師

8、的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對輸入模式生成自然的特征映射，從而達(dá)到自動聚類的目的。圖 自組織神經(jīng)網(wǎng)絡(luò) 在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。 在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。 再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。圖 有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖 無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1 Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對生

9、物學(xué)和心理學(xué)的研究，認(rèn)為兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即其中， 為連接從神經(jīng)元 到神經(jīng)元 的當(dāng)前權(quán)值， 和 為神經(jīng)元的激活水平。 Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。6.4.2 Delta（）學(xué)習(xí)規(guī)則假設(shè)誤差準(zhǔn)則函數(shù)為：其中， 代表期望的輸出（教師信號）； 為網(wǎng)絡(luò)的實際輸出， ； 為網(wǎng)絡(luò)所有權(quán)值組成的向量： 為輸入模式：其中訓(xùn)練樣本數(shù)為 。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過調(diào)整權(quán)值W，使誤差準(zhǔn)則函數(shù)最小。 權(quán)值的調(diào)整采用梯度下降法來實現(xiàn)，其基本思想

10、是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小。數(shù)學(xué)表達(dá)式為：其中令 ，則W的修正規(guī)則為上式稱為學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。6.5 神經(jīng)網(wǎng)絡(luò)特征 神經(jīng)網(wǎng)絡(luò)具有以下幾個特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲；(3) 可以多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有的計算機技術(shù)實現(xiàn)；（5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。6.6 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 1 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識 將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)。 利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)及預(yù)測模型，實現(xiàn)非線性系統(tǒng)的建模和辨識。(2) 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)作為實時控制系統(tǒng)的控制器，對不確定、不確知系統(tǒng)及擾動進(jìn)行有效的控制，使控制系統(tǒng)達(dá)到所要求的動態(tài)、靜態(tài)特性。 (3) 神經(jīng)網(wǎng)絡(luò)