智能控制 第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)課件

1、第6章 神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ) 模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。 模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機(jī)理來實(shí)現(xiàn)機(jī)器的部分智能行為。 人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，Neural Network）是模擬人腦思維方式的數(shù)學(xué)模型。 神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息

2、處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。 20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Network）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。1 啟蒙期（1890-1969年）1890年，W.James發(fā)表專著心理學(xué)，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。6.1 神經(jīng)

3、網(wǎng)絡(luò)發(fā)展歷史1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計(jì)。2 低潮期（1969-1982） 受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。 在美、日等國(guó)有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對(duì)任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Koh

4、onen提出了自組織映射的SOM模型。3 復(fù)興期（1982-1986）4 新連接機(jī)制時(shí)期（1986-現(xiàn)在） 神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。 神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語音、指紋、故障檢測(cè)和圖象壓縮等）、控制與優(yōu)化、預(yù)測(cè)與管理（市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析）、通信等。6 .2 神經(jīng)網(wǎng)絡(luò)原理 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。 人腦能完成智能、思維等高級(jí)活動(dòng)，為了能利用數(shù)學(xué)模型來模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。 神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)

5、元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。 每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。 軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。圖 單個(gè)神經(jīng)元的解剖圖 神經(jīng)元由三部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104105個(gè)/每個(gè)神經(jīng)元）。 通過樹突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。(2) 學(xué)習(xí)與遺忘：由于

6、神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。 決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：(1)神經(jīng)元（信息處理單元）的特性；(2)神經(jīng)元之間相互連接的形式拓?fù)浣Y(jié)構(gòu)；(3)為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。6.3 神經(jīng)網(wǎng)絡(luò)的分類 目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò) （BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。 根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：（1）前向網(wǎng)絡(luò) 如圖所示，神經(jīng)元分層排列，組

7、成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。圖 前饋型神經(jīng)網(wǎng)絡(luò)（2）反饋網(wǎng)絡(luò) 該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問題。圖 反饋型神經(jīng)網(wǎng)絡(luò) Kohonen網(wǎng)絡(luò)通過無導(dǎo)師

8、的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對(duì)輸入模式生成自然的特征映射，從而達(dá)到自動(dòng)聚類的目的。圖 自組織神經(jīng)網(wǎng)絡(luò) 在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。 在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。 再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。圖 有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖 無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1 Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對(duì)生

9、物學(xué)和心理學(xué)的研究，認(rèn)為兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即其中， 為連接從神經(jīng)元 到神經(jīng)元 的當(dāng)前權(quán)值， 和 為神經(jīng)元的激活水平。 Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。6.4.2 Delta（）學(xué)習(xí)規(guī)則假設(shè)誤差準(zhǔn)則函數(shù)為：其中， 代表期望的輸出（教師信號(hào)）； 為網(wǎng)絡(luò)的實(shí)際輸出， ； 為網(wǎng)絡(luò)所有權(quán)值組成的向量： 為輸入模式：其中訓(xùn)練樣本數(shù)為 。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過調(diào)整權(quán)值W，使誤差準(zhǔn)則函數(shù)最小。 權(quán)值的調(diào)整采用梯度下降法來實(shí)現(xiàn)，其基本思想

10、是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小。數(shù)學(xué)表達(dá)式為：其中令 ，則W的修正規(guī)則為上式稱為學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。6.5 神經(jīng)網(wǎng)絡(luò)特征 神經(jīng)網(wǎng)絡(luò)具有以下幾個(gè)特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲(chǔ)；(3) 可以多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)；（5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。6.6 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 1 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) 將神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計(jì)模型的參數(shù)。 利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)及預(yù)測(cè)模型，實(shí)現(xiàn)非線性系統(tǒng)的建模和辨識(shí)。(2) 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制器，對(duì)不確定、不確知系統(tǒng)及擾動(dòng)進(jìn)行有效的控制，使控制系統(tǒng)達(dá)到所要求的動(dòng)態(tài)、靜態(tài)特性。 (3) 神經(jīng)網(wǎng)絡(luò)