智能控制基礎(chǔ)：4神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制

5.1神經(jīng)網(wǎng)絡(luò)概述

5.2人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.3前饋網(wǎng)絡(luò)

5.4反饋網(wǎng)絡(luò)

5.5神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的定義Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化。處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的定義強調(diào)點并行、分布處理結(jié)構(gòu)；一個處理單元的輸出可以被任意分枝，且大小不變；輸出信號可以是任意的數(shù)學(xué)模型；處理單元完全的局部操作。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的定義Simpson（1987年）美國國防高級研究計劃局簡單描述人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)的基本屬性(1)非線性：人腦智慧的非線性(2)非局域性：神經(jīng)元相互作用(3)非定常性：自適應(yīng)、自組織(4)非凸性：系統(tǒng)演變多樣性神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)網(wǎng)絡(luò)與計算機相比的特點(1)以大規(guī)模模擬并行處理為主(2)具有較強的魯棒性和容錯性(3)具有較強的自學(xué)習(xí)能力(4)是一個大規(guī)模自適應(yīng)非線性動力學(xué)系統(tǒng)，具有集體運算的能力神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的特征結(jié)構(gòu)特征-------并行處理、分布式存儲、容錯性。神經(jīng)網(wǎng)絡(luò)是由大量簡單處理元件連接組成的高度并行的非線性系統(tǒng)，具有大規(guī)模并行處理特征。雖然每個處理單元的功能十分簡單，但大量簡單處理單元的并行活動使網(wǎng)絡(luò)呈現(xiàn)出豐富的功能。結(jié)構(gòu)上的并行性使神經(jīng)網(wǎng)絡(luò)的信息存儲必然采取分布式方式，即信息不是存儲在網(wǎng)絡(luò)的某個局部，而是分布在網(wǎng)絡(luò)所有的連接權(quán)中。這兩個特點使神經(jīng)網(wǎng)絡(luò)表現(xiàn)出良好的容錯性。當(dāng)部分神經(jīng)元損壞時不對系統(tǒng)整體性能造成影響。當(dāng)輸出模糊、殘缺或變形時，神經(jīng)網(wǎng)絡(luò)通過聯(lián)想恢復(fù)完整的記憶。

神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的特征能力特征-------自學(xué)習(xí)、自組織、自適應(yīng)自適應(yīng)性包含自學(xué)習(xí)與自組織兩層含義：自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)能過自動調(diào)整網(wǎng)絡(luò)參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸建立起神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的功能聯(lián)想記憶由于神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行處理信息的特點，因此它具有對外界刺激信息和輸入模式進行聯(lián)想記憶的能力。這種能力通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為而實現(xiàn)。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的功能非線性映射設(shè)計合理的神經(jīng)網(wǎng)絡(luò)通過對系統(tǒng)輸入輸出樣本對進行自動學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)功能分類與識別對輸入樣本的分類是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)功能優(yōu)化計算優(yōu)化計算是指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達到最小?？梢园汛蠼鈫栴}的可變參數(shù)設(shè)計為網(wǎng)絡(luò)的狀態(tài)，將目標(biāo)函數(shù)設(shè)計為網(wǎng)絡(luò)的能量函數(shù)，從而穩(wěn)定狀態(tài)就是問題的最優(yōu)解。神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)功能知識處理神經(jīng)網(wǎng)絡(luò)從對象的輸入輸出信息中抽取規(guī)律而獲得關(guān)于對象的知識，并將知識分布在網(wǎng)絡(luò)的連接中予以存儲。神經(jīng)網(wǎng)絡(luò)的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過自組織過程將自身構(gòu)建成適合于表達所發(fā)現(xiàn)的規(guī)律。

神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的作用(1)在基于模型的各種控制結(jié)構(gòu)中充當(dāng)對象的模型(2)用作控制器(3)在控制系統(tǒng)中起優(yōu)化計算的作用神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的作用神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)的能力為自動控制理論發(fā)展提供了生機從控制角度，對神經(jīng)網(wǎng)絡(luò)的要求更注重其實時學(xué)習(xí)訓(xùn)練能力和網(wǎng)絡(luò)結(jié)構(gòu)的簡單性神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元結(jié)構(gòu)人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干主要由細胞體、樹突、軸突和突觸組成5.2人工神經(jīng)網(wǎng)絡(luò)的基本概念——生物神經(jīng)元生物神經(jīng)元細胞體：由細胞核、細胞質(zhì)和細胞膜等組成。樹突：胞體上短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。相當(dāng)于神經(jīng)元的輸出端。突觸：神經(jīng)元間的連接接口，每個神經(jīng)元約有1萬～10萬個突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。細胞膜電位：神經(jīng)細胞在受到電的、化學(xué)的、機械的刺激后，能產(chǎn)生興奮，此時，細胞膜內(nèi)外有電位差，稱膜電位。電位膜內(nèi)為正，膜外為負。生物神經(jīng)元突觸的信息處理生物神經(jīng)元傳遞信息的過程為多輸入、單輸出；神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近；突觸有兩種類型，興奮性突觸和抑制性突觸;當(dāng)神經(jīng)元脈沖信號在軸突的末端觸及突觸前膜時，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)（遞質(zhì)），經(jīng)突觸間隙的液體擴散，在突觸后膜與受體相結(jié)合。據(jù)此改變后膜的離子通透性，從而使后膜電位發(fā)生變化。例如，當(dāng)前膜釋放的興奮性遞質(zhì)使突觸后膜的電位超過了某個閾值，后一個神經(jīng)元有神經(jīng)脈沖輸出，從而將前一個神經(jīng)元的信息傳遞給了后一個神經(jīng)元。生物神經(jīng)元信息傳遞功能與特點具有時空整合能力同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和。各輸入脈沖抵達神經(jīng)元的時間先后不一樣?？偟耐挥|后膜電位為一段時間內(nèi)的累積。不可逆性——脈沖只從突觸前傳到突觸后，不逆向傳遞生物神經(jīng)元信息傳遞功能與特點神經(jīng)纖維傳導(dǎo)的速度——脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間信息傳遞時延和不應(yīng)期——一般為0.3～lms可塑性——突觸傳遞信息的強度是可變的，即具有學(xué)習(xí)功能存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)——對應(yīng)突觸傳遞作用增強、減弱和飽和5.2人工神經(jīng)網(wǎng)絡(luò)的基本概念——人工神經(jīng)元模型神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元人工神經(jīng)元（節(jié)點）從三個方面進行模擬:節(jié)點本身的信息處理能力（數(shù)學(xué)模型）節(jié)點與節(jié)點之間連接（拓撲結(jié)構(gòu)）相互連接的強度（通過學(xué)習(xí)來調(diào)整）決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素人工神經(jīng)元模型人工神經(jīng)元的建模模型的六點假設(shè)每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時滯；忽略時間整合作用和不應(yīng)期；神經(jīng)元本身非時變，即其突觸時延和突觸強度均為常數(shù)。1943年心理學(xué)家McCulloch數(shù)學(xué)家W.Pitts在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上提出M-P模型，經(jīng)過不斷改進形成廣泛應(yīng)用的神經(jīng)元模型。人工神經(jīng)元模型M-P模型圖解人工神經(jīng)元模型M-P模型圖解正如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號，圖中每個輸入的大小用確定數(shù)值xi表示，它們同時輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。人工神經(jīng)元模型M-P模型圖解生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對神經(jīng)元的每一個輸入都有一個加權(quán)系數(shù)wij，稱為權(quán)值，其正負模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強度。人工神經(jīng)元模型M-P模型圖解作為ANN的基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時,神經(jīng)元才被激活而發(fā)放脈沖,否則神經(jīng)元不會產(chǎn)生輸出信號。人工神經(jīng)元模型M-P模型圖解人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來表示，這種函數(shù)一般都是非線性的。人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型θj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或權(quán)重值；

f()——神經(jīng)元激活函數(shù)（活化函數(shù)、轉(zhuǎn)移函數(shù)）。

M

)(isf

?

jq

人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型設(shè)

M

)(isf

?

jq

人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型激活函數(shù)線性函數(shù)xoof(x)=x神經(jīng)元的各種不同模型的主要區(qū)別在于采用了不同的激活函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。激活函數(shù)反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系。人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型激活函數(shù)飽和線性函數(shù)

1 ifx≥1/kf(x)=k*x if|x|<1/k -1 ifx≤-1/k1-1

1/k

-1/k

x

o

人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型激活函數(shù)閾值函數(shù)

βifx≥kf(x)= -γ ifx<kβ

-γkox0人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型激活函數(shù)S形函數(shù)人工神經(jīng)元模型人工神經(jīng)元數(shù)學(xué)模型激活函數(shù)Matlab中的激活函數(shù)神經(jīng)元的十個激活函數(shù)及導(dǎo)數(shù)5.2人工神經(jīng)網(wǎng)絡(luò)的基本概念——人工神經(jīng)網(wǎng)絡(luò)分類按性能連續(xù)型、離散型確定型、隨機型（不是基于某種確定性算法調(diào)整權(quán)值，而是按某種概率分布進行修改；不是按某種確定性的網(wǎng)絡(luò)方程進行狀態(tài)演變，而是按某種概率分布決定其狀態(tài)的轉(zhuǎn)移）靜態(tài)（網(wǎng)絡(luò)的輸出只依賴于當(dāng)前的輸入）、動態(tài)（網(wǎng)絡(luò)的輸出不僅依賴于當(dāng)前的輸入，同時依賴于前面的輸入輸出）人工神經(jīng)網(wǎng)絡(luò)分類按逼近特性全局逼近——是在整個輸入空間上逼近，如BP網(wǎng)絡(luò)局部逼近——是在輸入空間中某條狀態(tài)軌跡附近的逼近，例如CMAC、B樣條、RBF人工神經(jīng)網(wǎng)絡(luò)分類按連接方式：前饋（前向）型、反饋型、自組織按學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）無導(dǎo)師學(xué)習(xí)（無監(jiān)督學(xué)習(xí)）再勵學(xué)習(xí)（強化學(xué)習(xí)）5.2人工神經(jīng)網(wǎng)絡(luò)的基本概念——神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)再勵學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）在學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)實際輸出與期望輸出的比較，進行聯(lián)接權(quán)系數(shù)的調(diào)整，將期望輸出稱導(dǎo)師信號是評價學(xué)習(xí)的標(biāo)準(zhǔn)。期望輸出實際輸出學(xué)習(xí)機輸入NN比較人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方式無導(dǎo)師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）無導(dǎo)師信號提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能根據(jù)其特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進行聯(lián)接權(quán)系數(shù)的調(diào)整，此時，網(wǎng)絡(luò)的學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于其內(nèi)部。實際輸出學(xué)習(xí)機輸入NN自我比較人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方式再勵學(xué)習(xí)（強化學(xué)習(xí)）把學(xué)習(xí)看為試探評價過程，學(xué)習(xí)機選擇一動作作用于環(huán)境，環(huán)境的狀態(tài)改變，并產(chǎn)生再勵信號反饋至學(xué)習(xí)機，學(xué)習(xí)機依據(jù)再勵信號與環(huán)境當(dāng)前的狀態(tài)，再選擇下一動作作用于環(huán)境，選擇的原則是使受到獎勵的可能性增大。狀態(tài)輸入

NN1

NN2學(xué)習(xí)機輸出---動作環(huán)境人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方法Hebb學(xué)習(xí)規(guī)則兩個神經(jīng)元同時處于興奮狀態(tài)或同時處理抑制狀態(tài)時，它們之間的連接強度將得到加強，當(dāng)一個神經(jīng)元興奮而另一個抑制時，它們之間的連接強度就應(yīng)該減弱。這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方法Hebb學(xué)習(xí)規(guī)則權(quán)向量的調(diào)節(jié)方法：上式定義的Hebb學(xué)習(xí)規(guī)則是一種無導(dǎo)師的學(xué)習(xí)方法。上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比，顯然經(jīng)常出現(xiàn)的模式將對權(quán)向量有較大的影響。在這種情況下，Hebb學(xué)習(xí)規(guī)則需預(yù)先定置權(quán)飽和值，以防止輸入和輸出正負始終一致時出現(xiàn)權(quán)值無約束增長。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方法δ學(xué)習(xí)規(guī)則δ學(xué)習(xí)規(guī)則實現(xiàn)了誤差準(zhǔn)則函數(shù)E中的梯度下降，因此使誤差函數(shù)達到最小值。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來的，可在多層網(wǎng)絡(luò)上有效地學(xué)習(xí)。誤差準(zhǔn)則函數(shù)誤差E是權(quán)向量Wj的函數(shù)，欲使誤差E最小，Wj應(yīng)與誤差的負梯度成正比人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方法概率式學(xué)習(xí)從統(tǒng)計力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。同時，此概率還取決于溫度參數(shù)T。T越大，不同狀態(tài)出現(xiàn)概率的差異便越小，較容易跳出能量的局部極小點而到全局的極小點；T越小時，情形正相反。概率式學(xué)習(xí)的典型代表是Boltzmann機學(xué)習(xí)規(guī)則。Pij表示網(wǎng)絡(luò)受到學(xué)習(xí)樣本的約束且系統(tǒng)達到平衡狀態(tài)時第i個和第j個神經(jīng)元同時為1的概率；pij’表示系統(tǒng)為自由運轉(zhuǎn)狀態(tài)且達到平衡狀態(tài)時第i個和第j個神經(jīng)元同時為1的概率。5.3前饋網(wǎng)絡(luò)——感知器人的視覺是重要的感覺器官，人通過視覺接受的信息占全部信息量的80~85%。感知器是模擬人的視覺，接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的神經(jīng)網(wǎng)絡(luò)。感知器分單層與多層，是具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)。感知器單層感知器單層感知器是指只有一層處理單元的感知器，如果包括輸入層，應(yīng)為2層感知器單層感知器單神經(jīng)元感知器單神經(jīng)元感知器是具有單個處理單元的神經(jīng)網(wǎng)絡(luò)，實質(zhì)上是一個M-P神經(jīng)元模型，激活函數(shù)f(x)是單極性閾值函數(shù)或者符號函數(shù)。感知器的輸出為：感知器單層感知器單神經(jīng)元感知器功能分析（1）設(shè)輸入向量U=(u1,u2)T，則輸出為則由方程w1ju1+w2ju2-θj=0

確定了二維平面上的一條分界線。感知器單層感知器單神經(jīng)元感知器功能分析（2）設(shè)輸入向量U=(u1,u2,u3)T，則輸出為則由方程w1ju1+w2ju2+w3j

u3–θj=0確定了三維空間上的一個分界平面感知器單層感知器單神經(jīng)元感知器功能分析（3）設(shè)輸入向量U=(u1,u2,…un)T，則輸出為則由方程w1ju1+w2ju2+…+wnjun–θj=0確定了n維空間上的一個分界超平面一個最簡單的單神經(jīng)元感知器具有分類功能，其原理是將分類知識存儲于感知器的權(quán)向量（包含閾值）中，由權(quán)向量確定的分類判決界面將模式分為兩類。感知器單層感知器的學(xué)習(xí)算法構(gòu)建感知器與感知器學(xué)習(xí)算法(1)對各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m（m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2)輸入樣本對{Up,dp}，其中Up=(-1,u1p,u2p,┄,unp)，dp為期望的輸出向量（導(dǎo)師信號），上標(biāo)p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為L，則p=1,2,┄,L；(3)計算各節(jié)點的實際輸出(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-yjp(t)]Up,j=1,2,┄,m,

其中η為學(xué)習(xí)率，用于控制調(diào)整速度，太大會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。感知器單神經(jīng)元感知器用于兩類模式分類時相當(dāng)于在高維樣本空間中，用一個超平面將兩類樣本分開。已證明若輸入的兩類模式是線性可分集合（指存在一個超平面能將其分開），則算法一定收斂。局限性：若輸入模式為線性不可分集合，感知器的學(xué)習(xí)算法不收斂，不能進行正確分類感知器線性可分集合感知器線性可分集合感知器線性可分集合（2）三維空間上的兩類模式，見表。感知器線性可分集合（2）三維空間上的兩類模式，見表。可引伸到n>3維空間上的線性可分集合，一定可找到一超平面，將輸入模式分為兩類。由n輸入/單輸出的單層感知器實現(xiàn)。感知器線性不可分集合二維平面上的兩類模式——異或（XOR）問題，見表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見圖?？梢姡簡螌痈兄鞑荒芙鉀Q異或問題。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型u、y是網(wǎng)絡(luò)的輸入、輸出向量，神經(jīng)元用節(jié)點表示，網(wǎng)絡(luò)由輸入層、隱含層和輸出層節(jié)點組成，隱含層可一層，也可多層（圖中是單隱含層），前層至后層節(jié)點通過權(quán)連接。BP神經(jīng)網(wǎng)絡(luò)5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)模型權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法它是一種多層前饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的激活函數(shù)通常是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)的特點是一種多層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；神經(jīng)元激活函數(shù)經(jīng)常選用S函數(shù)；層與層的連接是單向的，信息的傳播是雙向的。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)主要用于下述方面函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類；數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲構(gòu)建BP神經(jīng)網(wǎng)絡(luò)（應(yīng)用Matlab）5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP學(xué)習(xí)算法已知網(wǎng)絡(luò)的輸入/輸出樣本，即導(dǎo)師信號。BP學(xué)習(xí)算法由正向傳播和反向傳播組成：正向傳播是輸入信號從輸入層經(jīng)隱含層，傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。反向傳播是將誤差(樣本輸出與網(wǎng)絡(luò)輸出之差）按原連接通路反向計算，由梯度下降法調(diào)整各層節(jié)點的權(quán)值和閾值，使誤差減小。正向傳播反向傳播BP神經(jīng)網(wǎng)絡(luò)BP算法過程演示5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)算法步驟5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)算法步驟5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)算法步驟5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)算法步驟5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)算法流程初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值改變訓(xùn)練樣本訓(xùn)練樣本終止？迭代終止？NoNoyy5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)的能力非線性映射能力泛化能力容錯能力多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法BP算法的局限性BP網(wǎng)絡(luò)的誤差是各層權(quán)值和輸入樣本對的函數(shù)。誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)。誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點的“高度”對應(yīng)于一個誤差值，每個點的坐標(biāo)向量對應(yīng)著nw個權(quán)值。曲面的分布特點--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個極小點--------訓(xùn)練經(jīng)常陷入某個局部極小點而不能自拔，從而使訓(xùn)練無法收斂于給定誤差。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP算法的內(nèi)在缺陷易形成局部極小而得不到全局最優(yōu)；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；隱含層節(jié)點的選取缺乏理論指導(dǎo)；訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法BP算法的改進方法增加動量項原因：標(biāo)準(zhǔn)BP算法只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻以前的梯度方向，從而常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。方法：在權(quán)值調(diào)整公式中增加一動量項實質(zhì)：從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中作用：動量項反映了以前積累的調(diào)整經(jīng)驗，對于t時刻的調(diào)整起阻尼作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓(xùn)練速度。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法BP算法的改進方法自適應(yīng)調(diào)節(jié)學(xué)習(xí)率原因：標(biāo)準(zhǔn)BP算法中，學(xué)習(xí)率（學(xué)習(xí)算子、步長）η確定一個從始至終都合適的最佳學(xué)習(xí)率很難。平坦區(qū)域內(nèi)，η太小會使訓(xùn)練次數(shù)增加；在誤差變化劇烈的區(qū)域，η太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。方法：設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無效，且

=β

(β<1)；若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↓，則本次調(diào)整有效，且

=θ

(θ>1)。思想：自適應(yīng)改變學(xué)習(xí)率，使其根據(jù)環(huán)境變化增大或減小。BP算法的改進方法引入陡度因子原因：誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸出進入了激活函數(shù)的飽和區(qū)。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法方法：在原激活函數(shù)中引入一個陡度因子λ思想：如果在調(diào)整進入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出激活函數(shù)的不飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。BP算法的改進方法引入陡度因子方法：當(dāng)發(fā)現(xiàn)ΔE接近零而d-y仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；當(dāng)退出平坦區(qū)后，再令λ=1。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法作用分析：1.λ>1：凈輸入坐標(biāo)壓縮了λ倍，神經(jīng)元的激活函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的凈輸入退出飽和值。2.λ=1：激活函數(shù)恢復(fù)原狀，對絕對值較小的凈輸入具有較高的靈敏度。3.應(yīng)用結(jié)果表明該方法對于提高BP算法的收斂速度十分有效。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)設(shè)計基礎(chǔ)訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示4.輸入輸出數(shù)據(jù)的預(yù)處理5.訓(xùn)練集的設(shè)計BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計網(wǎng)絡(luò)訓(xùn)練與測試5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸出量的選擇代表系統(tǒng)要實現(xiàn)的功能目標(biāo)系統(tǒng)的性能指標(biāo)分類問題的類別歸屬非線性函數(shù)的函數(shù)值輸入量的選擇必須選擇那些對輸出影響大且能夠檢測或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸入輸出量的性質(zhì)數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語言變量是用自然語言表示的概念，其“語言值”是用自然語言表示的事物的各種屬性。當(dāng)選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的數(shù)值量。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸入量的提取與表示文字符號輸入——必須先對其進行編碼，變成網(wǎng)絡(luò)可接受的形式曲線輸入——提取波形在各區(qū)間分界點的值，以其作為網(wǎng)絡(luò)輸入向量的分量值。采樣周期大小滿足香農(nóng)采樣定理，采樣區(qū)間可以不等分。函數(shù)自變量輸入——一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對應(yīng)1個輸入層節(jié)點。圖像輸入——在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸出量的表示“n中取1”表示法——令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取1，其余n-1個分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個類別。“n-1”表示法——如果用n-1個全為0的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個類別。數(shù)值表示法——對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)系，并要根據(jù)實際意義拉開距離。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸入輸出數(shù)據(jù)的預(yù)處理歸一化分布變換歸一化也稱為或標(biāo)準(zhǔn)化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。適于網(wǎng)絡(luò)訓(xùn)練的樣本應(yīng)分布比較均勻，相應(yīng)的樣本分布曲線應(yīng)比較平坦。當(dāng)樣本分布不理想時，最常用的變換是對數(shù)變換，其它常用的還有平方根、立方根等。由于變換是非線性的，其結(jié)果不僅壓縮了數(shù)據(jù)變化的范圍，而且改善了其分布規(guī)律5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)輸入輸出數(shù)據(jù)的歸一化進行歸一化的主要原因網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或-1~1之間。導(dǎo)師信號如不進行歸一化處理，勢必使數(shù)值大的輸出分量絕對誤差大，數(shù)值小的輸出分量絕對誤差小，網(wǎng)絡(luò)訓(xùn)練時只針對輸出的總誤差調(diào)整權(quán)值，其結(jié)果是在總誤差中占份額小的輸出分量相對誤差較大。多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法歸一化的方法將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值將輸入輸出數(shù)據(jù)變換為[-1，1]區(qū)間的值5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)訓(xùn)練集的設(shè)計訓(xùn)練樣本的確定樣本的選擇與組織一般來講，訓(xùn)練樣本越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本的收集整理往往受到客觀條件的限制。此外，樣本多到一定程度時，網(wǎng)絡(luò)的精度也很難再提高。映射關(guān)系越復(fù)雜，所需樣本數(shù)越多?？梢詤⒖家粋€經(jīng)驗規(guī)則：訓(xùn)練樣本數(shù)是網(wǎng)絡(luò)連接權(quán)總數(shù)的5-10倍。樣本一定要有代表性，樣本的選擇要注意樣本類別的均衡，盡量使每個類別的樣本數(shù)量大致相等。即使是同一類樣本也照顧樣本的多樣性與均勻性。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機選擇輸入樣本。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)初始權(quán)值的設(shè)計BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計隱含層層數(shù)的設(shè)計——理論分析證明，單隱含層的感知器可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時，才需要兩個隱含層。隱含層節(jié)點數(shù)的設(shè)計——數(shù)量太小，從樣本中獲取信息的能力差，不足以概括和體現(xiàn)訓(xùn)練集中樣本的規(guī)律；數(shù)量過多，可能把樣本中非規(guī)律性的內(nèi)容（如噪聲）學(xué)會牢記，降低泛化能力。常用方法為試湊法。若每個節(jié)點的初始凈輸入在零點附近，則輸出處在轉(zhuǎn)移函數(shù)的中點。這個位置不僅遠離激活函數(shù)的兩個飽和區(qū)，而且是其變化最靈敏的區(qū)域，必然使網(wǎng)絡(luò)的學(xué)習(xí)速度加快。常采用兩種方法：一、取足夠小的初始權(quán)值；二、使初始值為+1、-1的權(quán)值數(shù)相等。隱含層采取第一種方法，輸出層采取第二種方法。原因是如果輸出層權(quán)值太小，會使隱含層權(quán)值在訓(xùn)練初期的調(diào)整量變小。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)網(wǎng)絡(luò)訓(xùn)練與測試網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試不能用訓(xùn)練集的數(shù)據(jù)進行，而要用訓(xùn)練集以外的測試數(shù)據(jù)來進行檢驗。一般的作法是，將收集到的可用樣本隨機地分為兩部分，一部分作為訓(xùn)練集，另一部分作為測試集。如果網(wǎng)絡(luò)對訓(xùn)練集樣本的誤差很小，而對測試集樣本的誤差很大，說明網(wǎng)絡(luò)已被訓(xùn)練得過度吻合，因此泛化能力很差。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)網(wǎng)絡(luò)訓(xùn)練與測試在隱含層節(jié)點數(shù)一定的情況下，為獲得好的泛化能力，存在著一個最佳訓(xùn)練次數(shù)。5.3前饋網(wǎng)絡(luò)——BP網(wǎng)絡(luò)BP算法的應(yīng)用實例例：應(yīng)用BP神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)解:

（1）取三層BP網(wǎng)絡(luò)，隱含層選對稱型S函數(shù)，輸出層為線性函數(shù)（2）訓(xùn)練樣本集u=-0.5:0.05:0.45，d=f(u)，樣本對長度L=20（3）測試輸入數(shù)據(jù)集u1=-0.48:0.05:0.47，d1=f(u1)（4）輸入層一個節(jié)點，隱含層3個節(jié)點，輸出層一個節(jié)點

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)全局逼近網(wǎng)絡(luò)與局部逼近網(wǎng)絡(luò)如果網(wǎng)絡(luò)的一個或多個連接權(quán)系數(shù)或自適應(yīng)可調(diào)參數(shù)在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。若對輸入空間的某個局部區(qū)域，只有少數(shù)幾個連接權(quán)影響網(wǎng)絡(luò)的輸出，則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)。局部逼近神經(jīng)網(wǎng)絡(luò)CMACB樣條RBF模糊神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)(RBF-RadialBasisFunction)神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken在80年代末提出的一種神經(jīng)網(wǎng)絡(luò),它是具有單隱含層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接收域（或稱感受野-ReceptiveField）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，已證明它能任意精度逼近任意連續(xù)函數(shù)。

輸入層

隱含層

輸出層

節(jié)點

節(jié)點

節(jié)點

uyq徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)輸出計算

輸入層

隱含層

輸出層

節(jié)點

節(jié)點

節(jié)點

RBF神經(jīng)網(wǎng)絡(luò)

uyq網(wǎng)絡(luò)輸入n維向量u，輸出m維向量y，輸入／輸出樣本對長度＝L。

RBF網(wǎng)絡(luò)隱層第i個節(jié)點的輸出：

qRii=-()uc

ci：第i個隱節(jié)點的中心，hi,,2,1L=；

：通常為歐氏范數(shù)；

R()·：RBF函數(shù)，具有局部感受的特性，它有多種

形式，體現(xiàn)了RBF網(wǎng)絡(luò)的非線性映射能力。通常為高斯函數(shù)。網(wǎng)絡(luò)輸出層第k個節(jié)點的輸出，為隱節(jié)點輸出的

線性組合：

ywqkkiiik=-?q

wki：qyik?的聯(lián)接權(quán)；

qk：第k個輸出節(jié)點的閾值。

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)高斯徑向基函數(shù)一維

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)高斯徑向基函數(shù)（RBF）網(wǎng)絡(luò)二維

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)的特點RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的主要不同點是在非線性映射上采用上不同的激活函數(shù)。分別為徑向基函數(shù)與S型函數(shù)。前者的激活函數(shù)是局部的，如高斯RBF，后者的激活函數(shù)是全局的。BP網(wǎng)絡(luò)的隱含層節(jié)點采用輸入模式與權(quán)向量的內(nèi)積作為激活函數(shù)的自變量，而RBF網(wǎng)絡(luò)則采用輸入模式與隱含層節(jié)點的中心的距離作為激活函數(shù)的自變量。RBF網(wǎng)絡(luò)只有一個隱含層，而BP網(wǎng)絡(luò)的隱含層可以是一層也可以是多層。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)的特點徑向基函數(shù)關(guān)于N維空間的一個中心點具有徑向?qū)ΨQ性，神經(jīng)元的輸入離該中心點越遠，神經(jīng)元的激活程度就越低。隱含層節(jié)點的這個特性常被稱為“局部特性”。RBF網(wǎng)絡(luò)具有唯一最佳逼近的特征，且無局部最小。徑向基函數(shù)有多種，最常用的是高斯函數(shù)。高斯RBF神經(jīng)網(wǎng)絡(luò)較廣泛用于非線性辨識與控制，雖具有唯一最佳逼近的特性以及無局部最小的優(yōu)點，但隱含節(jié)點的中心及擴展參數(shù)難求。5.4反饋網(wǎng)絡(luò)——Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)簡介美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。Hopfield的主要貢獻有：<1>提出了利用能量函數(shù)研究反饋網(wǎng)絡(luò)穩(wěn)定狀態(tài)的方法。<2>給出了利用模擬電子線路實現(xiàn)反饋型人工神經(jīng)網(wǎng)絡(luò)的電路模型。<3>成功求解了組合優(yōu)化中的TSP問題。5.4反饋網(wǎng)絡(luò)——Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)簡介以此為基礎(chǔ)，人們對Hopfield網(wǎng)絡(luò)進行了深入研究，主要有以下幾個方面：尋找Hopfield網(wǎng)絡(luò)的穩(wěn)定性規(guī)律并進而研究其信息容量；提出各種改進的Hopfield網(wǎng)絡(luò)模型；參照Hopfield電子線路模型研究人工神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)方法；借助能量函數(shù)方法用Hopfield網(wǎng)絡(luò)求解優(yōu)化計算、組合數(shù)學(xué)、人工智能問題的多種實例。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。5.4反饋網(wǎng)絡(luò)——Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式Hopfield神經(jīng)網(wǎng)絡(luò)模型一般由單層全互連的神經(jīng)元組成。神經(jīng)元沒有自連接，神經(jīng)元與神經(jīng)元之間的連接是對稱的。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式DHNN網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用

xj表示。所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀X=[x1,x2,…,xn]T反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進入動態(tài)演變過程，變化規(guī)律為j=1,2,…,n

DHNN網(wǎng)的激活函數(shù)常采用符號函數(shù)

j=1,2,…,nHopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式j(luò)=1,2,…,n反饋網(wǎng)絡(luò)穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為網(wǎng)絡(luò)由單層全互連的神經(jīng)元Ti(i=1,…，n)組成。神經(jīng)元沒有自連接,即wii＝0；神經(jīng)元與神經(jīng)元之間的連接是對稱的，即wij＝wji。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式網(wǎng)絡(luò)的異步（串行）工作方式網(wǎng)絡(luò)運行時每次只有一個神經(jīng)元進行狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持不變，即Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式網(wǎng)絡(luò)的異步（串行）工作方式網(wǎng)絡(luò)的同步（并行）工作方式j(luò)=1,2,…,n網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子網(wǎng)絡(luò)的穩(wěn)定性DHNN網(wǎng)實質(zhì)上是一個離散的非線性動力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子網(wǎng)絡(luò)的穩(wěn)定性若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子網(wǎng)絡(luò)的穩(wěn)定性如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠，這種現(xiàn)象稱為混沌。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)網(wǎng)絡(luò)達到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡(luò)的吸引子。

如果把吸引子視為問題的解，從初態(tài)朝吸引子演變的過程便是求解計算的過程。

若把需記憶的樣本信息存儲于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。

Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)定義1

若網(wǎng)絡(luò)的狀態(tài)X滿足X=f(WX-T)，則稱X為網(wǎng)絡(luò)的吸引子。

定理1

對于DHNN網(wǎng)，若按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，且連接權(quán)矩陣W為對稱陣，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)證明：定義網(wǎng)絡(luò)的能量函數(shù)為令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為ΔX，有Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)則網(wǎng)絡(luò)能量可進一步展開為Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)將代入上式，并考慮到W為對稱矩陣，有

上式中可能出現(xiàn)的情況：情況a：xj(t)=-1,xj(t+1)=1,則Δxj(t)=2,又因為netj(t)≧0，所以ΔE(t)≦0。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)情況b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,又有netj(t)<0，所以ΔE(t)<0。情況c：xj(t)=xj(t+1),所以Δxj(t)=0,所以有ΔE(t)=0。

由此可知在任何情況下均有ΔE(t)≦0

。由于網(wǎng)絡(luò)中各節(jié)點的狀態(tài)只能取1或–1，能量函數(shù)E(t)作為網(wǎng)絡(luò)狀態(tài)的函數(shù)是有下界的，因此網(wǎng)絡(luò)能量函數(shù)最終將收斂于一個常數(shù)，此時ΔE(t)=0

。綜上所述，當(dāng)網(wǎng)絡(luò)工作方式和權(quán)矩陣均滿足定理的條件時，網(wǎng)絡(luò)最終將收斂到一個吸引子。離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)Hopfield神經(jīng)網(wǎng)絡(luò)定理2：對于DHNN網(wǎng)，若按同步方式調(diào)整狀態(tài)，且連接權(quán)矩陣W為非負定對稱陣，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子。

同步方式對權(quán)值矩陣W要求更高。異步方式比同步方式有更好的穩(wěn)定性。Hopfield神經(jīng)網(wǎng)絡(luò)離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定與吸引子吸引子與能量函數(shù)以上分析表明，在網(wǎng)絡(luò)從初態(tài)向穩(wěn)態(tài)演變的過程中，網(wǎng)絡(luò)的能量始終向減小的方向演變，當(dāng)能量最終穩(wěn)定于一個常數(shù)時，該常數(shù)對應(yīng)于網(wǎng)絡(luò)能量的極小狀態(tài)，稱該極小狀態(tài)為網(wǎng)絡(luò)的能量井，能量井對應(yīng)于網(wǎng)絡(luò)的吸引子。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)對于同步方式，由于無調(diào)整次序問題，所以相應(yīng)的吸引域也無強弱之分；對于異步方式，對同一個狀態(tài)，若采用不同的調(diào)整次序，有可能弱吸引到不同的吸引子。例：離散型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)解：離散型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)解：離散型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)可見：當(dāng)網(wǎng)絡(luò)的異步調(diào)整次序一定時，最終穩(wěn)定于哪個吸引子與其初態(tài)有關(guān)；而對于確定的初態(tài)，網(wǎng)絡(luò)最終穩(wěn)定于哪個吸引子與其異步調(diào)整次序有關(guān)。Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與離散型Hopfield神經(jīng)網(wǎng)絡(luò)相似，但連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元都同步工作，各輸入輸出均是隨時間連續(xù)變化的模擬量。Hopfield用模擬電路（電阻、電容和運算放大器）實現(xiàn)網(wǎng)絡(luò)的節(jié)點。

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

系統(tǒng)由n個節(jié)點組成，第i個節(jié)點方程為：Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

設(shè)則Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

設(shè)則其中可見：1.R和C的并聯(lián)模擬了生物神經(jīng)元的時間常數(shù)；2.1/Rij模擬了神經(jīng)元間的突觸特性；3.運算放大器模擬了神經(jīng)元的非線性特性；4.Ii相當(dāng)于閾值Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)于離散型的區(qū)別多了一個微分方程(慣性環(huán)節(jié))激活函數(shù)采用s函數(shù)

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

Hopfield神經(jīng)網(wǎng)絡(luò)關(guān)于Hopfield神經(jīng)網(wǎng)絡(luò)的幾個問題由于Hopfield神經(jīng)網(wǎng)絡(luò)能收斂于穩(wěn)定狀態(tài)，因此可用于聯(lián)想記憶。若將穩(wěn)態(tài)視為一個記憶，則由初始狀態(tài)向穩(wěn)態(tài)收斂的過程就是尋找記憶的過程。初態(tài)可認為是給定的部分信息，收斂過程可認為是從部分信息找到了全部信息，于是實現(xiàn)了聯(lián)想記憶的功能。若將穩(wěn)態(tài)視為某一優(yōu)化計算問題目標(biāo)函數(shù)的極小點，則由初態(tài)向穩(wěn)態(tài)收斂的過程就是優(yōu)化計算的過程

5.4反饋網(wǎng)絡(luò)——Boltzmann機Ackley、Hinton等人以模擬退火思想為基礎(chǔ)，對Hopfield模型引入了隨機機制，提出了Boltzmann機。GeoffreyHintonDavidH.Ackley

Boltzmann機Boltzmann機是第一個受統(tǒng)計力學(xué)啟發(fā)的多層學(xué)習(xí)機，它是一類典型的隨機神經(jīng)網(wǎng)絡(luò)，屬于反饋神經(jīng)網(wǎng)絡(luò)類型其命名來源于Boltzmann在統(tǒng)計熱力學(xué)中的早期工作和網(wǎng)絡(luò)本身的動態(tài)分布行為Boltzmann機結(jié)合BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法和動態(tài)運行機制的優(yōu)點，是建立在Hopfield網(wǎng)基礎(chǔ)上的，具有學(xué)習(xí)能力，能夠通過一個模擬退火過程尋求解答。不過，其訓(xùn)練時間比BP網(wǎng)絡(luò)要長。Boltzmann機Boltzmann機由輸入部、輸出部和中間部構(gòu)成Boltzmann機輸入部和輸出部神經(jīng)元統(tǒng)稱為顯見神經(jīng)元，是網(wǎng)絡(luò)與外部環(huán)境進行信息交換的媒介，中間部的神經(jīng)元稱為隱見神經(jīng)元，它們通過顯見神經(jīng)元與外界進行信息交換每一對神經(jīng)元之間的信息傳遞是雙向?qū)ΨQ的，即

而且自身無反饋，即。顯見神經(jīng)元將被外部環(huán)境“約束”在某一特定的狀態(tài)，而中間部隱見神經(jīng)元則不受外部環(huán)境約束。Boltzmann機Boltzmann機神經(jīng)元模型每個神經(jīng)元的興奮或抑制具有隨機性，其概率取決于神經(jīng)元的輸入圖中vj表示神經(jīng)元j的輸出Boltzmann機Boltzmann機神經(jīng)元模型神經(jīng)元的全部輸入信號的總和由下式給出為神經(jīng)元的閾值,并將其看作連接權(quán)值為1的輸入，可以歸并到總的加權(quán)和中去，即得到下式Boltzmann機Boltzmann機神經(jīng)元模型神經(jīng)元的輸出依概率取1或0ui越大，則vi取1的概率越大，而取0的概率越小Boltzmann機Boltzmann機神經(jīng)元模型溫度T的作用如圖所示，T越高時，曲線越平滑，即使uj有很大變動，也不會對vj取1的概率變化造成很大的影響；反之，T越低時，曲線越陡峭，當(dāng)uj有稍許變動時就會使概率有很大差異，當(dāng)T趨向于0時，每個神經(jīng)元不再具有隨機特性，激勵函數(shù)變?yōu)殡A躍函數(shù)，這時Boltzmann機演變?yōu)镠opfield網(wǎng)絡(luò)Boltzmann機Boltzmann機神經(jīng)元模