智能控制 第3版 PPT課件 第6章

《智能控制》2023年5月第六章神經(jīng)元與神經(jīng)網(wǎng)絡(luò)主要內(nèi)容神經(jīng)網(wǎng)絡(luò)的基本概念6.16.26.3前饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)6.4模糊神經(jīng)網(wǎng)絡(luò)6.5深度學(xué)習(xí)課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)元網(wǎng)絡(luò)的研究已有30多年的歷史：20世紀(jì)40年代初，心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts提出了形式神經(jīng)元的數(shù)學(xué)模型，并研究了基于神經(jīng)元模型幾個(gè)基本元件互相連接的潛在功能。1958年，Rosenblatt首先引入了感知器（Perceptron）概念并提出了構(gòu)造感知器的結(jié)構(gòu)。1969年，Minsky和Papert對(duì)感知器為代表的網(wǎng)絡(luò)作了嚴(yán)格的數(shù)學(xué)分析，指出了幾個(gè)模型的局限性。由于結(jié)論相當(dāng)悲觀，此后神經(jīng)網(wǎng)絡(luò)的研究在相當(dāng)長(zhǎng)時(shí)間內(nèi)發(fā)展緩慢。20世紀(jì)70年代，Grossberg根據(jù)生物學(xué)和生理學(xué)的證明，他提出具有新特征的幾種非線性動(dòng)態(tài)系統(tǒng)的結(jié)構(gòu)，使神經(jīng)元網(wǎng)絡(luò)的研究又有了突破性的進(jìn)展。1986年，以Rumelthard和Mcclelland為首的PDP（ParalellDistributedProcessing）小組發(fā)表了一系列的研究結(jié)果和應(yīng)用，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入全盛時(shí)期。課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的重要特征和性質(zhì)非線性：神經(jīng)元網(wǎng)絡(luò)在理論上可以趨近任何非線性函數(shù)，人工神經(jīng)元網(wǎng)絡(luò)比其他方法建模更經(jīng)濟(jì)。平行分布處理：神經(jīng)元網(wǎng)絡(luò)具有高度平行的結(jié)構(gòu)，比常規(guī)方法有更大程度的容錯(cuò)能力。神經(jīng)元網(wǎng)絡(luò)的基本單元結(jié)構(gòu)簡(jiǎn)單，并行連接的處理速度很快。硬件實(shí)現(xiàn)：它不僅可以平行實(shí)現(xiàn)，而且許多制造廠家已經(jīng)用專用的VLSL硬件來(lái)制作神經(jīng)元網(wǎng)絡(luò)，網(wǎng)絡(luò)能實(shí)現(xiàn)的規(guī)模也明顯增大。學(xué)習(xí)和自適應(yīng)性：利用系統(tǒng)過(guò)去的數(shù)據(jù)記錄，可對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。受適當(dāng)訓(xùn)練的網(wǎng)絡(luò)有能力泛化，也即當(dāng)輸入出現(xiàn)訓(xùn)練中未提供的數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也有能力進(jìn)行辨識(shí)。神經(jīng)元網(wǎng)絡(luò)也可以在線訓(xùn)練。數(shù)據(jù)融合：網(wǎng)絡(luò)可以同時(shí)對(duì)定性和定量的數(shù)據(jù)進(jìn)行操作。在這方面，網(wǎng)絡(luò)正好是傳統(tǒng)工程系統(tǒng)（定量數(shù)據(jù)）和人工智能領(lǐng)域（符號(hào)數(shù)據(jù)）信息處理技術(shù)之間的橋梁。多變量系統(tǒng)：神經(jīng)元網(wǎng)絡(luò)自然地處理多輸入信號(hào)并具有多輸出，適合于多變量系統(tǒng)。課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)元網(wǎng)絡(luò)的基本結(jié)構(gòu)圖6-1表示了在中央神經(jīng)系統(tǒng)中，典型神經(jīng)細(xì)胞的主要元件，包括：細(xì)胞體、軸突、樹(shù)突、突觸、膜電位。圖6-1神經(jīng)元的構(gòu)造

圖6-2神經(jīng)元模型

課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)元網(wǎng)絡(luò)的模型圖6-3神經(jīng)元模型框圖從控制工程角度來(lái)看，為了采用控制領(lǐng)域中相同的符號(hào)和描述方法，可以把神經(jīng)元網(wǎng)絡(luò)改為圖6-3所示形式。該模型由三部分組成：加權(quán)的加法器線性動(dòng)態(tài)單輸入單輸出（SISO）系統(tǒng)靜態(tài)非線性函數(shù)（1）可微和不可微（2）類脈沖和類階躍（3）正函數(shù)和零均函數(shù)課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念常用的非線性函數(shù)的數(shù)學(xué)表示及其形狀:課程內(nèi)容—神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)元的連結(jié)方式單層的靜態(tài)網(wǎng)絡(luò)：神經(jīng)元的結(jié)合可以按一組代數(shù)方程來(lái)描述：

多層神經(jīng)元網(wǎng)絡(luò)：

動(dòng)態(tài)網(wǎng)絡(luò)：在網(wǎng)絡(luò)中引入反饋，動(dòng)態(tài)方程可以表示為

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡(luò)感知器感知器是美國(guó)心里學(xué)家Rosenblatt于1958年提出的，它是最基本的但具有學(xué)習(xí)功能的層狀結(jié)構(gòu)（Layednetwork）。最初的感知器由三層即S（Sensory）層、A（Association）層和R（Response）層組成。圖6-4三層的感知器圖6-5三層的感知器S層和A層之間的耦合是固定的，只有A層和R層（即輸出層）只有一個(gè)輸出節(jié)點(diǎn)的感知器，它相當(dāng)于單個(gè)神經(jīng)元，簡(jiǎn)化為如圖6-5所示。Minsky和Papert曾對(duì)感知器的分類能力作了嚴(yán)格的評(píng)價(jià)，并指出了它的局限性，例如它連最常用的異或（XOR）邏輯運(yùn)算都無(wú)法實(shí)現(xiàn)。課程內(nèi)容—前饋神經(jīng)網(wǎng)絡(luò)感知器感知器權(quán)值的學(xué)習(xí)是通過(guò)給定的導(dǎo)前信號(hào)（即希望輸出）按下式進(jìn)行的

如果在感知器的A層和R層加上一層或多層隱單元，則構(gòu)成的多層感知器具有很強(qiáng)的處理功能，事實(shí)上我們有以下的結(jié)論：定理6-1假定隱層的節(jié)點(diǎn)可以根據(jù)需要自由設(shè)置，那么三層（不包括S層）的閾值網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。課程內(nèi)容—前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)（BackPropagationNN）是一單向傳播的度層前向網(wǎng)絡(luò)，其結(jié)構(gòu)如圖6-6所示。

圖6-6BP網(wǎng)絡(luò)

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡(luò)GMDH網(wǎng)絡(luò)GMDH（TheGroupMethodofDataHandling）模型是由Ivakhnenko（1971）為預(yù)報(bào)海洋河流中的魚(yú)群而提出的模型。它成功地應(yīng)用于非線性系統(tǒng)的建模和控制中，如超音速飛機(jī)的控制系統(tǒng)，電力系統(tǒng)的負(fù)荷預(yù)測(cè)等。又稱多項(xiàng)式網(wǎng)絡(luò)。圖6-7GDMH的典型網(wǎng)絡(luò)結(jié)構(gòu)圖6-8GMDH網(wǎng)絡(luò)的處理單元圖6-7所示的是一典型的GDMH網(wǎng)絡(luò)，它由4個(gè)輸入和單輸出構(gòu)成。輸入層節(jié)點(diǎn)只是傳遞輸入信號(hào)到中間隱層的節(jié)點(diǎn)，每一隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)正好有兩個(gè)輸入，因此單輸出節(jié)點(diǎn)的前一層肯定只有兩個(gè)隱層節(jié)點(diǎn)。

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)RBF（RadialBasisFunctiion）網(wǎng)絡(luò)由三層組成，其結(jié)構(gòu)如圖6-10所示：圖6-10RBF網(wǎng)絡(luò)輸入層節(jié)點(diǎn)：傳遞輸入信號(hào)到隱層隱層節(jié)點(diǎn)（RBF節(jié)點(diǎn)）：由輻射狀作用函數(shù)構(gòu)成，最常用的時(shí)高斯核函數(shù)輸出層節(jié)點(diǎn)：隱層節(jié)點(diǎn)輸出的線性組合

與BP網(wǎng)絡(luò)的區(qū)別：作用函數(shù)不同課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)CG網(wǎng)絡(luò)模型在反饋網(wǎng)絡(luò)中，輸入信號(hào)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過(guò)一系列狀態(tài)轉(zhuǎn)移后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡(luò)經(jīng)計(jì)算后的輸出結(jié)果，由此可見(jiàn)，穩(wěn)定性是反饋網(wǎng)絡(luò)中最重要的問(wèn)題之一。Cohen和Grossberg提出的反饋網(wǎng)絡(luò)模型可用下述一組非線性微分方程描述

關(guān)于CG網(wǎng)絡(luò)模型的穩(wěn)定性，我們有以下的結(jié)果：

定理6-4的證明可通過(guò)Lyapunov函數(shù)來(lái)完成。課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)盒中腦（BSB）模型BSB(Brain-State-in-a-Box)模型由下列離散方程描述對(duì)應(yīng)的連續(xù)時(shí)間模型為

定義

課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)模型Hopfield提出的網(wǎng)絡(luò)模型可用下列非線性微分方程描述，上述模型還可用一電路來(lái)表示（如圖6-12所示）

圖6-12Hopfield電路

定義Hopfield網(wǎng)絡(luò)的能量函數(shù)為

（6-24）（6-25）課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)模型

對(duì)于理想放大器，等式（6-25）可簡(jiǎn)化為

或?qū)?yīng)等式(6-24)的連續(xù)時(shí)間的Hopfield網(wǎng)絡(luò)模型，離散的的Hopfield網(wǎng)絡(luò)模型描述如下：

（6-30）對(duì)于網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)回歸BP網(wǎng)絡(luò)回歸BP網(wǎng)絡(luò)可由非線性動(dòng)態(tài)方程描述

（6-33）

網(wǎng)絡(luò)的權(quán)矩陣可通過(guò)一輔助網(wǎng)絡(luò)來(lái)修正，即

（6-39）課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)Boltzmann網(wǎng)絡(luò)G.E.Hinton和T.J.Sejnowski借助統(tǒng)計(jì)物理學(xué)的方法，對(duì)具有對(duì)稱權(quán)矩陣的隨機(jī)網(wǎng)絡(luò)引進(jìn)了一般的學(xué)習(xí)方法。由于這種隨機(jī)網(wǎng)絡(luò)的狀態(tài)服從于統(tǒng)計(jì)學(xué)的Boltzmann分布，故被稱為Boltzmann機(jī)。

（6-40）網(wǎng)絡(luò)由可見(jiàn)單元和隱單元構(gòu)成，每個(gè)單元只取兩種狀態(tài)：+1和-1。輸出值取+1的概率：輸出值取-1的概率：

（6-41）

課程內(nèi)容—反饋神經(jīng)網(wǎng)絡(luò)Boltzmann網(wǎng)絡(luò)

（6-41）

采用梯度下降法得

權(quán)值修正方程為

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)模糊神經(jīng)網(wǎng)絡(luò)將模糊邏輯與神經(jīng)網(wǎng)絡(luò)適當(dāng)?shù)亟Y(jié)合起來(lái)，吸取兩者的長(zhǎng)處，則可組成比單獨(dú)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)或單獨(dú)的模糊系統(tǒng)性能更好的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)模糊邏輯模糊神經(jīng)網(wǎng)絡(luò)不適于表達(dá)基于規(guī)則的知識(shí)訓(xùn)練時(shí)不能很好地利用經(jīng)驗(yàn)知識(shí)適合于表達(dá)模糊或定性的知識(shí)缺乏自學(xué)習(xí)和自適應(yīng)能力課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)基于標(biāo)準(zhǔn)模型的模糊神經(jīng)網(wǎng)絡(luò)一種是模糊規(guī)則的后件為輸出量的某一模糊集合，如NB，PB等。另一種是模糊規(guī)則的后件為輸入語(yǔ)言變量的函數(shù)。圖6-13基于標(biāo)準(zhǔn)模型的模糊系統(tǒng)原理結(jié)構(gòu)圖由于該方法是Takagi和Sugeno首先提出來(lái)的，因此通常稱它為模糊系統(tǒng)的Takagi-Sugeno模型。模糊模型的表示主要有兩種：模糊系統(tǒng)的標(biāo)準(zhǔn)模型

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)

輸出量總的模糊集合為

若采用加權(quán)平均的清晰化方法，則可求得輸出的清晰化量為

其中課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)圖6-14基于標(biāo)準(zhǔn)模型的模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖6-14所示模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

圖6-15單個(gè)神經(jīng)元結(jié)點(diǎn)的基本結(jié)構(gòu)課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)下面具體給出它的每一層的結(jié)點(diǎn)函數(shù)：第一層第二層第三層第四層第五層或者設(shè)取誤差代價(jià)函數(shù)為

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)

最后可給出參數(shù)調(diào)整的學(xué)習(xí)算法

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)例6-1設(shè)有如下的二維非線性函數(shù)

圖6-17模糊神經(jīng)網(wǎng)絡(luò)的誤差學(xué)習(xí)曲線圖6-18模糊神經(jīng)網(wǎng)絡(luò)輸入輸出的三維圖形課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)基于Takagi-Sugenno模型的模糊神經(jīng)網(wǎng)絡(luò)Takagi-Sugenno模型

模糊系統(tǒng)的輸出量為每條規(guī)則的輸出量的加權(quán)平均，即

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)該網(wǎng)絡(luò)由前件網(wǎng)絡(luò)和后件網(wǎng)絡(luò)兩部分組成，前件網(wǎng)絡(luò)用來(lái)匹配模糊規(guī)則的前件，后件網(wǎng)絡(luò)用來(lái)產(chǎn)生模糊規(guī)則的后件，如圖6-18所示。圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化結(jié)構(gòu)課程內(nèi)容—模糊神經(jīng)網(wǎng)絡(luò)

課程內(nèi)容—深度學(xué)習(xí)深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究1943年，心理學(xué)家WarrenMcculloch和數(shù)理邏輯學(xué)家WalterPitts在合作的論文中提出并給出了人工神經(jīng)網(wǎng)絡(luò)的概念及人工神神經(jīng)元的數(shù)學(xué)模型，從而開(kāi)創(chuàng)了人類神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。1957年，F(xiàn)rankRosenblatt在NewYorkTimes上發(fā)表文章“Electronic‘Brain’TeachesItself”，首次提出感知機(jī)（Perceptron）。1982年，美國(guó)加州理工學(xué)院的物理學(xué)家JamesL.McCelland研究小組發(fā)表的《并行分布處理》，重新激起了人們對(duì)ANN的研究興趣。文中對(duì)反向傳播算法進(jìn)行了詳盡的分析。2006年，加拿大多倫多大學(xué)教授GeoffreyHinton在世界頂級(jí)學(xué)術(shù)期刊“Science”上發(fā)表的一篇論文提出了深度學(xué)習(xí)以及深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法的改進(jìn)，打破了BP神經(jīng)網(wǎng)絡(luò)發(fā)展的瓶頸，揭開(kāi)了深度學(xué)習(xí)的序幕。……課程內(nèi)容—深度學(xué)習(xí)深度學(xué)習(xí)基本概念機(jī)器學(xué)習(xí)（MachineLearning）監(jiān)督學(xué)習(xí)：分類，針對(duì)已有的訓(xùn)練樣本；無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有任何訓(xùn)練樣本，需要直接對(duì)數(shù)據(jù)進(jìn)行建模；半監(jiān)督學(xué)習(xí)：訓(xùn)練的時(shí)候有一部分是有標(biāo)簽的而有一部分是沒(méi)有的；強(qiáng)化學(xué)習(xí)：試錯(cuò)學(xué)習(xí)，智能體要以不斷與環(huán)境進(jìn)行交互，通過(guò)試錯(cuò)來(lái)獲得最佳策略。表示學(xué)習(xí)（RepresentationLearning）表示學(xué)習(xí)希望能從數(shù)據(jù)中自動(dòng)地學(xué)到從數(shù)據(jù)的原始形式到數(shù)據(jù)的表示之間的映射深度學(xué)習(xí)（DeepLearning）通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征課程內(nèi)容—深度學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，DNN）深度神經(jīng)網(wǎng)絡(luò)目前的成功取決于三大推動(dòng)因素，包括大數(shù)據(jù)、計(jì)算能力和算法創(chuàng)新。激活函數(shù)（Activationfunctions）是神經(jīng)網(wǎng)絡(luò)能解決非線性問(wèn)題關(guān)鍵，具有代表性的激活函數(shù)有許多，如Sigmoid激活函數(shù)，tanh激活函數(shù)，ReLU激活函數(shù)等。遷移學(xué)習(xí)（transferlearning）和多任務(wù)學(xué)習(xí)（multi-tasklearning）旨在利用源任務(wù)數(shù)據(jù)輔助目標(biāo)任務(wù)數(shù)據(jù)下的學(xué)習(xí)。遷移學(xué)習(xí)適用于源任務(wù)數(shù)據(jù)比目標(biāo)任務(wù)數(shù)據(jù)多，并且源任務(wù)中學(xué)習(xí)得到的低層特征可以幫助目標(biāo)任務(wù)的學(xué)習(xí)的情形。端到端學(xué)習(xí)（End-to-endLearning）旨在通過(guò)一個(gè)深度神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)從數(shù)據(jù)的原始形式到數(shù)據(jù)的標(biāo)記的映射。課程內(nèi)容—深度學(xué)習(xí)深度學(xué)習(xí)基本模型圖6-23DBN網(wǎng)絡(luò)結(jié)構(gòu)受限玻爾茲曼機(jī)是一種可通過(guò)輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機(jī)生成神經(jīng)網(wǎng)絡(luò)。RBM最初由發(fā)明者保羅·斯模棱斯基（PaulSmolensky）于1986年命名為簧風(fēng)琴（Harmonium），但直到杰弗里·辛頓及其合作者發(fā)明快速學(xué)習(xí)算法后，受限玻爾茲曼機(jī)才變得知名。深度置信網(wǎng)絡(luò)（DBN）基于RBM的DBN由多個(gè)RBM堆疊而成，其結(jié)構(gòu)如圖6-23所示。網(wǎng)絡(luò)訓(xùn)練過(guò)程中分為兩個(gè)階段：預(yù)訓(xùn)練(Pretraining)和微調(diào)(Finetuning)：預(yù)訓(xùn)練階段：從低層