神經(jīng)網(wǎng)絡(luò)控制1模型總結(jié)課件

1、Part2 Artificial Neural Network第二部分 人工神經(jīng)網(wǎng)絡(luò)之一 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2022/10/141Part2 Artificial Neural Netw一、神經(jīng)網(wǎng)絡(luò)概論神經(jīng)網(wǎng)絡(luò)種類生物神經(jīng)網(wǎng)絡(luò)（Biological Neural Networks）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks)2022/10/142一、神經(jīng)網(wǎng)絡(luò)概論神經(jīng)網(wǎng)絡(luò)種類2022/10/1121.1 生物神經(jīng)元網(wǎng)絡(luò)1.1.1生物神經(jīng)元 1.1.2人腦神經(jīng)網(wǎng)絡(luò)2022/10/1431.1 生物神經(jīng)元網(wǎng)絡(luò)1.1.1生物神經(jīng)元 21.1.1 生物神經(jīng)元。 人的大腦由1012個(gè)神經(jīng)

2、元構(gòu)成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元組成：細(xì)胞體為主體神經(jīng)元功能：刺激、興奮、傳導(dǎo)、效應(yīng)形狀圖神經(jīng)元類型原則突觸傳遞信息特點(diǎn)2022/10/1441.1.1 生物神經(jīng)元。 人的大腦由1012個(gè)神經(jīng)元構(gòu)成，形狀圖2022/10/145形狀圖2022/10/1152022/10/1462022/10/116類型單極無脊椎動(dòng)物雙極視網(wǎng)膜神經(jīng)元neuron多極脊椎、錐體、小腦蒲根2022/10/147類型2022/10/117原 則神經(jīng)元間信息傳遞的理論基礎(chǔ)原則1 動(dòng)態(tài)極化原則（即信號(hào)沿確定方向流動(dòng)） 樹突 軸突 突觸 其他神經(jīng)元原則2 連接的專一性原則 神經(jīng)元之間元細(xì)胞質(zhì)的連續(xù) 神經(jīng)元不構(gòu)成隨機(jī)網(wǎng)

3、絡(luò) 每一神經(jīng)元與一些神經(jīng)元形成特殊的精確的聯(lián)系 2022/10/148原 則神經(jīng)元間信息傳遞的理論基礎(chǔ)2022/10/118突觸傳遞信息特點(diǎn)1 時(shí)延性 :（0.31ms）2 綜合性 ：時(shí)間與空間的累加3 類型：興奮與抑制4 脈沖與電位轉(zhuǎn)換: （D/A功能）5 速度：1150m/s6 不應(yīng)期（死區(qū)）：35ms7 不可逆性（單向）8 可塑性 :強(qiáng)度可變 ,有學(xué)習(xí)功能 脈沖 2022/10/149突觸傳遞信息特點(diǎn)1 時(shí)延性 :（0.31ms） 1.1.2 人腦神經(jīng)網(wǎng)絡(luò)腦神經(jīng)系統(tǒng)主要組成部分大腦皮層由許多功能區(qū)組成（運(yùn)動(dòng)、聽覺、視覺等） 神經(jīng)元群 其區(qū)域性結(jié)構(gòu)：遺傳 其功能：后天對(duì)環(huán)境的適應(yīng)于學(xué)習(xí)得來

4、 （自組織特性Self-Organization） 子功能模塊的并行關(guān)系 a) 連接形式 b) 大腦處理信息的特點(diǎn) C) 生物學(xué)研究成果 2022/10/14101.1.2 人腦神經(jīng)網(wǎng)絡(luò)腦神經(jīng)系統(tǒng)主要組成部分2022/10連接形式輻射式：一到多聚合式：多到一鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用環(huán)式：反饋?zhàn)饔茫烧韶?fù)）2022/10/1411連接形式2022/10/1111輻射式：一到多2022/10/1412輻射式：一到多2022/10/1112聚合式：多到一2022/10/1413聚合式：多到一2022/10/1113鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用2022/10/1414鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用

5、2022/10/1114環(huán)式：反饋?zhàn)饔茫烧韶?fù))2022/10/1415環(huán)式：反饋?zhàn)饔茫烧韶?fù))2022/10/1115 大腦處理信息的特點(diǎn) 分布存儲(chǔ)與冗余性：記憶在大量元中，每個(gè)元存在許多信息的部分內(nèi)容，信息在神經(jīng)網(wǎng)絡(luò)中的記憶反映在神經(jīng)元間的突觸連接強(qiáng)度上(weights）;并行處理：NN既是處理器又是存儲(chǔ)器（并行處理不同于并行機(jī)）;信息處理與存儲(chǔ)合一：每個(gè)元兼有二者功能;可塑性與自組織性：可塑性是學(xué)習(xí)記憶的基礎(chǔ);魯棒性：高連接度導(dǎo)致一定的誤差和噪聲不會(huì)使網(wǎng)絡(luò)性能惡化。是智能演化的重要因素。2022/10/1416 大腦處理信息的特點(diǎn) 分布存儲(chǔ)與冗余性：記憶在大量1.2 人工神經(jīng)網(wǎng)絡(luò)研究

6、大腦的目的：a）揭示功能造福人類 b）構(gòu)造ANN用于工程及其他領(lǐng)域（生物神經(jīng)網(wǎng)絡(luò)的模型化：ANN） BNN modelingANN ANN非BNN模型，而是對(duì)結(jié)構(gòu)及功能大大簡(jiǎn)化后保留主要特性的某種抽象與模型。 2022/10/14171.2 人工神經(jīng)網(wǎng)絡(luò)研究大腦的目的：2022/10/1117神經(jīng)網(wǎng)絡(luò)直觀理解神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其他的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。2022/10/1418神經(jīng)網(wǎng)絡(luò)直觀理解神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)1.2.1 人工

7、神經(jīng)元模型 BNN 信息傳遞過程 為 MISO 系統(tǒng),信號(hào)為脈沖，當(dāng)脈沖到達(dá)突觸前膜時(shí)，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時(shí)間總合效應(yīng)）。 各通道都對(duì)電位產(chǎn)生影響（空間總合效應(yīng)）。 2022/10/14191.2.1 人工神經(jīng)元模型 BNN 信息 單個(gè)神經(jīng)元特性 神經(jīng)元的膜電位與時(shí)間關(guān)系如下spike2022/10/1420 BNN 脈沖， ANN 模擬電壓ANN等效模擬電壓近似BNN脈沖密度，僅有空間累加無時(shí)間累加（可認(rèn)為時(shí)間累加已隱含于等效模擬電壓之中）ANN中未考慮時(shí)延、不應(yīng)期及疲勞等 可建立更為精確的模型，但一般NN研究無此必要（方法論）2022/10

8、/14212022/10/1121神經(jīng)元模型（1）神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響之外，同時(shí)也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)，稱為偏差（bias），有時(shí)也稱為閾值或門限值。2022/10/1422神經(jīng)元模型（1）神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是神經(jīng)元模型（2） 。 2022/10/1423神經(jīng)元模型（2） 。 2022/10/1123神經(jīng)元模型數(shù)學(xué)描述2022/10/1424神經(jīng)元模型數(shù)學(xué)描述2022/10/1124抽象可得數(shù)學(xué)表達(dá)式： 數(shù)值（weights)

9、 b 閾值（threshold） 作用函數(shù)（activated transfer function） 2022/10/1425抽象可得數(shù)學(xué)表達(dá)式： 2022/10/112作用函數(shù)的基本作用1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。 2022/10/1426作用函數(shù)的基本作用2022/10/1126幾種常用的作用函數(shù) 1、閥值型（硬限制型) 2、線性型 3、S型函數(shù)（Sigmoid） 4、輻射基函數(shù)2022/10/1427幾種常用的作用函數(shù) 1、閥值型（硬限制型) 2022/101、閥值型（硬限制型） 2022/10/1428

10、1、閥值型（硬限制型） 2022/10/11282022/10/14292022/10/11292、線性型a) 全線性 2022/10/14302、線性型a) 全線性 2022/10/1130b) 正線性2022/10/1431b) 正線性2022/10/1131S型函數(shù)（Sigmoid）a) 對(duì)數(shù)正切 y=1/(e-n+1)2022/10/1432S型函數(shù)（Sigmoid）a) 對(duì)數(shù)正切 y=1/(e-nb)雙曲正切 y=tanh(n)2022/10/1433b)雙曲正切 y=tanh(n)2022/10/11334.輻射基函數(shù)a) 高斯函數(shù)2022/10/14344.輻射基函數(shù)a) 高斯函

11、數(shù)2022/10/1134b)三角波函數(shù)2022/10/1435b)三角波函數(shù)2022/10/1135人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成基本模型連接的幾種基本形式前向網(wǎng)絡(luò)（feed-forward Networks）回歸網(wǎng)絡(luò)（recurrent Networks）互聯(lián)網(wǎng)絡(luò)（全互連與局部互連）也可是以上幾種形式的組合2022/10/1436人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成基本模型2022/10/1136神經(jīng)網(wǎng)絡(luò)基本模型 2022/10/1437神經(jīng)網(wǎng)絡(luò)基本模型 2022/10/1137前向網(wǎng)絡(luò)結(jié)構(gòu)圖2022/10/1438前向網(wǎng)絡(luò)結(jié)構(gòu)圖2022/10/1138前向網(wǎng)絡(luò)特點(diǎn) 1. 神經(jīng)元分層排列，可又多層 2. 層間無連接 3

12、. 方向由入到出 感知網(wǎng)絡(luò)（perceptron即為此） 應(yīng)用最為廣泛 2022/10/1439前向網(wǎng)絡(luò)特點(diǎn) 1. 神經(jīng)元分層排列，可又多層2022回歸網(wǎng)絡(luò)全反饋結(jié)構(gòu)圖2022/10/1440回歸網(wǎng)絡(luò)2022/10/1140Inner RNN結(jié)構(gòu)圖2022/10/1441Inner RNN結(jié)構(gòu)圖2022/10/1141回歸網(wǎng)絡(luò)特點(diǎn)Output 與 Input相連（全反饋） 特點(diǎn)：1. 內(nèi)部前向 2. 輸出反饋到輸入 例： Fukushima網(wǎng)絡(luò)Inner recurrent 特點(diǎn)：層間元互相連接2022/10/1442回歸網(wǎng)絡(luò)特點(diǎn)Output 與 Input相連（全反饋）2互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)圖 20

13、22/10/1443互聯(lián)網(wǎng)絡(luò)2022/10/1143互聯(lián)網(wǎng)絡(luò)特點(diǎn)每個(gè)元都與其它元相連 例： Hopfield Boltzmann機(jī) 2022/10/1444互聯(lián)網(wǎng)絡(luò)特點(diǎn)每個(gè)元都與其它元相連2022/10/11441.2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) ANN研究中的核心問題 How to determine the weights(加權(quán)系數(shù))學(xué)習(xí)規(guī)則簡(jiǎn)介 2022/10/14451.2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 2022/10/1145關(guān)于學(xué)習(xí)問題學(xué)習(xí)：實(shí)例學(xué)習(xí) 舉一反三的能力機(jī)器學(xué)習(xí): 從數(shù)據(jù)中歸納出規(guī)律,進(jìn)行預(yù)測(cè)或者對(duì)其性質(zhì)作出判斷神經(jīng)網(wǎng)絡(luò)啟發(fā)式學(xué)習(xí)支持向量機(jī)-統(tǒng)計(jì)學(xué)習(xí)理論2022/10/1446關(guān)于學(xué)

14、習(xí)問題學(xué)習(xí)：實(shí)例學(xué)習(xí) 舉一反三的能力2022/學(xué)習(xí)規(guī)則1）直接設(shè)計(jì)計(jì)算 e.g. Hopfield 作優(yōu)化計(jì)算2）學(xué)習(xí)得到,即通過訓(xùn)練(training)2022/10/1447學(xué)習(xí)規(guī)則1）直接設(shè)計(jì)計(jì)算 2022/10/1147常用學(xué)習(xí)規(guī)則a) Hebb學(xué)習(xí) D.Hebb1949年提出：兩元同時(shí)興奮，則突觸連接加強(qiáng)b)學(xué)習(xí)規(guī)則 誤差校正規(guī)則 梯度方法 （BP即為其中一種） 2022/10/1448常用學(xué)習(xí)規(guī)則a) Hebb學(xué)習(xí)2022/10/1148c) 相近學(xué)習(xí)規(guī)則 使 ART SOFM 自組織競(jìng)爭(zhēng)用此規(guī)則2022/10/1449c) 相近學(xué)習(xí)規(guī)則2022/10/1149ANN 與BNN比較

15、 數(shù)學(xué)觀點(diǎn) ANN與BNN的比較2022/10/1450ANN 與BNN比較 2022/10/1150數(shù)學(xué)觀點(diǎn)ANN使一個(gè)以處理單元（PE： process element）為節(jié)點(diǎn)，用加權(quán)有向弧連接而成的有向圖。（1）每個(gè)節(jié)點(diǎn)有一個(gè)狀態(tài)變量;（2）節(jié)點(diǎn)i到節(jié)點(diǎn)j有一個(gè)連接權(quán)值;（3）每個(gè)節(jié)點(diǎn)有一個(gè)閾值；（4）每個(gè)節(jié)點(diǎn)定義一個(gè)變換函數(shù)。 PE是對(duì)BN的模擬，有向弧是對(duì)“軸突樹突”對(duì)的模擬。綜合全部有向弧形成的互連矩陣強(qiáng)度對(duì)應(yīng)于人腦中信息的長(zhǎng)期記憶。PE由NL函數(shù)實(shí)現(xiàn)單元I/O的NL映射，即時(shí)活躍值對(duì)應(yīng)于人腦中的短期記憶。2022/10/1451數(shù)學(xué)觀點(diǎn)ANN使一個(gè)以處理單元（PE： proces

16、s eANN與BNN的比較BNNANN單元上差別影響因素多忽略了影響關(guān)系簡(jiǎn)單信息上差別脈沖模擬電壓規(guī)模及智能大, 高小 個(gè)元 低 2022/10/1452ANN與BNN的比較BNNANN單元上差別影響因素多忽略了影1.3 ANN的發(fā)展ANN的發(fā)展史ANN的現(xiàn)狀 1）NN研究學(xué)術(shù)機(jī)構(gòu) 2）NN研究的主要問題方向： 1. 理論研究 2. 應(yīng)用研究2022/10/14531.3 ANN的發(fā)展ANN的發(fā)展史2022/10/1153ANN的發(fā)展史20世紀(jì)40年代：興起與蕭條 1943年 M-P model 心理學(xué)家W.S.McCulloch和 數(shù)學(xué)家W.Pitts提出： 形式神經(jīng)元的數(shù)學(xué)描述與構(gòu)造方法

17、與閾值神經(jīng)元model基本相同，權(quán)值固定 1949年 心理學(xué)家D.O.Hebb提出突觸強(qiáng)度可調(diào)的 假設(shè)： 學(xué)習(xí)過程發(fā)生在突觸上 Hebb規(guī)則：2022/10/1454ANN的發(fā)展史20世紀(jì)40年代：興起與蕭條2022/10/120世紀(jì)50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知網(wǎng)絡(luò)（Perceptron）模型，這是第一個(gè)完整的ANN 基本構(gòu)成為閥值單元、網(wǎng)絡(luò) 初具并行處理、分布存儲(chǔ)、學(xué)習(xí)等功能 用于模式識(shí)別、聯(lián)想記憶 引起NN研究的第一次高潮2022/10/145520世紀(jì)50年代 , 第一次高潮 1957年：F.Ro20世紀(jì)60年代,低潮1969年 Minsky和P

18、apert編寫的Perceptron 出版，使NN的研究進(jìn)入低潮 Problems：single lager P.僅可解線性問題， NL XOR無法求解； 求解XOR 應(yīng)該是MLP， 但MLP是否有意義，理論上不能得到有力證明 當(dāng)時(shí)現(xiàn)狀：數(shù)字計(jì)算機(jī)發(fā)達(dá)，認(rèn)為可解決一切問題 工業(yè)水平上，NNC不存在 但工作并未停止。 2022/10/145620世紀(jì)60年代,低潮1969年 Minsky和Paper1975年 Albus提出CMAC網(wǎng)絡(luò)（Cerebella Model Articulation Controller） 1977年 英國 Grossberg提出ART網(wǎng)絡(luò) （Adaptive Res

19、onance Theory） Kohonen提出自組織映射理論 福島邦彥（K.Fukushima）提出認(rèn)識(shí) 機(jī)（Neocognitron）模型 甘利?。⊿.Amari）：NN數(shù)學(xué)理論其它NL系統(tǒng)理論 Prigogine 非平衡系統(tǒng)的自組織理論 Haken 協(xié)同學(xué)2022/10/14572022/10/115720世紀(jì)80年代 第二次高潮Reasons: 1）AI理論、 Neumann計(jì)算機(jī)功能受挫（智能、視覺處理等） 2）ANN有新成果、腦科學(xué)、神經(jīng)科學(xué) 、 VLSI、光電技術(shù)的發(fā)展 2022/10/145820世紀(jì)80年代 第二次高潮Reasons: 1）J.J.Hopfield 1982年

20、 Hopfield網(wǎng)絡(luò)模型：網(wǎng)絡(luò)能量、網(wǎng)絡(luò)穩(wěn)定性判據(jù) 1984年 HNN用電子線路 實(shí)現(xiàn) HNN用途：聯(lián)想記憶、優(yōu)化計(jì)算機(jī)的新途徑1984年 Hilton 引入模擬退火法，提出Boltzmann機(jī)網(wǎng)絡(luò)1986年 Rumelhart提出EBP學(xué)習(xí)算法，解決了MLP隱含層的 weights 學(xué)習(xí)問題（error Back-Propagation）2022/10/1459J.J.Hopfield 1982年 Hopfiel1987年 Nielson提出了對(duì)向傳播（Counter Propagation）神經(jīng)網(wǎng)絡(luò)1988年 L.O.Chua提出細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型自1958年來已有近40種NN

21、model2022/10/14601987年 Nielson提出了對(duì)向傳播（Counter NN研究學(xué)術(shù)機(jī)構(gòu) 1987年 國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì) 定期召開ICNN會(huì)議 1988年 IEEE Transaction on Neural Networks創(chuàng)刊 1990.12 CCNN（中國）第一次會(huì)議 1991年 中國神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)2022/10/1461NN研究學(xué)術(shù)機(jī)構(gòu) 1987年 國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì) 理論研究 利用神經(jīng)生物和認(rèn)知科學(xué)研究大腦思維及智能的機(jī)理利用上一項(xiàng)成果，用數(shù)理方法探索智能水平更高的ANN model 1）深入研究網(wǎng)絡(luò)算法和性能 e.g.穩(wěn)定 性、收斂性、容錯(cuò)性、魯棒性 2）開發(fā)性的網(wǎng)絡(luò)

22、數(shù)據(jù)理論：神經(jīng)網(wǎng)絡(luò) 動(dòng)力學(xué)、非線性神經(jīng)場(chǎng) 2022/10/1462理論研究 利用神經(jīng)生物和認(rèn)知科學(xué)研究大腦思維及智能的機(jī)理應(yīng)用研究神經(jīng)網(wǎng)絡(luò)軟件模擬和硬件實(shí)現(xiàn)的研究NN在各個(gè)技術(shù)領(lǐng)域中應(yīng)用研究 e.g.模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等2022/10/1463應(yīng)用研究神經(jīng)網(wǎng)絡(luò)軟件模擬和硬件實(shí)現(xiàn)的研究2022/10/11 1.4 ANN 與自動(dòng)控制需求是發(fā)明之母 NN在AC上應(yīng)用的吸引力NN在AC上的應(yīng)用2022/10/1464 1.4 ANN 與自動(dòng)控制需求是發(fā)明之母2022/10AC需求處理不斷復(fù)雜的對(duì)象完成不斷復(fù)雜的設(shè)計(jì)在對(duì)象和環(huán)境的知識(shí)所知甚少的情況下達(dá)到以上兩點(diǎn)要求2022/10/1465AC需求處理不斷復(fù)雜的對(duì)象2022/10/1165NN在AC上應(yīng)用的吸引力任何精度逼近任意連接非線性函數(shù)（NL系統(tǒng)的統(tǒng)一描述）對(duì)復(fù)雜不確定問題具有自適應(yīng)、學(xué)習(xí)能力并行機(jī)制，解決實(shí)時(shí)計(jì)算問題，具有冗余性容錯(cuò)能力信息融合（Fusion），多