人工神經(jīng)網(wǎng)絡2神經(jīng)元模型和網(wǎng)絡結構ppt課件

1、武漢科技大學1人工神經(jīng)網(wǎng)絡(Artifical Neural Network)張凱 副教授武漢科技大學 計算機學院2第二章第二章 神經(jīng)元模型和網(wǎng)絡構造神經(jīng)元模型和網(wǎng)絡構造1. 生物學的啟示生物學的啟示2. 神經(jīng)元模型神經(jīng)元模型3. 神經(jīng)網(wǎng)絡構造神經(jīng)網(wǎng)絡構造4. 章節(jié)小結章節(jié)小結生物學的啟示生物學的啟示生物學的啟示生物學的啟示生物學的啟示生物學的啟示人腦具有宏大的并行計算才干大腦約有1011個神經(jīng)元 每個神經(jīng)元約有104個銜接。 生物學的啟示生物學的啟示生物學的啟示生物學的啟示神經(jīng)元相對于電子線路要慢許多 10-3 秒相對于10-9秒 生物學的啟示生物學的啟示樹突輸入 軸突輸出 細胞體 突觸神經(jīng)

2、元在構造上由細胞體、樹突、軸突和突觸4部分組成。生物學的啟示生物學的啟示樹突輸入 軸突輸出 細胞體 突觸1細胞體細胞體是神經(jīng)元的主體，由細胞核、細胞質(zhì)和細胞膜3部分組成。細胞體的外部是細胞膜，將膜內(nèi)外細胞液分開。由于細胞膜對細胞液中的不同離子具有不同的通透性，這使得膜內(nèi)外存在著離子濃度差，從而出現(xiàn)內(nèi)負外正的靜息電位。這種電位差稱為膜電位。生物學的啟示生物學的啟示樹突輸入 軸突輸出 細胞體 突觸2樹突從細胞體向外延伸出許多突起的神經(jīng)纖維。擔任接納來自其他神經(jīng)元的輸入信號，相當于細胞體的輸入端input。生物學的啟示生物學的啟示樹突輸入 軸突輸出 細胞體 突觸3軸突由細胞體伸出的最長的一條突起稱為

3、軸突。軸突比樹突長而細。軸突也叫神經(jīng)纖維，末端處有很多細的分支稱為神經(jīng)末梢，每一條神經(jīng)末梢可以向四面八方傳出信號，相當于細胞體的輸出端output。生物學的啟示生物學的啟示樹突輸入 軸突輸出 細胞體 突觸4突觸一個神經(jīng)元經(jīng)過其軸突的神經(jīng)末梢和和另一個神經(jīng)元的細胞體或樹突進展通訊銜接，這種銜接相當于神經(jīng)元之間的輸入/輸出接口I/O，稱為突觸。生物學的啟示生物學的啟示突觸使神經(jīng)細胞的膜電位發(fā)生變化，且電位的變化是可以累加的，單個神經(jīng)元可以與多達上千個其他神經(jīng)元的軸突末梢構成突觸銜接，接受從各個軸突傳來的脈沖輸入。生物學的啟示生物學的啟示這些輸入可到達神經(jīng)元的不同部位，輸入部位不同，對神經(jīng)元影響的權

4、重也不同。生物學的啟示生物學的啟示輸入部位不同，該神經(jīng)細胞膜電位是它一切突觸產(chǎn)生的電位總和，當該神經(jīng)細胞的膜電位升高到超越一個閾值時，就會產(chǎn)生一個脈沖，從而總和的膜電位直接影響該神經(jīng)細胞興發(fā)奮放的脈沖數(shù)。生物學的啟示生物學的啟示神經(jīng)元的信息是寬度和幅度都一樣的脈沖串，假設某個神經(jīng)細胞興奮，其軸突輸出的脈沖串的頻率就高；假設某個神經(jīng)細胞抑制，其軸突輸出的脈沖串的頻率就低，甚至無脈沖輸出。生物學的啟示生物學的啟示因此，突觸可以分為興奮性和抑制性兩種，興奮性的突觸能夠引起下一個神經(jīng)細胞興奮，抑制性的突觸使下一個神經(jīng)細胞抑制。脈沖的傳送是正向的，不允許逆向傳播。另外，突觸傳送信息需求一定的延遲。生物神

5、經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元綜上所述，我們可以概括出生物神經(jīng)網(wǎng)絡的假定特點：每個神經(jīng)元都是一個多輸入單輸出的信息處置單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱。M-P模型模型1943年心思學家W.McCulloch(邁科絡)和數(shù)學家W.Pitts(皮茨)協(xié)作提出了M-P模型，即

6、以他們兩個人的名字命名McCulloch-Pitts。 M-P模型模型Walter PittsWarren McCullochM-P模型模型McCulloch和Pitts按照生物神經(jīng)元的構造和任務原理構造出來的一個籠統(tǒng)和簡化了的模型。簡單點說，它是對一個生物神經(jīng)元的建模。M-P模型模型為了使得建模更加簡單，以便于進展方式化表達，我們忽略時間整協(xié)作用、不應期等復雜要素，并把神經(jīng)元的突觸時延和強度當成常數(shù)。如下就是一個M-P模型的表示圖。M-P模型模型結合M-P模型表示圖來看，對于某一個神經(jīng)元 j留意別混淆成變量了，在這里 j 只是起到標識某個神經(jīng)元的作用，它能夠接受同時接受了許多個輸入信號，用x

7、i 表示，前面說過，由于生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，所以對神經(jīng)元的影響不同，我們用權值wij來表示，其正負模擬了生物神經(jīng)元中突出的興奮和抑制，其大小那么代表了突出的不同銜接強度。由于累加性，我們對全部輸入信號進展累加整合，相當于生物神經(jīng)元中的膜電位，其值就為 1niiiw xM-P模型模型神經(jīng)元激活與否取決于某一閾值電平，即只需當其輸入總和超越閾值時，神經(jīng)元才被激活而發(fā)放脈沖，否那么神經(jīng)元不會發(fā)生輸出信號。整個過程可以用下面這個函數(shù)來表示： 1niiinetw x1niiiyf netfw xM-P模型模型由此可以得到總結出M-P模型的6個特點：每個神經(jīng)元都是一個多輸入單輸出的信息

8、處置單元神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱；忽略時間整協(xié)作用和不應期；神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元信息輸入信息輸入生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元信息信息 傳播與處置傳播與處置生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元信息信息 傳播傳播 與處置整合與處置整合生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元信息信息 傳播與處置：興奮抑制傳播與處置：興奮抑制生物神經(jīng)元信息處置單元生物神經(jīng)元信息處置單元信息輸出信息輸出生物神經(jīng)元

9、對應人工神經(jīng)元生物神經(jīng)元對應人工神經(jīng)元人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 信息輸入信息輸入人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 信息信息 傳播與處置：傳播與處置： 積與和積與和人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 信息信息 傳播與處置：傳播與處置： 積與和積與和人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 信息信息 傳播與處置傳播與處置: 非線性非線性人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 信息輸出信息輸出人工神經(jīng)元信息處置單元人工神經(jīng)元信息處置單元 )(ixf i 人工神經(jīng)信息處置

10、單元人工神經(jīng)信息處置單元 )(ixf i 人工神經(jīng)元信息輸入輸出人工神經(jīng)元信息輸入輸出 )(ixf i 人工神經(jīng)元信息輸入輸出人工神經(jīng)元信息輸入輸出 )(ixf i 人工神經(jīng)元信息輸入輸出人工神經(jīng)元信息輸入輸出 )(ixf i 人工神經(jīng)元信息輸入輸出人工神經(jīng)元信息輸入輸出 )(ixf i 原理和實例原理和實例符號圖、數(shù)字公式以及解釋圖和數(shù)字公式的正文，將運用一下符號：標量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑整體字母，如A,B,C。單輸入神經(jīng)元模型單輸入神經(jīng)元模型輸入 通用神經(jīng)元 單輸入神經(jīng)元模型單輸入神經(jīng)元模型神經(jīng)元按下式計算例如，假設w=3，p

11、=2，b=1.5，那么傳輸函數(shù)傳輸函數(shù)上例中傳輸函數(shù)可以是n的線性或者非線性函數(shù)。可以用特定的傳輸函數(shù)滿足神經(jīng)元要處理的特定問題。本書包括了各個不同的傳輸函數(shù)。下面將討論其中最常用的三種。硬極限傳輸函數(shù)線性傳輸函數(shù) 對數(shù)-S形傳輸函數(shù)傳輸函數(shù)傳輸函數(shù) Transfer Functions1(0)( )hardlim( )0(0)naf nnn硬極限傳輸函數(shù)傳輸函數(shù)傳輸函數(shù) Transfer Functions( )af nn線性傳輸函數(shù)傳輸函數(shù)傳輸函數(shù) Transfer Functions1()1nafne對數(shù)-S型傳輸函數(shù)傳輸函數(shù)傳輸函數(shù) Transfer Functions1()1nafn

12、euSigmoid Function ：u特性：u值域a(0,1)u非線性，單調(diào)性u無限次可微u|n|較小時可近似線性函數(shù)u|n|較大時可近似閾值函數(shù)多輸入神經(jīng)元多輸入神經(jīng)元權值矩陣：通常，一個神經(jīng)元有不止一個輸入。具有R個輸入的神經(jīng)元如以下圖所示。其輸入p1,p2,pR分別對應權值矩陣w的元素w1,1,w1,2,w1,R 。多個輸入神經(jīng)元多個輸入神經(jīng)元輸入 多神經(jīng)元 多個輸入神經(jīng)元多個輸入神經(jīng)元該神經(jīng)元有一個偏置值b，它與一切輸入的加權和累加，從而構成凈輸入n表達式可以寫成矩陣方式：神經(jīng)元的輸出可以寫成：多個輸入神經(jīng)元多個輸入神經(jīng)元輸入 多神經(jīng)元 權值下標權值下標權值下標：權值矩陣元素下標的

13、第一個下標表示權值相應銜接所指定的目的神經(jīng)元編號，第二個下標表示權值相應銜接的源神經(jīng)元編號。多個輸入神經(jīng)元多個輸入神經(jīng)元多個輸入神經(jīng)元多個輸入神經(jīng)元簡化符號左邊垂直的實心條表示輸入向量p，p下面的變量R1表示p的維數(shù)，也即輸入是由R個元素組成的一維向量。這些輸入被送人權值矩陣w，w有1行R列。常量1那么作為輸入與標量偏置值b相乘。傳輸函數(shù)f的凈輸入是n，它是偏置值b與積wp的和。在這種情況下，神經(jīng)元的輸出a是一個標量。假設網(wǎng)絡有多個神經(jīng)元，那么網(wǎng)絡輸出就能夠是一個向量。神經(jīng)元的層神經(jīng)元的層 Layer of Neurons多個并行操作的神經(jīng)元輸入向量p的每個元素均經(jīng)過權值矩陣W和每個神經(jīng)元相連

14、。神經(jīng)元的層神經(jīng)元的層 Layer of Neuronsp =p1p2pR輸入向量經(jīng)過如下權矩陣W進入網(wǎng)絡：同樣，具有S個神經(jīng)元、R個輸入的單層網(wǎng)絡也能用簡化的符號表示為如下圖的方式。a神經(jīng)元的層神經(jīng)元的層 Layer of Neuronsb12S=bbbpp1p2pR=a1a2aS=.多層神經(jīng)元多層神經(jīng)元 Multilayer Network層上標層上標 如今思索具有幾層神經(jīng)元的網(wǎng)絡。每個變量都如今思索具有幾層神經(jīng)元的網(wǎng)絡。每個變量都附加一個上標來表示其所處層次。圖所示的三層網(wǎng)絡就附加一個上標來表示其所處層次。圖所示的三層網(wǎng)絡就運用了這種標志方法。運用了這種標志方法。該三層網(wǎng)絡同樣也可以用簡

15、化的符號表示該三層網(wǎng)絡同樣也可以用簡化的符號表示多層神經(jīng)元多層神經(jīng)元 Multilayer Network隱含層輸出層輸入層簡化符號 輸入層輸入層 隱含層隱含層 假設某層的輸出是網(wǎng)絡的輸出，那么假設某層的輸出是網(wǎng)絡的輸出，那么稱該層為輸出層，而其他層叫隱含層。稱該層為輸出層，而其他層叫隱含層。延時器和積分器延時器和積分器延時器延時延時 在討論遞歸網(wǎng)絡前，首先引見一些簡單的構在討論遞歸網(wǎng)絡前，首先引見一些簡單的構造模塊。第一種是延時模塊。造模塊。第一種是延時模塊。延時器和積分器延時器和積分器積分器 積分器積分器 另一種將用于另一種將用于Hopfield網(wǎng)絡中的延續(xù)時間遞網(wǎng)絡中的延續(xù)時間遞歸網(wǎng)絡的

16、構造模塊是積分器。歸網(wǎng)絡的構造模塊是積分器。遞歸網(wǎng)絡反響網(wǎng)絡遞歸網(wǎng)絡反響網(wǎng)絡初始條件 對稱飽和線性層 遞歸網(wǎng)絡遞歸網(wǎng)絡 一個遞歸網(wǎng)絡是一個帶反響的網(wǎng)絡，其部分一個遞歸網(wǎng)絡是一個帶反響的網(wǎng)絡，其部分輸出銜接到它的輸入。一種類型的離散時間遞歸網(wǎng)絡。輸出銜接到它的輸入。一種類型的離散時間遞歸網(wǎng)絡。遞歸網(wǎng)絡反響網(wǎng)絡遞歸網(wǎng)絡反響網(wǎng)絡初始條件 對稱飽和線性層 如何選取一種網(wǎng)絡構造如何選取一種網(wǎng)絡構造運用問題的描畫從如下幾個方面非常有助于定義網(wǎng)絡的構造：(1)網(wǎng)絡的輸入個數(shù)=運用問題的輸入數(shù)；(2)輸出層神經(jīng)元的數(shù)目=運用問題的輸出數(shù)目；(3)輸出層的傳輸函數(shù)選擇至少部分依賴與運用問題的輸出描畫。例題例題一

17、個單輸入神經(jīng)元的輸入是2.0，其權值是2.3，偏置值是-3。i傳輸函數(shù)的凈輸入是多少？ii神經(jīng)元的輸出是多少？解i傳輸函數(shù)的網(wǎng)絡輸出由下式給出：ii由于未指定傳輸函數(shù)，所以不能確定該神經(jīng)元的輸出。例題例題假設上例的神經(jīng)元分別具有如下傳輸函數(shù)，請問其輸出值分別是多少？i硬極限函數(shù)ii線性函數(shù)iii對數(shù)-S形logsig函數(shù)解i硬極限傳輸函數(shù)有ii線性傳輸函數(shù)有iii對數(shù)-S形傳輸函數(shù)有例題例題給定一個具有如下參數(shù)的兩輸入神經(jīng)元：b=1.2,w=3 2,p=-5,6T ，試根據(jù)以下傳輸函數(shù)計算神經(jīng)元輸出：i對稱硬極限傳輸函數(shù)ii飽和現(xiàn)行傳輸函數(shù)iii雙曲正切S形tansig傳輸函數(shù)解首先計算凈輸入n:例題例題現(xiàn)針