2人工神經(jīng)網(wǎng)絡導論第2章課件

第2章

神經(jīng)元模型和網(wǎng)絡結構12/30/202212.1目的第1章給出了生物神經(jīng)元和神經(jīng)網(wǎng)絡的簡述?，F(xiàn)在來介紹簡化的神經(jīng)元數(shù)學模型，并解釋這些人工神經(jīng)元如何相互連接形成各種網(wǎng)絡結構。另外，本章還將通過幾個簡單的實例闡述這些網(wǎng)絡如何工作。本書中將使用本章所引入的概念和符號。

12/30/202222.2原理和實例2.2.1符號神經(jīng)網(wǎng)絡是一門新興學科。迄今為止，人們還并沒有對其建立嚴格的數(shù)學符號和結構化表示。另外，神經(jīng)網(wǎng)絡方面的論文和書籍均是來自諸如工程、物理、心理學和數(shù)學等許多不同領域，作者都習慣使用本專業(yè)的特殊詞匯。于是，神經(jīng)網(wǎng)絡的許多文獻都難以閱讀，概念也較實際情況更為復雜。在本課中，我們盡可能地使用標準符號。12/30/20223本課中的圖、數(shù)學公式以及解釋圖和數(shù)學公式的正文，將使用以下符號：標量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑正體字母，如A,B,C。2.2原理和實例12/30/202242.2.2神經(jīng)元模型1．單輸入神經(jīng)元概念：輸入、權值、偏置（值）、凈輸入、傳輸函數(shù)、輸出.一個規(guī)范的單輸入神經(jīng)元如圖2-1所示。圖2-1單輸入神經(jīng)元表示12/30/20225●標量輸入p乘標量權值w得到wp，再將其送入累加器?！窳硪粋€輸入1乘上偏置值b，再將其送入累加器?！窭奂悠鬏敵鐾ǔ１环Q為凈輸入n，它被送入一個傳輸函數(shù)。●傳輸函數(shù)f中產(chǎn)生神經(jīng)元的標量輸出a。若將這個簡單模型和第1章所討論的生物神經(jīng)元相對照，則權值對應于突觸的連接強度，細胞體對應于累加器和傳輸函數(shù)，神經(jīng)元輸出代表軸突的信號。12/30/20226神經(jīng)元輸出按下式計算：例如，若，則

注意，w和b是神經(jīng)元的可調(diào)整標量參數(shù)。設計者也可選擇特定的傳輸函數(shù)，在一些學習規(guī)則中調(diào)整參數(shù)w和b，以滿足特定的需要。正如將在下一節(jié)所討論的，依據(jù)不同目的可以選擇不同的傳輸函數(shù)。12/30/202272．傳輸函數(shù)圖2-1中的傳輸函數(shù)可以是累加器輸出（凈輸入）n的線性或非線性函數(shù)?？梢杂锰囟ǖ膫鬏敽瘮?shù)滿足神經(jīng)元要解決的特定問題。

本書包括了各種不同的傳輸函數(shù)。下面將討論其中最常用的三種。

12/30/20228

●硬極限傳輸函數(shù):硬極限傳輸函數(shù)如圖2-2中的左圖所示，當函數(shù)的自變量小于0時，函數(shù)的輸出為0;當函數(shù)的自變量大于或等于0時，函數(shù)的輸出為1。用該函數(shù)可以把輸入分成兩類。第三、四章將廣泛使用該傳輸函數(shù)。硬極限傳輸函數(shù)單輸入hardlim神經(jīng)元圖2-2硬極限傳輸函數(shù)12/30/20229

圖2-2的右圖描述了使用硬極限傳輸函數(shù)的單輸入神經(jīng)元的輸入/輸出特征曲線。從中可看出權值和偏置值的影響。注意，兩圖之間的圖標代表硬極限傳輸函數(shù)。在網(wǎng)絡圖中的這個圖標表示使用了該傳輸函數(shù)。12/30/202210●線性傳輸函數(shù)：線性傳輸函數(shù)的輸出等于輸入（如圖2-3所示）:

線性傳輸函數(shù)單輸入purelin神經(jīng)元圖2-3線性傳輸函數(shù)12/30/202211●對數(shù)-S形傳輸函數(shù)：

對數(shù)-S形（logsig）傳輸函數(shù)如圖2-4所示。

Log-Sigmoid傳輸函數(shù)單輸入logsig神經(jīng)元

圖2-4對數(shù)-S形傳輸函數(shù)12/30/202212該傳輸函數(shù)的輸入在（-∞，+∞）之間取值，輸出則在0到1之間取值，其數(shù)學表達為：本書所用的大多數(shù)傳輸函數(shù)在表2-1中都可以找到。當然，你也可以定義不同于表2-1的傳輸函數(shù)。12/30/202213名稱輸入/輸出關系圖標MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0Hardlim對稱硬極限函數(shù)a=-1,n<0a=1,n≥0hardlims線性函數(shù)a=npurelin飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1stalin表2-1傳輸函數(shù)12/30/202214對稱飽和線性函數(shù)

a=-1,n<-1a=n,-1≤n≤1a=1,n>1stalins對數(shù)-S函數(shù)logsig雙曲正切-S函數(shù)tansig12/30/202215C正線性函數(shù)a=0,n<0a=n,n≥0poslin競爭函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他的神經(jīng)元compot12/30/2022163．多輸入神經(jīng)元

概念：權值矩陣：通常，一個神經(jīng)元有不止一個輸入。具有R個輸入的神經(jīng)元如圖2-5所示。其輸入：分別對應權值矩陣W的元素：

12/30/202217

圖2-5多輸入神經(jīng)元12/30/202218

該神經(jīng)元有一個偏置值b，它與所有輸入的加權和累加，從而形成凈輸入：這個表達式也可以寫成矩陣形式：其中單個神經(jīng)元的權值矩陣W只有一列元素。神經(jīng)元的輸出可以寫成：

12/30/202219概念：權值下標

權值矩陣元素下標的第一個下標表示權值相應連接所指定的目標神經(jīng)元編號，第二個下標表示權值相應連接的源神經(jīng)元編號。

據(jù)此，的含義是：該權值表示從第二個源神經(jīng)元到第一個目標神經(jīng)元的連接。12/30/202220概念：簡化符號本課程將采用簡化符號來表示神經(jīng)元。圖2-6為利用這種符號所表示的多輸入神經(jīng)元。

圖2-6具有R個輸入的神經(jīng)元的簡化符號

12/30/202221例2.1對于圖2-1所示的單個神經(jīng)元設輸入，分別采用hardlm,hardlims,purelin,satlin,logsig傳輸函數(shù)，求神經(jīng)元的輸出值。12/30/202222解：據(jù)（2.1）式有

12/30/2022232.2.3網(wǎng)絡結構1．神經(jīng)網(wǎng)絡的層概念：層圖2-7是由S個神經(jīng)元組成的單層網(wǎng)絡。注意，R個輸入中的每一個值均與每個神經(jīng)元相連。權值矩陣現(xiàn)有S行。通常，每層的輸入個數(shù)并不等于該層中神經(jīng)元的數(shù)目（即R≠S）12/30/202224圖2-7S個神經(jīng)元組成的層12/30/202225輸入向量通過如下權矩陣W進入網(wǎng)絡：

(2.6)

12/30/202226

同樣，具有S個神經(jīng)元、R個輸入的單層網(wǎng)絡能用簡化的符號表示為圖2-8所示的形式。

圖2-8由S個神經(jīng)元組成的層的簡化表示12/30/2022272．多層神經(jīng)網(wǎng)絡概念：層上標

第一層的值矩陣可以寫為,第二層的權值矩陣可以寫為，等等。如圖2-9所示的三層網(wǎng)絡就用了這種標記方法。12/30/202228圖2-9三層網(wǎng)絡12/30/202229

如圖所示，第一層有R個輸入、S1個神經(jīng)元，第二層有S2個神經(jīng)元，等等。要注意不同層可以有不同數(shù)目的神經(jīng)元。第一層和第二層的輸出分別是第二層和第三層的輸入。據(jù)此，可以將第二層看作是一個單層網(wǎng)絡，它有R=S1個輸入，S＝S2個神經(jīng)元，和一個S2S1維的權值矩陣W2。第二層的輸入是a1，輸出是a2。第三層與第二層情況相似。

12/30/202230

概念：輸出層、隱含層

如某層的輸出是網(wǎng)絡的輸出，則稱該層為輸出層，而其他層叫隱含層。上圖中的網(wǎng)絡有一個輸出層（第3層）和兩個隱含層（第1層和第2層）。前面討論的三層網(wǎng)絡同樣也可以用簡化的符號表示，如圖2-10所示。12/30/202231圖2-10三層網(wǎng)絡的簡化表示12/30/202232

多層網(wǎng)絡的功能要比單層網(wǎng)絡強大得多。比如，一個第一層具有S形傳輸函數(shù)、第二層具有線性傳輸函數(shù)的網(wǎng)絡，經(jīng)過訓練可對大多數(shù)函數(shù)達到任意精度的逼近,而單層網(wǎng)絡則不能做到這一點。12/30/202233

決定一個網(wǎng)絡的神經(jīng)元個數(shù)非常重要。網(wǎng)絡的輸入/輸出神經(jīng)元的數(shù)量是由問題描述定義的。如果有4個外部變量作為網(wǎng)絡輸入，那么網(wǎng)絡就有4個外部變量作為網(wǎng)絡輸入，那么網(wǎng)絡就有4個輸入。同樣，如果網(wǎng)絡有7個輸出，那么網(wǎng)絡的輸出層就應該有7個神經(jīng)元。

12/30/202234

輸出信號所期望的特征有助于選擇輸出層的傳輸函數(shù)。如果一個輸出要么是-1，要么是1，那么該輸出神經(jīng)元就可以用對稱硬極限傳輸函數(shù)。12/30/202235

那么，如果網(wǎng)絡有兩層以上的神經(jīng)元時，又將如何確定各層的神經(jīng)元數(shù)目？其實問題的關鍵在于外部問題并沒有直接指明隱含層需要的神經(jīng)元數(shù)目。

12/30/202236實際上，精確預測隱含層所需要的神經(jīng)元的數(shù)目至今仍然存在一些在理論上還沒有解決的問題。這個問題是一個十分活躍的研究領域。大多數(shù)實際的神經(jīng)網(wǎng)絡僅僅只有2到3層神經(jīng)元，很少有4層或更多層。12/30/202237

這里還應該討論一下偏置值的使用問題。是否使用偏置值是可以選擇的。偏置值給網(wǎng)絡提供了額外的變量，從而使得網(wǎng)絡具有更強的能力，事實也的確是如此。例如，如果沒有偏置值，當網(wǎng)絡輸入為0時，一個神經(jīng)元的凈輸入總是為0。這是不希望出現(xiàn)的，可以通過用偏置值來避免。

12/30/202238例2．2設

試畫出其網(wǎng)絡結構示意圖，并求網(wǎng)絡的輸出值。

12/30/202239

圖2-14例2.2的神經(jīng)網(wǎng)絡的結構12/30/202240則12/30/202241例2.3一個兩層神經(jīng)網(wǎng)絡有4個輸入，3個輸出，輸出為0～1之間連續(xù)變化量。設第1層的神經(jīng)元數(shù)為2,傳輸函數(shù)為tansig,兩層神經(jīng)元都有閾值，畫出其網(wǎng)絡向量模型結構示意圖。12/30/202242解：根據(jù)題意，其網(wǎng)絡向量模型結構示意圖如圖2-15

圖2-15例2.3神經(jīng)網(wǎng)絡的向量模型12/30/202243例2.4某個神經(jīng)網(wǎng)絡的部分屬性如下，據(jù)此畫出其網(wǎng)絡向量模型結構示意圖。net.numlnputs=1%網(wǎng)絡有1個輸入向量net.inputs{l}.size=2%2個輸入變量，即輸入變量為2維。net.numLayers=2%有2個網(wǎng)絡層net.layers{l}.dimensions=3%第l個網(wǎng)絡層有3個神經(jīng)元12/30/202244net.layers{2｝.dimensions=2%第2個網(wǎng)絡層有2個神經(jīng)元net.biasConnect=[1;1]%每個網(wǎng)絡層的神經(jīng)元都有閾值net.inputConnect＝[1;0]%第1個網(wǎng)絡層（輸入層）與輸入向量連接，

%第2個網(wǎng)絡層與輸入向量無連接net.layerConnect=[00;10]%只有第1個網(wǎng)絡層到第2個網(wǎng)絡層的連接，%無其他網(wǎng)絡層連接12/30/202245net.outputConnect＝[01]%第2個網(wǎng)絡層為輸出層，net.outputs{l}.size=2%有2個輸出變量，即輸出變量為2維。net.layers{l}.transferFcn=logsig%第一網(wǎng)絡層神經(jīng)元的傳輸函數(shù)為logsignet.layers{2}.transferFcn=logsig%第二網(wǎng)絡層神經(jīng)元的傳輸函數(shù)為logsig解:據(jù)此畫出網(wǎng)絡向量模型結構示意圖如圖2-16所示。12/30/202246

圖2-16例2.4神經(jīng)網(wǎng)絡的向量模型12/30/2022472.3小結:●單輸入神經(jīng)元：

12/30/202248●多輸入神經(jīng)元：12/30/202249●多輸入神經(jīng)元簡化圖示：12/30/202250名稱輸入/輸出關系圖標MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0Hardlim對稱硬極限函數(shù)a=-1,n<0a=1,n≥0hardlims線性函數(shù)a=npurelin●傳輸函數(shù)：12/30/202251飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1stalin對稱飽和線性函數(shù)a=-1,n<-1a=n,-1≤n≤1a=1,n>1stalins12/30/202252對數(shù)-S函數(shù)logsig雙曲正切-S函數(shù)tansig正線性函數(shù)a=0,n<0a=n,n≥0poslin競爭函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他的神經(jīng)元Ccompot12/30/202253●神經(jīng)元層12/30/202254●三層神經(jīng)元簡化圖示：12/30/202255●如何選取一種網(wǎng)絡結構？應用問題的描述從如下幾個方面非常有助于定義網(wǎng)絡的結構：l）網(wǎng)絡的輸入個數(shù)＝應用問題的輸入數(shù);

2）輸出層神經(jīng)元的數(shù)目＝應用問題的輸出數(shù)目;

3）輸出層的傳輸函數(shù)選擇至少部分依賴于應用問題的輸出描述。12/30/2022562.4例題P2.1一個單輸入神經(jīng)元的輸入是2.0，其權值是2.3，偏置值是-3。?。﹤鬏敽瘮?shù)的凈輸入是多少？ⅱ）神經(jīng)元的輸出是多少？

12/30/202257解：（?。﹤鬏敽瘮?shù)的網(wǎng)絡輸入由下式給出：（ⅱ）因為未指定傳輸函數(shù)，所以不能確定該神經(jīng)元的輸出。12/30/202258P2.2如果P2.1中的神經(jīng)元分別具有如下傳輸函數(shù)，請問其輸出值分別是多少？（ⅰ）硬極限函數(shù)（ⅱ）線性函數(shù)（ⅲ）對數(shù)-S形（logsig）函數(shù)解：（?。τ矘O限傳輸函數(shù)有

1（ii）對線性傳輸函數(shù)有1.612/30/202259(ⅲ）對對數(shù)-S形傳輸函數(shù)有12/30/202260P2.3給定一個具有如下參數(shù)的兩輸入神經(jīng)元：,試依據(jù)下列傳輸函數(shù)計算神經(jīng)元輸出：

(1）對稱硬極限傳輸函數(shù)。

(2）飽和線性傳輸函數(shù)。

(3）雙曲正切S形（tansig）傳輸函數(shù)。12/30/202261解：首先計算凈輸入n:-1.8現(xiàn)針對每種傳輸函數(shù)計算該神經(jīng)元的輸出。-10-0.946812/30/202262P2.4現(xiàn)有一個單層神經(jīng)網(wǎng)絡，具有6個輸入和2個輸出。輸出被限制為0到1之間的連續(xù)值。敘述該網(wǎng)絡的結構，請說明：（1）需要多少個神經(jīng)元？（2）權值矩陣的維數(shù)是多少？（3）能夠采用什么傳輸函數(shù)？（4）需要采用偏置值嗎？12/30/202263解：該問題的求解結果如下：（1）需要兩個輸出神經(jīng)元，每個輸出一個。（2）對應2個神經(jīng)元和6個輸入，權值矩陣應有2行6列（乘積是一個二元向量）。（3）根據(jù)前面所討論的傳輸函數(shù)性質，選用Logsig傳輸函數(shù)是最適合的。（4）