人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座

人工神經(jīng)網(wǎng)絡

ArtificialNeuralNetwork演講者：關鳳華指導教師：趙冬梅

年11月11日人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第1頁主要內(nèi)容多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ㄈ斯ど窠?jīng)元網(wǎng)絡神經(jīng)元數(shù)學模型

生物神經(jīng)元引言12345人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第2頁1、引言工業(yè)革命以來，人類大量采取機器來減輕人們體力勞動，并取得巨大效益。一樣，人類為了經(jīng)過使用某種機器來減輕腦力勞動，也一直進行著不懈努力。20世紀40年代，因為計算機創(chuàng)造和使用，使人類文明進入計算機時代，在一定程度上減輕了人們腦力勞動神經(jīng)元網(wǎng)絡作為人工智能一個分支，在近幾十年來，受到人們廣泛重視。智能計算關鍵問題是關于人腦功效模擬問題。當前認為，人類大腦中神經(jīng)元對于人腦智能起著關鍵作用，這些神經(jīng)元數(shù)量非常多，組成了十分復雜神經(jīng)網(wǎng)絡。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第3頁1、引言智能定義眾所周知人類是含有智能，因為人類能夠記憶事物，能夠有目地進行一些活動，能夠經(jīng)過學習取得知識，并能在后續(xù)學習中不停地豐富知識，還有一定能力利用這些知識去探索未知東西，去發(fā)覺、去創(chuàng)新。

粗略地講，智能是個體有目標行為，合理思維，以及有效適應環(huán)境綜合能力。也能夠說，智能是個體認識客觀事物和利用知識處理問題能力。

人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第4頁1、引言1感知和認識客觀事物、客觀世界和自我能力——感知是智能基礎——最基本能力2經(jīng)過學習取得經(jīng)驗與積累知識能力——這是人類在世界中能夠不停發(fā)展最基本能力4聯(lián)想、推理、判斷、決議語言能力3了解知識，利用知識和經(jīng)驗分析、處理問題能力——這一能力能夠算作是智能高級形式——是人類對世界進行適當改造、推進社會不停發(fā)展能力——這是智能高級形式又首先——主動與被動之分。聯(lián)想、推理、判斷、決議能力是主動基礎。按照上面描述，人類個體智能是一個綜合能力。詳細來講，能夠包含一下八個方面能力：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第5頁1、引言5經(jīng)過學習取得經(jīng)驗與積累知識能力6發(fā)覺、創(chuàng)造、創(chuàng)造、創(chuàng)新能力7實時、快速、合理地應付復雜環(huán)境能力8預測，洞察事物發(fā)展、改變能力人工智能定義

人工智能（ArtificialIntelligence，AI）最初是在1956年被引入。它研究怎樣讓計算機模仿人腦從事推理、設計、思索、學習等思維活動，以處理和處理較復雜問題，簡單地來說，人工智能就是研究怎樣讓計算機模仿人腦進行工作。

人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第6頁2、生物神經(jīng)元

圖2-1

神經(jīng)元解剖

在人體內(nèi)，神經(jīng)元結構形式并非是完全相同；不過，不論結構形式怎樣，神經(jīng)元都是由一些基本成份組成。從圖中能夠看出：神經(jīng)元是由細胞體，樹突和軸突三部分組成人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第7頁2、生物神經(jīng)元突觸，是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)絡并進行信息傳送結構。突觸存在說明：兩個神經(jīng)元細胞質并不直接連通，二者彼此聯(lián)絡是經(jīng)過突觸這種結構接口。有時．也把突觸看作是神經(jīng)元之間連接。

圖2-2

突觸結構人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第8頁2生物神經(jīng)元當前，依據(jù)神經(jīng)生理學研究，已經(jīng)發(fā)覺神經(jīng)元及其間突觸有4種不一樣行為。神經(jīng)元4種生物行為有：能處于抑制或興奮狀態(tài)；能產(chǎn)生暴發(fā)和平臺兩種情況能產(chǎn)生抑制后反沖含有適應性。突觸4種生物行為有：能進行信息綜合能產(chǎn)生漸次改變傳送有電接觸和化學接觸等各種連接方式會產(chǎn)生延時激發(fā)。當前，人工神經(jīng)網(wǎng)絡研究僅僅是對神經(jīng)元第一個行為和突觸第一個行為進行模擬，其它行為還未考慮。

人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第9頁2生物神經(jīng)元2.1神經(jīng)元興奮與抑制2.2神經(jīng)元信息傳遞及閥值特征

2.3神經(jīng)元信息綜合特征圖2-3.神經(jīng)元興奮過程電位改變?nèi)斯ど窠?jīng)網(wǎng)絡講稿專業(yè)知識專家講座第10頁3神經(jīng)元數(shù)學模型

從神經(jīng)元特征和功效能夠知道，神經(jīng)元是一個多輸入單輸出信息處理單元，而且，它對信息處理是非線性。依據(jù)神經(jīng)元特征和功效，能夠把神經(jīng)元抽象為一個簡單數(shù)學模型。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第11頁3神經(jīng)元數(shù)學模型W—權矢量（weightvector）X—輸入矢量（inputvector）人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第12頁3神經(jīng)元數(shù)學模型比較慣用是激活函數(shù)可歸結為三種形式：閥值型、S型和線性型。激活函數(shù)：閾值型：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第13頁3神經(jīng)元數(shù)學模型S型（Sigmoid）激活函數(shù)人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第14頁3神經(jīng)元數(shù)學模型線性型激活函數(shù)神經(jīng)元特點：是一多輸入、單輸出元件含有非線性輸入輸出特征含有可塑性，其塑性改變改變部分主要是權值（Wi）變化，這相當于生物神經(jīng)元突觸改變部分神經(jīng)元輸出響應是各個輸入值綜合作用結果輸入分為興奮型（正值）和抑制型（負值）兩種。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第15頁4.人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetworkANN）是對人類大腦系統(tǒng)一階特征一個描述，簡單地講，它是一個數(shù)學模型．能夠用電子線路來實現(xiàn)．也能夠用計算機程序來模擬，是人工智能研究一個方法。

人工神經(jīng)網(wǎng)絡提出：信息分布表示運算全局并行和局部操作處理非線性

人工神經(jīng)網(wǎng)絡三大特點：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第16頁人工神經(jīng)網(wǎng)絡定義：

人工神經(jīng)網(wǎng)絡是一個并行，分布處理結構，它由處理單元及稱為聯(lián)接無向信號通道互連而成。這些處理單元(PE——ProcessingElement)含有局部內(nèi)存，并能夠完成局部操作、每個處理單元有一個單一輸出聯(lián)接，這個輸出能夠依據(jù)需要被分支成希望個數(shù)許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同信號，即對應處理單元信號，信號大小不因分支多少而改變，處理單元輸出信號能夠是任何需要數(shù)學模型，每個處理單元中進行操作必須是完全局部。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接抵達處理單元全部輸入信號當前值和存放在處理單元局部內(nèi)存中值。

4.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第17頁4.人工神經(jīng)網(wǎng)絡按照網(wǎng)絡結構區(qū)分，則有前向網(wǎng)絡和反饋網(wǎng)絡按照學習方式區(qū)分，則有有教師學習和無教師學習網(wǎng)絡按照網(wǎng)絡性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡，隨機型和確定型網(wǎng)絡按照突觸性質區(qū)分，則有一階線性關聯(lián)網(wǎng)絡和高階非線性關聯(lián)網(wǎng)絡按對生物神經(jīng)系統(tǒng)層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡分類：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第18頁4.人工神經(jīng)網(wǎng)絡第一個：前饋網(wǎng)絡（FeedforwardNetwork）下面介紹幾個常見神經(jīng)網(wǎng)絡。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第19頁—表示一個非線性激活函數(shù)，每個神經(jīng)元激活函數(shù)是算子分量，激活函數(shù)是標量，是輸入矢量和權矢量之積。前饋網(wǎng)絡沒有反饋，能夠連成多層網(wǎng)，前饋網(wǎng)絡通常是有教師提供信息，提供期望值，能夠從誤差信號來修正權值，直到誤差小于允許范圍。4.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第20頁對于輸入X（t）僅在初始時刻不為零情況，這種網(wǎng)絡也能夠保持有輸出信號。所以，即在t>0時，輸入能夠取消或被系統(tǒng)自動保持。假如我們這里只考慮，則在t>0時，沒有輸入情況，可將下一時刻輸出寫成：，為方便起見，也可將網(wǎng)絡輸出狀態(tài)表示成：

第二種：反饋網(wǎng)絡4.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第21頁第三種：相互結合型網(wǎng)絡相互結合型網(wǎng)絡結構如圖所表示，它是網(wǎng)狀結構網(wǎng)絡，組成網(wǎng)絡中各個神經(jīng)元都可能相互雙相聯(lián)接，全部神經(jīng)元即作輸入，同時也用輸出。這種網(wǎng)絡假如在某一時刻從外部加一個輸入信號，各個神經(jīng)元一邊相互作用，一邊進行信息處理，直到收斂于某個穩(wěn)定值為止。4.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第22頁第四種：混合型網(wǎng)絡前面所講前饋網(wǎng)絡和上述相互結合型網(wǎng)絡分別是經(jīng)典層狀解構網(wǎng)絡和網(wǎng)狀結構網(wǎng)絡，介于兩種網(wǎng)絡中間一個連接方式，如圖所表示：它是在前饋網(wǎng)絡同一層間各神經(jīng)元又有互聯(lián)結構，所以稱為混合型網(wǎng)絡。這種在同一層內(nèi)互聯(lián)目標是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制數(shù)目，已完成特定功效。比如：視網(wǎng)膜神經(jīng)元網(wǎng)絡就有許多這種連接形式。4.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第23頁學習是神經(jīng)系統(tǒng)本能，人神經(jīng)系統(tǒng)是最發(fā)達，所以人學習能力也最強。模仿人學習過程人們提出各種神經(jīng)網(wǎng)絡學習方法。有教師學習無教師學習

4.人工神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡學習過程：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第24頁4.人工神經(jīng)網(wǎng)絡關于綜合誤差有各種不一樣定義，但本質上都是一致。這里介紹兩種：第一個：均方根標準誤差（Root-mean-squarenormalizederror,RMS誤差）式中：——模式k第j個輸出單元期望值；——模式k第j個輸出單元實際值；M——樣本模式對個數(shù)；Q——輸出單元個數(shù)。第二種：誤差平方和式中：M——樣本模式對個數(shù)；Q——輸出單元個數(shù)。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第25頁神經(jīng)元網(wǎng)絡學習規(guī)則

神經(jīng)元網(wǎng)絡最大特點就是它含有學習能力，在學習過程中，主要是網(wǎng)絡連接權值產(chǎn)生了對應改變，學習到內(nèi)容也是記憶在連接權之中。

令為Wij第i個神經(jīng)元第j個輸入連接權，這個輸入能夠是外來輸入信號，也能夠試來自其它神經(jīng)元輸出。學習信號r是Wi和X函數(shù)，有時也包含教師信號di，所以有權矢量改變是由學習步驟按時間t，t+1，…，一步一步進行計算。在時刻t連接權改變量為：其中c是一個正數(shù)，稱為學習常數(shù)，決定學習速率。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第26頁神經(jīng)元網(wǎng)絡學習規(guī)則離散學習步驟可寫成：從時刻t到下一個時刻（t+1），連接權按下式計算:其中c是一個正常數(shù)，稱為學習常數(shù)，決定學習速率。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第27頁Hebb學習規(guī)則權分量用下式調整：或

當兩個神經(jīng)元同時興奮時，突觸傳遞效率加強，那么在人工神經(jīng)網(wǎng)絡中就表現(xiàn)為連接權增加。以a表示神經(jīng)元A激活值（輸出），b表示神經(jīng)元B激活值，Wab表示兩個神經(jīng)元連接權，則Hebb學習規(guī)則數(shù)學表示式為：依據(jù)Hebb學習規(guī)則，學習信號r等于神經(jīng)元輸出：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第28頁感知機（Perceptron）學習規(guī)則這一規(guī)則是有監(jiān)督學習，學習信號是期望值與神經(jīng)元實際響應之差學習規(guī)則以下列圖所表示。注意：這個規(guī)則僅能用于雙極二進制神經(jīng)響應。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第29頁感知機（Perceptron）學習規(guī)則在這一規(guī)則下，Oi僅當不正確情況下才進行權調整，誤差是學習必要條件。因為期望值（di）與響應值（Oi）均為+1或者-1，所以權調整量為：這里“＋”號，“－”號，當權值無改變。初始權可為任意值。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第30頁Delta學習規(guī)則僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學習模型有效。學習信號為：

誤差梯度矢量：這個學習規(guī)則可從Oi與di最小方差得出。方差：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第31頁Delta學習規(guī)則這個規(guī)則是與離散感知器學習規(guī)則是并行，能夠稱為連續(xù)感知器訓練規(guī)則，它能夠深入推廣到多層。普通要求c取較小值，是在權空間，按負方向轉動權矢量。梯度矢量分量：因為最小誤差要求權變換是負梯度方向，所以取式中c——正常數(shù)。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第32頁神經(jīng)元網(wǎng)絡工作過程：這里主要介紹兩種最慣用形式：第一個：回想（recall）——自動聯(lián)想——異聯(lián)想第二種：分類（classification）——異聯(lián)想一個特殊情況——識別自動聯(lián)想過程

異聯(lián)想過程分類過程

識別過程人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第33頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ㄕ`差逆?zhèn)鬏斝Ｕ椒ㄊ抢脤嶋H輸出與期望輸出之差對網(wǎng)絡各層連接權由后向前進行校正一個計算方法。理論上講，這種方法能夠適合用于任意多層網(wǎng)絡。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第34頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒橛嬎惴奖?，我們首先把網(wǎng)絡變量設置以下：輸入模式向量：希望輸出向量：中間層各單元輸入激活值向量：中間層各單元輸出向量：輸出層各單元輸入激活值向量：輸出實際值向量：輸入層至中間層連接權：中間層至輸出層連接權：中間層各單元閾值：輸出層各單元閾值：其中人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第35頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒せ詈瘮?shù)才用S型函數(shù)：激活函數(shù)導數(shù)為：這里學習規(guī)則實際上是一個Delta學習規(guī)則，即利用誤差負梯度來調整連接權，使其輸出誤差單調降低。利用Delta學習規(guī)則，應該先求出誤差函數(shù)梯度，所以有以下推導過程：對第k個學習模式，網(wǎng)絡希望輸出與實際輸出偏差設為：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第36頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ú扇∑椒胶驼`差進行計算：按梯度下降標準，中間層至輸出層連接權調整量應為：展開：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第37頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ɡ茫?）式可得：因為輸出層第t個單元激活值為：輸出層第t個單元輸出值為：由式（2）可得對于輸出函數(shù)導數(shù)：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第38頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ㄋ裕核?，由式?）（7）和（11）可得：為深入簡化，

所以：

人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第39頁5多層網(wǎng)絡誤差逆?zhèn)鬏斝Ｕ椒ㄍ?，由輸入層至中間層連接權調整，仍按梯度下降法標準進行：一樣也可求出閾值調整量：

為中間層各單元校正誤差

以上推導僅是針對某一組學習模式進行，其誤差也是某一組誤差。對于全部輸入模式，我們有網(wǎng)絡全局誤差E：人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第40頁BP網(wǎng)絡學習規(guī)則與計算方法輸入模式順傳輸（輸入模式由輸入層經(jīng)中間層向輸出層傳輸計算），這一過程主要是利用輸入模式求出它所對應實際輸出

輸出誤差逆?zhèn)鬏敚ㄝ敵稣`差由輸出層經(jīng)中間層傳向輸入層），當這些實際輸出值與希望輸出值不一樣時或者說其誤差大雨所限定數(shù)值時，就要對網(wǎng)絡進行校正。循環(huán)記憶訓練（模式順傳輸與誤差逆?zhèn)鬏斢嬎氵^程重復交替循環(huán)進行）學習結果判別（判定全局誤差是否趨向極小值）。BP網(wǎng)學習過程利用前面求得對各個連接權和閥值進行校正數(shù)學表示式，可組成BP網(wǎng)絡學習規(guī)則。人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第41頁BP網(wǎng)絡應用舉例“異或”（XOR）問題：比如有一個BP網(wǎng)絡，它由輸入、中間和輸出層這三層組成，如圖所表示。輸入層和中間層各有兩個神經(jīng)元，輸出層有一個神經(jīng)元。先要求訓練這一網(wǎng)絡，使其含有處理“異或”問題能力。首先給網(wǎng)絡連接權及其閾值賦予[-0.1,0.1]區(qū)間隨機數(shù)，如上圖所表示。在初始狀態(tài)下輸入、輸出結果以下表所表示X1X2希望輸出實際輸出全局誤差0000.50.50110.50.51010.50.51100.50.5X2X1X10.08010.06050.05430.0579-0.02910.0999人工神經(jīng)網(wǎng)絡講稿專業(yè)知識專家講座第42頁BP網(wǎng)絡應用舉例X1X2希望輸出實際輸出全局誤差0000.1190.1660110.7271010.7341100.415這時平方和誤差可用下式計算：

因為對應四個輸入模式實際輸出均為0.5左右，所以全局誤差為0.5。下面采取BP網(wǎng)絡學習算法進行訓練，取。當進行800