人工神經網絡ANN

人工神經網絡ArtificialNeuralNetworks

2.人工神經網絡基礎

3.典型的神經網絡模型

1.緒論

人腦的結構、機制和功能中凝聚著無比的奧秘和智慧。地球是宇宙的驕子，人類是地球的寵兒，大腦是人類的主宰。

探索人腦的奧秘，從中獲得智慧，在其啟發(fā)下構造為人類服務的高級智能系統(tǒng)。緒論1、人工神經網絡的提出人類對智能的兩種研究方式：緒論基于傳統(tǒng)的人工智能技術——心理角度的模擬基于人工神經網絡的技術——生理角度的模擬1、人工神經網絡的提出思維邏輯思維：形象思維：靈感思維：經驗、直覺等——仿生學概念、推理、判斷——物理符號+串行規(guī)則緒論2、人工神經網絡研究的歷史回歸

萌芽時期(20世紀50年代之前)

1943年，McCulloch-Pitts的M-P模型(神經元模型)1949年，Hebb學習率

高潮時期(20世紀50年代中期到20世紀60年代末期)

單層感知器

用電子線路模擬人腦

反思時期(20世紀60年代末到20世紀80年代初期)

“異或”運算不可表示，多層感知器的學習規(guī)則不知

蓬勃發(fā)展時期(20世紀80年代以后)1982年，Hopfield循環(huán)網絡的提出，涉及了網絡的動力學問題

1986年，BP網絡較好地解決了多層網絡的學習問題緒論3、人工神經網絡的功能應用(1)聯(lián)想記憶功能緒論(2)非線性映射功能(3)分類與識別功能

神經網絡自動提取非線性映射規(guī)則輸入樣本輸出樣本3、人工神經網絡的功能應用緒論(5)知識處理功能3、人工神經網絡的功能應用(4)優(yōu)化計算功能

由同一神經網絡實現神經網絡專家系統(tǒng)的構成問題解答知識分布式表示知識獲取、知識庫平行推理輸入數據求解的問題變量變換1、ANN的生物學基礎生物神經元示意圖

生物神經元在結構上由細胞體、樹突、軸突、突觸四部分組成。用來完成神經元間信息的接收、傳遞和處理。生物神經元生物神經網絡

人類的大腦大約有1.41011個神經細胞，亦稱為神經元。每個神經元有數以千計的通道同其它神經元廣泛相互連接，形成復雜的生物神經網絡。ANN基礎人工神經網絡(ArtificialNeuralNetworks,ANN)

ANN是對人類大腦系統(tǒng)的一階特性的一種描述，簡單講，它是一個由許多簡單的并行工作的處理單元組成的數學模型，可以用電子線路來實現，也可以用計算機程序來模擬，是AI研究的一種方法。

ANN力求從物理結構、計算模擬、存儲與操作、訓練四個方面來模擬人腦的智能行為。2、人工神經網絡定義ANN基礎ANN基礎3、神經元的人工模型

神經元及其突觸是生物神經網絡的基本器件。因此，模擬生物神經網絡應首先模擬生物神經元——人工神經元(節(jié)點、處理單元)從三個方面進行模擬:

節(jié)點本身的信息處理能力(數學模型)

節(jié)點與節(jié)點之間連接(拓撲結構)

相互連接的強度(通過學習來調整)決定人工神經網絡整體性能的三大要素ANN基礎3、神經元的人工模型神經元模型示意圖ANN基礎4、M-P模型（處理單元，PE）

1943年，心理學家McCulloch和數學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型網絡輸入：轉移函數/激活函數/激勵函數/活化函數x2w2

∑xnwn…x1w1人工神經元模型數學模型(a)閾值型(b)分段線性型(c)Sigmoid函數型(d)雙曲正切型

常用的激發(fā)函數常見的響應函數有以下幾種類型：ANN基礎4、M-P模型（處理單元，PE）5、ANN的拓撲結構與訓練ANN基礎ANN中，各PE的不同連接方式就構成了網絡的不同連接模型，常見：前向前饋網絡從輸入層到輸出層有反饋的網絡層內有互聯(lián)的網絡互聯(lián)網絡(1)ANN的拓撲結構(2)ANN的訓練

ANN能夠通過對樣本的學習訓練，不斷改變網絡的連接權值以及拓撲結構，以使網絡的輸出不斷地接近期望的輸出。這一過程稱為神經網絡的學習或訓練，其本質是可變權值的動態(tài)調整。有導師學習/有監(jiān)督學習無導師學習/無監(jiān)督學習學習方式：ANN模型1、單層感知器(Perceptron)第1層處理層(1)基本模型j=1,2,…,m

模型的數學表達凈輸入：輸出：第0層輸入層ANN模型(2)單層感知器的功能輸出：則由方程wijx1+w2jx2-Tj=0確定了二維平面上的一條分界線。ojx1-1x21、單層感知器(Perceptron)設輸入向量：

輸入向量X=(x1,x2,x3)T?輸入向量X=(x1,x2,…,xn)T?例：用感知器實現邏輯“與”功能

感知器在形式上與M-P模型差不多，它們之間的區(qū)別在于神經元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。

學習信號=期望輸出(教師信號)–實際輸出，即：(3)單層感知器的學習1、單層感知器(Perceptron)ANN模型權值調整公式：顯然，當實際輸出與期望值相同時，權值不需要調整。感知器學習規(guī)則代表一種有導師的誤差學習。學習率(0-1)ANN模型只能解決線性可分問題，而大量的分類問題是線性不可分的！(4)單層感知器的局限性解決的有效辦法：1、單層感知器(Perceptron)

在輸入層與輸出層之間引入隱層作為輸入模式的“內部表示”，將單計算層感知器變成多層感知器。采用非線性連續(xù)函數作為轉移函數，使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個邊界線變成連續(xù)光滑的曲線。ANN模型具有不同隱層數的感知器的分類能力對比ANN模型2、誤差反向傳播模型（B-P模型）(1)基本模型模型的數學表達輸入向量：

X=(x1,x2,…,xi,…,xn)T

隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T

輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T

期望輸出向量：d=(d1,d2,…,dk,…,dl)T

輸入層到隱層之間的權值矩陣：V=(V1,V2,…,Vj,…,Vm)

隱層到輸出層之間的權值矩陣：W=(W1,W2,…,Wk,…,Wl)第0層輸入層第1層隱含層第2層輸出層

相鄰層神經元間全互連，通層神經元無連接的多層網絡。對于輸出層：k=1,2,…,lk=1,2,…,l對于隱含層：j=1,2,…,mj=1,2,…,mANN模型2、誤差反向傳播模型（B-P模型）注：一般情況下，輸出層和隱含層的轉移函數f相同，都采用S函數！多層前饋型網絡ANN模型2、誤差反向傳播模型（B-P模型）(2)B-P網絡的功能

非線性映射能力

多層前饋網能學習和存貯大量輸入-輸出模式映射關系，完成由n維輸入空間到m維輸出空間的非線性映射。

泛化能力

當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。

容錯能力

輸入中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出影響很小。ANN模型2、誤差反向傳播模型（B-P模型）

B-P網絡學習的目的是對網絡的連接權值進行調整，使得調整后的網絡對任一輸入都能得到所期望的輸出。學習過程由正向傳播和反向傳播組成。

正向傳播用于對前向網絡進行計算，即對某一輸入信息，經過網絡計算后求出它的輸出結果。反向傳播用于逐層傳遞誤差，修改神經元間的連接權值，使網絡對輸入信息經過計算后的輸出能達到期望的誤差要求。(3)B-P網絡的學習ANN模型2、誤差反向傳播模型（B-P模型）輸出誤差E定義：進一步展開至輸入層：(3)B-P網絡的學習ANN模型2、誤差反向傳播模型（B-P模型）曲面的分布特點--------算法的局限性

存在平坦區(qū)域誤差下降緩慢，影響收斂速度存在多個極小點易陷入局部最小點，使訓練無法收斂于給定誤差,得不到全局誤差(4)B-P網絡的局限性誤差曲面此外，隱層節(jié)點的選取靠的是經驗，缺乏理論指導！ANN模型3、Hopfield模型

Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個循環(huán)ANN模型。1982年提出的是離散型(DiscreteHopfieldNeuralNetwork)，1984年提出的是連續(xù)型(ContinuesHopfieldNeuralNetwork)，但它們都是反饋網絡結構。反饋神經網絡

反饋循環(huán)網絡中，網絡的輸出要反復地作為輸入再送入網絡中，這就使得網絡具有了動態(tài)性，網絡的狀態(tài)在不斷的改變中，因而就存在網絡的穩(wěn)定性問題。

一個反饋網絡是穩(wěn)定的是指從某一時刻開始，網絡的狀態(tài)不再改變。4、其它常見的ANN模型

自適應特征映射神經網絡(SOFM網)，又稱Kohenen網自適應共振理論(ART)

雙向聯(lián)想存儲器(BAM)BSB模型，也稱盒中腦模型

CPN(CounterPropagationNetwork)，也稱對流網認知機(Neocognitron)……ANN模型小結單層感知器模型：單計算節(jié)點感知器實際上就是一個M-P神經元模型功能：解決線性可分問題局限性：不能解決線性不可分問題學習算法：有導師學習B-P網絡模型：有隱層的多層前饋網絡，采用非線性連續(xù)轉移函數功能：能夠求解非線性問題局限性：陷入平坦區(qū)、局部最小的問題學習算法：信號的正向傳播和誤差的反向傳播