人工神經(jīng)元模型

人工神經(jīng)元模型第1頁/共44頁

神經(jīng)元：是腦組織的基本單位，是神經(jīng)系統(tǒng)結構與功能的最小單位。

生物神經(jīng)網(wǎng)絡：人類大腦約包含1.4×1011個神經(jīng)元，每個神經(jīng)元之間約有103----105個其他神經(jīng)元之間的連接，構成一個復雜的網(wǎng)絡。大腦的學習過程：是神經(jīng)元之間連接強度隨外部激勵信息作自適應變化的過程，大腦處理信息的結果由各種經(jīng)元狀態(tài)的整體效果確定。2.1

人工智能網(wǎng)絡的生物學基礎第2頁/共44頁生物神經(jīng)元和其他神經(jīng)元發(fā)生接連的簡化示意生物神經(jīng)元的結構第3頁/共44頁（1）細胞體：是神經(jīng)元的主體，由細胞核、細胞質(zhì)和細胞膜三部分構成。（2）樹突：是從細胞體向外延伸的許多突起的神經(jīng)纖維，這些突起稱為樹突。神經(jīng)元靠樹突接受來自其他神經(jīng)元的輸入信號，相當于細胞體的輸入端。第4頁/共44頁（3）軸突：也稱神經(jīng)纖維，是由細胞體伸出的最長的一條突起稱為軸突，它用于傳出細胞體產(chǎn)生的輸出電化學信號。軸突相當于細胞的輸出電纜，用于傳出神經(jīng)沖動、興奮或抑制信號。（4）突觸：是神經(jīng)元之間通過一個神經(jīng)元的軸突末梢和其他神經(jīng)元的細胞體或樹突進行通信連接，這種連接相當于神經(jīng)元之間的輸入輸出接口，其接口稱為突觸。第5頁/共44頁細胞體相當于一個微處理器，在生物神經(jīng)元中，突觸為輸入輸出接口，樹突和細胞體為輸入端，接受突觸點的輸入信號。興奮狀態(tài)與抑制狀態(tài)；突觸延時與不應期；突觸結構的可塑性、學習、遺忘與疲勞；生物神經(jīng)元的信息處理第6頁/共44頁1、定義：由多個生物神經(jīng)元以確定的方式和拓撲結構相互連接即形成生物神經(jīng)網(wǎng)絡，是一種靈巧和復雜的生物信息處理系統(tǒng)。2、每一個生物神經(jīng)網(wǎng)絡系統(tǒng)均是一個有層次的，多單元的動態(tài)信息處理系統(tǒng)，有其獨特的運行方式和控制機制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分析，然后調(diào)節(jié)控制機體對環(huán)境作出相應的反應。生物神經(jīng)網(wǎng)絡第7頁/共44頁人工神經(jīng)網(wǎng)絡：在現(xiàn)代神經(jīng)生物學研究基礎上提出的模擬生物過程，以反映人腦某些特征的計算結構。對生物神經(jīng)元的信息處理過程進行抽象，并用數(shù)學語言予以描述。注：神經(jīng)元稱為“處理單元”或“節(jié)點”2.2人工神經(jīng)元模型第8頁/共44頁M-P模型提出的6點假定：1、每個神經(jīng)元都是一個多輸入單輸出的信息處理單元。2、突觸分興奮性和抑制性兩種類型。3、神經(jīng)元具有空間整合特性特征。4、神經(jīng)元輸入與輸出有固定的時滯，重要取決于突觸延擱。5、忽略時間整合作用和不應期。6、神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù).神經(jīng)元的建模第9頁/共44頁

人工神經(jīng)元的輸出僅有一個，用σj

表示神經(jīng)元輸出，則輸出與輸入的對應關系如圖中的某種函數(shù)表示，被稱為轉(zhuǎn)移函數(shù)（非線性）Σ

σj

x1xixnw1jwijwnjf

人工神經(jīng)元模型第10頁/共44頁令表示t時刻神經(jīng)元j接收的來自神經(jīng)元i的信息輸入，表示時刻神經(jīng)元j的信息輸出，則神經(jīng)元j的狀態(tài)表達式：

----神經(jīng)元的閾值

----神經(jīng)元i到j的突觸

----神經(jīng)元轉(zhuǎn)移函數(shù)或激勵函數(shù)輸入總和常稱為神經(jīng)元在t時刻的凈輸入：神經(jīng)元的數(shù)學模型第11頁/共44頁（1）閾值型轉(zhuǎn)移函數(shù)f(x)1.00采用了如圖的單位階躍函數(shù)，定義如下：神經(jīng)元的轉(zhuǎn)移函數(shù)第12頁/共44頁(2)非線性轉(zhuǎn)移函數(shù)f(x)1.00.50它是實數(shù)域R到[0,1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。單極性s型函數(shù)定義和雙極性s型函數(shù)定義如下：第13頁/共44頁（3）分段線性轉(zhuǎn)移函數(shù)f(x)1.0xc分段線性轉(zhuǎn)移函數(shù)函數(shù)特點是神經(jīng)元的輸入與輸出在一定區(qū)間滿足線性關系.第14頁/共44頁（4）高斯函數(shù)；可微、類脈沖上述的非線性函數(shù)有兩個特點：突變性飽和性正是為了模擬神經(jīng)細胞興奮過程所產(chǎn)生的神經(jīng)沖動及疲勞等特點。第15頁/共44頁分類按網(wǎng)絡連接的拓撲結構按網(wǎng)絡內(nèi)部的信息流向?qū)哟涡徒Y構互連型結構前饋型網(wǎng)絡反饋型網(wǎng)絡全互連型局部互連型稀疏連接型單純層次型輸出到輸入型層內(nèi)有互連是決定神經(jīng)網(wǎng)絡特征的第二大要素，其特點為分布式存儲記憶與分布式信息處理，高度互連性，高度并行性和結構可塑性。2.3人工神經(jīng)網(wǎng)絡模型第16頁/共44頁層次型結構：層次型結構的神經(jīng)網(wǎng)絡將神經(jīng)元按功能分成若干層，各層順序連接。

輸入層各神經(jīng)元負責接受來自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元。隱層是神經(jīng)網(wǎng)絡的內(nèi)部信息處理層，負責信息變換，隱層可設計為一層或多層。最后一個隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)進一步處理后完成從輸入到輸出的信息處理，由輸出層向外界輸出信息處理結果。網(wǎng)絡拓撲結構類型第17頁/共44頁單純層次型網(wǎng)絡結構神經(jīng)元接受前一層輸入并輸出到下一層，層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連續(xù)通路。第18頁/共44頁輸入層神經(jīng)元既可接受輸入，也具有信息處理功能。輸出層到輸入層有連接的層次網(wǎng)絡結構第19頁/共44頁層次有互連的層次型網(wǎng)絡結構特點是在同一層內(nèi)引入神經(jīng)元間的側向作用，以實現(xiàn)各層神經(jīng)元的自組織。第20頁/共44頁互連型結構（1）全互連型網(wǎng)絡中每個節(jié)點均與所有其他節(jié)點連接（2）局部互連型網(wǎng)絡中每個節(jié)點只與其鄰近節(jié)點有連接（3）稀疏連接型網(wǎng)絡中節(jié)點只與少數(shù)較遠的節(jié)點相連。第21頁/共44頁網(wǎng)絡信息流向類型前饋型網(wǎng)絡：前饋是因為網(wǎng)絡信息處理的方向是從輸入層到各隱層再到輸出層進行而得名，很容易串聯(lián)起來建立多層前饋網(wǎng)絡。第22頁/共44頁反饋型網(wǎng)絡：在反饋網(wǎng)絡中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。第23頁/共44頁學習：根據(jù)與環(huán)境相互作用而發(fā)生的行為改變，其結果導致對外界刺激產(chǎn)生反應的新模式的建立。學習過程就是一種經(jīng)過訓練而使個體在行為上產(chǎn)生較為持久的改變過程。神經(jīng)網(wǎng)絡的算法分為：導師學習；無導師學習和死記式學習。2.4人工神經(jīng)網(wǎng)絡學習第24頁/共44頁一個神經(jīng)元是一個自適應單元，其權值可以根據(jù)它所接受的輸入信號，它的輸出信號以及對應的監(jiān)督信號進行調(diào)整。日本神經(jīng)網(wǎng)絡學者AMARI在1990年提出了神經(jīng)網(wǎng)絡權值調(diào)整的通用學習規(guī)則，如圖：第25頁/共44頁表達式：權向量WJ在T時刻的調(diào)整量：為正數(shù)，稱為學習常數(shù)，其值決定了學習速率，也稱學習率。基于離散時間調(diào)整時，下一時刻的權向量應該為：第26頁/共44頁“突觸修正”的假設：

發(fā)起人：心理學家D.O.Hebb

當神經(jīng)元的突觸前膜電位與后膜電位同時為正時，突觸傳導增強，當前膜電位與后膜電位正負相反時，突觸傳導減弱，也就是，當神經(jīng)元i與神經(jīng)元j時處于興奮狀態(tài)時，兩者之間的連接強度應增強。Hebb學習規(guī)則第27頁/共44頁發(fā)起人：美國學者FrankRosenblatt.感知器:一個具有單層計算單元的神經(jīng)網(wǎng)絡結構學習信號等于神經(jīng)元期望輸出與實際輸出之差:Perceptron(感知器)學習規(guī)則第28頁/共44頁實際輸出與期望輸出相同時,權值不調(diào)整.有誤差時，權值調(diào)整為:初始權值任意取第29頁/共44頁1.發(fā)起人：心理學家McClelland和Rumelhart2.內(nèi)容：該規(guī)則也可稱為連續(xù)感知學習規(guī)則，與上面提到的離散感知學習規(guī)則并行，規(guī)則的學習信號規(guī)定為：δ(Delta)學習規(guī)則第30頁/共44頁3.特點：（1）函數(shù)要求轉(zhuǎn)移函數(shù)可導。（2）很容易由輸出值和期望值的最小平方誤差條件推導出來。定義神經(jīng)元輸出值和期望值的平方誤差為：欲使誤差最小，與誤差的負梯度成正比：①

②

第31頁/共44頁誤差梯度為：③

代入②，得到權值調(diào)整計算式：④

中每個部分的向量的調(diào)整由下式計算：i=0,1,…..,n

（3）δ學習規(guī)則可以推廣到多層前饋網(wǎng)絡中，權值可初始化為任何值。第32頁/共44頁δ學習規(guī)則的應用：例2.2第33頁/共44頁解：設轉(zhuǎn)移函數(shù)為雙極性連續(xù)函數(shù)權值調(diào)整步驟為：（1）輸入第一個樣本X1,計算凈輸入net1,并調(diào)整權向量W(1)第34頁/共44頁（2）輸入第二個樣本X2,計算凈輸入net2,

并調(diào)整權向量W(2)第35頁/共44頁（3）輸入第二個樣本X3,計算凈輸入net3,

并調(diào)整權向量W(3)第36頁/共44頁1.發(fā)起人：BernardWidrow和MarcianHoff提出，又稱為最小均方規(guī)則。2.Widrow-Hoff學習規(guī)則的學習信號：權向量調(diào)整量：各個量的分量：3.可以看成是δ學習規(guī)則的一個特殊情況。Widrow-Hoff學習規(guī)則第37頁/共44頁學習規(guī)則的學習信號：該規(guī)則表明；當是的期望輸時，相應的權值增量與兩者乘積，成正比。要求將權值初始化為0Correlation學習規(guī)則第38頁/共44頁是一種競爭學習規(guī)則，用于無導師學習。一般將網(wǎng)絡的某一層定義為競爭層，對于一個特定的輸入X，競爭層的所有P個神經(jīng)元均有輸出響應，其中響應值最大的神經(jīng)元為在競爭中獲勝的神經(jīng)元，即：權值一般被初始化為任意值，并進行歸一化處理Winner-Take-All(勝者為王）學習規(guī)則第39頁/共44頁神經(jīng)網(wǎng)絡中有兩類常見的節(jié)點：內(nèi)星節(jié)點和外星節(jié)點。Outstar(外星）學習規(guī)則第40頁/共44頁內(nèi)星學習規(guī)則規(guī)定內(nèi)星節(jié)點的輸出響應是輸入向量X和內(nèi)星權向量Wj的點積。該點積反映了X與Wj的相似程度,其權值按照下式調(diào)整