神經網絡基礎知識最新

1、神經網絡基礎知識本章將闡述，作為“智能”物質基礎的大腦是如何構成和如何工作的？在構造新型智能信息處理系統(tǒng)時，可以從中得到什么啟示?2.1 人工神經網絡的生物學基礎 2.2 人工神經元模型 2.3 人工神經網絡模型 2.4 神經網絡學習 本章小結 2.1 人工神經網絡的生物學基礎神經生理學和神經解剖學的研究結果表明，神經元(Neuron)是腦組織的基本單元，是神經系統(tǒng)結構與功能的單位。 據估計，人類大腦大約包含有1.41011個神經元，每個神經元與大約103105個其他神經元相連接，構成了一個龐大而復雜的網絡，即生物神經網絡。生物神經網絡中各神經元之間連接的強弱，按照外部的激勵信號作自適應變化而

2、每個神經元又隨著所接受的多個激勵信號的綜合結果呈現出興奮與抑制狀態(tài)。 大腦的學習過程就是神經元之間連接強度隨外部激勵信息作自適應變化的過程，大腦處理信息的結果是由各神經元狀態(tài)的整體效果來確定。顯然，神經元是人腦信息處理系統(tǒng)的最小單元。 2.1.1 生物神經元的結構人腦中神經元的形態(tài)不盡相同，功能也有差異，但從組成結構來看，各種神經元是有共性的。 圖2.1給出一個典型神經元的基本結構和與其他神經元發(fā)生連接的簡化示意圖。 神經元在結構上由細胞體、樹突、軸突和突觸四部分組成。2.1.1 生物神經元的結構(續(xù)一)(1)細胞體(Cell body) 細胞體是神經元的主體，由細胞核、細胞質和細胞膜三部分構

3、成。細胞核占據細胞體的很大一部分，進行著呼吸和新陳代謝等許多生化過程。細胞體的外部是細胞膜，將膜內外細胞液分開。由于細胞膜對細胞液中的不同離子具有不同的通透性，使得膜內外存在著離子濃度差，從而出現內負外正的靜息電位。2.1.1 生物神經元的結構(續(xù)二)(2)樹突(Dendrite) 從細胞體向外延伸出許多突起的神經纖維, 其中大部分突起較短，其分支多群集在細胞體附近形成灌木叢狀，這些突起稱為樹突。神經元靠樹突接受來自其他神經元的輸入信號，相當于細胞體的輸入端。2.1.1 生物神經元的結構(續(xù)三)(3)軸突(Axon) 由細胞體伸出的最長的一條突起稱為軸突，軸突比樹突長而細，用來傳出細胞體產生的

4、輸出電化學信號。軸突也稱神經纖維, 其分支傾在神經纖維終端處長出, 這些細的分支稱為軸突末梢或神經末梢。神經末梢可以向四面八方傳出信號, 相當于細胞體的輸出。2.1.1 生物神經元的結構(續(xù)四)(4)突觸(Synapse) 神經元之間通過一個神經元的軸突末梢和其他神經元的細胞體或樹突進行通信連接，這種連接相當于神經元之間的輸入輸出接口，稱為突觸。突觸包括突觸前、突觸間隙和突觸后三個部分。突觸前是第一個神經元的軸突末梢部分, 突觸后是指第二個神經元的樹突或細胞體等受體表面。突觸在軸突末梢與其他神經元的受體表面相接觸的地方有1550nm(納米10-9m)的間隙, 稱為突觸間隙，在電學上把兩者斷開,

5、 見圖2.2。每個神經元大約有103105個突觸, 多個神經元以突觸連接即形成神經網絡。 2.1.1 生物神經元的結構(續(xù)五)2.1.1 生物神經元的結構(續(xù)六)突觸2.1.2 生物神經元的信息處理機理在生物神經元中，突觸為輸入輸出接口，樹突和細胞體為輸入端，接受來自突觸點的輸入信號；細胞體相當于一個微型處理器，對各樹突和細胞體各部位收到的來自其他神經元的輸入信號進行組合，并在一定條件下觸發(fā)，產生輸出信號；輸出信號沿軸突傳至末梢，軸突末梢作為輸出端通過突觸將這一輸出信號傳向其他神經元的樹突和細胞體。下面對生物神經元之間接受、產生、傳遞和處理信息的機理進行分析。 2.1.2.1 信息的產生(1/

6、3)研究認為，神經元之間信息的產生、傳遞和處理是一種電化學活動。由于細胞膜本身對不同離子具有不同的通透性，從而造成膜內外細胞液中的離子存在濃度差。神經元在無信號輸入時，其細胞膜內外因離子濃度差而造成的電位差為 -70mV(毫伏，內負外正)左右，稱為靜息電位，此時細胞膜的狀態(tài)稱為極化狀態(tài)(Polarization)，神經元的狀態(tài)為靜息狀態(tài)。當神經元受到外界的刺激時，如果膜電位從靜息電位向正偏移，稱之為去極化(Depolarization)，此時神經元的狀態(tài)為興奮狀態(tài)；如果膜電位從靜息電位向負偏移，稱之為超級化(Hyper polarization)，此時神經元的狀態(tài)為抑制狀態(tài)。2.1.2.1 信

7、息的產生(2/3)神經元細胞膜的去極化和超極化程度反映了神經元興奮和抑制的強烈程度。在某一給定時刻，神經元總是處于靜息、興奮和抑制三種狀態(tài)之一。神經元中信息的產生與興奮程度相關，在外界刺激下，當神經元的興奮程度超過了某個限度，也就是細胞膜去極化程度超過了某個電位時，神經元被激發(fā)而輸出神經脈沖。神經脈沖產生的經過如下：以靜息膜電位為基準(-70mV), 當膜電位高出15mV, 即超過閥值電位(-55mV)時, 該神經細胞變成活性細胞,其膜電位自發(fā)地急速升高, 在1ms內比靜息膜電位上升100mV (+30mV)左右, 此后膜電位又急速下降, 回到靜息時的值。2.1.2.1 信息的產生(3/3)

8、這一過程稱作細胞的興奮過程, 興奮的結果產生一個寬度為1ms，振幅為100mV的電脈沖, 又稱神經沖動, 如圖2.3所示。值得注意的是, 當細胞體產生一個電脈沖后, 即使受到很強的刺激, 也不會立刻產生興奮。這是因為神經元發(fā)放電脈沖時，暫時性閥值急速升高，持續(xù)1ms后慢慢下降到-55mV這一正常狀態(tài)，這段時間約為數毫秒，稱為不應期。不應期結束后，若細胞受到很強的刺激，則再次產生興奮性電脈沖。由此可見，神經元產生的信息是具有電脈沖形式的神經沖動。各脈沖的寬度和幅度相同，而脈沖的間隔是隨機變化的。某神經元的輸入脈沖密度越大，其興奮程度越高，在單位時間內產生的脈沖串的平均頻率也越高。 2.1.2.2

9、 信息的傳遞與接收(1/3)神經脈沖信號沿軸突傳向其末端的各個分支，在軸突的末端觸及突觸前時，突觸前的突觸小泡能釋放一種化學物質，稱為遞質。在前一個神經元發(fā)放脈沖并傳到其軸突末端后，這種遞質從突觸前膜釋放出，經突觸間隙的液體擴散，在突觸后膜與特殊受體相結合。受體的性質決定了遞質的作用是興奮的還是抑制的，并據此改變后膜的離子通透性，從而使突觸后膜電位發(fā)生變化。根據突觸后膜電位的變化，可將突觸分為兩種：興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨遞質與受體結合數量的增加而向正電位方向增大，抑制性突觸的后膜電位隨遞質與受體結合數量的增加向更負電位方向變化。2.1.2.2 信息的傳遞與接收(2/3)

10、從化學角度看：當興奮性化學遞質傳送到突觸后膜時，后膜對離子通透性的改變使流入細胞膜內的正離子增加，從而使突觸后成分去極化，產生興奮性突觸后電位；當抑制性化學遞質傳送到突觸后膜時，后膜對離子通透性的改變使流出細胞膜外的正離子增加，從而使突觸后成分超極化，產生抑制性突觸后電位。當突觸前膜釋放的興奮性遞質使突觸后膜的去極化電位超過了某個閥電位時，后一個神經元就有神經脈沖輸出從而把前一神經元的信息傳遞給了后一神經元（圖2.4）。2.1.2.2 信息的傳遞與接收(3/3)神經遞質產生 神經電脈沖 神經遞質釋放 遞質與受體結合 電生理反映突觸間隙突觸前突觸后圖2-4 突觸信息傳遞過程前一個神經元后一個神經

11、元2.1.2.2 信息的傳遞與接收從脈沖信號到達突觸前膜，到突觸后膜電位發(fā)生變化, 有0.21ms的時間延遲, 稱為突觸延遲(synaptic delay)，這段延遲是化學遞質分泌、向突觸間隙擴散、到達突觸后膜并在那里發(fā)生作用的時間總和。由此可見，突觸對神經沖動的傳遞具有延時作用。在人腦中，神經元間的突觸聯系大部分是在出生后由于給予刺激而成長起來的。外界刺激性質不同，能夠改變神經元之間的突觸聯系，即突觸后膜電位變化的方向與大小。從突觸信息傳送的角度看，表現為放大倍數和極性的變化。正是由于各神經元之間的突觸連接強度和極性有所不同并可進行調整，因此人腦才具有學習和存儲信息的功能。2.1.2.3 信

12、息的整合(1/2) 神經元對信息的接受和傳送都是通過突觸來進行的。單個神經元可以與多達上千個其他神經元的軸突末梢形成突觸連接，接受從各個軸突傳來的脈沖輸入。這些輸入可到達神經元的不同部位，輸入部位不同，對神經元影響的權重也不同。在同一時刻產生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數和。這種累加求和稱為空間整合。另外，各輸入脈沖抵達神經元的先后時間也不一樣。由一個脈沖引起的突觸后膜電位很小，但在其持續(xù)時間內有另一脈沖相繼到達時，總的突觸后膜電位增大。這種現象稱為時間整合。2.1.2.3 信息的整合(2/2) 一個神經元的輸入信息在時間和空間上常呈現一種復雜多變的形式，神

13、經元需要對它們進行積累和整合加工，從而決定其輸出的時機和強弱。正是神經元的這種時空整合作用，才使得億萬個神經元在神經系統(tǒng)中可以有條不紊、夜以繼日地處理著各種復雜的信息，執(zhí)行著生物中樞神經系統(tǒng)的各種信息處理功能。2.1.2.4 生物神經網絡(1/2) 由多個生物神經元以確定方式和拓撲結構相互連接即形成生物神經網絡，它是一種更為靈巧、復雜的生物信息處理系統(tǒng)。研究表明，每一個生物神經網絡系統(tǒng)均是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)，它們有其獨特的運行方式和控制機制，以接受生物內外環(huán)境的輸入信息，加以綜合分析處理，然后調節(jié)控制機體對環(huán)境做出適當反應。生物神經網絡的功能不是單個神經元信息處理功能的簡單

14、疊加。每個神經元都有許多突觸與其他神經元連接，任何一個單獨的突觸連接都不能完全表現一項信息。只有當它們集合成總體時，才能對刺激的特殊性質給出明確的答復。由于神經元之間突觸連接方式和連接強度的不同并且具有可塑性，神經網絡在宏觀上呈現出千變萬化的復雜的信息處理能力。 2.1.2.4 生物神經網絡(2/2) CEREBRAL CORTEX-大腦皮層神經細胞的定義神經細胞是高等動物神經系統(tǒng)的結構單位和功能單位，又被稱為神經元（neuron）。神經系統(tǒng)中含有大量的神經元，據估計，人類中樞神經系統(tǒng)中約含1000億個神經元，僅大腦皮層中就約有140億。神經細胞描述：神經細胞呈三角形或多角形，可以分為樹突、軸

15、突和胞體這三個區(qū)域。附件附件神經細胞的功能神經元的基本功能是通過接受、整合、傳導和輸出信息實現信息交換。腦是由神經元構成的，神經元群通過各個神經元的信息交換，實現腦的分析功能，進而實現樣本的交換產出。產出的樣本通過聯結路徑點亮丘覺產生意識。 附件丘覺是我們通過遺傳獲得的意思結構，這些意思是丘腦核團的神經元本身蘊含的，并能夠自由合成發(fā)放或被樣本點亮發(fā)放出來。丘覺平時處于潛伏狀態(tài)，自由合成或被點亮時意思才能發(fā)放出來，形成意識。丘覺是不能通過學習獲得的，丘覺具有遺傳性和聯結性，丘覺的性質也就決定了意識的性質。 附件附件腦細胞的特征腦細胞一旦發(fā)育完成后，再也不會增殖。人的一生就只有出生時那個數目的腦細

16、胞可供利用，大約120億個。骨骼、肝臟、肌肉等其它器官或組織損傷后可因細胞分裂增殖很快得以恢復，唯獨腦細胞不可再生。目前，科學界尚沒有更好的辦法能夠改變腦細胞不可再生這一特性。 腦細胞處在一種連續(xù)不斷地死亡且永不復生增殖的過程，死一個就少一個，直至消亡殆盡。人到20歲左右，腦細胞發(fā)育的速度達到巔峰，此時不僅精力充沛，而且記憶力好，是一生中的黃金季節(jié)，越過此峰，便是下坡。20歲過后，若這些細胞放置在那里而不使用的話，會以每天10萬個的數量變成廢品。拿80歲的人和40歲的人相比較，前者比后者大約減少了一半，相差一倍左右，這已被科學所證實。 附件腦細胞的特征腦細胞按其成熟度可分為三種類型：一類是已經

17、充分發(fā)展了的腦細胞，其成熟度最高，每個細胞有多達二萬余條線路與其它的細胞有業(yè)務聯系。這部分細胞為處于工作狀態(tài)的精英。 另一類是未充分發(fā)展的腦細胞，其成熟度相對較低，每個細胞一般只有幾十條線路與其它腦細胞聯絡，我們稱這部分腦細胞是處于半抑制狀態(tài)。 第三類是完全沒有發(fā)展的原始狀態(tài)的腦細胞，這部分腦細胞既不馬上死亡，也不參與工作，處于休閑狀態(tài)。我們稱其為處于完全抑制狀態(tài)或沉睡狀態(tài)的腦細胞。 人腦大約有120億個腦細胞，最多不到10%是充分發(fā)展了的并常加以運用的，其余的仍處在未充分發(fā)展或完全沒有發(fā)展的原始狀態(tài)。 附件腦細胞的特征腦細胞彼此間聯絡的線路絕大多數在人出生后，受到外界環(huán)境的刺激而逐步發(fā)展形成

18、的。腦細胞聯絡線路越多，就越能發(fā)揮各細胞彼此之間的分工合作，人就越聰明，智商就越高。神經細胞的數量，出生時有多少以后就有多少，不能增加。神經細胞是有壽命的，腦細胞死一個就少一個、衰老便不由人愿了，可見“笑一笑十年少，愁一愁白了頭”是有些道理的。 附件2.2 人工神經元模型人工神經網絡是在現代神經生物學研究基礎上提出的模擬生物過程以反映人腦某些特性的計算結構。它不是人腦神經系統(tǒng)的真實描寫，而只是人腦神經系統(tǒng)的某種抽象、簡化和模擬。根據前面對生物神經網絡的介紹可知，神經元及其突觸是神經網絡的基本器件。因此，模擬生物神經網絡應首先模擬生物神經元。在人工神經網絡中，神經元常被稱為“處理單元”。人工神經

19、元是對生物神經元的一種形式化描述；人工神經元是對生物神經元的信息處理過程進行抽象，并用數學語言予以描述；人工神經元是對生物神經元的結構和功能進行模擬，并用模型圖予以表達。 2.2.1 神經元的建摸(1/6) 目前人們提出的神經元模型已有很多，其中最早提出且影響最大的是M-P模型（ 1943年由心理學家McCulloch和數學家WPitts首先提出的）。該模型經過不斷改進后，形成目前應用廣泛的一種神經元模型。關于神經元的信息處理機制，該模型在簡化的基礎上提出以下6點假定：1、是一個多輸入單輸出的信息處理單元；2、突觸分興奮性和抑制性兩種類型；3、神經元具有空間整合特性和閥值特性；4、輸入與輸出間

20、有固定的時滯，取決于突觸延擱；5、忽略時間整合作用和不應期；6、神經元本身是非時變的，即其突觸時延和突觸強度均為常數。2.2.1 神經元的建摸 (2/6)上述假定，可用圖2.5中的神經元模型示意圖進行圖解表示。2.2.1 神經元的建摸 (3/6)如生物神經元有許多激勵輸入一樣，人工神經元也應該有許多的輸入信號。圖中用xi ( i=1, 2, , n )表示輸入數值的大小，它們同時輸入神經元j。 jx1xixnwnjwijw1j2.2.1 神經元的建摸(4/6) 生物神經元具有不同的突觸性質和突觸強度，其影響是使有些輸入的作用比另外一些輸入更為重要。對模擬神經元的每一個輸入都有一個加權系數wij

21、，稱為權重值，其正負模擬了生物神經元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強度。 jx1xixn2.2.1 神經元的建摸(5/6) 作為基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，組合表示輸入信號的“總和值”，相應于生物神經元的膜電位。神經元是否激活，決于某一閾值電平，即只有當其輸入總和超過閾值時，神經元才被激活而發(fā)出脈沖，否則神經元不會產生輸出信號。 wnjwijw1jjx1xixnfoj2.2.1 神經元的建摸(6/6) 人工神經元的輸出也同生物神經元一樣僅有一個，如用oj表示神經元j輸出。輸出與輸入之間的對應關系可用某種函數來表示，這種函數稱為轉移函數

22、，一般都是非線性的。 wnjwijw1jjx1xixn2.2.2 神經元的數學模型(1/6)我們用一個數學表達式對上述內容可進行抽象與概括。令xi(t)表示t時刻神經元j接收的來自神經元i的信息輸入，oj(t)表示t時刻神經元的信息輸出，則神經元j的狀態(tài)可表達為式中 ij 輸入i輸出j間的突觸延時； Tj 神經元j的閾值； wij 神經元i到j的突觸連接系數值； f( ) 神經元轉移函數。2.2.2 神經元的數學模型(2/6)為簡單起見，將上式中的突觸延時取為單位時間，則式（2.1）可寫為 上式描述的神經元數學模型全面表達了神經元模型的6點假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2

23、、突觸分興奮性和抑制性; (wij可正可負、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應期; 6、非時變，即突觸時延和突觸強度為常數。2.2.2 神經元的數學模型(3/6)輸入總和常稱為神經元在t時刻的凈輸入，用 當netjTj時，神經元j才能被激活。 oj(t+1)與xi(t)之間的單位時間差代表所有神經元具有相同的、恒定的工作節(jié)律，wij與時間無關。為簡便起見，后面用到式(2.3)和(2.3)時，常將其中的(t+1)和 (t)省略。 2.2.2 神經元的數學模型(4/6)式(2.3)還可表示為權重向量和輸入向量的點積

24、其中 Wj 和 X 均為列向量，定義為2.2.2 神經元的數學模型(5/6)如果令x0=-1，w0j=Tj，則有-Tj=w0jx0，因此凈輸入和閾值之差可表示為： 式(2.4)中列向量和的第一個分量的下標均從1開始, 而式(2.5)中則從0開始。 2.2.2 神經元的數學模型(6/6)采用式(2.5)的約定后, 凈輸入改寫為net, 與原來的區(qū)別是包含了閾值。綜合以上各式, 神經元模型可簡化為x0=-1x1xixnw0j=Tjfojwnjwijw1jj-Tj=w0jx02.2.3 神經元的轉移函數神經元的各種不同數學模型的主要區(qū)別在于采用了不同的轉移函數，從而使神經元具有不同的信息處理特性。神

25、經元的信息處理特性是決定人工神經網絡整體性能的三大要素之一，因此轉移函數的研究具有重要意義。神經元的轉移函數反映了神經元輸出與其激活狀態(tài)之間的關系，最常用的轉移函數有以下4種形式。（1）閾值型轉移函數 （2）非線性轉移函數 （3）分段線性轉移函數 （4）概率型轉移函數 2.2.3 神經元的轉移函數(1)閾值型轉移函數 閾值型轉移函數采用了圖2.6的單位階躍函數，用下式定義 具有這一轉移函數的神經元稱為閾值型神經元，這是神經元模型中最簡單的一種，經典的M-P模型就屬于這一類。函數中的自變量x代表netj-Tj，即當netj=Tj時，神經元為興奮狀態(tài)，輸出為1；當時netjTj ，神經元為抑制狀態(tài)

26、，輸出為0。xf(x)1.0 xf(x)1.0-1.02.2.3 神經元的轉移函數(2)非線性轉移函數 非線性轉移函數為實數域R到0，1閉集的非減連續(xù)函數，代表了狀態(tài)連續(xù)型神經元模型。S型函數曲線特點見圖2.7。最常用的非線性轉移函數是單極性Sigmoid函數曲線，簡稱S型函數，其特點是函數本身及其導數都是連續(xù)的，因而在處理上十分方便。單極性S型函數定義如下 有時也常采用雙極性S型函數(即雙曲正切)等形式圖2-7 S型轉移函數f(x)0.51.0 xf(x)0.51.0 xf(x)1.0 x-1.02.2.3 神經元的轉移函數(3)分段線性轉移函數 該函數特點是神經元的輸入與輸出在一定區(qū)間內滿

27、足線性關系。由于具有分段線性的特點，因而在實現上比較簡單。這類函數也稱為偽線性函數，表達式如下圖2.8給出該函數曲線。圖2-8 分段線性轉移函數xf(x)1.0 xc2.2.3 神經元的轉移函數(4)概率型轉移函數 采用概率型轉移函數的神經元模型其輸入與輸出之間的關系是不確定的，需采用一個隨機函數來描述輸出狀態(tài)為1或為0的概率。設神經元輸出為1的概率為式中，T稱為溫度參數。由于采用該轉移函數的神經元輸出狀態(tài)分布與熱力學中的玻爾茲曼(Boltzmann)分布相類似，因此這種神經元模型也稱為熱力學模型。(2.12)作業(yè)2.1 人工神經元模型是如何體現生物神經元的結構和信息處理機制的?2.2 若權值

28、只能按1或-1變化，對神經元的學習有何影響？試舉例說明。補充題：請給出典型的人工神經元模型結構并加以說明。fojwnjwijw1jjx1xixn神經元數學模型全面表達了神經元模型的6點假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2、突觸分興奮性和抑制性; (wij可正可負、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應期; 6、非時變，即突觸時延和突觸強度為常數。2.3 人工神經網絡模型生物神經網絡由數以億計的生物神經元連接而成，而人工神經網絡限于物理實現的困難和為了計算簡便，是由相對少量的神經元按一定規(guī)律構成的網絡

29、。人工神經網絡中的神經元常稱為節(jié)點或處理單元，每個節(jié)點均具有相同的結構，其動作在時間上同步。人工神經網絡的模型很多，可以按照不同的方法進行分類。其中常見的兩種分類方法是，按網絡連接的拓撲結構分類和按網絡內部的信息流向分類。2.3.1 網絡拓撲結構類型根據神經元之間的連接方式，可將神經網絡結構分為兩大類(層次型結構 和互連型結構)。 2.3.1.1 層次型結構(1/4)層次型結構的神經網絡將神經元按功能分成若干層，如輸入層、中間層（也稱為隱層）和輸出層，各層順序相連，如圖2.9所示。圖2.9 單純層次型網絡結構輸出層中間層(也稱隱層)輸入層圖2.9 單純層次型網絡結構輸出層中間層(也稱隱層)輸入

30、層2.3.1.1 層次型結構(2/4)輸入層各神經元負責接受來自外界的輸入信息，并傳遞給中間各隱層神經元；隱層是神經網絡的內部信息處理層，負責信息變換，根據信息變換能力的需要，隱層可設計為一層或多層；最后一個隱層傳遞到輸出層各神經元的信息經近一步處理后，即完成一次從輸入到輸出的信息處理，由輸出層向外界（如執(zhí)行機構或顯示設備）輸出信息處理結果。2.3.1.1 層次型結構(3/4)層次型網絡結構有3種典型的結合方式。 (1)單純層次型網絡結構 如圖2.9所示，神經元分層排列，各層神經元接受前一層輸入并輸出到下一層，層內神經元自身以及神經元之間不存在連接通路。圖2.9 單純層次型網絡結構2.3.1.

31、1 層次型結構(3/4)層次型網絡結構有3種典型的結合方式。 (2)輸出層到輸入層有連接的層次型網絡結構 圖2.10所示，輸出層到輸入層有連接路徑。輸入層神經元既可接受輸入，也具有信息處理功能。2.3.1.1 層次型結構(4/4)層次型網絡結構有3種典型的結合方式。 (3)層內有互連的層次型網絡結構 圖2.11所示，這種結構的特點是在同一層內引入神經元間的側向作用，使得能同時激活的神經元個數可控，以實現各層神經元的自組織。2.3.1.2 互連型結構(1/2)對于互連型網絡結構，網絡中任意兩個節(jié)點之間都可能存在連接路徑，因此根據網絡中節(jié)點的互連程度將互連型網絡結構細分為3種情況。(1)全互連型

32、網絡中的每個節(jié)點均與所有其他節(jié)點連接，如圖2.12所示。2.3.1.2 互連型結構(2/2)(2)局部互連型 網絡中的每個節(jié)點只與其鄰近的節(jié)點有連接，如圖2.13所示。(3)稀疏連接型 網絡中的節(jié)點只與少數相距較遠的節(jié)點相連。2.3.2 網絡信息流向類型從神經網絡內部信息傳遞方向來分，可分為兩種類型：前饋型網絡和反饋型網絡。 2.3.2.1 前饋型網絡(1/2)單純前饋型網絡的結構特點與圖2.9中所示的分層網絡完全相同，前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名。從信息處理能力看，網絡中的節(jié)點可分為兩種：一種是輸入節(jié)點，只負責引入信息后向前傳遞給第一隱層；另一種是具有處理

33、能力的節(jié)點，包括各隱層和輸出層節(jié)點。2.3.2.1 前饋型網絡(2/2)在前饋型網絡中，一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。這類前饋型網絡很容易串聯起來建立多層前饋網絡。多層前饋網絡可以看成是一個有向無環(huán)路的網絡。其中輸入層記為網絡的第一層，第一個隱層記為網絡的第二層，其余類推。所以，當提到具有單層計算神經元的網絡時，指的應是一個兩層前饋網絡（輸入層和輸出層），當提到具有單隱層的網絡時，指的應是一個三層前饋網絡（輸入層、隱層和輸出層）。2.3.2.2 反饋型網絡單純反饋型網絡的結構特點與圖2.12中的網絡結構完全相同，稱為反饋網絡是指其信息流向的特

34、點。在反饋網絡中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。2.3.2.2 反饋型網絡單純反饋型網絡的結構特點與圖2.12中的網絡結構完全相同，稱為反饋網絡是指其信息流向的特點。在反饋網絡中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。單層全互連結構網絡是一種典型的反饋型網絡，可以用圖2.14所示的完全的無向圖表示。以上介紹的人工神經網絡模型的分類方法、結構形式和信息流向只是對目前常見的網絡結構的概括和抽象。 實際應用的神經網絡，可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次型網絡中可能出現局部的互連；從信

35、息流向看，前饋網絡中可能出現局部反饋。神經網絡的拓撲結構是決定神經網絡特性的第二大要素，其特點可歸納為分布式存儲記憶與分布式信息處理、高度互連性、高度并行性和結構可塑性。2.4 神經網絡學習人工神經網絡的功能特性由其連接的拓撲結構和突觸連接強度，即連接權值決定。神經網絡的全體連接權值可用一個矩陣表示，其整體內容反映了神經網絡對于所解決問題的知識存儲。神經網絡能夠通過對樣本的學習訓練，不斷改變網絡的連接權值以及拓撲結構，以使網絡的輸出不斷地接近期望的輸出。這一過程稱為神經網絡的學習或訓練，其本質是對可變權值的動態(tài)調整。人工神經網絡的學習方式是決定神經網絡信息處理性能的第三大要素，因此有關學習的研

36、究在神經網絡研究中具有重要地位。2.4 人工神經網絡學習改變權值的規(guī)則稱為學習規(guī)則或學習算法（亦稱訓練規(guī)則或訓練算法），如果只是單個處理單元，無論采用哪種學習規(guī)則進行調整，其算法都十分簡單。但當大量處理單元集體進行權值調整時，網絡就呈現出“智能”特性，其中有意義的信息就分布地存儲在調整后的權值矩陣中。神經網絡的學習算法很多，根據一種廣泛采用的分類方法，可將神經網絡的學習算法歸納為三類：一是有導師學習；二為無導師學習；三是死記式學習。2.4 人工神經網絡學習1、有導師學習也稱為有監(jiān)督學習，這種學習模式采用的是糾錯規(guī)則。在學習訓練過程中需要不斷給網絡成對地提供一個輸入模式和一個期望網絡正確輸出的模

37、式，稱為“教師信號”。將神經網絡的實際輸出與期望輸出進行比較，當網絡的輸出與期望的教師信號不符時，根據差錯的方向和大小按一定的規(guī)則調整權值，以使網絡的輸出更接近期望的輸出。對于有導師學習，網絡在執(zhí)行工作任務之前必須先學習訓練，當網絡輸入均能產生所期望的輸出時，即認為網絡已經在導師的訓練下“學會”了訓練數據集中包含的知識和規(guī)則，可以用來進行工作了。網絡工作時，網絡的權值不再調整。2.4 人工神經網絡學習2、無導師學習也稱為無監(jiān)督學習。在學習過程中，需要不斷地給網絡提供動態(tài)輸入信息。網絡能根據特有的內部結構和學習規(guī)則，在輸入信息流中發(fā)現任何可能存在的模式和規(guī)律，同時能根據網絡的功能和輸入信息調整權

38、值，這個過程稱為網絡的自組織，其結果是使網絡能對屬于同一類的模式進行自動分類。在這種學習模式中，網絡的權值調整不取決于外來教師信號的影響，可以認為網絡的學習評價標準隱含于網絡的內部。對于無導師學習，網絡也是學習訓練，后用來進行工作。網絡工作時，網絡的權值不再調整。2.4 人工神經網絡學習有導師學習和無導師學習，哪種學習好了？在有導師學習中，提供給神經網絡學習的外部指導信息越多，神經網絡學會并掌握的知識越多，解決問題的能力也就超強。但是，有時神經網絡所解決的問題的先驗信息很少，甚至沒有，這種情況下無導師學習就顯得更有實際意義。3、死記式學習是指網絡事先設計成能記憶特定的例子，在使用時，當給定有關

39、該例子的輸入信息時，例子便被回憶起來。在死記式學習中，網絡的權值一旦設計好了就不再變動，因此其學習是一次性的(設計)，而不是一個訓練過程。2.4 人工神經網絡學習網絡的運行一般分為訓練和工作兩個階段。訓練的目的是為了從訓練數據中提取隱含的知識和規(guī)律，并存儲于網絡中供工作階段使用。 在訓練時，可以認為，一個神經元是一個自適應單元，其權值可以根據它所接受的輸入信號、它的輸出信號以及對應的監(jiān)督信號(希望的輸出)進行調整。一種神經網絡權值調整的通用學習規(guī)則，如圖2.15表示。 2.4 人工神經網絡學習通用學習規(guī)則可表達為：權向量Wj在t時刻的調整量 Wj(t)與t時刻的輸入向量X(t)和學習信號r的乘

40、積成正比。用數學式表示為 式中，為正數, 稱為學習常數, 其值決定了學習速率, 也稱學習率。 圖中r=r(Wj, X,dj)，代表學習信號，該信號通常是Wj和X的函數，也是教師信號dj的函數。不同的學習規(guī)則，對r(Wj, X, dj)有不同的定義，從而形成各種各樣的神經網絡學習規(guī)則：下面對常用學習規(guī)則作一簡要介紹，其具體應用將在后續(xù)各章中展開。基于離散時間調整時，下一時刻的權向量應為 2.4.1 Hebbian學習規(guī)則 2.4.2 Perceptron（感知器）學習規(guī)則 2.4.3 (Delta)學習規(guī)則 2.4.4 Widrow-Hoff學習規(guī)則 2.4.5 Correlation（相關）學

41、習規(guī)則 2.4.6 Winner-Take-All（勝者為王）學習規(guī)則 2.4.7 Outstar（外星）學習規(guī)則2.4 人工神經網絡學習2.4.1 Hebbian學習規(guī)則（1/3）1949年，心理學家D. O. Hebb最早提出了關于神經網絡學習機理的 “突觸修正” 的假設。該假設指出，當神經元的突觸前膜電位與后膜電位同時為正時，突觸傳導增強，當前膜電位與后膜電位正負相反時，突觸傳導減弱，也就是說，當神經元與神經元同時處于興奮狀態(tài)時，兩者之間的連接強度應增強。根據該假設定義的權值調整方法，稱為Hebbian學習規(guī)則。在Hebbian學習規(guī)則中, 學習信號簡單地等于神經元的輸出權向量的調整公式

42、為權向量中, 每個分量的調整由下式確定上式表明，權值調整量與輸入輸出的乘積成正比。在這種情況下，Hebbian學習規(guī)則需預先設置權飽和值，以防止輸入和輸出正負始終一致時出現權值無約束增長。此外，權值還要初始化，即在學習開始前(t=0)，先對Wj(0)賦予零附近的小隨機數。下面用一個簡單的例子說明Hebbian學習規(guī)則的應用。2.4.1 Hebbian學習規(guī)則（2/3）例2.1 設有4輸入單輸出神經元網絡，其閾值T=0, 學習率=1, 3個輸入樣本向量和初始權向量分別為X1=(1, -2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5

43、)T , W(0)=(1, -1, 0, 0.5)T 。解：首先設轉移函數為雙極性離散函數f(net)=sgn(net)，權值調整步驟為：(1)輸入第一個樣本X1 ，計算凈輸入net1，并調整權向量W(1)(2)輸入第二個樣本X2，計算凈輸入net2，并調整權向量W(2)(3)輸入第二個樣本X3，計算凈輸入net3，并調整權向量W(3)可見，當轉移函數為符號函數且時=1，Hebbian學習規(guī)則的權值調整將簡化為權向量與輸入向量的加或減。2.4.1 Hebbian學習規(guī)則（3/3）例2.1 設有4輸入單輸出神經元網絡，其閾值T=0, 學習率=1, 3個輸入樣本向量和初始權向量分別為X1=(1,

44、-2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5)T , W(0)=(1, -1, 0, 0.5)T 。解(續(xù))：下面設傳遞函數為雙極性連續(xù)函數f(net)=(1-e-net)/(1+e-net)，權值調整步驟同上。(2)(3)比較兩種權值調整結果可以看出兩種轉移函數下的權值調整方向是一致的，但采用連續(xù)轉移函數時，權值調整力度減弱。 (1) 2.4.2 Perceptron(感知器)學習規(guī)則1958年，美國學者Frank Rosenblatt首次定義了一個具有單層計算單元的神經網絡結構，稱為感知器(Perceptron)。感知器

45、的學習規(guī)則規(guī)定：學習信號等于神經元期望輸出(教師信號)與實際輸出之差 式中，當實際輸出與期望值相同時，權值不需要調整；在有誤差存在情況下，由于dj、sgn(net)-1, 1，權值調整公式可簡化為式中dj為期望的輸出，oj=f(net)。感知器采用了與閾值轉移函數類似的符號轉移函數，其表達為因此，權值調整公式應為感知器學習規(guī)則只適用于二進制神經元，初始權值可取任意值。(2.17) (2.18)(2.19a)(2.19b)(2.19c)2.4.3 (Delta)學習規(guī)則1986年，認知心理學家McClelland和Rumelhart在神經網絡訓練中引入了規(guī)則，該規(guī)則亦可稱為連續(xù)感知器學習規(guī)則。規(guī)

46、則的學習信號規(guī)定為上式定義的學習信號稱為。式中，f(netj)是轉移函數f(netj)的導數。顯然，規(guī)則要求轉移函數可導，因此只適用于有導師學習中定義的連續(xù)轉移函數如sigmoid函數。事實上, 規(guī)則很容易由輸出值與期望值的最小平方誤差條件推導出來。定義神經元輸出與期望輸出之間的平方誤差為 (2.20)(2.21)式中，誤差E是權向量Wj的函數。欲使誤差E最小，Wj應與誤差的負梯度成正比，即(2.22)式中, 比例系數是一個正常數, E是誤差E的梯度， GRADIENT ( GRAD ) 。式(2.19)，誤差梯度是如何計算的？2.4.3 (Delta)學習規(guī)則可以看出，上式中與X之間的部分正

47、是式(2.20)中定義的學習信號，Wj中每個分量的調整由下式 (2.24b)計算，權值可初始化為任意值。 (2.23)(2.24a)(2.24b)式(2.23)，是如何得到的？由式(2.21 )，誤差梯度為 將此結果代入式(2.22 )，可得權值調整計算式2.4.3 (Delta)學習規(guī)則下面舉例說明學習規(guī)則的應用。例2.2 設有3輸入單輸出神經元網絡，將閾值含于權向量內，故有w0 = T，x0=-1，學習率=0.1，3個輸入向量和初始權向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0.5, -1)T ， d1=-1，d2

48、=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。解: 設轉移函數為雙極性連續(xù)函數f(net)=(1-e-net)/(1+e-net), 權值調整步驟為: （1）輸入樣本X1，計算凈輸入net1及權向量W(1)2.4.3 (Delta)學習規(guī)則解(續(xù)): （2）輸入樣本X2，計算凈輸入net2及權向量W(2)下面舉例說明學習規(guī)則的應用。例2.2 設有3輸入單輸出神經元網絡，將閾值含于權向量內，故有w0 = T，x0=-1，學習率=0.1，3個輸入向量和初始權向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0

49、.5, -1)T ， d1=-1，d2=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。2.4.3 (Delta)學習規(guī)則解(續(xù)): （3）輸入樣本X3，計算凈輸入net3及權向量W(3)下面舉例說明學習規(guī)則的應用。例2.2 設有3輸入單輸出神經元網絡，將閾值含于權向量內，故有w0 = T，x0=-1，學習率=0.1，3個輸入向量和初始權向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0.5, -1)T ， d1=-1，d2=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。2.4.4 Wi

50、drow-Hoff（LMS）學習規(guī)則1962年，Bernard Widrow和Marcian Hoff提出了Widrow-Hoff學習規(guī)則，又稱為最小均方規(guī)則(LMS)。Widrow-Hoff學習規(guī)則的學習信號為 權向量調整量為W的各分量為 實際上，如果在學習規(guī)則中設定神經元轉移函數為f(net)=net，則有f(net)=1，此時式(2.20)與式(2.25)相同。因此，Widrow-Hoff學習規(guī)則可以看成是學習規(guī)則的一個特殊情況。該學習規(guī)則與神經元采用的轉移函數無關，因而不需要對轉移函數求導數，不僅學習速度較快，而且具有較高的精度。權值可初始化為任意值。 (2.25)(2.26a)(2.

51、26b)2.4.5 Correlation(相關)學習規(guī)則相關學習規(guī)則規(guī)定學習信號為易得出W及wij分別為該規(guī)則表明，當dj是xi的期望輸出時，相應的權值增量wij與兩者的乘積djxi成正比。(2.27)(2.28a)(2.28b)如果Hebbian學習規(guī)則中的轉移函數為二進制函數，且有oj=dj，則相關學習規(guī)則可看做Hebbian規(guī)則的一種特殊情況。應當注意的是，Hebbian學習規(guī)則是無導師學習，而相關學習規(guī)則是有導師學習。這種學習規(guī)則要求將權值初始化為零。 2.4.6 Winner-Take-All(勝者為王)學習規(guī)則Winner-Take-All學習規(guī)則是一種競爭學習規(guī)則，用于無導師學

52、習。一般將網絡的某一層確定為競爭層，對于一個特定的輸入X，競爭層的所有p個神經元均有輸出響應，其中響應值最大的神經元為在競爭中獲勝的神經元，即只有獲勝神經元才有權調整其權向量Wm，調整量為式中，(0, 1，是學習常數，一般其值隨著學習的進展而減小。由于兩個向量的點積越大，表明兩者越近似，所以調整獲勝神經元權值的結果是使Wm進一步接近當前輸入X。顯然，當下次出現與X相像的輸入模式時，上次獲勝的神經元更容易獲勝。在反復的競爭學習過程中，競爭層的各神經元所對應的權向量被逐漸調整為輸入樣本空間的聚類中心。在有些應用中，以獲勝神經元為中心定義一個獲勝鄰域除獲勝神經元調整權值外，鄰城內的其他神經元也程度不

53、同地調整權值。權值一般被初始化為任意值并進行歸一化處理。(2.29)(2.30)j*2.4.7 Outstar(外星)學習規(guī)則神經網絡中有兩類常見節(jié)點，分別稱為內星節(jié)點和外星節(jié)點，其特點見圖2.16。圖2.16(a)中的內星節(jié)點總是接受來自四面八方的輸入加權信號，因此是信號的匯聚點，對應的權值向量稱為內星權向量，圖2.16(b)中的外星節(jié)點總是向四面八方發(fā)出輸出加權信號，因此是信號的發(fā)散點，對應的權值向量稱為外星權向量。2.4.7 Outstar(外星)學習規(guī)則下面介紹外星學習規(guī)則。 外星學習規(guī)則屬于有導師學習，其目的是為了生成一個期望的維輸出向量，設對應的外星權向量用表示，學習規(guī)則如下式中，

54、的規(guī)定與作用與式（2.30）的相向。正像式（2.30）給出的內星學習規(guī)則使節(jié)點對應的內星權向量向輸入向量靠近一樣，式（2.31）給出的外星學習規(guī)則使節(jié)點對應的外星權向量向期望輸出向量靠近。(2.31)(2.30)以上集中介紹了神經網絡中幾種常用的學習規(guī)則，有些規(guī)則之間有著內在聯系，讀者可通過比較體會其異同。對上述各種學習規(guī)則的對比總結列于表2.1中。 本章小結本章重點介紹了生物神經元的結構及其信息處理機制、人工神經元數理模型、常見的網絡拓撲結構以及學習規(guī)則。其中，神經元的數學模型、神經網絡的連接方式以及神經網絡的學習方式是決定神經網絡信息處理性能的三大要素，因而是本章學習的重點。(1)生物神經

55、元的信息處理 (2)神經元模型(3)神經網絡模型(4)神經網絡學習作業(yè)2.1 人工神經元模型是如何體現生物神經元的結構和信息處理機制的?2.2 若權值只能按1或-1變化，對神經元的學習有何影響？試舉例說明。補充題：請給出典型的人工神經元模型結構并加以說明。2.3 舉例說明什么是有導師學習和無導師學習？2.4 雙輸入單輸出神經網絡，初始權向量W(0)=1，-1T，學習率=1， 4個輸入向量為X1=1，-2T，X2=0，1T，X3=2，3T，X4=1，1T，若采用Hebb學習規(guī)則，對以下兩種情況求第四步訓練后的權向量W(4)=?，?T： (1)神經元采用離散型轉移函數f(net)=sgn(net)； (2)神經元采用雙極性連續(xù)型轉移函數f(net)=(1-e-net)/(1+e-net)。 作業(yè)2.5 某神經網絡的轉移函數為符號函數f(net)=sgn(net)，學習率=1，初始權向量W(0)=0, 1, 0T， 兩對輸入樣本為 X1=2, 1, -1T，d1=-1； X2=0, -1, -1T，d2=1。試用感知器學習規(guī)則對以上樣本進行反復訓練，直到網絡輸出誤差為零，寫出每一訓練步的凈輸入net(t)。2.6 某神經網絡采用雙極性Sigmoid函數，學習率=0.25，初始權向量W(0)=1, 0, 1