第三講神經元與網絡結構

1、第三講神經元與網絡結構31 生物神經元及生物神經網絡311 生物神經元人腦大約由1012個神經元組成，而其中的每個神經元又與約102104個其他神經元相連接，如此構成一個龐大而復雜的神經元網絡。神經元是大腦處理信息的基本單元，它的結構如圖31所示。它是以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(synapse，又稱神經鍵)組成。圖31 生物神經元示意圖細胞體由細胞核、細胞質和細胞膜組成。細胞體是神經元新陳代謝的中心，還是接受與處理信息的部件。樹突是細胞體向外延伸樹枝狀的纖維體，它是神經元的輸入通道，接受來自其他神

2、經元的信息。軸突是細胞體向處延伸的最長、最粗的一條樹枝纖維體，即神經纖維，其長度從幾個微米到1m左右。它是神經元的輸出通道。軸突末端也有許多向外延伸的樹枝狀纖維體，稱為神經末梢，它是神經元信息的輸出端，用于輸出神經元的動作脈沖。軸突有兩種結構形式：髓鞘纖維和無髓鞘纖維，兩者傳遞信息的速度不同，前者約為后者的10倍。一個神經元的神經末梢與另一神經元樹突或細胞體的接觸處稱為突觸，它是神經元之問傳遞信息的輸入輸出接口。每個神經元約有103104個突觸。從神經元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前

3、膜將向突觸間隙釋放神經傳遞的化學物質(乙酰膽堿)。由于這種化學物質的擴散，使位于突觸后膜的離子通道(ion channel)開放，產生離子流，從而在突觸后膜產生正的或負的電位，稱為突觸后電位。突觸有兩種：興奮性突觸和抑制性突觸。前者產生正突觸后電位，后者產生負突觸后電位。一個神經元的各樹突和細胞體往往通過突觸和大量的其他神經元相連接。這些突觸后電位的變化，將對該神經元產生綜合作用，即當這些突觸后電位的總和超過某一閻值時，該神經元便被激活，并產生脈沖，而且產生的脈沖數與該電位總和值的大小有關。脈沖沿軸突向其他神經元傳送，從而實現了神經元之間信息的傳遞。突觸傳遞信息有一定的延遲時間，對于溫血動物一

4、般為031ms。當一個神經元突觸前傳來一串脈沖時，突觸后電位的變化是其中諸單脈沖沖動效應的累加，即時間上的累加。而該神經元與其他很多神經元相連接的突觸前同時傳來的脈沖也能引起該突觸后電位的變化，即空間上的累加。時間累加和空間累加都會對突觸后電位產生影響。最后，將突觸傳遞信息的功能和特點歸納為：(1) 信息傳遞有時延，一般為0.3lms。(2) 信息的綜合有時間累加和空間累加。(3) 突觸有興奮性和抑制性兩種類型。(4) 具有脈沖電位信號轉換功能。沿神經纖維傳遞的電脈沖為等幅(約60100mv)、恒寬、編碼的離散信號，而細胞膜電位的變化為連續(xù)的模擬量。由此可見突觸有數模轉換功能。這種轉換是通過神

5、經介質以量子化學的方式實現的。(5) 神經纖維傳導的速度，即脈沖沿神經纖維傳遞的速度，在1150ms之間，它隨纖維的粗細以及髓鞘的有無而不同。有髓鞘的粗纖維，其傳遞速度在100ms以上；無髓朗的紉纖維，其傳遞速度可低至每秒數米。(6) 存在不應期。在兩個相鄰脈沖之間，神經元的閾值電位突然升高，阻止下一個脈沖的通過，這段時間稱為不應期，約35ms。在此期間，對激勵不響應，不能傳遞脈沖。(7) 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。(8) 可塑性，突觸傳遞信息的強度是可變的，即具有學習功能?？伤苄允菍W習和記憶的基礎。(9) 存在遺忘或疲勞效應。312 人腦神經網絡系統(tǒng)生物神經網絡是由很多

6、神經元相互連接的，神經網絡系統(tǒng)是一個極為龐大則錯綜復雜的系統(tǒng)。每個神經元雖然都十分簡單，但是，如此大量神經元之間非常復雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量神經元與外部感受器之間的多種多樣的連接方式也蘊含了變化莫測的反應方式?？傊?，連接方式的多樣化導致了行為方式的多樣化。腦神經系統(tǒng)的主要組成部分如圖32所示。人腦具有階層結構，其中最復雜的部分是處于大腦最外層的大腦皮層。在大腦皮層中密布著由大量神經元構成的神經網絡，這就使它具有高度的分析相綜合能力。它是人腦思維活動的物質基礎，是腦神經系統(tǒng)的核心部分。圖32腦神經系統(tǒng)的主要組成部分人們通過長期的研究，進一步探明了大腦皮層是由許多不

7、同的功能區(qū)構成的。例如，有的區(qū)專門負責運動控制，有的區(qū)專門負責聽覺，有的區(qū)專門負責視覺等。在每個功能區(qū)中，又包含許多負責某一具體功能的神經元群。例如，在視覺神經區(qū)，存在著只對光線方向性產生反應的神經元。更進一步細分，某一層神經元僅對水平光線產生響應，而另一層神經元只對垂直光線產生反應。需要特別指出的是，大腦皮層的這種區(qū)域性結構，雖然是由人的遺傳特性所決定的，是先天性的，但各區(qū)域所具有的功能大部分是人在后天通過對環(huán)境的適應和學習而得來的。神經元的這種特性稱為自組織(selforganization)特性。所謂自組織，即神經元的學習過程，完全是一種自我學習的過程，不存在外部教師的示教。還應指出，神

8、經元的這種自組織特性來自于神經網絡結構的可塑性，即神經元之間相互連接的突觸隨著動作電位脈沖激勵方式與強度的變化，其傳遞電位的作用可增加或減弱，神經元之間的突觸連接是柔性的、可塑的。還應指出，功能的分區(qū)定位并不是機械的一對一關系。許多功能，特別是高級思維功能，通常都可以分為若干子功能塊，這些子功能塊存在并行關系。對于一個特定功能的神經加工往往是在大腦皮層的許多部位分布式進行的。正因為如此，某一部位的損傷才不至于導致整個功能的喪失。313 人腦神經網絡信息處理的特點人的大腦是一個神秘而復雜的世界，人們通過長期的研究與探索，已能從神經細胞結構及神經網絡組成的水平上初步探明大腦的組織特征，并通過生理實

9、驗證明了許多大腦的認知機理。但是，到目前為止，人們還不能完全解釋大腦的思維、意識和精神活動。大腦的思維過程實質上是一種信息處理過程。大腦神經網絡系統(tǒng)是大腦信息處理的主體。這種信息處理過程是十分復雜而多樣化的，很難給出精確的描述。不過，基于對大腦組織特征的認識及一些生理實驗，可以歸納出如下一些大腦神經網絡處理信息的特點：1分布存儲與冗余性 信息在神經網絡中的存儲是分布于大量的神經元之中，即一個事物的信息不只是對應于一個神經元的狀態(tài)進行記憶，而是分散到很多神經元中進行記憶。而且每個神經元實際上存儲著多種不同信息的部分內容。在分布存儲的內容中，有許多是完成同一功能的，即網絡具有冗余性。網絡的冗余性導

10、致網絡的存儲具有容錯性，即其中某些神經元受到損傷或死亡時，仍不致于丟失其記憶的信息。信息在神經網絡中的記憶，主要反映在神經元之間的突觸連接強度上。2并行處理 神經元響應的速度為毫秒級，比一般電子開關器件要慢幾個數量級，而且每個神經元的處理功能也很有限。然而，大腦神經網絡系統(tǒng)對于處理以求得問題滿意解為目標的決策任務(如視覺、運動控制等)卻顯得非常迅速。相反、馮·諾依曼計算機卻在這方面顯得非常遲鈍和笨拙。顯然，前者速度快是由成億個神經元協(xié)同工作并行處理的結果。神經網絡并行處理的含義不同于目前的并行處理機，它不是簡單地“以空間的復雜性為代價來求得時間上的快速性”，而是反映了根本不同的操作機

11、理。神經網絡既是處理器，又是存儲器。3信息處理與存儲合一 人們從未發(fā)現大腦皮層中記憶和處理分別屬于不同區(qū)域的情況，這是因為每個神經元都兼有信息處理和存儲的功能。神經元之間突觸連接強度的變化既反映了神經元對激勵的響應，即信息處理過程，同時其響應結果又反映了信息的記憶。這種合二為一的優(yōu)點是同時有大量相關知識參與信息過程，這對于提高網絡信息處理的速度和智能是至關重要的。與此不同，目前一股計算機的存儲和處理是分別屬于兩個獨立的部件，存儲器的作用只不過是一個知識庫，這就是說，任一時刻都只有極少量的知識被取來參與處理，大部分知識卻處于休閑無用狀態(tài)。4可塑性與自組織性 在大腦中，神經元之間的突觸連接，雖然其

12、基本部分是先天就有的，即由遺傳所決定的，但是大腦皮層的大部分突觸連接是后天由環(huán)境的激勵逐步形成的。它隨著環(huán)境刺激性質的不同而不同。能形成和改變神經元之間突觸連接的現象稱為可塑性。大腦的記憶也是由環(huán)境的刺激在神經元之間形成新的突觸連接，或者使原來就有的突觸連接加強而形成的。還有，由于環(huán)境的刺激，形成和調整神經元之間的突觸連接，并逐漸構成神經網絡的現象，稱為神經系統(tǒng)的自組織性。由此可見，可塑性是學習和記憶的基礎。5魯棒性 網絡的高連接度意味著一定的誤差和噪聲不會使網絡的性能惡化，即網絡具有魯棒性。大腦神經網絡的魯律性對于智能的演化可能是一個十分重要的因素。32 生物神經網絡的模型化人工神經網絡前一

13、節(jié)對生物神經元及生物神經網絡的結構和功能做了簡要介紹。人類研究自身大腦的目的主要有兩點：一是揭示大腦神經系統(tǒng)的生理特征和思維活動的機能造福于人類；二是通過對大腦神經網絡系統(tǒng)的結構、功能及信息處理機理的探索，構造出與大腦智能相近的人工神經網絡，并反過來用于工程或其他領域。然而要達到后一個目的，最有效的途徑是首先建立生物神經元和神經網絡的數學模型。本節(jié)主要討論這個問題。應該指出，這里所指數學模型及其所構造的人工神經網絡，并不是人腦神經系統(tǒng)的真實描寫，而只是對其結構和功能進行了大大簡化之后保留其主要特性的某種抽象與模擬。l 神經網絡直觀理解神經網絡是一個并行和分布式的信息處理網絡結構，它一般由許多個

14、神經元組成，每個神經元只有一個輸出，它可以連接到很多其他的神經元，每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數。321 人工神經元模型為了建立人工神經元模型，這里歸納一下生物神經元傳遞信息的過程。生物神經元是一個多輸入(即它的多個樹突和細胞體與其他多個神經元鈾突末梢突觸連接)、單輸出單元(每個神經元只有一個軸突作為輸出通道)。沿神經元軸突傳遞的信號是脈沖，當脈沖到達軸突末梢突觸前膜時，突觸前膜即向突觸間隙釋放神經傳遞化學物質，其結果是在突觸后(在接受其信息的神經元的樹突或細胞體上)產生突觸后電位。突觸后電位的大小與軸突傳遞脈沖的密度有關(此處脈沖密度的含義是單位時間內傳遞脈沖

15、的平均數)，對于興奮性突觸，密度愈大，則電位愈高，它就是突觸后電位的時間總和效應。各輸入通道均通過突觸后電位對細胞體產生的影響，這就是突觸后電位的空間總和效應。細胞體的激勵電位是輸，入端時間、空間總和效應綜合作用的結果。當此電位超過細胞的閾值電位時，在軸突的初段發(fā)放脈沖，脈沖即沿軸突輸出。從輸入、輸出關系看，對于興奮性突觸，當輸入脈沖的密度增加時，輸出脈沖的密度也增加。相反，對于抑制性突觸，當輸入脈沖的密度增加時，輸出脈沖的密度就會減小。為了達到不同的研究目的，常用的人工神經元模型可用圖33模擬。圖33 人工神經元模型圖33中，xi(i1，2，n)為加于輸入端(突觸)上的輸入信號；i為相應的突

16、觸連接權系數，它是模擬突觸傳遞強度的個比例系數, 表示突觸后信號的空間累加；表示神經元的閾值，表示神經元的響應函數。該模型的數學表達式為： （31） （32） 響應函數的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數轉換；3、將可能無限域的輸入變換成指定的有限范圍內的輸出。 根據響應函數的不同，人工神經元有以下幾種類型：圖34 人工神經元的響應函數1 閾值單元 其響應函數如圖34a所示： （33）2 線性單元 其響應函數如圖34b所示 (34)3 非線性單元 常用響應函數為s型(sigmoid)函數，如圖34c、d所示。 （35） （36）上述模型能反映生物神經元的基本特性，

17、但還有如下不同之點：(1)生物神經元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個等效的模擬電壓來模擬生物神經元的脈沖密度，所以在模型中只有空間累加而沒有時間累加(可以認為時間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時延、不應期和疲勞等。現代電子技術可以建立更為精確的模型，但一般的神經網絡研究無此必要。322 人工神經網絡的構成大腦神經網絡系統(tǒng)之所以具有思維認識等高級功能，是由于它是由無數個神經元相互連接而構成的一個極為龐大而復雜的神經網絡系統(tǒng)。人工神經網絡也是一樣，單個神經元的功能是很有限的，只有用許多神經元按一定規(guī)則連接構成的神經網絡才具有強大

18、的功能。神經元的模型確定之后，一個神經網絡的特性及能力主要取決于網絡的拓撲結構及學習方法。下面介紹人工神經網絡連接的幾種基本形式：1前向網絡 網絡的結構如圖35a所示。網絡中的神經元是分層排列的，每個神經元只與前一層的神經元相連接。最上一層為輸出層，隱含層的層數可以是一層或多層。前向網絡在神經網絡中應用很廣泛，例如，感知器就屬于這種類型。2從輸出到輸入有反饋的前向網絡 網絡的結構如圖35b所示。網絡的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。例如，fukushima網絡就屬于這種類型。3層內互連前向網絡 網絡的結構如圖35c所示。通過層內神經元之間的相互連接，可以實現同一層神經元

19、之間橫向抑制或興奮的機制，從而限制層內能同時動作的神經數，或者把層內神經元分為若干組，讓每組作為一個整體來動作。一些自組織競爭型神經網絡就屬于這種類型。圖35 神經網絡的典型結構4互連網絡 網絡的結構如圖35d所示?；ミB網絡有局部互連和全互連兩種。全互連網絡中的每個神經元都與其他神經元相連。局部互連是指互連只是局部的，有些神經元之間沒有連接關系。hopfield網絡和boltzmann機屬于互連網絡的類型。323 人工神經網絡的學習一個神經網絡的拓撲結構確定之后，為了使它具有某種智能特性，還必須有相應的學習方法與之配合?？梢赃@樣說，學習方法是人工神經網絡研究中的核心問題。對于大腦神經而言，不同

20、的功能區(qū)域均有各自的學習規(guī)則。這些完整和巧妙的學習規(guī)則是大腦在進化過程中通過學習得到的。對于人工神經網絡而言，學習方法歸根結底就是網絡連接權的調整方法。人工神經網絡連接權的確定通常有兩種方法：一種是根據具體要求：直接計算出來，如hopfield網絡作優(yōu)化計算時就屬于這種情況；另一種是通過學習得到的，大多數人工神經網絡都用這種方法。隨著網絡結構和功能的不同，學習方法是多種多樣的，這些內容將在后續(xù)作詳細介紹。這里僅介紹人工神經網絡中一些基本的、通用的學習規(guī)則，這些規(guī)則主要有：1hebb學習規(guī)則 它是donall hebb根據生理學中條件反射機理，于1949年提出的神經元連接強度變化的規(guī)則。其內容為

21、，如果兩個神經元同時興奮(即同時被激活)，則它們之間的突觸連接加強。如果用、表示神經元i和j的激活值(輸出)，表示兩個神經元之間的連接權，則hebb學習規(guī)則可以表示為： (37)這里表示學習速率。hebb學習規(guī)則是人工神經網絡學習的基本規(guī)則，幾乎所有神經網絡的學習規(guī)則都可以看作hebb學習規(guī)則的變形。2學習規(guī)則 這種方法是用已知樣本作為教師對網絡進行學習，又稱誤差校正規(guī)則。設(xk，yk)(k1，2，p)為輸入、輸出樣本對，ykyl，y2，ymt，xkxl，x2，xnt。把xk作為網絡的輸入，在連接權的作用下，可得網絡的實際輸出。設神經元i到神經元j的連接權為，則權的調整量為： (38) (39)式中，為學習速率；為誤差(即期望輸出與實際輸出之差)；為第i個神經元的輸出。函數f(·)根據具體情況而定。當它為線性函數f(x)x時，。式(38)和式(39)的學習規(guī)則可由二次誤差函數的梯度法導出，故學習規(guī)則實際上是一種梯度方法。學習規(guī)則已在許多神經網絡中得到應用，例如，前饋網絡的bp算法即是。3相近學習規(guī)則 設為從神經元i到神經元j的連接