人工神經網絡第二章課件

1、第2章 生物神經元網絡的基本原理生物神經元網絡 人工神經元網絡研究與應用的主要內容2.1 生物神經元網絡 生物神經系統(tǒng)是一個有高度組織和相互作用的數量巨大的細胞組織群體。人類大腦的神經細胞大約在1011一1013個左右。神經細胞也稱神經元，是神經系統(tǒng)的基本單元，它們按不同的結合方式構成了復雜的神經網絡。通過神經元及其聯接的可塑性，使得大腦具有學習、記憶和認知等各種智能。 人工神經網絡的研究出發(fā)點是以生物神經元學說為基礎的。生物神經元學說認為，神經細胞即神經元是神經系統(tǒng)中獨立的營養(yǎng)和功能單元。生物神經系統(tǒng)，包括中樞神經系統(tǒng)和大腦，均是由各類神經元組成。其獨立性是指每一個神經元均有自己的核和自己的

2、分界線或原生質膜。 生物神經元之間的相互連接從而讓信息傳遞的部位被稱為突觸(Synapse)。突觸按其傳遞信息的不同機制，可分為化學突觸和電突觸、其中化學突觸占大多數，其神經沖動傳遞借助于化學遞質的作用。生物神經元的結構大致描述如下圖所示。 神經元由細胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突，占延伸部分的大多數，用來接受來自其他神經元的信息；另一種用來傳遞和輸出信息，稱為軸突。神經元對信息的接受和傳遞都是通過突觸來進行的。單個神經元可以從別的細胞接受多達上千個的突觸輸入。這些輸入可達到神經元的樹突、胞體和軸突等不同部位，但其分布各不相同對神經元的影響也不同。 細胞體是神經元的主

3、體。細胞體相當于一個初等處理器，對來自其它神經元的神經信號總體求和，產生一神經輸出信號。由于細胞膜將細胞體內外分開，因此細胞體內外具有不同的電位，通常是內部電位比外部電位低。把細胞膜內外電位差稱為膜電位。沒有神經信號輸入時的膜電位稱為靜息膜電位，一般在-70mv左右。 當膜電位比靜息膜電位高出約20mv時，該細胞被激活，其膜電位自發(fā)地急速升高，在1ms內上升100mv左右。此后，膜電位又急速下降，回到靜息時的值，這一過程稱作細胞的興奮過程。當外部輸入信號使膜電位下降低于閾值電位時，神經元處于抑制狀態(tài)，無脈沖輸出。 “興奮抑制”狀態(tài)滿足“01”律, 神經元輸出一個脈沖后，一段時間內對激勵不響應，

4、稱之為不應期，一般為幾個ms。 突觸接觸間隙的變化。 在突觸表面有許多形狀各異的小凸芽，調節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。(3) 突觸的發(fā)芽。 當某些神經纖維被破壞后，可能又會長出新芽，并重新產生附著于神經元上的突觸形成新的回路。由于新的回路的形成，使得結合模式發(fā)生變化，也會引起傳遞效率的變化。(4) 突觸數目的增減。 由于種種復雜環(huán)境條件的刺激等原因，或者由于動物本身的生長或衰老，神經系統(tǒng)的突觸數目會發(fā)生變化，并影響神經元之間的傳遞效率。 神經元對信息的接受和傳遞都是通過突觸來進行的。單個神經元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位，對神經元影響的比例(權重)是不

5、相同的。另外，各突觸輸入抵達神經元的先后時間也不一祥。因此，一個神經元接受的信息，在時間和空間上常呈現出一種復雜多變的形式，需要神經元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經元這種整合作用，才使得億萬個神經元在神經系統(tǒng)中有條不紊、夜以繼日地處理各種復雜的信息，執(zhí)行著生物中樞神經系統(tǒng)的各種信息處理功能。 從信息系統(tǒng)研究的觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有如下一些固有特征： (1) 并行分布處理的工作模式。 實際上大腦中單個神經元的信息處理速度是很慢的，每次約1毫秒，比通常的電子門電路要慢幾個數量級。每個神經元的處理功能也很有限，估計不會比計算機的一條指令更復雜。 但

6、是人腦對某一復雜過程的處理和反應卻很快，一般只需幾百毫秒。 例如：要判定人眼看到的兩個圖形是否一樣，實際上約需400 ms，而在這個處理過程中，與腦神經系統(tǒng)的一些主要功能，如視覺、記億、推理等有關。 按照上述神經元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經元所組成的超高密度的并行處理系統(tǒng)。 例如：在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現有的技術，是不可能在短時間內完成的。 由此可見，大腦信息處理的并行速度已達到了極高的程度。 (3) 信息處理與信息存貯合二為一。 大腦中的信息處

7、理與信息存貯是有機結合在一起的，而不像現行計算機那樣存貯地址和存貯內容是彼此分開的。由于大腦神經元兼有信息處理和存貯功能，所以在進行回憶時，不但不存在先找存貯地址而后再調出所存內容的問題，而且還可以由一部分內容恢復全部內容。 (4) 信息處理的系統(tǒng)性 大腦是一個復雜的大規(guī)模信息處理系統(tǒng)，單個的元件“神經元”不能體現全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯系，一些子系統(tǒng)可以調節(jié)另一些子系統(tǒng)的行為。 例如，視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯系，可以相互協調各種信息處理功能。 (5) 能接受和處理模糊的、模擬的、隨 機的信息。

8、(6) 求滿意解而不是精確解。 人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了(7) 系統(tǒng)的魯棒性和容錯性。 人工種經網絡的研究方興末艾，很難準確地預測其發(fā)展方向。但就目前來看，人工神經網絡的研究首先須解決全局穩(wěn)定性、結構穩(wěn)定性、可編程性等問題?，F今的研究工作應包含以下的一些基本內容：2.2 人工神經網絡研究與應 用的主要內容 (1) 人工神經網絡模型的研究。 神經網絡原型研究，即大腦神經網絡的生理結構、思維機制。 神經元的生物特性如時空特性、不應期、電化學性質等的人工模擬。 易于實現的神經網絡計算模型。 利用物理學的方法進行單元間相

9、互作用理論的研究，如：聯想記憶模型。 神經網絡的學習算法與學習系統(tǒng)。 (2) 神經網絡基本理論研究。神經網絡的非線性特性，包括自組織、自適應等作用。神經網絡的基本性能，包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性。神經網絡的計算能力與信息存貯容量。開展認知科學的研究，探索包括感知、思考、記憶和語言等的腦信息處理模型，采用諸如連接機制等方法，將認知信息處理過程模型化，并通過建立神經計算學來代替算法論。 (4) 神經網絡的軟件模擬和硬件實現。 在通用計算機、專用計算機或者并行計算機上進行軟件模擬，或由專用數字信號處理芯片構成神經網絡仿真器。 由模擬集成電路、數字集成電路或者光器件在硬件上實現神經芯片。軟件模擬的優(yōu)點是網絡的規(guī)?？梢暂^大，適合于用來驗證新的模型和復雜的網絡特性。硬件實現的優(yōu)點是處理速度快，但由于受器件物理因素的限制，根據目前的工藝條件，網絡規(guī)模不可能做得太大。僅幾千個神經元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。 (5) 神經網絡計算機的實現。 計算機仿真系統(tǒng)，專用神經網絡并行計算機系統(tǒng)。 關于智能本質的研究是自然科學和哲學的重大課題之一，對于智能的模擬和機器再現肯定可以開發(fā)拓展出一代新興產業(yè)。