人工神經(jīng)網(wǎng)絡(luò)第二章課件

1、第2章 生物神經(jīng)元網(wǎng)絡(luò)的基本原理生物神經(jīng)元網(wǎng)絡(luò) 人工神經(jīng)元網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容2.1 生物神經(jīng)元網(wǎng)絡(luò) 生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在1011一1013個(gè)左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。 人工神經(jīng)網(wǎng)絡(luò)的研究出發(fā)點(diǎn)是以生物神經(jīng)元學(xué)說為基礎(chǔ)的。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨(dú)立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)，包括中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨(dú)立性是指每一個(gè)神經(jīng)元均有自己的核和自己的

2、分界線或原生質(zhì)膜。 生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位被稱為突觸(Synapse)。突觸按其傳遞信息的不同機(jī)制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動(dòng)傳遞借助于化學(xué)遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。 神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突，占延伸部分的大多數(shù)，用來接受來自其他神經(jīng)元的信息；另一種用來傳遞和輸出信息，稱為軸突。神經(jīng)元對信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個(gè)的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹突、胞體和軸突等不同部位，但其分布各不相同對神經(jīng)元的影響也不同。 細(xì)胞體是神經(jīng)元的主

3、體。細(xì)胞體相當(dāng)于一個(gè)初等處理器，對來自其它神經(jīng)元的神經(jīng)信號(hào)總體求和，產(chǎn)生一神經(jīng)輸出信號(hào)。由于細(xì)胞膜將細(xì)胞體內(nèi)外分開，因此細(xì)胞體內(nèi)外具有不同的電位，通常是內(nèi)部電位比外部電位低。把細(xì)胞膜內(nèi)外電位差稱為膜電位。沒有神經(jīng)信號(hào)輸入時(shí)的膜電位稱為靜息膜電位，一般在-70mv左右。 當(dāng)膜電位比靜息膜電位高出約20mv時(shí)，該細(xì)胞被激活，其膜電位自發(fā)地急速升高，在1ms內(nèi)上升100mv左右。此后，膜電位又急速下降，回到靜息時(shí)的值，這一過程稱作細(xì)胞的興奮過程。當(dāng)外部輸入信號(hào)使膜電位下降低于閾值電位時(shí)，神經(jīng)元處于抑制狀態(tài)，無脈沖輸出。 “興奮抑制”狀態(tài)滿足“01”律, 神經(jīng)元輸出一個(gè)脈沖后，一段時(shí)間內(nèi)對激勵(lì)不響應(yīng)，

4、稱之為不應(yīng)期，一般為幾個(gè)ms。 突觸接觸間隙的變化。 在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。(3) 突觸的發(fā)芽。 當(dāng)某些神經(jīng)纖維被破壞后，可能又會(huì)長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會(huì)引起傳遞效率的變化。(4) 突觸數(shù)目的增減。 由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動(dòng)物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會(huì)發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。 神經(jīng)元對信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多個(gè)輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權(quán)重)是不

5、相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時(shí)間也不一祥。因此，一個(gè)神經(jīng)元接受的信息，在時(shí)間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對它們進(jìn)行積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。 從信息系統(tǒng)研究的觀點(diǎn)出發(fā)，對于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征： (1) 并行分布處理的工作模式。 實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1毫秒，比通常的電子門電路要慢幾個(gè)數(shù)量級(jí)。每個(gè)神經(jīng)元的處理功能也很有限，估計(jì)不會(huì)比計(jì)算機(jī)的一條指令更復(fù)雜。 但

6、是人腦對某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。 例如：要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需400 ms，而在這個(gè)處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。 按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成是一個(gè)由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。 例如：在一張照片尋找一個(gè)熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。 由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度。 (3) 信息處理與信息存貯合二為一。 大腦中的信息處

7、理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回憶時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。 (4) 信息處理的系統(tǒng)性 大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。 例如，視覺系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。 (5) 能接受和處理模糊的、模擬的、隨 機(jī)的信息。

8、(6) 求滿意解而不是精確解。 人類處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了(7) 系統(tǒng)的魯棒性和容錯(cuò)性。 人工種經(jīng)網(wǎng)絡(luò)的研究方興末艾，很難準(zhǔn)確地預(yù)測其發(fā)展方向。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題。現(xiàn)今的研究工作應(yīng)包含以下的一些基本內(nèi)容：2.2 人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng) 用的主要內(nèi)容 (1) 人工神經(jīng)網(wǎng)絡(luò)模型的研究。 神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu)、思維機(jī)制。 神經(jīng)元的生物特性如時(shí)空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬。 易于實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計(jì)算模型。 利用物理學(xué)的方法進(jìn)行單元間相

9、互作用理論的研究，如：聯(lián)想記憶模型。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。 (2) 神經(jīng)網(wǎng)絡(luò)基本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用。神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性。神經(jīng)網(wǎng)絡(luò)的計(jì)算能力與信息存貯容量。開展認(rèn)知科學(xué)的研究，探索包括感知、思考、記憶和語言等的腦信息處理模型，采用諸如連接機(jī)制等方法，將認(rèn)知信息處理過程模型化，并通過建立神經(jīng)計(jì)算學(xué)來代替算法論。 (4) 神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)。 在通用計(jì)算機(jī)、專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)行軟件模擬，或由專用數(shù)字信號(hào)處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。 由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實(shí)現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點(diǎn)是網(wǎng)絡(luò)的規(guī)?？梢暂^大，適合于用來驗(yàn)證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實(shí)現(xiàn)的優(yōu)點(diǎn)是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個(gè)神經(jīng)元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。 (5) 神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)。 計(jì)算機(jī)仿真系統(tǒng)，專用神經(jīng)網(wǎng)絡(luò)并行計(jì)算機(jī)系統(tǒng)。 關(guān)于智能本質(zhì)的研究是自然科學(xué)和哲學(xué)的重大課題之一，對于智能的模擬和機(jī)器再現(xiàn)肯定可以開發(fā)拓展出一代新興產(chǎn)業(yè)。