從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)講義

介紹

從生物神經(jīng)網(wǎng)絡(luò)到

人工神經(jīng)網(wǎng)絡(luò)FromBiologicalNeuralNetworkToArtificialNeuralNetworkWhat’sthis?

大腦

Brain重量:約1200－1500g體積:約600Cm3神經(jīng)元數(shù):約1011個(gè)

大腦的組織結(jié)構(gòu)和功能是人體器官中最為復(fù)雜的，它接受外界信號、產(chǎn)生感覺、形成意識(shí)、進(jìn)行邏輯思維、發(fā)出指令產(chǎn)生行為，掌管著人們的語言、思維、感覺、情緒、運(yùn)動(dòng)等高級活動(dòng)。feelinghearingseeingtastesmell

雖然人們還并不完全清楚生物神經(jīng)網(wǎng)絡(luò)是如何進(jìn)行工作的，但幻想構(gòu)造一些“人工神經(jīng)元”，進(jìn)而將它們以某種方式連接起來，以模擬“人腦”的某些功能。

早在1943年，心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts合作，從數(shù)理邏輯的角度，提出了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)模型（MP模型），標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究的開端。

半個(gè)多世紀(jì)以來，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再認(rèn)識(shí)與應(yīng)用研究期五個(gè)階段。目前，神經(jīng)網(wǎng)絡(luò)已成為涉及計(jì)算機(jī)科學(xué)、人工智能、腦神經(jīng)科學(xué)、信息科學(xué)和智能控制等多種學(xué)科和領(lǐng)域的一門新興的前沿交叉學(xué)科。

生物神經(jīng)元

樹突：從細(xì)胞體延伸出象樹枝一樣向四處分散開來的的許多突起，稱之為樹突，其作用是感受其它神經(jīng)元的傳遞信號，相當(dāng)于信息的輸入通道。

軸突：神經(jīng)元從細(xì)胞體伸出一根粗細(xì)均勻、表面光滑的突起，長度從幾個(gè)

m到1m左右，稱為軸突，它的功能是傳出從細(xì)胞體來的神經(jīng)信息，相當(dāng)于信息的輸出通道。

神經(jīng)末梢與突觸：軸突末端有許多細(xì)的分枝，稱之為神經(jīng)末梢，每一條神經(jīng)末梢可以與其它神經(jīng)元連接，其連接的末端稱之為突觸。其功能是將軸突傳出來的信息傳給其它神經(jīng)細(xì)胞，相當(dāng)于信息的輸入/輸出接口。

神經(jīng)細(xì)胞單元的信息：寬度和幅度都相同的脈沖串。

興奮與抑制：軸突輸出的脈沖串的頻率高與低，決定神經(jīng)細(xì)胞是興奮還是抑制。興奮性的突觸可能引起下一個(gè)神經(jīng)細(xì)胞興奮，抑制性的突觸使下一個(gè)神經(jīng)細(xì)胞抑制。

生物神經(jīng)元的信息傳遞與處理

膜電位：神經(jīng)細(xì)胞的細(xì)胞膜將細(xì)胞體內(nèi)外分開，從而使細(xì)胞體內(nèi)外有不同的電位，一般內(nèi)部電位比外部低，其內(nèi)外電位差稱之為膜電位。

膜電位加權(quán)：突觸使神經(jīng)細(xì)胞的膜電位發(fā)生變化，且電位的變化是可以累加的，該神經(jīng)細(xì)胞膜電位是它所有突觸產(chǎn)生的電位加權(quán)，當(dāng)該神經(jīng)細(xì)胞的膜電位升高到超過一個(gè)閾值時(shí)，就會(huì)產(chǎn)生一個(gè)脈沖，從而總和的膜電位直接影響該神經(jīng)細(xì)胞興奮發(fā)放的脈沖數(shù)。

突觸延遲：突觸傳遞信息需要一定的延遲，對溫血?jiǎng)游?，延遲時(shí)間為0.3~1.0ms。

生物神經(jīng)元的信息傳遞與處理示意圖

生物神經(jīng)元的基本特征

神經(jīng)元具有感知外界信息或其它神經(jīng)元信息的輸入端

神經(jīng)元具有向外界或其它神經(jīng)元輸出信息的輸出端

神經(jīng)元之間的連接強(qiáng)度（連接權(quán)）決定信號傳遞的強(qiáng)弱，而且聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的

信號可以是起刺激作用的，也可以是起抑制作用的，即連接權(quán)的值（權(quán)值）可正、可負(fù)

每個(gè)神經(jīng)元有一個(gè)閾值

神經(jīng)元可以對接受的信號進(jìn)行累積（加權(quán)）

神經(jīng)元的興奮程度（輸出值的大小），取決于其傳輸函數(shù)及其輸入（輸入信號的加權(quán)與閾值之和）

人工神經(jīng)元的一般模型甲：講了半天，人工神經(jīng)元就是一個(gè)公式！太簡單了吧？What’sthis？It’saplane.Wait………..Idon’tknow!Don’taskme

神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

信息的分布式存儲(chǔ)及其與信息處理的合二為一

信息的并行協(xié)同處理

具有學(xué)習(xí)能力以及自組織、自學(xué)習(xí)性，善于聯(lián)想、綜合和推廣

問題：

即便是Pentium-II微處理器，其時(shí)鐘頻率也高于200MHz。相反地，一個(gè)神經(jīng)元的脈沖發(fā)放率典型值僅僅在100Hz的范圍內(nèi)。計(jì)算機(jī)要快上百萬倍！但為何大腦能夠瞬間完成對飛機(jī)圖像的識(shí)別，計(jì)算機(jī)反而對此的反應(yīng)卻如此遲鈍呢？

為什么100天的小孩沒有成人一樣的識(shí)別能力呢？

人工神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)

簡單公式中的復(fù)雜問題

人工神經(jīng)網(wǎng)絡(luò)的分布式存儲(chǔ)是如何實(shí)現(xiàn)的？

信息分布存儲(chǔ)在眾多神經(jīng)元的權(quán)值和閾值中。

神經(jīng)元的權(quán)值和閾值是如何確定的？

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與訓(xùn)練。

神經(jīng)元的傳輸函數(shù)代表什么含義？它對神經(jīng)元和神經(jīng)網(wǎng)絡(luò)有什么影響？

傳輸函數(shù)表示了神經(jīng)元對輸入信號加權(quán)的響應(yīng)。不同的傳輸函數(shù)，代表不同的神經(jīng)元模型，進(jìn)而影響神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

人工神經(jīng)網(wǎng)絡(luò)（ANN—ArtificialNeuralNetworks）是采用可物理實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞結(jié)構(gòu)和功能的系統(tǒng)。

未來的腦科學(xué)將加強(qiáng)與行為科學(xué)、認(rèn)知科學(xué)和信息科學(xué)的聯(lián)系。腦科學(xué)與信息科學(xué)及技術(shù)的結(jié)合將引起以腦為中心的科技革命

智能革命!ANN定義

從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)的探索，雖然經(jīng)歷了半個(gè)多世紀(jì)的里程，但探究大腦—思維—計(jì)算之間的關(guān)系還剛剛開始，關(guān)于腦的計(jì)算原理及其復(fù)雜性；關(guān)于學(xué)習(xí)、聯(lián)想和記憶過程的機(jī)理及其模擬等方面的研究道路還十分漫長。理論與應(yīng)用

基于matlab的BP神經(jīng)網(wǎng)絡(luò)模型應(yīng)用與仿真Applications&SimulationofBPNeuralNetworkModelsbasedonmatlab

人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域極其廣泛，比較擅長的應(yīng)用領(lǐng)域包括：

人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用

模式識(shí)別人工智能控制工程優(yōu)化計(jì)算和聯(lián)想記憶信號處理

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，由于它采用了反向傳播（Back-Propagation）學(xué)習(xí)算法，因此而得名。（Back-PropagationTrainingAlgorithm）BP神經(jīng)網(wǎng)絡(luò)的主要優(yōu)點(diǎn)是：只要有足夠多隱層和隱節(jié)點(diǎn)，BP神經(jīng)網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系；BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而它具有較好的泛化能力。一、神經(jīng)元模型1.單個(gè)輸入的神經(jīng)元模型這里：p——輸入b——閾值w——權(quán)值f——變換函數(shù)，有多種形式。a——神經(jīng)元輸出n——變換函數(shù)的凈輸入，等于加權(quán)輸入與閾值之和，即Wp+b。S型變換函數(shù)：閾值型偽線性型2、向量輸入的神經(jīng)元模型

上圖可以簡化成以下圖的形式p——R維輸入向量b——閾值w——R維權(quán)值向量f——變換函數(shù)，有多種形式。n——變換函數(shù)的凈輸入，等于加權(quán)輸入與閾值之和。a——神經(jīng)元輸出

3、單層神經(jīng)網(wǎng)絡(luò)

一個(gè)單層，具有s個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)如下所示：單層神經(jīng)網(wǎng)絡(luò)的簡化形式如下：這里：w——權(quán)值矩陣，S行R列。b——閾值向量n——變換函數(shù)的凈輸入向量，等于加權(quán)輸入與閾值之和。a——神經(jīng)元輸出向量

4、多層神經(jīng)網(wǎng)絡(luò)

多層神經(jīng)網(wǎng)絡(luò)的簡化形式如下：二、BP神經(jīng)網(wǎng)絡(luò)

1、簡單BP神經(jīng)網(wǎng)絡(luò)構(gòu)架在上圖中：第1層——輸入層，可以看成由一組有單個(gè)輸入、變換函數(shù)是斜率為1的線性函數(shù)的神經(jīng)元構(gòu)成。因此，從表觀上看并不構(gòu)成一個(gè)層次。第2層——隱層，采用了sigmoid變換函數(shù)，亦可采用其它形式的變換函數(shù)。第3層——輸出層，采用了線性變換函數(shù)，亦可采用其它形式的變換函數(shù)。2、BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法(1)學(xué)習(xí)的過程在外界輸入樣本的刺激下，不斷改變網(wǎng)絡(luò)連接的權(quán)值，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。(2)學(xué)習(xí)的本質(zhì)對各連接權(quán)值的動(dòng)態(tài)調(diào)整(3)學(xué)習(xí)規(guī)則權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)各神經(jīng)元的連接權(quán)值變化所依據(jù)的一定調(diào)整規(guī)則。將誤差分?jǐn)偨o各層的所有單元-----各層單元的誤差信號修正各單元權(quán)值

C.學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播(4)算法思想

A.學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)

B.核心思想將輸出誤差以某種形式通過隱層向輸入層逐層反傳A.正向傳播輸入樣本－－－輸入層－－－各隱層－－－輸出層

B.判斷是否轉(zhuǎn)入反向傳播階段若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符.C.誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值.D.網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止(5)算法核心3、MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能輸入X輸出D輸入X輸出D輸入X輸出D-1.0000-0.9602-0.30000.13360.40000.3072-0.9000-0.5770-0.2000-0.20130.50000.3960-0.8000-0.0729-0.1000-0.43440.60000.3449-0.70000.37710-0.50000.70000.1816-0.60000.64050.1000-0.39300.8000-0.3120-0.50000.66000.2000-0.16470.9000-0.2189-0.40000.46090.3000-0.09881.0000-0.3201實(shí)例：利用三層BP神經(jīng)網(wǎng)絡(luò)來完成非線性函數(shù)的逼近任務(wù)，其中隱層神經(jīng)元個(gè)數(shù)為五個(gè)。樣本數(shù)據(jù)：第一步：準(zhǔn)備輸入輸出數(shù)據(jù)X=-1:0.1:1;D=[-0.9602-0.5770-0.07290.37710.64050.66000.46090.1336-0.2013-0.4344-0.5000-0.3930-0.1647-.09880.30720.39600.34490.1816-0.312-0.2189-0.3201];說明：x為1*10數(shù)組；d為1*10數(shù)組。x的每一列為一個(gè)輸入，d的每一列為一個(gè)輸出。第二步：進(jìn)入神經(jīng)網(wǎng)絡(luò)工具箱第三步：引入數(shù)據(jù)引入數(shù)據(jù)第四步：創(chuàng)建神經(jīng)網(wǎng)絡(luò)1、trainingfunction。缺省為’trainlm’，即Levenberg-Marquardt算法。還可使用‘traingdx’，即帶動(dòng)量的梯度下降算法；’traincgf’，即共軛梯度法等等2、transferfunction。指定相應(yīng)的傳遞函數(shù)。tansig(n)雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。logsig()對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。Purelin:線性函數(shù)說明：1、看到本題期望輸出的范圍是（-1,1），所以利用雙極性Sigmoid函數(shù)‘tansig’作為輸出層轉(zhuǎn)移函數(shù)。2、如若