人工神經(jīng)網(wǎng)絡(luò)(講稿)

信號分析與信息處理

人工神經(jīng)網(wǎng)絡(luò)ArtificialNeuralNetwork神經(jīng)網(wǎng)絡(luò)－模式識別引例：水果分類的問題（識別不同的水果）說明：1.對水果的分類，是一個模式的識別問題。而對機(jī)械運(yùn)行狀態(tài)的判斷，也是一個模式識別，因此可以使用神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷。2.為神經(jīng)網(wǎng)絡(luò)提供數(shù)值參量（形狀、大小、成分等），就可以得到對應(yīng)的種類屬性（蘋果、桔子）。因此，使用各種信號數(shù)據(jù)參數(shù)作為輸入，也可以獲得機(jī)械運(yùn)行狀態(tài)的屬性參量。3.權(quán)值相量、判斷標(biāo)準(zhǔn)、誤差輸入可以不斷的修正。一.概論人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展的根源神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史

（1）定義：人工神經(jīng)網(wǎng)絡(luò)是以大量的具有相同結(jié)構(gòu)的簡單單元的連接，來模擬人類大腦的結(jié)構(gòu)和思維方式的一種可實現(xiàn)的物理系統(tǒng)，可通過計算機(jī)進(jìn)行模擬實現(xiàn)。1.1人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展根源1.1人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展根源（2）研究和發(fā)展的根源(1)現(xiàn)代計算機(jī)在解決信息初級加工如視覺、聽覺、嗅覺的感知識別上十分遲鈍，且研究進(jìn)展緩慢。但人腦在這些方面遠(yuǎn)遠(yuǎn)超過了計算機(jī)。因需要向大腦學(xué)習(xí)；(2)現(xiàn)代計算機(jī)中每個電子元件的計算速度已達(dá)納秒(ns)級，而人腦中神經(jīng)細(xì)胞的反映時間只是毫秒(ms)級，為何大腦處理信息的功能遠(yuǎn)高于計算機(jī)，這表現(xiàn)出大腦結(jié)構(gòu)上和信息處理方式上的優(yōu)越性。舉例：2-3歲的小孩可以從人群中認(rèn)出父母、3-4歲能夠順利地穿過十字路口，但最先進(jìn)的機(jī)器人也難以完成這項任務(wù)。因而模仿人類的思維方式可以提高機(jī)器人的能力1.2神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò)

1.神經(jīng)網(wǎng)絡(luò)組織形式

大腦中大約有100億個神經(jīng)元，它們相互連接，形成一個復(fù)雜龐大的網(wǎng)絡(luò)系統(tǒng)。因此大腦的結(jié)構(gòu)是一個神經(jīng)（元）網(wǎng)絡(luò)。根據(jù)估計，每個神經(jīng)元大約與上千個神經(jīng)元相互連接。大腦所形成的神經(jīng)網(wǎng)絡(luò)是由一些小的網(wǎng)絡(luò)連接而成。根據(jù)估計，所有神經(jīng)元被安排到約1000個主要的功能模塊，每個功能模塊大約有上百個神經(jīng)網(wǎng)絡(luò)，每個網(wǎng)絡(luò)約有10萬個神經(jīng)元。信息的傳遞從一個神經(jīng)元到另一個神經(jīng)元；從一個網(wǎng)絡(luò)到另一個網(wǎng)絡(luò)；從一個模塊到另一個模塊。1.2神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò)

2.生物神經(jīng)元（細(xì)胞）結(jié)構(gòu)模型

1.2神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò)

3.神經(jīng)元的電脈沖

(1)電脈沖:神經(jīng)元在被激活后產(chǎn)生電脈沖，由軸突傳出。相對幅值約為100mv，寬度約為1ms，稱為神經(jīng)元的動作電位。

(2)電脈沖的傳遞:(3)神經(jīng)元的特性:(1)突觸的特性興奮性突觸：后突觸膜電位隨遞質(zhì)與受體的結(jié)合數(shù)量的增加而增加。抑制性突觸：后突觸膜電位隨遞質(zhì)與受體的結(jié)合數(shù)量的增加而減小。(2)時空整和性空間累加：將來自不同樹突的興奮性和抑制性信號進(jìn)行累加。時間累加：由于輸入信號對神經(jīng)元膜電位的影響要持續(xù)一段時間（幾ms），因此，從時間上進(jìn)行著累加。

1.2神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò)4.神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn)

分布式存儲與容錯性：：信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的儲存是按內(nèi)容分布于大量的神經(jīng)細(xì)胞中，而且每個神經(jīng)細(xì)胞實際上儲存著多種不同信息的部分內(nèi)容。局部的或部分神經(jīng)元出現(xiàn)差錯，不會影響全局結(jié)果。網(wǎng)絡(luò)能夠自動糾正錯誤。并行性性：在神經(jīng)網(wǎng)絡(luò)中，巨量的神經(jīng)元同時進(jìn)行大規(guī)模的并行處理。盡管神經(jīng)元的響應(yīng)速度很慢，每次約1ms左右，比一般電子元件慢幾個數(shù)量級，卻可以在幾毫秒內(nèi)對一個復(fù)雜的過程作出判斷和決策。計算機(jī)卻無能為力。信息的處理與存儲的合二而一性：每個神經(jīng)元都兼有處理與存儲的功能，神經(jīng)元之間連接強(qiáng)度的變化，反映了對信息的記憶，同時又與神經(jīng)元對激勵的響應(yīng)一起反映了對信息的處理。自學(xué)習(xí)和自組織性：對外界事物的反映，通過神經(jīng)元之間的連接強(qiáng)度不斷增加，進(jìn)行自學(xué)習(xí)，自組織。層次性和系統(tǒng)性：神經(jīng)生理學(xué)的研究表明，大腦對信息的處理是分層次進(jìn)行加工處理的。從初級皮層—顱頂皮層—腦前額葉的處理過程。

1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)點(diǎn)特點(diǎn)：1.人工神經(jīng)網(wǎng)絡(luò)是采用物理上可實現(xiàn)的器件或計算機(jī)來模擬大腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與功能，并將其應(yīng)用于工程和其它科學(xué)領(lǐng)域。2.模擬并非完全一樣的復(fù)制生物神經(jīng)網(wǎng)絡(luò)，而是采納有利的部分來克服目前計算機(jī)或其它系統(tǒng)不能解決的問題，如學(xué)習(xí)、識別、控制等方面的問題。3.人工神經(jīng)網(wǎng)絡(luò)功能的提高依賴于以下兩點(diǎn)：物理器件或軟件系統(tǒng)的水平；對大腦中網(wǎng)絡(luò)結(jié)構(gòu)和機(jī)制認(rèn)識的水平。

1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)點(diǎn)優(yōu)點(diǎn)：并行性：簡單單元并行連接，在時鐘控制下集體操作，處理速度快。容錯性：局部的或部分神經(jīng)元出現(xiàn)差錯，不會影響全局結(jié)果。網(wǎng)絡(luò)能夠自動糾正錯誤。分布式存儲：信息儲存在網(wǎng)絡(luò)的連接權(quán)上，是分散的，而不在儲存器中?？蓪W(xué)習(xí)性：人工神經(jīng)網(wǎng)絡(luò)的連接權(quán)、閾值可通過學(xué)習(xí)得到，并可根據(jù)外部環(huán)境進(jìn)行自適應(yīng)，自組織。

1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史1.初始發(fā)展期（1890-1968）

（1）1890，James（美國生理學(xué)家）在其著作《生理學(xué)》中首次較系統(tǒng)地闡明了大腦的結(jié)構(gòu)和功能、神經(jīng)元的功能與連接、信息的傳遞等，并將大腦看作一個神經(jīng)網(wǎng)絡(luò)。為進(jìn)一步認(rèn)識大腦的功能奠定了基礎(chǔ)。（2）1943年，McCulloch和Pitts（美國心理學(xué)家和數(shù)學(xué)家）提出了神經(jīng)元的數(shù)學(xué)模型，現(xiàn)稱為M-P模型。（3）1949年，Hebb在其著作《行為自組織》中提出了改變神經(jīng)元連接強(qiáng)度的學(xué)習(xí)規(guī)則（現(xiàn)稱Hebb規(guī)則）：連接權(quán)的學(xué)習(xí)律是正比于兩個被連接神經(jīng)元的活動狀態(tài)之乘積。（4）1958,Rosenblatt發(fā)展了M-P模型，提出了感知機(jī)（Perceptron）及其學(xué)習(xí)算法，它是歷史上第一個人工神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法。它的出現(xiàn)掀起了神經(jīng)網(wǎng)絡(luò)研究的第一高潮。

2.低潮時期（1969-1982）1969，Minsky和Papert在論著《感知機(jī)》中指出了感知機(jī)的局限性，即只能作線性分類，對于非線性分類，感知機(jī)無法解決。大批學(xué)者便離開這一領(lǐng)域，出現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的研究的低潮（六、七十年代）。3.復(fù)興時期（1982-1986）（1）1982-1984，Hopfield提出一種互連反饋網(wǎng)絡(luò)，現(xiàn)稱之為Hopfield網(wǎng)絡(luò)。引入了一種能量函數(shù)，證明了網(wǎng)絡(luò)的穩(wěn)定性，即網(wǎng)絡(luò)的狀態(tài)向能量低的方向進(jìn)行演化，最終必然達(dá)到一個極小點(diǎn)而穩(wěn)定。Hopfield網(wǎng)絡(luò)在優(yōu)化和語音識別方面有著重要的應(yīng)用。（2）1986，Rumelhart和Hinton等提出了多層前向網(wǎng)絡(luò)的誤差反向傳播（BP)算法，使得網(wǎng)絡(luò)可以任意逼近一個連續(xù)系統(tǒng)，并得到廣泛的應(yīng)用。

Hopfield網(wǎng)絡(luò)和BP算法的出現(xiàn)，使得人工神經(jīng)的研究出現(xiàn)了復(fù)興。由于人工神經(jīng)網(wǎng)絡(luò)在信息處理方面的優(yōu)點(diǎn)，使得大批學(xué)者加入到了這一研究領(lǐng)域，掀起了神經(jīng)網(wǎng)絡(luò)研究的新高潮。

4.全面發(fā)展時期（1987-現(xiàn)在）

1987年在美國召開了第一屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會，并宣告成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會，與會代表1600多人。這次大會也宣告了神經(jīng)網(wǎng)絡(luò)學(xué)科的誕生。神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個轉(zhuǎn)折點(diǎn)，其范圍不斷擴(kuò)大，領(lǐng)域幾乎包括各個方面。神經(jīng)網(wǎng)絡(luò)的應(yīng)用使工業(yè)技術(shù)發(fā)生了很大變化，特別是在自動控制領(lǐng)域有了新的突破。通過二十多年的發(fā)展，神經(jīng)網(wǎng)絡(luò)的理論和技術(shù)呈現(xiàn)出以下特點(diǎn)：（1）應(yīng)用領(lǐng)域越來越廣，幾乎無所不包。如工程，金融，醫(yī)學(xué)，社科，甚至包括戰(zhàn)爭的分析與決策（原海灣戰(zhàn)爭）。（2）理論上的研究不斷深入，多種網(wǎng)絡(luò)模型的建立、網(wǎng)絡(luò)性能的數(shù)學(xué)理論分析、學(xué)習(xí)算法的分析與研究、特別是與統(tǒng)計學(xué)的結(jié)合形成了“統(tǒng)計學(xué)習(xí)理論”的研究方向。（3）人工神經(jīng)網(wǎng)絡(luò)與各種分析技術(shù)（如專家系統(tǒng)、小波分析、模糊系統(tǒng)、遺傳算法、數(shù)理統(tǒng)計等）相結(jié)合，新的神經(jīng)網(wǎng)絡(luò)軟件包、加速板、芯片和實現(xiàn)技術(shù)不斷涌現(xiàn)，使得神經(jīng)網(wǎng)絡(luò)的應(yīng)用能力和速度不斷提高。

二.ANN基本原理2.1ANN的基本構(gòu)造

人工神經(jīng)網(wǎng)絡(luò)是許多神經(jīng)元經(jīng)聯(lián)接而成的網(wǎng)絡(luò)結(jié)構(gòu)。ANN的構(gòu)造有兩層含義：1.神經(jīng)元的結(jié)構(gòu)；2.網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)(拓?fù)浣Y(jié)構(gòu))。(1)神經(jīng)元的結(jié)構(gòu)模型

根據(jù)前面對生物神經(jīng)元的分析，應(yīng)具有以下特點(diǎn)：（a）神經(jīng)元是一個多輸入、單輸出的元件。

二.ANN基本原理2.1ANN的基本構(gòu)造

(1)神經(jīng)元的結(jié)構(gòu)模型（b）神經(jīng)元是一個具有非線性輸入/輸出特性的元件。表現(xiàn)在只有當(dāng)來自各神經(jīng)突觸的活動電位達(dá)到一定強(qiáng)度后，該神經(jīng)才能被激活，釋放出神經(jīng)傳遞化學(xué)物質(zhì)，發(fā)出本身的活動電位脈沖。

二.ANN基本原理2.1ANN的基本構(gòu)造

(1)神經(jīng)元的結(jié)構(gòu)模型（c）神經(jīng)元的連接具有可塑性，表現(xiàn)在其活動電位脈沖的傳遞強(qiáng)度依靠神經(jīng)傳遞化學(xué)物質(zhì)的釋放量及突觸間隙的變化量，可以進(jìn)行調(diào)節(jié)。

二.ANN基本原理2.1ANN的基本構(gòu)造

(1)神經(jīng)元的結(jié)構(gòu)模型（d）神經(jīng)元的輸出響應(yīng)，是各個輸入的綜合結(jié)果。為神經(jīng)元的I/O特性。在人工神經(jīng)網(wǎng)絡(luò)中，經(jīng)常把值視為神經(jīng)元的第0個輸入，且則有：

*

*即為神經(jīng)元的I/O特性，常用的神經(jīng)元I/O特性有以下三種：

2.1ANN的基本構(gòu)造

(2)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)即神經(jīng)元的聯(lián)接形式，從大的方面來看，ANN網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為層次結(jié)構(gòu)、模塊結(jié)構(gòu)和層次模塊結(jié)構(gòu)等幾種。層次結(jié)構(gòu)：神經(jīng)元的聯(lián)接按層次排列。模塊結(jié)構(gòu)：主要特點(diǎn)是將整個網(wǎng)絡(luò)按功能劃分為不同的模塊，每個模塊內(nèi)部的神經(jīng)元緊密互聯(lián)，并完成各自特定的功能，模塊之間再互聯(lián)以完成整體功能；層次模塊結(jié)構(gòu)：將模塊結(jié)構(gòu)和層次結(jié)構(gòu)結(jié)合起來，使之更接近人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)，這也是目前為人們廣泛注意的一種新型網(wǎng)絡(luò)互聯(lián)模式。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的層數(shù)不同，可將神經(jīng)網(wǎng)絡(luò)分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)；根據(jù)同層網(wǎng)絡(luò)神經(jīng)元之間有無相互聯(lián)接以及后層神經(jīng)元與前層神經(jīng)元有無反饋?zhàn)饔玫牟煌蓪⑸窠?jīng)網(wǎng)絡(luò)分為以下多種。

（a）前向網(wǎng)絡(luò):網(wǎng)絡(luò)中的神經(jīng)元分層排列，每個神經(jīng)元只與前一層神經(jīng)元相連，層間神經(jīng)元無連接。最上一層為輸出層，最下一層為輸入層，中間層稱為隱層。（b）從輸出到輸入有反饋的前向網(wǎng)絡(luò):從輸出到輸入有反饋環(huán)節(jié)的前向網(wǎng)絡(luò)。（c）層內(nèi)互連前向網(wǎng)絡(luò):通過層內(nèi)神經(jīng)元的相互連接，可以實現(xiàn)同一層神經(jīng)元間的相互制約，從而可以將層內(nèi)神經(jīng)元分為幾組，讓每組作為一個整體來動作。（d）互連網(wǎng)絡(luò):分為局部互連和全互連兩種。全互連網(wǎng)絡(luò)中每個神經(jīng)元的輸出都與其他神經(jīng)元相連；而局部互連網(wǎng)絡(luò)中，有些神經(jīng)元間沒有連接關(guān)系。2.2學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)要能工作必須首先進(jìn)行學(xué)習(xí)，學(xué)習(xí)規(guī)則多種多樣，一般可以歸結(jié)為以下兩類：

（1）有指導(dǎo)學(xué)習(xí)：不但需要學(xué)習(xí)用的輸入事例（訓(xùn)練樣本，通常為一矢量），同時還要求與之對應(yīng)的表示所需期望輸出的目標(biāo)矢量。進(jìn)行學(xué)習(xí)時，首先計算一個輸入矢量的網(wǎng)絡(luò)輸出，然后同相應(yīng)的目標(biāo)輸出比較，比較結(jié)果的誤差用來按規(guī)定的算法改變加權(quán)。

（2）無指導(dǎo)學(xué)習(xí)：不要求有目標(biāo)矢量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會某種功能，在學(xué)習(xí)時，關(guān)鍵不在于網(wǎng)絡(luò)實際輸出是否與外部的期望輸出相一致，而在于調(diào)整權(quán)重以反映學(xué)習(xí)樣本的分布，因此整個訓(xùn)練過程實質(zhì)是抽取訓(xùn)練樣本集的統(tǒng)計特性。特別適用于對未知事物的研究。工程實踐中，有指導(dǎo)學(xué)習(xí)和無指導(dǎo)學(xué)習(xí)并不是相互沖突的，目前已經(jīng)出現(xiàn)了一些融合有指導(dǎo)學(xué)習(xí)和無指導(dǎo)學(xué)習(xí)的訓(xùn)練算法。如在應(yīng)用有指導(dǎo)學(xué)習(xí)訓(xùn)練一個網(wǎng)絡(luò)后，再利用一些后期的無指導(dǎo)學(xué)習(xí)來使得網(wǎng)絡(luò)自適應(yīng)于環(huán)境的變化。

2.3學(xué)習(xí)算法

學(xué)習(xí)算法是人工神經(jīng)網(wǎng)絡(luò)研究的主要內(nèi)容和中心環(huán)節(jié)，許多性能各異的神經(jīng)網(wǎng)絡(luò)的差異也主要體現(xiàn)在學(xué)習(xí)算法的不同上，同時，對于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法也是至今人們研究得最多的一個方面。截止目前，人們已先后提出了誤差反向傳播算法(BP算法)、Hopfield算法、自適應(yīng)共振理論算法(ART算法)、自組織特征映射算法(Kohonen算法)等。僅對誤差反向傳播算法(BackPropagation)進(jìn)行簡要論述誤差反向傳播算法簡稱BP算法，它是Werbos等人提出的一個有監(jiān)督訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)算法。在網(wǎng)絡(luò)學(xué)習(xí)階段，其每一個訓(xùn)練范例在網(wǎng)絡(luò)中經(jīng)過兩個方向的傳遞計算。一遍向前傳播計算，從輸入層開始傳遞至各層，經(jīng)過處理后產(chǎn)生一個輸出，由此可得到一個該實際輸出與其理想輸出之差的誤差矢量；此后，再進(jìn)行反向傳播計算，即從輸出層開始至輸入層結(jié)束，根據(jù)誤差矢量并以一定的速度對各權(quán)值依次進(jìn)行修正。BP算法有很強(qiáng)的數(shù)學(xué)基礎(chǔ)，擴(kuò)展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍，已有許多成功的應(yīng)用實例，對神經(jīng)網(wǎng)絡(luò)研究的再次興起起過很大作用。

2.3學(xué)習(xí)算法

1.BP網(wǎng)絡(luò)模型以圖所示的多層非循環(huán)前饋網(wǎng)絡(luò)為例說明BP算法的工作原理。該BP網(wǎng)絡(luò)的各層次神經(jīng)元之間形成全互聯(lián)連接，同層內(nèi)的各神經(jīng)元之間沒有連接，即該網(wǎng)絡(luò)為純前饋網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)。

2.3學(xué)習(xí)算法

1.BP網(wǎng)絡(luò)模型各層神經(jīng)元的行為特性如下：

2.3學(xué)習(xí)算法

2.BP算法BP算法的訓(xùn)練樣本集由輸入樣本與理想輸出對組成。對網(wǎng)絡(luò)進(jìn)行訓(xùn)練目的和訓(xùn)練結(jié)束的標(biāo)志是使網(wǎng)絡(luò)各輸入樣本下的實際輸出與其理想輸出一致(目標(biāo)函數(shù)值最小)。開始學(xué)習(xí)時，各連接權(quán)值和節(jié)點(diǎn)閾值賦予（-1，+1）間的隨機(jī)數(shù)。BP算法學(xué)習(xí)過程由正向傳播和反向傳播兩部分組成。網(wǎng)絡(luò)一旦訓(xùn)練結(jié)束，其連接權(quán)值和節(jié)點(diǎn)閾值便不再變化，此時如給網(wǎng)絡(luò)新的輸入，網(wǎng)絡(luò)只需經(jīng)前向計算即能得到相應(yīng)的輸出。

2.BP算法BP算法的訓(xùn)練樣本集由輸入樣本與理想輸出對組成。對網(wǎng)絡(luò)進(jìn)行訓(xùn)練目的和訓(xùn)練結(jié)束的標(biāo)志是使網(wǎng)絡(luò)各輸入樣本下的實際輸出與其理想輸出一致(目標(biāo)函數(shù)值最小)。BP算法學(xué)習(xí)過程由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入模式從輸人層經(jīng)過隱層神經(jīng)元的處理后，傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。