人工神經(jīng)網(wǎng)絡(luò)(講稿)

1、信號(hào)分析與信息處理 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Network,神經(jīng)網(wǎng)絡(luò)模式識(shí)別,引例：水果分類的問(wèn)題（識(shí)別不同的水果）,說(shuō)明：1. 對(duì)水果的分類，是一個(gè)模式的識(shí)別問(wèn)題。而對(duì)機(jī)械運(yùn)行狀態(tài)的判 斷，也是一個(gè)模式識(shí)別，因此可以使用神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷。 2. 為神經(jīng)網(wǎng)絡(luò)提供數(shù)值參量（形狀、大小、成分等），就可以得 到對(duì)應(yīng)的種類屬性（蘋(píng)果、桔子）。因此，使用各種信號(hào)數(shù)據(jù)參 數(shù)作為輸入，也可以獲得機(jī)械運(yùn)行狀態(tài)的屬性參量。 3. 權(quán)值相量、判斷標(biāo)準(zhǔn)、誤差輸入可以不斷的修正。,一. 概論,人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展的根源 神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)

2、史,（1）定義：人工神經(jīng)網(wǎng)絡(luò)是以大量的具有相同結(jié)構(gòu)的簡(jiǎn)單單元的 連接，來(lái)模擬人類大腦的結(jié)構(gòu)和思維方式的一種可實(shí) 現(xiàn)的物理系統(tǒng)，可通過(guò)計(jì)算機(jī)進(jìn)行模擬實(shí)現(xiàn)。,1.1 人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展根源,1.1 人工神經(jīng)網(wǎng)絡(luò)的定義和研究發(fā)展根源,（2）研究和發(fā)展的根源 (1) 現(xiàn)代計(jì)算機(jī)在解決信息初級(jí)加工如視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)的感知識(shí)別上十分遲鈍，且研究進(jìn)展緩慢。但人腦在這些方面遠(yuǎn)遠(yuǎn)超過(guò)了計(jì)算機(jī)。因需要向大腦學(xué)習(xí)； (2) 現(xiàn)代計(jì)算機(jī)中每個(gè)電子元件的計(jì)算速度已達(dá)納秒(ns)級(jí)，而人腦中神經(jīng)細(xì)胞的反映時(shí)間只是毫秒(ms)級(jí)，為何大腦處理信息的功能遠(yuǎn)高于計(jì)算機(jī)，這表現(xiàn)出大腦結(jié)構(gòu)上和信息處理方式上的優(yōu)越性。,舉

3、例：2-3歲的小孩可以從人群中認(rèn)出父母、3-4歲能夠順利地穿過(guò)十字路口，但最先進(jìn)的機(jī)器人也難以完成這項(xiàng)任務(wù)。 因而模仿人類的思維方式可以提高機(jī)器人的能力,1.2 神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò),1. 神經(jīng)網(wǎng)絡(luò) 組織形式 大腦中大約有100億個(gè)神經(jīng)元，它們相互連接，形成一個(gè)復(fù)雜龐大的網(wǎng)絡(luò)系統(tǒng)。因此大腦的結(jié)構(gòu)是一個(gè)神經(jīng)（元）網(wǎng)絡(luò)。 根據(jù)估計(jì)，每個(gè)神經(jīng)元大約與上千個(gè)神經(jīng)元相互連接。 大腦所形成的神經(jīng)網(wǎng)絡(luò)是由一些小的網(wǎng)絡(luò)連接而成。根據(jù)估計(jì)，所有神經(jīng)元被安排到約1000個(gè)主要的功能模塊，每個(gè)功能模塊大約有上百個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)約有10萬(wàn)個(gè)神經(jīng)元。 信息的傳遞 從一個(gè)神經(jīng)元到另一個(gè)神經(jīng)元； 從一個(gè)網(wǎng)絡(luò)到另一個(gè)網(wǎng)

4、絡(luò)； 從一個(gè)模塊到另一個(gè)模塊。,1.2 神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò),2. 生物神經(jīng)元（細(xì)胞）結(jié)構(gòu)模型,1.2 神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò) 3. 神經(jīng)元的電脈沖 (1) 電脈沖: 神經(jīng)元在被激活后產(chǎn)生電脈沖，由軸突傳出。 相對(duì)幅值約為100mv，寬度約為1ms，稱為神經(jīng)元的動(dòng)作電位。 (2)電脈沖的傳遞:,(3) 神經(jīng)元的特性: (1) 突觸的特性 興奮性突觸：后突觸膜電位隨遞質(zhì)與受體的結(jié)合數(shù)量的增加而增加。 抑制性突觸：后突觸膜電位隨遞質(zhì)與受體的結(jié)合數(shù)量的增加而減小。 (2) 時(shí)空整和性 空間累加：將來(lái)自不同樹(shù)突的興奮性和抑制性信號(hào)進(jìn)行累加。 時(shí)間累加：由于輸入信號(hào)對(duì)神經(jīng)元膜電位的影響要持續(xù)一段時(shí)間

5、（幾ms），因此，從時(shí)間上進(jìn)行著累加。,1.2 神經(jīng)細(xì)胞與生物神經(jīng)網(wǎng)絡(luò) 4.神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn) 分布式存儲(chǔ)與容錯(cuò)性： ：信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的儲(chǔ)存是按內(nèi)容分布于大量的神經(jīng)細(xì)胞中，而且每個(gè)神經(jīng)細(xì)胞實(shí)際上儲(chǔ)存著多種不同信息的部分內(nèi)容。局部的或部分神經(jīng)元出現(xiàn)差錯(cuò)，不會(huì)影響全局結(jié)果。網(wǎng)絡(luò)能夠自動(dòng)糾正錯(cuò)誤。 并行性性：在神經(jīng)網(wǎng)絡(luò)中，巨量的神經(jīng)元同時(shí)進(jìn)行大規(guī)模的并行處理。盡管神經(jīng)元的響應(yīng)速度很慢，每次約1ms左右，比一般電子元件慢幾個(gè)數(shù)量級(jí)，卻可以在幾毫秒內(nèi)對(duì)一個(gè)復(fù)雜的過(guò)程作出判斷和決策。計(jì)算機(jī)卻無(wú)能為力。 信息的處理與存儲(chǔ)的合二而一性：每個(gè)神經(jīng)元都兼有處理與存儲(chǔ)的功能，神經(jīng)元之間連接強(qiáng)度的變化，反映了對(duì)

6、信息的記憶，同時(shí)又與神經(jīng)元對(duì)激勵(lì)的響應(yīng)一起反映了對(duì)信息的處理。 自學(xué)習(xí)和自組織性：對(duì)外界事物的反映，通過(guò)神經(jīng)元之間的連接強(qiáng)度不斷增加，進(jìn)行自學(xué)習(xí)，自組織。 層次性和系統(tǒng)性：神經(jīng)生理學(xué)的研究表明，大腦對(duì)信息的處理是分層次進(jìn)行加工處理的。從初級(jí)皮層 顱頂皮層腦前額葉的處理過(guò)程。,1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)點(diǎn),特點(diǎn)： 1. 人工神經(jīng)網(wǎng)絡(luò)是采用物理上可實(shí)現(xiàn)的器件或計(jì)算機(jī)來(lái)模擬大 腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與功能，并將其應(yīng)用于工程和其它科學(xué)領(lǐng)域。 2. 模擬并非完全一樣的復(fù)制生物神經(jīng)網(wǎng)絡(luò)，而是采納有利的部分來(lái)克服目前計(jì)算機(jī)或其它系統(tǒng)不能解決的問(wèn)題，如學(xué)習(xí) 、識(shí)別、控制等方面 的問(wèn)題。 3. 人工神經(jīng)網(wǎng)絡(luò)功能

7、的提高依賴于以下兩點(diǎn)： 物理器件或軟件系統(tǒng)的水平； 對(duì)大腦中網(wǎng)絡(luò)結(jié)構(gòu)和機(jī)制認(rèn)識(shí)的水平。,1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)點(diǎn),優(yōu)點(diǎn)： 并行性：簡(jiǎn)單單元并行連接，在時(shí)鐘控制下集體操作，處理速 度快。 容錯(cuò)性：局部的或部分神經(jīng)元出現(xiàn)差錯(cuò)，不會(huì)影響全局結(jié)果。 網(wǎng)絡(luò)能夠自動(dòng)糾正錯(cuò)誤。 分布式存儲(chǔ)：信息儲(chǔ)存在網(wǎng)絡(luò)的連接權(quán)上，是分散的，而不在 儲(chǔ)存器中。 可學(xué)習(xí)性：人工神經(jīng)網(wǎng)絡(luò)的連接權(quán)、閾值可通過(guò)學(xué)習(xí)得到，并 可根據(jù)外部環(huán)境進(jìn)行自適應(yīng)，自組織。,1.4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,1.初始發(fā)展期（1890-1968） （1）1890，James（美國(guó)生理學(xué)家）在其著作生理學(xué)中首次較系統(tǒng)地闡明了大腦的結(jié)構(gòu)和功能、神

8、經(jīng)元的功能與連接、信息的傳遞等，并將大腦看作一個(gè)神經(jīng)網(wǎng)絡(luò)。為進(jìn)一步認(rèn)識(shí)大腦的功能奠定了基礎(chǔ)。 （2）1943年，McCulloch 和Pitts（美國(guó)心理學(xué)家和數(shù)學(xué)家）提出了神經(jīng)元的數(shù)學(xué)模型，現(xiàn)稱為M-P模型。 （3）1949年，Hebb在其著作行為自組織中提出了改變神經(jīng)元連接強(qiáng)度的學(xué)習(xí)規(guī)則（現(xiàn)稱Hebb規(guī)則）：連接權(quán)的學(xué)習(xí)律是正比于兩個(gè)被連接神經(jīng)元的活動(dòng)狀態(tài)之乘積。 （4）1958, Rosenblatt 發(fā)展了M-P模型，提出了感知機(jī)（Perceptron）及其學(xué)習(xí)算法，它是歷史上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法。它的出現(xiàn)掀起了神經(jīng)網(wǎng)絡(luò)研究的第一高潮。,2. 低潮時(shí)期（1969-1982） 1

9、969，Minsky和Papert在論著感知機(jī)中指出了感知機(jī)的局限性， 即只能作線性分類，對(duì)于非線性分類，感知機(jī)無(wú)法解決。大批學(xué)者便離開(kāi) 這一領(lǐng)域，出現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的研究的低潮（六、七十年代）。,3. 復(fù)興時(shí)期（1982-1986） （1）1982-1984，Hopfield提出一種互連反饋網(wǎng)絡(luò)，現(xiàn)稱之為 Hopfield 網(wǎng)絡(luò)。引入了一種能量函數(shù)，證明了網(wǎng)絡(luò)的穩(wěn)定性，即網(wǎng)絡(luò)的狀態(tài)向能量低的方向進(jìn)行演化，最終必然達(dá)到一個(gè)極小點(diǎn)而穩(wěn)定。Hopfield網(wǎng)絡(luò)在優(yōu)化和語(yǔ)音識(shí)別方面有著重要的應(yīng)用。 （2）1986，Rumelhart和Hinton等提出了多層前向網(wǎng)絡(luò)的誤差反向傳播（BP)算法，使得網(wǎng)絡(luò)

10、可以任意逼近一個(gè)連續(xù)系統(tǒng)，并得到廣泛的應(yīng)用。 Hopfield網(wǎng)絡(luò)和BP算法的出現(xiàn)，使得人工神經(jīng)的研究出現(xiàn)了復(fù)興。由于人工神經(jīng)網(wǎng)絡(luò)在信息處理方面的優(yōu)點(diǎn)，使得大批學(xué)者加入到了這一研究領(lǐng)域，掀起了神經(jīng)網(wǎng)絡(luò)研究的新高潮。,4. 全面發(fā)展時(shí)期（1987-現(xiàn)在） 1987年在美國(guó)召開(kāi)了第一屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，并宣告成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，與會(huì)代表1600多人。這次大會(huì)也宣告了神經(jīng)網(wǎng)絡(luò)學(xué)科的誕生。神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)轉(zhuǎn)折點(diǎn)，其范圍不斷擴(kuò)大，領(lǐng)域幾乎包括各個(gè)方面。神經(jīng)網(wǎng)絡(luò)的應(yīng)用使工業(yè)技術(shù)發(fā)生了很大變化，特別是在自動(dòng)控制領(lǐng)域有了新的突破。,通過(guò)二十多年的發(fā)展，神經(jīng)網(wǎng)絡(luò)的理論和技術(shù)呈現(xiàn)出以下特點(diǎn)： （1

11、） 應(yīng)用領(lǐng)域越來(lái)越廣，幾乎無(wú)所不包。如工程，金融，醫(yī)學(xué)，社科，甚至包括戰(zhàn)爭(zhēng)的分析與決策（原海灣戰(zhàn)爭(zhēng)）。 （2）理論上的研究不斷深入，多種網(wǎng)絡(luò)模型的建立、網(wǎng)絡(luò)性能的數(shù)學(xué)理論分析、學(xué)習(xí)算法的分析與研究、特別是與統(tǒng)計(jì)學(xué)的結(jié)合形成了“統(tǒng)計(jì)學(xué)習(xí)理論” 的研究方向。 （3） 人工神經(jīng)網(wǎng)絡(luò)與各種分析技術(shù)（如專家系統(tǒng)、小波分析、模糊系統(tǒng)、遺傳算法、數(shù)理統(tǒng)計(jì)等）相結(jié)合，新的神經(jīng)網(wǎng)絡(luò)軟件包、加速板、芯片和實(shí)現(xiàn)技術(shù)不斷涌現(xiàn)，使得神經(jīng)網(wǎng)絡(luò)的應(yīng)用能力和速度不斷提高。,二. ANN基本原理,2.1 ANN的基本構(gòu)造 人工神經(jīng)網(wǎng)絡(luò)是許多神經(jīng)元經(jīng)聯(lián)接而成的網(wǎng)絡(luò)結(jié)構(gòu)。 ANN的構(gòu)造有兩層含義：1. 神經(jīng)元的結(jié)構(gòu)； 2. 網(wǎng)絡(luò)互

12、聯(lián)結(jié)構(gòu)(拓?fù)浣Y(jié)構(gòu))。,(1)神經(jīng)元的結(jié)構(gòu)模型 根據(jù)前面對(duì)生物神經(jīng)元的分析，應(yīng)具有以下特點(diǎn)： （a）神經(jīng)元是一個(gè)多輸入、單輸出的元件。,二. ANN基本原理,2.1 ANN的基本構(gòu)造 (1)神經(jīng)元的結(jié)構(gòu)模型 （b）神經(jīng)元是一個(gè)具有非線性輸入 / 輸出特性的元件。表現(xiàn)在只有當(dāng)來(lái)自各神經(jīng)突觸的活動(dòng)電位達(dá)到一定強(qiáng)度后，該神經(jīng)才能被激活，釋放出神經(jīng)傳遞化學(xué)物質(zhì)，發(fā)出本身的活動(dòng)電位脈沖。,二. ANN基本原理,2.1 ANN的基本構(gòu)造 (1)神經(jīng)元的結(jié)構(gòu)模型 （c）神經(jīng)元的連接具有可塑性，表現(xiàn)在其活動(dòng)電位脈沖的傳遞強(qiáng)度依靠神經(jīng)傳遞化學(xué)物質(zhì)的釋放量及突觸間隙的變化量，可以進(jìn)行調(diào)節(jié)。,二. ANN基本原理,2

13、.1 ANN的基本構(gòu)造 (1)神經(jīng)元的結(jié)構(gòu)模型 （d）神經(jīng)元的輸出響應(yīng)，是各個(gè)輸入的綜合結(jié)果。 為神經(jīng)元的I / O 特性。 在人工神經(jīng)網(wǎng)絡(luò)中，經(jīng)常把 值視 為神經(jīng)元的第 0 個(gè)輸入， 且 則有：,*,*,即為神經(jīng)元的I /O 特性，常用的神經(jīng)元 I /O 特性有以下三種：,2.1 ANN的基本構(gòu)造 (2)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)即神經(jīng)元的聯(lián)接形式，從大的方面來(lái)看，ANN網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為層次結(jié)構(gòu)、模塊結(jié)構(gòu)和層次模塊結(jié)構(gòu)等幾種。 層次結(jié)構(gòu)：神經(jīng)元的聯(lián)接按層次排列。 模塊結(jié)構(gòu)：主要特點(diǎn)是將整個(gè)網(wǎng)絡(luò)按功能劃分為不同的模塊，每個(gè)模塊內(nèi)部的神經(jīng)元緊密互聯(lián)，并完成各自特定的功能，模塊之間再互聯(lián)以完成整

14、體功能； 層次模塊結(jié)構(gòu)：將模塊結(jié)構(gòu)和層次結(jié)構(gòu)結(jié)合起來(lái)，使之更接近人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)，這也是目前為人們廣泛注意的一種新型網(wǎng)絡(luò)互聯(lián)模式。 根據(jù)網(wǎng)絡(luò)中神經(jīng)元的層數(shù)不同，可將神經(jīng)網(wǎng)絡(luò)分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)； 根據(jù)同層網(wǎng)絡(luò)神經(jīng)元之間有無(wú)相互聯(lián)接以及后層神經(jīng)元與前層神經(jīng)元有無(wú)反饋?zhàn)饔玫牟煌?，可將神?jīng)網(wǎng)絡(luò)分為以下多種。,（a）前向網(wǎng)絡(luò): 網(wǎng)絡(luò)中的神經(jīng)元分層排列，每個(gè)神經(jīng)元只與前一層神經(jīng)元相連，層間神經(jīng)元無(wú)連接。最上一層為輸出層，最下一層為輸入層，中間層稱為隱層。 （b）從輸出到輸入有反饋的前向網(wǎng)絡(luò): 從輸出到輸入有反饋環(huán)節(jié)的前向網(wǎng)絡(luò)。 （c）層內(nèi)互連前向網(wǎng)絡(luò): 通過(guò)層內(nèi)神經(jīng)元的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元

15、間的相互制約，從而可以將層內(nèi)神經(jīng)元分為幾組，讓每組作為一個(gè)整體來(lái)動(dòng)作。 （d）互連網(wǎng)絡(luò):分為局部互連和全互連兩種。全互連網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出都與其他神經(jīng)元相連；而局部互連網(wǎng)絡(luò)中，有些神經(jīng)元間沒(méi)有連接關(guān)系。,2.2學(xué)習(xí)規(guī)則,神經(jīng)網(wǎng)絡(luò)要能工作必須首先進(jìn)行學(xué)習(xí)，學(xué)習(xí)規(guī)則多種多樣，一般可以歸結(jié)為以下兩類： （1）有指導(dǎo)學(xué)習(xí)：不但需要學(xué)習(xí)用的輸入事例（訓(xùn)練樣本，通常為一矢量），同時(shí)還要求與之對(duì)應(yīng)的表示所需期望輸出的目標(biāo)矢量。進(jìn)行學(xué)習(xí)時(shí)，首先計(jì)算一個(gè)輸入矢量的網(wǎng)絡(luò)輸出，然后同相應(yīng)的目標(biāo)輸出比較，比較結(jié)果的誤差用來(lái)按規(guī)定的算法改變加權(quán)。 （2）無(wú)指導(dǎo)學(xué)習(xí)：不要求有目標(biāo)矢量，網(wǎng)絡(luò)通過(guò)自身的“經(jīng)歷”來(lái)學(xué)會(huì)某種

16、功能，在學(xué)習(xí)時(shí)，關(guān)鍵不在于網(wǎng)絡(luò)實(shí)際輸出是否與外部的期望輸出相一致，而在于調(diào)整權(quán)重以反映學(xué)習(xí)樣本的分布，因此整個(gè)訓(xùn)練過(guò)程實(shí)質(zhì)是抽取訓(xùn)練樣本集的統(tǒng)計(jì)特性。特別適用于對(duì)未知事物的研究。 工程實(shí)踐中，有指導(dǎo)學(xué)習(xí)和無(wú)指導(dǎo)學(xué)習(xí)并不是相互沖突的，目前已經(jīng)出現(xiàn)了一些融合有指導(dǎo)學(xué)習(xí)和無(wú)指導(dǎo)學(xué)習(xí)的訓(xùn)練算法。如在應(yīng)用有指導(dǎo)學(xué)習(xí)訓(xùn)練一個(gè)網(wǎng)絡(luò)后，再利用一些后期的無(wú)指導(dǎo)學(xué)習(xí)來(lái)使得網(wǎng)絡(luò)自適應(yīng)于環(huán)境的變化。,2.3 學(xué)習(xí)算法 學(xué)習(xí)算法是人工神經(jīng)網(wǎng)絡(luò)研究的主要內(nèi)容和中心環(huán)節(jié)，許多性能各異的神經(jīng)網(wǎng)絡(luò)的差異也主要體現(xiàn)在學(xué)習(xí)算法的不同上，同時(shí)，對(duì)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法也是至今人們研究得最多的一個(gè)方面。 截止目前，人們已先后提出了誤差反向

17、傳播算法(BP算法)、Hopfield算法、自適應(yīng)共振理論算法(ART算法)、自組織特征映射算法(Kohonen算法)等。,僅對(duì)誤差反向傳播算法(Back Propagation)進(jìn)行簡(jiǎn)要論述 誤差反向傳播算法簡(jiǎn)稱BP算法，它是Werbos等人提出的一個(gè)有監(jiān)督訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)算法。在網(wǎng)絡(luò)學(xué)習(xí)階段，其每一個(gè)訓(xùn)練范例在網(wǎng)絡(luò)中經(jīng)過(guò)兩個(gè)方向的傳遞計(jì)算。一遍向前傳播計(jì)算，從輸入層開(kāi)始傳遞至各層，經(jīng)過(guò)處理后產(chǎn)生一個(gè)輸出，由此可得到一個(gè)該實(shí)際輸出與其理想輸出之差的誤差矢量；此后，再進(jìn)行反向傳播計(jì)算，即從輸出層開(kāi)始至輸入層結(jié)束，根據(jù)誤差矢量并以一定的速度對(duì)各權(quán)值依次進(jìn)行修正。 BP算法有很強(qiáng)的數(shù)學(xué)基礎(chǔ)，擴(kuò)展

18、了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍，已有許多成功的應(yīng)用實(shí)例，對(duì)神經(jīng)網(wǎng)絡(luò)研究的再次興起起過(guò)很大作用。,2.3 學(xué)習(xí)算法 1. BP網(wǎng)絡(luò)模型 以圖所示的多層非循環(huán)前饋網(wǎng)絡(luò)為例說(shuō)明BP算法的工作原理。該BP網(wǎng)絡(luò)的各層次神經(jīng)元之間形成全互聯(lián)連接，同層內(nèi)的各神經(jīng)元之間沒(méi)有連接，即該網(wǎng)絡(luò)為純前饋網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)。,2.3 學(xué)習(xí)算法 1. BP網(wǎng)絡(luò)模型 各層神經(jīng)元的行為特性如下：,2.3 學(xué)習(xí)算法 2. BP算法 BP算法的訓(xùn)練樣本集由輸入樣本與理想輸出對(duì)組成。對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練目的和訓(xùn)練結(jié)束的標(biāo)志是使網(wǎng)絡(luò)各輸入樣本下的實(shí)際輸出與其理想輸出一致(目標(biāo)函數(shù)值最小)。 開(kāi)始學(xué)習(xí)時(shí)，各連接權(quán)值和節(jié)點(diǎn)閾值賦予（-1，+1）間的隨機(jī)數(shù)。,

19、BP算法學(xué)習(xí)過(guò)程由正向傳播和反向傳播兩部分組成。 網(wǎng)絡(luò)一旦訓(xùn)練結(jié)束，其連接權(quán)值和節(jié)點(diǎn)閾值便不再變化，此時(shí)如給網(wǎng)絡(luò)新的輸入，網(wǎng)絡(luò)只需經(jīng)前向計(jì)算即能得到相應(yīng)的輸出。,2. BP算法 BP算法的訓(xùn)練樣本集由輸入樣本與理想輸出對(duì)組成。對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練目的和訓(xùn)練結(jié)束的標(biāo)志是使網(wǎng)絡(luò)各輸入樣本下的實(shí)際輸出與其理想輸出一致(目標(biāo)函數(shù)值最小)。,BP算法學(xué)習(xí)過(guò)程由正向傳播和反向傳播兩部分組成。 在正向傳播過(guò)程中，輸入模式從輸人層經(jīng)過(guò)隱層神經(jīng)元的處理后，傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，此時(shí)誤差信號(hào)從輸出層向輸入層傳播并沿途調(diào)整各層間連接權(quán)值和閾值，

20、以使誤差不斷減小，直到達(dá)到精度要求。該算法實(shí)際上是求誤差函數(shù)的極小值，它通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，并采用最快下降法使得權(quán)值沿著誤差函數(shù)負(fù)梯度方向改變，并收斂干最小點(diǎn)。 網(wǎng)絡(luò)一旦訓(xùn)練結(jié)束，其連接權(quán)值和節(jié)點(diǎn)閾值便不再變化，此時(shí)如給網(wǎng)絡(luò)新的輸入，網(wǎng)絡(luò)只需經(jīng)前向計(jì)算即能得到相應(yīng)的輸出。,2. BP算法步驟 （1）確定輸入模式向量和理想輸出向量。 （2）確定隱含層的層數(shù)和每層的單元（神經(jīng)元、節(jié)點(diǎn)）數(shù)。 （3）給各單元的連接權(quán)值和閾值賦予（-1，+1）間的隨機(jī)數(shù)。 （4）選擇某個(gè)訓(xùn)練樣本向量作為輸入，進(jìn)行學(xué)習(xí)，計(jì)算輸出。 （5）根據(jù)實(shí)際輸出與理想輸出的偏差，修正各單元的連接權(quán)值和閾值。 （6）選擇下一個(gè)訓(xùn)練

21、樣本向量作為輸入，再進(jìn)行學(xué)習(xí)，計(jì)算輸出。 （7）重復(fù)（5）、（6）步驟，通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，不斷修正各單元的連接權(quán)值和閾值，直至網(wǎng)絡(luò)全局誤差函數(shù)小于預(yù)先設(shè)定的極小值，學(xué)習(xí)結(jié)束。 （8）應(yīng)用測(cè)試樣本檢查模式識(shí)別的準(zhǔn)確性。,三.具體實(shí)例,通過(guò)該例，說(shuō)明網(wǎng)絡(luò)建立、訓(xùn)練、識(shí)別的過(guò)程,問(wèn)題的提出 齒輪傳動(dòng)在運(yùn)行過(guò)程中經(jīng)常會(huì)出現(xiàn)各種類型的故障，如齒面擦傷、膠合、點(diǎn)蝕、裂紋、局部斷齒等，均會(huì)引起振動(dòng)烈度增加。如何根據(jù)所測(cè)振動(dòng)信號(hào)自動(dòng)識(shí)別故障的類型，是目前齒輪故障診斷研究的一個(gè)重點(diǎn)內(nèi)容，屬于模式識(shí)別問(wèn)題。 本節(jié)介紹以小波分析為基礎(chǔ)，采用神經(jīng)網(wǎng)絡(luò)識(shí)別點(diǎn)蝕故障的方法。,三. 具體實(shí)例,齒輪點(diǎn)蝕故障的小波神經(jīng)網(wǎng)

22、絡(luò)識(shí)別,三. 具體實(shí)例,齒輪點(diǎn)蝕故障的小波神經(jīng)網(wǎng)絡(luò)識(shí)別,齒輪點(diǎn)蝕故障的小波神經(jīng)網(wǎng)絡(luò)識(shí)別,判據(jù)：齒輪的點(diǎn)蝕是一種較難于識(shí)別的故障，我們的研究結(jié)果表明：齒輪點(diǎn)蝕故障會(huì)在齒輪嚙合過(guò)程中產(chǎn)生沖擊，激發(fā)輪齒按其固有頻率振動(dòng)，致使在包含輪齒固有頻率的頻帶內(nèi)能量大幅度提高?？梢源俗鳛槭欠癯霈F(xiàn)點(diǎn)蝕的判據(jù)。 方法：對(duì)齒輪振動(dòng)信號(hào)進(jìn)行小波包分解，以各頻帶的能量變化情況作為齒輪點(diǎn)蝕故障的識(shí)別的定量的依據(jù)。使用神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)，以各頻帶能量歸一化值作為神經(jīng)網(wǎng)絡(luò)的輸入，齒輪不存在點(diǎn)蝕故障和存在點(diǎn)蝕故障兩種情況作為神經(jīng)網(wǎng)絡(luò)的輸出。 實(shí)例：以臺(tái)權(quán)礦主井提升機(jī)大齒輪點(diǎn)蝕故障為例進(jìn)行說(shuō)明。該齒輪的固有頻率在2300Hz左右。對(duì)

23、信號(hào)作小波包分解到3層，得到8個(gè)分解頻段及相應(yīng)的振動(dòng)相對(duì)能量。,三.具體實(shí)例,點(diǎn)蝕發(fā)生前后齒輪振動(dòng)信號(hào)各頻段相對(duì)能量及其比值 注：相對(duì)能量值各分解頻帶信號(hào)能量占信號(hào)總能量的百分比,四. 具體實(shí)例,神經(jīng)網(wǎng)絡(luò)的輸入向量為各頻帶的相對(duì)能量，個(gè)數(shù)為8個(gè)。隱層節(jié)點(diǎn)數(shù)量選擇為6個(gè)。網(wǎng)絡(luò)的目標(biāo)輸出向量為2種狀態(tài)：齒輪不存在點(diǎn)蝕故障（1 0），齒輪存在點(diǎn)蝕故障（0 1）。 對(duì)兩種齒輪情況分別采集測(cè)試信號(hào)50組，組成網(wǎng)絡(luò)訓(xùn)練樣本100組，另外各取 5 組作為網(wǎng)絡(luò)測(cè)試樣本。各連接權(quán)值和節(jié)點(diǎn)閾值的初始值可賦予 （-1，+1）間的隨機(jī)數(shù)。設(shè)置網(wǎng)絡(luò)最大訓(xùn)練步數(shù)1000，訓(xùn)練目標(biāo)誤差為0.001。,下圖給出了某次訓(xùn)練結(jié)果

24、的誤差變化曲線，設(shè)置網(wǎng)絡(luò)最大訓(xùn)練步數(shù)1000，訓(xùn)練目標(biāo)誤差為0.001。可見(jiàn)，當(dāng)網(wǎng)絡(luò)訓(xùn)練到702步時(shí)，網(wǎng)絡(luò)性能達(dá)標(biāo)。,BP網(wǎng)絡(luò)誤差變化曲線,將網(wǎng)絡(luò)測(cè)試樣本（齒輪點(diǎn)蝕故障樣本5組、齒輪正常樣本5組，共10組）送入該網(wǎng)絡(luò)進(jìn)行故障識(shí)別。,從表中可以看到，該BP網(wǎng)絡(luò)對(duì)齒輪點(diǎn)蝕故障的識(shí)別具有較高準(zhǔn)確性。,說(shuō)明： 隱層節(jié)點(diǎn)數(shù)量的選擇，沒(méi)有很好的理論依據(jù)。使用較多的隱層節(jié)點(diǎn)，一定程度上減少局部最小發(fā)生，改善網(wǎng)絡(luò)與訓(xùn)練樣本匹配的精確度，但也增加了訓(xùn)練網(wǎng)絡(luò)的難度和訓(xùn)練時(shí)間，甚至出現(xiàn)過(guò)擬合現(xiàn)象。隱層節(jié)點(diǎn)數(shù)量的選擇要通過(guò)不斷的嘗試決定。 對(duì)于三層網(wǎng)絡(luò)隱節(jié)點(diǎn)的選取，以下方法可供參考： 1. 根據(jù)經(jīng)驗(yàn)選擇隱層神經(jīng)元的數(shù)