神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用數(shù)學(xué)建模工作室房恩岳2012.11.07Contents神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實例在matlab中的實現(xiàn)BP網(wǎng)絡(luò)模型改進神經(jīng)網(wǎng)絡(luò)簡介什么是神經(jīng)網(wǎng)絡(luò)？人類的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（NNs）它是一種模擬動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識構(gòu)成：大量簡單的基本元件——神經(jīng)元相互連接工作原理：模擬生物的神經(jīng)處理信息的方式功能：進行信息的并行處理和非線性轉(zhuǎn)化特點：比較輕松地實現(xiàn)非線性映射過程

具有大規(guī)模的計算能力神經(jīng)網(wǎng)絡(luò)的本質(zhì)神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是利用計算機語言模擬人類大腦做決定的過程做決定距離味道價格生物神經(jīng)元結(jié)構(gòu)：樹突細胞核細胞體軸突突觸神經(jīng)末梢那怎樣用機器語言來模擬呢？神經(jīng)元結(jié)構(gòu)模型x1x2xjx3xnyixj為輸入信號，

為閾值，

表示與神經(jīng)元xj

連接的權(quán)值

yi表示輸出值判斷是否大于閥值什么是閥值？臨界值。比如有一頭驢，往它身上壓稻草，一根一根地壓，當(dāng)壓到N根時，還沒有被壓倒，又壓了一根，倒了，這時所有壓在驢身上的稻草的多少，就是壓倒這頭驢的閾值。神經(jīng)網(wǎng)絡(luò)是模仿大腦的神經(jīng)元，當(dāng)外界刺激達到一定的閥值時，神經(jīng)元才會受刺激，影響下一個神經(jīng)元。判斷是否大于閥值若大于閥值，則此神經(jīng)元接受此信息，輸出若小于閥值，則此神經(jīng)元不接受此信息的傳遞系統(tǒng)本身/黑盒子知道不知道y=x^2機場輸入：x輸出：y幾種代表性的網(wǎng)絡(luò)模型單層前向神經(jīng)網(wǎng)絡(luò)——線性網(wǎng)絡(luò)階躍網(wǎng)絡(luò)多層前向神經(jīng)網(wǎng)絡(luò)(反推學(xué)習(xí)規(guī)則即BP神經(jīng)網(wǎng)絡(luò))Elman網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、雙向聯(lián)想記憶網(wǎng)絡(luò)、自組織競爭網(wǎng)絡(luò)等等神經(jīng)網(wǎng)絡(luò)能干什么？運用這些網(wǎng)絡(luò)模型可實現(xiàn)函數(shù)逼近、數(shù)據(jù)聚類、模式分類、優(yōu)化計算等功能。因此,神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于人工智能、自動控制、機器人、統(tǒng)計學(xué)等領(lǐng)域的信息處理中。雖然神經(jīng)網(wǎng)絡(luò)的應(yīng)用很廣,但是在具體的使用過程中到底應(yīng)當(dāng)選擇哪種網(wǎng)絡(luò)結(jié)構(gòu)比較合適是值得考慮的。這就需要我們對各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有一個較全面的認識應(yīng)用范圍醫(yī)學(xué)：疾病識別圖像：識別、去噪、增強、配準、融合金融：股票和有價證券的預(yù)測分析、資本收益的預(yù)測和分析、風(fēng)險管理、信用評估等等神經(jīng)網(wǎng)絡(luò)BP(Back-Propagation)神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層（input)隱層(hidelayer)和輸出層(outputlayer)BP神經(jīng)網(wǎng)絡(luò)特點：多層前饋神經(jīng)網(wǎng)絡(luò)，信號向前傳播，誤差向后傳播。結(jié)構(gòu)：輸入層輸出層中間層ijk輸入層輸出層中間層ijk中間層：輸入輸出輸入層輸出層中間層ijk輸出層:輸入輸出傳遞函數(shù)閾值型線性型S型傳遞函數(shù)(激活函數(shù))logsig(S型函數(shù))：MATLAB按此函數(shù)計算：調(diào)用格式：A=logsig(N)如：n=-10:0.1:10；a=logsig(n)plot(n,a)gridon圖形如下：tansig(雙曲正切S型傳遞函數(shù))：調(diào)用格式：A=tansig(n)如：n=-10:0.1:10a=tansig(n)plot(n,a)gridon如右圖所示BP神經(jīng)網(wǎng)絡(luò)原理基本BP算法包括兩個方面：信號的前向傳播和誤差的反向傳播。即計算實際輸出時按從輸入到輸出的方向進行，而權(quán)值和閾值的修正從輸出到輸入的方向進行。利用輸出后的誤差來估計輸出層的直接前一層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。BP神經(jīng)網(wǎng)絡(luò)工作原理

誤差向后傳播輸入層輸出層隱含層BP神經(jīng)網(wǎng)絡(luò)工作流程1.網(wǎng)絡(luò)初始化：根據(jù)訓(xùn)練數(shù)據(jù)確定網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)n，隱含神經(jīng)元數(shù)l，輸出神經(jīng)元數(shù)m，初始化各層神經(jīng)元之間的連接權(quán)值和，初始化隱含層和輸出層的閾值a和b，給定學(xué)習(xí)速率和神經(jīng)元傳遞函數(shù)。2.隱含層輸出計算：根據(jù)輸入向量X，輸入層和隱含層連接權(quán)值以及隱含層閾值a，計算隱含層輸出H3.輸出層輸出計算。根據(jù)隱含層輸出的H,連接權(quán)值和閾值b,計算BP神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出O.4.誤差計算根據(jù)預(yù)測輸出O和期望輸出Y計算網(wǎng)絡(luò)預(yù)測誤差e5.權(quán)值更新根據(jù)網(wǎng)絡(luò)誤差更新網(wǎng)絡(luò)權(quán)值，6.閾值更新，根據(jù)網(wǎng)絡(luò)誤差網(wǎng)絡(luò)e，神經(jīng)元閾值a，b7.判斷算法迭代是否結(jié)束，若沒有結(jié)束返回步驟2正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP網(wǎng)絡(luò)的標準學(xué)習(xí)算法-學(xué)習(xí)過程BP標準算法步驟網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元，輸出層有q個神經(jīng)元變量定義輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量：期望輸出向量：BP標準算法步驟變量定義輸入層與中間層的連接權(quán)值：隱含層與輸出層的連接權(quán)值：隱含層各神經(jīng)元的閾值：輸出層各神經(jīng)元的閾值：樣本數(shù)據(jù)個數(shù)：激活函數(shù)：誤差函數(shù)：BP標準算法步驟1.網(wǎng)絡(luò)初始化

給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值和最大學(xué)習(xí)次數(shù)M。2.隨機選取一個輸入樣本及對應(yīng)期望輸出

BP標準算法步驟3.計算隱含層和輸出層各神經(jīng)元的輸入和輸出BP標準算法步驟4.利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。

BP標準算法步驟5.利用隱含層到輸出層的連接權(quán)值、輸出層的輸出和隱含層的輸出，計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)。

BP標準算法步驟BP標準算法步驟6.利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。

BP標準算法步驟7.利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。BP標準算法步驟8.計算全局誤差9.判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進入下一輪學(xué)習(xí)。

梯度下降法情況一、直觀表達當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe>0，此時Δwho<0BP標準算法直觀解釋情況二、直觀表達當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e<0,此時Δwho>0whoBP標準算法直觀解釋應(yīng)用實例分類識別數(shù)據(jù)預(yù)測醫(yī)學(xué)診斷蠓蟲的分類識別思路1、觸角長和翼長作為輸入信息，分別記x1,x2目標輸出：(1,0)、(0,1)。

Af類記為(1,0)，Apf類記為(0,1)。輸出層有兩個神經(jīng)元輸入層輸出層中間層iho2、通過已知樣本訓(xùn)練出合適的權(quán)值使輸出為(0,1)或(1,0)。3、將待區(qū)分的蠓蟲數(shù)據(jù)輸入網(wǎng)絡(luò)，求值。權(quán)值求法：向后傳播法理想輸出Af類(1,0)，Apf類(0,1)記為

則有