神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡介

1、神經(jīng)網(wǎng)絡(luò)算法簡介一、引例一、引例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1

2、.36 Af 問：若抓到三只新的蚊子，它們的觸角長和翼長分別為(1.24,1.80); (1.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個種類？ 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個蚊子的翼長和觸角決定了坐標(biāo)平面的一個點(diǎn).其中 6個蚊子屬于 APf類；用黑點(diǎn)“”表示；9個蚊子屬 Af類；用小圓圈“?！北硎?得到的結(jié)果見圖1 圖1飛蠓的觸角長和翼長 一、引例一、引例 1989年美國大學(xué)生數(shù)學(xué)建模問題 思路： 例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中x表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個蚊

3、子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例一、引例 作一直線將兩類飛蠓分開 分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 一、引例一、引例 D: (1.40, 2.04)C: (1.28, 1.84)B: (1.24, 1.80)DCB缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.

4、40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？ 一、引例一、引例 AfAphC: (1.24, 1.80)B: (1.28, 1.84)A: (1.40, 2.04)ABCA（1.44，2.10） 再如，如下的情形能不能用分類直線的辦法呢？ 新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例一、引例 方法：方法：馬氏距離判別法、馬氏距離判別法、Bayes判別法等判別法等人工神經(jīng)網(wǎng)絡(luò)模型前言 所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。 粗略地講，大腦是由大量神經(jīng)細(xì)胞或神

5、經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。生物神經(jīng)網(wǎng)基本工作機(jī)制：一個神經(jīng)元有兩種狀態(tài)興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負(fù)。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)的生

6、物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息輸入信息傳播與處理信息傳播與處理信息傳播與處理（整合）信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息傳播與處理結(jié)果：興奮與抑制信息輸出信息輸出神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：1()niiiyfw xyx1x2x nw1w2w n 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元 )(ixf i )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息輸入信息輸入 )(ixf i 人工神經(jīng)元信息處理單元人工

7、神經(jīng)元信息處理單元信息傳播與處理：加權(quán)求和信息傳播與處理：加權(quán)求和 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息傳播信息傳播 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息傳播與處理信息傳播與處理 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息輸出信息輸出 f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)例如，若取激發(fā)函數(shù)為符號函數(shù) miiixwz1. 0, 0, 0, 1)sgn(xxxmiiimiiixwxwzfy11, 0, 1)(S型傳遞函數(shù)型傳遞函數(shù)xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.

8、5x0 f (x) 1.0 0 x-1.0 注：一個神經(jīng)元含有與輸入向量維數(shù)相同個數(shù)的權(quán)系數(shù)，若將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有n-1個正常的輸入，則式也可表示為： 1()ni iiyfwx 參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 1()niiiyfw xojx1-1x2簡單原理 人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識過程而開發(fā)出的一種算法。 假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個“網(wǎng)絡(luò)”，通過不斷地給這個網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷

9、地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個輸入，網(wǎng)絡(luò)便會根據(jù)自己已調(diào)節(jié)好的權(quán)值計算出一個輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。神經(jīng)網(wǎng)絡(luò)的作用神經(jīng)網(wǎng)絡(luò)的作用 網(wǎng)絡(luò)說話網(wǎng)絡(luò)說話 人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過BP算法長時間的訓(xùn)練竟能正確讀出英語課本中 90的詞匯 從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮。人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn) （1）可處理非線性 （2）并行結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計算機(jī)并行處理 （3）

10、具有學(xué)習(xí)和記憶能力一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則（4）對數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)如美國用 256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行 u y 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值

11、。 常用的學(xué)習(xí)規(guī)則有以下幾種： Hebb規(guī)則 Delta規(guī)則 (最小均方差規(guī)則 ) 反向傳播學(xué)習(xí)方法 Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò) ) Grosberg學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)常用模型神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron） （2）多層前饋（BP）網(wǎng)絡(luò) （3）Hopfield網(wǎng)絡(luò) (優(yōu)化)（4）Boltzmann機(jī)（在BP中加入噪聲） （5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲） 人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個黑匣子。1958年，美國心理學(xué)家Frank Rosenblatt提出一

12、種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實(shí)際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單層前向神經(jīng)網(wǎng)絡(luò)）j=1,2, ,m Tni,.,x,.x,xx)(21X12(y)TimY,y ,.y ,.,yTnjijjjj,.,w,.w,ww)(21W輸出類別指示輸入樣本人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號函數(shù)niiijjxw

13、net10()()()nTjjjijijiysgn netTsgnw xsgnW X人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量設(shè)輸入向量X=(x1 ,x2)T輸出：輸出：則由方程則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界確定了二維平面上的一條分界線線ojx1-1x2010122112211jjjjjjjTxwxwTxwxwo人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界確定了二維平面上的一條分界線線(Why?) w1j x1+w2j x2 Tj = 0 w1j x1 = Tj - w2j

14、 x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到 0XWTj 思路： 例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中x表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例一、引例 作一直線將兩類飛蠓分開人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個

15、最簡單的單計算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對線性可分問題具有分類能力。神經(jīng)網(wǎng)絡(luò)研究的發(fā)展神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美國心理學(xué)家美國心理學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.PittW.Pitt 在提出了一個簡單的神經(jīng)元模型，即在提出了一個簡單的神經(jīng)元模型，即MPMP模型。模型。19581958年，年，F(xiàn).RosenblattF.R

16、osenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron(Perceptron）。）。(2)低潮低潮(70- -80年代初年代初) ):(3)第二次熱潮第二次熱潮 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield模模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò), ,他解決問題的方他解決問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程法是一種反復(fù)運(yùn)算的動態(tài)過程, ,這是符號邏輯處理方法所這是符號邏輯處理方法所不具備的性質(zhì)不具備的性質(zhì). . 1987年首屆國際年首屆國際A ANN大會在圣地亞哥召開，大會在圣地亞哥召開，國際國際A A

17、NN聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種A ANN國際刊物。國際刊物。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP (Error Back Proragation，BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會由輸入輸出對組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)xexf11)(梯度法 考慮無約束問題， 其中函數(shù)f(x)一階連續(xù)可導(dǎo)，梯度指對各個自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點(diǎn)x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)化方法，其迭代公式，其中， 是從 出發(fā)的搜索方向，取最

18、速下降方向nExxf),(min)()()1(kkkkdxx)(kd)(kx)()()(kkxfd經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP 網(wǎng)絡(luò)模型輸入層輸入層隱層隱層輸出層輸出層 網(wǎng)絡(luò)學(xué)習(xí)的目的是要使網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學(xué)習(xí)規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BPBP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 簡單網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過程： 正向傳播：輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符 誤差反傳誤差以某種形式在各層表

19、示修正各層單元的權(quán)值 網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止 假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出對（Ip, Tp）,p=1,P, 其中輸入向量為 TpmppiiI),.,(1目標(biāo)輸出向量為（理論上的） TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 （實(shí)際上的） TpnppooO),.,(1簡單網(wǎng)絡(luò)的簡單網(wǎng)絡(luò)的B-P算法算法nipipiot12)(min（p=1,P） （2） 通常理論與實(shí)際有誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最小：記 Delta學(xué)習(xí)規(guī)則: pipipiotPppjpipjPppipiijiiotw11)(（4） i

20、jijijwww （3） ijw表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率學(xué)習(xí)的速率一般取值為0.10.3 簡單網(wǎng)絡(luò)的簡單網(wǎng)絡(luò)的B-P算法算法記wij為從輸入向量的第j (j=1,m) 個分量到輸出向量的第i (i=1,n)個分量的權(quán)重。ipm= -1 , wim= (第i個神經(jīng)元的閾值) （5）注：由（1） 式，第i個神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時 biwaomjpjijpi1)(（6）簡單網(wǎng)絡(luò)的簡單網(wǎng)絡(luò)的B-P算法算法 訓(xùn)練用的性能指標(biāo)為1:ppijijEww 按梯度法公式ppjpjpjpEEotE,)(212:pppiijpiijEEowow復(fù)合求導(dǎo)

21、21,()()2ppkpkpipipikpjpiEtotooo 其中最小求E的最小值，只需考慮EP達(dá)到最小的遞推算法ppipjpi pjijEaiaiw 因而11ppijpi pjpi pjijEwaiiw pipiik pkpjkijijijoNetaaw iaiwww 則,piij pipipijNetw ioaNetb令求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。111PPpijpi pjppijEwiw多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò) （l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第 k層有Nk個神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所

22、接收的信息 wk(i,j) 表示從第k-1層第j個元到第k層第i個元的權(quán)重， )(iak表第k層第i個元的輸出 有些文獻(xiàn)將輸入層作為一層（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個分量 )(0ja假設(shè)：假設(shè)： 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiuf

23、iaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中k(i)表示第k層第i個元的閾值. ，f為S函數(shù)PppEE1LNipLppiaitE12)()()()(21 定理 對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取 則每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為)()()()()()()()(iufiaitipLpLppL()(1)()()1( , )( , )( )1,., ,ppppllllwi jwi jajlL1( )( )( )(1)111( )( )( )( , )11.lNpppplllljif uij wj ilL 其

24、中1111( )( , )( )( )LNLLLLju iw i j aji1:ppLLEww 按梯度法公式( ):( )ppLLLLEEa iwa iw復(fù)合求導(dǎo)( )( )LLa if u i證明思路與簡單模型相同。( )( ):( )( )ppLLLLLLEEa iu iwa iu iw復(fù)合求導(dǎo)不同的是這里具有隱層不同的是這里具有隱層LNipLppiaitE12)()()()(21ijjk11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :2層前饋神經(jīng)

25、網(wǎng)絡(luò)單個神經(jīng)元節(jié)點(diǎn)反向一層傳播(1)( )kjkjkjkjkkkjkkEEtIEOItO11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :ijjk反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響(1)()kkkkjjjiijijijjijjOIEOIOItIOEEt11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :ij

26、jkB-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法反向傳播模型及其學(xué)習(xí)算法（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓(xùn)練樣例集中的每一個樣例重復(fù)35的步驟，直到對整個訓(xùn)練樣例集的誤差達(dá)到要求時為止。 在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)

27、習(xí)算法必須解決的問題。 反向傳播模型及其學(xué)習(xí)算法反向傳播模型及其學(xué)習(xí)算法應(yīng)用應(yīng)用 已知的兩類蚊子的數(shù)據(jù)如表1： 翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目標(biāo)值目標(biāo)值0.90.1 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目標(biāo)

28、t0.1 BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。 輸入數(shù)據(jù)有15個 建模：兩層神經(jīng)網(wǎng)絡(luò) 建立神經(jīng)網(wǎng)絡(luò) 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。 設(shè)兩個權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中分析如下： 為第一層的輸出，同時作為第二層的輸入。110101(1)(1,1)(1)(1,2)(2)(1)uwawa)1 () 1 (11

29、ufa)2()2(11ufa其中， 為閾值， 為傳遞函數(shù)if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） jjw)3,(12,1j110101(2)(2,1)(1)(2,2)(2)(2)uwawa3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xexf11)(取傳遞函數(shù)為)()(11iufia= )(exp(111iu2 , 1i

30、則同樣，取 , 1) 3 (1a) 3 , 1 (2w32212121(1)(1, )( )(1)1exp(1)juwj ajau（1）隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 ,

31、 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取?。?）計算 ( )(1)( )( )1( , )( , )( )plppplllwi jwi jajxexf11)(因?yàn)?所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat()()()()( )( )( )( )pLpppLLitiaif ui1( )( )( )(

32、1)111( )( )( )( , )11lplNpppllljif uij wj ilL L=2計算 2(1, )Wj1() i(5) 計算 和 1(, ):W i j1( ) i22222(1)(1, )exp(1)/(1 exp(1)Wiuu1110( , )( , )( )( )W i jW i ji ajj=1,2,3, i=1,2,3, 2221(1, )(1, )(1)( )WjWjajj=1,2,3（4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0 (6) p=p+1，轉(zhuǎn)（2） 注：僅計算一圈（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代

33、了2205次。 最后結(jié)果是：2764. 02875. 05787. 05765. 05976. 75921. 51W9829. 34838. 04075. 82W如何分類？如何分類？ 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時 表 示 屬 于 叉 類 ，t(2)=0.1表示屬于圓點(diǎn)類。 22對訓(xùn)練樣本（1）隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2 () 3 () 3 ,

34、 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取取（3）計算 ( )(1)( )( )1( , )( , )( )plppplllwi jwi jajxexf11)(因?yàn)?所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat

35、2222)1 (exp(1/()1 (exp()1 () 1 (uuat()()()()( )( )( )( )pLpppLLitiaif ui1( )( )( )(1)111( )( )( )( , )11lplNpppllljif uij wj ilL L=2計算 2(1, )Wj1() i(5) 計算 和 1(, ):W i j1( ) i22222(1)(1, )exp(1)/(1 exp(1)Wiuu1110( , )( , )( )( )W i jW i ji ajj=1,2,3, i=1,2,3, 2221(1, )(1, )(1)( )WjWjajj=1,2,3（4）取 （或其

36、他正數(shù)，可調(diào)整大小） 1 . 0 直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了200圈，迭代了4400次。 最后結(jié)果是：11.91950.978013.46240.54241.69947.3219W25.80016.07787.3219W 數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。 比較典型的題目有：DNA序列分類題（2000年全國賽A題），癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽），乳房癌的診斷題（2001年全國大學(xué)生數(shù)學(xué)建模夏令營C題）神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用 DNA序列模式分類問題 假定已知兩組人工已分類的DNA序列（20個已知類別的人工制造的序列），其中序列標(biāo)號110 為A類，

37、11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法，并且還要衡量所用分類方法的好壞，從而構(gòu)造或選擇一種較好的分類方法。測試對象是20個未標(biāo)明類別的人工序列（標(biāo)號2140）和182個自然DNA序列。例如A類： a1=aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg;b1=gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttag

38、gtaagtaatccaacgtttttattactttttaaaattaaatatttatt;我們用前20組數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計算未知數(shù)據(jù)，便能得到分類的結(jié)果。 文件給出了一個114個基因, 60個人的基因表達(dá)水平的樣本. 其中前20個是癌癥病人的基因表達(dá)水平的樣本(其中還可能有子類), 其后的是20個正常人的基因表達(dá)信息樣本, 其余的20個是待檢測的樣本(未知它們是否正常). (1).試設(shè)法找出描述癌癥與正常樣本在基因表達(dá)水平上的區(qū)別, 建立數(shù)學(xué)模型,及識別方法,去預(yù)測待檢測樣本是癌癥還是正常樣本. 癌癥判斷題（癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽）年北京大學(xué)數(shù)學(xué)

39、建模競賽）我們用前40組數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計算后20組數(shù)據(jù)，便能得到分類的結(jié)果。神經(jīng)的網(wǎng)絡(luò)應(yīng)用神經(jīng)的網(wǎng)絡(luò)應(yīng)用 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 語音識別 語音識別娃娃 圖像識別與理解 人臉檢測(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測試樣本（10%以上）3部分。(2) 盡量獲取足夠多的樣本，它的多少直接關(guān)系到所建模型的可靠性。建議建議(3) 建模時盡量減少隱含層神經(jīng)元的個數(shù)。由于隱含層神經(jīng)元個數(shù)的確定是憑

40、經(jīng)驗(yàn)的，而個數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個數(shù)太少，網(wǎng)絡(luò)容易陷入局部極小值；太多，則網(wǎng)絡(luò)的預(yù)測結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個數(shù)的確定利用“試錯法”來實(shí)現(xiàn)，即先給定一個較小的值，根據(jù)訓(xùn)練的結(jié)果逐漸增加，這樣可找到適合該模型隱含層神經(jīng)元個數(shù)的最小值，從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4) 將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點(diǎn)，多種方法的結(jié)合可改善單一方法所存在的缺陷。 前饋網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)公式 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練

41、4、圖像的分類遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 學(xué)習(xí)樣本的獲取 類別：森林、峽谷、河流 學(xué)習(xí)樣本：每個類別人工選取64個 特征向量：RGB遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 網(wǎng)絡(luò)系統(tǒng)的確定 網(wǎng)絡(luò)層數(shù)：一般取為2層 輸入節(jié)點(diǎn)：與特征個數(shù)相同，取3 隱節(jié)點(diǎn)數(shù)量：根據(jù)經(jīng)驗(yàn)公式取為5 輸出節(jié)點(diǎn)：分為3類，取3jiWkjW遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 隱層節(jié)點(diǎn)數(shù)的計算 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)213 33 (33) 12533 向上取整，保證分類性能！遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)

42、絡(luò)圖像分類過程經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab 7.0 for Windows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率. MATLAB交互界面BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能

43、函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù) BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 newff() 功能 建立一個前向BP網(wǎng)絡(luò) 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)

44、絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF表示性能數(shù)默認(rèn)為mse ，誤差 。 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) 給定4組學(xué)習(xí)數(shù)據(jù)為輸入-1 -1 2 2;0 5 0 5,理想輸出-1 -1 1 1，試建立一個2層前向神經(jīng)網(wǎng)絡(luò)，第一層（隱層）由3個神經(jīng)元組成且用tansig函數(shù)，第二層用purelin函數(shù)。學(xué)習(xí)規(guī)則為traind。 輸入數(shù)據(jù)得PR= -1 2;0 5,隱層和輸出層分別有3個和1個神經(jīng)元， S1 S2= 3 1, Net=newff(PR，S1 S2，tansig,purelin，traingd) P= -1 -1 2 2;0 5 0 5, t= -1 -1 1 1 net,tr=train(net,p,t); a=sim(net,p)輸出命令輸