神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡(jiǎn)介

1、神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介一、引例一、引例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng) 觸角長(zhǎng) 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長(zhǎng) 觸角長(zhǎng) 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1

2、.36 Af 問(wèn)：若抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(1.24,1.80); (1.28，1.84)；（1.40，2.04）問(wèn)它們應(yīng)分別屬于哪一個(gè)種類？ 把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類；用小圓圈“。”表示 得到的結(jié)果見圖1 圖1飛蠓的觸角長(zhǎng)和翼長(zhǎng) 一、引例一、引例 1989年美國(guó)大學(xué)生數(shù)學(xué)建模問(wèn)題 思路： 例如；取A（1.44，2.10）和 B(1.10，1.16)，過(guò)A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中x表示觸角長(zhǎng)；y表示翼長(zhǎng) 分類規(guī)則：設(shè)一個(gè)蚊

3、子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例一、引例 作一直線將兩類飛蠓分開 分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 一、引例一、引例 D: (1.40, 2.04)C: (1.28, 1.84)B: (1.24, 1.80)DCB缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.

4、40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？ 一、引例一、引例 AfAphC: (1.24, 1.80)B: (1.28, 1.84)A: (1.40, 2.04)ABCA（1.44，2.10） 再如，如下的情形能不能用分類直線的辦法呢？ 新思路：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例一、引例 方法：方法：馬氏距離判別法、馬氏距離判別法、Bayes判別法等判別法等人工神經(jīng)網(wǎng)絡(luò)模型前言 所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。 粗略地講，大腦是由大量神經(jīng)細(xì)胞或神

5、經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來(lái)，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。生物神經(jīng)網(wǎng)基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來(lái)的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過(guò)某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)的生

6、物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息輸入信息傳播與處理信息傳播與處理信息傳播與處理（整合）信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息傳播與處理結(jié)果：興奮與抑制信息輸出信息輸出神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：1()niiiyfw xyx1x2x nw1w2w n 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元 )(ixf i )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息輸入信息輸入 )(ixf i 人工神經(jīng)元信息處理單元人工

7、神經(jīng)元信息處理單元信息傳播與處理：加權(quán)求和信息傳播與處理：加權(quán)求和 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息傳播信息傳播 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息傳播與處理信息傳播與處理 )(ixf i 人工神經(jīng)元信息處理單元人工神經(jīng)元信息處理單元信息輸出信息輸出 f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)例如，若取激發(fā)函數(shù)為符號(hào)函數(shù) miiixwz1. 0, 0, 0, 1)sgn(xxxmiiimiiixwxwzfy11, 0, 1)(S型傳遞函數(shù)型傳遞函數(shù)xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.

8、5x0 f (x) 1.0 0 x-1.0 注：一個(gè)神經(jīng)元含有與輸入向量維數(shù)相同個(gè)數(shù)的權(quán)系數(shù)，若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有n-1個(gè)正常的輸入，則式也可表示為： 1()ni iiyfwx 參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 1()niiiyfw xojx1-1x2簡(jiǎn)單原理 人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過(guò)程而開發(fā)出的一種算法。 假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對(duì)如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過(guò)程看成是一個(gè)“網(wǎng)絡(luò)”，通過(guò)不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來(lái)“訓(xùn)練”這個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷

9、地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來(lái)滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個(gè)輸入，網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單原理。神經(jīng)網(wǎng)絡(luò)的作用神經(jīng)網(wǎng)絡(luò)的作用 網(wǎng)絡(luò)說(shuō)話網(wǎng)絡(luò)說(shuō)話 人們把一本教科書用網(wǎng)絡(luò)把它讀出來(lái)（當(dāng)然需要通過(guò)光電，電聲的信號(hào)轉(zhuǎn)換）；開始網(wǎng)絡(luò)說(shuō)的話像嬰兒學(xué)語(yǔ)那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過(guò)BP算法長(zhǎng)時(shí)間的訓(xùn)練竟能正確讀出英語(yǔ)課本中 90的詞匯 從此用神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別語(yǔ)言和圖象形成一個(gè)新的熱潮。人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn) （1）可處理非線性 （2）并行結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來(lái)說(shuō)；其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理 （3）

10、具有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則（4）對(duì)數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來(lái)實(shí)現(xiàn)如美國(guó)用 256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編碼人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行 u y 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值

11、。 常用的學(xué)習(xí)規(guī)則有以下幾種： Hebb規(guī)則 Delta規(guī)則 (最小均方差規(guī)則 ) 反向傳播學(xué)習(xí)方法 Kohonen學(xué)習(xí)規(guī)則(用于無(wú)指導(dǎo)訓(xùn)練網(wǎng)絡(luò) ) Grosberg學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)常用模型神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron） （2）多層前饋（BP）網(wǎng)絡(luò) （3）Hopfield網(wǎng)絡(luò) (優(yōu)化)（4）Boltzmann機(jī)（在BP中加入噪聲） （5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲(chǔ)） 人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個(gè)最簡(jiǎn)單的網(wǎng)絡(luò)來(lái)剖析，一定程度上打開這個(gè)黑匣子。1958年，美國(guó)心理學(xué)家Frank Rosenblatt提出一

12、種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡(jiǎn)單，以至于在解決實(shí)際問(wèn)題時(shí)很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單層前向神經(jīng)網(wǎng)絡(luò)）j=1,2, ,m Tni,.,x,.x,xx)(21X12(y)TimY,y ,.y ,.,yTnjijjjj,.,w,.w,ww)(21W輸出類別指示輸入樣本人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號(hào)函數(shù)niiijjxw

13、net10()()()nTjjjijijiysgn netTsgnw xsgnW X人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量設(shè)輸入向量X=(x1 ,x2)T輸出：輸出：則由方程則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界確定了二維平面上的一條分界線線ojx1-1x2010122112211jjjjjjjTxwxwTxwxwo人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界確定了二維平面上的一條分界線線(Why?) w1j x1+w2j x2 Tj = 0 w1j x1 = Tj - w2j

14、 x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到 0XWTj 思路： 例如；取A（1.44，2.10）和 B(1.10，1.16)，過(guò)A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中x表示觸角長(zhǎng)；y表示翼長(zhǎng) 分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例一、引例 作一直線將兩類飛蠓分開人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個(gè)

15、最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對(duì)線性可分問(wèn)題具有分類能力。神經(jīng)網(wǎng)絡(luò)研究的發(fā)展神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美國(guó)心理學(xué)家美國(guó)心理學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.PittW.Pitt 在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MPMP模型。模型。19581958年，年，F(xiàn).RosenblattF.R

16、osenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron(Perceptron）。）。(2)低潮低潮(70- -80年代初年代初) ):(3)第二次熱潮第二次熱潮 1982年，美國(guó)物理學(xué)家年，美國(guó)物理學(xué)家J.J.Hopfield提出提出Hopfield模模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò), ,他解決問(wèn)題的方他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程, ,這是符號(hào)邏輯處理方法所這是符號(hào)邏輯處理方法所不具備的性質(zhì)不具備的性質(zhì). . 1987年首屆國(guó)際年首屆國(guó)際A ANN大會(huì)在圣地亞哥召開，大會(huì)在圣地亞哥召開，國(guó)際國(guó)際A A

17、NN聯(lián)合會(huì)成立，創(chuàng)辦了多種聯(lián)合會(huì)成立，創(chuàng)辦了多種A ANN國(guó)際刊物。國(guó)際刊物。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP (Error Back Proragation，BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)xexf11)(梯度法 考慮無(wú)約束問(wèn)題， 其中函數(shù)f(x)一階連續(xù)可導(dǎo)，梯度指對(duì)各個(gè)自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點(diǎn)x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)化方法，其迭代公式，其中， 是從 出發(fā)的搜索方向，取最

18、速下降方向nExxf),(min)()()1(kkkkdxx)(kd)(kx)()()(kkxfd經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP 網(wǎng)絡(luò)模型輸入層輸入層隱層隱層輸出層輸出層 網(wǎng)絡(luò)學(xué)習(xí)的目的是要使網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時(shí)，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學(xué)習(xí)規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對(duì)所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BPBP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 簡(jiǎn)單網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過(guò)程： 正向傳播：輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符 誤差反傳誤差以某種形式在各層表

19、示修正各層單元的權(quán)值 網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止 假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip, Tp）,p=1,P, 其中輸入向量為 TpmppiiI),.,(1目標(biāo)輸出向量為（理論上的） TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 （實(shí)際上的） TpnppooO),.,(1簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法nipipiot12)(min（p=1,P） （2） 通常理論與實(shí)際有誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河?Delta學(xué)習(xí)規(guī)則: pipipiotPppjpipjPppipiijiiotw11)(（4） i

20、jijijwww （3） ijw表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率學(xué)習(xí)的速率一般取值為0.10.3 簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量的第i (i=1,n)個(gè)分量的權(quán)重。ipm= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5）注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時(shí) biwaomjpjijpi1)(（6）簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法 訓(xùn)練用的性能指標(biāo)為1:ppijijEww 按梯度法公式ppjpjpjpEEotE,)(212:pppiijpiijEEowow復(fù)合求導(dǎo)

21、21,()()2ppkpkpipipikpjpiEtotooo 其中最小求E的最小值，只需考慮EP達(dá)到最小的遞推算法ppipjpi pjijEaiaiw 因而11ppijpi pjpi pjijEwaiiw pipiik pkpjkijijijoNetaaw iaiwww 則,piij pipipijNetw ioaNetb令求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。111PPpijpi pjppijEwiw多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò) （l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所

22、接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(iak表第k層第i個(gè)元的輸出 有些文獻(xiàn)將輸入層作為一層（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無(wú)信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )(0ja假設(shè)：假設(shè)： 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiuf

23、iaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中k(i)表示第k層第i個(gè)元的閾值. ，f為S函數(shù)PppEE1LNipLppiaitE12)()()()(21 定理 對(duì)于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取 則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為)()()()()()()()(iufiaitipLpLppL()(1)()()1( , )( , )( )1,., ,ppppllllwi jwi jajlL1( )( )( )(1)111( )( )( )( , )11.lNpppplllljif uij wj ilL 其

24、中1111( )( , )( )( )LNLLLLju iw i j aji1:ppLLEww 按梯度法公式( ):( )ppLLLLEEa iwa iw復(fù)合求導(dǎo)( )( )LLa if u i證明思路與簡(jiǎn)單模型相同。( )( ):( )( )ppLLLLLLEEa iu iwa iu iw復(fù)合求導(dǎo)不同的是這里具有隱層不同的是這里具有隱層LNipLppiaitE12)()()()(21ijjk11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :2層前饋神經(jīng)

25、網(wǎng)絡(luò)單個(gè)神經(jīng)元節(jié)點(diǎn)反向一層傳播(1)( )kjkjkjkjkkkjkkEEtIEOItO11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :ijjk反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響(1)()kkkkjjjiijijijjijjOIEOIOItIOEEt11exp()11exp()iijijijjkjkjkkOxIOOIIOOI：輸入節(jié)點(diǎn):圖像特征分量值輸出節(jié)點(diǎn):：輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸入節(jié)點(diǎn):輸出節(jié)點(diǎn):輸輸入入層層隱隱層層輸輸出出層層: :ij

26、jkB-P算法的學(xué)習(xí)過(guò)程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法反向傳播模型及其學(xué)習(xí)算法（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)35的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。 在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)

27、習(xí)算法必須解決的問(wèn)題。 反向傳播模型及其學(xué)習(xí)算法反向傳播模型及其學(xué)習(xí)算法應(yīng)用應(yīng)用 已知的兩類蚊子的數(shù)據(jù)如表1： 翼長(zhǎng) 觸角長(zhǎng) 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目標(biāo)值目標(biāo)值0.90.1 翼長(zhǎng) 觸角長(zhǎng) 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目標(biāo)

28、t0.1 BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。 輸入數(shù)據(jù)有15個(gè) 建模：兩層神經(jīng)網(wǎng)絡(luò) 建立神經(jīng)網(wǎng)絡(luò) 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。 設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中分析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。110101(1)(1,1)(1)(1,2)(2)(1)uwawa)1 () 1 (11

29、ufa)2()2(11ufa其中， 為閾值， 為傳遞函數(shù)if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） jjw)3,(12,1j110101(2)(2,1)(1)(2,2)(2)(2)uwawa3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xexf11)(取傳遞函數(shù)為)()(11iufia= )(exp(111iu2 , 1i

30、則同樣，取 , 1) 3 (1a) 3 , 1 (2w32212121(1)(1, )( )(1)1exp(1)juwj ajau（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 ,

31、 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取?。?）計(jì)算 ( )(1)( )( )1( , )( , )( )plppplllwi jwi jajxexf11)(因?yàn)?所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat()()()()( )( )( )( )pLpppLLitiaif ui1( )( )( )(

32、1)111( )( )( )( , )11lplNpppllljif uij wj ilL L=2計(jì)算 2(1, )Wj1() i(5) 計(jì)算 和 1(, ):W i j1( ) i22222(1)(1, )exp(1)/(1 exp(1)Wiuu1110( , )( , )( )( )W i jW i ji ajj=1,2,3, i=1,2,3, 2221(1, )(1, )(1)( )WjWjajj=1,2,3（4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0 (6) p=p+1，轉(zhuǎn)（2） 注：僅計(jì)算一圈（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代

33、了2205次。 最后結(jié)果是：2764. 02875. 05787. 05765. 05976. 75921. 51W9829. 34838. 04075. 82W如何分類？如何分類？ 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí) 表 示 屬 于 叉 類 ，t(2)=0.1表示屬于圓點(diǎn)類。 22對(duì)訓(xùn)練樣本（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2 () 3 () 3 ,

34、 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取?。?）計(jì)算 ( )(1)( )( )1( , )( , )( )plppplllwi jwi jajxexf11)(因?yàn)?所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat

35、2222)1 (exp(1/()1 (exp()1 () 1 (uuat()()()()( )( )( )( )pLpppLLitiaif ui1( )( )( )(1)111( )( )( )( , )11lplNpppllljif uij wj ilL L=2計(jì)算 2(1, )Wj1() i(5) 計(jì)算 和 1(, ):W i j1( ) i22222(1)(1, )exp(1)/(1 exp(1)Wiuu1110( , )( , )( )( )W i jW i ji ajj=1,2,3, i=1,2,3, 2221(1, )(1, )(1)( )WjWjajj=1,2,3（4）取 （或其

36、他正數(shù)，可調(diào)整大?。?1 . 0 直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了200圈，迭代了4400次。 最后結(jié)果是：11.91950.978013.46240.54241.69947.3219W25.80016.07787.3219W 數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。 比較典型的題目有：DNA序列分類題（2000年全國(guó)賽A題），癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競(jìng)賽），乳房癌的診斷題（2001年全國(guó)大學(xué)生數(shù)學(xué)建模夏令營(yíng)C題）神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用 DNA序列模式分類問(wèn)題 假定已知兩組人工已分類的DNA序列（20個(gè)已知類別的人工制造的序列），其中序列標(biāo)號(hào)110 為A類，

37、11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法，并且還要衡量所用分類方法的好壞，從而構(gòu)造或選擇一種較好的分類方法。測(cè)試對(duì)象是20個(gè)未標(biāo)明類別的人工序列（標(biāo)號(hào)2140）和182個(gè)自然DNA序列。例如A類： a1=aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg;b1=gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttag

38、gtaagtaatccaacgtttttattactttttaaaattaaatatttatt;我們用前20組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來(lái)計(jì)算未知數(shù)據(jù)，便能得到分類的結(jié)果。 文件給出了一個(gè)114個(gè)基因, 60個(gè)人的基因表達(dá)水平的樣本. 其中前20個(gè)是癌癥病人的基因表達(dá)水平的樣本(其中還可能有子類), 其后的是20個(gè)正常人的基因表達(dá)信息樣本, 其余的20個(gè)是待檢測(cè)的樣本(未知它們是否正常). (1).試設(shè)法找出描述癌癥與正常樣本在基因表達(dá)水平上的區(qū)別, 建立數(shù)學(xué)模型,及識(shí)別方法,去預(yù)測(cè)待檢測(cè)樣本是癌癥還是正常樣本. 癌癥判斷題（癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競(jìng)賽）年北京大學(xué)數(shù)學(xué)

39、建模競(jìng)賽）我們用前40組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來(lái)計(jì)算后20組數(shù)據(jù)，便能得到分類的結(jié)果。神經(jīng)的網(wǎng)絡(luò)應(yīng)用神經(jīng)的網(wǎng)絡(luò)應(yīng)用 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 語(yǔ)音識(shí)別 語(yǔ)音識(shí)別娃娃 圖像識(shí)別與理解 人臉檢測(cè)(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過(guò)程使之不發(fā)生“過(guò)擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。(2) 盡量獲取足夠多的樣本，它的多少直接關(guān)系到所建模型的可靠性。建議建議(3) 建模時(shí)盡量減少隱含層神經(jīng)元的個(gè)數(shù)。由于隱含層神經(jīng)元個(gè)數(shù)的確定是憑

40、經(jīng)驗(yàn)的，而個(gè)數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個(gè)數(shù)太少，網(wǎng)絡(luò)容易陷入局部極小值；太多，則網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個(gè)數(shù)的確定利用“試錯(cuò)法”來(lái)實(shí)現(xiàn)，即先給定一個(gè)較小的值，根據(jù)訓(xùn)練的結(jié)果逐漸增加，這樣可找到適合該模型隱含層神經(jīng)元個(gè)數(shù)的最小值，從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4) 將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點(diǎn)，多種方法的結(jié)合可改善單一方法所存在的缺陷。 前饋網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)公式 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練

41、4、圖像的分類遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 學(xué)習(xí)樣本的獲取 類別：森林、峽谷、河流 學(xué)習(xí)樣本：每個(gè)類別人工選取64個(gè) 特征向量：RGB遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 網(wǎng)絡(luò)系統(tǒng)的確定 網(wǎng)絡(luò)層數(shù)：一般取為2層 輸入節(jié)點(diǎn)：與特征個(gè)數(shù)相同，取3 隱節(jié)點(diǎn)數(shù)量：根據(jù)經(jīng)驗(yàn)公式取為5 輸出節(jié)點(diǎn)：分為3類，取3jiWkjW遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類 隱層節(jié)點(diǎn)數(shù)的計(jì)算 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)213 33 (33) 12533 向上取整，保證分類性能！遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)

42、絡(luò)圖像分類過(guò)程經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的是Matlab 7.0 for Windows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國(guó)的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率. MATLAB交互界面BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能

43、函 數(shù) 名功 能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù) BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 newff() 功能 建立一個(gè)前向BP網(wǎng)絡(luò) 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 說(shuō)明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；TFl TF2TFN1表示網(wǎng)

44、絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF表示性能數(shù)默認(rèn)為mse ，誤差 。 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) 給定4組學(xué)習(xí)數(shù)據(jù)為輸入-1 -1 2 2;0 5 0 5,理想輸出-1 -1 1 1，試建立一個(gè)2層前向神經(jīng)網(wǎng)絡(luò)，第一層（隱層）由3個(gè)神經(jīng)元組成且用tansig函數(shù)，第二層用purelin函數(shù)。學(xué)習(xí)規(guī)則為traind。 輸入數(shù)據(jù)得PR= -1 2;0 5,隱層和輸出層分別有3個(gè)和1個(gè)神經(jīng)元， S1 S2= 3 1, Net=newff(PR，S1 S2，tansig,purelin，traingd) P= -1 -1 2 2;0 5 0 5, t= -1 -1 1 1 net,tr=train(net,p,t); a=sim(net,p)輸出命令輸