神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型以及算法簡介

1、關(guān)于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡介第一張，PPT共九十七頁，創(chuàng)作于2022年6月一、引例 1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00

2、 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第二張，PPT共九十七頁，創(chuàng)作于2022年6月問：若抓到三只新的蚊子，它們的觸角長和翼長分別為(1.24,1.80); (1.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個種類？ 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個蚊子的翼長和觸角決定了坐標(biāo)平面的一個點.其中 6個蚊子屬于 APf類；用黑點“”表示；9個蚊子屬 Af類；用小圓圈“?！北硎镜玫降慕Y(jié)果見圖1 圖1飛蠓的觸角長和翼長 一、引例 1989年美國大學(xué)生數(shù)學(xué)建模問題第三張，PPT共九十七頁，創(chuàng)作于2022年6月思路：例如；取A（1.44，2.10）和

3、B(1.10，1.16)，過A B兩點作一條直線： y 1.47x - 0.017其中x表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例 作一直線將兩類飛蠓分開第四張，PPT共九十七頁，創(chuàng)作于2022年6月分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 一、引例 第五張，PPT共九十七頁，創(chuàng)作于2022年6月缺陷：根據(jù)什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.

4、1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢？ 一、引例 A（1.44，2.10）第六張，PPT共九十七頁，創(chuàng)作于2022年6月再如，如下的情形能不能用分類直線的辦法呢？ 新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例 方法：馬氏距離判別法、Bayes判別法等第七張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)模型第八張，PPT共九十七頁，創(chuàng)作于2022年6月前言 所謂人工神經(jīng)網(wǎng)絡(luò)就

5、是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。 粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。第九張，PPT共九十七頁，創(chuàng)作于2022年6月生物神經(jīng)網(wǎng)基本工作機制：一個神經(jīng)元有兩種狀態(tài)興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進入突觸的信號會被加權(quán)，起興奮作用的信號為正，起

6、抑制作用的信號為負(fù)。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。第十張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)第十一張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出第十二張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：第十三張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元第十四張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息輸入第十五張，PPT共

7、九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播與處理：加權(quán)求和第十六張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播第十七張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播與處理第十八張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息輸出第十九張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)元的傳遞函數(shù)f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)例如，若取激發(fā)函數(shù)為符號函數(shù) 第二十張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)元的傳遞函數(shù)S型傳遞函數(shù)第二十一張，PPT共九十七頁，創(chuàng)作于2022年6月注：一個

8、神經(jīng)元含有與輸入向量維數(shù)相同個數(shù)的權(quán)系數(shù)，若將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有n-1個正常的輸入，則式也可表示為： 參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 ojx1-1x2第二十二張，PPT共九十七頁，創(chuàng)作于2022年6月簡單原理 人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識過程而開發(fā)出的一種算法。 假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對如何由輸入得到輸出的機理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個“網(wǎng)絡(luò)”，通過不斷地給這個網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點之間的權(quán)值來滿足輸入和輸出。這樣，

9、當(dāng)訓(xùn)練結(jié)束后，我們給定一個輸入，網(wǎng)絡(luò)便會根據(jù)自己已調(diào)節(jié)好的權(quán)值計算出一個輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。第二十三張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的作用網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過BP算法長時間的訓(xùn)練竟能正確讀出英語課本中 90的詞匯從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮。第二十四張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)基本特點 （1）可處理非線性 （2）并行結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運算都是同樣的這樣的結(jié)構(gòu)最便于計算機并行處理 （3）

10、具有學(xué)習(xí)和記憶能力一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則（4）對數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)如美國用 256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼第二十五張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)第二十六張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向

11、是從輸入層到各隱層再到輸出層逐層進行前饋型網(wǎng)絡(luò)第二十七張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。 常用的學(xué)習(xí)規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則 (最小均方差規(guī)則 )反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò) )Grosberg學(xué)習(xí)方法第二十八張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron） （2）多層前饋（BP）網(wǎng)絡(luò) （3）Hopfield網(wǎng)絡(luò) (優(yōu)化)（4）Boltzmann機（在BP中加入噪聲） （5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲） 第二十九

12、張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個黑匣子。1958年，美國心理學(xué)家Frank Rosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點。第三十張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單

13、層前向神經(jīng)網(wǎng)絡(luò)）j=1,2,m 輸出類別指示輸入樣本第三十一張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號函數(shù)第三十二張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2第三十三張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?) w1j x1+w2j x2 T

14、j = 0 w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c第三十四張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到 第三十五張，PPT共九十七頁，創(chuàng)作于2022年6月思路：例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點作一條直線： y 1.47x - 0.017其中x表示觸角長；y表示翼長 分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類；

15、如果y1.47x - 0.017；則判斷蚊子屬Af類 一、引例 作一直線將兩類飛蠓分開第三十六張，PPT共九十七頁，創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對線性可分問題具有分類能力。第三十七張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未) 1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitt 在提出了一個簡單的神經(jīng)元模型，即MP模型。

16、1958年，F(xiàn).Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮 1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò),他解決問題的方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì). 1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。第三十八張，PPT共九十七頁，創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP (Error Back Proragation，BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，

17、是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會由輸入輸出對組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)第三十九張，PPT共九十七頁，創(chuàng)作于2022年6月梯度法考慮無約束問題， 其中函數(shù)f(x)一階連續(xù)可導(dǎo)，梯度指對各個自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點x處以f(x)的負(fù)梯度方向進行搜索的一種優(yōu)化方法，其迭代公式，其中， 是從 出發(fā)的搜索方向，取最速下降方向第四十張，PPT共九十七頁，創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP 網(wǎng)絡(luò)模型輸入層隱層輸出層第四十一張，PPT共九十七頁，創(chuàng)作于2022年6月 網(wǎng)絡(luò)學(xué)習(xí)的目的是要使

18、網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學(xué)習(xí)規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BP神經(jīng)網(wǎng)絡(luò)模型 簡單網(wǎng)絡(luò)第四十二張，PPT共九十七頁，創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過程：正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第四十三張，PPT共九十七頁，創(chuàng)作于2022年6月假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出

19、對（Ip, Tp）,p=1,P, 其中輸入向量為 目標(biāo)輸出向量為（理論上的） 網(wǎng)絡(luò)輸出向量為 （實際上的） 簡單網(wǎng)絡(luò)的B-P算法第四十四張，PPT共九十七頁，創(chuàng)作于2022年6月（p=1,P） （2） 通常理論與實際有誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達最?。河汥elta學(xué)習(xí)規(guī)則: （4） （3） 表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率一般取值為0.10.3 簡單網(wǎng)絡(luò)的B-P算法記wij為從輸入向量的第j (j=1,m) 個分量到輸出向量的第i (i=1,n)個分量的權(quán)重。第四十五張，PPT共九十七頁，創(chuàng)作于2022年6月ipm= -1 , wim= (

20、第i個神經(jīng)元的閾值) （5）注：由（1） 式，第i個神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時 （6）簡單網(wǎng)絡(luò)的B-P算法第四十六張，PPT共九十七頁，創(chuàng)作于2022年6月訓(xùn)練用的性能指標(biāo)為最小求E的最小值，只需考慮EP達到最小的遞推算法第四十七張，PPT共九十七頁，創(chuàng)作于2022年6月求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。第四十八張，PPT共九十七頁，創(chuàng)作于2022年6月多層前饋網(wǎng)絡(luò) （l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第 k層有Nk個神經(jīng)元假設(shè)： (2) 設(shè)表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個元到第k層第i

21、個元的權(quán)重， 表第k層第i個元的輸出 有些文獻將輸入層作為一層第四十九張，PPT共九十七頁，創(chuàng)作于2022年6月（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個分量 假設(shè)： 第五十張，PPT共九十七頁，創(chuàng)作于2022年6月在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7） 其中k(i)表示第k層第i個元的閾值. ，f為S函數(shù)第五十一張，PPT共九十七頁，創(chuàng)作于2022年6月定理 對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函

22、數(shù)取 則每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為其中第五十二張，PPT共九十七頁，創(chuàng)作于2022年6月證明思路與簡單模型相同。不同的是這里具有隱層第五十三張，PPT共九十七頁，創(chuàng)作于2022年6月2層前饋神經(jīng)網(wǎng)絡(luò)單個神經(jīng)元節(jié)點第五十四張，PPT共九十七頁，創(chuàng)作于2022年6月反向一層傳播第五十五張，PPT共九十七頁，創(chuàng)作于2022年6月反向二層傳播某一隱層節(jié)點受所有輸出層節(jié)點影響第五十六張，PPT共九十七頁，創(chuàng)作于2022年6月B-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計

23、算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出。（4）計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法第五十七張，PPT共九十七頁，創(chuàng)作于2022年6月（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓(xùn)練樣例集中的每一個樣例重復(fù)35的步驟，直到對整個訓(xùn)練樣例集的誤差達到要求時為止。 在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。 反向傳播模型及其學(xué)習(xí)算法第五十八張，PPT共九十七頁，創(chuàng)作于2022年6月應(yīng)用 已知的兩類蚊子的數(shù)據(jù)如表1： 翼長 觸

24、角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目標(biāo)值0.90.90.90.10.90.90.90.1 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目標(biāo)t0.10.10.10.10.10.10.1 BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。第五十九張，PPT共九

25、十七頁，創(chuàng)作于2022年6月輸入數(shù)據(jù)有15個建模：兩層神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)第六十張，PPT共九十七頁，創(chuàng)作于2022年6月規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值 其中第六十一張，PPT共九十七頁，創(chuàng)作于2022年6月分析如下： 為第一層的輸出，同時作為第二層的輸入。其中， 為閾值， 為傳遞函數(shù)若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） 第六十二張，PPT共九十七頁，創(chuàng)作于2022年6月則有： 取傳遞函數(shù)為= 則同樣，取 第六十三張，PPT共九十七頁，創(chuàng)作于2022年6月（1）隨機給出兩個權(quán)矩陣的初

26、值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下： =rand(2,3); =rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 =第六十四張，PPT共九十七頁，創(chuàng)作于2022年6月?。?）計算 因為 所以 L=2計算 第六十五張，PPT共九十七頁，創(chuàng)作于2022年6月(5) 計算 和 j=1,2,3, i=1,2,3, j=1,2,3（4）取 （或其他正數(shù)，可調(diào)整大小） 第六十六張，PPT共九十七頁，創(chuàng)作于2022年6月(6) p=p+1，轉(zhuǎn)（2） 注：僅計算一圈（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205

27、次。最后結(jié)果是：第六十七張，PPT共九十七頁，創(chuàng)作于2022年6月如何分類？規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時表示屬于叉類，t(2)=0.1表示屬于圓點類。22對訓(xùn)練樣本第六十八張，PPT共九十七頁，創(chuàng)作于2022年6月（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下： =rand(2,3); =rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 =第六十九張，PPT共九十七頁，創(chuàng)作于2022年6月?。?）計算 因為 所以 L=2計算 第七十張，PPT共九十七頁，創(chuàng)作于2022年6月(5) 計算 和 j=1,2,3, i=1,2,3

28、, j=1,2,3（4）取 （或其他正數(shù)，可調(diào)整大?。?第七十一張，PPT共九十七頁，創(chuàng)作于2022年6月直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了200圈，迭代了4400次。最后結(jié)果是：第七十二張，PPT共九十七頁，創(chuàng)作于2022年6月 數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。 比較典型的題目有：DNA序列分類題（2000年全國賽A題），癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽），乳房癌的診斷題（2001年全國大學(xué)生數(shù)學(xué)建模夏令營C題）神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用第七十三張，PPT共九十七頁，創(chuàng)作于2022年6月 DNA序列模式分類問題 假定已知兩組人工已分類的DNA序列（20個已知

29、類別的人工制造的序列），其中序列標(biāo)號110 為A類，11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法，并且還要衡量所用分類方法的好壞，從而構(gòu)造或選擇一種較好的分類方法。測試對象是20個未標(biāo)明類別的人工序列（標(biāo)號2140）和182個自然DNA序列。例如A類： 第七十四張，PPT共九十七頁，創(chuàng)作于2022年6月a1=aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg;b1=gttagatttaac

30、gttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt;我們用前20組數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計算未知數(shù)據(jù)，便能得到分類的結(jié)果。第七十五張，PPT共九十七頁，創(chuàng)作于2022年6月 文件給出了一個114個基因, 60個人的基因表達水平的樣本. 其中前20個是癌癥病人的基因表達水平的樣本(其中還可能有子類), 其后的是20個正常人的基因表達信息樣本, 其余的20個是待檢測的樣本(未知它們是否正常). (1).試設(shè)法找出描述癌癥與正常樣本在基因表

31、達水平上的區(qū)別, 建立數(shù)學(xué)模型,及識別方法,去預(yù)測待檢測樣本是癌癥還是正常樣本. 癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽）我們用前40組數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計算后20組數(shù)據(jù)，便能得到分類的結(jié)果。第七十六張，PPT共九十七頁，創(chuàng)作于2022年6月神經(jīng)的網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 語音識別語音識別娃娃圖像識別與理解人臉檢測第七十七張，PPT共九十七頁，創(chuàng)作于2022年6月(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓(xùn)練樣本、檢驗樣

32、本（10%以上）和測試樣本（10%以上）3部分。(2) 盡量獲取足夠多的樣本，它的多少直接關(guān)系到所建模型的可靠性。建議第七十八張，PPT共九十七頁，創(chuàng)作于2022年6月(3) 建模時盡量減少隱含層神經(jīng)元的個數(shù)。由于隱含層神經(jīng)元個數(shù)的確定是憑經(jīng)驗的，而個數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個數(shù)太少，網(wǎng)絡(luò)容易陷入局部極小值；太多，則網(wǎng)絡(luò)的預(yù)測結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個數(shù)的確定利用“試錯法”來實現(xiàn)，即先給定一個較小的值，根據(jù)訓(xùn)練的結(jié)果逐漸增加，這樣可找到適合該模型隱含層神經(jīng)元個數(shù)的最小值，從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4) 將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點，多種方法的

33、結(jié)合可改善單一方法所存在的缺陷。第七十九張，PPT共九十七頁，創(chuàng)作于2022年6月前饋網(wǎng)絡(luò)隱層節(jié)點數(shù)經(jīng)驗公式 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)= 分類數(shù)+特征向量維數(shù)第八十張，PPT共九十七頁，創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練4、圖像的分類第八十一張，PPT共九十七頁，創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)樣本的獲取 類別：森林、峽谷、河流 學(xué)習(xí)樣本：每個類別人工選取64個 特征向量：第八十二張，PPT共九十七頁，創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)系統(tǒng)的確定

34、 網(wǎng)絡(luò)層數(shù)：一般取為2層 輸入節(jié)點：與特征個數(shù)相同，取3 隱節(jié)點數(shù)量：根據(jù)經(jīng)驗公式取為5 輸出節(jié)點：分為3類，取3第八十三張，PPT共九十七頁，創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類隱層節(jié)點數(shù)的計算 分類數(shù)特征向量維數(shù)+1/2分類數(shù)（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)= 分類數(shù)+特征向量維數(shù)向上取整，保證分類性能！第八十四張，PPT共九十七頁，創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)絡(luò)圖像分類過程經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)第八十五張，PPT共九十七頁，創(chuàng)作于2022年6月MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)

35、練過程中使用的是Matlab 7.0 for Windows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實用有效的科研編程軟件環(huán)境，又是一種進行科學(xué)和工程計算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率. 第八十六張，PPT共九十七頁，創(chuàng)作于2022年6月MATLAB交互界面第八十七張，PPT共九十七頁，創(chuàng)作于2022年6月BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本

36、功能 函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)第八十八張，PPT共九十七頁，創(chuàng)作于2022年6月 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個前向BP網(wǎng)絡(luò)格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸

37、出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF表示性能數(shù)默認(rèn)為mse ，誤差 。 第八十九張，PPT共九十七頁，創(chuàng)作于2022年6月 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)給定4組學(xué)習(xí)數(shù)據(jù)為輸入-1 -1 2 2;0 5 0 5,理想輸出-1 -1 1 1，試建立一個2層前向神經(jīng)網(wǎng)絡(luò)，第一層（隱層）由3個神經(jīng)元組成且用tansig函數(shù)，第二層用purelin函數(shù)。學(xué)習(xí)規(guī)則為traind。輸入數(shù)據(jù)得PR= -1 2;0 5,隱層和輸出層分別有3

38、個和1個神經(jīng)元， S1 S2= 3 1,Net=newff(PR，S1 S2，tansig,purelin，traingd)P= -1 -1 2 2;0 5 0 5,t= -1 -1 1 1net,tr=train(net,p,t); a=sim(net,p)輸出命令第九十張，PPT共九十七頁，創(chuàng)作于2022年6月輸入向量 P = 0 1 2 3 4 5 6 7 8 9 10;期望輸出 T = 0 1 2 3 4 3 2 1 2 3 4;例：net = newff ( 0 10, 5 1, tansig, purelin );Y = sim(net,P);plot(P,T,P,Y,o)創(chuàng)建兩層的BP網(wǎng)絡(luò)第九十一張，PPT共九十七頁，創(chuàng)作于2022年6月Y = -2.3431 -2.7532 -2.4510 -1.2784 -0.8590 -0.2981 0.2495 0.4811 1.0375 1.2268 1.4232T = 0 1 2 3 4 3 2 1 2 3 4; % 期望輸出第一種情況的輸出結(jié)果：誤差很大！未訓(xùn)練，非線性映射能力差。