數(shù)學(xué)建模（方紅）教學(xué) 22人工神經(jīng)網(wǎng)絡(luò)ppt課件

1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)華中農(nóng)業(yè)大學(xué)數(shù)學(xué)建?；叵盗姓n件華中農(nóng)業(yè)大學(xué)數(shù)學(xué)建?；叵盗姓n件內(nèi)容提要內(nèi)容提要神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與Matlab相應(yīng)的語法引見相應(yīng)的語法引見參數(shù)的選取原那么參數(shù)的選取原那么神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見引引 言言 利用機(jī)器模擬人類的智能是長期以來人們認(rèn)識自利用機(jī)器模擬人類的智能是長期以來人們認(rèn)識自然、改造自然和認(rèn)識本身的理想。然、改造自然和認(rèn)識本身的理想。 研討研討ANN目的：目的： 1探求和模擬人的覺得、思想和行為的規(guī)律，探求和模擬人的覺得、思想和行為的規(guī)律，設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。設(shè)計(jì)具

2、有人類智能的計(jì)算機(jī)系統(tǒng)。 2討論人腦的智能活動(dòng)，用物化了的智能來討論人腦的智能活動(dòng)，用物化了的智能來調(diào)查和研討人腦智能的物質(zhì)過程及其規(guī)律。調(diào)查和研討人腦智能的物質(zhì)過程及其規(guī)律。 ANN的研討內(nèi)容的研討內(nèi)容神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見實(shí)際研討：實(shí)際研討：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描畫上描畫ANN的動(dòng)力學(xué)過程，建立相應(yīng)的的動(dòng)力學(xué)過程，建立相應(yīng)的ANN模型，模型，在該模型的根底上，對于給定的學(xué)習(xí)樣本，找出在該模型的根底上，對于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，

3、使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)要求互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)要求的算法。的算法。實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生物等實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。運(yùn)用的研討：討論如何運(yùn)用運(yùn)用的研討：討論如何運(yùn)用ANN處理實(shí)踐問題，處理實(shí)踐問題，如方式識別、缺點(diǎn)檢測、智能機(jī)器人等。如方式識別、缺點(diǎn)檢測、智能機(jī)器人等。 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見研討研討ANN方法方法生理構(gòu)造的模擬：生理構(gòu)造的模擬： 用仿生學(xué)觀念，探求人腦的生理構(gòu)造，用仿生學(xué)觀念，探求人腦的生理構(gòu)造，把對人腦的微觀構(gòu)造及其智能行為的研討結(jié)合把

4、對人腦的微觀構(gòu)造及其智能行為的研討結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)起來即人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Netwroks，簡稱，簡稱ANN方法。方法。宏觀功能的模擬：宏觀功能的模擬： 從人的思想活動(dòng)和智能行為的心思學(xué)從人的思想活動(dòng)和智能行為的心思學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對人腦智能進(jìn)展特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對人腦智能進(jìn)展宏觀功能的模擬，即符號處置方法。宏觀功能的模擬，即符號處置方法。神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見ANN研討的目的和意義研討的目的和意義經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了解經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)絡(luò)和相互作用的機(jī)理

5、，從而提示思想它們相互聯(lián)絡(luò)和相互作用的機(jī)理，從而提示思想的本質(zhì)，探求智能的根源。的本質(zhì)，探求智能的根源。爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算機(jī)，爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算機(jī)，即即ANN計(jì)算機(jī)。計(jì)算機(jī)。研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在方式研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在方式識別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)算識別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)算機(jī)所難以到達(dá)的效果。機(jī)所難以到達(dá)的效果。 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)研討的開展神經(jīng)網(wǎng)絡(luò)研討的開展第一次熱潮第一次熱潮(40-60年代末年代末) 1943年年,美國心思學(xué)家美國心思學(xué)

6、家W.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡單的神經(jīng)元模型，即在提出了一個(gè)簡單的神經(jīng)元模型，即MP模模型。型。1958年，年，F(xiàn).Rosenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron。低潮低潮(70-80年代初年代初)第二次熱潮第二次熱潮 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò).他處理問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程他處理問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程,這這是符號邏輯處置方法所不具備的性質(zhì)是符號邏輯處置方法所不具備的性質(zhì).

7、 1987年首屆年首屆國際國際ANN大會(huì)在圣地亞哥召開，國際大會(huì)在圣地亞哥召開，國際ANN結(jié)合會(huì)結(jié)合會(huì)成立，興辦了多種成立，興辦了多種ANN國際刊物。國際刊物。1990年年12月，月，北京召開首屆學(xué)術(shù)會(huì)議。北京召開首屆學(xué)術(shù)會(huì)議。神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見人工神經(jīng)網(wǎng)絡(luò)研討的局限性人工神經(jīng)網(wǎng)絡(luò)研討的局限性1ANN研討遭到腦科學(xué)研討成果的限制。研討遭到腦科學(xué)研討成果的限制。 2ANN短少一個(gè)完好、成熟的實(shí)際體系。短少一個(gè)完好、成熟的實(shí)際體系。3ANN研討帶有濃重的戰(zhàn)略和閱歷顏色。研討帶有濃重的戰(zhàn)略和閱歷顏色。4ANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 人工神經(jīng)

8、網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 什么是人工神經(jīng)網(wǎng)絡(luò)？什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：的定義：“人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)網(wǎng)絡(luò)是由 具有具有順應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，順應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織可以模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物它的組織可以模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物體所作出的交互反響。體所作出的交互反響。 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)元與神經(jīng)網(wǎng)絡(luò)神經(jīng)元與神經(jīng)網(wǎng)絡(luò)大腦可視作為大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 圖圖1 神經(jīng)元的解剖圖神經(jīng)元的解

9、剖圖神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)元的信息傳送和處置是一種電化學(xué)活動(dòng)樹神經(jīng)元的信息傳送和處置是一種電化學(xué)活動(dòng)樹突由于電化學(xué)作用接受外界的刺激；經(jīng)過胞體內(nèi)突由于電化學(xué)作用接受外界的刺激；經(jīng)過胞體內(nèi)的活動(dòng)表達(dá)為軸突電位，當(dāng)軸突電位到達(dá)一定的的活動(dòng)表達(dá)為軸突電位，當(dāng)軸突電位到達(dá)一定的值那么構(gòu)成神經(jīng)脈沖或動(dòng)作電位；再經(jīng)過軸突末值那么構(gòu)成神經(jīng)脈沖或動(dòng)作電位；再經(jīng)過軸突末梢傳送給其它的神經(jīng)元從控制論的觀念來看；梢傳送給其它的神經(jīng)元從控制論的觀念來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過程的動(dòng)態(tài)過程神經(jīng)元任務(wù)原理神經(jīng)元任務(wù)原理

10、神經(jīng)網(wǎng)絡(luò)研討的兩個(gè)方面神經(jīng)網(wǎng)絡(luò)研討的兩個(gè)方面從生理上、解剖學(xué)上進(jìn)展研討從生理上、解剖學(xué)上進(jìn)展研討從工程技術(shù)上、算法上進(jìn)展研討從工程技術(shù)上、算法上進(jìn)展研討神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見腦神經(jīng)信息活動(dòng)的特征腦神經(jīng)信息活動(dòng)的特征巨量并行性；巨量并行性；信息處置和存儲(chǔ)單元結(jié)合在一同；信息處置和存儲(chǔ)單元結(jié)合在一同；自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本模型神經(jīng)網(wǎng)絡(luò)根本模型細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸圖圖2 神經(jīng)網(wǎng)絡(luò)的根本模型神經(jīng)網(wǎng)絡(luò)的根本模型神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神

11、經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 圖圖3 3 神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見xx1，xmT 輸入向量，輸入向量，y為輸出，為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：miiixwfy1)(注：其中注：其中為閾值，為閾值，f fX X是激發(fā)函數(shù)；它可以是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)是線性函數(shù)，也可以是非線性函數(shù) 神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見幾種常用的作用函數(shù)幾種常用的作用函數(shù)閥值型硬限制型閥值型硬限制型)

12、) 線性型線性型S S型函數(shù)型函數(shù)SigmoidSigmoid輻射基函數(shù)輻射基函數(shù)閥值型一硬限制型閥值型一硬限制型)0* 0 0* 1 )*(bPWbPWbPWfA神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見0* 1 0* 1 )*(bPWbPWbPWfA閥值型二硬限制型閥值型二硬限制型)線性型線性型全線性全線性bPWbPWfA*)*(神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見正線性正線性0* 0 0*n )*(bPWbPWbPWfA神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原

13、理和思想引見S型函數(shù)型函數(shù)Sigmoid對數(shù)正切對數(shù)正切 y=1/(e-n+1) y=1/(e-n+1)雙曲正切雙曲正切 y=tanh(n) y=tanh(n)神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見輻射基函數(shù)輻射基函數(shù)高斯函數(shù)高斯函數(shù)神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見三角波函數(shù)三角波函數(shù)神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 眾多神經(jīng)元之間組合構(gòu)成神經(jīng)網(wǎng)絡(luò)，例如以下眾多神經(jīng)元之間組合構(gòu)成神經(jīng)網(wǎng)絡(luò)，例如以下圖的含有中間層隱層的圖的含有中間層隱層的B-PB-P網(wǎng)絡(luò)網(wǎng)

14、絡(luò) 圖圖4 B-P4 B-P神經(jīng)網(wǎng)絡(luò)表示圖神經(jīng)網(wǎng)絡(luò)表示圖神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本模型神經(jīng)網(wǎng)絡(luò)根本模型圖圖5 5 神經(jīng)網(wǎng)絡(luò)根本模型表示神經(jīng)網(wǎng)絡(luò)根本模型表示圖圖神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見 該算法的學(xué)習(xí)過程由正向傳播和反向傳播該算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處置，并傳向輸出層。每一層神經(jīng)元隱含層逐層處置，并傳向輸出層。每一層神經(jīng)元的形狀只影響下一層神經(jīng)元的形狀。假設(shè)輸出層的形狀只影響下一層神經(jīng)元的形狀。假設(shè)輸出層得不到期望的輸出，那么轉(zhuǎn)入

15、反向傳播，將誤差得不到期望的輸出，那么轉(zhuǎn)入反向傳播，將誤差信號沿原來的銜接通道前往，經(jīng)過修正各層神經(jīng)信號沿原來的銜接通道前往，經(jīng)過修正各層神經(jīng)元的權(quán)值，使得誤差信號最小。元的權(quán)值，使得誤差信號最小。BP神經(jīng)網(wǎng)絡(luò)根本思想神經(jīng)網(wǎng)絡(luò)根本思想神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見Matlab方式方式描畫輸出與加權(quán)系數(shù)的關(guān)系描畫輸出與加權(quán)系數(shù)的關(guān)系神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見I/O 關(guān)系關(guān)系I-H a 1 = tansig (IW 1,1 p 1 +b 1 )tansig(x)=tanh(x)=(ex-e-x)/(ex+e-x)H-O a 2 = purelin (

16、LW 2,1 a 1 +b 2 )輸入層神經(jīng)元個(gè)數(shù)輸入層神經(jīng)元個(gè)數(shù)n隱含層神經(jīng)元個(gè)數(shù)隱含層神經(jīng)元個(gè)數(shù)s1輸出層神經(jīng)元個(gè)數(shù)輸出層神經(jīng)元個(gè)數(shù)s2神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見學(xué)習(xí)訓(xùn)練學(xué)習(xí)訓(xùn)練o輸入輸入q組樣本組樣本p1,p2,.,pq piRno期望輸出期望輸出 T1,T2,.,Tq, T Rs2o網(wǎng)絡(luò)輸出網(wǎng)絡(luò)輸出a1,a2,.,aq aRs2o p1t1, p2t2, pQtQ,Fx E e2=E ta2=均方誤差均方誤差Fx EeTe=Et aTt a=向量情況向量情況Fx tk ak Ttk ak eTk ek =神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見優(yōu)化

17、目的：誤差最小優(yōu)化目的：誤差最小本質(zhì)為一個(gè)優(yōu)化問題本質(zhì)為一個(gè)優(yōu)化問題處理思緒處理思緒1: 1: 梯度法梯度法(gradient)(gradient) 找出誤差與加權(quán)系數(shù)的關(guān)系找出誤差與加權(quán)系數(shù)的關(guān)系 得到加權(quán)系數(shù)改動(dòng)的規(guī)律得到加權(quán)系數(shù)改動(dòng)的規(guī)律神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)的主要用途神經(jīng)網(wǎng)絡(luò)的主要用途函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練網(wǎng)絡(luò)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練網(wǎng)絡(luò)逼近某個(gè)函數(shù)；逼近某個(gè)函數(shù)；方式識別：用一個(gè)特定的輸出矢量將它與輸入矢量方式識別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)絡(luò)起來；聯(lián)絡(luò)起來；分類：把輸入矢量以所定義的適宜的方法進(jìn)展分類

18、；分類：把輸入矢量以所定義的適宜的方法進(jìn)展分類；數(shù)據(jù)緊縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。數(shù)據(jù)緊縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。 小結(jié)：普通而言小結(jié)：普通而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只需只需當(dāng)常規(guī)方法處理不了或效果不佳時(shí)當(dāng)常規(guī)方法處理不了或效果不佳時(shí)ANN方法才干顯示出其優(yōu)越方法才干顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如缺點(diǎn)診斷、特征提取和預(yù)測等問題如缺點(diǎn)診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工往往是最有利的工具。另一方面具。另一方面, ANN對處置

19、大量原始數(shù)據(jù)而不能用規(guī)那么或公對處置大量原始數(shù)據(jù)而不能用規(guī)那么或公式描畫的問題式描畫的問題, 表現(xiàn)出極大的靈敏性和自順應(yīng)性。表現(xiàn)出極大的靈敏性和自順應(yīng)性。神經(jīng)網(wǎng)絡(luò)根本原理和思想引見神經(jīng)網(wǎng)絡(luò)根本原理和思想引見實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見例例1 1：蚊子的分類：蚊子的分類 1981年生物學(xué)家格假設(shè)根年生物學(xué)家格假設(shè)根W Grogan和維什和維什WWirth發(fā)現(xiàn)了兩類蚊子發(fā)現(xiàn)了兩類蚊子(或飛蠓或飛蠓midges)他他們丈量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)們丈量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：據(jù)如下：翼長翼長 觸角長觸角長 類別類別 1.

20、64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長翼長 觸角長觸角長 類別類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見問：假設(shè)抓到三只新的蚊子，它們的觸角長和翼長問：假設(shè)抓到三只新的蚊子，它們的觸角長和翼長 分別為分別為(l.24,1

21、.80); (l.28(l.24,1.80); (l.28，1.84)1.84)；1.401.40，2.042.04問它們應(yīng)分別屬于哪一個(gè)種類？問它們應(yīng)分別屬于哪一個(gè)種類？ 解法一：解法一： 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決議了坐標(biāo)平面的一個(gè)點(diǎn)蚊子的翼長和觸角決議了坐標(biāo)平面的一個(gè)點(diǎn). .其其中中 6 6個(gè)蚊子屬于個(gè)蚊子屬于 APf APf類；用黑點(diǎn)類；用黑點(diǎn)“表示；表示；9 9個(gè)蚊子屬個(gè)蚊子屬 Af Af類；用小圓圈類；用小圓圈“。表示。表示 得到的結(jié)果見圖得到的結(jié)果見圖1 1 圖圖6 6飛蠓的觸角長和翼長飛蠓的觸角長和翼長 實(shí)

22、踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見思緒：作不斷線將兩類飛蠓分開思緒：作不斷線將兩類飛蠓分開 例如；取例如；取A1.44，2.10和和 B(1.10，1.16)，過過A B兩點(diǎn)作一條直線：兩點(diǎn)作一條直線： y 1.47x - 0.017其中其中x表示觸角長；表示觸角長；y表示翼長表示翼長 分類規(guī)那么：設(shè)一個(gè)蚊子的數(shù)據(jù)為分類規(guī)那么：設(shè)一個(gè)蚊子的數(shù)據(jù)為x, yx, y 假設(shè)假設(shè)y1.47x - 0.017y1.47x - 0.017，那么判別蚊子屬，那么判別蚊子屬ApfApf類；類； 假設(shè)假設(shè)y y1.47x - 0.0171.47x - 0.017；那么判別蚊子

23、屬；那么判別蚊子屬AfAf類類 實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見 分類結(jié)果：分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于屬于Af類；類；(1.40，2.04屬于屬于 Apf類類圖圖7 7 分類直線圖分類直線圖 實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見 缺陷：根據(jù)什么原那么確定分類直線？缺陷：根據(jù)什么原那么確定分類直線？ 假設(shè)取假設(shè)取A=(1.46,2.10), B=(1.1,1.6)A=(1.46,2.10), B=(1.1,1.6)不變，那么不變，那么分類直線變?yōu)榉诸愔本€變?yōu)?y=1.39x+0.071y

24、=1.39x+0.071分類結(jié)果變?yōu)椋悍诸惤Y(jié)果變?yōu)椋?(1.24,1.80) (1.24,1.80)， (1.40,2.04) (1.40,2.04) 屬于屬于ApfApf類；類； (1.28,1.84) (1.28,1.84)屬于屬于AfAf類類 哪一分類直線才是正確的呢？哪一分類直線才是正確的呢？ 因此如何來確定這個(gè)判別直線是一個(gè)值得研討的因此如何來確定這個(gè)判別直線是一個(gè)值得研討的問題普通地講，應(yīng)該充分利用知的數(shù)據(jù)信息來問題普通地講，應(yīng)該充分利用知的數(shù)據(jù)信息來確定判別直線確定判別直線實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見再如，如下的情形曾經(jīng)不能用分類直線的

25、方法：再如，如下的情形曾經(jīng)不能用分類直線的方法： 新思緒：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為新思緒：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研討輸入與輸出的輸入，飛蠓的類型作為輸出，研討輸入與輸出的關(guān)系。關(guān)系。實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見輸入數(shù)據(jù)有輸入數(shù)據(jù)有1515個(gè)，即個(gè)，即 , p=1,15; j=1, 2; , p=1,15; j=1, 2; 對應(yīng)對應(yīng)1515個(gè)輸出。個(gè)輸出。建模：輸入層，中間層，輸出層，每層的元素建模：輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？應(yīng)取多少個(gè)？建立神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò) 例例2 2 下表為某藥

26、品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三層層BPBP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)展預(yù)測：輸入層有三個(gè)神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)展預(yù)測：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5 5，隱含層的激活函數(shù)為，隱含層的激活函數(shù)為tansigtansig；輸出層結(jié)點(diǎn)數(shù)為；輸出層結(jié)點(diǎn)數(shù)為1 1個(gè)，輸出層的激活函數(shù)為個(gè)，輸出層的激活函數(shù)為logsiglogsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進(jìn)展預(yù)測，預(yù)，并利用此網(wǎng)絡(luò)對藥品的銷售量進(jìn)展預(yù)測，預(yù)測方法采用滾動(dòng)預(yù)測方式，即用前三個(gè)月的銷售量來測方法采用滾動(dòng)預(yù)測方式，即用前三個(gè)月的銷售量來預(yù)測第四個(gè)月的銷售量，如用預(yù)測第四個(gè)月的銷

27、售量，如用1 1、2 2、3 3月的銷售量為月的銷售量為輸入預(yù)測第輸入預(yù)測第4 4個(gè)月的銷售量，用個(gè)月的銷售量，用2 2、3 3、4 4月的銷售量為月的銷售量為輸入預(yù)測第輸入預(yù)測第5 5個(gè)月的銷售量個(gè)月的銷售量. .如此反復(fù)直至滿足預(yù)測精如此反復(fù)直至滿足預(yù)測精度要求為止。度要求為止。 數(shù)據(jù)如下：數(shù)據(jù)如下：實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556BP神經(jīng)

28、網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)實(shí)現(xiàn)%以每三個(gè)月的銷售量經(jīng)歸一化處置后作為輸入以每三個(gè)月的銷售量經(jīng)歸一化處置后作為輸入P = 0.5152 0.8173 1.0000 0.7308 0.0 0.1087 0.8173 1.0000 0.7308 0.0 0.1087 0.3520 1.0000 0.7308 0.0 0.1087 0.3520 0;%以第四個(gè)月的銷售以第四個(gè)月的銷售量歸一化處置后作為目的向量量歸一化處置后作為目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個(gè)創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)，每一個(gè)輸入向量的取值范圍為神經(jīng)網(wǎng)絡(luò)

29、，每一個(gè)輸入向量的取值范圍為0 ,1，隱含層，隱含層有有5個(gè)神經(jīng)個(gè)神經(jīng)%元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)節(jié)中所描畫的規(guī)范學(xué)習(xí)算法中所描畫的規(guī)范學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net

30、=train(net,P,T); sim(net,P)plot(i,T,B+,i,ans,g*)實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)實(shí)現(xiàn)BP網(wǎng)絡(luò)運(yùn)用于藥品預(yù)測對比圖網(wǎng)絡(luò)運(yùn)用于藥品預(yù)測對比圖由對比圖可以看出預(yù)測效果與實(shí)踐存在一定誤差，由對比圖可以看出預(yù)測效果與實(shí)踐存在一定誤差，此誤差可以經(jīng)過添加運(yùn)轉(zhuǎn)步數(shù)和提高預(yù)設(shè)誤差精此誤差可以經(jīng)過添加運(yùn)轉(zhuǎn)步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步減少度業(yè)進(jìn)一步減少實(shí)踐運(yùn)用與實(shí)踐運(yùn)用與MatlabMatlab相應(yīng)的語法引見相應(yīng)的語法引見參數(shù)的選取原那參數(shù)的選取原那么么BP算法不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，還可有算法不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，還可有1個(gè)或多個(gè)個(gè)或多個(gè)隱含層節(jié)點(diǎn)。實(shí)際上，三層前饋網(wǎng)絡(luò)能充分描畫復(fù)雜的非線性隱含層節(jié)點(diǎn)。實(shí)際上，三層前饋網(wǎng)絡(luò)能充分描畫復(fù)雜的非線性系統(tǒng)。所以網(wǎng)絡(luò)普通由輸入層、中間層隱含層、輸出層三系統(tǒng)。所以網(wǎng)絡(luò)普通由輸入層、中間層隱含層、輸出層三層構(gòu)成。層構(gòu)成。網(wǎng)絡(luò)節(jié)點(diǎn)網(wǎng)絡(luò)節(jié)點(diǎn) 網(wǎng)絡(luò)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)就是系統(tǒng)的特征因子網(wǎng)絡(luò)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)就是系統(tǒng)的特征因子(自自變量變量)個(gè)數(shù)，輸出層神經(jīng)元節(jié)點(diǎn)數(shù)就是系統(tǒng)目的個(gè)數(shù)。隱層節(jié)點(diǎn)個(gè)數(shù)