年數(shù)模培訓(xùn)-人工神經(jīng)網(wǎng)絡(luò)

2020年數(shù)模培訓(xùn)——人工神經(jīng)網(wǎng)絡(luò)一.什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型。二.ANN能干什么？擬合預(yù)測(cè)分類(lèi)聚類(lèi)分析(函數(shù)逼近)數(shù)學(xué)近似映射三.神經(jīng)網(wǎng)絡(luò)模型和網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元模型連接方式學(xué)習(xí)方式網(wǎng)絡(luò)結(jié)構(gòu)四、建立和應(yīng)用神經(jīng)網(wǎng)絡(luò)的步驟

（1）網(wǎng)絡(luò)結(jié)構(gòu)的確定 包含網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和每個(gè)神經(jīng)元相應(yīng)函數(shù)的選取；（2）權(quán)值和閾值的確定 通過(guò)學(xué)習(xí)得到，為有指導(dǎo)的學(xué)習(xí)，也就是利用已知的一組正確的輸入、輸出數(shù)據(jù)，調(diào)整權(quán)和閾值使得網(wǎng)絡(luò)輸出與理想輸出偏差盡量小；（3）工作階段 用帶有確定權(quán)重和閾值的神經(jīng)網(wǎng)絡(luò)解決實(shí)際問(wèn)題的過(guò)程，也叫模擬（simulate）。

神經(jīng)元大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)圖1神經(jīng)元的解剖圖神經(jīng)元神經(jīng)元模型圖中，xi(i＝1，2，…，n)為加于輸入端(突觸)上的輸入信號(hào)；ωi為相應(yīng)的突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度的—個(gè)比例系數(shù),∑表示突觸后信號(hào)的空間累加；θ表示神經(jīng)元的閾值，σ表示神經(jīng)元的激勵(lì)函數(shù)。該模型的數(shù)學(xué)表達(dá)式為：其中x＝（x1，…xm）T輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（X）是激勵(lì)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．例如，若記

取激發(fā)函數(shù)為符號(hào)函數(shù)

則

S型激發(fā)函數(shù)：

根據(jù)激勵(lì)函數(shù)的不同，人工神經(jīng)元有以下幾種類(lèi)型：人工神經(jīng)網(wǎng)絡(luò)連接的基本形式：(1)前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最右一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類(lèi)型。反饋前向網(wǎng)絡(luò)網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。內(nèi)層互連前饋網(wǎng)絡(luò)通過(guò)層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類(lèi)型?；ミB網(wǎng)絡(luò)互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類(lèi)型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí))無(wú)教師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí))人工神經(jīng)元模型結(jié)構(gòu)由此構(gòu)成人工神經(jīng)元的一般模型，如下圖所示。上式可寫(xiě)成矩陣向量形式：a=f(Wp+b)單隱層網(wǎng)絡(luò)結(jié)構(gòu)多層網(wǎng)絡(luò)結(jié)構(gòu)多層網(wǎng)絡(luò)的簡(jiǎn)化表示:四.BP網(wǎng)絡(luò)1、BP網(wǎng)絡(luò)建模方法和步驟2、BP網(wǎng)絡(luò)程序?qū)崿F(xiàn)BP網(wǎng)絡(luò)是采用誤差反向傳播學(xué)習(xí)算法的一種多層前向網(wǎng)絡(luò)。如圖BP算法原理具體內(nèi)容不講，感興趣的同學(xué)可以查閱《神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)》假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip,Tp）,p=1,…,P,其中

輸入向量為:目標(biāo)輸出向量為（實(shí)際上的）:

網(wǎng)絡(luò)輸出向量為

（理論上的）

（p=1,…,P）

（2）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱(chēng)為學(xué)習(xí)的速率

ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）1、BP網(wǎng)絡(luò)建模方法和步驟BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力并行分布處理方式自學(xué)習(xí)和自適應(yīng)能力數(shù)據(jù)融合的能力多變量系統(tǒng)1）原始數(shù)據(jù)的輸入；2)數(shù)據(jù)歸一化；3）網(wǎng)絡(luò)建立以及訓(xùn)練；4）對(duì)原始數(shù)據(jù)進(jìn)行仿真；5）將原始數(shù)據(jù)仿真的結(jié)果與已知樣本進(jìn)行對(duì)比；6）對(duì)新數(shù)據(jù)進(jìn)行仿真。1.樣本數(shù)據(jù)處理（1）樣本分類(lèi)：訓(xùn)練樣本、檢驗(yàn)樣本、測(cè)試樣本（2）預(yù)處理——?dú)w一化方法：標(biāo)準(zhǔn)化、極差變換等原則：有效避開(kāi)Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在0~1之間（0.2~0.8最好）注意：預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。2.建立BP網(wǎng)絡(luò)（1）確定輸入和輸出（2）確定網(wǎng)絡(luò)結(jié)構(gòu)（幾個(gè)隱層？隱層神經(jīng)元個(gè)數(shù)多少？）為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿(mǎn)足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。3.設(shè)置網(wǎng)絡(luò)參數(shù)1）設(shè)置初始連接權(quán)值BP算法決定了誤差函數(shù)一般存在多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值.由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.5~0.5之間比較有效.2)設(shè)置BP（改進(jìn)）算法的參數(shù)應(yīng)用最廣的帶動(dòng)量的梯度下降法或是LM算法為避免陷入局部極小值，學(xué)習(xí)率和動(dòng)量系數(shù)的選擇一般要求：——學(xué)習(xí)率通常在0.01~0.8之間；——?jiǎng)恿肯禂?shù)通常在0~1之間，而且一般比學(xué)習(xí)率要大。4.網(wǎng)絡(luò)訓(xùn)練目的是什么？怎么實(shí)現(xiàn)的？BP網(wǎng)絡(luò)的訓(xùn)練就是通過(guò)應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。BP算法是局部?jī)?yōu)化算法，容易陷入局部極小點(diǎn)，找不到最優(yōu)值。（梯度下降法等）在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿(mǎn)意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系）的問(wèn)題，經(jīng)驗(yàn)很重要——“藝術(shù)創(chuàng)造的過(guò)程”5.仿真并分析網(wǎng)絡(luò)模型的泛化能力訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。因此，僅給出訓(xùn)練樣本誤差大小而不給出非訓(xùn)練樣本（檢驗(yàn)樣本、測(cè)試樣本）誤差大小是沒(méi)有任何意義的。要分析建立的網(wǎng)絡(luò)模型對(duì)樣本所蘊(yùn)含的規(guī)律的逼近情況——泛化能力，應(yīng)該用非訓(xùn)練樣本誤差的大小來(lái)表示和評(píng)價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。如何判斷建立的模型能否有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律？——最直接和客觀的方法是比較非訓(xùn)練樣本誤差和訓(xùn)練樣本誤差。(1)差不多或稍小，——能有效逼近。(2)相差很多（如幾倍、幾十倍甚至上千倍）——不能有效逼近?！袛嗑W(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差?！鶞y(cè)試樣本的誤差可以表示網(wǎng)絡(luò)模型的計(jì)算精度或是預(yù)測(cè)精度（可用于穩(wěn)定性分析）6應(yīng)用網(wǎng)絡(luò)模型解決實(shí)際問(wèn)題——實(shí)現(xiàn)預(yù)測(cè)或是分類(lèi)通過(guò)仿真和數(shù)學(xué)預(yù)處理的逆變換實(shí)現(xiàn)2、程序?qū)崿F(xiàn)

——MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用

（NeuralNetworksToolboxforMatlab）

BP網(wǎng)絡(luò)函數(shù)數(shù)據(jù)歸一化——mapminmax;mapstd創(chuàng)建BP網(wǎng)絡(luò)——newff初始化——init仿真——sim；訓(xùn)練算法——trainlm（速度快，需存儲(chǔ)空間大）學(xué)習(xí)規(guī)則——learngdm網(wǎng)絡(luò)訓(xùn)練——train例：BP算法實(shí)現(xiàn)的簡(jiǎn)單例子（采用LM算法訓(xùn)練）%%定義訓(xùn)練樣本P=[-1,-2,3,1;-1,1,5,-3];%P為輸入矢量T=[-1,-1,1,1];%T為輸出（目標(biāo)）矢量

%%定義檢驗(yàn)樣本Pn=[12;43];%輸入Tn=[-11];%輸出%%創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò)net=newff(minmax(P),[3,1],{'tansig','purelin'},'trainlm');%%設(shè)置訓(xùn)練參數(shù)net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=100;net.trainParam.goal=0.1;%%調(diào)用TRAINLM算法訓(xùn)練BP網(wǎng)絡(luò)

[net,tr]=train(net,P,T);

%%仿真,分析網(wǎng)絡(luò)的性能（逼近能力）A=sim(net,P);%計(jì)算仿真誤差(訓(xùn)練樣本的)E=T-A;MSE=mse(E);%訓(xùn)練樣本的誤差A(yù)n=sim(net,Pn);%對(duì)檢驗(yàn)樣本仿真En=Tn-An;MSEn=mse(En);%檢驗(yàn)樣本的誤差err=[MSEMSEn]%對(duì)比訓(xùn)練樣本的誤差和檢驗(yàn)樣本的誤差%%顯示網(wǎng)絡(luò)的權(quán)值和閾值

inputWeights=net.IW{1,1};%當(dāng)前輸入層權(quán)值inputbias=net.b{1};%當(dāng)前輸入層閾值layerWeights=net.LW{2,1};%當(dāng)前隱含層權(quán)值layerbias=net.b{2}%當(dāng)前隱含層閾值%%圖形可視化顯示結(jié)果X=[123456];T=[TTn];A=[ATn-En];plot(X,T,‘r-’,X,A,‘b-o’)；結(jié)果（1）err=[MSEMSEn]=[0.00020.0576]inputWeights=-0.1900-1.2924-1.76640.55610.8433-1.0786inputbias=2.99400.39512.6200layerWeights=0.0188-1.0473-0.0728layerbias=0.0112結(jié)果（2）err=[MSEMSEn]=[0.03042.0068]inputWeights=-0.56191.5524-0.4331-1.1875-0.4367-0.0635inputbias=1.63001.0987-2.7565layerWeights=[-0.9905-1.1043-0.8624]layerbias=0.0296利用BP網(wǎng)絡(luò)預(yù)測(cè)公路運(yùn)量問(wèn)題1.問(wèn)題的描述公路運(yùn)量主要包括公路的客運(yùn)量和公路貨運(yùn)量?jī)蓚€(gè)方面。據(jù)研究，某地區(qū)的公路運(yùn)量主要與該地區(qū)的人數(shù)、機(jī)動(dòng)車(chē)數(shù)量和公路面積有關(guān)，表1給出了20年得公路運(yùn)量相關(guān)數(shù)據(jù)，表中單位分別為萬(wàn)人/萬(wàn)輛/萬(wàn)平方千米/萬(wàn)噸/萬(wàn)人。根據(jù)有關(guān)部門(mén)數(shù)據(jù)，該地區(qū)2010年和2011年的人數(shù)分別為73.39和75.55萬(wàn)人，機(jī)動(dòng)車(chē)數(shù)量分別為3.9635和4.0975萬(wàn)輛，公路面積將分別為0.9880和1.0268萬(wàn)平方米。請(qǐng)利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)該地區(qū)2010年2011年得公路客運(yùn)量和公路貨運(yùn)量。

某地區(qū)20年公路運(yùn)量數(shù)據(jù)年份人口數(shù)量機(jī)動(dòng)車(chē)數(shù)量公路面積公路客運(yùn)量公路貨運(yùn)量20.550.60.095126123722.440.750.116217137925.370.850.117730138527.130.900.149145139929.451.050.2010460166330.11.350.2311387171430.961.450.2312353183434.061.600.3215750432236.421.700.3218304813238.091.850.3419836893639.132.150.362102411099年份人口數(shù)量機(jī)動(dòng)車(chē)數(shù)量公路面積公路客運(yùn)量公路貨運(yùn)量200139.992.200.361949011203200241.932.250.382043310524200344.592.350.49225981111547.302.500.56251071332052.892.600.59334421676255.732.700.59368361867356.762.850.67405482072459.172.950.694292720803200960.633.100.7943462218042.BP網(wǎng)絡(luò)求解過(guò)程為了了解利用BP網(wǎng)絡(luò)求解問(wèn)題的過(guò)程，可把問(wèn)題分為成以下步驟：1）原始數(shù)據(jù)的輸入；2)數(shù)據(jù)歸一化；3）網(wǎng)絡(luò)建立以及訓(xùn)練；4）對(duì)原始數(shù)據(jù)進(jìn)行仿真；5）將原始數(shù)據(jù)仿真的結(jié)果與已知樣本進(jìn)行對(duì)比；6）對(duì)新數(shù)據(jù)進(jìn)行仿真。在進(jìn)行歸一化處理時(shí)和把仿真的到的數(shù)據(jù)還原為原始數(shù)據(jù)的數(shù)量級(jí)時(shí)，在下面的程序中，都是利用系統(tǒng)函數(shù)進(jìn)行的。下面是每個(gè)程序塊的具體程序，并在程序中添加注釋?zhuān)?)原始數(shù)據(jù)的輸入，具體程序?yàn)椋簊qrts=[20.5522.4425.3727.1329.4530.1030.9634.0636.4238.0939.1339.9941.9344.5947.3052.8955.7356.7659.1760.63];%人數(shù)（單位：萬(wàn)人）sqjdcs=[0.60.750.850.911.051.351.451.61.71.852.152.22.252.352.52.62.72.852.953.1];%機(jī)動(dòng)車(chē)數(shù)（單位：萬(wàn)輛）sqglmj=[0.090.110.110.140.200.230.230.320.320.340.360.360.380.490.560.590.590.670.690.79];%公路面積glkyl=[512662177730914510460113871235315750183041983621024194902043322598251073344236836405484292743462]%公路客運(yùn)量glhyl=[123713791385139916631714183443228132893611099112031052411115133201676218673207242080321804];%公路貨運(yùn)量p=[sqrts;sqjdcs;sqglmj];%輸入數(shù)據(jù)矩陣t=[glkyl;glhyl];%目標(biāo)數(shù)據(jù)矩陣（2）對(duì)輸入數(shù)據(jù)矩陣和目標(biāo)矩陣的數(shù)據(jù)進(jìn)行歸一化處理，具體程序如下為%利用函數(shù)premnmx對(duì)數(shù)據(jù)進(jìn)行歸一化處理[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);%對(duì)輸入矩陣p和t進(jìn)行歸一化處理dx=[-11;-11;-11];%歸一化處理后最小值為-1，最大值為1(3)利用處理好的數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體程序%BP網(wǎng)絡(luò)訓(xùn)練net=newff(dx,[3,72],{‘tansig’,’tansig’,’purelin’},’traindx’);net.trainParam.show=1000;net.trainParam.lr=0.05;net.trainParam.goal=0.65*10^3;net.trainParam.epochs=50000;[net,tr]=train(net,pn,tn);(4)利用訓(xùn)練好的BP網(wǎng)絡(luò)對(duì)原始數(shù)據(jù)進(jìn)行仿真，具體程序如下：an=sim(net,pn);a=postmnmax(an,mint,maxt)%把仿真得到的數(shù)據(jù)還原為原始的數(shù)量級(jí)(5)用原始數(shù)據(jù)仿真的結(jié)果與已知數(shù)據(jù)進(jìn)行對(duì)比x=1990:2009;newk=a(1,:);newh=a(2,:);figure(2);subplot(2,1,1