基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類

基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類姓名：丁莉?qū)W號(hào)：30856015指導(dǎo)老師：周潤(rùn)景日期：2009.7.1

1.1BP網(wǎng)絡(luò)簡(jiǎn)介1.2BP網(wǎng)絡(luò)模型1.3學(xué)習(xí)規(guī)則1.4網(wǎng)絡(luò)程序設(shè)計(jì)1.5BP網(wǎng)絡(luò)應(yīng)用123451.1BP網(wǎng)絡(luò)簡(jiǎn)介反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡(jiǎn)稱BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類、數(shù)據(jù)壓縮等，80%~90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。其主要思想是從后向前（反向）逐層傳播輸出層的誤差，以間接計(jì)算出隱層誤差。算法分為兩個(gè)部分：第一部分（正向傳播過(guò)程）輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值；第二部分（反向傳播過(guò)程）輸出誤差逐層向前計(jì)算出隱層各單元的誤差，并用此誤差修正前層權(quán)值。1.1BP網(wǎng)絡(luò)簡(jiǎn)介1.2網(wǎng)絡(luò)模型

一個(gè)具有r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)1.2網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與其他的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號(hào)函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)1.3學(xué)習(xí)規(guī)則BP神經(jīng)網(wǎng)絡(luò)是一前向結(jié)構(gòu)無(wú)反饋的非線性映射系統(tǒng)，能較好地?cái)M合非線性系統(tǒng)的輸入與輸出關(guān)系。BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的指導(dǎo)思想是：對(duì)網(wǎng)絡(luò)權(quán)值和閾值的修正要沿著表現(xiàn)函數(shù)下降最快的方向——負(fù)梯度方向。其中xk是當(dāng)前的權(quán)值和閾值矩陣，gk是當(dāng)前表現(xiàn)函數(shù)的梯度，ak是學(xué)習(xí)速率。1.3學(xué)習(xí)規(guī)則假設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T1.3學(xué)習(xí)規(guī)則信息的正向傳遞隱含層中第i個(gè)神經(jīng)元的輸出輸出層第k個(gè)神經(jīng)元的輸出定義誤差函數(shù)1.3學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播輸出層的權(quán)值變化其中同理可得1.3學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播隱含層權(quán)值變化其中同理可得1.3學(xué)習(xí)規(guī)則對(duì)于f1為對(duì)數(shù)S型激活函數(shù)，對(duì)于f2為線性激活函數(shù)1.4網(wǎng)絡(luò)程序設(shè)計(jì)（1）網(wǎng)絡(luò)的初始化（2）訓(xùn)練參數(shù)初始化（3）網(wǎng)絡(luò)訓(xùn)練（4）網(wǎng)絡(luò)仿真（5）顯示結(jié)果下面進(jìn)行分步介紹：1.4網(wǎng)絡(luò)程序設(shè)計(jì)以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過(guò)程，可以用MATLAB中的函數(shù)trainbp.m來(lái)完成它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差TP＝[disp_freqmax_epocherr_goallr][W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)

1.4網(wǎng)絡(luò)程序設(shè)計(jì)

在訓(xùn)練之前要對(duì)網(wǎng)絡(luò)進(jìn)行初始化，并設(shè)置好訓(xùn)練參數(shù)。網(wǎng)絡(luò)的輸入向量：網(wǎng)絡(luò)的目標(biāo)向量：網(wǎng)絡(luò)初始化程序：1.4網(wǎng)絡(luò)程序設(shè)計(jì)%創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，隱含層有s1個(gè)神經(jīng)元，傳遞函數(shù)為tansig，中間層有s2個(gè)神經(jīng)元，傳遞函數(shù)為logsig，訓(xùn)練函數(shù)為批梯度下降函數(shù)traingdnet=newff(minmax(p),[s1,s2],{'tansig','logsig'},'traingd');%訓(xùn)練步數(shù)為X%目標(biāo)誤差為Enet.trainParam.epochs=X;net.trainParam.goal=E;1.5BP網(wǎng)絡(luò)應(yīng)用BP網(wǎng)絡(luò)的輸入和輸出層的神經(jīng)元數(shù)目由輸入和輸出向量的維數(shù)確定。輸入向量由A,B,C這三列決定，所以輸入層的神經(jīng)元數(shù)目為3。輸出結(jié)果有四種模式，在這里設(shè)為1、2、3、4代表4種輸出，因此輸出層的神經(jīng)元個(gè)數(shù)為4。隱含層節(jié)點(diǎn)數(shù)的確定：其中m為輸入層節(jié)點(diǎn)數(shù)，n為輸出層節(jié)點(diǎn)數(shù)，a為【1，10】之間的常數(shù)。因?yàn)榇颂幨?輸入4輸出的神經(jīng)網(wǎng)絡(luò)，所以隱含層節(jié)點(diǎn)數(shù)選擇12。1.5BP網(wǎng)絡(luò)應(yīng)用源程序代碼:%構(gòu)建訓(xùn)練樣本中的輸入向量pp1=[1739.94373.31756.77864.45222.85877.881803.58;1675.153087.0516521647.313059.542031.661583.12;2395.962429.471514.982665.92002.333071.182163.05];p2=[2352.12401.3363.341571.17104.8499.852297.28;2557.043259.943477.951731.043389.833305.753340.14;1411.532150.982462.861735.332421.832196.22535.62];p3=[2092.621418.791845.592205.362949.161692.621680.67;3177.211775.891918.813243.743244.441867.51575.78;584.322772.92226.491202.69662.422108.971725.1];p4=[2802.88172.782063.541449.581651.52341.59291.02237.63;3017.113084.493199.761641.581713.283076.623095.683077.78;1984.982328.651257.213405.121570.382438.632088.952251.96];p=[p1p2p3p4];1.5BP網(wǎng)絡(luò)應(yīng)用%構(gòu)建訓(xùn)練樣本中的目標(biāo)向量tt1=[0100100;1010001;0000000;0001010];t2=[0110110;1001000;0000001;0000000];t3=[0000000;0010011;1001100;0100000];t4=[01000111;00001000;10100000;00010000];t=[t1t2t3t4];1.5BP網(wǎng)絡(luò)應(yīng)用%創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，隱含層有12個(gè)神經(jīng)元，傳遞函數(shù)為tansig%中間層有4個(gè)神經(jīng)元，傳遞函數(shù)為logsig,訓(xùn)練函數(shù)為trainlmnet=newff(minmax(p),[12,4],{'tansig','logsig'},'trainlm');%訓(xùn)練次數(shù)默認(rèn)為100net.trainParam.epochs=500;%訓(xùn)練的目標(biāo)默認(rèn)為0net.trainParam.goal=0.01;1.5BP網(wǎng)絡(luò)應(yīng)用%神經(jīng)網(wǎng)絡(luò)訓(xùn)練net=train(net,p,t);%測(cè)試樣本進(jìn)行分類p_test=[1702.81877.93867.811831.49460.692374.982271.891783.64198.831494.631597.031598.931243.132336.313542144.47426.311507.13343.072201.942232.431580.11962.41495.181125.1724.221269.071802.071817.361860.45;

1639.791860.962334.681713.113274.773346.983482.971597.993250.452072.591921.521921.081814.072640.263300.122501.623105.291556.893271.723196.223077.871752.071594.971957.441594.393447.311910.721725.811927.41782.88;

2068.741975.32535.11604.682172.99975.31946.72261.312445.082550.512126.761623.333441.071599.632373.61591.512057.81954.512036.94935.531298.872463.041835.953498.022937.732145.012701.971966.352328.791875.83];y=sim(net,p_test);TRAINLM,Epoch0/500,MSE0.437703/0.01,Gradient7675.18/1e-010TRAINLM,Epoch25/500,MSE0.129899/0.01,Gradient44.6286/1e-010TRAINLM,Epoch37/500,MSE4.18645e-007/0.01,Gradient0.00721979/1e-010TRAINLM,Performancegoalmet.可見網(wǎng)絡(luò)經(jīng)過(guò)37次訓(xùn)練后即可達(dá)到誤差要求，結(jié)果如下圖：1.5BP網(wǎng)絡(luò)應(yīng)用可以看到網(wǎng)絡(luò)具有非常好的學(xué)習(xí)性能，網(wǎng)絡(luò)輸出與目標(biāo)輸出的誤差已經(jīng)達(dá)到了預(yù)先的要求。1.5BP網(wǎng)絡(luò)應(yīng)用1.5BP網(wǎng)絡(luò)應(yīng)用對(duì)預(yù)測(cè)樣本值的仿真輸出結(jié)果是y=Columns1through10

0.00000.00000.00000.00001.00001.00001.00000.01381.00000.00000.00000.00000.00000.00000.00000.00000.00001.00000.02680.0000第3種第3種第1種