試驗(yàn)2報(bào)告示范

1、研究實(shí)驗(yàn)2報(bào)通告范一一單入單出BP人工神經(jīng)網(wǎng)絡(luò)及算法研究?研究問題描繪：用BP方法實(shí)現(xiàn)一個(gè)單輸入單輸出的函數(shù)的逼近。假定變換函數(shù)的輸出范圍在0到1之間。函數(shù)取以下3個(gè)：f(x)=e,0.2x0.8f(x)=0.50.3*sinx,0Ex乞1f(x)=0.50.3*sin(2*x),0空x乞1?網(wǎng)絡(luò)構(gòu)造：三層前向神經(jīng)網(wǎng)絡(luò)依照逼近定理知，只含一個(gè)隱層的前向網(wǎng)絡(luò)(即三層前向神經(jīng)網(wǎng)絡(luò))是一個(gè)通用的逼近器，能夠隨意逼近函數(shù)f,因此，在此題中采用三層前向神經(jīng)網(wǎng)絡(luò)，即輸入層(x0,y0)，個(gè)隱層(x1,y1)，輸出層(x2,y2)。?網(wǎng)絡(luò)構(gòu)造由于要逼近的函數(shù)為單輸入單輸出函數(shù)，故輸出層只有一個(gè)節(jié)點(diǎn)；輸入層除

2、了一個(gè)樣本輸入點(diǎn)外，還有一個(gè)閾值單元，因此能夠看作是兩個(gè)輸入節(jié)點(diǎn)；隱層的節(jié)點(diǎn)個(gè)數(shù)p能夠在程序運(yùn)行時(shí)進(jìn)行選擇，以適應(yīng)和測(cè)試不同樣的逼近收效。由輸入層至隱層的權(quán)矩陣記為W0，由隱層到輸出層的權(quán)矩陣記為W1。整個(gè)網(wǎng)絡(luò)的構(gòu)造初步設(shè)計(jì)以以下列圖所示：(略)三?算法實(shí)現(xiàn)本實(shí)驗(yàn)用C+程序?qū)崿F(xiàn)該算法。報(bào)告中所給出的實(shí)驗(yàn)數(shù)據(jù)均是運(yùn)行C+程序所得的結(jié)果，爾后將這些結(jié)果在matlab中畫出對(duì)應(yīng)圖形。1?標(biāo)準(zhǔn)BP算法(無動(dòng)量項(xiàng))：依照公式：(為學(xué)習(xí)率)WjUk1)=w,j4,l(k:E/：:w；,f,l(k)-w,J4,l(kv:P,j(k)y；：(k)flllyp,j(k)tp,jfXp,j(k)l=M-16；j(

3、k)=NFxP,j(k)臣n去P：(k)wj7(k)l=M2,.,1編寫程序，程序履行時(shí)贊同選擇：樣本個(gè)數(shù)p,隱層節(jié)點(diǎn)個(gè)數(shù)midnumber,學(xué)習(xí)速率step,訓(xùn)練過程結(jié)束條件(即訓(xùn)練結(jié)束時(shí)贊同的最大誤差)enderr。2?加動(dòng)量項(xiàng)的BP算法基出辦理同上，僅在標(biāo)準(zhǔn)BP算法的基礎(chǔ)上，對(duì)權(quán)矩陣的改正增添動(dòng)量項(xiàng)，程序履行時(shí)贊同選擇：樣本個(gè)數(shù)p,隱層節(jié)點(diǎn)個(gè)數(shù)midnumber,學(xué)習(xí)速率step,訓(xùn)練過程結(jié)束條件(即訓(xùn)練結(jié)束時(shí)贊同的最大誤差),以及動(dòng)量因子motienderr四?訓(xùn)練結(jié)果：對(duì)不同樣的函數(shù)逼近進(jìn)行訓(xùn)練獲取不同樣的訓(xùn)練結(jié)果，下面分別進(jìn)行討論:1.f(x)=e?,0.2三x乞0.8(1.)樣本

4、個(gè)數(shù)取為10,隱層節(jié)點(diǎn)數(shù)取為10,步長(zhǎng)0.4,停止誤差設(shè)為0.001,無動(dòng)量項(xiàng)運(yùn)行結(jié)果以下:最后誤差:0.000訓(xùn)練次數(shù)：1850-0.601838-1.30367-1.232521.01428)-0.601838-2.006581.014281-0.601838-2.006581.01428-0.601838-2.006581.01428-0.6018381.01428W0=-2.0065801428-0.601838-2.006581.1.01428-0.601838-2.006581.01428-0.601838-2.00658.10.1428-0.601838-2.00658權(quán)值矩陣為

5、:(這里的權(quán)矩陣的取值比較齊整，剖析其原因是由于在初始化權(quán)矩陣的時(shí)候，并沒有為其賜予隨機(jī)值，而是分別賜予了同樣的0到0.1性，故每次經(jīng)過梯度法所求得的權(quán)值的變化量是同樣的，齊性。）逼近收效圖：之間的值。又由于網(wǎng)絡(luò)構(gòu)造的對(duì)稱進(jìn)而致使了結(jié)果中權(quán)值取值的整（圖中藍(lán)線為原函數(shù)圖像，紅x為由該網(wǎng)絡(luò)進(jìn)行逼近獲取的結(jié)果）（2.）改變隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為5476次。當(dāng)隱層節(jié)點(diǎn)數(shù)增添為20,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為29167次0當(dāng)隱層節(jié)點(diǎn)數(shù)增添為50,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為73677次o能夠看出

6、，此題中增添隱層節(jié)點(diǎn)數(shù)對(duì)改良逼近收效的作用其實(shí)不很顯然。隱層節(jié)點(diǎn)取20和50時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取10時(shí)要大。可見增添隱層節(jié)點(diǎn)其實(shí)不用然能增添精度或減少訓(xùn)練時(shí)間，在此題中反而會(huì)帶來更長(zhǎng)的訓(xùn)練時(shí)間。3.）改變步長(zhǎng)：當(dāng)步長(zhǎng)減小為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為18993次，顯然多于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.5，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為7590次，少于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.8，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為4449次，顯然少于步長(zhǎng)為0.4的狀況。而當(dāng)步長(zhǎng)增添為1,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)

7、行的訓(xùn)練次數(shù)只有3292次0這說明隨著步長(zhǎng)的增添，訓(xùn)練的次數(shù)可能減小，剖析其原因是由于步長(zhǎng)增添意味著權(quán)值每次的變化量更大，因此會(huì)使收斂更快。但步長(zhǎng)增添另一方面可能會(huì)致使振蕩，也就是當(dāng)步長(zhǎng)取的較大時(shí)，有可能使得權(quán)值在誤差曲面的極小點(diǎn)兩邊往返變化而不能夠達(dá)到極小點(diǎn)。在對(duì)其他函數(shù)逼近的實(shí)驗(yàn)中(實(shí)驗(yàn)3),能夠看出該現(xiàn)象。(4.)增添動(dòng)量項(xiàng)當(dāng)增添動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為7590次，顯然少于同樣條件下不加動(dòng)量項(xiàng)時(shí)所用的訓(xùn)練次數(shù)。說明增添動(dòng)量項(xiàng)加速了收斂。而增添動(dòng)量項(xiàng)后的訓(xùn)練結(jié)果與不加動(dòng)量項(xiàng)時(shí)的結(jié)果幾乎完好同樣(一般僅在小數(shù)點(diǎn)后第五位有點(diǎn)差別)，這說明在

8、本例中增添動(dòng)量項(xiàng)誠(chéng)然加速了收斂，但對(duì)逼近的程度并無什么改良。(5.)實(shí)行測(cè)試平均選用5個(gè)點(diǎn)進(jìn)行實(shí)行測(cè)試，其誤差為0.000170499，上圖中綠色o形標(biāo)志為實(shí)行測(cè)試的結(jié)果，由圖及誤差能夠看出，在本例中的實(shí)行測(cè)試收效比較好。2.f(x)=0.50.3*sinx,0乞1(1.)樣本個(gè)數(shù)取為15，隱層節(jié)點(diǎn)數(shù)取為10，步長(zhǎng)0.3,停止誤差設(shè)為0.001,無動(dòng)量項(xiàng)運(yùn)行結(jié)果以下：訓(xùn)練次數(shù)：1485最后誤差：0.000996835權(quán)值矩陣為：-0.140785-1.30367-1.98133-0.1407850.8505440.4500681-0.1407850.450068-0.1407850.45006

9、8-0.140785W1W0=0.450068-0.1407850.450068-0.1407850.450068-0.140785)0.450068.-0.1407850.450068（這里的權(quán)矩陣的取值比較齊整，原因同上。）逼近收效圖:（2.）改變隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為1215次o當(dāng)隱層節(jié)點(diǎn)數(shù)增添為20,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為1927次o當(dāng)隱層節(jié)點(diǎn)數(shù)增添為50,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為3002次0能夠看出，此題中增添隱層節(jié)點(diǎn)數(shù)對(duì)改良逼近收效的作用其實(shí)不很顯然。(3.)改變步長(zhǎng)

10、：當(dāng)步長(zhǎng)減小為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為4365次，顯然多于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.5，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為1748次，少于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.8，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為1542次，顯然少于步長(zhǎng)為0.4的狀況。而當(dāng)步長(zhǎng)增添為1,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)只有1404次o這說明在此題中隨著步長(zhǎng)的增添，訓(xùn)練的次數(shù)減少。(4.)增添動(dòng)量項(xiàng)當(dāng)增添動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為893次，顯然少于同樣條件下不加動(dòng)量項(xiàng)時(shí)所

11、用的訓(xùn)練次數(shù)。說明增添動(dòng)量項(xiàng)加速了收斂。同時(shí)，在matlab中標(biāo)出增添動(dòng)量項(xiàng)后的訓(xùn)練結(jié)果(紅色o標(biāo)志)，能夠看出其與不加動(dòng)量項(xiàng)時(shí)的結(jié)果幾乎完好同樣，這說明在本例中增添動(dòng)量項(xiàng)誠(chéng)然加速了收斂，但對(duì)逼近的程度并無顯然改良。(5.)實(shí)行測(cè)試平均選用5個(gè)點(diǎn)進(jìn)行實(shí)行測(cè)試，其誤差為0.000186291，上圖中綠色o形標(biāo)志為實(shí)行測(cè)試的結(jié)果，由圖及誤差能夠看出，在本例中的實(shí)行測(cè)試收效能夠接受。3.f(x)=0.50.3*sin(2*x),0乞x1(1.)樣本個(gè)數(shù)取為15，隱層節(jié)點(diǎn)數(shù)取為10，步長(zhǎng)0.3,停止誤差設(shè)為0.001,無動(dòng)量項(xiàng)運(yùn)行結(jié)果以下：訓(xùn)練次數(shù)：34044最后誤差：0.000999987權(quán)值矩陣為

12、：0.576127-1.30367-3.155510.5762.386730.4928020.4928021272.386730.4928020.5762.386731270.4928020.W1WO2.386730.5764928022.386730.492802|0.1274928020.5762.386730.4928021272.386730.492802J0.5761272.38673（這里的權(quán)矩陣的取值比較齊整，原因同上。）（圖中藍(lán)線為原函數(shù)圖像，紅x為由該網(wǎng)絡(luò)進(jìn)行逼近獲取的結(jié)果）（2.）改變隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為154

13、45次o當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為11957次o能夠看出，此題中增添隱層節(jié)點(diǎn)數(shù)對(duì)改良逼近收效的作用其實(shí)不很顯然。隱層節(jié)點(diǎn)取20和50時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取10時(shí)要大。增添隱層節(jié)點(diǎn)其實(shí)不用然能增添精度或減少訓(xùn)練時(shí)間，在此題中反而會(huì)帶來更長(zhǎng)的訓(xùn)練時(shí)間。（3）改變步長(zhǎng)：當(dāng)步長(zhǎng)減小為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為51064次，顯然多于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.5，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為118280次，少于步長(zhǎng)為0.4的狀況。當(dāng)步長(zhǎng)增添為0.8，其他設(shè)置不變時(shí)，訓(xùn)練速度極慢，訓(xùn)練的誤差出

14、現(xiàn)顯然的振蕩，例如：在某一步誤差為0.0066后，其下一步誤差又增添為0.0092，而接下來一步的誤差又變?yōu)?.0065，該例子說了然步長(zhǎng)較大時(shí)，若獲取合適則會(huì)加速收斂，若不合適，則會(huì)造成振蕩而不再收斂。（4）增添動(dòng)量項(xiàng)當(dāng)增添動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為0.2，其他設(shè)置不變時(shí)，要達(dá)到停止誤差需要進(jìn)行的訓(xùn)練次數(shù)為20467次，少于同樣條件下不加動(dòng)量項(xiàng)時(shí)所用的訓(xùn)練次數(shù)。說明增添動(dòng)量項(xiàng)加速了收斂。五實(shí)驗(yàn)總結(jié)（1）網(wǎng)絡(luò)構(gòu)造：本實(shí)驗(yàn)采用三層前向神經(jīng)網(wǎng)絡(luò)使用BP算法以及加動(dòng)量項(xiàng)的BP算法實(shí)現(xiàn)對(duì)單輸入單輸出函數(shù)的逼近，經(jīng)過對(duì)三個(gè)不同樣函數(shù)的逼近實(shí)驗(yàn)測(cè)試了BP算法的性能及隱層節(jié)點(diǎn)數(shù)目、步長(zhǎng)、動(dòng)量項(xiàng)等因素對(duì)BP網(wǎng)絡(luò)訓(xùn)練和測(cè)試的影響。其中，合適增添隱層節(jié)點(diǎn)數(shù)能夠改良網(wǎng)絡(luò)性能，但在本實(shí)驗(yàn)中，隱層節(jié)點(diǎn)數(shù)取20和50時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取10時(shí)要大?？梢娫鎏黼[層節(jié)點(diǎn)其實(shí)不用然能增添精度或減少訓(xùn)練時(shí)間，在本實(shí)驗(yàn)中反而會(huì)帶來更長(zhǎng)的訓(xùn)練時(shí)間；訓(xùn)練次數(shù)隨著步長(zhǎng)的增添而減小，不合適的步長(zhǎng)增添會(huì)惹起振蕩而增添訓(xùn)練次數(shù)甚至不再收斂；增添動(dòng)量項(xiàng)后在同樣條件下網(wǎng)絡(luò)的收斂速度