牛頓法的MATLAB實(shí)現(xiàn)

牛頓法的MATLAB實(shí)現(xiàn)摘要：性能學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)中的一類很重要的學(xué)習(xí)規(guī)則，其旨在找到一個(gè)最優(yōu)點(diǎn)來(lái)提高網(wǎng)絡(luò)的性能。牛頓法是一種基于二階泰勒級(jí)數(shù)的算法，逐步迭代來(lái)實(shí)現(xiàn)進(jìn)一步的極小化，最后找到最優(yōu)點(diǎn)。本文采用MATLAB編程來(lái)實(shí)現(xiàn)牛頓法，并通過(guò)具體的例子進(jìn)行分析計(jì)算。關(guān)鍵字：牛頓法；MATLABRealiseNewton'sMethodbyusingMatlabAbstract:Performancelearningisoneofimportantlearningrulesinneuralnetwork,whichaimstofindanoptimalpointtoimprovetheperformanceofneuralnetwork.Newton'smethodisakindofalgorithmwhichbasedonsecond-orderTaylorseries,theiterationstepbysteptoachievefurtherminimization,andfinallyfindthemostadvantage.Inthispaper,byusingthematlab,Newton'smethodiseasilytorealizeanditalsogivesademonstrationtoanalyseandcalculation.Keywords:Newton'smethod;MATLAB0引言神經(jīng)網(wǎng)絡(luò)作為一門(mén)新興的學(xué)科，在短短的數(shù)十年內(nèi)已經(jīng)被運(yùn)用于多種學(xué)科領(lǐng)域，大量的有關(guān)神經(jīng)網(wǎng)絡(luò)機(jī)理、模型以及算法分析等方面的文章如雨后春筍般涌現(xiàn)。MATLAB是一種強(qiáng)大的工程計(jì)算和仿真軟件，其基本上可以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的各種設(shè)計(jì)方法和算法。牛頓法是求解優(yōu)化問(wèn)題最早使用的經(jīng)典算法之一，其基本思想是用迭代點(diǎn)處的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)對(duì)目標(biāo)函數(shù)進(jìn)行二次函數(shù)近似，然后把模型的極小點(diǎn)作為新的迭代點(diǎn)，并不斷的重復(fù)這個(gè)過(guò)程，直至求得滿足精度的近似極小點(diǎn)。1神經(jīng)網(wǎng)絡(luò)的性能優(yōu)化在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的過(guò)程中，性能學(xué)習(xí)是一種非常重要的學(xué)習(xí)規(guī)則，其目的在于調(diào)整網(wǎng)絡(luò)參數(shù)以優(yōu)化網(wǎng)絡(luò)性能。優(yōu)化過(guò)程可以分為兩步，第一步是定義“性能”的標(biāo)準(zhǔn)，即找到一個(gè)衡量網(wǎng)絡(luò)性能的定量標(biāo)準(zhǔn)，也就是性能指數(shù)；第二步是搜索減小性能指數(shù)的參數(shù)空間。假設(shè)最小化的性能指數(shù)是一個(gè)解析函數(shù)F(x)，它的各級(jí)導(dǎo)數(shù)均存在。那么F(x)可表示某些指定點(diǎn)x*上的泰勒級(jí)數(shù)展開(kāi)，如下式所示F(x)=F(x*)+-dF(x)|x=x*(x—x*)dxx=x1d2+丁一F(x)| (x_x*)2+…2dx2 '八x=x*' 丿I1I1dnn!dxnF(X)lx=x*(x—X*)n+…⑴神經(jīng)網(wǎng)絡(luò)的性能指數(shù)并不僅僅是一個(gè)純量x的函數(shù)，它是所有網(wǎng)絡(luò)參數(shù)(各個(gè)權(quán)值和偏置值)的函數(shù)，參數(shù)的數(shù)量也不是確定的。因此，需要將泰勒級(jí)數(shù)展開(kāi)式擴(kuò)展為多變量形式。假設(shè)有下列n元函數(shù)。F(x)=F(X],x2,…,xn) ⑵把這個(gè)函數(shù)在點(diǎn)x*的泰勒級(jí)數(shù)展開(kāi)，可以得到如下式子：

TOC\o"1-5"\h\zd dF(x)=F(x*)+dTF(x)lx=x*(xi-x1)+dTF(x)|x=x*(x2-x2)

12d 1d2+ +-—F(x)| (x_x*)+_—F(x)|(x_x*)2dx'八x=x*'nn 20X2、八x=x*'1 1yn+^^^F(x)|x=x*(x1_x1)(x2_x2)+…2dx1dx2 x_x1 1 2 2將這個(gè)表達(dá)式表示成矩陣的形式：F(x)=F(x*)+VF(x)| (x—x*)x=x+1(x_X*)tV2F(x)|x_x*(X—X*)2+…其中VF(x)為梯度，定義為VF(x)=宀F(x)』F(x)…丄F(x)]TLdx1 dx2 dx 」(4)(5)V2F(x)=)x

F

遲axx32x3)x23)xFX3(4)(5)V2F(x)=)x

F

遲axx32x3)x23)xFX3X3x32x3))xx((FF^^F(x)dxndxi-^^F(x)dxndx2…-^F(x)]dx2n通過(guò)限定泰勒級(jí)數(shù)展開(kāi)式的數(shù)量，可以用泰勒級(jí)數(shù)近似估計(jì)性能指數(shù)。2牛頓法(7)F(xk+1(7)F(xk+1)=F(xk+Axk)?F(xk)+ +；AxTAkAxkVF(x)=Ax+d(8)則有g(shù)k+AkAxk=0(9)求解Axk得Axk=_A_k1gk(10)于是將牛頓法定義為Axk+1=Axk_A_k1gk(11)其中Ak為在xk的赫森矩陣A=V2F(x)|k v八x=x*(12)因?yàn)榕ｎD法總是用一個(gè)二次函數(shù)逼近F(x)，然后求其駐點(diǎn)。如果原函數(shù)為二次函數(shù)(有強(qiáng)極小點(diǎn))，它就能實(shí)現(xiàn)一步極小化。牛頓法最突出的有點(diǎn)是收斂速度快，具有局部二階收斂性。初始點(diǎn)要足夠的“靠近”極小點(diǎn)。由于實(shí)際問(wèn)題中的精確極小點(diǎn)一般不是知道的，因此初始點(diǎn)的選取要適當(dāng)。2牛頓法的原理是求F(x)的二次近似的駐點(diǎn)。用下式求這個(gè)二次函數(shù)對(duì)Axk的梯度并設(shè)它為零，3牛頓法的MATLAB實(shí)現(xiàn)牛頓法的步驟如下：、給定終止誤差值epson=1e-12，初始點(diǎn)x0，令k=0。、計(jì)算gk=VF(xk)，若||gjl<epson,停止運(yùn)算，輸出、計(jì)算Gk=V2F(xk)、令Xk+i=Xk+P。k=k+1，轉(zhuǎn)①。舉一個(gè)例子，一個(gè)函數(shù)F(x)=e(x1-xi+2x2+4),以x0=[1—2]t為初始點(diǎn)，用牛頓法對(duì)其進(jìn)行一次迭代。首先求梯度和赫森矩陣。梯度為Ox】丄F(x)dx2—F(x) (2Ox】丄F(x)dx2(13)VF(x)=[茫1一」=e(x2_xi+2x2+4)卜4x J](13)x2赫森矩陣為V2F(x)=d2菇V2F(x)=d2菇F(x)1d2F(x)d2dxdxF(x)12d2F(x)dx2 ]4x2_4x+3[dx2dxi=e(x12_x1+2x22+4)[(1 )1(2x1_1)(4x2)(2x1-1)(4x2)16x2+42(14)在初始點(diǎn)x0，有g(shù)0=倔嘰。=豐霊林(15)A=V2g0=倔嘰。=豐霊林(15)A=V2F(x)| =[0.049X107 _0-130X107]0 x=x0 _0.130X107 1.107X107(16)所以牛頓法的第一次迭代為x=x_A_1g1000=[1]_[0.049X107一0.130X107]-1[0.163X106]=[0.971]=[_2]_[_0.130X107 1.107X107][_1.302X106」=1■一1.886」F(x)的極小點(diǎn)即指數(shù)部分的極小點(diǎn)，即(17)x*=_A_1d=_[20]_1[_1」=[05]0 4 0 0(18)用MATLAB實(shí)現(xiàn)，源代碼如下：symsx1x2f二exp(x「2-xl+2*x2"2+4);v=[x1,x2];df=jacobian(f,v);df=df.';G=jacobian(df,v);epson=1e-12;xm=[0,0]';g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});G1=subs(G,{x1,x2},{xm(1,1),xm(2,1)});k=0;while(norm(g1)>epson)p=-G1\g1;xm=xm+p;g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});G1=subs(G,{x1,x2},{xm(1,1),xm(2,1)});k=k+1;endkxm運(yùn)行結(jié)果為：k=40.5000xm=[0]通過(guò)運(yùn)行可以知道，經(jīng)過(guò)4次迭代。找到了該函數(shù)的績(jī)效點(diǎn)xm。牛頓法的收斂速度比較快，一次迭代過(guò)后基本上接近極小值，經(jīng)過(guò)數(shù)次迭代之后，就可以進(jìn)一步實(shí)現(xiàn)極小化。4結(jié)束語(yǔ)神經(jīng)網(wǎng)絡(luò)是一門(mén)很活躍的，應(yīng)用范圍特別廣的學(xué)科。性能學(xué)習(xí)是最重要的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則之一。通過(guò)性能學(xué)習(xí)，網(wǎng)絡(luò)參數(shù)能得到調(diào)節(jié)從而優(yōu)化網(wǎng)絡(luò)性能。牛頓法是一種基于二階泰勒級(jí)數(shù)展開(kāi)而導(dǎo)出的優(yōu)化算法。對(duì)于二次函數(shù)，牛頓法能夠一次迭代收斂到一個(gè)駐點(diǎn)。而對(duì)于復(fù)雜的函數(shù)，可以經(jīng)過(guò)多次迭代，最后使其收斂到真正的極小點(diǎn)。神經(jīng)網(wǎng)絡(luò)的機(jī)理、算法及模型可以應(yīng)用到各個(gè)科學(xué)領(lǐng)域中去，眾多的神經(jīng)生理學(xué)家、心理學(xué)家、數(shù)理學(xué)家、計(jì)算機(jī)與信息工程學(xué)家及企業(yè)家等對(duì)其的進(jìn)一步研究和應(yīng)用，使神經(jīng)網(wǎng)絡(luò)日益成為當(dāng)代高科技領(lǐng)