第四章自適應(yīng)線性神經(jīng)元

1、2006-11-28北京科技大學(xué) 付冬梅1第四章 自適應(yīng)線性神經(jīng)元2006-11-28北京科技大學(xué) 付冬梅2第四章 自適應(yīng)線性神經(jīng)元 自適應(yīng)線性神經(jīng)元模型 單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法 單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法 MATLAB程序仿真 關(guān)于自適應(yīng)線性神經(jīng)元的幾點(diǎn)說(shuō)明2006-11-28北京科技大學(xué) 付冬梅34.1自適應(yīng)線性神經(jīng)元模型線性神經(jīng)元模型如圖所示：I/O關(guān)系 a=purelin(W*P+b) 2006-11-28北京科技大學(xué) 付冬梅42006-11-28北京科技大學(xué) 付冬梅5基于最小二乘的一次性學(xué)習(xí)算法基于最小二乘的一次性學(xué)習(xí)算法4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法注意到O=KO

2、+b，所以有O=(O-b)/K，同理有： y=(y-b)/K，所以X，Y仍是樣本對(duì)。0niiiyw x 1111nmm1mnyxxYXWY,XyxxT1TW(X X) X Y2006-11-28北京科技大學(xué) 付冬梅6 基于梯度的學(xué)習(xí)算法基于梯度的學(xué)習(xí)算法(內(nèi)部反饋內(nèi)部反饋)后），對(duì)于輸入 ，個(gè)次學(xué)習(xí)以后（即得到第0n0n12nwwwjxjTnijiiXWxnwny1100)()(1nw11nx)()(00nyynej2002)()(nyynej設(shè)經(jīng)過(guò)后，或者沒(méi)有初始權(quán)值感知機(jī)的輸出為：其中則感知機(jī)的輸出誤差為：jxjy又設(shè)在同樣輸入作用下，樣本輸出12000nwww4.2單個(gè)自適應(yīng)線性神經(jīng)元的

3、學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅7根據(jù)上面的推導(dǎo)，我們可以給出感知器（單個(gè)且 ） 根據(jù)建立在梯度法基礎(chǔ)上的最小均方差（LMS）算法得知，被調(diào)整的參數(shù)（這里是TW)()() 1(000nnWnWjjTjXnenWXnWynWnen)(2)()()()()(00200020jXnenWnW)(2)()1(000uuf)(）的修改應(yīng)該向著梯度的反方向進(jìn)行，此處梯度為：因此我們有：權(quán)值調(diào)整的具體即：（1）隨機(jī)初始化權(quán)值和閾值： (0)random( ) 0,1,2,1 iwaain4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅8 為迭代次數(shù)，按：作為輸入向

4、量， ,則表明分類正確，而不需要調(diào)整權(quán)值和閾值，如此類中了，需按下面步驟調(diào)整權(quán)值。錯(cuò)分到作為本次的訓(xùn)練，并以此為輸入計(jì)算中的BAxx 或Axx)(lTlXWfy 比如選中（2）在A樣本集合A，B中，任選一個(gè)感知機(jī)的輸出：1ly1lylxBx，表明將 （3）若可回到（2）步，并重新選一個(gè)新的訓(xùn)練樣本。如果0n0000(1)()2 (y() ()lliiiw nw ny nx nqAty11y其中：是理想輸出，即樣本輸出）調(diào)整權(quán)值，此處為學(xué)習(xí)率。為期望輸出，直到計(jì)算為止。 （4）設(shè)4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅9)() 1(00nwnwii1, 2 ,

5、 1ni（5）重新在A，B樣本集中選擇另一個(gè)樣本進(jìn)行學(xué)習(xí)，即 重復(fù)（2）（5），直到對(duì)所有均成立，對(duì)所有樣本均正確分類，則學(xué)習(xí)結(jié)束 。( )f ukub11)(0 或nyl|y|lye上面的算法適合這樣連續(xù)激勵(lì)函數(shù)，但是來(lái)作為迭代的標(biāo)準(zhǔn)，往往以誤差，則不要調(diào)整權(quán)值，否則進(jìn)行（4）步。說(shuō)明：此時(shí)不能用大小作為限制，即在算法的第（3）步中，理想輸出不一定非得是+1或-1，可以使其他的實(shí)數(shù)。4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅10 基于梯度的學(xué)習(xí)算法基于梯度的學(xué)習(xí)算法(外部反饋外部反饋)后），對(duì)于輸入 ，個(gè)次學(xué)習(xí)以后（即得到第0n0n12nwwwjx1001(

6、)()njTjiiiy nkw n xb kW Xb1nw11nx)()(00nyynej2002)()(nyynej設(shè)經(jīng)過(guò)后，或者沒(méi)有初始權(quán)值感知機(jī)的輸出為：其中則感知機(jī)的輸出誤差為：jxjy又設(shè)在同樣輸入作用下，樣本輸出12000nwww4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅11 根據(jù)建立在梯度法基礎(chǔ)上的最小均方差（LMS）算法得知，被調(diào)整的參數(shù)（這里是TW)()() 1(000nnWnW22000000()()()2()()()jTjje nykWn Xbnke n XW nW n000(1)()2()jW nW nke nX）的修改應(yīng)該向著梯度的反

7、方向進(jìn)行，此處梯度為：因此我們有：即：4.2單個(gè)自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法 基于梯度的學(xué)習(xí)算法基于梯度的學(xué)習(xí)算法(外部反饋外部反饋)2006-11-28北京科技大學(xué) 付冬梅124.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法基于最小二乘的一次性學(xué)習(xí)算法基于最小二乘的一次性學(xué)習(xí)算法0ni iiywx111km1mk111n111km1mnn1nkyyYXWY,yyxxwwX,WxxwwT1TW(X X) X Y2006-11-28北京科技大學(xué) 付冬梅13 基于梯度的學(xué)習(xí)算法基于梯度的學(xué)習(xí)算法 設(shè)樣本集為（X，Y），取 、 樣本。設(shè)已訓(xùn)練了n0次得到的權(quán)值為： lxly)()()()()()()()()()(

8、0020101001011010110nWnWnWnwnwnwnwnwnwnWTmTTnnnnmnn則由網(wǎng)絡(luò)計(jì)算得到的輸出為： llXWnY)(04.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅14用分量表示之為： lTinjljijliXnWxnwny)()()(011)(00則此時(shí)網(wǎng)絡(luò)的誤差為：220000100()()() ()() ()mllTlTiiiTlTTlTEnty nYYnYYnYW XnYW Xn根據(jù)梯度下降法我們可以知道：)()() 1(000nnwnwii4.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅152201

9、00002010000()()()()()() 2 ()()2()2 ()mjjTTiimTljjjliTiTllliiienEnnwnwnywnXe nXwnywnXXe nX 故有： 000(1)()2()Tlliiiiw nw nywnXX4.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅16由此可得遞推算法如下：（1）隨機(jī)初始化權(quán)值和閾值，即令： mjnjji, 2 , 1; 1, 1,(0)random( )ijwa a系數(shù)取不等于零的正小數(shù) ，以使初始化權(quán)值比較小。 （2）在樣本集合（X，Y）中，任選一個(gè) 和 作為訓(xùn)練樣本，計(jì)算感知器的實(shí)際輸出： lXlY

10、()lllOf X WXW4.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅17eyOyOllll|3）若 （規(guī)定的最小誤差），則不需調(diào)整權(quán)值，回到（2）步，取另一樣本進(jìn)行訓(xùn)練，否則進(jìn)行如下的（4）步。 000(1)()2()Tlliiiiw nw nywnXX4）調(diào)整權(quán)值：然后返回2）。 4.3單層自適應(yīng)線性神經(jīng)元的學(xué)習(xí)方法2006-11-28北京科技大學(xué) 付冬梅184.4 MATLAB程序仿真例1、設(shè)計(jì)自能夠適應(yīng)線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從輸入矢量到輸出矢量的變換關(guān)系，其輸入矢量和輸出矢量分別為： P=1.0 -1.2 T=0.5 1.0程序1P=1.0 -1.2;T=0.

11、5 1.0;Q,R=size(P);S,Q=size(T);lr=0.4*maxlinlr(P); %最佳學(xué)習(xí)率net=newlin(minmax(P),S,0,lr); %創(chuàng)建線性網(wǎng)絡(luò)net.inputWeights1,1.initFcn=rands; %初始化權(quán)值net.biases1.initFcn=rands; %初始化偏差net=init(net); %把初始化的權(quán)值和偏差函數(shù)賦給網(wǎng)絡(luò)2006-11-28北京科技大學(xué) 付冬梅19W0=net.iw1,1 %顯示初始化權(quán)值和偏差B0=net.b1net.trainParam.epochs=20; %最大循環(huán)次數(shù)net.trainPara

12、m.goal=0.001; %期望誤差net,tr=train(net,P,T); %進(jìn)行線性自適應(yīng)網(wǎng)絡(luò)權(quán)值的訓(xùn)練W=net.iw1,1 %顯示訓(xùn)練好的初始化權(quán)值和偏差B=net.b14.4 MATLAB程序仿真W = -0.2475B = 0.74312006-11-28北京科技大學(xué) 付冬梅20例1、設(shè)計(jì)自能夠適應(yīng)線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從輸入矢量到輸出矢量的變換關(guān)系，其輸入矢量和輸出矢量分別為： P=1.0 -1.2 T=0.5 1.0程序2P=1.0 -1.2;T=0.5 1.0;net=newlind(P,T); %得到準(zhǔn)確的線性自適應(yīng)網(wǎng)絡(luò)W=net.iw1,1 %顯示訓(xùn)練好的初始化權(quán)值和偏差

13、B=net.b14.4 MATLAB程序仿真W = -0.2273B = 0.72732006-11-28北京科技大學(xué) 付冬梅21例2：設(shè)計(jì)自能夠適應(yīng)線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從輸入矢量到輸出矢量的變換關(guān)系，其輸入矢量和輸出矢量分別為：P=1.0 1.5 1.2 -0.3 -1.0 2.0 3.3 -0.5 2.0 1.0 -1.6 0.9T=0.5 3.0 -2.2 1.4 1.1 -1.2 1.7 -0.4 3.0 0.2 -1.8 -0.4 -1.0 0.1 -1.0 0.64.4 MATLAB程序仿真2006-11-28北京科技大學(xué) 付冬梅22程序：P=1.0 1.5 1.2 -0.3 -1.0

14、 2.0 3.3 -0.5 2.0 1.0 -1.6 0.9;T=0.5 3.0 -2.2 1.4 1.1 -1.2 1.7 -0.4 3.0 0.2 -1.8 -0.4 -1.0 0.1 -1.0 0.6;Q,R=size(P);S,Q=size(T);lr=0.9*maxlinlr(P); %最佳學(xué)習(xí)率net=newlin(minmax(P),S,0,lr); %創(chuàng)建線性網(wǎng)絡(luò)net.inputWeights1,1.initFcn=rands; %初始化權(quán)值net.biases1.initFcn=rands; %初始化偏差4.4 MATLAB程序仿真2006-11-28北京科技大學(xué) 付冬梅2

15、3net=init(net); %把初始化的權(quán)值和偏差函數(shù)賦給網(wǎng)絡(luò)W0=net.iw1,1 %顯示初始化權(quán)值和偏差B0=net.b1A=sim(net,P)e=T-A; %求訓(xùn)練前網(wǎng)絡(luò)的輸出誤差sse=(sumsqr(e)/(S*Q); %求誤差平方和的平均值fprintf(Before training ,sum squrared error=%g.n,sse) %顯示訓(xùn)練前網(wǎng)絡(luò)的均方差net.trainParam.epochs=400; %最大循環(huán)次數(shù)net.trainParam.goal=0.0001; %期望誤差net,tr=train(net,P,T); %進(jìn)行線性自適應(yīng)網(wǎng)絡(luò)權(quán)值的訓(xùn)

16、練W=net.iw1,1 %顯示訓(xùn)練好的初始化權(quán)值和偏差B=net.b14.4 MATLAB程序仿真2006-11-28北京科技大學(xué) 付冬梅24W = -2.7153 2.4511 3.5284 2.3781 -1.9358 -2.3482 2.2205 -1.3512 -0.1580 -1.7947 1.0453 1.1494B = -1.3735 1.4670 -0.2634 -0.45314.4 MATLAB程序仿真2006-11-28北京科技大學(xué) 付冬梅254.5關(guān)于自適應(yīng)線性神經(jīng)元的幾點(diǎn)說(shuō)明一、自適應(yīng)線性神經(jīng)元與感知器的不同之處1）網(wǎng)絡(luò)模型的不同： 感知器是二值形式的，自適應(yīng)線性神經(jīng)

17、元是線性的。前者只能作分類工作，后者可以完成分類以及線性逼近任務(wù)。2）學(xué)習(xí)算法的不同： 感知器的學(xué)習(xí)算法是最早提出的可收斂的學(xué)習(xí)算法，算法的本質(zhì)是：如果網(wǎng)絡(luò)的計(jì)算輸出與樣本不同，則表明分類錯(cuò)誤，則自動(dòng)修正權(quán)值。 自適應(yīng)線性神經(jīng)元的學(xué)習(xí)算法是：使網(wǎng)絡(luò)計(jì)算輸出與樣本輸出之間的誤差達(dá)到最小的梯度下降法。這種算法是感知器學(xué)習(xí)算法的推廣，而B(niǎo)P算法又是本算法的進(jìn)一步推廣。2006-11-28北京科技大學(xué) 付冬梅264.5關(guān)于自適應(yīng)線性神經(jīng)元的幾點(diǎn)說(shuō)明3）適應(yīng)性與局限性的不同：感知器：適應(yīng)對(duì)線性可分問(wèn)題進(jìn)行線性分類；自適應(yīng)線性神經(jīng)元：適應(yīng)對(duì)線性可分問(wèn)題進(jìn)行線性分類， 還可以實(shí)現(xiàn)線性逼近，可用于系統(tǒng) 線性的

18、建模，即線性辨識(shí)問(wèn)題。 二、自適應(yīng)線性神經(jīng)元的應(yīng)用1）系統(tǒng)的線性辨識(shí)：自適應(yīng)線性網(wǎng)絡(luò)的輸入P與輸出Y的關(guān)系可以表達(dá)為：Y=W*P，從自動(dòng)可知理論的角度來(lái)說(shuō)，可以將W看成是傳遞函數(shù)，但是W不是計(jì)算得到的，而是學(xué)習(xí)訓(xùn)練出來(lái)的，而且2006-11-28北京科技大學(xué) 付冬梅274.5關(guān)于自適應(yīng)線性神經(jīng)元的幾點(diǎn)說(shuō)明W只能表達(dá)P、Y之間的線性關(guān)系。當(dāng)某系統(tǒng)的輸入輸出之間是非線性關(guān)系時(shí)，通過(guò)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)，可以得出線性逼近關(guān)系，這就是線性逼近模型的建立過(guò)程。2）自適應(yīng)濾波器的實(shí)現(xiàn)： 自適應(yīng)濾波是自適應(yīng)線性神經(jīng)元的主要應(yīng)用領(lǐng)域之一。11( )(1)njja kw P kjbP(k-n)P(k-n)Z-1Z-1Z-1P(k)P(k)P(k-1)P(k-