Adaline的LMS算法

1、神經(jīng)網(wǎng)絡(luò)導(dǎo)論實(shí)驗(yàn)報(bào)告-Adaline的LMS算法專 業(yè)：信息與通信工程班 級(jí)： 5030班學(xué) 號(hào)： 3115091011姓 名： 王 靜神經(jīng)網(wǎng)絡(luò)導(dǎo)論 實(shí)驗(yàn)一 Adaline的LMS算法一、實(shí)驗(yàn)?zāi)康?、 通過(guò)實(shí)驗(yàn)了解Adaline的工作原理2、 對(duì)比LMS的三種算法，并通過(guò)上機(jī)實(shí)驗(yàn)掌握具體實(shí)現(xiàn)方法3、 與采用硬限幅函數(shù)的單個(gè)神經(jīng)元模型進(jìn)行對(duì)比，比較其異同二、實(shí)驗(yàn)原理采用硬限幅函數(shù)的單個(gè)神經(jīng)元，通過(guò)簡(jiǎn)單的學(xué)習(xí)算法，可以成功實(shí)現(xiàn)兩類線性可分類的分類功能。但對(duì)于大多數(shù)的非線性可分類來(lái)說(shuō)，則無(wú)法完成分類功能，為此我們轉(zhuǎn)而采用具有線性功能函數(shù)的神經(jīng)元Adaline（Adaptive Linear Elem

2、ent）方法。設(shè)輸入矢量X=x1,x2,xN，加權(quán)矢量W=w1,w2,wN，則神經(jīng)元的輸出可以通過(guò)下式來(lái)計(jì)算：I=WXT=XWT y=fI=WXT=XWT (1)要實(shí)現(xiàn)Adaline的分類功能，按照最小二乘法的統(tǒng)計(jì)意義而言，就是要求所有樣本的實(shí)際輸出值與理想預(yù)期值之間的誤差的均方值最小。設(shè)輸入觀察矢量X的期望輸出是d，當(dāng)權(quán)向量為W時(shí)的實(shí)際輸出是y，定義=d-y?？紤]所有可能出現(xiàn)樣本的均方誤差： E2=E(d-y)2 (2)將(1)式代入，可得： E2=Ed2+WRWT-2PWT (3)其中，REXTX是輸入向量的自相關(guān)矩陣，PEdX是輸入向量與期望輸出的互相關(guān)向量。由(3)式可知必定存在最佳的

3、加權(quán)矢量W*使均方誤差達(dá)到最小，對(duì)(3)式求梯度可得： wE2=2WR-2P (4)由(4)式可解最優(yōu)權(quán)向量： W*=PR-1 (5)(5)式給出了求最佳加權(quán)矢量的方法，但是需要做大量的統(tǒng)計(jì)計(jì)算，而且當(dāng)輸入矢量X的維數(shù)很大時(shí)，需要解決高階矩陣求逆的問(wèn)題，這些都是非常困難的。于是我們給出下面三種遞推求解的方法。2.1 LMS學(xué)習(xí)問(wèn)題的嚴(yán)格遞推學(xué)習(xí)算法1. 任意設(shè)置初始權(quán)向量W(0);2. 對(duì)于每一個(gè)時(shí)序變量k，按下式調(diào)整權(quán)向量W： Wk+1=Wk+-wE2(k), k=1,2, (6)(6)式的含義為，應(yīng)該向梯度的負(fù)方向調(diào)整加權(quán)向量W(k)，只要選定合適的步幅系數(shù)就能保證學(xué)習(xí)的收斂性。求出(6)

4、式中的梯度： w=-2E(k)X(k) (7)于是(6)式變?yōu)椋篧k+1=Wk+2E(k)X(k) (8)用這種方法可以保證求得嚴(yán)格的最佳解，而且避開(kāi)了矩陣求逆的困難，但學(xué)習(xí)過(guò)程中的每一步仍需完成大量的統(tǒng)計(jì)計(jì)算，統(tǒng)計(jì)計(jì)算的困難尚需解決。2.2 LMS學(xué)習(xí)問(wèn)題的隨機(jī)逼近算法 將(8)是修正為如下形式： Wk+1=Wk+2(k)X(k) (9)即得到隨機(jī)逼近算法，與其嚴(yán)格遞推算法的區(qū)別在于：用(k)X(k)代替E(k)X(k)，由此避免了統(tǒng)計(jì)計(jì)算的困難，但同時(shí)也給加權(quán)矢量的變化趨勢(shì)帶來(lái)了隨機(jī)性。2.3 LMS學(xué)習(xí)問(wèn)題的基于統(tǒng)計(jì)的算法 這是一種具有一定統(tǒng)計(jì)特性的學(xué)習(xí)算法 假設(shè)學(xué)習(xí)進(jìn)行到第k步時(shí)，可能

5、出現(xiàn)的樣本有P個(gè)，分別用XP(k)表示，下標(biāo)p=1,2,P表示在第k步學(xué)習(xí)過(guò)程中可能出現(xiàn)的不同樣本編號(hào)。第p個(gè)樣本的理想輸出和實(shí)際輸出分別用dpk和yp(k)表示。我們定義“誤差平方和”J(k)如下： J(k)=1PPP2(k) (10)其中pk=dpk-ypk，wJ(k)相對(duì)于W的梯度為：wJ(k)=-2pppkXp(k) (11)令誤差朝J(k)減小的方向調(diào)整，可得如下遞推算法：Wk+1=Wk+2pppkXp(k) (12)當(dāng)P的數(shù)量非常大，使上式右端的求和項(xiàng)足以代表輸入的統(tǒng)計(jì)特性時(shí)，(12)式與(8)式(嚴(yán)格遞推算法)一致，當(dāng)P取1時(shí)，(12)式與(9)式(隨機(jī)逼近算法)一致。三、實(shí)驗(yàn)內(nèi)

6、容及步驟3.1 LMS算法根據(jù)實(shí)驗(yàn)原理，REXTX即輸入矢量的自相關(guān)陣，可得：PEdX是輸入向量與期望輸出的互相關(guān)向量，可得：最佳權(quán)向量W*=PR-1，則有：檔W=W*時(shí)，均方誤差取得最小值：可得：E2min=Emin=Ed2-PW*T=0.26233.2 隨機(jī)逼近算法隨機(jī)逼近算法，根據(jù)給出的權(quán)向量初始值，每步從樣本中隨機(jī)的選擇一個(gè)，按照迭代公式(9)，計(jì)算下一步的權(quán)向量，根據(jù)計(jì)算出的權(quán)向量，計(jì)算此時(shí)系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時(shí)系統(tǒng)的均方誤差，若均方誤差滿足要求，則迭代結(jié)束，否則再選擇樣本進(jìn)行訓(xùn)練。下圖為隨機(jī)逼近算法的簡(jiǎn)單結(jié)構(gòu)框圖：按照式(9)計(jì)算W(k+1)計(jì)算E2=Ed-y2

7、計(jì)算輸出Y=W*XTE2-Emin>0.001隨機(jī)選擇一個(gè)樣本結(jié) 束NY隨機(jī)逼近算法框圖其中，步幅系數(shù)=0.01，加權(quán)系數(shù)的初始值選擇為W(1)=0.1，0.1，學(xué)習(xí)結(jié)束的條件為隨機(jī)逼近算法的均方誤差E2Emin+0.001圖1 =0.01時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線迭代結(jié)束后，隨機(jī)逼近算法計(jì)算出的加權(quán)系數(shù)矩陣：W=0.3793，0.3257如圖1所示為實(shí)驗(yàn)結(jié)果。在=0.01時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線，隨著學(xué)習(xí)的進(jìn)行，均方誤差逐漸減小。但是從圖中可以看見(jiàn)會(huì)有微小的起伏，這是因?yàn)槊恳徊郊訖?quán)系數(shù)的調(diào)整量是向所選樣本的誤差梯度的負(fù)方向調(diào)整，但是總的趨勢(shì)是誤差減小的方向，最后滿足誤差的

8、要求。 下列各圖為取值不同時(shí)，均方誤差隨訓(xùn)練次數(shù)變化的曲線。圖2 =0.002時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖3 =0.008時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖4 =0.01時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖5 =0.02時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖6 =0.1時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖7 =0.3時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線從圖中可以看出，在=0.002，0.008，0.01，0.02時(shí)，學(xué)習(xí)均是收斂的，只是對(duì)于不同的步幅系數(shù)，收斂速度不同。在=0.02時(shí)收斂最快，在=0.002時(shí)收斂較慢，但是當(dāng)=0.1和=0.3時(shí)學(xué)習(xí)是不收斂的。原因：步幅系數(shù)影響每次對(duì)于加權(quán)系數(shù)W的調(diào)

9、整量，因此，在步幅系數(shù)較小時(shí)（例=0.002），每次學(xué)習(xí)對(duì)于加權(quán)系數(shù)的調(diào)整很小，因此訓(xùn)練的次數(shù)較多，但是會(huì)收斂。在步幅系數(shù)較大時(shí)（例=0.1），每次學(xué)習(xí)對(duì)于加權(quán)系數(shù)的調(diào)整也會(huì)較大，所以，可能會(huì)出現(xiàn)這次學(xué)習(xí)之前，誤差沒(méi)有達(dá)到指定的精度，但是學(xué)習(xí)之后，由于調(diào)整量太大而又超過(guò)了指定精度。所以會(huì)出現(xiàn)想圖6所示的振蕩現(xiàn)象。3.3 基于統(tǒng)計(jì)的算法基于統(tǒng)計(jì)的算法，根據(jù)給出的權(quán)向量初始值，每步隨機(jī)的選擇幾個(gè)樣本，（在本次實(shí)驗(yàn)中，隨機(jī)的選擇5個(gè)樣本）按照迭代公式(12)，計(jì)算下一步的權(quán)向量，根據(jù)計(jì)算出的權(quán)向量，計(jì)算出此時(shí)系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時(shí)的均方誤差，若均方誤差滿足要求，則迭代結(jié)束，否則再

10、選擇樣本進(jìn)行訓(xùn)練。下圖為基于統(tǒng)計(jì)算法的簡(jiǎn)單結(jié)構(gòu)框圖：Y按照式(12)計(jì)算W(k+1)計(jì)算E2=Ed-y2計(jì)算輸出Y=W*XTE2-Emin>0.001隨機(jī)選擇五個(gè)樣本結(jié) 束N基于統(tǒng)計(jì)的算法框圖其中，步幅系數(shù)=0.02，輸入矢量樣本P=5，加權(quán)系數(shù)的初始值選擇為W(1)=0.1，0.1，學(xué)習(xí)結(jié)束的條件為此算法的均方誤差E2Emin+0.001圖8 P=5時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線迭代結(jié)束后，基于統(tǒng)計(jì)的算法計(jì)算出的加權(quán)系數(shù)矩陣為：W=0.3283，0.3506如圖8所示為基于統(tǒng)計(jì)的算法的實(shí)驗(yàn)結(jié)果。在P=5時(shí)，隨著學(xué)習(xí)的進(jìn)行，均方誤差逐漸減小。與隨機(jī)逼近算法一樣，圖中可以看出在逼近過(guò)程中

11、會(huì)有微小的起伏，這是因?yàn)槊恳徊郊訖?quán)系數(shù)的調(diào)整量是向所選5個(gè)樣本的誤差平方和的梯度的負(fù)方向調(diào)整。但是總的趨勢(shì)是誤差減小的方向，最后滿足誤差的要求。 下列各圖為P取值不同時(shí)，均方誤差隨訓(xùn)練次數(shù)變化的曲線。圖9 P=2時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖10 P=50時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線從圖中可以看出在合適的步幅系數(shù)=0.02時(shí)，學(xué)習(xí)過(guò)程均是收斂的，隨著P取值的不同，訓(xùn)練次數(shù)不同。P取值越大，每步調(diào)整的加權(quán)系數(shù)W越精確，所以訓(xùn)練的次數(shù)應(yīng)該越小。但是我的實(shí)驗(yàn)中，在P=50時(shí)，雖然收斂的效果很好，但是訓(xùn)練次數(shù)太多。3.4 Widrow嚴(yán)格遞推算法Widrow嚴(yán)格遞推算法，與前兩種方法不同的是，

12、每一步調(diào)整都是利用所有的樣本，計(jì)算其理想輸出與實(shí)際輸出的誤差，權(quán)向量向誤差梯度的負(fù)方向調(diào)整。即每一步利用所有的樣本計(jì)算調(diào)整量，根據(jù)給出的權(quán)向量初始值，按照迭代公式(8)，計(jì)算下一步的權(quán)向量，再計(jì)算此時(shí)系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時(shí)系統(tǒng)的均方誤差，若均方誤差滿足要求，則迭代結(jié)束，否則選擇樣本進(jìn)行訓(xùn)練。下圖為Widrow嚴(yán)格遞推算法的簡(jiǎn)單結(jié)構(gòu)框圖：N按照式(8)計(jì)算W(k+1)計(jì)算系統(tǒng)輸出Y=W*XT所有的輸入矢量計(jì)算E2=Ed-y2E2-Emin>0.001結(jié) 束YWidrow嚴(yán)格遞推算法框圖其中，步幅系數(shù)=0.02，加權(quán)系數(shù)的初始值選擇為W(1)=0.1，0.1，學(xué)習(xí)結(jié)束的條

13、件為此算法的均方誤差E2Emin+0.001圖11 =0.02時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線迭代結(jié)束后，Widrow嚴(yán)格遞推算法計(jì)算出的加權(quán)系數(shù)矩陣：W=0.3454，0.3296如圖11所示，為=0.02時(shí)，Widrow的嚴(yán)格遞推算法計(jì)算的系統(tǒng)的均方誤差隨訓(xùn)練次數(shù)的變化情況，從圖中可以看見(jiàn)，因?yàn)榇怂惴看螌?duì)于加權(quán)系數(shù)的調(diào)整是利用所有的輸入矢量，即向系統(tǒng)的均方誤差減小的方向調(diào)整，所以迭代次數(shù)比起另外兩種方法少很多。而且均方誤差隨著訓(xùn)練次數(shù)的變化曲線是一直減小的，因?yàn)槊恳徊接?jì)算的均方誤差也是系統(tǒng)的均方誤差。圖12 =0.02時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖13 =0.05時(shí)，均方誤差隨訓(xùn)練次

14、數(shù)的變化曲線圖14 =0.1時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線圖15 =0.35時(shí)，均方誤差隨訓(xùn)練次數(shù)的變化曲線如上圖所示為取不同的值的時(shí)候，系統(tǒng)均方誤差隨訓(xùn)練次數(shù)的變化曲線，步幅系數(shù)影響每一次加權(quán)系數(shù)的調(diào)整量。從圖中可以看見(jiàn)當(dāng)取0.02，0.05，0.1時(shí)，迭代均是收斂的，而且越大，收斂的越快，訓(xùn)練次數(shù)越少。但是當(dāng)過(guò)大時(shí)，像實(shí)驗(yàn)中的=0.35迭代不收斂。3.5 檢驗(yàn)本實(shí)驗(yàn)在檢驗(yàn)時(shí)，對(duì)于用于測(cè)試的200個(gè)樣本，按照三種方法計(jì)算出的加權(quán)系數(shù)分別計(jì)算其對(duì)應(yīng)的實(shí)際輸出，再與理想輸出對(duì)比，確定分類是否正確。其中確定錯(cuò)誤分類的個(gè)數(shù)時(shí)，用每一個(gè)樣本的實(shí)際輸出與對(duì)應(yīng)的理想輸出相乘，結(jié)果為正則分類正確，結(jié)果為負(fù)

15、則分類錯(cuò)誤。下面為三種方法分類的結(jié)果算法加權(quán)系數(shù)錯(cuò)誤個(gè)數(shù)正確率（%）隨機(jī)逼近算法W=0.3793，0.3257995.5基于統(tǒng)計(jì)的算法W=0.3283，0.3506995.5WidrowW=0.3454，0.32961095四、實(shí)驗(yàn)總結(jié)與思考4.1 實(shí)驗(yàn)總結(jié)本次實(shí)驗(yàn)，由于我對(duì)MATLAB掌握的不是很好，所以剛開(kāi)始在編程方面有一點(diǎn)困難，但是在理解了整體的思想和學(xué)習(xí)之后，進(jìn)行了實(shí)驗(yàn)。三種方法實(shí)質(zhì)上就是運(yùn)用不同的方法計(jì)算加權(quán)系數(shù)W，隨機(jī)逼近算法每次隨機(jī)的選擇一個(gè)樣本進(jìn)行調(diào)整，基于統(tǒng)計(jì)的算法每次選擇P個(gè)樣本進(jìn)行調(diào)整，Widrow嚴(yán)格遞推算法每次用所有的輸入矢量進(jìn)行調(diào)整。所以Widrow嚴(yán)格遞推算法最快，因?yàn)樗看握{(diào)整的方向都是向系統(tǒng)誤差減小的方向調(diào)整。算出加權(quán)系數(shù)W之后，接下來(lái)三種方法都一樣，就是根據(jù)W計(jì)算實(shí)際輸出，再計(jì)算均方誤差，根據(jù)誤差精度的要求確定迭代是否結(jié)束。問(wèn)題：在基于統(tǒng)計(jì)的算法中，隨著P的增加，應(yīng)該訓(xùn)練次數(shù)減少，但是在我的實(shí)驗(yàn)中，當(dāng)P=50 時(shí)，雖然收斂結(jié)果很好，但是訓(xùn)練次數(shù)太多。比P=5的時(shí)候還多。4.2 實(shí)驗(yàn)思考題1、如果想采用硬限幅函數(shù)的單個(gè)神經(jīng)元完成該分類任務(wù)，會(huì)出現(xiàn)什么樣的現(xiàn)象？可能結(jié)果會(huì)不收斂，因?yàn)椴捎糜蚕薹瘮?shù)的單個(gè)神經(jīng)元只能完成線性可分類問(wèn)題，但是對(duì)于非線性的分類問(wèn)題可能結(jié)果會(huì)不收斂。2、通過(guò)觀察比較隨機(jī)逼近算法