Adaline的LMS算法

1、神經(jīng)網(wǎng)絡導論實驗報告-Adaline的LMS算法專 業(yè)：信息與通信工程班 級： 5030班學 號： 3115091011姓 名： 王 靜神經(jīng)網(wǎng)絡導論 實驗一 Adaline的LMS算法一、實驗目的1、 通過實驗了解Adaline的工作原理2、 對比LMS的三種算法，并通過上機實驗掌握具體實現(xiàn)方法3、 與采用硬限幅函數(shù)的單個神經(jīng)元模型進行對比，比較其異同二、實驗原理采用硬限幅函數(shù)的單個神經(jīng)元，通過簡單的學習算法，可以成功實現(xiàn)兩類線性可分類的分類功能。但對于大多數(shù)的非線性可分類來說，則無法完成分類功能，為此我們轉而采用具有線性功能函數(shù)的神經(jīng)元Adaline（Adaptive Linear Elem

2、ent）方法。設輸入矢量X=x1,x2,xN，加權矢量W=w1,w2,wN，則神經(jīng)元的輸出可以通過下式來計算：I=WXT=XWT y=fI=WXT=XWT (1)要實現(xiàn)Adaline的分類功能，按照最小二乘法的統(tǒng)計意義而言，就是要求所有樣本的實際輸出值與理想預期值之間的誤差的均方值最小。設輸入觀察矢量X的期望輸出是d，當權向量為W時的實際輸出是y，定義=d-y?？紤]所有可能出現(xiàn)樣本的均方誤差： E2=E(d-y)2 (2)將(1)式代入，可得： E2=Ed2+WRWT-2PWT (3)其中，REXTX是輸入向量的自相關矩陣，PEdX是輸入向量與期望輸出的互相關向量。由(3)式可知必定存在最佳的

3、加權矢量W*使均方誤差達到最小，對(3)式求梯度可得： wE2=2WR-2P (4)由(4)式可解最優(yōu)權向量： W*=PR-1 (5)(5)式給出了求最佳加權矢量的方法，但是需要做大量的統(tǒng)計計算，而且當輸入矢量X的維數(shù)很大時，需要解決高階矩陣求逆的問題，這些都是非常困難的。于是我們給出下面三種遞推求解的方法。2.1 LMS學習問題的嚴格遞推學習算法1. 任意設置初始權向量W(0);2. 對于每一個時序變量k，按下式調(diào)整權向量W： Wk+1=Wk+-wE2(k), k=1,2, (6)(6)式的含義為，應該向梯度的負方向調(diào)整加權向量W(k)，只要選定合適的步幅系數(shù)就能保證學習的收斂性。求出(6)

4、式中的梯度： w=-2E(k)X(k) (7)于是(6)式變?yōu)椋篧k+1=Wk+2E(k)X(k) (8)用這種方法可以保證求得嚴格的最佳解，而且避開了矩陣求逆的困難，但學習過程中的每一步仍需完成大量的統(tǒng)計計算，統(tǒng)計計算的困難尚需解決。2.2 LMS學習問題的隨機逼近算法 將(8)是修正為如下形式： Wk+1=Wk+2(k)X(k) (9)即得到隨機逼近算法，與其嚴格遞推算法的區(qū)別在于：用(k)X(k)代替E(k)X(k)，由此避免了統(tǒng)計計算的困難，但同時也給加權矢量的變化趨勢帶來了隨機性。2.3 LMS學習問題的基于統(tǒng)計的算法 這是一種具有一定統(tǒng)計特性的學習算法 假設學習進行到第k步時，可能

5、出現(xiàn)的樣本有P個，分別用XP(k)表示，下標p=1,2,P表示在第k步學習過程中可能出現(xiàn)的不同樣本編號。第p個樣本的理想輸出和實際輸出分別用dpk和yp(k)表示。我們定義“誤差平方和”J(k)如下： J(k)=1PPP2(k) (10)其中pk=dpk-ypk，wJ(k)相對于W的梯度為：wJ(k)=-2pppkXp(k) (11)令誤差朝J(k)減小的方向調(diào)整，可得如下遞推算法：Wk+1=Wk+2pppkXp(k) (12)當P的數(shù)量非常大，使上式右端的求和項足以代表輸入的統(tǒng)計特性時，(12)式與(8)式(嚴格遞推算法)一致，當P取1時，(12)式與(9)式(隨機逼近算法)一致。三、實驗內(nèi)

6、容及步驟3.1 LMS算法根據(jù)實驗原理，REXTX即輸入矢量的自相關陣，可得：PEdX是輸入向量與期望輸出的互相關向量，可得：最佳權向量W*=PR-1，則有：檔W=W*時，均方誤差取得最小值：可得：E2min=Emin=Ed2-PW*T=0.26233.2 隨機逼近算法隨機逼近算法，根據(jù)給出的權向量初始值，每步從樣本中隨機的選擇一個，按照迭代公式(9)，計算下一步的權向量，根據(jù)計算出的權向量，計算此時系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時系統(tǒng)的均方誤差，若均方誤差滿足要求，則迭代結束，否則再選擇樣本進行訓練。下圖為隨機逼近算法的簡單結構框圖：按照式(9)計算W(k+1)計算E2=Ed-y2

7、計算輸出Y=W*XTE2-Emin0.001隨機選擇一個樣本結 束NY隨機逼近算法框圖其中，步幅系數(shù)=0.01，加權系數(shù)的初始值選擇為W(1)=0.1，0.1，學習結束的條件為隨機逼近算法的均方誤差E2Emin+0.001圖1 =0.01時，均方誤差隨訓練次數(shù)的變化曲線迭代結束后，隨機逼近算法計算出的加權系數(shù)矩陣：W=0.3793，0.3257如圖1所示為實驗結果。在=0.01時，均方誤差隨訓練次數(shù)的變化曲線，隨著學習的進行，均方誤差逐漸減小。但是從圖中可以看見會有微小的起伏，這是因為每一步加權系數(shù)的調(diào)整量是向所選樣本的誤差梯度的負方向調(diào)整，但是總的趨勢是誤差減小的方向，最后滿足誤差的要求。

8、下列各圖為取值不同時，均方誤差隨訓練次數(shù)變化的曲線。圖2 =0.002時，均方誤差隨訓練次數(shù)的變化曲線圖3 =0.008時，均方誤差隨訓練次數(shù)的變化曲線圖4 =0.01時，均方誤差隨訓練次數(shù)的變化曲線圖5 =0.02時，均方誤差隨訓練次數(shù)的變化曲線圖6 =0.1時，均方誤差隨訓練次數(shù)的變化曲線圖7 =0.3時，均方誤差隨訓練次數(shù)的變化曲線從圖中可以看出，在=0.002，0.008，0.01，0.02時，學習均是收斂的，只是對于不同的步幅系數(shù)，收斂速度不同。在=0.02時收斂最快，在=0.002時收斂較慢，但是當=0.1和=0.3時學習是不收斂的。原因：步幅系數(shù)影響每次對于加權系數(shù)W的調(diào)整量，因

9、此，在步幅系數(shù)較小時（例=0.002），每次學習對于加權系數(shù)的調(diào)整很小，因此訓練的次數(shù)較多，但是會收斂。在步幅系數(shù)較大時（例=0.1），每次學習對于加權系數(shù)的調(diào)整也會較大，所以，可能會出現(xiàn)這次學習之前，誤差沒有達到指定的精度，但是學習之后，由于調(diào)整量太大而又超過了指定精度。所以會出現(xiàn)想圖6所示的振蕩現(xiàn)象。3.3 基于統(tǒng)計的算法基于統(tǒng)計的算法，根據(jù)給出的權向量初始值，每步隨機的選擇幾個樣本，（在本次實驗中，隨機的選擇5個樣本）按照迭代公式(12)，計算下一步的權向量，根據(jù)計算出的權向量，計算出此時系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時的均方誤差，若均方誤差滿足要求，則迭代結束，否則再選擇樣本

10、進行訓練。下圖為基于統(tǒng)計算法的簡單結構框圖：Y按照式(12)計算W(k+1)計算E2=Ed-y2計算輸出Y=W*XTE2-Emin0.001隨機選擇五個樣本結 束N基于統(tǒng)計的算法框圖其中，步幅系數(shù)=0.02，輸入矢量樣本P=5，加權系數(shù)的初始值選擇為W(1)=0.1，0.1，學習結束的條件為此算法的均方誤差E2Emin+0.001圖8 P=5時，均方誤差隨訓練次數(shù)的變化曲線迭代結束后，基于統(tǒng)計的算法計算出的加權系數(shù)矩陣為：W=0.3283，0.3506如圖8所示為基于統(tǒng)計的算法的實驗結果。在P=5時，隨著學習的進行，均方誤差逐漸減小。與隨機逼近算法一樣，圖中可以看出在逼近過程中會有微小的起伏，

11、這是因為每一步加權系數(shù)的調(diào)整量是向所選5個樣本的誤差平方和的梯度的負方向調(diào)整。但是總的趨勢是誤差減小的方向，最后滿足誤差的要求。 下列各圖為P取值不同時，均方誤差隨訓練次數(shù)變化的曲線。圖9 P=2時，均方誤差隨訓練次數(shù)的變化曲線圖10 P=50時，均方誤差隨訓練次數(shù)的變化曲線從圖中可以看出在合適的步幅系數(shù)=0.02時，學習過程均是收斂的，隨著P取值的不同，訓練次數(shù)不同。P取值越大，每步調(diào)整的加權系數(shù)W越精確，所以訓練的次數(shù)應該越小。但是我的實驗中，在P=50時，雖然收斂的效果很好，但是訓練次數(shù)太多。3.4 Widrow嚴格遞推算法Widrow嚴格遞推算法，與前兩種方法不同的是，每一步調(diào)整都是利

12、用所有的樣本，計算其理想輸出與實際輸出的誤差，權向量向誤差梯度的負方向調(diào)整。即每一步利用所有的樣本計算調(diào)整量，根據(jù)給出的權向量初始值，按照迭代公式(8)，計算下一步的權向量，再計算此時系統(tǒng)的輸出矢量Y，與理想輸出比較，得到此時系統(tǒng)的均方誤差，若均方誤差滿足要求，則迭代結束，否則選擇樣本進行訓練。下圖為Widrow嚴格遞推算法的簡單結構框圖：N按照式(8)計算W(k+1)計算系統(tǒng)輸出Y=W*XT所有的輸入矢量計算E2=Ed-y2E2-Emin0.001結 束YWidrow嚴格遞推算法框圖其中，步幅系數(shù)=0.02，加權系數(shù)的初始值選擇為W(1)=0.1，0.1，學習結束的條件為此算法的均方誤差E2

13、Emin+0.001圖11 =0.02時，均方誤差隨訓練次數(shù)的變化曲線迭代結束后，Widrow嚴格遞推算法計算出的加權系數(shù)矩陣：W=0.3454，0.3296如圖11所示，為=0.02時，Widrow的嚴格遞推算法計算的系統(tǒng)的均方誤差隨訓練次數(shù)的變化情況，從圖中可以看見，因為此算法每次對于加權系數(shù)的調(diào)整是利用所有的輸入矢量，即向系統(tǒng)的均方誤差減小的方向調(diào)整，所以迭代次數(shù)比起另外兩種方法少很多。而且均方誤差隨著訓練次數(shù)的變化曲線是一直減小的，因為每一步計算的均方誤差也是系統(tǒng)的均方誤差。圖12 =0.02時，均方誤差隨訓練次數(shù)的變化曲線圖13 =0.05時，均方誤差隨訓練次數(shù)的變化曲線圖14 =0

14、.1時，均方誤差隨訓練次數(shù)的變化曲線圖15 =0.35時，均方誤差隨訓練次數(shù)的變化曲線如上圖所示為取不同的值的時候，系統(tǒng)均方誤差隨訓練次數(shù)的變化曲線，步幅系數(shù)影響每一次加權系數(shù)的調(diào)整量。從圖中可以看見當取0.02，0.05，0.1時，迭代均是收斂的，而且越大，收斂的越快，訓練次數(shù)越少。但是當過大時，像實驗中的=0.35迭代不收斂。3.5 檢驗本實驗在檢驗時，對于用于測試的200個樣本，按照三種方法計算出的加權系數(shù)分別計算其對應的實際輸出，再與理想輸出對比，確定分類是否正確。其中確定錯誤分類的個數(shù)時，用每一個樣本的實際輸出與對應的理想輸出相乘，結果為正則分類正確，結果為負則分類錯誤。下面為三種方

15、法分類的結果算法加權系數(shù)錯誤個數(shù)正確率（%）隨機逼近算法W=0.3793，0.3257995.5基于統(tǒng)計的算法W=0.3283，0.3506995.5WidrowW=0.3454，0.32961095四、實驗總結與思考4.1 實驗總結本次實驗，由于我對MATLAB掌握的不是很好，所以剛開始在編程方面有一點困難，但是在理解了整體的思想和學習之后，進行了實驗。三種方法實質(zhì)上就是運用不同的方法計算加權系數(shù)W，隨機逼近算法每次隨機的選擇一個樣本進行調(diào)整，基于統(tǒng)計的算法每次選擇P個樣本進行調(diào)整，Widrow嚴格遞推算法每次用所有的輸入矢量進行調(diào)整。所以Widrow嚴格遞推算法最快，因為它每次調(diào)整的方向都是向系統(tǒng)誤差減小的方向調(diào)整。算出加權系數(shù)W之后，接下來三種方法都一樣，就是根據(jù)W計算實際輸出，再計算均方誤差，根據(jù)誤差精度的要求確定迭代是否結束。問題：在基于統(tǒng)計的算法中，隨著P的增加，應該訓練次數(shù)減少，但是在我的實驗中，當P=50 時，雖然收斂結果很好，但是訓練次數(shù)太多。比P=5的時候還多。4.2 實驗思考題1、如果想采用硬限幅函數(shù)的單個神經(jīng)元完成該分類任務，會出現(xiàn)什么樣的現(xiàn)象？可能結果會不收斂，因為采用硬限幅函數(shù)的單個神經(jīng)元只能完成線性可分類問題，但是對于非線性的分類問題可能結果會不收斂。2、通過觀察比較隨機逼近算法與