LMS自適應濾波算法

1、LMS自適應濾波算法1960年Widrow和Hoff提出最小均方誤差算法（LMS），LMS算法是隨機梯度算法中的一員。使用“隨機梯度”一詞是為了將LMS算法與最速下降法區(qū)別開來。該算法在隨機輸入維納濾波器遞歸計算中使用確定性梯度。LMS算法的一個顯著特點是它的簡單性。此外，它不需要計算有關(guān)的相關(guān)函數(shù)，也不需要矩陣求逆運算。由于其具有的簡單性、魯棒性和易于實現(xiàn)的性能，在很多領域得到了廣泛的應用。1 LMS算法簡介LMS算法是線性自適應濾波算法，一般來說包含兩個基本過程：（1） 濾波過程：計算線性濾波器輸出對輸入信號的響應，通過比較輸出與期望響應產(chǎn)生估計誤差。（2） 自適應過程：根據(jù)估計誤差自動調(diào)

2、整濾波器參數(shù)。如圖1-1所示，用Xn=xn xn-1 x(n-N+1)T表示n時刻輸入信號矢量，用Wn=w_0 (n) w_1 (n) w_(N-1) (n)T表示n時刻N階自適應濾波器的權(quán)重系數(shù)，d(n)表示期望信號，en表示誤差信號，vn是主端輸入干擾信號，u是步長因子。則基本的LMS算法可以表示為en=dn-XT(n)W(n) （1） Wn+1=Wn+2ue(n)X(n) （2）圖1-1 自適應濾波原理框圖由上式可以看出LMS算法實現(xiàn)起來確實很簡單，一步估計誤差（1），和一步跟新權(quán)向量（2）。2 迭代步長u的作用 2.1 理論分析盡管LMS算法實現(xiàn)起來較為簡單，但是精確分析LMS的收斂過

3、程和性能卻是非常困難的。最早做LMS收斂性能分析的是Widrow等人，他們從精確的梯度下降法出發(fā)，研究權(quán)矢量誤差的均值收斂特性。最終得到代價函數(shù)的收斂公式：Jn=Jmin+i=0L-1i1-ui2ngi2(0) （3）式（3）揭示出LMS算法代價函數(shù)的收斂過程表現(xiàn)為一簇指數(shù)衰減曲線之和的形式，每條指數(shù)曲線對應于旋轉(zhuǎn)后的權(quán)誤差矢量的每個分量，而他們的衰減速度，對應于輸入自相關(guān)矩陣的每個特征值，第i條指數(shù)曲線的時間常數(shù)表示為 i=-1ln(1-ui)212ui小特征值對應大時間常數(shù)，即衰減速度慢的曲線。而大特征值對應收斂速度快的曲線，但是如果特征值過大以至于(1-ui)21則導致算法發(fā)散。從上式可

4、以明顯看出迭代步長u在LMS算法中會影響算法收斂的速度，增大u可以加快算法的收斂速度，但是要保證算法收斂。最大步長邊界:umax=2TraceR穩(wěn)態(tài)誤差時衡量LMS算法的另一個重要指標，穩(wěn)定的LMS算法在n時刻所產(chǎn)生的均方誤差，其最終值J()是一個常數(shù)。用Jmin來表示維納解對應的均方誤差，則穩(wěn)態(tài)誤差可以定義為：M=J-JminJminWidrow給出的失調(diào)誤差：M=u2TraceR可見LMS算法的失調(diào)誤差恒不為零。也可以看出u越大失調(diào)誤差會越大。收斂速度和穩(wěn)態(tài)誤差不可兼得，由步長u控制兩者的折衷。2.2 實驗驗證白噪聲經(jīng)過AR模型的輸作為LMS算法的輸入，AR模型參數(shù)：a1=1.558;a2

5、=-0.81算法迭代次數(shù)2048（1） 給出了固定步長u=0.001單次運算和200次運算的權(quán)值隨n變換曲線。（2） u=0.001和u=0.003學習曲線圖2-1 單次運算與200次運算200次獨立仿真集平均后權(quán)重系數(shù)隨n變化的曲線比較平滑。最終權(quán)重系數(shù)收斂結(jié)果確實在1.558和-0.81附近。迭代步長對收斂速度和穩(wěn)態(tài)誤差的影響：圖2-2 不同迭代步長下LMS學習曲線從圖2-2很容易看出u=0.003時比u=0.001收斂速度要快，但是穩(wěn)態(tài)誤差也比較大。3 一種變步長LMS算法3.1 理論分析由迭代步長u對LMS算法的影響可知，減小步長因子u可減少自適應濾波算法的穩(wěn)態(tài)噪聲，提高算法的收斂精度

6、。同時也會降低算法的收斂速度和跟蹤速度。為了同時獲得較好地收斂速度和穩(wěn)態(tài)誤差，變步長算法被提出，在算法運行過程中動態(tài)地調(diào)整步長因子u，調(diào)整的原則是在初始收斂階段或者系統(tǒng)參數(shù)發(fā)生變化時，步長應該比較大，以便有較快的收斂速度和對時變系統(tǒng)的跟蹤速度；而在算法收斂后，不管主輸入端干擾信號v(n)有多大，都應該保持很小的調(diào)整步長以達到很小的穩(wěn)態(tài)失調(diào)噪聲。根據(jù)這一調(diào)整原則，很多變步長算法被提出。其中一種是Sigmoid函數(shù)的簡化版，步長u和e(n)關(guān)系如下：un=(1-exp(-|e(n)|2)其中參數(shù)0控制函數(shù)的形狀，參數(shù)0控制函數(shù)的取值范圍。un和e(n)的函數(shù)曲線如圖3-1和圖3-2圖3-1參數(shù)對曲

7、線的影響圖3-2參數(shù)對曲線的影響參數(shù)，選擇原則，使初始誤差|e(n)|對應的步長u值較大（在使算法收斂的范圍內(nèi)），如果需要較高的收斂速度，可選取較大的值。3.2 實驗驗證仿真實驗條件:未知系統(tǒng)FIR系數(shù)W*=0.8，0.5T；參考輸入信號x(n)是零均值，方差為1的高斯白噪聲； v(n)是與x(n)不相關(guān)的高斯白噪聲，均值是零，方差為0.04；200次獨立仿真，采樣點數(shù)為1000。 參數(shù)=300，=0.1和不同迭代步長下固定步長的LMS曲線做了對比，仿真結(jié)果如下圖3-3，圖3-4，圖3-5圖3-3 u=0.01圖3-4 u=0.02圖3-5 u=0.05觀察圖3-3、圖3-4和圖3-5，看到變步長LMS算法收斂速度優(yōu)于固定步長收斂速