LMS自適應(yīng)濾波算法

1、LMS自適應(yīng)濾波算法1960年Widrow和Hoff提出最小均方誤差算法（LMS），LMS算法是隨機(jī)梯度算法中的一員。使用“隨機(jī)梯度”一詞是為了將LMS算法與最速下降法區(qū)別開(kāi)來(lái)。該算法在隨機(jī)輸入維納濾波器遞歸計(jì)算中使用確定性梯度。LMS算法的一個(gè)顯著特點(diǎn)是它的簡(jiǎn)單性。此外，它不需要計(jì)算有關(guān)的相關(guān)函數(shù)，也不需要矩陣求逆運(yùn)算。由于其具有的簡(jiǎn)單性、魯棒性和易于實(shí)現(xiàn)的性能，在很多領(lǐng)域得到了廣泛的應(yīng)用。1 LMS算法簡(jiǎn)介L(zhǎng)MS算法是線性自適應(yīng)濾波算法，一般來(lái)說(shuō)包含兩個(gè)基本過(guò)程：（1） 濾波過(guò)程：計(jì)算線性濾波器輸出對(duì)輸入信號(hào)的響應(yīng)，通過(guò)比較輸出與期望響應(yīng)產(chǎn)生估計(jì)誤差。（2） 自適應(yīng)過(guò)程：根據(jù)估計(jì)誤差自動(dòng)調(diào)

2、整濾波器參數(shù)。如圖1-1所示，用Xn=xn xn-1 x(n-N+1)T表示n時(shí)刻輸入信號(hào)矢量，用Wn=w_0 (n) w_1 (n) w_(N-1) (n)T表示n時(shí)刻N(yùn)階自適應(yīng)濾波器的權(quán)重系數(shù)，d(n)表示期望信號(hào)，en表示誤差信號(hào)，vn是主端輸入干擾信號(hào)，u是步長(zhǎng)因子。則基本的LMS算法可以表示為en=dn-XT(n)W(n) （1） Wn+1=Wn+2ue(n)X(n) （2）圖1-1 自適應(yīng)濾波原理框圖由上式可以看出LMS算法實(shí)現(xiàn)起來(lái)確實(shí)很簡(jiǎn)單，一步估計(jì)誤差（1），和一步跟新權(quán)向量（2）。2 迭代步長(zhǎng)u的作用 2.1 理論分析盡管LMS算法實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，但是精確分析LMS的收斂過(guò)

3、程和性能卻是非常困難的。最早做LMS收斂性能分析的是Widrow等人，他們從精確的梯度下降法出發(fā)，研究權(quán)矢量誤差的均值收斂特性。最終得到代價(jià)函數(shù)的收斂公式：Jn=Jmin+i=0L-1i1-ui2ngi2(0) （3）式（3）揭示出LMS算法代價(jià)函數(shù)的收斂過(guò)程表現(xiàn)為一簇指數(shù)衰減曲線之和的形式，每條指數(shù)曲線對(duì)應(yīng)于旋轉(zhuǎn)后的權(quán)誤差矢量的每個(gè)分量，而他們的衰減速度，對(duì)應(yīng)于輸入自相關(guān)矩陣的每個(gè)特征值，第i條指數(shù)曲線的時(shí)間常數(shù)表示為 i=-1ln(1-ui)212ui小特征值對(duì)應(yīng)大時(shí)間常數(shù)，即衰減速度慢的曲線。而大特征值對(duì)應(yīng)收斂速度快的曲線，但是如果特征值過(guò)大以至于(1-ui)21則導(dǎo)致算法發(fā)散。從上式可

4、以明顯看出迭代步長(zhǎng)u在LMS算法中會(huì)影響算法收斂的速度，增大u可以加快算法的收斂速度，但是要保證算法收斂。最大步長(zhǎng)邊界:umax=2TraceR穩(wěn)態(tài)誤差時(shí)衡量LMS算法的另一個(gè)重要指標(biāo)，穩(wěn)定的LMS算法在n時(shí)刻所產(chǎn)生的均方誤差，其最終值J()是一個(gè)常數(shù)。用Jmin來(lái)表示維納解對(duì)應(yīng)的均方誤差，則穩(wěn)態(tài)誤差可以定義為：M=J-JminJminWidrow給出的失調(diào)誤差：M=u2TraceR可見(jiàn)LMS算法的失調(diào)誤差恒不為零。也可以看出u越大失調(diào)誤差會(huì)越大。收斂速度和穩(wěn)態(tài)誤差不可兼得，由步長(zhǎng)u控制兩者的折衷。2.2 實(shí)驗(yàn)驗(yàn)證白噪聲經(jīng)過(guò)AR模型的輸作為L(zhǎng)MS算法的輸入，AR模型參數(shù)：a1=1.558;a2

5、=-0.81算法迭代次數(shù)2048（1） 給出了固定步長(zhǎng)u=0.001單次運(yùn)算和200次運(yùn)算的權(quán)值隨n變換曲線。（2） u=0.001和u=0.003學(xué)習(xí)曲線圖2-1 單次運(yùn)算與200次運(yùn)算200次獨(dú)立仿真集平均后權(quán)重系數(shù)隨n變化的曲線比較平滑。最終權(quán)重系數(shù)收斂結(jié)果確實(shí)在1.558和-0.81附近。迭代步長(zhǎng)對(duì)收斂速度和穩(wěn)態(tài)誤差的影響：圖2-2 不同迭代步長(zhǎng)下LMS學(xué)習(xí)曲線從圖2-2很容易看出u=0.003時(shí)比u=0.001收斂速度要快，但是穩(wěn)態(tài)誤差也比較大。3 一種變步長(zhǎng)LMS算法3.1 理論分析由迭代步長(zhǎng)u對(duì)LMS算法的影響可知，減小步長(zhǎng)因子u可減少自適應(yīng)濾波算法的穩(wěn)態(tài)噪聲，提高算法的收斂精度

6、。同時(shí)也會(huì)降低算法的收斂速度和跟蹤速度。為了同時(shí)獲得較好地收斂速度和穩(wěn)態(tài)誤差，變步長(zhǎng)算法被提出，在算法運(yùn)行過(guò)程中動(dòng)態(tài)地調(diào)整步長(zhǎng)因子u，調(diào)整的原則是在初始收斂階段或者系統(tǒng)參數(shù)發(fā)生變化時(shí)，步長(zhǎng)應(yīng)該比較大，以便有較快的收斂速度和對(duì)時(shí)變系統(tǒng)的跟蹤速度；而在算法收斂后，不管主輸入端干擾信號(hào)v(n)有多大，都應(yīng)該保持很小的調(diào)整步長(zhǎng)以達(dá)到很小的穩(wěn)態(tài)失調(diào)噪聲。根據(jù)這一調(diào)整原則，很多變步長(zhǎng)算法被提出。其中一種是Sigmoid函數(shù)的簡(jiǎn)化版，步長(zhǎng)u和e(n)關(guān)系如下：un=(1-exp(-|e(n)|2)其中參數(shù)0控制函數(shù)的形狀，參數(shù)0控制函數(shù)的取值范圍。un和e(n)的函數(shù)曲線如圖3-1和圖3-2圖3-1參數(shù)對(duì)曲

7、線的影響圖3-2參數(shù)對(duì)曲線的影響參數(shù)，選擇原則，使初始誤差|e(n)|對(duì)應(yīng)的步長(zhǎng)u值較大（在使算法收斂的范圍內(nèi)），如果需要較高的收斂速度，可選取較大的值。3.2 實(shí)驗(yàn)驗(yàn)證仿真實(shí)驗(yàn)條件:未知系統(tǒng)FIR系數(shù)W*=0.8，0.5T；參考輸入信號(hào)x(n)是零均值，方差為1的高斯白噪聲； v(n)是與x(n)不相關(guān)的高斯白噪聲，均值是零，方差為0.04；200次獨(dú)立仿真，采樣點(diǎn)數(shù)為1000。 參數(shù)=300，=0.1和不同迭代步長(zhǎng)下固定步長(zhǎng)的LMS曲線做了對(duì)比，仿真結(jié)果如下圖3-3，圖3-4，圖3-5圖3-3 u=0.01圖3-4 u=0.02圖3-5 u=0.05觀察圖3-3、圖3-4和圖3-5，看到變步長(zhǎng)LMS算法收斂速度優(yōu)于固定步長(zhǎng)收斂速