自適應(yīng)濾波器

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 LMS自適應(yīng)算法LMS自適應(yīng)濾波算法是一種廣泛使用的算法，下面從LMS算法的結(jié)構(gòu)和運算入手研究該算法。1 最小均方算法的結(jié)構(gòu)和運算概述LMS算法是自適應(yīng)濾波算法。一般來說，它包含兩個基本過程：(1)濾波過程（filtering process）包括計算線性濾波器輸出對輸入信號的響應(yīng)以及通過比較輸出結(jié)果與期望響應(yīng)產(chǎn)生估計誤差。(2)自適應(yīng)過程（adaptive process）根據(jù)估計誤差自動調(diào)整濾波器參數(shù)。這兩個過程一起工作組成一個反饋環(huán)，如圖1.1所示。首先，我們有一個橫向濾波器（圍繞它構(gòu)造LMS算法），該部件的作用在于完成濾波過程。其次，我們有一個對橫向濾波器抽

2、頭權(quán)值進行自適應(yīng)控制過程的算法，即圖1.1中標(biāo)明的“自適應(yīng)權(quán)值控制算法”部分。橫向濾波器 u(n) (n) - 自適應(yīng)權(quán)值控制算法 e(n)+ d(n)圖1.1 自適應(yīng)橫向濾波結(jié)構(gòu)圖圖1.1中u(n)表示輸入信號值，表示輸出信號估計值，輸入信號通過濾波器后產(chǎn)生輸出信號，將其與參考信號(或稱期望響應(yīng))進行比較，形成誤差信號。e(n)通過某種自適應(yīng)算法對濾波器參數(shù)進行調(diào)整，最終使e(n)的均方值最小。在設(shè)計時不需要事先知道關(guān)于輸入信號和噪聲的統(tǒng)計特性的知識，它能夠在自己的工作過程中逐漸“了解”或估計出所需的統(tǒng)計特性，并以此為依據(jù)自動調(diào)整自己的參數(shù)，最終達到最佳濾波效果。一旦輸入信號的統(tǒng)計特性發(fā)生變

3、化，它又能夠跟蹤這種變化，使濾波器性能重新達到最佳。2最速下降概述最速下降算法是一種基于梯度的自適應(yīng)方法，這種方法是理解各種基于梯度的自適應(yīng)方法的基礎(chǔ)。它可用反饋系統(tǒng)來表示，濾波器的計算是一步一步迭代進行的。在平穩(wěn)過程這個特殊情況下，給定任意初始抽頭權(quán)向量，問題的解將隨迭代次數(shù)的增加而改善。值得一提是，在適當(dāng)條件下，上述方法的解收斂于維納解（即集平均誤差曲面的極小點）而不需要求輸入向量相關(guān)矩陣的逆矩陣。最速下降算法的的基本思想：考慮一個代價函數(shù)J(w)，它是某個未知向量w的的連續(xù)可微函數(shù)。函數(shù)J(w)將w的元素映射為實數(shù)。這里，我們要尋找一個最優(yōu)w使得它滿足如下條件 J(w)J(w) 對所有的

4、w (3.1)這是無約束最優(yōu)化的數(shù)學(xué)表示。特別適合于自適應(yīng)濾波的一類無約束最優(yōu)化算法基于局部迭代下降的思想：從某一初始猜想w(0)出發(fā)，產(chǎn)生一系列w(1),w (2)使得代價函數(shù)J(w (n)在算法的每一次迭代都是下降的，即J(w(n+1)<J(w(n) (3.2)其中w (n)是權(quán)向量的過去值，而w(n+1)是權(quán)向量的更新值。最速下降算法是迭代下降法的一種簡單形式，該方法是沿最速下降方向（又稱負梯度方向，即代價函數(shù)J(w)的梯度方向J(w)的反方向）連續(xù)調(diào)整權(quán)向量w。為方便起見，將梯度向量表示為 (3.3)因此，最速下降算法可以表示為w(n+1)=w(n)- 1/2*g(n) (3.4

5、)其中n表示迭代進程，是正長數(shù)，稱為步長參數(shù)，1/2因子的引入是為了數(shù)學(xué)處理上的方便。在從n到n+1的迭代中，權(quán)向量的調(diào)整量為w(n)=w(n+1)-w(n) =-1/2*g(n) (3.5)為了證明最速下降算法滿足式(4.2)，在w(n)處進行一階泰勒（Taylor）展開，得到J(w(n+1)J(w(n)+ (3.6)此式對于較小時是成立的。在式(4.6)中假設(shè)為復(fù)值向量，因為梯度向量也為復(fù)值向量，所以使用埃爾米特轉(zhuǎn)置。將式(4.5)用到式(4.6)中，得到 J(w(n+1)J(w(n)- (3.7)這表明當(dāng)為正數(shù)時，J(w(n+1)< J(w(n)。因此，隨著n的增加，代價函數(shù)J(n

6、)減小，當(dāng)n=時，代價函數(shù)趨于最小值J。最速下降算法應(yīng)用于維納濾波器考慮一個橫向濾波器，其抽頭輸入為u(n),u(n-1),u(n-M+1)，對應(yīng)的抽頭權(quán)值為w(n),w(n),w(n)。抽頭輸入是來自零均值、相關(guān)矩陣為R的廣義平穩(wěn)隨機過程的抽樣值。d(n)為濾波器的期望響應(yīng)。在時刻n抽頭輸入向量表示為u(n)，濾波器輸出端期望響應(yīng)的估計值為，通過比較期望響應(yīng)d(n)及其估計值，可以得到一個估計誤差，即 e(n)=d(n)- = d(n)-w(n)u(n) (3.8)這里w(n)u(n)是抽頭權(quán)向量w(n)與抽頭輸入向量u(n)的內(nèi)積。w(n)可進一步表示成 w(n)= w(n),w(n),w

7、(n)同樣，抽頭輸入向量u(n)可表示為 u(n)= u(n),u(n-1),u(n-M+1) 如果抽頭輸入向量u(n)和期望響應(yīng)d(n)是聯(lián)合平穩(wěn)的，此時均方誤差或在時刻n的代價函數(shù)J(n)是抽頭權(quán)向量的二次函數(shù)，于是可以得到 J(n)=Ee(n)e(n)把式(3.8)代入上式中，得 J(n)=-Eu(n)d(n)-Eu(n)d(n)w(n)+Eu(n)w(n) = (3.9)其中， =目標(biāo)函數(shù)d(n)的方差。 =抽頭輸入向量u(n)與期望響應(yīng)d(n)的互相關(guān)向量。 R=抽頭輸入向量u(n)的相關(guān)矩陣。又梯度向量可以寫為J(n)= (3.10) =-2p+2Rw(n)其中在列向量中和分別是代

8、價函數(shù)J(n)對第k個抽頭權(quán)值,w(n)的實部和虛部的偏導(dǎo)數(shù)，k =1,2,3,M-1。對最速下降算法應(yīng)用而言，假設(shè)式(3.10)中相關(guān)矩陣R和互相關(guān)向量p已知，則對于給定的抽頭權(quán)向量w(n)，可以計算出梯度向量J(n)。因此，將式(3.10)代入式(3.4)，可得更新的抽頭向量, w(n+1)為w(n+1)= w(n)+p-Rw(n) n=0,1,2, (3.11)它描述了維納濾波中最速下降法的數(shù)學(xué)表達式。 根據(jù)式(3.11)，在時刻n+1應(yīng)用到抽頭權(quán)向量的調(diào)整量等于p-Rw(n)。這個調(diào)整量也可以表示成抽頭輸入向量u(n)和估計誤差內(nèi)積期望的倍。這表明可以用一組互相關(guān)器來計算抽頭權(quán)向量w(

9、n)的較正量，較正量用, ,表示。3 LMS自適應(yīng)濾波算法最小均方（LMS，least-mean-square）自適應(yīng)濾波算法由Widrow和Hof提出的最小均方誤差(LMS )算法，它是一種搜索算法,通過對目標(biāo)函數(shù)進行適當(dāng)?shù)恼{(diào)整,簡化了對梯度向量的計算。因而具有計算量小、易于實現(xiàn)等優(yōu)點而在實踐中被廣泛采用。同時通過對外部環(huán)境的自適應(yīng)，它也能夠提供很高的性能。LMS算法的主要特征包括低計算復(fù)雜度，在平穩(wěn)環(huán)境中的收斂性，該算法大體上可以描述為：（抽頭權(quán)向量更新值）=（老的抽頭權(quán)向量值）+（學(xué)習(xí)速率參數(shù)）(抽頭輸入)(誤差信號)其中誤差信號定義為期望信號與抽頭輸入向量所產(chǎn)生實際輸出向量之差。在LM

10、S算法的理論體系中，最優(yōu)化方法中的最陡下降法是隨機梯度信息處理的一種遞歸算法。在未知誤差性能的情況下，它可以尋求誤差曲面的最小點是性能分析的重要基礎(chǔ)。但是，最陡下降算法需要準(zhǔn)確測得每次迭代的梯度矢量，而實際上梯度值只能根據(jù)觀測數(shù)據(jù)進行估計。為了減少計算復(fù)雜度和縮短自適應(yīng)收斂時間，許多學(xué)者對這方面的新算法進行了研究。1960年，美國斯坦福大學(xué)的Widrow等提出了最小均方算法(LMS算法)。如果可以精確測量每一次迭代的梯度向量J(n)，而且如果步長參數(shù)合適選取，則由最速下降算法獲得的抽頭權(quán)向量將會收斂于維納解。然而事實上梯度向量的精確測量是不可能的，因為它需要抽頭輸入的相關(guān)矩陣R以及抽頭輸入與期

11、望響應(yīng)之間的互相關(guān)向量p的先驗知識。因此當(dāng)該算法運行在未知環(huán)境時，必須根據(jù)可用數(shù)據(jù)估計梯度向量。為了推導(dǎo)梯度向量的估計方法，最明顯的策略是將相關(guān)矩陣R和抽頭輸入與期望響應(yīng)之間的互相關(guān)向量的估計代入梯度向量J(n)=-2p+2Rw(n)分別定義抽頭輸入向量R和期望響應(yīng)p的瞬態(tài)估計為： (3.12)u(n)為抽頭輸入向量，d(n)為純凈的信號。因此梯度向量的瞬態(tài)估計為：J(n)=-2 u(n)d(n)+2 u(n) (3.13)將式(3.13)代入式(3.7)最速下降算法可得到一個新的更新抽頭向量的遞歸關(guān)系式 (3.14)等效地,可用三個基本關(guān)系式寫出結(jié)果如下:y(n)= u(n) (3.15)e(n)=d(n)-y(n) (3.16)=+u(n)e(n) (3.17)其中，式(3.15)為濾波輸出，式(3.16)為估計誤差或誤差信號，式(3.17)為抽頭權(quán)向量的自適應(yīng)更新?？偨Y(jié)