自適應(yīng)濾波器原理-帶圖帶總結(jié)word版

1、第二章 自適應(yīng)濾波器原理2.1 基本原理2.1.1 自適應(yīng)濾波器的發(fā)展在解決線性濾波問題的統(tǒng)計方法中，通常假設(shè)已知有用信號及其附加噪聲的某些統(tǒng)計參數(shù)（例如，均值和自相關(guān)函數(shù)），而且需要設(shè)計含噪數(shù)據(jù)作為其輸入的線性濾波器，使得根據(jù)某種統(tǒng)計準則噪聲對濾波器的影響最小。實現(xiàn)該濾波器優(yōu)化問題的一個有用方法是使誤差信號（定義為期望響應(yīng)與濾波器實際輸出之差）的均方值最小化。對于平穩(wěn)輸入，通常采用所謂維納濾波器（Wiener filter）的解決方案。該濾波器在均方誤差意義上使最優(yōu)的。誤差信號均方值相對于濾波器可調(diào)參數(shù)的曲線通常稱為誤差性能曲面。該曲面的極小點即為維納解。維納濾波器不適合于應(yīng)對信號和/或噪聲

2、非平穩(wěn)問題。在這種情況下，必須假設(shè)最優(yōu)濾波器為時變形式。對于這個更加困難的問題，十分成功的一個解決方案使采用卡爾曼濾波器（Kalman filter）。該濾波器在各種工程應(yīng)用中式一個強有力的系統(tǒng)。維納濾波器的設(shè)計要求所要處理的數(shù)據(jù)統(tǒng)計方面的先驗知識。只有當輸入數(shù)據(jù)的統(tǒng)計特性與濾波器設(shè)計所依賴的某一先驗知識匹配時，該濾波器才是最優(yōu)的。當這個信息完全未知時，就不可能設(shè)計維納濾波器，或者該設(shè)計不再是最優(yōu)的。而且維納濾波器的參數(shù)是固定的。在這種情況下，可采用的一個直接方法是“估計和插入過程”。該過程包含兩個步驟，首先是“估計”有關(guān)信號的統(tǒng)計參數(shù)，然后將所得到的結(jié)果“插入（plug into）”非遞歸公

3、式以計算濾波器參數(shù)。對于實時運算，該過程的缺點是要求特別精心制作，而且要求價格昂貴的硬件。為了消除這個限制，可采用自適應(yīng)濾波器（adaptive filter）。采用這樣一種系統(tǒng)，意味著濾波器是自設(shè)計的，即自適應(yīng)濾波器依靠遞歸算法進行其計算，這樣使它有可能在無法獲得有關(guān)信號特征完整知識的環(huán)境下，玩完滿地完成濾波運算。該算法將從某些預先確定的初始條件集出發(fā)，這些初始條件代表了人們所知道的上述環(huán)境的任何一種情況。我們還發(fā)現(xiàn)，在平穩(wěn)環(huán)境下，該運算經(jīng)一些成功迭代后收斂于某種統(tǒng)計意義上的最優(yōu)維納解。在非平穩(wěn)環(huán)境下，該算法提供了一種跟蹤能力，即跟蹤輸入數(shù)據(jù)統(tǒng)計特性隨時間的變化，只要這種變化時足夠緩慢的。4

4、0年代，N.維納用最小均方原則設(shè)計最佳線性濾波器，用來處理平穩(wěn)隨機信號，即著名的維納濾波器。60年代，R.E.卡爾曼創(chuàng)立最佳時變線性濾波設(shè)計理論，用來處理非平穩(wěn)隨機信號，即著名的卡爾曼濾波器。70 年代，美國B.Windrow和Hoff提出了處理隨機信號的自適應(yīng)濾波器算法，彌補了維納、卡爾曼濾波器的致命缺陷：必須事先知道待處理信號的統(tǒng)計特性（如自相關(guān)函數(shù)），才能計算出最佳的濾波器系數(shù)Wopt，否則，維納、卡爾曼濾波器無法判定為最佳。 一個自適應(yīng)算法的好壞取決于以下一個或多個因素Error! Reference source not found.： 收斂速率：它定義為算法在平穩(wěn)輸入時響應(yīng)足夠接近

5、地收斂于均方誤差意義上的最優(yōu)維納解。 失調(diào)：這個參數(shù)提供了自適應(yīng)濾波器的最終均方誤差與維納濾波器所產(chǎn)生的最小均方誤差之間偏離程度的一個定量測量。 跟蹤：當自適應(yīng)算法運行在非平穩(wěn)條件下，該算法需要跟蹤環(huán)境的統(tǒng)計量變化。然而，算法的跟蹤性能受到兩個相互矛盾的特性的影響：即收斂速率和由算法噪聲引起的穩(wěn)態(tài)波動。 魯棒性：對于一個魯棒的自適應(yīng)濾波器，小的擾動只會產(chǎn)生小的估計誤差。這些擾動來源于各種因素，包括來自濾波器內(nèi)部或外部的因素。 計算量：主要包括三方面（a）完成算法一次完整迭代所需要的運算量（即乘法、除法、加法和減法）；（b）存儲數(shù)據(jù)和程序所需要的存儲器位置的大??；（c）在計算機上對算法編程所需要

6、的投資。 結(jié)構(gòu)：涉及算法的信息流結(jié)構(gòu)以及硬件實現(xiàn)的方式。例如，其結(jié)構(gòu)呈現(xiàn)高度模塊化、并行或并發(fā)的算法很適應(yīng)于使用超大規(guī)模集成電路（VLSI）實現(xiàn)。 數(shù)值特性：當一個算法數(shù)值實現(xiàn)時，將產(chǎn)生由量化誤差引起的不精確性，特別存在人們所關(guān)心的兩種基本問題：數(shù)值穩(wěn)定性和數(shù)值精確性問題。數(shù)值穩(wěn)定性是自適應(yīng)算法的固有的特征。數(shù)值精確性由樣本值和濾波器系數(shù)的位數(shù)確定。當某種算法對其數(shù)字實現(xiàn)的字長變化不敏感時，就說該自適應(yīng)濾波器算法的數(shù)值魯棒。2.1.2 自適應(yīng)濾波器的研究方法自適應(yīng)濾波問題不存在唯一地解決方法。自適應(yīng)濾波用戶面臨的挑戰(zhàn)包括：首先要了解各種自適應(yīng)濾波算法的能力和限制；其次把了解到得知識用于選擇合適

7、的算法以滿足各自的應(yīng)用需要。自適應(yīng)濾波器基本上存在如下兩種不同的推導方法。隨機梯度法隨機梯度法（stochastic gradient approach）使用抽頭延遲線或者橫向濾波器作為實現(xiàn)自適應(yīng)濾波器的構(gòu)造基礎(chǔ)。對于平穩(wěn)輸入情況，代價函數(shù)（也稱為性能指標）定義為均方誤差（即期望響應(yīng)與橫向濾波器輸出之差的均方值）。代價函數(shù)恰好是橫向濾波器中抽頭權(quán)值的二次函數(shù)。該抽頭權(quán)值的均方誤差函數(shù)可看做是具有唯一確定的極小點的多維拋物面。我們把這個拋物面稱為誤差性能曲面；對于該曲面的極小點的抽頭權(quán)值定義了最優(yōu)維納解。為了推導更新自適應(yīng)橫向濾波器抽頭權(quán)值的遞歸算法，我們分兩步進行這項工作。首先，使用迭代方法求

8、解維納-霍夫方程（Wiener-Hopf equation）；迭代過程以最優(yōu)化理論中人們所熟知的最速下降法（method of steepest descent）為基礎(chǔ)。這個方法需要使用梯度向量，其值取決于兩個參量：橫向濾波器中抽頭輸入的自相關(guān)矩陣以及期望響應(yīng)與該抽頭輸入之間的互相關(guān)向量。其次，我們使用這些相關(guān)的瞬態(tài)值，以便導出梯度向量的估計值，推導中假設(shè)該向量是隨機的。基于上述思想的算法，通常稱為最小均方（LMS，least-mean-square）算法。當橫向濾波器運行在實數(shù)據(jù)的情況下，該算法大體上可描述為：（抽頭權(quán)向量更新值）=（老的抽頭權(quán)向量值）+（學習速率常數(shù)）（抽頭輸入向量）（誤差

9、信號）其中誤差信號定義為期望響應(yīng)與抽頭輸入向量所產(chǎn)生的橫向濾波器實際向量之差。LMS算法很簡單，而且在正確條件下可獲得滿意的性能。其主要缺點是收斂速率相當緩慢，而且對抽頭輸入相關(guān)矩陣條件數(shù)（矩陣的條件數(shù)定義為其最大特征值與最小特征值之比）的變化比較敏感。即使這樣，LMS算法仍然十分流行且應(yīng)用廣泛。在非平穩(wěn)環(huán)境下，誤差性能曲面的方向隨時間連續(xù)變化。在這種情況下，LMS算法有一個連續(xù)跟蹤誤差性能曲面極小點的附加任務(wù)。實際上，只要輸入數(shù)據(jù)變化比LMS算法學習速率來的慢時，就會發(fā)生跟蹤問題。隨機梯度方法也用于格型結(jié)構(gòu)。產(chǎn)生的自適應(yīng)算法叫做梯度自適應(yīng)格型（GAL gradient adaptive la

10、ttice）算法。LMS和GAL算法是自適應(yīng)濾波器隨機梯度族的兩個成員，而且迄今為止，LMS仍然是這個家族中最流行的一員。最小二乘估計第二種自適應(yīng)濾波算法以最小二乘法為基礎(chǔ)。根據(jù)這個方法，我們對加權(quán)誤差平方和形式的代價函數(shù)進行最小化，其中誤差或殘差定義為期望響應(yīng)與實際濾波器輸出之差。最小二乘法可用塊估計或遞歸估計來表示。在塊估計中，輸入數(shù)據(jù)以等長度塊的形式排列，而且一塊一塊地對輸入數(shù)據(jù)進行濾波處理；而在遞歸估計中，一個樣值一個樣值地對感興趣的估計（例如，橫向濾波器的抽頭權(quán)值）進行更新。通常，遞歸估計比塊估計要求較少的存儲量，這就是為什么在實際中遞歸估計的使用要多得多的原因。遞歸最小二乘（RLS

11、，Recursive least-squares）可看作卡爾曼濾波的一個特例?？柭鼮V波器著名的特點是引入狀態(tài)概念，它是對特定時刻加到濾波器抽頭的所有輸入的一個度量。于是，在卡爾曼濾波算法的核心部分，殘在一種遞推關(guān)系，它可用文字表述為：（狀態(tài)遞推值）=（舊的狀態(tài)值）+（卡爾曼增益）（新息向量）其中新息向量表示在計算時刻進入濾波過程的新的信息。由此可見，卡爾曼變量與RLS變量之間存在一一對應(yīng)關(guān)系。由此，可以從大量卡爾曼濾波器文獻中選擇一些方法用來設(shè)計最小二乘估計的自適應(yīng)濾波器。RLS算法具有隨增加的計算復雜度，其中是權(quán)值個數(shù)，復雜度為：，故也稱為算法Error! Reference source

12、 not found.，相反，LMS是算法，其計算復雜度隨線性增加；當很大時，從硬件實現(xiàn)的觀點看，算法的計算復雜度將會變得不可接受。另外，諸如LMS算法等隨機梯度算法是模型無關(guān)的，而RLS是模型相關(guān)的，這意味著其跟蹤能力可能比大量的隨機梯度算法族來得差。2.2 自適應(yīng)濾波器的結(jié)構(gòu)濾波算法的運行涉及兩個基本過程：（1）濾波過程，用來對一系列的輸入數(shù)據(jù)產(chǎn)生輸出響應(yīng)；（2）自適應(yīng)過程，其目的是提供濾波過程中可調(diào)參數(shù)自適應(yīng)控制的一種機制（算法）。這兩個過程相互影響地工作。自然，濾波過程結(jié)構(gòu)的選擇總體山對算法的運行具有深刻的影響。一 橫向濾波器橫向濾波器Error! Reference source n

13、ot found.也稱為抽頭延遲線濾波器或有限脈沖響應(yīng)濾波器，它由圖2.1所示的三個基本單元組成：（a）單位延遲單元；（b）乘法器；（c）加法器。濾波器中延遲單元的個數(shù)確定了脈沖響應(yīng)的持續(xù)時間。延遲單元個數(shù)（如圖中M所示），通常稱為濾波器的階數(shù)。在該圖中，每個延遲單元永延遲算子表示。特別地，當對進行運算時，其結(jié)果輸出為。濾波器中每個乘法器的作用是用濾波器系數(shù)也成抽頭權(quán)值（tap weight）乘以與其相連接的抽頭輸入。于是，連接到第k個抽頭輸入的乘法器產(chǎn)生的輸出，其中是抽頭權(quán)值，k=0,1,M,星號表示復數(shù)共軛。這里假設(shè)抽頭輸入和抽頭權(quán)值都是復數(shù)。濾波器中加法器的合并作用是對各個乘法器輸出求和

14、，并產(chǎn)生總的濾波器輸出。對于所示的橫向濾波器，其輸出為 (2-1)上式叫做有限卷積和，因為它將濾波器的有限脈沖響應(yīng)與濾波器輸入卷積以便產(chǎn)生濾波器的輸出。圖2.1橫向濾波器7二 格型濾波器格型濾波器Error! Reference source not found.具有模塊結(jié)構(gòu)。這種模塊結(jié)構(gòu)由一系列獨立的基本節(jié)（即級）組成，每一級具有格型的形式。圖2.2表示由M級組成的格型濾波器，M為濾波器階數(shù)。圖中表示出的第m級格型濾波器由下列一組一對輸入輸出關(guān)系描述： (2-2) (2-3)式中m=1,2，M，M為濾波器階數(shù)。是第m級前向預測誤差，是第m級后向預測誤差。叫做第m級反射系數(shù)。前向預測誤差定義為

15、輸入與基于m個過去輸入，.，所作出的預測值之差。相應(yīng)地，后向預測誤差定義為輸入與基于m個未來輸入，所作出的預測值之差?？紤]圖中第1級輸入的條件，我們有 (2-4)式中為n時刻格型預測器的輸入。于是，從上式的初始條件出發(fā)并給定一組發(fā)射系數(shù)，則可由格型預測器一級一級地向前推進，最終確定出一對輸出和。圖2.2格型濾波器Error! Reference source not found.對于有統(tǒng)計過程獲得的相關(guān)輸入序列, ,后向預測誤差，組成一個非相關(guān)隨機變量序列。再則，兩個隨機變量序列之間在如下意義上存在著一一對應(yīng)關(guān)系：如果給定其中的一個，可以唯一地確定另一個，反之亦然。因此，后向預測誤差，的線性組

16、合可給出期望響應(yīng)序列的一個估計，如圖5下半部所示。與其估計值之間的差表示估計誤差。這里描述的過程稱為聯(lián)合過程估計。當然，也可以直接應(yīng)用輸入序列, 產(chǎn)生期望響應(yīng)估計。然而，圖中所示的間接法具有簡化抽頭權(quán)值計算的優(yōu)點，因為它利用了估計中所采用的后向預測誤差的非相關(guān)特性。三 脈動陣列脈動陣列Error! Reference source not found.（systolic array）表示并行計算網(wǎng)絡(luò)，它非常適合于映射大量重要的代數(shù)計算，諸如矩陣乘法、三角化和反向替代；脈動陣列的基本處理單元有兩種：邊界單元和內(nèi)部單元，其功能畫在圖2.3和圖2.4中。 圖2.3 邊界單元Error! Refere

17、nce source not found. 圖2.4內(nèi)部單元Error! Reference source not found.在每一種情況下，參數(shù)r表示存儲在單元中的一個數(shù)值。邊界單元的作用產(chǎn)生等于u/r（即輸入u除以存儲在單元中的數(shù)r）的輸出。內(nèi)部單元的作用有兩方面：(a)永存儲在單元中的r乘以輸入s（來自頂部），再從第二個輸入（來自左邊）中減去乘積rs，從而產(chǎn)生差u-rs作為該單元右邊的輸出；(b)不用交替地向下發(fā)送第一個輸入s。脈動陣列結(jié)構(gòu)提供了模塊化、局部互連、高度流水線和同步并行處理；其中同步借助于全球時鐘獲得。2.3 自適應(yīng)濾波器的應(yīng)用自適應(yīng)濾波器具有在未知環(huán)境下良好運行并跟蹤時

18、變輸入統(tǒng)計量的能力，使得自適應(yīng)濾波器稱為信號處理和自動控制應(yīng)用的強有力手段，實際上，自適應(yīng)濾波器已經(jīng)成功的應(yīng)用于通信、雷達、聲納、地震學和生物學工程等領(lǐng)域。盡管這些應(yīng)用在特性方面千變?nèi)f化，但它們都有一個共同的基本特征：用輸入向量和期望響應(yīng)來計算估計誤差，并用該誤差一次控制一組可調(diào)濾波器系數(shù)。取決于采用的濾波器結(jié)構(gòu)，可調(diào)系數(shù)可取抽頭權(quán)值、反射系數(shù)或旋轉(zhuǎn)參數(shù)等形式。然而，自適應(yīng)濾波器各種應(yīng)用之間的本質(zhì)不同在于期望響應(yīng)的獲取方式不同。據(jù)此，自適應(yīng)濾波器可應(yīng)用于以下方面：a 辨識，系統(tǒng)辨識模型如圖2.5所示 圖2.5辨識在該應(yīng)用中，自適應(yīng)濾波器用來提供一個在某種意義上都能夠最好擬合未知裝置的線性模型。該裝置和自適應(yīng)濾波器有相同的激勵。該裝置的輸出提供作為自適應(yīng)濾波器的期望響應(yīng)。如果該裝置具有動態(tài)特性，則自適應(yīng)濾波器所提供的模型將是時變的。b 逆模型，逆模型的示意圖如圖2.6所示圖2.6 逆模型在該應(yīng)用中，自適應(yīng)濾波器的作用是提供一個逆模型，該模型可在某種意義上最好擬合待測系統(tǒng)。理想地，在線性系統(tǒng)的情況下，該逆模型具有等于待測系統(tǒng)轉(zhuǎn)移函數(shù)，使得二者的組合構(gòu)成一個理想的傳輸媒介。該系統(tǒng)輸入的延遲構(gòu)成自適應(yīng)濾波器的期望響應(yīng)。在某些應(yīng)用中，該系統(tǒng)輸