自適應(yīng)信號處理(最小二乘自適應(yīng)濾波1)

1、 最小二乘自適應(yīng)濾波引 言 基于最小均方誤差(MMSE)準(zhǔn)則的算法, 如最陡下降法、LMS算法等主要缺點是: 收斂速度慢; 對非平穩(wěn)信號的適應(yīng)性較差. 為克服以上缺點, 引入“最小二乘(LS)”準(zhǔn)則. 理論與實驗均表明, 最小二乘估計的性能優(yōu)于基于MMSE準(zhǔn)則的算法.1.1.最小二乘準(zhǔn)則定義最小二乘準(zhǔn)則定義 最小二乘準(zhǔn)則, 是以誤差的平方和最小作為最佳估計的一種誤差準(zhǔn)則. 定義如下: 對于平穩(wěn)輸入信號, 定義優(yōu)化準(zhǔn)則 (1) 2( )( )mininei式中, 是誤差信號的平方和, 是 時刻的誤差信號, 即其中 、 分別是 時刻的期望信號和輸入信號矢量, 是濾波器的權(quán)矢量. 注意注意: : 式

2、(1)中的 表示“瞬時”的概念, 不同時刻 的輸入矢量是不同的. 這表明, 對每一時刻的所有輸入信號對每一時刻的所有輸入信號, , 都重新估計其誤差都重新估計其誤差, , 并使這些誤差的平方和并使這些誤差的平方和 最小最小. . 對于非平穩(wěn)輸入信號, 優(yōu)化準(zhǔn)則修正為 (2) 式中指數(shù)加權(quán)因子 稱為“遺忘因子”, 0 1. 式(1)中引入因子是為了更好地實現(xiàn)對非平穩(wěn)信號的跟蹤: 即時刻 越接近 ,數(shù)據(jù)越新, 加權(quán)將越重; 反之, 距 越遠時刻的數(shù)據(jù), 權(quán)重越小. 由上可知, 最小二乘濾波(LS濾波)可描述為:)(n)(ieiT( )( )( )( )( )e id iy id ii xw)(id

3、)(ixiwii)(ix)(n2( )( )n iineiinn式中i 的取值范圍，取決于采用哪個時間段的輸入信號x(i)來估計d(i)和計算誤差e(i) 。 調(diào)整濾波器的權(quán)矢量調(diào)整濾波器的權(quán)矢量 , ,使得在每個時刻對所有已輸入的信號而言使得在每個時刻對所有已輸入的信號而言, ,濾波器輸出的誤差平方和最小濾波器輸出的誤差平方和最小. .2.與最小均方誤差(LMS)濾波的比較 LMS濾波是滿足 的濾波, 它是以集合平均為基礎(chǔ)的, 屬于統(tǒng)計分析方法. LS濾波是一種瞬時分析方法, 即在每個時刻對所有已輸入信號, 都要重新評估其平方和, 并通過調(diào)整權(quán)矢量使其達到最小.wmin2eE1 最小二乘濾波

4、 最小二乘濾波的基本算法是下節(jié)要討論的遞歸最小二乘(RLS)算法, 該算法實際上是FIR維納濾波器的一種遞歸實現(xiàn). 1.FIR1.FIR自適應(yīng)濾波器的一般分析自適應(yīng)濾波器的一般分析 設(shè)有一個 階FIR自適應(yīng)濾波器(參見圖1), 在時刻 的數(shù)據(jù)狀態(tài)如下: （1） 個系數(shù)值為 , 其中 為權(quán)系數(shù)樣本的標(biāo)號; （2）已獲得的 個輸入信號數(shù)據(jù)為 , 作為一般情況， ,下面假設(shè) ; （3）期望信號為 . 該濾波器的輸出 , 是期望信號 的估計值:由于式中 的起始標(biāo)號為1, 因此可令 , 上式變?yōu)镸nM( )kw n1,kM n (1), ( ), ( )xx ix nnMnM (1), ( ), ( )

5、dd id n)(ny)(nd10( )( )( ) ()Mjjy nd nw n x nj)(nwj1 jk如圖1所示, 濾波器在 時刻的輸出為 , (3)現(xiàn)用現(xiàn)用 時刻的濾波系數(shù)時刻的濾波系數(shù) 處理數(shù)據(jù)處理數(shù)據(jù), 則在時刻 的估計誤差為(4)1( )( ) (1)Mkkd nw n x nk)(id圖1 M 階FIR濾波器在I 時刻的輸出z-1)(ie)(1iw)(ixz-1z-1)(2iw)(iwM)(id) 1(Mix) 1( ixi1( )( ) (1)Mkkd iw i x ik1,2,inn( )kw ni1( | )( )( )( )(1( )kMke i nd id id i

6、xkw ni1,2,in 式(3)表達的是卷積運算, 計算過程可用圖2予以說明. 圖中假定( )0,0 x ii2. 前加窗法最小二乘準(zhǔn)則前加窗法最小二乘準(zhǔn)則 由圖2, 的求和范圍可有以下4種不同的情況, 并由此得到4種不同的最小二乘方法: （1） 相關(guān)法 計算 全部時間長度內(nèi)估計誤差即從 到 的平方加權(quán)和. 這時, 相當(dāng)于在已知數(shù)據(jù)段的前后前后都補了零取樣值. 這種方法稱為“相關(guān)法”. （2） 前加窗法 計算當(dāng)前時刻 前的一部分誤差的平方加權(quán)和. 這時, 相當(dāng)于在已知數(shù)據(jù)段的前面前面補了零取樣值. 這種方法稱為“前加窗法”. （3） 后加窗法 計算 時刻以后的一部分誤差的平方加權(quán)和. 這時,

7、 只在已知數(shù)據(jù)段后面補了零取樣值. 這種方法稱為“后加窗法”. （4） 協(xié)方差法 只計算中間一部分誤差的平方加權(quán)和. 這意味著在數(shù)據(jù)的段前后都沒有添加零取樣值. 這種方法稱為“協(xié)方差法”. ( )n11inM ( )d i(1| )en(1| )e nMn1in n1M i n M MMin 采用前加窗法前加窗法, 誤差準(zhǔn)則可表示為 (5)將式(4)表示為矩陣形式:其中，現(xiàn)定義: 維權(quán)矢量 (6) 12( )( )nin inei(1)(1| )(1)(2| )(2)(2)( | )( )( )dendendde n nd nd n12(1)( )(1)00( )(2)(1)0(2)( )(

8、)(1)(1)( )Mdw nxw nxxdwnx nx nx nMd n T12( )( )( )( )MMnw nw nwnwM 維輸入信號矢量 (7) 維期望信號矢量 (6) 維誤差信號矢量 (8) (行) (列)數(shù)據(jù)矩陣 (9a)以及 的轉(zhuǎn)置矩陣:(9b) T( )( )(1)(1)Mnx nx nx nMxT( )(1)(2)( )nddd ndT( )( | )(1| )( | )( | )nn nene i ne n neeMnnMn(1)(2)( )0(1)(1)( )00(1)(1)(2)( )MMMxxx nxx nnx nMnMXxxx( )nMXTT(1)00(2)(1

9、)0( )( )(1)(1)(1)(2)( )MMMxxxnx nx nx nMnMXxxx且令因此, 式(3)(5)可分別寫成: (10) (11)以及 (12) 上式即為最小二乘準(zhǔn)則的矢量表示式最小二乘準(zhǔn)則的矢量表示式, 通常把 稱為最小二乘估計誤差信號能量. 式中 是由加權(quán)因子 的各次冪構(gòu)成的對角線矩陣,即(13) TT( )(1)(2)( )MMMnnMCXxxx)()()()(TnnnnMMCwwXdM)()()()()(nnnnnMCwdddeT( )( )( )nnn ee )(n 1200000001nn 3.最小二乘正交性原理最小二乘正交性原理 為簡單計, 設(shè) , 則式(12

10、)變?yōu)?(14) 設(shè) 的估計為 . 令偏導(dǎo)數(shù) , 可求得 的最小二乘估計, 記為 . 由此可得: (15)將式(9b)和(11)代入上式, 有 (16) 上式就是最小二乘正交性原理最小二乘正交性原理, 它表明最小二乘濾波的誤差矢量與任一進入估計的輸入信號正交. I TT( )( ) ( ) ( )( ) ( )( )MMnnnnnnneedCwdCw ( )Mnw( )Mnw( )0( )Mnnw ( )Mnw( )LSnwT2 ( )( )0MnnCdCw0)()(nn eXM2T)()(),()()()(nnnnnneeeee )(),(nn ee)(ne式(14)可進一步表為:式(中 的

11、內(nèi)積)(ne 的范數(shù))(ne 引入 維矢量 和 維矩陣 : (17) (18) 由式(15)可得: (19)該式與維納-霍夫方程相似. 若矩陣 的秩等于 , 則 是非奇異的, 因而求解上式可得到 的最小二乘估計 :(20)若 存在, 則最小二乘估計值為(21)M( )MnPMM( )MnRT1( )( )( ) ( )( )( )nMMinnnnd iiMPC dXdxTTT1( )( )( )( )( )nMMinnniiMMMRC CXXxx( )( )( )MMMnnnRwP( )MnXMT( )( )nnMMXX( )Mnw( )LSnw1T1( )( )( )( )( )( ) (

12、)LSMMnnnnnnnMMMwRPXXXd( )LSnwTTT1( )( )( )( )( )( )( ) ( )LSnnnnnnnnMMMMMdXwXXXXd由式(14)和式(17)，得最小二乘估計誤差信號能量為 (22)進一步在式(16)兩邊同乘以 ,得到 (23)由于 , 所以 (24) 上式是最小二乘正交原理等價表示式, 說明最小二乘濾波的誤差矢量 與最小二乘估計矢量 正交. 最小二乘正交原理的幾何解釋如圖3所示. 圖中:TTT( )( ) ( )( ) ( )( ) ( )nnnnnnnLSeeddwP )(TnLSwTT( )( ) ( )0LSnnn MXweT( )( )(

13、)MnnnMdXwT( ) ( )0nn de( )ne( )nd01xmx)(nd)(nd)(ne圖3 最小二乘估計的幾何解釋 表示期望信號矢量; 表示由輸入信號 得到的估計量; 是估計誤差矢量:當(dāng) 取得最小值時, 就是 的最小二乘估計. ( ) nd( )nd( ) nx( )ne( )( )( )nnneddT( ) ( )nnee( ) nd( ) nd2 遞推最小二乘算法（RLSRLS） RLS RLS算法的基本思想是算法的基本思想是: : 用最小二乘(即二乘方時間平均最小化) 準(zhǔn)則取代最小均方準(zhǔn)則, 并采用遞推(按時間進行迭代計算)法, 來確定FIR濾波器的權(quán)矢量 . 下面按最小二

14、乘準(zhǔn)則:推導(dǎo)RLS算法的基本遞推關(guān)系式. 令 對 的導(dǎo)數(shù)等于零: (24)式中這是最小二乘方準(zhǔn)則所對應(yīng)的正交方程. 將 代入式(24), 得Adaptive Recursive Least-Square (RLS) algorithmw)()(21ienniin)(nw0)()(2)(1iienniinxw)()()()()(Tiidiyidiexw)(ie或 (25)現(xiàn)定義:(26) (27)因此, 式(25)可簡化為(28)由上式可解得 (29)0)()()(T1iiidniinxxwT11( )( )( ) ( )nnn in iiiiid iixxwx)()()(T1iinniinxx

15、R)()()(1iidnniinxP)()(nnPwR)()(1nn PRw該式與維納濾波器對應(yīng)的表示式類似: P = R w*若令 (30)考慮到w實際上是n的函數(shù), 因此, 式(29)可寫成 (31)式(29)或式(31)就是按最小二乘方準(zhǔn)則得到的維納解. 將式(26)和式(27)進一步化成迭代形式: (32) (33)由式(32), 可得式(30)迭代形式為: (34)利用矩陣恒等式式(34)可進一步寫成(35)上式稱為矩陣迭代更新公式。)()(1nn RT)()()(nnnPTw)()() 1()(TnnnnxxRR)()() 1()(nndnnxPP1T1)()() 1()(nnnn

16、xxTT111111)()(DABDACBAABCDA)() 1()() 1()()() 1() 1(1)(TTnnnnnnnnnxTxTxxTTT 由式(31)可得 利用式(31), (33), (35)和上式, 進而得到w(n)的迭代方程如下: (36)式中: (37)稱為“增益公式”, 而誤差 定義為(38) 式(36)具有卡爾曼濾波器的形式.w(n)由w(n-1)進行預(yù)測, 同時加上一個權(quán)矢量修正項 , 其中， 是預(yù)測誤差, 而增益k(n)是修正加權(quán)系數(shù). ) 1() 1() 1(nnnPTw) 1|()() 1()(nnennnkww)() 1()()() 1()(TnnnnnnxTxxTk)