自適應信號處理(第六章一些改進的自適應算法)

第六章改進的自適應LMS算法

6.1LMS牛頓算法6.2歸一化LMS算法6.3變換域LMS算法6.4頻域LMS算法6.5簡介其它LMS算法自適應濾波器6.1LMS牛頓算法

當濾波器的輸入信號為有色隨機過程時，特別是輸入信號為高度相關的情況，大多數(shù)自適應濾波算法的收斂速度都要下降，對于典型的LMS算法，此問題更加突出。LMS牛頓算法可以很好地解決這個問題。它不僅可以提高收斂速度也不會太增加計算復雜度.

LMS牛頓算法公式推導：自適應橫向濾波器的濾波系數(shù)矢量的二次方函數(shù)所構成的均方誤差曲面，可由其均方誤差ξ(n+1)描述濾波特性，（6-1-1）

將(6-1-1)式和相應的ξ(n)關系式相減，可以得到

(6-1-2)

式中，▽(n)=-2P+2Rw(n)是均方誤差MSE曲面上相當于濾波系數(shù)w(n)點的梯度矢量。而ξ(n)表示自適應濾波系數(shù)w(n)點的均方誤差值。

由于濾波器的均方誤差可以寫成：兩邊分別對w(n+1)的瞬時(n+1)值求偏導數(shù)，并令其等于零，經整理后，得到

(6-1-3)

這就是牛頓方法迭代計算公式。在理想情況下，R和▽(n)精確已知，此算法可達最佳濾波結果，且在一次簡單迭代運算后就得最佳解，即：

(6-1-4)

實際應用中，僅有效地估計自相關矩陣R和梯度矢量，這也適應LMS算法的基本思想和原則，所以把和的估計值用到類似牛頓方法迭代計算公式中，如下式

(6-1-5)

這里,0<μ<1,應用收斂因子μ是為了保證R與▽(n)的噪化估計也能使算法收斂.

當輸入信號為平穩(wěn)隨機過程時，R的無偏估計值等于

(6-1-6)

因為估值的數(shù)學期望為因此是無偏的。當然，還有其他相關矩陣估計方法，這里不再贅述了.

為了避免求的逆，我們可以利用下列矩陣反演引理公式：

(6-1-7)其中，A和C為非奇異矩陣.如果我們選用,可以導出的計算公式：(6-1-8)

從每次迭代運算所需乘法來看，上式計算的運算量為O(),低于直計算的逆的運算量O().

如果在式(6-1-5)中用LMS算法來估計梯度矢量，則LMS牛頓算法的濾波權系數(shù)更新公式將如下式：

(6-1-9)

(6-1-10)

初始條件選取為：

δ為小的正數(shù)

(6-1-11)式(6-1-8)~(6-1-11)組成了LMS牛頓算法。

小結：LMS梯度方向趨向于理想梯度方向，類似地，由相乘所生成的矢量的方向接近于牛頓的方向，所以LMS牛頓算法朝均方誤差曲面最小點方向的路徑收斂。而且算法的收斂特性表明與相關矩陣R的特征值擴張無關.一種快速LMS牛頓算法

直接計算式(6-1-9)中的來實現(xiàn)LMS牛頓算法。算法的基本思想是用自回歸（AR）模型來做輸入信號矢量的建模，即用階為0到M-1的預測器的反向預測誤差把矢量X(n)換成新矢量，即有

b(n)=Lx(n)(6-1-12)(6-1-13)

式中，L為下三角矩陣，它由預測器系數(shù)表示其元素，這里為第i階預測器的第j個系數(shù)，三角矩陣L的形式是

我們可以認為，都是互不相關的，這意味著它們的相關矩陣是一個對角線矩陣，所以求它的逆矩陣比較容易，即

(6-1-14)可得到這是一種快速LMS牛頓算法.6.2歸一化LMS

基本思路：不希望用與估計輸入信號矢量有關的相關的矩陣來加快LMS算法的收斂速度，可用變步長方法來縮短其自適應收斂過程，變步長μ(n)的更新公式寫成

(6-2-1)

式中，表示濾波權矢量迭代更新的調整量。為了達到快速收斂的目的，必須合適地選擇變步長μ(n)的值，一個可能的策略是盡可能多地減小瞬時平方誤差，即用瞬時平方誤差作為均方誤差MSE的簡單估計，這也是LMS算法的基本思想。瞬時平方誤差可以寫成

(6-2-2)

如果濾波權矢量的變化量,則對應的平方誤差可以由上式得到

(6-2-3)

在此情況下，瞬時平方誤差的變化量定義為

(6-2-4)

把的關系式代入式(6-2-4)中，得到

(6-2-5)

這個步長值μ(n)導致

出現(xiàn)負的值，這對應于的最小點，相當于平方誤差等于零。(6-2-6)

為了增加收斂速度，合適地選取μ(n)使平方誤差最小化，故將式(6-2-5)

對變系數(shù)μ(n)求偏導數(shù)，并令其等于零，求得：

為了控制失調量，考慮到基于瞬時平方誤差的導數(shù)不等于均方誤差MSE求導數(shù)值，所以以LMS算法的更新迭代公式作如下修正：

(6-2-7)

式中，μ為控制失調的固定收斂因子，γ參數(shù)是為避免過小導致步長值太大而設置的。通常稱式(6-2-7)為歸一化LMS算法的迭代公式.

為了保證自適應濾波器的工作穩(wěn)定，固定收斂因子μ的選取應滿足一定的數(shù)值范圍。現(xiàn)在我們來討論這個問題。首先考慮到下列關系：

(6-2-8)

然后對收斂因子的平均值應用更新LMS的方向e(n)x(n)是μ/2tr[R]，最后，將歸一化LMS算法的更新公式與經典LMS算法更新公式相比較，可以得到收斂因子μ的上界不等式條件，如下：

0<μ(n)=μ/2tr[R]<1//2tr[R](6-2-9)

或0<μ<2

顯然，由式(6-2-7)與(6-2-9)可構成歸一化LMS算法，其中0≤

γ≤1，選擇不同的γ值可以得到不同的算法.當γ=0時，由式(6-2-7)可以寫成

(6-2-10)

這種算法是NLMS算法的泛化形式，其中隨機梯度估計是除以輸入信號矢量元素平方之和。所以步長變化范圍比較大，可有較好的收斂性能。

在此情況下，算法的歸一化均方誤差NMSE可由式(6-2-10)得到

(6-2-11)

最佳濾波權矢量可由對w(n)求偏導數(shù)，并令其等于零，即由式

得到最佳濾波權系數(shù)：

(6-2-12)

式中，

(6-2-13)

上式可知，自相關矩陣和互相關量都含有歸一化因子，在穩(wěn)定狀態(tài)x(n)和d(n)時，假定自相關矩陣R’存在可逆性。同時，由式(6-2-11)可看出，當且僅當時，歸一化LMS算法的均方誤差可等于零。這需要對d(n)用輸入信號矢量線性組合進行精確地建模。此時，最佳濾波權矢量變成合宜的線性權系數(shù)矢量。當γ=1時，NLMS算法更新公式可以寫成

(6-2-14)

由此可得到NLMS算法的特殊形式：

(6-2-15)

或

(6-2-16)

此式表明等效步長是輸入信號的非線性變量，它使變步長由大逐步變小，加速了收斂過程，計算量較之LMS算法稍有增加.兩個改進型LMS算法，均屬變步長的LMS算法:6.2.1時域正交LMS（TDO-LMS）算法此算法是基于對平方誤差時間上的平均，即對下式取最小值，

(6-2-17)

按上式對權系數(shù)矢取偏導數(shù)，并令其為零，得到時域正交準則下序列x(n)對d(n)進行線性估計的最佳權系數(shù)矢量w0,即：

(6-2-18)

這意味著用時域正交LMS算法的權矢量更新運算公式，可對線性估計的權矢量作自適應調整，使其趨于最佳。Huffman的TDO-LMS更新公式：m=0,1,2,…n…

(6-2-19)當m取足夠大時，上式可近似寫成

(6-2-20)與上面討論的歸一化LMS算法權矢量更新公式類似。6.2.2修正LMS（MLMS）算法

MLMS算法是在LMS算法中權矢量的較正量和梯度估計之間人為地引入一個時延，利用現(xiàn)時刻的梯度估計代替前一刻的梯度估計，即:

(6-2-21)

因為是w(n+1)的函數(shù)，而且可解。式(6-2-21)用瞬時梯度信息可表示為：

w(n+1)=w(n)+μe(n+1)x(n+1)

(6-2-22)代入式(6-2-22)得：將自適應步長是可變收斂因子，它隨著信號輸入功率變化可加快收斂速度,從而使用MLMS算法的性能有了很大的改進，特別是步長因子的值較大時。整理后得：

小結

歸一化LMS算法，時域正交LMS算法及修正LMS算法都是以輸入信號功率控制變步長的LMS算法，利用梯度信息調整濾波器權系數(shù)使其達到最佳值這一點完全相同。但它們的自適應過程較快，性能有了很大改進。6.3變換域LMS算法1、適用條件：當輸入信號具有高度的相關性時，采用變換域算法可以增加LMS算法的收斂速度。2、基本思路：先對輸入信號進行一次正交變換以去其相關性或衰減其相關性，然后將變換后的信號加到自適應濾波器實現(xiàn)濾波處理，從而改善了相關矩陣的條件數(shù)。酉變換Z-1自適應算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉變換酉變換酉變換Z-1自適應算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉變換酉變換3、變換域LMS（TRLMS）算法框圖4、TRLMS算法公式推導：

X(n)=Tx(n)

(6-3-1)

其中TTH=I,T*TH=I,T為變換陣，I為單位陣；“*”表示共軛。已知LMS自適應濾波器的均方誤差MSE是:

(6-3-2)

式中：△w(n)=w(n)-w0,在變換域情況下，TRLMS算法的均方誤差MSE變?yōu)椋?/p>

(6-3-3)式中，代表變換域自適應濾波器的權系數(shù)矢量。變換域自適應濾波器的自相關矩陣RTR可由式(6-2-3)寫成：

(6-3-4)

如果濾波器中信號分量之間沒有相關性,則矩陣是一對角線矩陣,此時變換矩陣的列將含有R的正交特征矢量.

用歸一化LMS算法來更新變換域算法的系數(shù)。變換后信號分量Xi(n)用其功率實現(xiàn)歸一化，權系數(shù)的更新公式可寫成：其中為控制估計精度和跟蹤能力的平滑系數(shù)，

式(6-3-5)的矩陣形式表示為：

(6-3-7)式中是一個對角線矩陣，其元素是變換后信號分量功率估值加上常數(shù)γ的逆。當μ取的合適時，TR-LMS的權系數(shù)收斂到下列最佳：

其是W0為自適應濾波器權系數(shù)的最佳維納解。6.4頻域LMS自適應濾波器前面我們學習的都是時域LMS自適應濾波器，本節(jié)討論頻域自適應濾波器算法。1、基本思路：本算法在自適應濾波前把輸入信號變換到頻域，然后在頻域上實現(xiàn)自適應濾波處理，仍用梯度下降法調整權系數(shù)。2、算法優(yōu)點：（1）和時域相比，處理數(shù)據(jù)量減少。因為頻域變換都有快速算法，利用變換相乘代替了卷積運算，加快了收斂過程。（2）與前述經典梯度下降法相比，自適應過程的收斂性有所改善。（3）頻域法容易進行信號分塊處理。變換變換計算誤差時變?yōu)V波器W(k)逆變換自適應算法X(k)Y(k)E(k)D(k)輸入信號x(n)輸出y(n)期望響應d(n)計算誤差D(k)計算誤差3、頻域自適應濾波器原理框圖

輸入信號x(n)和期望響應d(n)分別形N點數(shù)據(jù)塊，然后做N點快速傅里葉變換(FFT)，每個FFT變換輸出組成N個復數(shù)點X(k)和D(k)，具有權系數(shù)矢量W(k)輸出為Y(k)，它等于

Y(k)=X(k)W(k)

（6-4-1）4、算法公式推導上式表明時域內卷積等于其變換的乘積。其中第k個數(shù)據(jù)塊的頻域權系數(shù)矢量W(k)和輸入信號FFT系數(shù)的對角線矩陣X(k)分別定義如下：從圖上可看出，計算誤差E(k)等于是E(k)=D(k)-Y(k)(