第五章基本自適應(yīng)算法

第五章基本自適應(yīng)算法第一頁，共九十五頁，編輯于2023年，星期四5.1LMS算法第二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)下圖所示為自適應(yīng)橫向濾波器的結(jié)構(gòu)及其功能：（1）具有可調(diào)節(jié)抽頭權(quán)系數(shù)的橫向濾波器，權(quán)系數(shù)，表示在n時刻的值。（2）在自適應(yīng)狀態(tài)能調(diào)節(jié)這些權(quán)系數(shù)的機(jī)理過程。這個過程首先自動調(diào)節(jié)濾波器系數(shù)的自適應(yīng)訓(xùn)練步驟，然后利用濾波系數(shù)加權(quán)延遲線抽頭上的信號來產(chǎn)生輸出信號，將輸出信號與期望信號進(jìn)行對比，所得的誤差值通過一定的自適應(yīng)控制算法再用來調(diào)節(jié)權(quán)值以保證濾波器處在最佳狀態(tài)，達(dá)到實現(xiàn)濾波的目的。5.1.1最陡下降法第三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)W1(n)Wm(n)自適應(yīng)控制算法W2(n)Wm-1(n)Z-1Z-1Z-1-+d(n)y(n)e(n)x(n)x(n-1)x(n-m+1)x(n-m+1)圖５－１自適應(yīng)橫向濾波器結(jié)構(gòu)框圖第四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)顯然，輸出信號y(n)是(5-1)

e(n)=d(n)-y(n)

(5-2)

自適應(yīng)濾波器控制機(jī)理是用誤差序列e(n)按照某種準(zhǔn)則和算法對其系數(shù)進(jìn)行調(diào)節(jié)的，最終使代價函數(shù)最小化，達(dá)最佳濾波狀態(tài).按照均方誤差（MSE）準(zhǔn)則所定義的目標(biāo)函數(shù)為：F(e(n))=ξ(n)=E(e2(n))=E[d2(n)-2d(n)y(n)+y2(n)]

(5-3)第五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)綜合前面幾個式子目標(biāo)函數(shù)可以寫成ξ(n)=E[d2(n)]-2E[d(n)wT(n)x(n)]+E[wT(n)x(n)xT(n)w(n)]

(5-4)

當(dāng)濾波系數(shù)固定時，目標(biāo)函數(shù)又可寫成：ξ(n)=ξ=[d2(n)]-2wTP+wTRw

(5-5)

可見，自適應(yīng)濾波器的目標(biāo)函數(shù)是延遲線抽頭系數(shù)（加權(quán)或濾波系數(shù)）的二次函數(shù)。當(dāng)矩陣R和矢量P已知時，可以由權(quán)系數(shù)矢量w直接求其解。第六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)

令代表n時刻的M*1維度矢量，M為濾波器系數(shù)的數(shù)目，w(n)為自適應(yīng)濾波器在n時刻的濾波系數(shù)或權(quán)矢量。按照最陡下降法調(diào)節(jié)濾波系數(shù)，則在n+1時刻的濾波系數(shù)或權(quán)矢量w(n+1)可以用下列簡單遞歸關(guān)系來計算

w

(n+1）=w(n）+1/2μ[-]

(5-6)

其中μ是一個正實數(shù)，通常稱它為收斂因子或步長，n為迭代次數(shù),▽為梯度矢量.根據(jù)梯度矢量定義，▽(n)可以寫成

(5-7)

第七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)當(dāng)系數(shù)為最佳值,即是維納解,梯度矢量應(yīng)等于零即：E[e(n)x(n)]=0

(5-8)

則誤差性能函數(shù)的梯度向量為：

=2RW(n)-2P(5-9)

權(quán)值迭代算法的基本表達(dá)式為：w(n+1)=w(n)+μ[P-RW(n)](5-10)在MMSE準(zhǔn)則下最陡下降算法穩(wěn)定收斂的充分必要條件為:

0<μ<2/λmax式中λmax為相關(guān)矩陣R的最大特征值.第八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.1.2最小均方(LMS)算法1、LMS算法的基本原理

最小均方（LMS）自適應(yīng)算法就是一種以期望響應(yīng)和濾波輸出信號之間誤差的均方值最小為準(zhǔn)的，依據(jù)輸入信號在迭代過程中估計梯度矢量，并更新權(quán)系數(shù)以達(dá)到最優(yōu)的自適應(yīng)迭代算法。LMS算法是一種梯度最速下降方法，其顯著的特點是它的簡單性。這算法不需要計算相應(yīng)的相關(guān)函數(shù)，也不需要進(jìn)行矩陣運算。

1960年美國斯坦福大學(xué)的Widrow等提出了最小均方（LMS）算法，這是一種用瞬時值估計梯度矢量的方法.

(5-11)

第九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)2、LMS算法的公式按照自適應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計的方向之間的關(guān)系，可以寫出：

(5-12)把前面所推關(guān)系式代入式(5-11)得：

(5-13)第十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)3、LMS算法原理框圖圖５－２LMS算法原理流圖x(n)Id(n)+-e(n)W(n+1)W(n)∑第十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)4、LMS算法的計算步驟如下：我們利用時間n=0的濾波系數(shù)矢量為任意的起始值W(0)，然后開始。(1)由現(xiàn)在時刻n的濾波器濾波系數(shù)矢量估值，輸入信號矢量x(n)以及期望信號d(n),計算誤差信號：(5-14)(2)利用遞歸法計算濾波器系數(shù)矢量的更新估值：

(5-15)(3)將時間指數(shù)n增加1，回到步驟(1)，重復(fù)上述計算步驟，一直到達(dá)穩(wěn)態(tài)為止.由此可見,LMS算法簡單，它既不要計算輸入信號的相關(guān)函數(shù)，又不要求矩陣之逆，因而得到了廣泛的應(yīng)用。但是，由于LMS算法采用梯度矢量瞬時估計，它有大的方差，以致不能獲得最優(yōu)濾波性能。第十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5、LMS算法的性能分析一、自適應(yīng)收斂性自適應(yīng)濾波器系數(shù)矢量的起始值w(0)是任意常數(shù)，應(yīng)用LMS算法調(diào)節(jié)濾波系數(shù)具有隨機(jī)性而使系數(shù)矢量w(n)帶來非平穩(wěn)過程，通常為了簡化LMS算法的統(tǒng)計分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：（1）每個輸入信號樣本矢量x(n)與其過去全部樣本矢量x(k),k=0,1,2,…,n-1是統(tǒng)計獨立的，不相關(guān)的，即：

E[x(n)xH(K)]=0;k=0,1,2,…,n-1

(5-16)第十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)（2）每個輸入信號樣本矢量x(n)與全部過去的期望信號d(k)k=0,1,2,…,n-1也是統(tǒng)計獨立且不相關(guān)的，即：

E[x(n)d(k)]=0;k=0,1,2,…,n-1

(5-17)（3）期望樣本信號d(n)依賴于輸入過程樣本矢量x(n)，但全部過去的期望信號樣本是統(tǒng)計獨立的.（4）濾波器抽頭輸入信號矢量x(n)與期望信號d(n)包含著全部n的共同的高斯分布隨機(jī)變量.第十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)由前面的計討論可知，自適應(yīng)濾波器在n+1時刻的濾波系數(shù)矢量依賴于三個輸入：（1）輸入過程的過去樣本矢量x(k),k=n,n-1,…,0;（2）期望信號的以前樣本值d(k),k=n,n-1,…,0;（3）濾波系數(shù)矢量的起始值.現(xiàn)在將系數(shù)誤差矢量Δw(n）代入式(5-15)得(5-18)式中wo是最佳濾波系數(shù)矢量，Δw(n）是誤差矢量即Δw(n）=w(n)-w0第十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)如將W0移至等式左邊，則等于系數(shù)誤差矢量的更新值，于是式(5-18)可寫成

(5-19)

對式(5-19)兩邊取數(shù)學(xué)期望，得到(5-20)LMS算法與前述最陡下降算法有相同的精確數(shù)學(xué)表達(dá)式。第十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)因些，要使LMS算法收斂于均值，必須使步長參數(shù)滿足下列條件：

0<μ<2/λmax

(5-21)

λmax是相關(guān)矩陣R的最大特征值。在此條件下，迭代計算次數(shù)n接近無窮大時，自適應(yīng)濾波系數(shù)矢量w(n)近似等于最佳維納解w0。第十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)二、平均MSE-學(xué)習(xí)曲線如前節(jié)所述，最陡下降算法每次迭代都要精確計算梯度矢量，使自適應(yīng)橫向濾波器權(quán)矢量或濾波系數(shù)矢量w(n)能達(dá)到最佳維納解w0,這時濾波器均方誤差（MSE）為最小.LMS算法用瞬時值估計梯度存在誤差的噪聲估計，結(jié)果使濾波器權(quán)矢量估值只能近似于最佳維納解，這意味著濾波均方誤差ξ(n)隨著迭代次數(shù)n的增加而出現(xiàn)小波動地減小，最后ξ(∞)不是等于而是稍大于其值。如下圖所示，步長參數(shù)μ選用的越小，則噪化指數(shù)衰減曲線上的波動幅度將越小，即學(xué)習(xí)曲線的平滑度越好.第十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)對于自適應(yīng)橫向濾波器總體來說，假設(shè)每個濾波器LMS算法用相同的步長和同等的起始系數(shù)矢量w(0),并從同一統(tǒng)計群體隨機(jī)地選取各個平穩(wěn)的各態(tài)歷經(jīng)（遍歷性）的輸入信號，由此計算自ξmin0MSEn圖5-3單條學(xué)習(xí)曲線第十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)平均MSEξminnξ

ex(n)圖5-4總體平均學(xué)習(xí)曲線適應(yīng)濾波器總體平均學(xué)習(xí)曲線，如下圖所示，這是一個平滑的總體平均學(xué)習(xí)曲線，通常它是由50到200個單獨LMS算法的結(jié)果加以平均而得到的，顯然，我們可以用E[ξ(n)]表示的平均LMS來描述LMS算法的動態(tài)性質(zhì).第二十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)三、失調(diào)在自適應(yīng)濾波器中，失調(diào)(Misadjustment)是衡量其濾波性能的一個技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值ξex(∞)與最小均方誤差ξmin之比，即(5-22)證明可知：(1)失調(diào)為自適應(yīng)LMS算法提供了一個很有用的測度，比如，10%失調(diào)意味著自適應(yīng)算法所產(chǎn)生的總體平均MSE高于最小均方誤差的增量值為10%；(2)失調(diào)是隨濾波系數(shù)數(shù)目線性增加的；(3)失調(diào)可以做得任意小，只要選用大的時間常數(shù)，也就是小的步長值即可。第二十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)但是，濾波器自適應(yīng)收斂過程需要長的時間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器LMS算法的失調(diào)與自適應(yīng)收斂過程之間存在著矛盾，如何縮短收斂過程，而且有很小的失調(diào)，這是值得研究的問題。第二十二頁，共九十五頁，編輯于2023年，星期四5.2RLS算法第二十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.2.1預(yù)備知識5.2.2矩陣求逆引理5.2.3指數(shù)加權(quán)遞歸最小二乘算法5.2.4正則化參數(shù)的選擇5.2.5誤差平方加權(quán)和的更新遞歸第二十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)在本節(jié)中，我們將推廣最小二乘的應(yīng)用，以便推出一種設(shè)計自適應(yīng)橫向濾波器的遞歸算法。即給定n-1次迭代濾波器抽頭權(quán)向量最小二乘估計，依據(jù)新到達(dá)的數(shù)據(jù)計算n次迭代權(quán)向量的最新估計。我們把這一算法稱為遞歸最小二乘（RLS，recursiveleast-squares）算法（濾波器）。第二十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)在RLS濾波器的推進(jìn)過程中，我們首先回顧最小二乘法的一些基本關(guān)系式。然后，應(yīng)用矩陣代數(shù)中矩陣求逆引理所揭示的關(guān)系，導(dǎo)出RLS濾波器。RLS濾波器的一個重要特點是，它的收斂速率比一般的LMS濾波器快一個數(shù)量級。這是因為RLS濾波器通過利用數(shù)據(jù)相關(guān)矩陣之逆，對輸入數(shù)據(jù)（假定這些數(shù)據(jù)的均值為零）進(jìn)行了白化處理。然而，性能的改善以RLS濾波器計算復(fù)雜性的增加為代價。第二十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)

在最小二乘的遞歸實現(xiàn)中，我們從給定的初始條件出發(fā)，通過應(yīng)用新的數(shù)據(jù)樣本值中所包含的信息對舊的估計值進(jìn)行更新。因此我們發(fā)現(xiàn)，可測數(shù)據(jù)的長度是可變的。因而，把待最小化的代價函數(shù)表示為ξ(n)，其中n是可測數(shù)據(jù)的可變長度。另外，習(xí)慣上還在ξ(n)的定義中引入加權(quán)因子。于是，可以寫出

(5-23)其中e(i)是期望d(i)與i時刻抽頭輸入為的橫向濾波器輸出y(i)之差，如下圖5-５所示。

5.2.1預(yù)備知識u(i),u(i-1),…,u(i-M+1)第二十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)圖5-5具有時變抽頭權(quán)值的橫向濾波器即輸出信號∑∑∑y(i)輸入信號u(i)u(i-1)u(i-M+1)u(i-M+2)………(5-2４)第二十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)其中u(i)是i時刻的抽頭輸入向量，定義為(5-25)式中w(n)是n時刻抽頭權(quán)向量，定義為

(5-26)注意，在代價函數(shù)定義的觀測區(qū)間１≤i≤n內(nèi)，橫向濾波器的抽頭權(quán)值保持不變．式（5-23）中的加權(quán)因子滿足如下關(guān)系

i=1,2,…n第二十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)一般說來，加權(quán)因子的使用是為了保證“遺忘”掉久遠(yuǎn)的過去數(shù)據(jù)，以便當(dāng)濾波器工作在非平穩(wěn)時，能跟蹤觀測數(shù)據(jù)的統(tǒng)計變化。通常所用的加權(quán)因子是指數(shù)加權(quán)因子，或所謂遺忘因子,定義為(5-27)式中λ是一個接近1，但又小于1的正常數(shù)。當(dāng)λ=1時,對應(yīng)一般的最小二乘法。粗略地說，1-λ的倒數(shù)可以用來衡量算法的記憶能力；而λ=1的特殊情況，則應(yīng)對于無限記憶。i=1,2,…n第三十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)正則化

最小二乘估計和最小二乘法一樣，是一個病態(tài)的求逆問題。在該問題中，給定構(gòu)成抽頭輸入向量u(n)的輸入數(shù)據(jù)和相應(yīng)的期望響應(yīng)d(n)（其中n是變量），要求估計出多重回歸模型中的未知向量，該向量與d(n)和u(n)有關(guān)．最小二乘估計的病態(tài)特性源于以下原因：輸入數(shù)據(jù)中的信息不足以唯一地構(gòu)建輸入輸出間的映射關(guān)系。

在輸入數(shù)據(jù)中不可以避免地存在著噪聲或不精確性，這為構(gòu)建輸入輸出映射關(guān)系增加了不確定性。第三十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)為使估計問題變?yōu)榉遣B(tài)，需要某種與輸入輸出映射關(guān)系有關(guān)的先驗信息。這意味著必須擴(kuò)展代價函數(shù)公式，使其能考慮先驗信息。為滿足這一需要，我們把待最小化的代價函數(shù)擴(kuò)展為兩部分之和

(5-28)（這里假設(shè)使用了預(yù)加窗）代價函數(shù)的兩個分量如下：

1）誤差加權(quán)平方和

(5-29)第三十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)它與輸入數(shù)據(jù)有關(guān)。這個分量反映出期望響應(yīng)d(i)與濾波器實際響應(yīng)y(i)之間的指數(shù)加權(quán)誤差，且y(i)與抽頭輸入向量u(i)的關(guān)系可用公式表示為2)正則化項式中

是一個正實數(shù)，稱為正則化參數(shù)．除了因子外，正則化項只取決于抽頭權(quán)向w(n).將這一項包含在代價函數(shù)中，以便通過平滑作用來穩(wěn)定遞歸最小二乘問題的解。(5-30)(5-31)第三十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)

從嚴(yán)格意義上說，項是正則化的近似形式。原因有兩個:(1)首先指數(shù)加權(quán)因子λ介于0<λ≤1之間；從而，當(dāng)λ<1時，隨著n的增大趨于零。這意味著時間的推移，項對代價函數(shù)的影響會逐漸減?。粗饾u被遺忘）。(2)正則化項應(yīng)是形式，其中是由RLS濾波器實現(xiàn)的輸入輸出映射關(guān)系，D是差分算子。式(5-28)的正則化項通常用在RLS濾波器設(shè)計中。第三十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)正則方程的變形

將式(5-28)

展開并進(jìn)行整理，我們發(fā)現(xiàn)，在代價函數(shù)中增加正則化項，相當(dāng)于將抽頭輸入向量u(i)的M×M時間平均相關(guān)矩陣表示為式中I是M×M單位陣。容易發(fā)現(xiàn)，增加正則化項還有這樣的作用：它使得相關(guān)矩陣Φ(n)在從n=0開始的整個計算過程中非奇異。將上式修正為相關(guān)矩陣的過程叫做對角加載。(5-32)第三十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)橫向濾波器抽頭輸入與期望響應(yīng)之間的M×１時間平均互相關(guān)向量z(n)為

它將不受正則化的影響，此處依然假定使用預(yù)加窗法。根據(jù)前面討論過的最小二乘法，可使用代價函數(shù)獲得最小值的最優(yōu)M×１抽頭權(quán)向量由正則方程定義。遞歸最小二乘問題的正則方程可用矩陣形式寫為：這里的Φ(n)和z(n)分別由式(5-32)和式(5-33)決定。(5-33)(5-34)第三十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)

將對應(yīng)于i=n的項與式(5-32)右邊的求和項分開，可寫出根據(jù)定義，上式右邊括號內(nèi)的表達(dá)式等于相關(guān)矩陣Φ(n-1)。于是，可得用于更新抽頭輸入相關(guān)矩陣的遞歸公式其中Φ(n-1)是相關(guān)矩陣的過去值，矩陣乘積在更新過程中起著“修正”項的作用。注意，上式的遞歸過程與初始條件無關(guān)。Φ(n)和z(n)的遞歸算法

(5-35)(5-36)第三十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)類似地，可以導(dǎo)出抽頭輸入與期望響應(yīng)之間互相關(guān)向量的更新公式為了按式(5-32)計算抽頭權(quán)向量的最小二乘估計，必須確定相關(guān)矩陣Φ(n)的逆。然而在實際中，我們通常盡量避免這樣做，因為這種運算非常耗時，特別是當(dāng)抽頭數(shù)M很大時。另外，我們希望能夠遞歸計算n=1,2,…∞時抽頭權(quán)向量的最小二乘估計。我們發(fā)現(xiàn)，利用矩陣代數(shù)中矩陣求逆引理，可以實現(xiàn)上述兩個目標(biāo)。(5-37)第三十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.2.2矩陣求逆引理設(shè)A和B是兩個M×M正定陣，它們之間的關(guān)系為其中，D是N×M正定陣，C是M×N矩陣。根據(jù)矩陣求逆引理，可將A的逆矩陣表示為該引理在此不做證明，書中有介紹。在下一節(jié)，我們將說明怎樣應(yīng)用矩陣求逆引理，得到計算抽頭權(quán)向量最小二乘解的遞歸公式。(5-38)(5-39)第三十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.2.3指數(shù)加權(quán)遞歸最小二乘算法假定相關(guān)矩陣Φ(n)是非奇異的，因而它可逆。我們對式(5-36)所表示的遞歸方程應(yīng)用矩陣求逆引理，首先做如下設(shè)定第四十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)然后，將這些定義代入矩陣求逆引理，可得計算相關(guān)矩陣逆陣的遞歸方程如下

為了方便計算，令和(5-40)(5-41)(5-42)第四十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)用上面的定義，可將式(5-40)改寫為M×M矩陣P(n)叫做逆相關(guān)矩陣，M×1向量K(n)叫做增益向量，后面將會解釋這樣叫的原因。式(5-43)是RLS算法的Riccati方程。整理K(n)表達(dá)式，可得(5-43)(5-44)第四十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)換句話說，增益向量K(n)可以定義為經(jīng)相關(guān)矩陣Φ(n)逆矩陣變換的抽頭輸入向量u(n).這一結(jié)論，連同可以用來定義增益向量我們可以將上式簡化為

K(n)=P(n)u(n)

(5-45)(5-46)第四十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)抽頭權(quán)向量的時間更新下面，我們要導(dǎo)出更新抽頭權(quán)向量最小二乘估計的遞歸公式。為此，用式(5-32)、式(5-37)、式(5-41)來表示抽頭權(quán)向量n次迭代時的最小二乘估計(5-47)將式(5-47)右邊第一項中P(n)用式(5-43)代替，可得第四十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)最后，應(yīng)用P(n)u(n)等于增益向量K(n)，可得更新抽頭向量的遞歸方程為(5-48)(5-49)第四十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)其中是一個先驗估計誤差。內(nèi)積表示基于n-1時刻抽頭權(quán)向量最小二乘估計舊值的期望響應(yīng)d(n)的估值。根據(jù)調(diào)整抽頭權(quán)向量的表達(dá)式和表示先驗估計誤差的表達(dá)式可用圖5-6(a)所示的框圖表示遞歸最小二乘算法。

(5-50)第四十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)一般說來，先驗估計誤差ξ(n)不同于下式(5-51)的后驗估計誤差其計算設(shè)計抽頭權(quán)向量在時刻n（當(dāng)前時刻）的最小二乘估計。實際上，我們可以將ξ(n)視為更新抽頭權(quán)向量之前e(n)的暫時值。但要注意的是，在導(dǎo)出式(5-49)遞歸算法的最小二乘優(yōu)化問題中，我們實際上是基于e(n)而不是基于ξ(n)使代價函數(shù)ξ(n)最小。(5-51)第四十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)輸出橫向濾波器輸入向量U(n)自適應(yīng)權(quán)值控制機(jī)制∑誤差ξ(n)期望響應(yīng)d(n)圖5-6(a)框圖RLS算法+-∑∑K(n)增益圖5-6(b)信號流圖-+第四十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)RLS算法小結(jié)式(5-42),(5-43),(5-49),(5-50)組成了RLS算法，并在表(5-1)中總結(jié)。特別要注意的是，式(5-50)表述了該算法的濾波過程，據(jù)此激勵橫向濾波器以計算先驗估計誤差ξ(n)。式(5-49)描述了算法的自適應(yīng)過程，據(jù)此可通過在其過去值的基礎(chǔ)上增加一個量來遞推抽頭權(quán)向量，該量等于先驗估計誤差ξ(n)復(fù)共軛與時變增益向量K(n)的乘積(“增益向量”由此得名)。第四十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)式(5-42),(5-43),使得我們能夠更新增益向量本身。上述RLS算法的一個重要特點是，每一次迭代中的相關(guān)矩陣Φ(n)的逆矩陣為簡單的標(biāo)量相除所代替。圖(5-6a)給出RLS算法的框圖，圖(5-6b)則是RLS算法的信號流圖。表1RLS算法小結(jié)算法初始化第五十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)表1續(xù)第五十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)注意，在表1的總結(jié)中，增益向量K(n)的計算分兩步進(jìn)行：首先，計算用表示的中間量。第二，用計算K(n)從有限精度運算的角度看，分兩步計算K(n)比直接用式(5-25)計算K(n)更可取。

為對RLS濾波器進(jìn)行初始化，需要指定兩個量：初始權(quán)向量。習(xí)慣上令。初始相關(guān)矩陣Φ(n)。令式(5-8)中的n=0，如果使用預(yù)加窗，可以得到

其中δ是正則化參數(shù)。參數(shù)δ的設(shè)定與信噪比有關(guān)，高信噪比時取小值；低信噪比時則取較大值。這樣做的合理性可以在正則化的意義得到證明。第五十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.2.4正則化參數(shù)的選擇

在Moustakides的詳細(xì)研究(1997)中，評價了在平穩(wěn)環(huán)境下RLS算法的收斂性能，它有兩個特殊的可變參數(shù)：抽頭輸入數(shù)據(jù)的信噪比(SNR)，這個量由流行的運行條件決定。正則化參數(shù)δ，它由設(shè)計人員控制。第五十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)為了總結(jié)Moustakides研究成果的實驗條件，用F(x)表示一個關(guān)于x的矩陣函數(shù)，用f(x)表示一個關(guān)于x的非負(fù)標(biāo)量函數(shù)。其中，變量x屬于集合Ψ。于是，我們可引入如下定義

F(x)=θ(f)(5-52)第五十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)如前所述，RLS濾波器初始化包括設(shè)定時間平均相關(guān)矩陣的初始值，即這里存在獨立于變量x的常數(shù)，使得對所有x

Ψ

其中式(5-52)中引入的定義的意義將變得很明顯。(5-53)(5-54)第五十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)其中,是數(shù)據(jù)樣值u(n)的方差。因此,根據(jù)式(5-55)和式(5-57)正則化參量δ可定義為正則化參量δ與信噪比的關(guān)系已由Moustakides(1997)給出詳細(xì)說明。特別是，Φ(0)，可表示為(5-55)其中(5-56)是一個確定的正定陣，定義為(5-57)(5-58)第五十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)參數(shù)α為區(qū)分相關(guān)矩陣Φ(n)初始值的大、中、小提供了數(shù)學(xué)基礎(chǔ)。特別是對下列情況

(5-59)

我們可根據(jù)式(5-55)的定義來區(qū)別以下三種情況：第五十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)

有了這些定義和三種不同的初始條件，我們可以總結(jié)出式(5-35)支配下RLS算法初始化過程中有關(guān)正則化參數(shù)δ的選擇方法(moustakides,1997)如下：

1）高信噪比：當(dāng)抽頭輸入噪聲電平低（即輸入SNR較高，如30dB或更高數(shù)量級）時，RLS算法呈現(xiàn)指數(shù)級的快速收斂率，只要相關(guān)矩陣以足夠小的范數(shù)初始化。典型地，通過設(shè)定α=1來滿足這個要求。隨著α減小到零[即隨著Φ(0)的矩陣范數(shù)增加]，RLS算法的收斂性會變差。

第五十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)2）中等信噪比：在中等SNR環(huán)境下（即輸入SNR為10dB數(shù)量級時），RLS算法的收斂速率比高信噪比情況下的最佳收斂速率要差。但是RLS算法的收斂特性對-1≤α<0范圍內(nèi)矩陣Φ(0)范數(shù)的變化不敏感。第五十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)3）低信噪比：最后一點，當(dāng)抽頭輸入的噪聲電平較高（即輸入信噪比SNR為-10dB數(shù)量級或更低）時，用具有較大矩陣范數(shù)的相關(guān)矩陣Φ(0)對RLS算法初始化（即α≤-1）更可取，因為這種條件可以產(chǎn)生最好的全局性能。第六十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)這些結(jié)論對平穩(wěn)環(huán)境或慢時變環(huán)境成立。但是，如果環(huán)境狀態(tài)突變，而且這一變化發(fā)生在RLS濾波器達(dá)到穩(wěn)態(tài)時，則該濾波器就會將這一突變視為用較大的Φ(0)進(jìn)行新一輪的初始化，這里的n=0對應(yīng)于環(huán)境突變的那個瞬間。在這種情況下，最好停止RLS濾波器的工作，改用一個較小的Φ(0)進(jìn)行初始化而重新開始新一輪的迭代。第六十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)5.2.5誤差平方加權(quán)和的更新遞歸當(dāng)抽頭權(quán)向量等于其最小二乘估計時，誤差平方加權(quán)和可達(dá)到最小值.為計算，可用關(guān)系式(5-60)其中定義(使用本章的表示)為(5-61)第六十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)(5-62)上式最后一項中的z(n)已被還原為原來的形式。根據(jù)定義，式(5-62)右邊第一個括號中的表達(dá)式等于。另外，根據(jù)定義，第二個括號中的表達(dá)式等于先驗誤差

ξ(n)的復(fù)共軛。因此，將式(5-37)(5-49)和式(5-61)代入式(5-60)，得第六十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)上式中，第二行應(yīng)用了相關(guān)矩陣Φ(n)的埃爾米特性質(zhì)，在第三行用到了等于最小二乘估計.對最后一項，我們用增益向量K(n)的定義來表示內(nèi)積.第六十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)其中e(n)是后驗估計誤差。式(5-63)是更新誤差加權(quán)平方和的遞歸公式。由此可見，ξ(n)的復(fù)共軛與e(n)的乘積表示更新過程中的修正項。注意，該乘積是實數(shù)，這意味著，總有(5-64)(5-63)因此，式(5-62)可化簡為第六十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)收斂因子式(5-63)涉及兩種不同的估計誤差：先驗估計誤差ξ(n)和后驗估計誤差e(n)，它們之間有著本質(zhì)的聯(lián)系。為了建立這種估計誤差之間的聯(lián)系，可從式(5-51)的定義出發(fā)，將式(5-49)代入(5-51)，得(5-65)第六十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)上式中的最后一行，應(yīng)用了式(5-50)的定義。后驗估計誤差e(n)與先驗估計誤差ξ(n)的比值稱為收斂因子，記為r(n)。因此，可以寫出(5-66)其值由增益向量k(n)和抽頭輸入向量u(n)唯一確定。第六十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)示例：單個權(quán)值自適應(yīng)噪聲消除器下面，我們考慮如下圖５-７所示的單一加權(quán)雙輸入自適應(yīng)噪聲消除器。兩個輸入微機(jī)部信號d(n)（由承載信息的信號分量和加性干擾組成）和參考信息u(n)（它與干擾相關(guān)而與承載信息的信號無關(guān)）。要求利用參考信號與基本信號的相關(guān)性，抑制自適應(yīng)噪聲消除器輸出端的干擾。第六十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)圖５-７單一加權(quán)自適應(yīng)噪聲消除器∑基本信號d(n)參考信號u(n)輸出

ξ(n)+-第六十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)應(yīng)用RLS算法可得該消除器的一組方程，經(jīng)整理為(5-67)(5-68)(5-69)第七十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)在最后一個方程中，零均值參考信號u(n)的方差估計是P(n)的倒數(shù)，它是RLS算法中矩陣P(n)的標(biāo)量形式，即(5-71)(5-70)第七十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)將式(5-67)~(5-70)描述的算法與應(yīng)用歸一化LMS算法得到的一組方程進(jìn)行比較，能夠獲得一些新的認(rèn)識。在我們所介紹的范圍內(nèi)，人們特別感興趣的歸一化LMS算法由前面章節(jié)中給出。RLS算法與歸一化LMS算法之間的主要差別在于，歸一化LMS算法中的常數(shù)δ被RLS算法中增益因子k(n)分母中的時變項所代替。該因子控制著式(5-59)中RLS濾波器抽頭權(quán)值的修正。第七十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)RLS算法的收斂性分析

本節(jié)將討論平穩(wěn)環(huán)境下RLS算法的收斂特性，此處假定λ為1(λ小于1的情況這里不予討論)。為了給出下面的討論做準(zhǔn)備，我們做三點假設(shè)，這三點都它們各自的合理性。

第七十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)假設(shè)Ⅰ

期望響應(yīng)d(n)與抽頭輸入向量u(n)之間的關(guān)系由如下多重線性回歸模型描述其中是回歸參數(shù)向量，是測量噪聲，它是均值為零、方差為的白噪聲，因而與回歸量u(n)無關(guān)。(5-72)第七十四頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)圖5-8給出了式(5-72)所述關(guān)系。∑………∑∑測量誤差d(n)u(n-M+1)u(n)u(n-1)入輸圖5-8多重線性回歸模型第七十五頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)假設(shè)Ⅱ輸入信號向量u(n)由隨機(jī)過程生成，其自相關(guān)函數(shù)是各態(tài)歷經(jīng)的。假設(shè)Ⅱ意味著，可用時間平均代替集平均，特別地，可將輸入向量u(n)的集平均相關(guān)矩陣表示為對于n>M(5-73)其中Φ(n)是u(n)的時間平均相關(guān)矩陣，且要求n>M,以保證橫向濾波器的每一個抽頭上部有輸入信號。式(5-73)的近似將隨著時間n的增加得到改善。第七十六頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)假設(shè)Ⅲ加權(quán)誤差向量ε(n)的波動比輸入信號向量u(n)的波動慢。假設(shè)Ⅲ成立的合理性在于，加權(quán)誤差向量ε(n)是RLS算法n次迭代中一系列變化量的累加。這一性質(zhì)可表示為(5-74)此式由式(5-49)得出。盡管K(i)和都與u(i)有關(guān)，但式(5-74)中的和對ε(n)具有平滑作用。實際上，RLS濾波器起到了時變低通濾波器的作用。下面的討論都是基于以上u(n)和d(n)的三點假設(shè)。第七十七頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)RLS算法的均值收斂性由正則方程(5-34)解,可得n>M其中，對λ=1有(5-75)和(5-76)(5-77)將式(5-62)代入式(5-77)，然后應(yīng)用式(5-76)，可得第七十八頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)(5-78)式中的最后一行，我們應(yīng)用了λ=1時的式(5-32)。由此，可以將式(5-75)重新寫為(5-79)對式(5-79)的兩邊取數(shù)學(xué)期望，并引用假設(shè)Ⅰ和假設(shè)Ⅱ，可以寫出第七十九頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)n>M(5-80)其中p是期望響應(yīng)d(n)與輸入向量u(n)之間的集平均互相關(guān)向量。式(5-80)表明，RLS算法在均值意義上是收斂的。如果n大于濾波器長度M的有限值，則由于用Φ(0)=δI對算法進(jìn)行初始化，所以估計是有偏的。但當(dāng)n趨于無限時，偏差將趨于0。第八十頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)RLS算法的均方偏差加權(quán)誤差相關(guān)矩陣定義為(5-81)將式(5-79)代入式(5-81)，并且忽略初始化的影響(這一點對n>M成立)，可得第八十一頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)在假設(shè)Ⅰ條件下，輸入向量u(n)以及由它所得的與測量噪聲無關(guān)。因此，可以將K(n)表示為兩個期望的積由于測量噪聲是白色的（假設(shè)Ⅰ），我們有(5-82)第八十二頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)其中是的方差。因此，加權(quán)誤差相關(guān)矩陣變?yōu)樽詈?，引用嵌入在?5-73)中的假設(shè)Ⅱ，可寫出n>M(5-83)第八十三頁，共九十五頁，編輯于2023年，星期四河南工業(yè)大學(xué)均方偏差定義為(5-84)其中tr[.]表示矩陣求逆算子。根據(jù)式(5-83),RLS算法的均方偏差為n>M(5-85)第八十四頁，共九十五頁，編輯于2023年，星期四河