基本自適應(yīng)算法課件

第五章基本自適應(yīng)算法5.1LMS算法5.2RLS算法5.1LMS算法下圖所示為自適應(yīng)橫向?yàn)V波器的結(jié)構(gòu)及其功能：（1）具有可調(diào)節(jié)抽頭權(quán)系數(shù)的橫向?yàn)V波器，權(quán)系數(shù)，表示在n時(shí)刻的值。（2）在自適應(yīng)狀態(tài)能調(diào)節(jié)這些權(quán)系數(shù)的機(jī)理過程。這個(gè)過程首先自動(dòng)調(diào)節(jié)濾波器系數(shù)的自適應(yīng)訓(xùn)練步驟，然后利用濾波系數(shù)加權(quán)延遲線抽頭上的信號來產(chǎn)生輸出信號，將輸出信號與期望信號進(jìn)行對比，所得的誤差值通過一定的自適應(yīng)控制算法再用來調(diào)節(jié)權(quán)值以保證濾波器處在最佳狀態(tài)，達(dá)到實(shí)現(xiàn)濾波的目的。5.1.1最陡下降法河南工業(yè)大學(xué)顯然，輸出信號y(n)是(5-1)

e(n)=d(n)-y(n)

(5-2)

自適應(yīng)濾波器控制機(jī)理是用誤差序列e(n)按照某種準(zhǔn)則和算法對其系數(shù)進(jìn)行調(diào)節(jié)的，最終使代價(jià)函數(shù)最小化，達(dá)最佳濾波狀態(tài).按照均方誤差（MSE）準(zhǔn)則所定義的目標(biāo)函數(shù)為：F(e(n))=ξ(n)=E(e2(n))=E[d2(n)-2d(n)y(n)+y2(n)]

(5-3)河南工業(yè)大學(xué)綜合前面幾個(gè)式子目標(biāo)函數(shù)可以寫成ξ(n)=E[d2(n)]-2E[d(n)wT(n)x(n)]+E[wT(n)x(n)xT(n)w(n)]

(5-4)

當(dāng)濾波系數(shù)固定時(shí)，目標(biāo)函數(shù)又可寫成：ξ(n)=ξ=[d2(n)]-2wTP+wTRw

(5-5)

可見，自適應(yīng)濾波器的目標(biāo)函數(shù)是延遲線抽頭系數(shù)（加權(quán)或?yàn)V波系數(shù)）的二次函數(shù)。當(dāng)矩陣R和矢量P已知時(shí)，可以由權(quán)系數(shù)矢量w直接求其解。河南工業(yè)大學(xué)

令代表n時(shí)刻的M*1維度矢量，M為濾波器系數(shù)的數(shù)目，w(n)為自適應(yīng)濾波器在n時(shí)刻的濾波系數(shù)或權(quán)矢量。按照最陡下降法調(diào)節(jié)濾波系數(shù)，則在n+1時(shí)刻的濾波系數(shù)或權(quán)矢量w(n+1)可以用下列簡單遞歸關(guān)系來計(jì)算

w(n+1）=w(n）+1/2μ[-]

(5-6)

其中μ是一個(gè)正實(shí)數(shù)，通常稱它為收斂因子或步長，n為迭代次數(shù),▽為梯度矢量.根據(jù)梯度矢量定義，▽(n)可以寫成

(5-7)

河南工業(yè)大學(xué)5.1.2最小均方(LMS)算法1、LMS算法的基本原理

最小均方（LMS）自適應(yīng)算法就是一種以期望響應(yīng)和濾波輸出信號之間誤差的均方值最小為準(zhǔn)的，依據(jù)輸入信號在迭代過程中估計(jì)梯度矢量，并更新權(quán)系數(shù)以達(dá)到最優(yōu)的自適應(yīng)迭代算法。LMS算法是一種梯度最速下降方法，其顯著的特點(diǎn)是它的簡單性。這算法不需要計(jì)算相應(yīng)的相關(guān)函數(shù)，也不需要進(jìn)行矩陣運(yùn)算。1960年美國斯坦福大學(xué)的Widrow等提出了最小均方（LMS）算法，這是一種用瞬時(shí)值估計(jì)梯度矢量的方法.

(5-11)

河南工業(yè)大學(xué)2、LMS算法的公式按照自適應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計(jì)的方向之間的關(guān)系，可以寫出：(5-12)把前面所推關(guān)系式代入式(5-11)得：

(5-13)河南工業(yè)大學(xué)3、LMS算法原理框圖圖５－２LMS算法原理流圖x(n)Id(n)+-e(n)W(n+1)W(n)∑河南工業(yè)大學(xué)5、LMS算法的性能分析一、自適應(yīng)收斂性自適應(yīng)濾波器系數(shù)矢量的起始值w(0)是任意常數(shù)，應(yīng)用LMS算法調(diào)節(jié)濾波系數(shù)具有隨機(jī)性而使系數(shù)矢量w(n)帶來非平穩(wěn)過程，通常為了簡化LMS算法的統(tǒng)計(jì)分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：（1）每個(gè)輸入信號樣本矢量x(n)與其過去全部樣本矢量x(k),k=0,1,2,…,n-1是統(tǒng)計(jì)獨(dú)立的，不相關(guān)的，即：E[x(n)xH(K)]=0;k=0,1,2,…,n-1

(5-16)河南工業(yè)大學(xué)（2）每個(gè)輸入信號樣本矢量x(n)與全部過去的期望信號d(k)k=0,1,2,…,n-1也是統(tǒng)計(jì)獨(dú)立且不相關(guān)的，即：E[x(n)d(k)]=0;k=0,1,2,…,n-1

(5-17)（3）期望樣本信號d(n)依賴于輸入過程樣本矢量x(n)，但全部過去的期望信號樣本是統(tǒng)計(jì)獨(dú)立的.（4）濾波器抽頭輸入信號矢量x(n)與期望信號d(n)包含著全部n的共同的高斯分布隨機(jī)變量.河南工業(yè)大學(xué)由前面的計(jì)討論可知，自適應(yīng)濾波器在n+1時(shí)刻的濾波系數(shù)矢量依賴于三個(gè)輸入：（1）輸入過程的過去樣本矢量x(k),k=n,n-1,…,0;（2）期望信號的以前樣本值d(k),k=n,n-1,…,0;（3）濾波系數(shù)矢量的起始值.現(xiàn)在將系數(shù)誤差矢量Δw(n）代入式(5-15)得(5-18)式中wo是最佳濾波系數(shù)矢量，Δw(n）是誤差矢量即Δw(n）=w(n)-w0河南工業(yè)大學(xué)因些，要使LMS算法收斂于均值，必須使步長參數(shù)滿足下列條件：

0<μ<2/λmax

(5-21)

λmax是相關(guān)矩陣R的最大特征值。在此條件下，迭代計(jì)算次數(shù)n接近無窮大時(shí)，自適應(yīng)濾波系數(shù)矢量w(n)近似等于最佳維納解w0。河南工業(yè)大學(xué)二、平均MSE-學(xué)習(xí)曲線如前節(jié)所述，最陡下降算法每次迭代都要精確計(jì)算梯度矢量，使自適應(yīng)橫向?yàn)V波器權(quán)矢量或?yàn)V波系數(shù)矢量w(n)能達(dá)到最佳維納解w0,這時(shí)濾波器均方誤差（MSE）為最小.LMS算法用瞬時(shí)值估計(jì)梯度存在誤差的噪聲估計(jì)，結(jié)果使濾波器權(quán)矢量估值只能近似于最佳維納解，這意味著濾波均方誤差ξ(n)隨著迭代次數(shù)n的增加而出現(xiàn)小波動(dòng)地減小，最后ξ(∞)不是等于而是稍大于其值。如下圖所示，步長參數(shù)μ選用的越小，則噪化指數(shù)衰減曲線上的波動(dòng)幅度將越小，即學(xué)習(xí)曲線的平滑度越好.河南工業(yè)大學(xué)對于自適應(yīng)橫向?yàn)V波器總體來說，假設(shè)每個(gè)濾波器LMS算法用相同的步長和同等的起始系數(shù)矢量w(0),并從同一統(tǒng)計(jì)群體隨機(jī)地選取各個(gè)平穩(wěn)的各態(tài)歷經(jīng)（遍歷性）的輸入信號，由此計(jì)算自ξmin0MSEn圖5-3單條學(xué)習(xí)曲線河南工業(yè)大學(xué)三、失調(diào)在自適應(yīng)濾波器中，失調(diào)(Misadjustment)是衡量其濾波性能的一個(gè)技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值ξex(∞)與最小均方誤差ξmin之比，即(5-22)證明可知：(1)失調(diào)為自適應(yīng)LMS算法提供了一個(gè)很有用的測度，比如，10%失調(diào)意味著自適應(yīng)算法所產(chǎn)生的總體平均MSE高于最小均方誤差的增量值為10%；(2)失調(diào)是隨濾波系數(shù)數(shù)目線性增加的；(3)失調(diào)可以做得任意小，只要選用大的時(shí)間常數(shù)，也就是小的步長值即可。河南工業(yè)大學(xué)但是，濾波器自適應(yīng)收斂過程需要長的時(shí)間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器LMS算法的失調(diào)與自適應(yīng)收斂過程之間存在著矛盾，如何縮短收斂過程，而且有很小的失調(diào)，這是值得研究的問題。河南工業(yè)大學(xué)5.2RLS算法在本節(jié)中，我們將推廣最小二乘的應(yīng)用，以便推出一種設(shè)計(jì)自適應(yīng)橫向?yàn)V波器的遞歸算法。即給定n-1次迭代濾波器抽頭權(quán)向量最小二乘估計(jì)，依據(jù)新到達(dá)的數(shù)據(jù)計(jì)算n次迭代權(quán)向量的最新估計(jì)。我們把這一算法稱為遞歸最小二乘（RLS，recursiveleast-squares）算法（濾波器）。河南工業(yè)大學(xué)在RLS濾波器的推進(jìn)過程中，我們首先回顧最小二乘法的一些基本關(guān)系式。然后，應(yīng)用矩陣代數(shù)中矩陣求逆引理所揭示的關(guān)系，導(dǎo)出RLS濾波器。RLS濾波器的一個(gè)重要特點(diǎn)是，它的收斂速率比一般的LMS濾波器快一個(gè)數(shù)量級。這是因?yàn)镽LS濾波器通過利用數(shù)據(jù)相關(guān)矩陣之逆，對輸入數(shù)據(jù)（假定這些數(shù)據(jù)的均值為零）進(jìn)行了白化處理。然而，性能的改善以RLS濾波器計(jì)算復(fù)雜性的增加為代價(jià)。河南工業(yè)大學(xué)其中u(i)是i時(shí)刻的抽頭輸入向量，定義為(5-25)式中w(n)是n時(shí)刻抽頭權(quán)向量，定義為(5-26)注意，在代價(jià)函數(shù)定義的觀測區(qū)間１≤i≤n內(nèi)，橫向?yàn)V波器的抽頭權(quán)值保持不變．式（5-23）中的加權(quán)因子滿足如下關(guān)系

i=1,2,…n河南工業(yè)大學(xué)一般說來，加權(quán)因子的使用是為了保證“遺忘”掉久遠(yuǎn)的過去數(shù)據(jù)，以便當(dāng)濾波器工作在非平穩(wěn)時(shí)，能跟蹤觀測數(shù)據(jù)的統(tǒng)計(jì)變化。通常所用的加權(quán)因子是指數(shù)加權(quán)因子，或所謂遺忘因子,定義為(5-27)式中λ是一個(gè)接近1，但又小于1的正常數(shù)。當(dāng)λ=1時(shí),對應(yīng)一般的最小二乘法。粗略地說，1-λ的倒數(shù)可以用來衡量算法的記憶能力；而λ=1的特殊情況，則應(yīng)對于無限記憶。i=1,2,…n河南工業(yè)大學(xué)正則化

最小二乘估計(jì)和最小二乘法一樣，是一個(gè)病態(tài)的求逆問題。在該問題中，給定構(gòu)成抽頭輸入向量u(n)的輸入數(shù)據(jù)和相應(yīng)的期望響應(yīng)d(n)（其中n是變量），要求估計(jì)出多重回歸模型中的未知向量，該向量與d(n)和u(n)有關(guān)．最小二乘估計(jì)的病態(tài)特性源于以下原因：輸入數(shù)據(jù)中的信息不足以唯一地構(gòu)建輸入輸出間的映射關(guān)系。

在輸入數(shù)據(jù)中不可以避免地存在著噪聲或不精確性，這為構(gòu)建輸入輸出映射關(guān)系增加了不確定性。河南工業(yè)大學(xué)為使估計(jì)問題變?yōu)榉遣B(tài)，需要某種與輸入輸出映射關(guān)系有關(guān)的先驗(yàn)信息。這意味著必須擴(kuò)展代價(jià)函數(shù)公式，使其能考慮先驗(yàn)信息。為滿足這一需要，我們把待最小化的代價(jià)函數(shù)擴(kuò)展為兩部分之和(5-28)（這里假設(shè)使用了預(yù)加窗）代價(jià)函數(shù)的兩個(gè)分量如下：1）誤差加權(quán)平方和(5-29)河南工業(yè)大學(xué)它與輸入數(shù)據(jù)有關(guān)。這個(gè)分量反映出期望響應(yīng)d(i)與濾波器實(shí)際響應(yīng)y(i)之間的指數(shù)加權(quán)誤差，且y(i)與抽頭輸入向量u(i)的關(guān)系可用公式表示為2)正則化項(xiàng)式中

是一個(gè)正實(shí)數(shù)，稱為正則化參數(shù)．除了因子外，正則化項(xiàng)只取決于抽頭權(quán)向w(n).將這一項(xiàng)包含在代價(jià)函數(shù)中，以便通過平滑作用來穩(wěn)定遞歸最小二乘問題的解。(5-30)(5-31)河南工業(yè)大學(xué)

從嚴(yán)格意義上說，項(xiàng)是正則化的近似形式。原因有兩個(gè):(1)首先指數(shù)加權(quán)因子λ介于0<λ≤1之間；從而，當(dāng)λ<1時(shí)，隨著n的增大趨于零。這意味著時(shí)間的推移，項(xiàng)對代價(jià)函數(shù)的影響會逐漸減?。粗饾u被遺忘）。(2)正則化項(xiàng)應(yīng)是形式，其中是由RLS濾波器實(shí)現(xiàn)的輸入輸出映射關(guān)系，D是差分算子。式(5-28)的正則化項(xiàng)通常用在RLS濾波器設(shè)計(jì)中。河南工業(yè)大學(xué)正則方程的變形

將式(5-28)展開并進(jìn)行整理，我們發(fā)現(xiàn)，在代價(jià)函數(shù)中增加正則化項(xiàng)，相當(dāng)于將抽頭輸入向量u(i)的M×M時(shí)間平均相關(guān)矩陣表示為式中I是M×M單位陣。容易發(fā)現(xiàn)，增加正則化項(xiàng)還有這樣的作用：它使得相關(guān)矩陣Φ(n)在從n=0開始的整個(gè)計(jì)算過程中非奇異。將上式修正為相關(guān)矩陣的過程叫做對角加載。(5-32)河南工業(yè)大學(xué)橫向?yàn)V波器抽頭輸入與期望響應(yīng)之間的M×１時(shí)間平均互相關(guān)向量z(n)為

它將不受正則化的影響，此處依然假定使用預(yù)加窗法。根據(jù)前面討論過的最小二乘法，可使用代價(jià)函數(shù)獲得最小值的最優(yōu)M×１抽頭權(quán)向量由正則方程定義。遞歸最小二乘問題的正則方程可用矩陣形式寫為：這里的Φ(n)和z(n)分別由式(5-32)和式(5-33)決定。(5-33)(5-34)河南工業(yè)大學(xué)

將對應(yīng)于i=n的項(xiàng)與式(5-32)右邊的求和項(xiàng)分開，可寫出根據(jù)定義，上式右邊括號內(nèi)的表達(dá)式等于相關(guān)矩陣Φ(n-1)。于是，可得用于更新抽頭輸入相關(guān)矩陣的遞歸公式其中Φ(n-1)是相關(guān)矩陣的過去值，矩陣乘積在更新過程中起著“修正”項(xiàng)的作用。注意，上式的遞歸過程與初始條件無關(guān)。Φ(n)和z(n)的遞歸算法

(5-35)(5-36)河南工業(yè)大學(xué)類似地，可以導(dǎo)出抽頭輸入與期望響應(yīng)之間互相關(guān)向量的更新公式為了按式(5-32)計(jì)算抽頭權(quán)向量的最小二乘估計(jì)，必須確定相關(guān)矩陣Φ(n)的逆。然而在實(shí)際中，我們通常盡量避免這樣做，因?yàn)檫@種運(yùn)算非常耗時(shí)，特別是當(dāng)抽頭數(shù)M很大時(shí)。另外，我們希望能夠遞歸計(jì)算n=1,2,…∞時(shí)抽頭權(quán)向量的最小二乘估計(jì)。我們發(fā)現(xiàn)，利用矩陣代數(shù)中矩陣求逆引理，可以實(shí)現(xiàn)上述兩個(gè)目標(biāo)。(5-37)河南工業(yè)大學(xué)5.2.2矩陣求逆引理設(shè)A和B是兩個(gè)M×M正定陣，它們之間的關(guān)系為其中，D是N×M正定陣，C是M×N矩陣。根據(jù)矩陣求逆引理，可將A的逆矩陣表示為該引理在此不做證明，書中有介紹。在下一節(jié)，我們將說明怎樣應(yīng)用矩陣求逆引理，得到計(jì)算抽頭權(quán)向量最小二乘解的遞歸公式。(5-38)(5-39)河南工業(yè)大學(xué)5.2.3指數(shù)加權(quán)遞歸最小二乘算法假定相關(guān)矩陣Φ(n)是非奇異的，因而它可逆。我們對式(5-36)所表示的遞歸方程應(yīng)用矩陣求逆引理，首先做如下設(shè)定河南工業(yè)大學(xué)然后，將這些定義代入矩陣求逆引理，可得計(jì)算相關(guān)矩陣逆陣的遞歸方程如下

為了方便計(jì)算，令和(5-40)(5-41)(5-42)河南工業(yè)大學(xué)用上面的定義，可將式(5-40)改寫為M×M矩陣P(n)叫做逆相關(guān)矩陣，M×1向量K(n)叫做增益向量，后面將會解釋這樣叫的原因。式(5-43)是RLS算法的Riccati方程。整理K(n)表達(dá)式，可得(5-43)(5-44)河南工業(yè)大學(xué)換句話說，增益向量K(n)可以定義為經(jīng)相關(guān)矩陣Φ(n)逆矩陣變換的抽頭輸入向量u(n).這一結(jié)論，連同可以用來定義增益向量我們可以將上式簡化為

K(n)=P(n)u(n)

(5-45)(5-46)河南工業(yè)大學(xué)抽頭權(quán)向量的時(shí)間更新下面，我們要導(dǎo)出更新抽頭權(quán)向量最小二乘估計(jì)的遞歸公式。為此，用式(5-32)、式

(5-37)、式

(5-41)來表示抽頭權(quán)向量n次迭代時(shí)的最小二乘估計(jì)(5-47)將式(5-47)右邊第一項(xiàng)中P(n)用式(5-43)代替，可得河南工業(yè)大學(xué)最后，應(yīng)用P(n)u(n)等于增益向量K(n)，可得更新抽頭向量的遞歸方程為(5-48)(5-49)河南工業(yè)大學(xué)其中是一個(gè)先驗(yàn)估計(jì)誤差。內(nèi)積表示基于n-1時(shí)刻抽頭權(quán)向量最小二乘估計(jì)舊值的期望響應(yīng)d(n)的估值。根據(jù)調(diào)整抽頭權(quán)向量的表達(dá)式和表示先驗(yàn)估計(jì)誤差的表達(dá)式可用圖5-6(a)所示的框圖表示遞歸最小二乘算法。

(5-50)河南工業(yè)大學(xué)一般說來，先驗(yàn)估計(jì)誤差ξ(n)不同于下式(5-51)的后驗(yàn)估計(jì)誤差其計(jì)算設(shè)計(jì)抽頭權(quán)向量在時(shí)刻n（當(dāng)前時(shí)刻）的最小二乘估計(jì)。實(shí)際上，我們可以將ξ(n)視為更新抽頭權(quán)向量之前e(n)的暫時(shí)值。但要注意的是，在導(dǎo)出式(5-49)遞歸算法的最小二乘優(yōu)化問題中，我們實(shí)際上是基于e(n)而不是基于ξ(n)使代價(jià)函數(shù)ξ(n)最小。(5-51)河南工業(yè)大學(xué)輸出橫向?yàn)V波器輸入向量U(n)自適應(yīng)權(quán)值控制機(jī)制∑誤差ξ(n)期望響應(yīng)d(n)圖5-6(a)框圖RLS算法+-∑∑K(n)增益圖5-6(b)信號流圖-+河南工業(yè)大學(xué)RLS算法小結(jié)式(5-42),(5-43),(5-49),(5-50)組成了RLS算法，并在表(5-1)中總結(jié)。特別要注意的是，式(5-50)表述了該算法的濾波過程，據(jù)此激勵(lì)橫向?yàn)V波器以計(jì)算先驗(yàn)估計(jì)誤差ξ(n)。式(5-49)描述了算法的自適應(yīng)過程，據(jù)此可通過在其過去值的基礎(chǔ)上增加一個(gè)量來遞推抽頭權(quán)向量，該量等于先驗(yàn)估計(jì)誤差ξ(n)復(fù)共軛與時(shí)變增益向量K(n)的乘積(“增益向量”由此得名)。河南工業(yè)大學(xué)式(5-42),(5-43),使得我們能夠更新增益向量本身。上述RLS算法的一個(gè)重要特點(diǎn)是，每一次迭代中的相關(guān)矩陣Φ(n)的逆矩陣為簡單的標(biāo)量相除所代替。圖(5-6a)給出RLS算法的框圖，圖(5-6b)則是RLS算法的信號流圖。表1RLS算法小結(jié)算法初始化河南工業(yè)大學(xué)表1續(xù)河南工業(yè)大學(xué)注意，在表1的總結(jié)中，增益向量K(n)的計(jì)算分兩步進(jìn)行：首先，計(jì)算用表示的中間量。第二，用計(jì)算K(n)從有限精度運(yùn)算的角度看，分兩步計(jì)算K(n)比直接用式(5-25)計(jì)算K(n)更可取。

為對RLS濾波器進(jìn)行初始化，需要指定兩個(gè)量：初始權(quán)向量。習(xí)慣上令。初始相關(guān)矩陣Φ(n)。令式(5-8)中的n=0，如果使用預(yù)加窗，可以得到

其中δ是正則化參數(shù)。參數(shù)δ的設(shè)定與信噪比有關(guān)，高信噪比時(shí)取小值；低信噪比時(shí)則取較大值。這樣做的合理性可以在正則化的意義得到證明。河南工業(yè)大學(xué)5.2.4正則化參數(shù)的選擇

在Moustakides的詳細(xì)研究(1997)中，評價(jià)了在平穩(wěn)環(huán)境下RLS算法的收斂性能，它有兩個(gè)特殊的可變參數(shù)：抽頭輸入數(shù)據(jù)的信噪比(SNR)，這個(gè)量由流行的運(yùn)行條件決定。正則化參數(shù)δ，它由設(shè)計(jì)人員控制。河南工業(yè)大學(xué)

為了總結(jié)Moustakides研究成果的實(shí)驗(yàn)條件，用F(x)表示一個(gè)關(guān)于x的矩陣函數(shù)，用f(x)表示一個(gè)關(guān)于x的非負(fù)標(biāo)量函數(shù)。其中，變量x屬于集合Ψ。于是，我們可引入如下定義

F(x)=θ(f)(5-52)河南工業(yè)大學(xué)如前所述，RLS濾波器初始化包括設(shè)定時(shí)間平均相關(guān)矩陣的初始值，即這里存在獨(dú)立于變量x的常數(shù)，使得對所有x

Ψ其中式(5-52)中引入的定義的意義將變得很明顯。(5-53)(5-54)河南工業(yè)大學(xué)其中,是數(shù)據(jù)樣值u(n)的方差。因此,根據(jù)式(5-55)和式(5-57)正則化參量δ可定義為正則化參量δ與信噪比的關(guān)系已由Moustakides(1997)給出詳細(xì)說明。特別是，Φ(0)，可表示為(5-55)其中(5-56)是一個(gè)確定的正定陣，定義為(5-57)(5-58)河南工業(yè)大學(xué)參數(shù)α為區(qū)分相關(guān)矩陣Φ(n)初始值的大、中、小提供了數(shù)學(xué)基礎(chǔ)。特別是對下列情況

(5-59)

我們可根據(jù)式(5-55)的定義來區(qū)別以下三種情況：河南工業(yè)大學(xué)

有了這些定義和三種不同的初始條件，我們可以總結(jié)出式(5-35)支配下RLS算法初始化過程中有關(guān)正則化參數(shù)δ的選擇方法(moustakides,1997)如下：

1）高信噪比：當(dāng)抽頭輸入噪聲電平低（即輸入SNR較高，如30dB或更高數(shù)量級）時(shí)，RLS算法呈現(xiàn)指數(shù)級的快速收斂率，只要相關(guān)矩陣以足夠小的范數(shù)初始化。典型地，通過設(shè)定α=1來滿足這個(gè)要求。隨著α減小到零[即隨著Φ(0)的矩陣范數(shù)增加]，RLS算法的收斂性會變差。

河南工業(yè)大學(xué)2）中等信噪比：在中等SNR環(huán)境下（即輸入SNR為10dB數(shù)量級時(shí)），RLS算法的收斂速率比高信噪比情況下的最佳收斂速率要差。但是RLS算法的收斂特性對-1≤α<0范圍內(nèi)矩陣Φ(0)范數(shù)的變化不敏感。河南工業(yè)大學(xué)3）低信噪比：最后一點(diǎn)，當(dāng)抽頭輸入的噪聲電平較高（即輸入信噪比SNR為-10dB數(shù)量級或更低）時(shí)，用具有較大矩陣范數(shù)的相關(guān)矩陣Φ(0)對RLS算法初始化（即α≤-1）更可取，因?yàn)檫@種條件可以產(chǎn)生最好的全局性能。河南工業(yè)大學(xué)這些結(jié)論對平穩(wěn)環(huán)境或慢時(shí)變環(huán)境成立。但是，如果環(huán)境狀態(tài)突變，而且這一變化發(fā)生在RLS濾波器達(dá)到穩(wěn)態(tài)時(shí)，則該濾波器就會將這一突變視為用較大的Φ(0)進(jìn)行新一輪的初始化，這里的n=0對應(yīng)于環(huán)境突變的那個(gè)瞬間。在這種情況下，最好停止RLS濾波器的工作，改用一個(gè)較小的Φ(0)進(jìn)行初始化而重新開始新一輪的迭代。河南工業(yè)大學(xué)5.2.5誤差平方加權(quán)和的更新遞歸當(dāng)抽頭權(quán)向量等于其最小二乘估計(jì)時(shí)，誤差平方加權(quán)和可達(dá)到最小值.為計(jì)算，可用關(guān)系式(5-60)其中定義(使用本章的表示)為(5-61)河南工業(yè)大學(xué)(5-62)上式最后一項(xiàng)中的z(n)已被還原為原來的形式。根據(jù)定義，式(5-62)右邊第一個(gè)括號中的表達(dá)式等于。另外，根據(jù)定義，第二個(gè)括號中的表達(dá)式等于先驗(yàn)誤差

ξ(n)的復(fù)共軛。因此，將式(5-37)(5-49)和式(5-61)代入式(5-60)，得河南工業(yè)大學(xué)上式中，第二行應(yīng)用了相關(guān)矩陣Φ(n)的埃爾米特性質(zhì)，在第三行用到了等于最小二乘估計(jì).對最后一項(xiàng)，我們用增益向量K(n)的定義來表示內(nèi)積.河南工業(yè)大學(xué)其中e(n)是后驗(yàn)估計(jì)誤差。式(5-63)是更新誤差加權(quán)平方和的遞歸公式。由此可見，ξ(n)的復(fù)共軛與e(n)的乘積表示更新過程中的修正項(xiàng)。注意，該乘積是實(shí)數(shù)，這意味著，總有(5-64)(5-63)因此，式(5-62)可化簡為河南工業(yè)大學(xué)收斂因子式(5-63)涉及兩種不同的估計(jì)誤差：先驗(yàn)估計(jì)誤差ξ(n)和后驗(yàn)估計(jì)誤差e(n)，它們之間有著本質(zhì)的聯(lián)系。為了建立這種估計(jì)誤差之間的聯(lián)系，可從式(5-51)的定義出發(fā)，將式(5-49)代入(5-51)，得(5-65)河南工業(yè)大學(xué)上式中的最后一行，應(yīng)用了式(5-50)的定義。后驗(yàn)估計(jì)誤差e(n)與先驗(yàn)估計(jì)誤差ξ(n)的比值稱為收斂因子，記為r(n)。因此，可以寫出(5-66)其值由增益向量k(n)和抽頭輸入向量u(n)唯一確定。河南工業(yè)大學(xué)示例：單個(gè)權(quán)值自適應(yīng)噪聲消除器下面，我們考慮如下圖５-７所示的單一加權(quán)雙輸入自適應(yīng)噪聲消除器。兩個(gè)輸入微機(jī)部信號d(n)（由承載信息的信號分量和加性干擾組成）和參考信息u(n)（它與干擾相關(guān)而與承載信息的信號無關(guān)）。要求利用參考信號與基本信號的相關(guān)性，抑制自適應(yīng)噪聲消除器輸出端的干擾。河南工業(yè)大學(xué)圖５-７單一加權(quán)自適應(yīng)噪聲消除器∑基本信號d(n)參考信號u(n)輸出

ξ(n)+-河南工業(yè)大學(xué)應(yīng)用RLS算法可得該消除器的一組方程，經(jīng)整理為(5-67)(5-68)(5-69)河南工業(yè)大學(xué)在最后一個(gè)方程中，零均值參考信號u(n)的方差估計(jì)是P(n)的倒數(shù)，它是RLS算法中矩陣P(n)的標(biāo)量形式，即(5-71)(5-70)河南工業(yè)大學(xué)將式(5-67)~(5-70)描述的算法與應(yīng)用歸一化LMS算法得到的一組方程進(jìn)行比較，能夠獲得一些新的認(rèn)識。在我們所介紹的范圍內(nèi)，人們特別感興趣的歸一化LMS算法由前面章節(jié)中給出。RLS算法與歸一化LMS算法之間的主要差別在于，歸一化LMS算法中的常數(shù)δ被RLS算法中增益因子k(n)分母中的時(shí)變項(xiàng)所代替。該因子控制著式(5-59)中RLS濾波器抽頭權(quán)值的修正。河南工業(yè)大學(xué)RLS算法的收斂性分析

本節(jié)將討論平穩(wěn)環(huán)境下RLS算法的收斂特性，此處假定λ為1(λ小于1的情況這里不予討論)。為了給出下面的討論做準(zhǔn)備，我們做三點(diǎn)假設(shè)，這三點(diǎn)都它們各自的合理性。

河南工業(yè)大學(xué)假設(shè)Ⅰ

期望響應(yīng)d(n)與抽頭輸入向量u(n)之間的關(guān)系由如下多重線性回歸模型描述其中是回歸參數(shù)向量，是測量噪聲，它是均值為零、方差為的白噪聲，因而與回歸量u(n)無關(guān)。(5-72)河南工業(yè)大學(xué)圖5-8給出了式(5-72)所述關(guān)系?！啤啤茰y量誤差d(n)u(n-M+1)u(n)u(n-1)入輸圖5-8多重線性回歸模型河南工業(yè)大學(xué)假設(shè)Ⅱ輸入信號向量u(n)由隨機(jī)過程生成，其自相關(guān)函數(shù)是各態(tài)歷經(jīng)的。假設(shè)Ⅱ意味著，可用時(shí)間平均代替集平均，特別地，可將輸入向量u(n)的集平均相關(guān)矩陣表示為對于n>M(5-73)其中Φ(n)是u(n)的時(shí)間平均相關(guān)矩陣，且要求n>M,以保證橫向?yàn)V波器的每一個(gè)抽頭上部有輸入信號。式(5-73)的近似將隨著時(shí)間n的增加得到改善。河南工業(yè)大學(xué)假設(shè)Ⅲ加權(quán)誤差向量ε(n)的波動(dòng)比輸入信號向量u(n)的波動(dòng)慢。假設(shè)Ⅲ成立的合理性在于，加權(quán)誤差向量ε(n)是RLS算法n次迭代中一系列變化量的累加。這一性質(zhì)可表示為(5-74)此式由式(5-49)得出。盡管K(i)和都與u(i)有關(guān)，但式(5-74)中的和對ε(n)具有平滑作用。實(shí)際上，RLS濾波器起到了時(shí)變低通濾波器的作用。下面的討論都是基于以上u(n)和d(n)的三點(diǎn)假設(shè)。河南工業(yè)大學(xué)RLS算法的均值收斂性由正則方程(5-34)解,可得n>M其中，對λ=1有(5-75)和(5-76)(5-77)將式(5-62)代入式(5-77)，然后應(yīng)用式(5-76)，可得河南工業(yè)大學(xué)(5-78)式中的最后一行，我們應(yīng)用了λ=1時(shí)的式(5-32)。由此，可以將式(5-75)重新寫為(5-79)對式(5-79)的兩邊取數(shù)學(xué)期望，并引用假設(shè)Ⅰ和假設(shè)Ⅱ，可以寫出河南工業(yè)大學(xué)n>M(5-80)其中p是期望響應(yīng)d(n)與輸入向量u(n)之間的集平均互相關(guān)向量。式(5-80)表明，RLS算法在均值意義上是收斂的。如果n大于濾波器長度M的有限值，則由于用Φ(0)=δI對算法進(jìn)行初始化，所以估計(jì)是有偏的。但當(dāng)n趨于無限時(shí)，偏差將趨于0。河南工業(yè)大學(xué)RLS算法的均方偏差加權(quán)誤差相關(guān)矩陣定義為(5-81)將式(5-79)代入式(5-81)，并且忽略初始化的影響(這一點(diǎn)對n>M成立)，可得河南工業(yè)大學(xué)在假設(shè)Ⅰ條件下，輸入向量u(n)以及由它所得的與測量噪聲無關(guān)。因此，可以將K(n)表示為兩個(gè)期望的積由于測量噪聲是白色的（假設(shè)Ⅰ），我們有(5-82)河南工業(yè)大學(xué)其中是的方差。因此，加權(quán)誤差相關(guān)矩陣變?yōu)樽詈?，引用嵌入在?5-73)中的假設(shè)Ⅱ，可寫出n>M(5-83)河南工業(yè)大學(xué)均方偏差定義為(5-84)其中tr[.]表示矩陣求逆算子。根據(jù)式(5-83),RLS算法的均方偏差為n>M(5-85)河南工業(yè)大學(xué)其中是集平均相關(guān)矩陣R的特征值。根據(jù)式(5-85)，我們現(xiàn)在可以對于n>M的情況得出如下兩點(diǎn)重要結(jié)論：1)均方偏差被最小特征值的倒數(shù)放大。因此，對于下一階近似，RLS算法對特征值擴(kuò)散的敏感性正比于最小特征