第四章自適應(yīng)濾波器及其應(yīng)用課件

第四章自適應(yīng)濾波器及其應(yīng)用基本原理與典型應(yīng)用自適應(yīng)算法及誤差性能梯度下降算法橫向LMS自適應(yīng)濾波器橫向RLS自適應(yīng)濾波器第四章自適應(yīng)濾波器及其應(yīng)用基本原理與典型應(yīng)用自適應(yīng)算法及誤差性能梯度下降算法橫向LMS自適應(yīng)濾波器橫向RLS自適應(yīng)濾波器………+-+Σ自適應(yīng)算法單輸入的結(jié)構(gòu)……+-+Σ自適應(yīng)算法多輸入的結(jié)構(gòu)四、誤差性能曲面的幾何意義：為直觀期間，假定L=1，考察二維權(quán)矢量、三維空間的情況：均方誤差性能函數(shù)：為求等高線方程，令均方誤差性能曲面均方誤差性能曲面的等高線第四章自適應(yīng)濾波器及其應(yīng)用基本原理與典型應(yīng)用自適應(yīng)算法及誤差性能梯度下降算法橫向LMS自適應(yīng)濾波器橫向RLS自適應(yīng)濾波器

自適應(yīng)算法梯度下降算法

（負梯度方向）最陡下降算法

梯度的數(shù)學(xué)表示：相對于階矢量的梯度算子記作，定義為因此，一個實際量函數(shù)相對于一列矢量的梯度為

梯度的主要特征：梯度的每個分量給出了標量函數(shù)在該分量方向上的變化率；正梯度表示當變元增大時函數(shù)的最大增大率；負梯度表示當變元增大時函數(shù)的最大減小率（梯度下降算法的基礎(chǔ)）。極小化取負曲率方向作搜索方向取負梯度作目標函數(shù)的更新方向。定理：令是實矢量的實值函數(shù)。將視為獨立的變元，實目標函數(shù)的曲率方向由梯度矢量給出。梯度下降算法的迭代關(guān)系：近似解在迭代過程中的校正量與目標函數(shù)的負梯度成正比。上式是優(yōu)化問題近似解的學(xué)習(xí)算法；常數(shù)稱為學(xué)習(xí)步長，它決定近似解趨向最優(yōu)解的收斂速率；均方誤差隨迭代次數(shù)n變化的曲線稱為“學(xué)習(xí)曲線”。梯度：故坐標平移坐標旋轉(zhuǎn)去耦合由初始權(quán)向量迭代可得：(分量間無耦合)或表式為：因為，或：實際常用（保守的）收斂條件：如果迭代過程收斂，則步長μ

必須滿足收斂條件:●μ太大將不收斂；●在保證收斂情況下：μ越大，收斂越快，但太大時過渡過程具有振蕩特性（欠阻尼），且穩(wěn)態(tài)誤差較大；μ越小，穩(wěn)態(tài)誤差越小，但收斂越慢?；?a)小的μ值情況步長μ值的影響(b)大的μ值情況為了保證收斂，步長，故有：當特征值分散性大使條件數(shù)很大時，最陡下降算法收斂性很差。第四章自適應(yīng)濾波器及其應(yīng)用基本原理與典型應(yīng)用自適應(yīng)算法及誤差性能梯度下降算法橫向LMS自適應(yīng)濾波器橫向RLS自適應(yīng)濾波器自適應(yīng)濾波器包括兩個過程：濾波過程和自適應(yīng)過程。濾波器的自適應(yīng)實現(xiàn)是關(guān)鍵；設(shè)計重點是選擇FIR結(jié)構(gòu)，主要內(nèi)容是研究自適應(yīng)算法。

FIR濾波器的自適應(yīng)實現(xiàn)指的是(L+1)階FIR濾波器的抽頭權(quán)系數(shù)

可以根據(jù)估計誤差e(n)的大小自動調(diào)節(jié)，使得誤差在某個統(tǒng)計最優(yōu)準則下最小。自適應(yīng)濾波器設(shè)計最常用MMSE準則，即：使濾波器實際輸出y(n)與期望響應(yīng)d(n)之間的均方誤差最小;

最終達到Wiener解。最廣泛使用的自適應(yīng)算法是“下降算法”下降算法的兩種實現(xiàn)方式

-自適應(yīng)梯度算法：LMS算法及其改進算法

-自適應(yīng)高斯－牛頓算法：RLS算法及其改進算法本節(jié)介紹LMS類算法，下一節(jié)介紹RLS類算法。式中

為第n步迭代(亦即時刻n)的權(quán)矢量，為第n步迭代的更新步長，

為第n步迭代的更新方向(矢量)。隨機優(yōu)化問題(數(shù)學(xué)描述)：最優(yōu)解(Wiener解）：最陡下降算法：真實梯度最陡下降法存在不可實現(xiàn)的缺點：真實梯度含數(shù)學(xué)期望，只有理論意義。梯度的估計算法改進：無偏估計瞬時梯度：先驗估計誤差用誤差平方代替均方誤差權(quán)矢量因梯度估計誤差而引入的穩(wěn)態(tài)噪聲權(quán)矢量穩(wěn)態(tài)噪聲功率算法流程圖單支路全系統(tǒng)(1)若常數(shù)，則稱為基本LMS算法；(2)若,,則稱為歸一化LMS算法；(3)若自適應(yīng)產(chǎn)生，則稱為自適應(yīng)步長的LMS算法。LMS類算法統(tǒng)稱為梯度算法，實際應(yīng)用中有以下幾種形式：六、LMS算法的改進：牛頓法也是一類LMS算法，與LMS算法有相同的迭代格式。用左乘上式兩邊，并將結(jié)果代入維納解公式，得：實際上，前面已導(dǎo)出維納最優(yōu)解為：由上式可寫出牛頓迭代公式：LMS類算法的統(tǒng)一迭代結(jié)構(gòu):取不同的就構(gòu)成不同的自適應(yīng)算法。第四章自適應(yīng)濾波器及其應(yīng)用基本原理與典型應(yīng)用自適應(yīng)算法及誤差性能梯度下降算法橫向LMS自適應(yīng)濾波器橫向RLS自適應(yīng)濾波器一、最小二乘（LS）準則及LS濾波器最小均方誤差（MMSE)準則使誤差平方的統(tǒng)計平均最小，需要根據(jù)輸入數(shù)據(jù)長期統(tǒng)計特性尋求最佳濾波。實際中通常已知的僅是一組數(shù)據(jù)，因而只能對長期統(tǒng)計特性進行估計或近似。最小二乘準則是直接根據(jù)一組有限長數(shù)據(jù)進行最佳濾波的準則。最小二乘準則：對有限長數(shù)據(jù)，用其誤差二乘方的時間平均代替MMSE準則中的均方誤差，并使其最小化。………+-+Σ自適應(yīng)算法問題描述：當前時刻n已獲得n個數(shù)據(jù)如何設(shè)計m階濾波器的權(quán)矢量

對這組數(shù)據(jù)進行濾波，使其輸出為期望信號的最小二乘估計。

特別注意：這里是批處理，特定時刻n的一批輸入數(shù)據(jù)對應(yīng)一個權(quán)矢量

。FIRLS濾波器結(jié)構(gòu)對d(i)的估計：n個估計誤差平方加權(quán)和：估計誤差：表示用n時刻濾波權(quán)矢量處理數(shù)據(jù)時對d(i)進行估計的誤差。如下頁示意圖：注：后補零僅針對并行（多）輸入情形考慮指數(shù)加權(quán)的最小二乘法，其代價函數(shù)表示為以前加窗法為例。2)

和e(i)分別稱為濾波器在i時刻后驗和先驗估計誤差故使用作為誤差函數(shù)比使用e(i)更為合理。即式中,稱為遺忘因子。其作用是對離n時刻越近的誤差更加大權(quán)重,而對離n時刻越遠的誤差更減小權(quán)重,即對各個時刻的誤差具有某種遺忘作用。式(1a)中,誤差函數(shù)定義為：1)式中，濾波器權(quán)矢量取為n時刻的權(quán)向量,理由是:在自適應(yīng)更新過程中,濾波器特性總是越來越好,這意味著,對任何時刻,總有討論合并(1a)和(1b)得從而，有最佳權(quán)矢量使代價函數(shù)最小，即式(4)表明：指數(shù)加權(quán)最小二乘問題的最佳權(quán)矢量也為維納解。最佳權(quán)矢量的自適應(yīng)迭代求解過程即采用RLS自適應(yīng)算法。根據(jù)上面的推導(dǎo)，可以得出記二、遞歸最小二乘（RLS）自適應(yīng)算法的構(gòu)造算法思想：把最小二乘法(LS)推廣為一種自適應(yīng)算法，用來設(shè)計自適應(yīng)的橫向濾波器，利用n-1時刻的濾波器抽頭權(quán)系數(shù)，通過簡單的更新，求出n

時刻的濾波器抽頭權(quán)系數(shù)。這種自適應(yīng)的遞推算法稱為遞歸最小二乘算法，簡稱RLS算法。可得T(n)的遞推關(guān)系（請課后自己推導(dǎo)）：繼續(xù)是利用n-