無線通信信號處理自適應濾波演示文稿

無線通信信號處理自適應濾波演示文稿當前1頁，總共104頁。一種典型的自適應濾波器2當前2頁，總共104頁。維納濾波

設信號s(k)或s(k)及觀測過程x(k)或x(k)是廣義平穩(wěn)的,且已知其功率譜

或自相關函數(shù)的知識,則基于觀測過程x(k)或x(k),按線性最小均方誤差

準則,信號s(k)或s(k)所作的最優(yōu)估計稱為維納濾波,適用平穩(wěn)隨機環(huán)境?？柭鼮V波

設已知信號的動態(tài)模型測量方程，則基于過程x(k)及初始條件，按線

性無偏最小方差遞推準則,對狀態(tài)s(k)所作的最優(yōu)估計稱為卡爾曼濾波適用于非平穩(wěn)隨機環(huán)境下的最優(yōu)濾波。

前言

維納濾波、卡爾曼濾波與自適應濾波只有在信號和噪聲統(tǒng)計特性先驗已知的情況下,上述濾波器才能獲得最優(yōu)濾波。在信號和噪聲統(tǒng)計特性先驗未知的情況下,則需用自適應濾波器才能夠提供卓越的濾波性能。自適應濾波3當前3頁，總共104頁。

本講內容正交性原理Wiener濾波器梯度下降算法LMS濾波器RLS濾波器Kalman濾波器格型濾波器自適應濾波器應用4當前4頁，總共104頁。1.正交性原理根據(jù)濾波器原理，n時刻的濾波器輸出表示為：定義代價函數(shù)為均方誤差的平方期望信號響應用表示，定義估計誤差為：5當前5頁，總共104頁。1.正交性原理（續(xù)）定義函數(shù)對復變量的求導：其中a,b分別為w變量的實部與虛部不難有，6當前6頁，總共104頁。1.正交性原理（續(xù)）

上述表明，使得均方誤差代價函數(shù)最小時的均方誤差與輸入向量正交。這就是著名的正交性原理。7當前7頁，總共104頁。1.正交性原理（續(xù)）由正交性原理最優(yōu)濾波器的輸出與輸入誤差也正交8當前8頁，總共104頁。1.正交性原理的幾何解釋

最優(yōu)濾波器的輸出誤差與其之前的輸入正交，濾波器的輸出由輸入子空間張成，這輸出誤差與輸入誤差也正交。9當前9頁，總共104頁。FIR型的Wiener濾波器………+-10當前10頁，總共104頁。根據(jù)最優(yōu)濾波器的正交性原理有下式：等價于，上式左邊的數(shù)學期望代表濾波器輸入的自相關函數(shù)：右邊的數(shù)學期望代表濾波器輸入與期望輸出的互相關函數(shù)：11當前11頁，總共104頁。2.Wiener濾波理論則（X）式可以重新寫為：這就是著名的Wiener-Hopf方程，該方程定義了最優(yōu)濾波器必須服從的條件。定義輸入向量12當前12頁，總共104頁。定義輸入信號的自相關矩陣：定義輸入與期望響應的互相關向量：2.Wiener濾波理論（續(xù)）13當前13頁，總共104頁。Wiener-Hopf方程的解Wiener-Hopf方程可以寫成更緊湊的矩陣表示形式：若輸入信號的自相關矩陣為可逆矩陣，14當前14頁，總共104頁。Wiener濾波器原理框圖15當前15頁，總共104頁。最優(yōu)濾波器實現(xiàn)存在的問題1.Wiener濾波器最優(yōu)權系數(shù)可以由計算輸入信號的自相關函數(shù)合輸入信號與期望輸出的互相關得到。實際中這兩個參數(shù)是未知的，需要通過估計得到。而估計需要觀測無限長信號。2.求最優(yōu)濾波器時需要計算矩陣求逆，其計算復雜度量級是濾波器長度的三次方。

由于存在這些問題，實際我們實現(xiàn)Wiener濾波并不是直接計算得到最優(yōu)Wiener濾波器的系數(shù)，而是代之以LMS,RLS,Kalman等自適應濾波器。16當前16頁，總共104頁。

自適應濾波器原理框圖17當前17頁，總共104頁。

自適應濾波器原理框圖(續(xù))當前18頁，總共104頁。3.梯度下降算法

梯度的數(shù)學表示：相對于

向量

的梯度算子記作，定義為因此，一個實際量函數(shù)相對于一列向量的梯度為19當前19頁，總共104頁。3.梯度下降算法（續(xù)）

梯度的幾何特征

梯度的及格分量給出了標量函數(shù)在該分量方向上的變化率

梯度的重要性質

指出了當變元增大時，函數(shù)的最大增大率。相反，梯度的負值（簡稱負梯度）指出了當變元增大時函數(shù)的最大減小率。這一性質是梯度下降算法的基礎。20當前20頁，總共104頁。3.梯度下降算法（續(xù)）

極小化取負曲率方向作搜索方向取負共軛梯度作目標函數(shù)的更新方向。定理：令是實向量的實值函數(shù)。將視為獨立的變元，實目標函數(shù)的曲率方向由共軛梯度向量給出。21當前21頁，總共104頁。3.梯度下降算法（續(xù)）梯度下降算法的迭代過程：候補解在迭代過程中的校正量與目標函數(shù)的負梯度成正比。上式稱為優(yōu)化問題候補解的學校算法；常數(shù)稱為學校步長，它決定候補解趨向最優(yōu)解的收斂速率。22當前22頁，總共104頁。4.LMS濾波器最陡下降法隨機優(yōu)化問題Wiener濾波器真實梯度23當前23頁，總共104頁。4.LMS濾波器（續(xù)）梯度下降算法：步長參數(shù)，學習速率真實梯度缺點：真實梯度含數(shù)學期望，不易求得。梯度估計近似算法(LMS):瞬時梯度：先驗估計誤差24當前24頁，總共104頁。4.LMS濾波器（續(xù)）基本的LMS算法：瞬時梯度分析：最陡下降法LMS算法

搜索方向為梯度負方向，每一步更新都使目標函數(shù)值減?。ā白疃赶陆岛x”）。

搜索方向為瞬時梯度負方向，不保證每一步更新都使目標函數(shù)值減小，但總趨勢使目標函數(shù)值減小。25當前25頁，總共104頁。（圖中“2”應去掉?。?.LMS濾波器（續(xù)）當前26頁，總共104頁。4.LMS濾波器（續(xù)）梯度下降法要求不同時間的梯度向量（搜索方向）線性獨立。LMS算法的獨立性要求：

要求不同時間的輸入信號向量線性獨立（因為隨時梯度向量為)。27當前27頁，總共104頁。4.LMS濾波器（續(xù)）自適應學習速度參數(shù)（3）“換檔變速”方法：固定＋時變（2）時變學習速度：（遞減），模擬退火法則（1）固定學習速度：（常數(shù)）缺點：偏大收斂快跟蹤性能差偏小收斂慢跟蹤性能好28當前28頁，總共104頁。4.LMS濾波器（續(xù)）例1.（先搜索，后收斂）例2.（先固定，后指數(shù)衰減）（4）自適應學習速度：“學習規(guī)則學習”

和正的常數(shù)29當前29頁，總共104頁。而且可以證明LMS自適應濾波器的權向量收斂于維納解：算法收斂性前已指出，瞬時梯度向量是真實梯度向量的無偏估計：條件是LMS算法還必須兼顧收斂速度和失調,它來自梯度估計誤差:

4.LMS濾波器（續(xù)）30當前30頁，總共104頁。最陡下降LMS單次31當前31頁，總共104頁。最陡下降LMS多次平均32當前32頁，總共104頁。若自適應產生，則稱為自適應步長的LMS算法若常數(shù)，則稱為基本LMS算法若,則稱為歸一化LMS算法結論：這些算法通常稱為LMS類算法－梯度算法。

LMS算法的幾種變形4.LMS濾波器（續(xù)）33當前33頁，總共104頁。基本思想把最小二乘法(LS)推廣為一種自適應算法,用來設計自適應濾波器,利用n-1時刻的濾波器抽頭權系數(shù),通過簡單的更新，求出n

時刻的濾波器抽頭權系數(shù)。這樣一種自適應的最二乘算法稱為遞歸(遞推)最小二乘算法,簡稱RLS算法。5.RLS濾波器34當前34頁，總共104頁。√X5.RLS濾波器（續(xù)）因為,在更新過程中,濾波器特性總是越來越好,即如何時刻,總是

且有代價函數(shù)取為誤差函數(shù)的加權平方和形式：35當前35頁，總共104頁。5.RLS濾波器（續(xù)）由此得到下面的關系式：即36當前36頁，總共104頁。5.RLS濾波器（續(xù)）記37當前37頁，總共104頁。5.RLS濾波器（續(xù)）得到利用矩陣求逆引理：由關系式注：矩陣求逆引理的一般表達式：38當前38頁，總共104頁。5.RLS濾波器（續(xù)）記則39當前39頁，總共104頁。5.RLS濾波器（續(xù)）40當前40頁，總共104頁。5.RLS濾波器（續(xù)）41當前41頁，總共104頁。5.RLS濾波器（續(xù)）RLS算法42當前42頁，總共104頁。當前43頁，總共104頁。5.RLS濾波器（續(xù)）非平穩(wěn)44當前44頁，總共104頁。Kalman濾波器是一種序貫估計問題，導自：Bayes方法新息方法(Innovationsapproach)Kalman濾波器本質上與RLS濾波器有相同的表達式，其區(qū)別僅在于其基礎假設不同。6.Kalman濾波器45當前45頁，總共104頁。Kalman濾波器通常表示為:給定一噪聲觀測序列，估計由噪聲激勵的線性系統(tǒng)狀態(tài)向量序列（Givenasequenceofnoisyobservationstoestimatethesequenceofstatevectorsofalinearsystemdrivenbynoise）狀態(tài)空間方程6.Kalman濾波器（續(xù)）46當前46頁，總共104頁。Kalman濾波器與RLS濾波器有如下對應關系

狀態(tài)空間 RLS狀態(tài)更新矩陣狀態(tài)噪聲方差

觀測矩陣

觀測數(shù)據(jù)向量

狀態(tài)估計向量

6.Kalman濾波器（續(xù)）47當前47頁，總共104頁。LMS、RLS、Kalman算法比較（1）計算復雜度：LMS<RLS<Kalman相差不大（2）RLS算法是“無激勵”狀態(tài)空間模型下的Kalman濾波算法（3）收斂速率：

LMS：越大，學習步長越大，收斂越快

RLS：遺忘因子越大，遺忘作用越弱，收斂越慢時變學習速率、時變遺忘因子

Kalman：無收斂問題，無收斂參數(shù)48當前48頁，總共104頁。7.格型濾波器7.1格型濾波器原理7.2LMS格-梯型濾波器7.3RLS格-梯型濾波器49當前49頁，總共104頁?？紤]信號序列值：前向預測后向預測前向預測誤差：后向預測誤差：其中分別為p階前、后向預測系數(shù)。

前向預測與后向預測7.1格型濾波器原理

當前50頁，總共104頁。

根據(jù)前面的基本概念，可知m階前向預測誤差為類似地，

m階后向預測誤差為再利用Levinson關系式：有其中7.1格型濾波器原理（續(xù)）

當前51頁，總共104頁。

對稱的格型結構

n時刻的前向和后向預測誤差(殘差)服從如下遞推關系:其初值為：則前向和后向預測誤差濾波器傳遞函數(shù)遞推公式為其中如令7.1格型濾波器原理（續(xù)）

當前52頁，總共104頁。

容易推出前、后向濾波器傳遞函數(shù)的一般關系式：由式(4a)知:

為了使前向濾波器物理可實現(xiàn)，前向濾波器傳遞函數(shù)Am(z)必須是最小相位多項式，即的零點必須全部在單位圓內，亦即

從而這就是格型濾波器時各級反射系數(shù)必須滿足的條件。7.1格型濾波器原理（續(xù)）

當前53頁，總共104頁。由式(4b),即由下式可見,格型濾波器的設計歸結為前向濾波器的設計。

可知，后向濾波器的權系數(shù)與前向濾波器的權系數(shù)之間存在以下關系：7.1格型濾波器原理（續(xù)）

當前54頁，總共104頁。

格型濾波器設計準則

現(xiàn)在討論前向濾波器A(z)的設計準則。(3)可等價寫作相應的時域表達式為7.1格型濾波器原理（續(xù)）

當前55頁，總共104頁。

定義前、后向濾波器的殘差能量容易證明上式表明,在格型濾波器設計中有如下三種等價表述：i)使前向預測濾波器Am(z)殘差能量均方誤差Fm最小ii)使后向預測濾波器Bm(z)殘差能量均方誤差Gm最小iii)使前后向預測濾波器殘差能量均方誤差(Fm+Gm)/2最小7.1格型濾波器原理（續(xù)）

當前56頁，總共104頁。

上述結論構成格型濾波器的設計基礎，而且由此有

1)完全可以僅根據(jù)前向殘差能量Fm設計格型濾波器，

2)后向預測誤差（殘差）正交

這表明，不同級濾波器的后向殘差正交

這一特性意味著格型濾波器的前后級是解耦的，故可獨立設計每一級濾波器。3)階數(shù)越大,前向殘差Fm越小。當前向殘差能量不再減小

時，最小的階數(shù)即為格型濾波器的最優(yōu)階數(shù)。

7.1格型濾波器原理（續(xù)）

當前57頁，總共104頁。

格型自適應算法

令w(n)為濾波器在n時刻的權系數(shù)，并滿足現(xiàn)考慮采用一般能量形式的加權最小二乘法。為此，定義瞬態(tài)前后向殘差能量和n時刻及以前時刻前后向殘差的加權總能量誤差函數(shù)7.1格型濾波器原理（續(xù)）

當前58頁，總共104頁?？傻胣時刻發(fā)射系數(shù)且有這保證了前向濾波器是最小相位的,即物理可實現(xiàn)的。利用7.1格型濾波器原理（續(xù)）

當前59頁，總共104頁。取

,

并引入即得且

服從如下遞推關系式：

7.1格型濾波器原理（續(xù)）

當前60頁，總共104頁。

步驟1計算預測誤差功率和前后向預測誤差的初始值:步驟2計算前、后向殘差步驟3求中間系數(shù)步驟4計算反射系數(shù)：

步驟5計算預測誤差功率：

步驟6令,重做步驟2-5,直到預測誤差功率很小為止.

格型自適應濾波算法步驟當前61頁，總共104頁。根據(jù)均方誤差準則考慮格型基本表達式：相對于濾波器參數(shù)最小化,得當信號的統(tǒng)計特性未知時，采用最小二乘準則：確定

,

故有7.2LMS格-梯型濾波器

當前62頁，總共104頁。首先,考慮格型部分的遞歸實現(xiàn)問題。為此,設從而，有如下遞推公式：其中及7.2LMS格-梯型濾波器（續(xù)）

當前63頁，總共104頁。其次,考慮格型-梯形的聯(lián)合估計問題。圖1格型的總輸出:為求的最優(yōu)值,設期望信號d(n)與m級格型估計信號的誤差：或向量必須滿足正交性條件，故有后面將利用這個正交性表達式求?；?.2LMS格-梯型濾波器（續(xù)）

當前64頁，總共104頁。利用后向誤差的正交性：從而有并注意到是對角陣，有再注意到其中vm見式(8)7.2LMS格-梯型濾波器（續(xù)）

當前65頁，總共104頁。梯度格-梯型算法其中:7.2LMS格-梯型濾波器（續(xù)）

當前66頁，總共104頁。圖1自適應格-梯型濾波器+++++++++………+－+－+－+－+－Stage1Stage2StageM-1…++LMS格-梯型濾波器實現(xiàn)摳圖當前67頁，總共104頁。

格型預測器:從n=0出發(fā),對m=0,1,…,M-1,計算階更新7.3RLS格-梯型濾波器（算法）

當前68頁，總共104頁。

梯型預測器:從n=0出發(fā),對m=0,1,…,M-1,計算階更新

初始化:7.3RLS格-梯型濾波器（算法續(xù)）

當前69頁，總共104頁。+++++++++………+－+－+－+－+－Stage1Stage2StageM-1圖2自適應RLS格-梯型濾波器RLS格-梯型濾波器實現(xiàn)摳圖當前70頁，總共104頁。

分塊矩陣求逆引理

設有分塊矩陣：

則有或其中(a)(b)[原(5.3.23)][原(5.3.22)]RLS格-梯型濾波算法依據(jù)當前71頁，總共104頁。

數(shù)據(jù)向量與預測系數(shù)向量

-考慮數(shù)據(jù)向量則存在兩種不同的分塊方式

分別對應于前向預測和后向預測。-定義前向預測系數(shù)向量和后向預測系數(shù)向量，即RLS格-梯型濾波算法依據(jù)（續(xù)）-應用：

對于前向預測，用向量來預測預測系數(shù)向量為

對于后向預測，用向量來預測預測系數(shù)向量為

當前72頁，總共104頁。

自相關矩陣a)對于前向預測：

b)對于后向預測：其中，u(n)和v(n)為期望響應加權平方和注意:因為矩陣R有兩種分塊形式,故其求逆用兩種形式RLS格-梯型濾波算法依據(jù)（續(xù)）當前73頁，總共104頁。

互相關向量

a)對于前向預測：b)對于后向預測：c)對于聯(lián)合估計：RLS格-梯型濾波算法依據(jù)（續(xù)）當前74頁，總共104頁。

W-H方程與Wiener解

a)對于前向預測：b)對于后向預測：c)對于聯(lián)合估計：RLS格-梯型濾波算法依據(jù)（續(xù)）參考：清華大學出版社2013.1：統(tǒng)計信號處理算法(5.3節(jié))（Proakis著）當前75頁，總共104頁。8.自適應濾波器的應用

濾波的最終目標是在有噪聲的情況下，將感興趣的信號盡可能精確地估計出來。因此作為移贈信號處理方法在諸多領域有著廣泛的應用。

生物醫(yī)學

目標識別和跟蹤

無線通信

圖像處理76當前76頁，總共104頁。當前77頁，總共104頁。UsedtoprovidealinearmodelofanunknownplantApplications:Systemidentification自適應濾波器應用之一：系統(tǒng)辨識當前78頁，總共104頁。UsedtoprovideaninversemodelofanunknownplantApplications:Comm.channelEqualization自適應濾波器應用之二：信道均衡當前79頁，總共104頁。UsedtoprovideapredictionofthepresentvalueofarandomsignalApplications:Linearpredictivecoding自適應濾波器應用之三：預測編碼當前80頁，總共104頁。UsedtocancelunknowninterferencefromaprimarysignalApplications:Echo/Noisecancellationhands-freecarphone,aircraftheadphonesetc自適應濾波器應用之四：干擾消除當前81頁，總共104頁。當前82頁，總共104頁。Example:

AcousticEchoCancellation當前83頁，總共104頁。當前84頁，總共104頁。當前85頁，總共104頁。當前86頁，總共104頁。當前87頁，總共104頁。當前88頁，總共104頁。當前89頁，總共1