現(xiàn)代數(shù)字信號處理(chap5自適應(yīng)濾波)(修訂版)

主講教師:何松華教授聯(lián)系方式0731)8268771813973132618@139.com

現(xiàn)代數(shù)字信號處理/自適應(yīng)濾波第五章自適應(yīng)濾波器教學(xué)內(nèi)容最小均方自適應(yīng)橫向型濾波器(LMS)

正則方程、梯度法、LMS算法遞歸最小二乘自適應(yīng)濾波器(RLS)

原理、迭代算法自適應(yīng)濾波器應(yīng)用自適應(yīng)對消器前言一、自適應(yīng)濾波器的提出Weiner濾波器：輸入x(n)，期望輸出yd(n)輸入\期望輸出信號是廣義平穩(wěn)的；輸入\期望輸出信號的相關(guān)及互相關(guān)特性是已知的。自適應(yīng)濾波器(兩層)的含義：輸入信號統(tǒng)計特性是未知的或知道甚少，或者其統(tǒng)計特性是時變的，自動適應(yīng)輸入信號的統(tǒng)計特性,能夠根據(jù)輸入信號統(tǒng)計特性的變化自動調(diào)整其結(jié)構(gòu)參數(shù)，以滿足某種最佳準(zhǔn)則的要求。平滑濾波D步預(yù)測前言二、自適應(yīng)濾波器的組成濾波結(jié)構(gòu)IIR、FIR、橫截型、格型

自適應(yīng)算法LMS、RLS實際輸出期望輸出前言三、自適應(yīng)濾波器的典型應(yīng)用自適應(yīng)系統(tǒng)建模

回波抵消模型、控制模型、信道模型自適應(yīng)逆濾波

自適應(yīng)均衡、盲解卷積自適應(yīng)信號預(yù)測

自適應(yīng)預(yù)測編碼、變化檢測多傳感器干擾抵消

陣列信號處理(角分辨)與自適應(yīng)波束形成始終保證誤差信號的方差或動態(tài)范圍為最小,降低編碼比特數(shù)移動通信:信道模型空間位置的變化而變化干擾信號的方向是未知的變化的電視現(xiàn)場直播信號前言四、自適應(yīng)濾波器的典型應(yīng)用舉例通信中的回波抵消(電話交換機(jī))由于阻抗不匹配造成能量泄漏前言濾波器的參數(shù)自動適應(yīng)C--混合器B--D的回波路徑僅剩B的話音,回音被對消前言自適應(yīng)預(yù)測誤差編碼第一節(jié)LMS自適應(yīng)濾波器WidrowB，HoffMEJr.Adaptiveswitchingcircuits.1960線性(L)最小均方誤差(MS)濾波器、最陡下降法一、最佳濾波器的正則方程d(n)自適應(yīng)算法∑x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM(n)濾波器的參數(shù)不再是常數(shù),而是與n有關(guān)的變量第一節(jié)LMS自適應(yīng)濾波器為平穩(wěn)信號情況下的線性FIR濾波最優(yōu)濾波器的參數(shù)與時間n無關(guān)為非平穩(wěn)信號情況下的線性FIR濾波最優(yōu)濾波器的參數(shù)與時間n有關(guān)記M-1階線性濾波器第一節(jié)LMS自適應(yīng)濾波器定義：均方誤差性能函數(shù)則：對于非平穩(wěn)過程,數(shù)學(xué)期望不再是常數(shù)矢量函數(shù)的含義?第一節(jié)LMS自適應(yīng)濾波器定義：矢量標(biāo)量行矢量[矩陣]列矢量=標(biāo)量(列矢量,互相關(guān)矢量)自相關(guān)矩陣(列矢量行矢量)第一節(jié)LMS自適應(yīng)濾波器標(biāo)量對矢量的導(dǎo)數(shù)為矢量根據(jù)《矩陣論》中的二次型求導(dǎo)原理，當(dāng)則：第一節(jié)LMS自適應(yīng)濾波器平穩(wěn)\Rx,P已知情況下正則方程的求解滿秩直接矩陣求逆算法最陡下降法(牛頓梯度法)Levinson－Durbin算法LMS算法、RLS算法運算量大，且在非平穩(wěn)情況下對每個n都要求逆格形自適應(yīng)濾波器LMS算法的基礎(chǔ),同樣可以避免矩陣求逆運算Rx,P未知情況下以及非平穩(wěn)正則方程的求解二、梯度法(Gradient-Method)

最陡下降法(ThemethodofSteepestDescent)第一節(jié)LMS自適應(yīng)濾波器1算法(牛頓梯度法)(一維情況)LMS算法的基礎(chǔ)，必須先進(jìn)行介紹W(n)=W1時W(n)=W2時向左搜索向右搜索第一節(jié)LMS自適應(yīng)濾波器梯度的極性約束方向，控制步長\收斂速度\精度。

當(dāng)算法收斂統(tǒng)計特性P、Rx已知的情況下,一旦給定初始權(quán)值W(0),則收斂路徑確定見前面的推導(dǎo)第一節(jié)LMS自適應(yīng)濾波器2.W的收斂條件自相關(guān)矩陣Rx的本征分解理論由Rx的特征根構(gòu)成的對角矩陣由Rx的特征向量構(gòu)成的矩陣根據(jù)特征向量矩陣的正交性QTQ=I本征分解對推導(dǎo)\分析的好處:轉(zhuǎn)化為對角矩陣運算處理一定能收斂到最優(yōu)解嗎?上式兩邊取轉(zhuǎn)置并利用性質(zhì)證:第一節(jié)LMS自適應(yīng)濾波器2.W的收斂條件定義誤差矢量非負(fù)定、對稱，存在正交矩陣，即非負(fù)定的含義：根據(jù)矩陣?yán)碚摚韵嚓P(guān)矩陣是非負(fù)定的滿足根據(jù)則有:則:第一節(jié)LMS自適應(yīng)濾波器定義

則

Q的正交性對角矩陣第一節(jié)LMS自適應(yīng)濾波器或時，當(dāng)滿足條件的第k個元素的第k個元素第一節(jié)LMS自適應(yīng)濾波器共M個指數(shù)過程，收斂取決于最慢的指數(shù)過程(i最小的)指數(shù)收斂因子收斂路徑分析第一節(jié)LMS自適應(yīng)濾波器3.均方誤差序列的收斂性以及收斂精度第一節(jié)LMS自適應(yīng)濾波器根據(jù)定義根據(jù)對角矩陣乘積交換律選擇收斂步長u滿足：根據(jù)權(quán)值收斂特性性能曲面函數(shù)第一節(jié)LMS自適應(yīng)濾波器4.二維情況下誤差性能曲面舉例關(guān)于的橢圓椎面函數(shù)第一節(jié)LMS自適應(yīng)濾波器令C為常數(shù)等高線大特征值對應(yīng)短軸，收斂(逼近最優(yōu)點)快第一節(jié)LMS自適應(yīng)濾波器牛頓梯度法舉例:預(yù)測估計∑x(n)z-1z-1w1w2第一節(jié)LMS自適應(yīng)濾波器a1a2λ1λ2λ1/λ2ξmin1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.01981000.0038情況2的說明已知:第一節(jié)LMS自適應(yīng)濾波器的兩個特征根分別為練習(xí)5.1：根據(jù)表中的其他情況的1、2以及Rx性質(zhì)(對稱，且對角元素值相等)反推矩陣Rx，根據(jù)a1、a2以及Rx反推P并計算min第一節(jié)LMS自適應(yīng)濾波器取則當(dāng)n足夠大時,統(tǒng)計特性已知時,只有在大矩陣情況下才體現(xiàn)運算上的優(yōu)勢第一節(jié)LMS自適應(yīng)濾波器三、LMS算法(LeastMeanSquare)

1.B.Widrow和M.E.Hoff1960年權(quán)值遞推算法給定任意的初始權(quán)值矢量

以及合適的步長，從n=0開始一般采用全零的矢量第一節(jié)LMS自適應(yīng)濾波器單個誤差樣本的平方

隨機(jī)梯度隨機(jī)變量隨機(jī)路徑無須事先知道P、Rx等統(tǒng)計特性,自動適應(yīng)其統(tǒng)計特性,并收斂到最優(yōu)權(quán)值然后由、、計算、；依此類推標(biāo)量矢量第一節(jié)LMS自適應(yīng)濾波器LMS算法流程

假設(shè)輸入數(shù)據(jù)從n0=0開始，在n=0的邊界附近構(gòu)造矢量時，的值可以用零代替H:共軛轉(zhuǎn)置*:共軛復(fù)數(shù)據(jù)情況同樣適用矢量LMS算法流程第一節(jié)LMS自適應(yīng)濾波器LMS算法框圖2.權(quán)矢量收斂性第一節(jié)LMS自適應(yīng)濾波器幾點假設(shè)聯(lián)合平穩(wěn)梯度矢量的隨機(jī)估計誤差權(quán)值估計誤差矢量X(n)和不相關(guān)雖然只與矢量X(n-1)有關(guān),該假設(shè)比較牽強(qiáng),X(n)與X(n-1)之間有重疊,以下證明為不嚴(yán)格的證明,但在應(yīng)用上尚未出現(xiàn)明顯的問題處的理論梯度與實際梯度的誤差第一節(jié)LMS自適應(yīng)濾波器梯度估計矢量是無偏的(含義)不相關(guān)假設(shè)第一節(jié)LMS自適應(yīng)濾波器定義則前面已證明為0P第一節(jié)LMS自適應(yīng)濾波器令原式兩邊同乘Q-1根據(jù)遞推原理第一節(jié)LMS自適應(yīng)濾波器要求:;收斂速度取決于最大的項或最小的項,特征值的散度越大，則收斂時間愈長。第一節(jié)LMS自適應(yīng)濾波器收斂條件可取根據(jù)矩陣?yán)碚摳鼑?yán)格地滿足收斂條件期望意義上收斂N足夠大時3.估計誤差能量的收斂性第一節(jié)LMS自適應(yīng)濾波器根據(jù)最佳估計時的誤差與X(n)不相關(guān)的原理練習(xí)5.3:該矩陣對角線元素值的和為第一節(jié)LMS自適應(yīng)濾波器將QT移到前面去相乘w與x無關(guān),則v與x無關(guān)第一節(jié)LMS自適應(yīng)濾波器

均方誤差收斂條件超量均方誤差

結(jié)論:LMS算法使用隨機(jī)梯度,權(quán)值收斂為均值意義上的收斂(在最優(yōu)權(quán)矢量附近左右擺動),平均誤差能量大于牛頓梯度法的最小誤差能量4.超量均方誤差第一節(jié)LMS自適應(yīng)濾波器根據(jù)可以得到練習(xí)5.4假設(shè)r(n)與v’(n)不相關(guān)對角矩陣相乘的位置可交換性,假設(shè)權(quán)系數(shù)誤差之間互不相關(guān)如何求方差?第一節(jié)LMS自適應(yīng)濾波器當(dāng)時理想穩(wěn)態(tài)情況下誤差矢量在時的近似解為練習(xí)第一節(jié)LMS自適應(yīng)濾波器定義：失調(diào)量值越大，失調(diào)量大為矩陣對角線元素上的值注:第一節(jié)LMS自適應(yīng)濾波器當(dāng)n足夠大時,權(quán)值在最優(yōu)點附近擾動;并非依概率1收斂于最優(yōu)權(quán)值擾動所帶來的超量均方誤差為因此,當(dāng)n足夠大時,權(quán)值在最優(yōu)點附近擾動是比較小的收斂路徑中的噪聲第一節(jié)LMS自適應(yīng)濾波器5.應(yīng)用：自適應(yīng)均衡碼間干擾現(xiàn)代通信中一般設(shè)置訓(xùn)練比特反射波個數(shù)\延遲\幅度未知重構(gòu)的部分?jǐn)?shù)據(jù)y(n)第一節(jié)LMS自適應(yīng)濾波器+x(n)y(n)d(n)e(n)通信信號數(shù)據(jù)發(fā)生器信道hn高斯白噪聲發(fā)生器自適應(yīng)均衡器+I(n)v(n)收發(fā)同步后接收端根據(jù)已知的訓(xùn)練比特重構(gòu)的I(n)訓(xùn)練比特是位置固定的0,1取值已知比特當(dāng)自適應(yīng)均衡器為信道hn的逆濾波器時，y(n)=I(N)；均衡器達(dá)到理想效果第一節(jié)LMS自適應(yīng)濾波器W3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511λmin0.33390.21360.12560.0656λmax2.02952.37612.72633.0707實際信道直射波兩個反射波第一節(jié)LMS自適應(yīng)濾波器W=3.5W=3.3W=3.1W=2.9u=0.075W越大,反射波越強(qiáng)，則收斂精度越低第一節(jié)LMS自適應(yīng)濾波器W=2.9u=0.075u=0.025u=0.0075u越小,則收斂速度越慢,但收斂精度越高第一節(jié)LMS自適應(yīng)濾波器第一節(jié)LMS自適應(yīng)濾波器梯度法與LMS算法：統(tǒng)計梯度與隨機(jī)梯度梯度法在n趨于無窮時能收斂到最小均方誤差，這是因為每次迭代都使用了精確的梯度向量。LMS算法在n趨于無窮時，最小均方誤差大于。這是因為存在梯度估計誤差。梯度法定義了明確的學(xué)習(xí)曲線(收斂路徑)，該曲線反映了均方誤差對迭代次數(shù)的變化情況。LMS算法學(xué)習(xí)曲線由噪聲和衰減指數(shù)和組成，噪聲的幅度通常隨步長參數(shù)u的減小而減小。

第一節(jié)LMS自適應(yīng)濾波器課程上機(jī)實驗6：線性信道均衡中的LMS梯度算法實現(xiàn)采用Matlab或VB語言編程(1)參照實驗3的方法產(chǎn)生均值為0，根方差為0.01的、正態(tài)白噪聲序列(2)假設(shè)信源發(fā)送的前10個比特為訓(xùn)練比特,為假設(shè)信源發(fā)送的后10個比特為信息比特,為收發(fā)雙方按通信協(xié)議約定的,收方已知收方未知第一節(jié)LMS自適應(yīng)濾波器(3)假設(shè)在接收端的采樣率為每個調(diào)制脈沖采集10點,采樣后數(shù)字基帶信號的數(shù)字角頻率為0.21,A=1,則接收到的直射波采樣信號(經(jīng)同步后)可以表示為(4)假設(shè)有兩個反射波,相對于直射波的延時分別為2,4;幅度系數(shù)分別為0.3,0.2;則合成的信號為(5)加上信道噪聲后的信號為ASK調(diào)制第一節(jié)LMS自適應(yīng)濾波器(6)畫出直射回波a(n)以及帶有信道噪聲以及碼間干擾的信號x(n)的波形圖,計算平均誤差(7)設(shè)置自適應(yīng)濾波器的抽頭數(shù)M=6,搜索步長取為初始權(quán)值設(shè)置為利用訓(xùn)練比特對應(yīng)的前100點數(shù)據(jù)計算權(quán)值,偽代碼為可以改變抽頭數(shù)以及步長,比較收斂效果假設(shè)數(shù)組的下標(biāo)只能從1開始的修正第一節(jié)LMS自適應(yīng)濾波器觀察最終得到的權(quán)值(8)用得到的權(quán)值對信息比特對應(yīng)的后100點數(shù)據(jù)進(jìn)行濾波處理

前100點的期望輸出是已知的可以多次運行上述過程,以前一次的運行結(jié)果為初值;觀察是否可以改善均衡效果第一節(jié)LMS自適應(yīng)濾波器畫出誤差序列ed(n)的波形圖;畫出均衡后的序列y(n)的波形圖,觀察其與a(n)波形圖的后半部分的差異性[遠(yuǎn)小于x(n)與a(n)的差異性]偽代碼,需要根據(jù)具體的語言進(jìn)行修正第一節(jié)LMS自適應(yīng)濾波器(9)計算信道均衡后的平均誤差比較其與e1的差異性(遠(yuǎn)小于e1)觀察ed(n)的波形圖中的個別毛刺點(誤差絕對值較大的點),思考:為什么個別毛刺點對誤碼率影響不大?思考:如果信號幅度A不為1且未知,是否對信道均衡產(chǎn)生影響?按A=2重復(fù)實驗(期望輸出保持不變,則濾波輸出下降到1/A,輸出波形的調(diào)制方式\形狀不變)第一節(jié)LMS自適應(yīng)濾波器在期望輸出不變的情況下,為了將不同A情況下的均衡結(jié)果進(jìn)行有意義的比較,必須對誤差能量進(jìn)行功率歸一化.信道均衡前,功率歸一化后的平均誤差能量信道均衡后,功率歸一化后的平均誤差能量比較e1,e2,觀察信道均衡效果第二節(jié)最小二乘自適應(yīng)濾波器一、RLS算法與LMS算法(RLS:RecursiveLeastSquare)LMS算法－偽最小均方誤差準(zhǔn)則，一類數(shù)據(jù)的最佳濾波器RLS算法－最小二乘準(zhǔn)則，一組數(shù)據(jù)的最佳濾波器二、最小二乘原理有限長度輸入信號為M(M<<N)階線性濾波器期望輸出信號為遞歸的實際上對同類的不同數(shù)據(jù)有不同的解第二節(jié)最小二乘自適應(yīng)濾波器代價函數(shù)2、數(shù)據(jù)窗范圍1、輸入輸出方程、代價函數(shù)

當(dāng)已知的輸入數(shù)據(jù)為x(n)(n=0,1,…,N-1),則其中輸出y(0),y(1),…,y(M-2)牽涉到n<0的輸入數(shù)據(jù)x(n);y(N),y(N+1),…,y(N+M-2)牽涉到n>N-1的輸入數(shù)據(jù)x(n);必須對邊界外的數(shù)據(jù)進(jìn)行假定為什么不考慮n<0以及n>N+M-2?輸入數(shù)據(jù)范圍第二節(jié)最小二乘自適應(yīng)濾波器(1)協(xié)方差法：使得n=M-1到N-1范圍內(nèi)的誤差能量最小，不牽涉到[0，N-1]之外的輸入數(shù)據(jù)，無須任何假定定義數(shù)據(jù)矢量定義數(shù)據(jù)矩陣n時刻進(jìn)入濾波器的數(shù)據(jù)第二節(jié)最小二乘自適應(yīng)濾波器(2)自相關(guān)法：使得n=0到N+M-2全部范圍內(nèi)的誤差能量最小，假設(shè)[0，N-1]之外的輸入數(shù)據(jù)都為零第二節(jié)最小二乘自適應(yīng)濾波器(3)前加窗法：使得n=0到N-1范圍內(nèi)的誤差能量最小，不牽涉大于n>N-1時刻的輸入數(shù)據(jù)，對其不做任何假定；但假設(shè)n<0的輸入數(shù)據(jù)為零第二節(jié)最小二乘自適應(yīng)濾波器(4)后加窗法：使得n=M-1到N+M-2范圍內(nèi)的誤差能量最小,不牽涉n<0時刻的輸入數(shù)據(jù)，對其不做任何假定；但假設(shè)n>N-1的輸入數(shù)據(jù)為零第二節(jié)最小二乘自適應(yīng)濾波器3、正則方程

(前加窗)其他加窗情況作為練習(xí),自己推導(dǎo).為什么以前加窗作為重點?期望輸出都有定義定義濾波器輸出信號矢量:

定義權(quán)矢量:

MN維M維N維第二節(jié)最小二乘自適應(yīng)濾波器則有:

定義誤差信號矢量:

定義期望信號矢量:

則有:

誤差信號能量:

N維N維標(biāo)量第二節(jié)最小二乘自適應(yīng)濾波器根據(jù)標(biāo)量對矢量的二次型的求導(dǎo)公式得到:

M維M維MN,NMMMMN,N1M1定義樣本自相關(guān)矩陣:

第二節(jié)最小二乘自適應(yīng)濾波器對稱；但對角線元素值不同,不滿足Toepliz的兩個條件其中:

定義:

其中:

第二節(jié)最小二乘自適應(yīng)濾波器則得到正則方程最小誤差能量為：一般不滿足Toepliz性質(zhì)，有沒有遞歸算法避免大矩陣的直接求逆運算？是要解決的主要問題,后面介紹將解代入第二節(jié)最小二乘自適應(yīng)濾波器三、(遞歸最小二乘)RLS自適應(yīng)橫向濾波器當(dāng)前誤差能量積累(離當(dāng)前時刻越遠(yuǎn)，加權(quán)越小)定義只討論前加窗情況A(n)是矩陣A的前n+1列當(dāng)前輸入數(shù)據(jù)矩陣當(dāng)前輸出數(shù)據(jù)矢量第二節(jié)最小二乘自適應(yīng)濾波器則有定義將輸入數(shù)據(jù)段為0到N-1情況下的矩陣形式表示形式推廣到輸入數(shù)據(jù)段為0到n情況下的矩陣形式表示形式,目的?中n的含義?當(dāng)前誤差數(shù)據(jù)矢量當(dāng)前最優(yōu)權(quán)值矢量第二節(jié)最小二乘自適應(yīng)濾波器則有

的定義？適用?根據(jù)最小二乘原理，參照情況的解，得到該線性方程組解為矢量第二節(jié)最小二乘自適應(yīng)濾波器此處，、的定義為第二節(jié)最小二乘自適應(yīng)濾波器矢量標(biāo)量將解代入表達(dá)式練習(xí)：根據(jù)上述矩陣的定義以及對角矩陣相乘的性質(zhì)第二節(jié)最小二乘自適應(yīng)濾波器如何遞推求解，避免矩陣求逆?、都是MM的矩陣、的遞推關(guān)系？則可求出權(quán)的遞推第二節(jié)最小二乘自適應(yīng)濾波器矩陣求逆定理：如果E、F為正定矩陣，且滿足下面推導(dǎo)與的關(guān)系則有觀察C為列矢量時，D只能為標(biāo)量，CTFC也為標(biāo)量設(shè)第二節(jié)最小二乘自適應(yīng)濾波器令令增益系數(shù)有有第二節(jié)最小二乘自適應(yīng)濾波器將K(n)表達(dá)式的分母移到左邊相乘，再移位根據(jù)q(n)的遞推式根據(jù)p(n)的遞推式第二節(jié)最小二乘自適應(yīng)濾波器先驗估計誤差;要求與具有最小誤差，在未獲得之前，以作為d(n)先驗估計第二節(jié)最小二乘自適應(yīng)濾波器小節(jié)初始條件：遞推算法：(M維矢量)對n=0,1,…,N-1,執(zhí)行上述遞歸迭代運算，則最終的為所求MM維對角矩陣，為任意較小的正數(shù)沒有出現(xiàn)任何的矩陣求逆運算(M維矢量)(標(biāo)量)第二節(jié)最小二乘自適應(yīng)濾波器前向加窗法:從n=0迭代到n=N-1協(xié)方差法:從n=M-1迭代到n=N-1迭代次數(shù)少,初始值影響大自相關(guān)法:從n=0迭代到n=N+M-2后發(fā)散現(xiàn)象后向加窗法:從n=M-1迭代到n=N+M-2后發(fā)散現(xiàn)象邊界外的期望值定義為零第三節(jié)自適應(yīng)對消器自適應(yīng)對消器的組成應(yīng)用一：消除交流市電干擾應(yīng)用二：