第三章自適應(yīng)數(shù)字濾波器

第三章自適應(yīng)數(shù)字濾波器1第一頁，共一百零四頁，編輯于2023年，星期四它讓期望響應(yīng)作為“導(dǎo)師”，逐漸更新（遞推）濾波器系數(shù)，使濾波器系數(shù)逐漸逼近最優(yōu)濾波器，即使濾波器的輸出對期望響應(yīng)的誤差逐漸接近最小。自適應(yīng)濾波器就是通過對環(huán)境進行學(xué)習(xí)，逐漸達到或逼近最優(yōu)濾波器。由于學(xué)習(xí)過程中有“導(dǎo)師”存在，因此它是一種具有監(jiān)督學(xué)習(xí)功能的過程。當(dāng)濾波器的應(yīng)用環(huán)境發(fā)生緩慢變化時，相當(dāng)于濾波器應(yīng)用于非平穩(wěn)環(huán)境，但環(huán)境變化比學(xué)習(xí)速度更緩慢時，自適應(yīng)濾波器能夠自適應(yīng)地跟蹤這種非平穩(wěn)變化。第二頁，共一百零四頁，編輯于2023年，星期四主要討論自適應(yīng)濾波器的設(shè)計原理和收斂性能（主要討論FIR自適應(yīng)濾波器）。自適應(yīng)濾波器都是非線性時變系統(tǒng)。因為從輸入輸出關(guān)系看，不再是線性系統(tǒng)，系統(tǒng)輸入用于調(diào)節(jié)濾波器系數(shù)，濾波器系數(shù)變化也影響系統(tǒng)輸出。線性自適應(yīng)濾波器指構(gòu)成系統(tǒng)的各運算單元都是線性運算。當(dāng)構(gòu)成自適應(yīng)濾波器的運算單元是非線性運算時，稱該濾波器為非線性自適應(yīng)濾波器。第三頁，共一百零四頁，編輯于2023年，星期四討論線性自適應(yīng)濾波器的原因是：1.大量的線性自適應(yīng)濾波器滿足種類應(yīng)用，且實現(xiàn)簡單。2.許多非線性自適應(yīng)濾波器是以線性自適應(yīng)濾波器為核心。3.一大類人工神經(jīng)網(wǎng)絡(luò)（BP算法）是線性自適應(yīng)濾波器－－LMS算法的推廣。自適應(yīng)濾波器的最佳準則主要有兩種：1.最小均方誤差準則：最陡下降法、最小均方（LMS）算法。2.誤差平方和最小準則－－最小二乘準則：LS算法。第四頁，共一百零四頁，編輯于2023年，星期四自適應(yīng)濾波器主要由兩部分組成，一是一個FIR濾波器，也稱橫向濾波器，其權(quán)系數(shù)可隨時調(diào)整，完成濾波工作；第二部分是濾波器的權(quán)調(diào)整算法，也稱學(xué)習(xí)算法。圖自適應(yīng)濾波器原理圖第五頁，共一百零四頁，編輯于2023年，星期四自適應(yīng)濾波器工作過程：開始時，給FIR濾波器賦予任意的初始權(quán)系數(shù)，在每個時刻，用當(dāng)前權(quán)系數(shù)對輸入信號進行濾波運算，產(chǎn)生輸出信號，輸出信號與期望響應(yīng)的差定義為誤差信號，由誤差信號與輸入信號矢量一起構(gòu)造一個校正量，自適應(yīng)地調(diào)整權(quán)矢量，使誤差信號趨于降低的趨勢，從而使濾波器逐漸達到或接近最優(yōu)。第六頁，共一百零四頁，編輯于2023年，星期四自適應(yīng)濾波器的應(yīng)用(1)消除噪聲干擾用與相關(guān)的噪聲信號作為自適應(yīng)濾波器的輸入信號，調(diào)節(jié)自適應(yīng)濾波器的權(quán)系數(shù)，使輸出非常精確地逼近，原始輸入減去濾波器輸出，得到基本上抵消了噪聲干擾的信號。圖干擾對消第七頁，共一百零四頁，編輯于2023年，星期四噪聲對消實際應(yīng)用：(1)心電圖中50Hz或60Hz電源工頻干擾的消除。(2)胎兒檢測中，胎兒心電圖中母體心電圖的對消。(3)長途電話線路中的回聲對消。第八頁，共一百零四頁，編輯于2023年，星期四(2)線性預(yù)測應(yīng)用圖自適應(yīng)預(yù)測器信號延遲后送到濾波器的輸入，用于預(yù)測信號的當(dāng)前值。初始時給出任意的預(yù)測系數(shù)（對應(yīng)于FIR濾波器的系數(shù)），隨著自適應(yīng)過程的進行，逐漸逼近最優(yōu)預(yù)測系數(shù)。第九頁，共一百零四頁，編輯于2023年，星期四(3)系統(tǒng)辨識圖系統(tǒng)辨識通過自適應(yīng)濾波器逼近一個參數(shù)未知的系統(tǒng)。第十頁，共一百零四頁，編輯于2023年，星期四(4)自適應(yīng)均衡圖自適應(yīng)均衡自適應(yīng)濾波器將逼近圖中系統(tǒng)的逆系統(tǒng)，通過這個過程或得到系統(tǒng)的一個近似的逆系統(tǒng)，或得到系統(tǒng)輸入信號的比較逼真的恢復(fù)，這類應(yīng)用可統(tǒng)稱為解卷積。通信中，通過自適應(yīng)均衡抑制通信系統(tǒng)傳輸過程中對傳輸信號的各種畸變和干擾。第十一頁，共一百零四頁，編輯于2023年，星期四3.2自適應(yīng)橫向濾波器3.2.1自適應(yīng)線性組合和自適應(yīng)FIR濾波器自適應(yīng)濾波器的原理框圖如下::輸入信號:輸出信號:期望信號,訓(xùn)練信號,參考信號:誤差信號1.自適應(yīng)濾波器的矩陣表示式N個權(quán)系數(shù)的自適應(yīng)線性組合器，如下圖。圖自適應(yīng)濾波器原理圖第十二頁，共一百零四頁，編輯于2023年，星期四N個權(quán)系數(shù)受誤差信號的自適應(yīng)控制。對于固定的權(quán)系數(shù)，輸出是輸入信號的線性組合，稱為線性組合器。圖自適應(yīng)線性組合器可以是從N個不同的信號源到達的瞬時輸入，是一個多輸入系統(tǒng)，也可以是同一信號源的N個序貫樣本，如下圖所示。因此，它是一個單輸入系統(tǒng)，實際上是一個FIR濾波器或者說是一個自適應(yīng)橫向濾波器。第十三頁，共一百零四頁，編輯于2023年，星期四圖自適應(yīng)FIR濾波器第十四頁，共一百零四頁，編輯于2023年，星期四橫向結(jié)構(gòu)的自適應(yīng)FIR濾波器是一種最常用的自適應(yīng)濾波器。濾波器輸出可表示為：令，用表示，上式可寫成式中誤差信號表示為：也稱為濾波器加權(quán)系數(shù)，上式可表示成矩陣形式。第十五頁，共一百零四頁，編輯于2023年，星期四均方誤差為2.利用均方誤差最小準則求最佳權(quán)系數(shù)和最小均方誤差令為與的互相關(guān)矩陣，是一個N維矩陣。第十六頁，共一百零四頁，編輯于2023年，星期四的主對角線是輸入信號的均方值，交叉項是輸入信號的自相關(guān)值。是輸入信號的自相關(guān)矩陣，特點（1）是對稱矩陣，。（2）是正定或半正定的。對于任意矢量V滿足將，代入式，得稱為性能函數(shù)。第十七頁，共一百零四頁，編輯于2023年，星期四上式表明，當(dāng)輸入信號和期望信號是平穩(wěn)隨機信號時，是權(quán)系數(shù)W的二次函數(shù)，即將上式展開時，公式中的權(quán)系數(shù)均以一次冪或二次冪出現(xiàn)。如果只有一個權(quán)系數(shù),則是的口向上的拋物線，如果有兩個權(quán)系數(shù)，，則是，的口向上的拋物面，對于兩個以上權(quán)函數(shù)的情況，則屬于超拋物面，“碗形”曲面。自適應(yīng)過程正是調(diào)節(jié)W去尋找“碗”的底點，也就是值最小。第十八頁，共一百零四頁，編輯于2023年，星期四用性能函數(shù)對求導(dǎo)，得為選擇權(quán)系數(shù)，使性能函數(shù)達到它的最小點，可以用梯度下降法來找這一點。的梯度用表示為要使性能函數(shù)最小，應(yīng)使，得最佳權(quán)矢量維納權(quán)矢量第十九頁，共一百零四頁，編輯于2023年，星期四當(dāng)自適應(yīng)濾波器的權(quán)系數(shù)滿足上式時，均方誤差將取最小值，或?qū)ι鲜饺∞D(zhuǎn)置，得第二十頁，共一百零四頁，編輯于2023年，星期四自適應(yīng)濾波器與維納濾波器比較，加了一個識別控制環(huán)節(jié)，將輸出與期望信號比較，若有誤差，則用此誤差去控制，調(diào)節(jié)，使為的權(quán)系數(shù)。在維納濾波器中，取最佳值時，誤差信號與輸入信號正交。這里也有同樣結(jié)果，此式表明，權(quán)系數(shù)取最佳值時，誤差信號和輸入信號正交。即仍然服從正交原理。第二十一頁，共一百零四頁，編輯于2023年，星期四將代入表達式，得是的二次函數(shù)，當(dāng)取最佳值時，，可以用最小均方誤差表示性能函數(shù)。3.2.2性能函數(shù)表示式及其幾何意義性能函數(shù)表示為推導(dǎo)：將代入上式，得第二十二頁，共一百零四頁，編輯于2023年，星期四為便于分析，引入中間變量稱為偏差權(quán)向量。表示權(quán)向量對最佳權(quán)向量的偏差。則性能函數(shù)可以更簡單地表示為第二十三頁，共一百零四頁，編輯于2023年，星期四是維，它的N個特征值為：，將進行分解，得因為是對稱的正定或半正定的，利用它的特征值和特征向量可進一步簡化為正交矩陣或特征矩陣。則第二十四頁，共一百零四頁，編輯于2023年，星期四稱為特征向量，滿足性能函數(shù)為第二十五頁，共一百零四頁，編輯于2023年，星期四引入另一中間變量則性能函數(shù)變成了平方和的形式。下面用二維權(quán)矢量的情況說明它的幾何意義。第二十六頁，共一百零四頁，編輯于2023年，星期四式中，。這是一個口向上的拋物面，如圖。下面用二維權(quán)矢量的情況說明它的幾何意義。第二十七頁，共一百零四頁，編輯于2023年，星期四圖等均方誤差的橢圓曲線族圖二維權(quán)矢量性能表面V坐標相當(dāng)于將坐標原點移到W坐標的最佳點，如果用性能函數(shù)等于常數(shù)的不同平面（平行于W坐標平面）去切割拋物面，投影在W坐標平面上，便得一族同心橢圓。第二十八頁，共一百零四頁，編輯于2023年，星期四按照式，有或當(dāng)時，對應(yīng)橢圓的中心，，則相當(dāng)于W坐標平移到V坐標的原點，即V坐標的原點對應(yīng)W坐標的最佳點。這里，不是橢圓的主軸。但經(jīng)過對的分解：且將性能函數(shù)的橢圓族變成第二十九頁，共一百零四頁，編輯于2023年，星期四此式是一個橢圓方程，和是橢圓族的主軸，如果，則是長軸，是短軸。因此起坐標旋轉(zhuǎn)的作用，將旋轉(zhuǎn)到主軸上，形成主軸。對于維數(shù)的情況，長軸對應(yīng)最小特征值，按照上面的橢圓方程長軸正比于：短軸對應(yīng)于最大特征值，正比于。即或者第三十頁，共一百零四頁，編輯于2023年，星期四3.2.3最陡下降法自適應(yīng)過程的最終目的是要尋找最佳權(quán)系數(shù)。最陡下降法用迭代算法求解最佳權(quán)系數(shù)。它已經(jīng)工程實現(xiàn)，有應(yīng)用價值。最陡下降法是由Widrow(威德諾)和Hoff二人于1959年提出的。這種方法不需求相關(guān)矩陣，不用求逆矩陣。權(quán)系數(shù)的改變用下式表示：是調(diào)整步長的常數(shù)，它控制著系統(tǒng)的穩(wěn)定性和自適應(yīng)的收斂速度。此式表示下一個權(quán)矢量等于現(xiàn)在的權(quán)矢量加一個正比于負梯度的變化量，因為梯度的方向是性能函數(shù)增加最快的方向，負梯度的方向就是性能函數(shù)減小最快的方向，因此稱為最陡下降法。第三十一頁，共一百零四頁，編輯于2023年，星期四兩邊減去，令，得1.最陡下降法的遞推公式將代入上式，得這是一個遞推公式，由于（）項不是對角矩陣，計算與分析均復(fù)雜。下面化簡第三十二頁，共一百零四頁，編輯于2023年，星期四此時，（）項是對角矩陣，假設(shè)起始值是，可得上式的遞推解為。再將和代入，得權(quán)系數(shù)的遞推公式第三十三頁，共一百零四頁，編輯于2023年，星期四2.收斂條件最收斂條件即為當(dāng)?shù)螖?shù)時，權(quán)系數(shù)收斂到最佳時的條件。顯然只有當(dāng)滿足時，才能得到第三十四頁，共一百零四頁，編輯于2023年，星期四其中隨迭代次數(shù)j作指數(shù)衰減。令3.過渡過程過渡過程是指權(quán)矢量和性能函數(shù)由起始點隨迭代次數(shù)的增加，進行變化的過程。權(quán)矢量的過渡過程：權(quán)矢量的遞推解是：第i個權(quán)系數(shù)遞推方程是：第三十五頁，共一百零四頁，編輯于2023年，星期四代入，得說明第i個分量按指數(shù)規(guī)律變化，時間常數(shù)為時間常數(shù)越大，衰減越慢。一般取得比較小，可近似為第三十六頁，共一百零四頁，編輯于2023年，星期四因為所以再將代入，得說明第i個加權(quán)系數(shù)按照N個指數(shù)和的規(guī)律變化，由初始值收斂到最佳值，其時間常數(shù)與特征值成反比。第三十七頁，共一百零四頁，編輯于2023年，星期四性能函數(shù)的過渡過程：再將代入，得說明性能函數(shù)也是按照N個指數(shù)和的規(guī)律變化，和權(quán)系數(shù)過渡過程不同的是時間常數(shù)不同。第三十八頁，共一百零四頁，編輯于2023年，星期四性能函數(shù)和各加權(quán)系數(shù)都是按照N個具有不同時間常數(shù)的指數(shù)和的規(guī)律變化的，時間常數(shù)和特征值成反比，不同的特征值對應(yīng)的收斂時間不同，但最終的收斂要取決于最慢的指數(shù)過程，它的時間常數(shù)最大，對應(yīng)最小特征值。為了保證收斂，不能取太大值，受限于，取，，得最大時間常數(shù)為可見，當(dāng)輸入信號的自相關(guān)矩陣的特征值很分散時，和相差很大，和很大，算法收斂速度很慢，收斂性能很差。反之，當(dāng)特征值比較緊湊時，收斂速度很快。第三十九頁，共一百零四頁，編輯于2023年，星期四值的影響：值對收斂性影響很大，首先必須選擇得足夠小，滿足，影響收斂速度。一般希望在保證收斂的條件下，選大一些，使時間常數(shù)小一些，收斂的速度快一些。但當(dāng)選擇得太大時，即使收斂條件滿足，也可能形成振動性的過渡特性。圖值的影響(a)較小時的情況(b)較大時的情況第四十頁，共一百零四頁，編輯于2023年，星期四3.2.4最小均方(LMS)算法最陡下降法需要求出其梯度的精確值，要求輸入信號和期望信號平穩(wěn)，且要首先估計和，這給具體實現(xiàn)帶來很大困難，因此該算法還不是真正意義的自適應(yīng)濾波算法，但討論最陡下降法是有意義，由最陡下降法可以很直觀地導(dǎo)出一類自適應(yīng)濾波算法---LMS算法。另外，最陡下降法中關(guān)于算法收斂的簡潔和完整的結(jié)果，對討論更復(fù)雜的算法的收斂性有參考意義。LMS(Leastmeansquare)算法是Widrow等人提出的，是用梯度的估計值代替梯度的精確值，算法簡便易行，獲得了廣泛的應(yīng)用。但存在收斂速度慢，有額外誤差等缺點。第四十一頁，共一百零四頁，編輯于2023年，星期四梯度估計值用一條樣本曲線進行計算。因為用代替1.LMS算法的權(quán)值計算第四十二頁，共一百零四頁，編輯于2023年，星期四FIR濾波器中第個權(quán)系數(shù)的計算公式為FIR濾波器中第個權(quán)系數(shù)的控制電路如圖，圖FIR第個去路的控制電路第四十三頁，共一百零四頁，編輯于2023年，星期四LMS自適應(yīng)濾波器的總框圖如下，圖LMS自適應(yīng)濾波器總計算框圖第四十四頁，共一百零四頁，編輯于2023年，星期四算法的性能分析：主要分析加權(quán)矢量和性能函數(shù)的平均變化規(guī)律以及它們的隨機性造成的影響。說明梯度估計值是無偏估計的，梯度的估計量在理想梯度附近隨機變化。2.LMS算法加權(quán)矢量的過度過程將誤差公式代入得假設(shè)與不相關(guān)第四十五頁，共一百零四頁，編輯于2023年，星期四對取統(tǒng)計平均類似于最陡下降法的推導(dǎo)，經(jīng)坐標平移和旋轉(zhuǎn)，變換到V’坐標中。推導(dǎo)如下，令則第四十六頁，共一百零四頁，編輯于2023年，星期四上邊兩式代入表達式(*)式中，得得它的遞推解是令代入和得第四十七頁，共一百零四頁，編輯于2023年，星期四說明LMS算法加權(quán)矢量的統(tǒng)計平均值的過渡過程和最陡下降法加權(quán)矢量的過渡過程是一樣的。換句話說，LMS算法加權(quán)矢量是在最陡下降法加權(quán)矢量附近隨機變化的，其統(tǒng)計平均值等于最陡下降法加權(quán)矢量，那么，其收斂條件同樣為由于不可能大于R的跡(R的主對角線元素之和)即在滿足收斂條件下，才有第四十八頁，共一百零四頁，編輯于2023年，星期四因此收斂條件可以表示為同樣由式，第個分量為實際中，通常選得很小，選對于橫向濾波器，式中的跡是，即N倍的輸入功率。那么，第四十九頁，共一百零四頁，編輯于2023年，星期四同樣第個權(quán)系數(shù)可以表示成同樣引入時間常數(shù)，第五十頁，共一百零四頁，編輯于2023年，星期四式中，稱為最佳誤差信號，它對應(yīng)于最小均方誤差，即3.LMS算法性能函數(shù)的過渡過程─學(xué)習(xí)過程由于LMS算法加權(quán)矢量的平均值的變化規(guī)律與最陡下降法的加權(quán)矢量一樣，可以推想它的均方誤差也會按照最陡下降的均方誤差變化規(guī)律變化。誤差信號為第五十一頁，共一百零四頁，編輯于2023年，星期四同樣，假設(shè)加權(quán)系數(shù)變化很小，也變化很小，，這樣假定與不相關(guān)，上式最后一項為0，那么均方誤差表示式第五十二頁，共一百零四頁，編輯于2023年，星期四權(quán)矢量的平均值可以收斂到它的最佳值，但權(quán)矢量變化過程是隨機的，按隨機變化，這使權(quán)矢量在最佳值附近隨機變化，但均方誤差將大于最小均方誤差。如圖類似前面的推導(dǎo)，得可見，LMS均方誤差變化規(guī)律和最陡下降法完全一樣，學(xué)習(xí)曲線同樣近似為幾個不同時間常數(shù)的指數(shù)和。4.穩(wěn)態(tài)誤差和失調(diào)系數(shù)第五十三頁，共一百零四頁，編輯于2023年，星期四引入失調(diào)系數(shù)，定義為可以推出，失調(diào)系數(shù)為為濾波器的階數(shù)，是輸入信號功率。失調(diào)系數(shù)刻畫了LMS算法最終的收斂性能，失調(diào)系數(shù)越小，LMS算法越收斂于接近最佳濾波器的性能；反之，失調(diào)系數(shù)越大，LMS算法最終的收斂結(jié)果與最優(yōu)濾波器的性能差距越大?；蛘叩谖迨捻摚惨话倭闼捻?，編輯于2023年，星期四

步長越小，失調(diào)系數(shù)越小，但收斂時間會越長，實際中，根據(jù)對失調(diào)系數(shù)的要求，適當(dāng)選擇步長。滿足收斂條件下，再選擇滿足預(yù)定失調(diào)系數(shù)要求的盡量大的步長。下圖是一個自適應(yīng)濾波器的計算機結(jié)果。階數(shù)N=5，輸入是信號加白噪聲，輸入信號功率為1，中心頻率是，噪聲功率為0.5，輸入信號自相關(guān)函數(shù)的特征值為：5.14,0.853，0.502,0.500,0.500,權(quán)系數(shù)初始值取0，。圖中畫出了一條樣本學(xué)習(xí)曲線和150條樣本學(xué)習(xí)曲線的平均曲線。第五十五頁，共一百零四頁，編輯于2023年，星期四個別學(xué)習(xí)曲線起伏較大，平均學(xué)習(xí)曲線起伏很小，計算出的維納最小均方誤差為0.74396，用LMS算法得到的穩(wěn)態(tài)誤差大于該值，計算的失調(diào)系數(shù)是4.87%，按計算機模擬結(jié)果測得的失調(diào)系數(shù)是5.40%。第五十六頁，共一百零四頁，編輯于2023年，星期四LMS算法簡單易行，應(yīng)用廣泛。但為保證算法收斂并減少失調(diào)系數(shù)，通常把收斂因子取得比較小，這樣使它存在收斂慢的缺點。另外，在具體實現(xiàn)權(quán)系數(shù)調(diào)整時，運算精度非常重要，要求所用的乘法器和加法器有很高的精度，這樣增加了成本，降低了運算速度，針對這些問題，國內(nèi)外提出了一些改進算法。如LMS2算法、LMSQ算法、MLMS(修正的LMS)算法、TDO和LMF算法等。第五十七頁，共一百零四頁，編輯于2023年，星期四和LMS相比，LS濾波對非平穩(wěn)信號的適應(yīng)性強，因為LS濾波總是采用新的準則，在每一個時刻對所有已輸入信號而言，重新評估使其誤差的平方和最小，具有更精確的含義，屬于精確分析法。LMS以集合平均為基礎(chǔ)，屬于統(tǒng)計分析的方法。為分析簡單，假設(shè)所研究的信號都是實信號。通過選擇，使取得最小值的濾波稱為最小二乘濾波(LS)。式中，是時刻的誤差信號，是誤差信號的平方和。3.3最小二乘自適應(yīng)濾波以誤差平方和最小作為最佳準則的誤差準則─最小二乘(LeastSquare)準則。定義第五十八頁，共一百零四頁，編輯于2023年，星期四3.3.1最小二乘濾波最小二乘濾波大約是1795年高斯在星體運動軌道預(yù)測研究中提出的。它的基本結(jié)果有兩種形式，一種是經(jīng)典的一次完成算法，它在理論研究中更為方便。另一種是現(xiàn)代的遞推算法，適合于計算機運算。1.最小二乘的基本問題符號約定，用表示一個具體的數(shù)值，用表示一個維的列向量，用表示一個維矩陣，第五十九頁，共一百零四頁，編輯于2023年，星期四已知n個數(shù)據(jù)，采用M個權(quán)的FIR濾波器對數(shù)據(jù)進行濾波，假設(shè)期望信號為，如圖圖M個權(quán)的FIR濾波器第六十頁，共一百零四頁，編輯于2023年，星期四其中，為FIR濾波器在時刻的個系數(shù)值。濾波器的輸出是對期望信號的估計M維向量n時刻，估計誤差M維向量輸入信號誤差信號的平方加權(quán)和為第六十一頁，共一百零四頁，編輯于2023年，星期四稱為遺忘因子，主要用于增加新數(shù)據(jù)的權(quán)重，給“較新的時刻”更大比例，“較久遠的時刻”更小比例。另外，增強對非平穩(wěn)信號的適應(yīng)性。一般取0.95~0.995之間。是誤差信號平方的加權(quán)和，也稱為誤差信號的能量。這里采用前加窗，約定當(dāng)i的取值范圍不同時，得到不同的。得到為敘述方便，引入一些符號第六十二頁，共一百零四頁，編輯于2023年，星期四當(dāng)時，引入n維誤差向量和期望信號向量，及輸入信號構(gòu)成的維矩陣，維矩陣，令M維向量和分別表示n時刻濾波器的權(quán)向量和輸入信號向量第六十三頁，共一百零四頁，編輯于2023年，星期四加權(quán)矩陣，對角線上元素稱為加權(quán)因子。為推導(dǎo)簡單，取。期望信號的估計和估計誤差可以表示為誤差信號能量式中第六十四頁，共一百零四頁，編輯于2023年，星期四使上式成立的就是的最小二乘估計，記為。應(yīng)用標量求導(dǎo)公式，得要使取得最小值，應(yīng)滿足則代入，得*將*式展開，得第六十五頁，共一百零四頁，編輯于2023年，星期四若矩陣的秩等于M，記作，則非奇異，求解上式，可以得到的最小二乘估計引入M維向量及維矩陣則式可寫為此方程類似于維納-霍夫方程，不同之處在于這里是求和，維納霍夫方程是數(shù)學(xué)期望。第六十六頁，共一百零四頁，編輯于2023年，星期四在式兩邊同左乘以，得若，則不能唯一辨識。應(yīng)用得此式與等價，表明最小二乘濾波器的誤差向量與最小二乘估計向量正交，與任一進入估計的輸入信號正交。這就是最小二乘正交原理。第六十七頁，共一百零四頁，編輯于2023年，星期四正交原理的幾何解釋：與維納濾波器的和兩式比較，可見維納濾波器中的數(shù)學(xué)期望用求和符號替代，說明最小均方誤差準則下的正交性原理是針對集合平均而言的，最小二乘準則下的正交性原理是針對瞬時時間而言的。當(dāng)取得最小值時，稱是的最小二乘估計。第六十八頁，共一百零四頁，編輯于2023年，星期四當(dāng)存在時，最小二乘估計值為最小二乘估計的誤差信號能量為最小二乘估計的誤差信號能量為第六十九頁，共一百零四頁，編輯于2023年，星期四是觀測信號，為噪聲信號，可看作一數(shù)據(jù)矩陣，表征輸入與輸出之間的關(guān)系，是可調(diào)整量。對比，類似于信號真值，類似于信號的估計值，且矩陣與矩陣相對應(yīng)，在數(shù)據(jù)矩陣已經(jīng)確定的情況下，對的最小二乘估計為綜合前面的分析，可以把最小二乘問題用下列模型描述令誤差信號能量為，并取加權(quán)矩陣，則第七十頁，共一百零四頁，編輯于2023年，星期四 假設(shè)誤差向量n(k)獨立同分布的，具有零均值，方差為,那么最小二乘估計是無偏估計;若噪聲是高斯噪聲,則最小二乘估計是一致估計。2.最小二乘估計的質(zhì)量(1)無偏性(2)一致性表示以概率為1的收斂。第七十一頁，共一百零四頁，編輯于2023年，星期四 當(dāng)具有零均值時，最小二乘估計的協(xié)方差為 已知噪聲為高斯噪聲，則，得最小二乘估計的協(xié)方差為證明：首先求解最小二乘估計的協(xié)方差。最小二乘估計的誤差第七十二頁，共一百零四頁，編輯于2023年，星期四式中，將以概率1收斂于一個正定陣，且是有界的，因此最小二乘估計的無偏性已經(jīng)保證了偏移量為0，因此一致性得證。經(jīng)典的一次完成的最小二乘運算法在具體使用時，占用內(nèi)存大，不能實時實現(xiàn)。經(jīng)常采用的是遞推最小二乘算法。第七十三頁，共一百零四頁，編輯于2023年，星期四根據(jù)最小二乘估計式，用表示第i步迭代時A的取值，表示前k步A的數(shù)值構(gòu)成的向量。新的估計值=老的估計值+修正項基本思想:新的估計值是在老的估計值的基礎(chǔ)上修正而成的。為分析簡便，設(shè)為一向量，且僅與當(dāng)前觀測值有關(guān)，則定義一個變量P3.3.2遞推最小二乘法(RLS)(RecursiveLeastSquare)其中第七十四頁，共一百零四頁，編輯于2023年，星期四令觀測信號向量為那么Z(j)表示j時刻觀測信號的大小。上式兩邊同時左乘,得把式代入時刻的估計值第七十五頁，共一百零四頁，編輯于2023年，星期四其中z(k)是觀測數(shù)據(jù)，a(k)是輸入、輸出關(guān)系矩陣的元素，可以看作是估計值或一步預(yù)測值，待估計向量的修正項則就是估計的誤差，修正項由估計誤差，輸入輸出矩陣和加權(quán)矩陣所組成。第七十六頁，共一百零四頁，編輯于2023年，星期四得這里A,C為一個具體數(shù)值，代入為進一步得到加權(quán)矩陣的表達式，定義q(k)則根據(jù)矩陣反演公式第七十七頁，共一百零四頁，編輯于2023年，星期四故得到最小二乘遞推算法的一種形式也可用q(k)表示遞推公式另一種遞推形式第七十八頁，共一百零四頁，編輯于2023年，星期四當(dāng)為矩陣時，結(jié)論同樣成立?？梢钥闯觯捎眠f推算法可以減少計算量和儲存量，且能實時實現(xiàn)。與經(jīng)典最小二乘算法相比，提高計算速度。格型最小二乘算法LSL(LeastSquareofLattice)快速橫向最小二乘算法FTF(FastTransversalFiltering)總結(jié)RLS算法的主要性質(zhì)：(1)RLS是收斂的，且不存在額外誤差項；(2)在高信噪比情況下，RLS收斂的速度明顯快于LMS算法。在小信噪比情況下，RLS收斂的速度可能與LMS算法等價，但仍收斂到明顯小于LMS的最終誤差；(3)RLS算法的運算量明顯大于LMS算法。第七十九頁，共一百零四頁，編輯于2023年，星期四3.4自適應(yīng)濾波的應(yīng)用自適應(yīng)濾波在對消、陷波、逆濾波、預(yù)測、信號分離等方面有廣泛應(yīng)用。3.4.1自適應(yīng)對消自適應(yīng)濾波的許多應(yīng)用是將它用作自適應(yīng)對消系統(tǒng)。自適應(yīng)對消系統(tǒng)有兩個輸入，一個是原始輸入，另外一個是參考輸入。參考輸入端的信號必須與原始輸入中需要抵消的噪聲信號相關(guān)，對消系統(tǒng)的輸出幾乎對有用信號不產(chǎn)生畸變。最小均方誤差的方法、最小二乘方法都可用于自適應(yīng)對消。下面采用均方誤差最小作為誤差的最佳準則，并且信號為實信號。第八十頁，共一百零四頁，編輯于2023年，星期四圖自適應(yīng)對消系統(tǒng)1.對消原理原始輸入，，是要抵消的噪聲，與不相關(guān)。參考輸入，，是與相關(guān)，與不相關(guān)的噪聲信號。系統(tǒng)輸出，。自適應(yīng)濾波器的傳輸函數(shù)受系統(tǒng)輸出自動調(diào)整。第八十一頁，共一百零四頁，編輯于2023年，星期四故要使最小，就要使最小由于與不相關(guān)，因此與也不相關(guān)，則假定是零均值的平穩(wěn)隨機過程。輸出信號的均方值而由式知，第八十二頁，共一百零四頁，編輯于2023年，星期四但要實現(xiàn)噪聲對消的必要條件是：與相關(guān)。即原始輸入中，只有與參考輸入相關(guān)的信號才能被抵消。

此時，噪聲被完全對消，自適應(yīng)濾波器從噪聲中提取信號。當(dāng)被最小化，也被最小化，即以最小均方誤差趨于，可能的最好情況為2.性能分析單信道噪聲對消器的性能，可以用輸出端信噪比與原始輸入端的信噪比來評價，該比值稱為系統(tǒng)的增益G。第八十三頁，共一百零四頁，編輯于2023年，星期四系統(tǒng)輸出為，假定與均不相關(guān)，所有信號為實信號。圖自適應(yīng)對消系統(tǒng)的性能分析原始輸入端，輸入信號，參考輸入端，輸入信號，第八十四頁，共一百零四頁，編輯于2023年，星期四其中，。當(dāng)自適應(yīng)過程收斂時，其穩(wěn)態(tài)解為維納解，因此自適應(yīng)濾波器的傳輸函數(shù)為若與不相關(guān)，則應(yīng)用相關(guān)卷積定理，計算互相關(guān)函數(shù)和互譜密度第八十五頁，共一百零四頁，編輯于2023年，星期四,可抵消輸入信號中的噪聲。對于原始信號中所含與參考輸入不相關(guān)的干擾，不能自適應(yīng)地抵消。只有當(dāng)為0，且與不相關(guān)時，。此時，自適應(yīng)對消器的傳輸函數(shù)設(shè)噪聲抵消前，原始輸入端的噪聲功率譜為噪聲抵消后，輸出端噪聲功率譜為第八十六頁，共一百零四頁，編輯于2023年，星期四令假定與不相關(guān)，則第八十七頁，共一百零四頁，編輯于2023年，星期四系統(tǒng)抵消噪聲的能力受原始輸入與參考輸入端的噪聲相關(guān)性以及參考輸入端內(nèi)部的噪聲相關(guān)性的限制，與愈小，系統(tǒng)增益G越大，抵消作用越強。第八十八頁，共一百零四頁，編輯于2023年，星期四原始輸入當(dāng)有信號分量泄漏到參考輸入中時，系統(tǒng)如圖。圖參考輸入中有信號分量的自適應(yīng)噪聲抵消器參考輸入第八十九頁，共一百零四頁，編輯于2023年，星期四原始輸入端的信噪比參考輸入端的信噪比系統(tǒng)輸出端的信噪比參考輸入端的總功率為第九十頁，共一百零四頁，編輯于2023年，星期四(2)當(dāng)時，說明有信號混入?yún)⒖纪ǖ溃?，輸出噪聲不能完全抵消?1)當(dāng)時，說明信號不混入?yún)⒖纪ǖ?，，輸出端完全抵消了噪聲，系統(tǒng)處于噪聲抵消的最佳狀態(tài)，參考輸入端與原始輸入端的互功率為這樣，自適應(yīng)對消器的穩(wěn)態(tài)解為

,,G很大。第九十一頁，共一百零四頁，編輯于2023年，星期四(3)，參考輸入端存在信號時，自適應(yīng)抵消器輸出端的信號分量將比原始輸入端的信號分量有所損失，損失的大小用參量表示，定義為系統(tǒng)輸出端的信噪比等于參考輸入端的信噪比的倒數(shù)。只要參考輸入端的信噪比足夠小，輸出就可以得到好的信噪比，此時，信號有失真。將代入表達式，得第九十二頁，共一百零四頁，編輯于2023年，星期四要小，就要求大，只要比小得多，信號損失相應(yīng)地很小。因為自適應(yīng)抵消器輸出端的分量是原始輸入端的分量與的分量之差，所以，越小，表示自適應(yīng)抵消器輸出信號損失越小。進一步推導(dǎo)可得，小。第九十三頁，共一百零四頁，編輯于2023年，星期四(4)自適應(yīng)抵消器輸出端噪聲功率譜為將表達式代入上式，并考慮到是小的，得上式說明，要輸出端的噪聲功率譜小，就要求原始輸入端的噪聲功率譜小，同時要求參考輸入端和原始輸入端的信噪比都小。以上分析說明，參考輸入端存在少量信號分量并不會使自適應(yīng)對消器失效，但信號會有所損失。第九十四頁，共一百零四頁，編輯于2023年，星期四3.自適應(yīng)對消器應(yīng)用(1)消除心電圖中的電源干擾原始輸入信號：有電源干擾的心電圖信號參考信號：電源信號系統(tǒng)輸出：消除了電源干擾的心電圖信號在心電圖記錄中，市電干擾是常見的問題，引起市電干擾的原因多種多樣，如電磁感應(yīng)、導(dǎo)線或人體的位