自適應(yīng)信號處理

2023/2/1大連理工大學(xué)12023/2/1大連理工大學(xué)1第14章自適應(yīng)信號處理大連理工大學(xué)碩士研究生校管課程信號處理與數(shù)據(jù)分析電子信息與電氣工程學(xué)部邱天爽2013年12月2023/2/1大連理工大學(xué)2

內(nèi)容概要§14.1自適應(yīng)濾波的基本概念§14.2橫向自適應(yīng)濾波器與最小均方算法§14.3自適應(yīng)濾波器的遞歸最小二乘算法§14.4自適應(yīng)濾波器的應(yīng)用2023/2/1大連理工大學(xué)3§14.1

自適應(yīng)濾波的基本概念2023/2/1大連理工大學(xué)441.自適應(yīng)濾波的基本概念自適應(yīng)濾波器是一種能夠根據(jù)輸入信號自動調(diào)整自身特性并能進(jìn)行數(shù)字信號處理的數(shù)字濾波器，本質(zhì)特點是具有自學(xué)習(xí)和自調(diào)整即所謂自適應(yīng)的能力。2023/2/1大連理工大學(xué)52023/2/1大連理工大學(xué)5自適應(yīng)濾波器的原理圖圖中，x(n)、y(n)和d(n)表示時刻n的輸入信號、輸出信號和參考信號；e(n)表示時刻n的期望信號。自適應(yīng)濾波器的參數(shù)受誤差信號控制，并根據(jù)e(n)的值自動調(diào)整,使之適合下一時刻n+1的輸入x(n+1),使輸出信號y(n+1)更加接近期望信號d(n+1)，并使誤差信號e(n+1)進(jìn)一步減小。2023/2/1大連理工大學(xué)62023/2/1大連理工大學(xué)6自適應(yīng)濾波器的發(fā)展20世紀(jì)40年代初期，N.維納首先應(yīng)用最小均方準(zhǔn)則設(shè)計最佳線性濾波器，用來消除噪聲、預(yù)測或平滑平穩(wěn)隨機(jī)信號。60年代初期，R.E.卡爾曼等發(fā)展并導(dǎo)出處理非平穩(wěn)隨機(jī)信號的最佳時變線性濾波設(shè)計理論。維納、卡爾曼等濾波器都是以預(yù)知信號和噪聲的統(tǒng)計特征為基礎(chǔ)，具有固定的濾波器系數(shù)。因此，僅當(dāng)實際輸入信號的統(tǒng)計特征與設(shè)計濾波器所依據(jù)的先驗信息一致時，這類濾波器才是最佳的。否則，這類濾波器不能提供最佳性能。2023/2/1大連理工大學(xué)72023/2/1大連理工大學(xué)770年代中期，B.維德羅等人提出自適應(yīng)濾波器及其算法，發(fā)展了最佳濾波設(shè)計理論。以最小均方誤差為準(zhǔn)則設(shè)計的自適應(yīng)濾波器的系數(shù)可以由維納-霍夫方程解得。

B.維德羅提出的一種方法，能實時求解自適應(yīng)濾波器系數(shù)，其結(jié)果接近維納－霍夫方程近似解。這種算法稱為最小均方算法或簡稱LMS法。這一算法利用最陡下降法，由均方誤差的梯度估計從現(xiàn)時刻濾波器系數(shù)向量迭代計算下一個時刻的系數(shù)向量。2023/2/1大連理工大學(xué)82023/2/1大連理工大學(xué)8Bernard.Widrow（維德羅）ProfessorEmeritus,ElectricalEngineeringDepartment,StanfordUniversityResearchfocuseson:adaptivesignalprocessing,adaptivecontrolsystems,adaptiveneuralnetworks,humanmemory,andhuman-likememoryforcomputers.Applicationsinclude:signalprocessing,prediction,noisecancelling,adaptivearrays,controlsystems,andpatternrecognition.

2023/2/1大連理工大學(xué)9§14.2

橫向自適應(yīng)濾波器與最小均方算法2023/2/1大連理工大學(xué)102023/2/1大連理工大學(xué)101.橫向自適應(yīng)濾波器的結(jié)構(gòu)橫向自適應(yīng)濾波器（單輸入結(jié)構(gòu)）2023/2/1大連理工大學(xué)112023/2/1大連理工大學(xué)11橫向自適應(yīng)濾波器（多輸入結(jié)構(gòu)）2023/2/1大連理工大學(xué)122023/2/1大連理工大學(xué)12自適應(yīng)濾波器的數(shù)學(xué)描述2023/2/1大連理工大學(xué)132023/2/1大連理工大學(xué)132023/2/1大連理工大學(xué)142023/2/1大連理工大學(xué)142023/2/1大連理工大學(xué)152023/2/1大連理工大學(xué)152.自適應(yīng)濾波器的性能函數(shù)稱均方誤差函數(shù)為自適應(yīng)濾波器的性能函數(shù)：當(dāng)與為平穩(wěn)隨機(jī)過程時，性能函數(shù)為的二次函數(shù)，超拋物面，碗口向上，有唯一最小值。該最小值所對應(yīng)的最佳權(quán)矢量對應(yīng)于維納濾波器的權(quán)矢量。2023/2/1大連理工大學(xué)162023/2/1大連理工大學(xué)16二次型性能表面的搜索目標(biāo)：找出性能函數(shù)的最小值，并由此得到這個最小值所對應(yīng)的最佳權(quán)矢量。方法：在數(shù)學(xué)上是利用導(dǎo)數(shù)求取曲線和曲面的極值問題。梯度：對于性能函數(shù)來說，需要求其梯度，再根據(jù)二次型的性質(zhì)，當(dāng)梯度值為0時，即對應(yīng)著性能函數(shù)的最小值。

2023/2/1大連理工大學(xué)172023/2/1大連理工大學(xué)17

最佳權(quán)矢量與最小均方誤差對性能函數(shù)求梯度，有令上式為0，可得：上式稱為維納—霍夫方程，與維納濾波器有相同的形式和意義。故自適應(yīng)濾波器的最佳權(quán)矢量由稱為維納權(quán)矢量。最佳權(quán)矢量需要迭代實現(xiàn)，或稱為梯度搜索。2023/2/1大連理工大學(xué)182023/2/1大連理工大學(xué)18最小均方誤差將最佳權(quán)矢量的表達(dá)式代入性能函數(shù)表達(dá)式，有進(jìn)一步簡化，有：2023/2/1大連理工大學(xué)192023/2/1大連理工大學(xué)193.梯度搜索常用的方法：牛頓法2023/2/1大連理工大學(xué)202023/2/1大連理工大學(xué)202023/2/1大連理工大學(xué)212023/2/1大連理工大學(xué)212023/2/1大連理工大學(xué)222023/2/1大連理工大學(xué)224.梯度搜索常用的方法：最速下降法最速下降法是一種古老而又非常有用的方法，它通過迭代尋找極值。從幾何上來說，它使系統(tǒng)的均方誤差沿其梯度反方向下降，最終達(dá)到，并使權(quán)矢量為。2023/2/1大連理工大學(xué)232023/2/1大連理工大學(xué)23最速下降法的推導(dǎo)梯度矢量表示為：這樣，最速下降法表示為：其中，為正值，稱為收斂因子或迭代步長。將性能函數(shù)在處進(jìn)行一階泰勒展開，有：表明，上式滿足，隨著迭代的進(jìn)行，當(dāng)時，性能函數(shù)趨于。2023/2/1大連理工大學(xué)242023/2/1大連理工大學(xué)24最速下降法的迭代公式最速下降法的穩(wěn)定因素：收斂因子的選??；自相關(guān)矩陣的特性。收斂因子的選取條件：其中，為自相關(guān)矩陣的最大特征值。2023/2/1大連理工大學(xué)252023/2/1大連理工大學(xué)25最速下降法的優(yōu)缺點優(yōu)點：算法簡單，易于實現(xiàn)；缺點：需要大量的迭代。2023/2/1大連理工大學(xué)262023/2/1大連理工大學(xué)265.自適應(yīng)濾波器的最小均方（LMS）算法LMS算法的思路在最速下降法中，如果能夠每一步迭代都得到準(zhǔn)確的梯度值，且適當(dāng)選擇了收斂因子，則算法肯定收斂于維納解。但是在實際應(yīng)用中，梯度需要估計，權(quán)矢量要根據(jù)數(shù)據(jù)不斷更新。LMS算法是一種以期望響應(yīng)與濾波器輸出信號之間誤差均方值最小為準(zhǔn)則的自適應(yīng)濾波器。是一種梯度最速下降法，其特點是簡單，不需要計算相關(guān)矩陣。2023/2/1大連理工大學(xué)272023/2/1大連理工大學(xué)27LMS算法原理兩個過程：濾波過程：自適應(yīng)濾波器計算其對輸入的響應(yīng)，并與期望比較，得到誤差信號。自適應(yīng)過程：系統(tǒng)估計誤差自動調(diào)整濾波器的參數(shù)。二者構(gòu)成一個反饋環(huán)。2023/2/1大連理工大學(xué)282023/2/1大連理工大學(xué)28LMS算法的推導(dǎo)橫向濾波器結(jié)構(gòu)自適應(yīng)濾波器的誤差信號為：其中：2023/2/1大連理工大學(xué)292023/2/1大連理工大學(xué)29LMS算法的梯度估計LMS算法的梯度估計是以誤差信號的每一次迭代的瞬時平方值替代其均方值，即：經(jīng)整理，有：用梯度估值代替梯度真值，有LMS算法迭代公式2023/2/1大連理工大學(xué)302023/2/1大連理工大學(xué)30LMS算法的流程圖2023/2/1大連理工大學(xué)312023/2/1大連理工大學(xué)316.LMS算法的性能分析評價LMS算法的收斂性梯度估計是無偏的收斂特性：只要滿足收斂條件，則LMS算法能夠穩(wěn)定收斂。收斂條件的變形：2023/2/1大連理工大學(xué)322023/2/1大連理工大學(xué)32最佳權(quán)矢量自適應(yīng)學(xué)習(xí)曲線2023/2/1大連理工大學(xué)332023/2/1大連理工大學(xué)33穩(wěn)態(tài)誤差由于LMS算法的調(diào)整項為一隨機(jī)過程，故當(dāng)時，在附近隨機(jī)波動，這樣：失調(diào)系數(shù)用于測量LMS算法在均方意義上對最優(yōu)解的逼近程度，定義為：2023/2/1大連理工大學(xué)342023/2/1大連理工大學(xué)347.LMS算法的改進(jìn)LMS自適應(yīng)濾波器的主要優(yōu)點：收斂性能穩(wěn)定，算法比較簡單LMS自適應(yīng)濾波器固有的缺點：一般來說不能從任意初始點出發(fā)通過最短的路徑到達(dá)極值點；當(dāng)輸入信號自相關(guān)陣R的特征值在數(shù)值上分散性較大時，這種方法的性能趨于惡化，可能出現(xiàn)收斂緩慢甚至發(fā)散的問題。2023/2/1大連理工大學(xué)352023/2/1大連理工大學(xué)35歸一化LMS算法（NLMS）為了確保對自適應(yīng)濾波器的穩(wěn)定收斂，出現(xiàn)了對收斂因子進(jìn)行歸一化的NLMS算法。這種算法的歸一化收斂因子表示為：通常用時間平均替代統(tǒng)計方差，即這樣，迭代算法變?yōu)椋浩渲?，為正值小常?shù)，避免分母為0.2023/2/1大連理工大學(xué)362023/2/1大連理工大學(xué)36泄漏LMS算法對于LMS算法，若在迭代過程中收斂因子突然變?yōu)?，則權(quán)系數(shù)將不在變化，迭代不能完成。泄漏LMS算法依靠泄漏解決了這個問題：一旦收斂引自變?yōu)?，權(quán)系數(shù)的迭代仍然可以依靠泄漏進(jìn)行。泄漏LMS算法的收斂條件為：2023/2/1大連理工大學(xué)372023/2/1大連理工大學(xué)37極性LMS算法其中，符號函數(shù)定義為特點：計算量小?？赡芤鹗諗克俣认陆岛蛦栴}誤差增加。2023/2/1大連理工大學(xué)382023/2/1大連理工大學(xué)38解相關(guān)LMS算法LMS算法收斂慢的主要原因是輸入信號各元素有一定的相關(guān)性。對其解相關(guān)可以改善收斂速度。定義與相關(guān)系數(shù)：，其值越大，相關(guān)性越大。自適應(yīng)公式：其中：2023/2/1大連理工大學(xué)392023/2/1大連理工大學(xué)39塊LMS算法有些實際問題要求自適應(yīng)濾波器的階數(shù)很高，例如在電話系統(tǒng)的回波抵消中，階數(shù)達(dá)到8000階。采用塊LMS自適應(yīng)算法，可以有效減小計算復(fù)雜度。塊自適應(yīng)算法每次處理一個數(shù)據(jù)塊，濾波器的系數(shù)每塊更新一次，而在每塊的處理過程中保持不變。2023/2/1大連理工大學(xué)402023/2/1大連理工大學(xué)40變換域LMS算法變換域LMS自適應(yīng)算法的思路是通過正交變換，改善輸入信號自相關(guān)陣最大/最小特征值之比，從而改善收斂速度。2023/2/1大連理工大學(xué)41§14.3

自適應(yīng)濾波器的遞歸最小二乘算法2023/2/1大連理工大學(xué)422023/2/1大連理工大學(xué)421.最小二乘法（略）一種典型的根據(jù)觀測數(shù)據(jù)推斷未知參量的數(shù)據(jù)處理方法。其基本思想是使實際觀測值與計算值之間的平方乘和最小。線性組合器2023/2/1大連理工大學(xué)432023/2/1大連理工大學(xué)43線性最小二乘原理2023/2/1大連理工大學(xué)442023/2/1大連理工大學(xué)442.遞歸最小二乘（RLS）自適應(yīng)濾波器準(zhǔn)則：是典型的根據(jù)觀測數(shù)據(jù)推斷未知參量的方法；思路：是最小二乘方法的一種遞歸形式；使實際觀測值與計算值之差的平方和最小。2023/2/1大連理工大學(xué)45LS自適應(yīng)算法最小二乘自適應(yīng)濾波器在其運行的每一個時刻都使系數(shù)的平方誤差達(dá)到最小，其代價函數(shù)為：式中，稱為遺忘因子。2023/2/1大連理工大學(xué)452023/2/1大連理工大學(xué)462023/2/1大連理工大學(xué)46由代價函數(shù)可以得到以下三個結(jié)論：代價函數(shù)E(n)是n的函數(shù)，即在迭代的每一步均發(fā)生變化，以反映新數(shù)據(jù)樣本的影響；使E(n)最小的最優(yōu)準(zhǔn)則為加權(quán)最小二乘法；當(dāng)時，使E(n)最小的最優(yōu)準(zhǔn)則為普通最小二乘法2023/2/1大連理工大學(xué)472023/2/1大連理工大學(xué)472023/2/1大連理工大學(xué)482023/2/1大連理工大學(xué)482023/2/1大連理工大學(xué)492023/2/1大連理工大學(xué)49遞歸最小二乘（RLS）算法2023/2/1大連理工大學(xué)502023/2/1大連理工大學(xué)50應(yīng)用中需要注意的問題計算復(fù)雜度問題算法的初始化有效字長效應(yīng)實際應(yīng)用中，由于受到有效字長效應(yīng)的影響，RLS算法原有的準(zhǔn)確的數(shù)學(xué)關(guān)系受到影響，可能會導(dǎo)致數(shù)值不穩(wěn)定。2023/2/1大連理工大學(xué)51§14.4

自適應(yīng)濾波器的應(yīng)用2023/2/1大連理工大學(xué)522023/2/1大連理工大學(xué)521.自適應(yīng)濾波器的4種基本應(yīng)用結(jié)構(gòu)自適應(yīng)預(yù)測結(jié)構(gòu)期望信號與輸入信號同源，自適應(yīng)預(yù)測器根據(jù)的過去值對輸入的當(dāng)前值進(jìn)行預(yù)測；常用于信號編碼和噪聲削弱中。2023/2/1大連理工大學(xué)532023/2/1大連理工大學(xué)53自適應(yīng)系統(tǒng)辨識或建模結(jié)構(gòu)寬帶信號作為自適應(yīng)系統(tǒng)和位置系統(tǒng)的公共輸入信號。自適應(yīng)過程結(jié)束時，自適應(yīng)濾波器的傳遞函數(shù)與位置系統(tǒng)的相同。在控制方面廣泛應(yīng)用。2023/2/1大連理工大學(xué)542023/2/1大連理工大學(xué)54自適應(yīng)均衡器（或逆模擬器）結(jié)構(gòu)自適應(yīng)濾波器試圖將其傳遞函數(shù)模擬成位置系統(tǒng)傳遞函數(shù)的倒數(shù)（或逆），從而由一個受慢時變系統(tǒng)和嘉興噪聲影響的信號中恢復(fù)原始信號。廣泛應(yīng)用于通信、地震勘探、控制等領(lǐng)域。2023/2/1大連理工大學(xué)552023/2/1大連理工大學(xué)55自適應(yīng)噪聲抵消結(jié)構(gòu)期望信號是受噪聲污染的信號，而自適應(yīng)濾波器的輸入是與相關(guān)的噪聲。自適應(yīng)濾波器的輸出要盡可能與逼近，使系統(tǒng)輸出盡量逼近。2023/2/1大連理工大學(xué)562023/2/1大連理工大學(xué)562.自適應(yīng)噪聲的應(yīng)用舉例自適應(yīng)噪聲抵消提取胎兒心電信號2023/2/1大連理工大學(xué)572023/2/1大連理工大學(xué)57說明：胎兒心電監(jiān)測具有重要意義。胎兒的心電信號淹沒在母體的心電信號中。其中：為胎兒心電信號，為母體心電信號，為噪聲。2023/2/1大連理工大學(xué)582023/2/1大連理工大學(xué)58采用自適應(yīng)噪聲抵消系統(tǒng)，以母體胸導(dǎo)得到的母親心電信號作為參考信號，以母體腹壁信號作為原始信號輸入，則可以有效消除母體心電信號對胎兒心電信號的影響，從而提取出較為純凈的胎兒心電信號。2023/2/1大連理工大學(xué)592023/2/1大連理工大學(xué)59心電圖中工頻干擾的抑制工頻干擾一般可以采用窄帶濾波（限波）器來抑制。若工頻頻率有漂移，則最好采用自適應(yīng)噪聲抵消系統(tǒng)來消除工頻干擾。2023/2/1大連理工大學(xué)602023/2/1大連理工大學(xué)60心電圖中工頻干擾抑制結(jié)果2023/2/1大連理工大學(xué)612023/2/1大連理工大學(xué)61心電圖中高頻電刀干擾的消除2023/2/1大連理工大學(xué)622023/2/1大連理工大學(xué)62自適應(yīng)譜線增強(qiáng)自適應(yīng)譜線增強(qiáng)（ALE）是一種在寬帶噪聲中檢測較弱正弦信號或窄帶信號的方法。2023/2/1大連理工大學(xué)632023/2/1大連理工大學(xué)63自適應(yīng)譜線增強(qiáng)結(jié)果左圖是輸入信號為單一正弦波加上白噪聲；右圖是噪聲消除譜線增強(qiáng)后的結(jié)果。2023/2/1大連理工大學(xué)642023/2/1大連理工大學(xué)64自適應(yīng)譜線增強(qiáng)