自適應(yīng)濾波器

自適應(yīng)濾波器第1頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第2頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月最優(yōu)第3頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.1匹配濾波器第4頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第5頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第6頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月證明：第7頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第8頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月最優(yōu)濾波最優(yōu)數(shù)字濾波器的兩條現(xiàn)實(shí)約束（1）濾波器是線性的，以使對(duì)濾波器的數(shù)學(xué)分析更為簡(jiǎn)便；（2）濾波器是離散時(shí)間的，這將使得濾波器可以采用數(shù)字硬件或軟件來(lái)實(shí)現(xiàn)；維納濾波器：濾波器系數(shù)固定,是適用于平穩(wěn)隨機(jī)情況下的最優(yōu)濾波;卡爾曼濾波器：濾波器系數(shù)時(shí)變,是適用于非平穩(wěn)隨機(jī)情況下的最優(yōu)濾波.這兩種最優(yōu)濾波器設(shè)計(jì)的前提：必須事先知道所處理信號(hào)的統(tǒng)計(jì)特性(數(shù)學(xué)期望,相關(guān)函數(shù)等)。遺憾的是,在實(shí)際應(yīng)用中常常無(wú)法預(yù)先得知信號(hào)的統(tǒng)計(jì)特性或所處理信號(hào)的統(tǒng)計(jì)特性是隨時(shí)間變化的第9頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.2維納濾波器第10頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第11頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第12頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月該式表明：已知期望信號(hào)d(n)與觀測(cè)信號(hào)u(n)的互相關(guān)矩陣r，觀測(cè)信號(hào)u(n)的自相關(guān)矩陣R,通過(guò)求逆和矩陣乘法，可得最佳濾波器wopt若濾波器長(zhǎng)度M較大，則計(jì)算量大，存儲(chǔ)空間也要大。M是由實(shí)驗(yàn)所要求的精度來(lái)決定。第13頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第14頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第15頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第16頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第17頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第18頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第19頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第20頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第21頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月最小均方誤差：第22頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.3卡爾曼濾波器第23頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.3.1預(yù)備知識(shí)卡爾曼濾波的前提：要用狀態(tài)空間法表征系統(tǒng)第24頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第25頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第26頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月?tīng)顟B(tài)方程輸出方程第27頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第28頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第29頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.3.2基于狀態(tài)空間法的卡爾曼濾波器第30頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第31頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.3.3卡爾曼濾波器的遞推算法第32頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.3.3卡爾曼濾波器的遞推算法第33頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第34頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第35頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第36頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第37頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第38頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第39頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月小結(jié)維納濾波器的參數(shù)是固定的,適用于平穩(wěn)隨機(jī)情況下的最優(yōu)濾波;卡爾曼濾波器的參數(shù)是時(shí)變的,適用于非平穩(wěn)隨機(jī)情況下的最優(yōu)濾波.這兩種濾波器設(shè)計(jì)的前提：必須擁有事先知道信號(hào)和噪聲的統(tǒng)計(jì)特性(數(shù)學(xué)期望,相關(guān)函數(shù)等)。遺憾的是,在實(shí)際應(yīng)用中常常無(wú)法預(yù)先得到信號(hào)的統(tǒng)計(jì)特性或信號(hào)的統(tǒng)計(jì)特性是隨時(shí)間變化的.而如果輸入信號(hào)的統(tǒng)計(jì)特性未知,或者輸入信號(hào)的統(tǒng)計(jì)特性隨時(shí)間變化,只能使用自適應(yīng)濾波器。它能夠自動(dòng)地迭代調(diào)節(jié)自身的濾波器參數(shù),以滿足某種準(zhǔn)則的要求,從而實(shí)現(xiàn)最優(yōu)濾波.所處理信號(hào)的統(tǒng)計(jì)特性未知,調(diào)整自身參數(shù)到最佳的過(guò)程——"學(xué)習(xí)過(guò)程".所處理信號(hào)的統(tǒng)計(jì)特性變化,調(diào)整自身參數(shù)到最佳的過(guò)程——"跟蹤過(guò)程"因此自適應(yīng)濾波器具有學(xué)習(xí)能力和跟蹤能力.第40頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.4.自適應(yīng)濾波器6.4.1引言①第41頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.4.1引言②第42頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.4.1引言③自適應(yīng)濾波器的定義第43頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第6章自適應(yīng)濾波器

自適應(yīng)濾波器：根據(jù)所處理信號(hào)的變化，使用自適應(yīng)算法來(lái)改變?yōu)V波器的參數(shù)和結(jié)構(gòu)。通常，不改變?yōu)V波器的結(jié)構(gòu)，而只改變?yōu)V波器的系數(shù)，即其系數(shù)是由自適應(yīng)算法不斷更新的時(shí)變系數(shù)，自動(dòng)連續(xù)地適應(yīng)于所處理信號(hào)，以獲得期望響應(yīng)。第44頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.1引言自適應(yīng)的概念：生物能以各種有效方式適應(yīng)周?chē)h(huán)境，從而使生命力變強(qiáng)。40年代，N.維納用最小均方原則設(shè)計(jì)最佳線性濾波器，用來(lái)處理平穩(wěn)隨機(jī)信號(hào)，即著名的維納濾波器。60年代，，R.E.卡爾曼創(chuàng)立最佳時(shí)變線性濾波設(shè)計(jì)理論，用來(lái)處理非平穩(wěn)隨機(jī)信號(hào)，即著名的卡爾曼濾波器。70年代，美國(guó)B.Windrow和Hoff提出了處理隨機(jī)信號(hào)的自適應(yīng)濾波器算法，彌補(bǔ)了維納、卡爾曼濾波器的致命缺陷：必須事先知道待處理信號(hào)的統(tǒng)計(jì)特性（如自相關(guān)函數(shù)），才能計(jì)算出最佳的濾波器系數(shù)Wopt，否則，維納、卡爾曼濾波器無(wú)法判定為最佳。自適應(yīng)濾波器：利用前一時(shí)刻已獲得的濾波器系數(shù)，自動(dòng)地調(diào)節(jié)現(xiàn)時(shí)刻的濾波器系數(shù)，以適應(yīng)所處理隨機(jī)信號(hào)的時(shí)變統(tǒng)計(jì)特性，實(shí)現(xiàn)最優(yōu)濾波。6.1.1自適應(yīng)濾波器的發(fā)展史第45頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.1.2自適應(yīng)濾波器的分類按濾波器的結(jié)構(gòu)來(lái)分：遞歸型（最佳遞歸估計(jì)-卡爾曼濾波）非遞歸型（最佳非遞歸估計(jì)-維納濾波）按實(shí)現(xiàn)方式來(lái)分：模擬式自適應(yīng)濾波器（抑制某些單頻干擾）數(shù)字式自適應(yīng)濾波器（常用，需用軟件實(shí)現(xiàn)）自適應(yīng)FIR濾波器的分類(非遞歸型)：自適應(yīng)橫向?yàn)V波器自適應(yīng)格型濾波器自適應(yīng)對(duì)稱橫向?yàn)V波器第46頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.1.2自適應(yīng)濾波器的分類按復(fù)雜度來(lái)分：線性自適應(yīng)濾波器非線性自適應(yīng)濾波器（包括Volterra濾波器和基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)濾波器。信號(hào)處理能力更強(qiáng)，但計(jì)算也更復(fù)雜。）值得注意的是：自適應(yīng)濾波器系統(tǒng)--時(shí)變性的，非線性。非線性：系統(tǒng)根據(jù)所處理信號(hào)特點(diǎn)不斷調(diào)整自身的濾波器系數(shù)。時(shí)變性：系統(tǒng)的自適應(yīng)響應(yīng)/學(xué)習(xí)過(guò)程。所以，自適應(yīng)濾波器可自動(dòng)適應(yīng)信號(hào)的傳輸環(huán)境，無(wú)須詳細(xì)知道信號(hào)的結(jié)構(gòu)和特征參數(shù)，無(wú)須精確設(shè)計(jì)濾波器本身。線性自適應(yīng)濾波器的兩個(gè)階段：①學(xué)習(xí)階段：根據(jù)輸入信號(hào)的特點(diǎn)，濾波器系數(shù)被持續(xù)修改調(diào)整，直到得最優(yōu)系數(shù)。②工作階段：濾波器系數(shù)保持不變(成為線性系統(tǒng))，進(jìn)行濾波。便于設(shè)計(jì)、易于數(shù)學(xué)處理，實(shí)際應(yīng)用廣泛。第47頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月線性自適應(yīng)濾波器的兩部分：自適應(yīng)濾波器的結(jié)構(gòu)自適應(yīng)權(quán)調(diào)整算法自適應(yīng)濾波器的結(jié)構(gòu)有FIR和IIR兩種。FIR濾波器是非遞歸系統(tǒng)，即當(dāng)前輸出樣本僅是過(guò)去和現(xiàn)在輸入樣本的函數(shù)，其系統(tǒng)沖激響應(yīng)h(n)是一個(gè)有限長(zhǎng)序列，除原點(diǎn)外，只有零點(diǎn)沒(méi)有極點(diǎn)。具有很好的線性相位，無(wú)相位失真，穩(wěn)定性比較好。IIR濾波器是遞歸系統(tǒng)，即當(dāng)前輸出樣本是過(guò)去輸出和過(guò)去輸入樣本的函數(shù)，其系統(tǒng)沖激響應(yīng)h(n)是一個(gè)無(wú)限長(zhǎng)序列。IIR系統(tǒng)的相頻特性是非線性的，穩(wěn)定性也不能得到保證。唯一可取的就是實(shí)現(xiàn)階數(shù)較低，計(jì)算量較少；硬件的巨大發(fā)展，使得工程師更關(guān)心系統(tǒng)的穩(wěn)定性，而不在乎那么一丁點(diǎn)計(jì)算量的減少。因此，自適應(yīng)濾波器常采用FIR結(jié)構(gòu)?？煞譃椋簷M向型、對(duì)稱橫向型、格型第48頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月線性自適應(yīng)濾波器的兩部分：自適應(yīng)濾波器的結(jié)構(gòu)自適應(yīng)權(quán)調(diào)整算法自適應(yīng)權(quán)調(diào)整算法可分為兩類最基本算法：①最小均方誤差(LMS)算法：使濾波器的實(shí)際輸出與期望輸出之間的均方誤差最小.LMS算法的基礎(chǔ)是最陡下降法(SteepestDescentMethod),1959年，威德諾等提出，下一時(shí)刻權(quán)系數(shù)矢量=“現(xiàn)時(shí)刻”權(quán)系數(shù)矢量+負(fù)比例系數(shù)的均方誤差函數(shù)梯度。當(dāng)權(quán)系數(shù)達(dá)到穩(wěn)定（最佳權(quán)系數(shù)）時(shí),則均方誤差達(dá)到極小值。LMS算法有兩個(gè)關(guān)鍵:梯度的計(jì)算以及收斂因子的選擇。通常，將單個(gè)誤差樣本的平方作為均方誤差的估計(jì)值LMS算法是一種遞推過(guò)程,表示要經(jīng)過(guò)足夠的迭代次數(shù)后,權(quán)系數(shù)才會(huì)逐步逼近最佳權(quán)系數(shù),從而計(jì)算得到最佳濾波輸出,即噪聲得到最好抑制.存在問(wèn)題：收斂速度。抽頭延遲線的非遞歸型自適應(yīng)濾波器算法的收斂速度，取決于輸入信號(hào)自相關(guān)矩陣特征值的離散程度。當(dāng)特征值離散較大時(shí)，自適應(yīng)過(guò)程收斂速度較慢。格型結(jié)構(gòu)的自適應(yīng)算法則收斂較快。遞歸型結(jié)構(gòu)的自適應(yīng)算法是非線性的，收斂可疑。②遞推最小二乘(RLS)算法：使估計(jì)誤差的加權(quán)平方和最小.第49頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.5.2LMS自適應(yīng)算法維納濾波器的尋優(yōu)以最小均方誤差為準(zhǔn)則；LMS自適應(yīng)濾波的尋優(yōu)就在最小均方誤差的基礎(chǔ)上稍作改動(dòng)：目標(biāo)函數(shù)：均方誤差E{|e(k)|2}瞬時(shí)平方誤差|e(k)|2其實(shí)質(zhì)：以當(dāng)前輸出誤差、當(dāng)前參考信號(hào)和當(dāng)前權(quán)系數(shù)求得下個(gè)時(shí)刻的權(quán)系數(shù)。最小均方算法：LeastMeanSquares第50頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月回顧：最陡下降法1）依據(jù)：wiener濾波器的均方誤差曲面J(w)是權(quán)矢量w的二次函數(shù)，不存在局部最小點(diǎn)。2）方法：從任意初始值w(0)出發(fā)，沿J(w)的負(fù)梯度方向(最陡下降方向)按一定步長(zhǎng)進(jìn)行迭代搜索至最小點(diǎn)。

權(quán)矢量隨n變化的軌跡在每個(gè)時(shí)刻n都正交于J(n)(等高線)；第51頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月回顧：維納濾波器的系數(shù)—使均方誤差最小第52頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第53頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月證明第54頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第55頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第56頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月第57頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.5.3RLS自適應(yīng)算法

遞歸最小二乘法：RecursiveLeastSquares最小二乘法：無(wú)需假定輸入是寬帶平穩(wěn)過(guò)程，收斂快。①問(wèn)題的描述：在n時(shí)刻巳知一組輸入數(shù)據(jù)x(1)，x(2)，…..，x(n)一組需要的響應(yīng)設(shè)計(jì)一個(gè)M階的濾波器(估計(jì)器)，使它n時(shí)刻的輸出第58頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月②最小二乘問(wèn)題的分類：回顧：最小二乘法第59頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月最小二乘法：第60頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月③正交性原理：按誤差平方和最小化原則，可得：最小二乘法：第61頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月最小二乘法：第62頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月6.5.3RLS自適應(yīng)算法遞歸最小二乘法的預(yù)備知識(shí)：第63頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月①第64頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月②第65頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月RLS算法隨n趨向無(wú)限大，權(quán)系數(shù)按均值收斂于最佳值；但，對(duì)于有限的n，由于δ的引入，RLS算法是有偏估計(jì)。權(quán)系數(shù)的均方誤差隨最小特征值的減小而增大，因此，R特征值的散布度加大，會(huì)使RLS權(quán)系數(shù)的收斂性能變差；

權(quán)系數(shù)的均方誤差隨n的增加而線性減小，所以，RLS算法權(quán)系數(shù)按均方漸近收斂于最佳值。

RLS算法經(jīng)過(guò)n=2M次迭代，即可使均方誤差達(dá)到最小誤差的1.5倍，而LMS算法達(dá)此水平至少需20M次迭代。因此，RLS比LMS至少快一個(gè)數(shù)量級(jí)。第66頁(yè)，課件共77頁(yè)，創(chuàng)作于2023年2月

RLS算法的均方誤差收斂特性與R的特征值散布無(wú)關(guān)。

RLS收斂快的原因在于采用類似歸一化步長(zhǎng)。

若n趨于無(wú)限大，在不考慮量化誤差的條件下，RLS算法無(wú)失調(diào)。而LMS始終存在與步長(zhǎng)有關(guān)的失調(diào)。

RLS算法的主要問(wèn)題：每次迭代中的計(jì)算量與階數(shù)M的平方成正比。雖然比之最小二乘法(