自適應(yīng)信號(hào)處理

1、1自適應(yīng)信號(hào)處理自適應(yīng)信號(hào)處理 Adaptive Signal Processing 薛永林 FIT 1-410 2課程內(nèi)容課程內(nèi)容vC.1 自適應(yīng)信號(hào)處理（自適應(yīng)信號(hào)處理（Introduction）自適應(yīng)系統(tǒng)特點(diǎn), 自適應(yīng)處理原理 梯度和最小均方誤差， 性能函數(shù)和性能曲面vC.2 自適應(yīng)搜索算法自適應(yīng)搜索算法 性能曲面梯度搜索牛頓法，最陡下降法學(xué)習(xí)曲線及比較vC.3 LMS算法算法LMS算法導(dǎo)出，加權(quán)矢量的收斂性學(xué)習(xí)曲線，梯度估計(jì)對(duì)自適應(yīng)過(guò)程的影響加權(quán)矢量解中的噪聲，失調(diào)vC.4 最小二乘自適應(yīng)濾波及快速算法最小二乘自適應(yīng)濾波及快速算法投影矩陣，濾波算子格型濾波器，快速橫向?yàn)V波器vC.5 自

2、適應(yīng)信號(hào)處理的應(yīng)用自適應(yīng)信號(hào)處理的應(yīng)用 3參考文獻(xiàn)(1) 張旭東、陸明泉，離散隨機(jī)信號(hào)處理離散隨機(jī)信號(hào)處理，清華大學(xué) 出版社，2005(2) Bernard Widrow，Samuel D.Stearns， Adaptive Signal Processing， Prentice-Hall，1985 (3) Simon Haykin，自適應(yīng)濾波器原理自適應(yīng)濾波器原理，第4版，電子工業(yè)出版社，20034C.1 自適應(yīng)信號(hào)處理自適應(yīng)信號(hào)處理C1.1 自適應(yīng)處理概述自適應(yīng)處理概述C1.1.1 自適應(yīng)系統(tǒng)特點(diǎn)自適應(yīng)系統(tǒng)特點(diǎn):能自動(dòng)適應(yīng)能自動(dòng)適應(yīng)(最佳最佳)變化的變化的(時(shí)變時(shí)變)環(huán)境條件和要求環(huán)境條件

3、和要求可被訓(xùn)練以實(shí)現(xiàn)特定的過(guò)濾和判決可被訓(xùn)練以實(shí)現(xiàn)特定的過(guò)濾和判決可趨于自學(xué)習(xí)、自修復(fù)、自更新和自設(shè)計(jì)可趨于自學(xué)習(xí)、自修復(fù)、自更新和自設(shè)計(jì)復(fù)雜性高，系統(tǒng)性能高（尤其是對(duì)時(shí)變信號(hào)）復(fù)雜性高，系統(tǒng)性能高（尤其是對(duì)時(shí)變信號(hào)）主要是時(shí)變的非線性系統(tǒng)主要是時(shí)變的非線性系統(tǒng)5v 自適應(yīng)濾波器：自適應(yīng)濾波器： 當(dāng)環(huán)境條件發(fā)生變化時(shí)，能自動(dòng)檢測(cè)變化并調(diào)整參數(shù)當(dāng)環(huán)境條件發(fā)生變化時(shí)，能自動(dòng)檢測(cè)變化并調(diào)整參數(shù)使輸出性能達(dá)到最優(yōu)的濾波器使輸出性能達(dá)到最優(yōu)的濾波器v 自適應(yīng)過(guò)程：自適應(yīng)過(guò)程： 包括學(xué)習(xí)過(guò)程和跟蹤過(guò)程包括學(xué)習(xí)過(guò)程和跟蹤過(guò)程v 性能測(cè)量：性能測(cè)量： 自適應(yīng)的速度自適應(yīng)的速度 接近最優(yōu)的程度接近最優(yōu)的程度 6

4、C1.1.2 自適應(yīng)系統(tǒng)分類自適應(yīng)系統(tǒng)分類v開(kāi)環(huán)系統(tǒng)開(kāi)環(huán)系統(tǒng)ProcessorAdaptiveAlgorithmInputOutput7ProcessorInputOutputAdaptiveAlgorithmOther Datav 閉環(huán)系統(tǒng)閉環(huán)系統(tǒng)8C1.1.3 自適應(yīng)系統(tǒng)指標(biāo)自適應(yīng)系統(tǒng)指標(biāo)（1）收斂速率）收斂速率 濾波器從初始參數(shù)調(diào)節(jié)到輸出充分接近最優(yōu)所需的迭代次數(shù)（2）失調(diào)）失調(diào)充分接近與最優(yōu)的偏離程度（3）計(jì)算量（復(fù)雜度）計(jì)算量（復(fù)雜度）9C1.1.4 自適應(yīng)算法自適應(yīng)算法根據(jù)濾波器結(jié)構(gòu)和算法準(zhǔn)則根據(jù)濾波器結(jié)構(gòu)和算法準(zhǔn)則, 自適應(yīng)算法主要有：自適應(yīng)算法主要有：v梯度算法梯度算法v最小均

5、方濾波器最小均方濾波器v格型自適應(yīng)濾波器格型自適應(yīng)濾波器v最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器v快速橫向自適應(yīng)濾波器快速橫向自適應(yīng)濾波器v自適應(yīng)無(wú)限沖激響濾波器自適應(yīng)無(wú)限沖激響濾波器 隨機(jī)梯度隨機(jī)梯度 濾波算子濾波算子 10C1.1.5 自適應(yīng)濾波應(yīng)用范圍自適應(yīng)濾波應(yīng)用范圍v系統(tǒng)辨識(shí)v自適應(yīng)均衡v語(yǔ)音處理v譜分析v自適應(yīng)信號(hào)檢測(cè)v自適應(yīng)噪聲消除v自適應(yīng)動(dòng)目標(biāo)檢測(cè)11C1.2 自適應(yīng)系統(tǒng)基本原理自適應(yīng)系統(tǒng)基本原理C1.2.1 自適應(yīng)線性組合器自適應(yīng)線性組合器v非遞歸自適應(yīng)濾波器z-1z-1z-1.xkxk-1xk-2xk-Lw0kw2kw1kwLkddkk+-Yk12輸入信號(hào)X可以是多個(gè)信源

6、信號(hào)輸入，也可以是一個(gè)信號(hào)的1 L個(gè)連續(xù)樣本的輸入，記 LKKKKKX ,.,21, 或 TLKKKKKX,210每個(gè)信號(hào)的加權(quán)因子為 TLKKKKKwwwwW210， 輸出 lklkLlKwY 0或 lklkLlKwY 0 對(duì)閉環(huán)自適應(yīng)系統(tǒng)，系統(tǒng)參數(shù)（加權(quán)矢量）和“希望響應(yīng)”或“訓(xùn)練信號(hào)”有關(guān)，即有性能反饋 13KTKKKTKKKKKXWdWXdYd KTKKKTKTKKKWXdWXXWd222 WXdEWXXEWdEETKKTKKTKK222 TKKXXER TRR dxRKKdxXdER WRRWWdEEMSETdxTKK222 C1.2.2 性能函數(shù)和均方誤差性能表面性能函數(shù)和均方誤差

7、性能表面若希望響應(yīng)為 dk， 誤差信號(hào)為 平方誤差信號(hào)為 如果該過(guò)程為統(tǒng)計(jì)平穩(wěn)的，則設(shè) 相關(guān)矩陣 ， 希望響應(yīng)和輸入分量間的互相關(guān)用表示, 則 均方誤差 性能函數(shù)14Ww*w0w1w 均方誤差性能表面是一個(gè)關(guān)于的碗形的二次誤差函數(shù)或二次曲面。15dxTLRWRWWWW22 10 W*WdxRWR220* dxRRW1* min *2min2WRWRWdETdxTK dxTdxdxTdxkRRRRRRRRdE11122 *212minWRdERRRdETdxkdxTdxk C1.2.3 梯度和最小均方誤差梯度和最小均方誤差常用梯度法以尋求性能表面的最小點(diǎn)梯度可求得為：為獲得均方誤差的最小值，對(duì)加

8、權(quán)向量取其最佳值，使梯度為0，即這是Wiener-Hopf方程的一種矩陣表示，則最小均方誤差為16)()(*minWWRWWT TLvvvWWV)(10* VRVT min 0 0 VRVT0 V0 VRVxT0 VRVxTVRvvvVTL2 10 )(22dxRWRVRVW 性能函數(shù)也可用下式表示（可證與2.2中性能函數(shù)相等） 若令 則 欲使, 則須當(dāng)時(shí), , Rx 正定, Rx 半正定 若梯度可有另一種表達(dá)方式若170 nnxQIR n nnnxQQR nQ,.,10LQQQQ L 000000101 QQRxTQQ ),(jiji 0 jTiQQ0 0 n n IQQT C1.2.4 二

9、次性能曲面的性質(zhì)二次性能曲面的性質(zhì) 對(duì)于輸入相關(guān)矩陣Rx， 為Rx的特征值 為Rx的特征矢量 ， 則 可以證明：（1）若 ，即特征矢量相互正交, 即 , , n=0，L 令 （3）歸一化（2） 18iiiQRQ jjjQRQ jTiijTTiQQQRQ jTijjTiQQRQQ TRR jTijjTiiQQQQ ),(jiji 0 jTiQQ0 RVVTTQQQQR 1LQQQV,10 0 RQQT0 QQQQTT1 QQT0 IQQT 證明：（1），則故（2）令，則，故（3）歸一化為標(biāo)準(zhǔn)正交矩陣，則19VRVxT min *WWV VVT min VQVT VRVxTConstVVT RV2

10、 V 22uVVR 0)2( VuRnnnvv 2nnv 222 特征值和特征矢量的幾何意義特征值和特征矢量的幾何意義 平移 旋轉(zhuǎn) 等值線橢圓或可表示為即另由梯度20結(jié)論：結(jié)論：1. 輸入相關(guān)矩陣的特征矢量規(guī)定誤差曲面的主軸2. 輸入相關(guān)矩陣的特征值規(guī)定誤差曲面關(guān)于其主軸的二階導(dǎo)數(shù)21KTKKKWXd KTKKKKKKWXXXdEXE WRRxdx *WW dxRR1 0* WWKKXE C1.2.5 誤差和輸入信號(hào)的不相關(guān)性誤差和輸入信號(hào)的不相關(guān)性 當(dāng)時(shí)， 結(jié)論：結(jié)論：當(dāng)濾波器響應(yīng)達(dá)到最佳時(shí)，誤差信號(hào)與輸入信號(hào)互不相關(guān)（正交）。誤差信號(hào)22)()(*minWWRWWxT VVT min VV

11、W 2 )(2*wwwnnn 222V nnw 222 C.2 自適應(yīng)搜索算法自適應(yīng)搜索算法 或 或C.2.1 梯度搜索算法基本原理梯度搜索算法基本原理23)(1KKKWW )(2*1wwwwKKK *12)21(wwwKK 10*0)21(2)21(KiiKKwww )()21(*0*wwwK 021 *wwK 在性能曲面上，以任意W0為起始尋求W*，即是決定收斂速率和穩(wěn)定性的增益常數(shù)，稱作收斂因子。或 歸納可得第K次迭代當(dāng)時(shí)，對(duì)于一維加權(quán)矢量240)( wf100)()(wwwfwf )()(0001wfwfww )()(1KKKKwfwfww )(wfw0w1C.2.2 牛頓搜索算法牛頓

12、搜索算法選定初值w0，預(yù)計(jì)下一估值w1其導(dǎo)數(shù) 則歸納可得求函數(shù)的解：2511)()()( KKKKKwwwfwfwf)()()(111KKKKKKKwfwfwfwwww )()(wwf )()(1KKKKwwww )( ),(KKww 0 k*1ww 而故令，則對(duì)于二次曲面，將當(dāng)時(shí)，一次迭代即可。為估值代入26)()(1KKKKWWWW KTdxKTKdKWRWRWrW2)0()( )()(*minWWRWWKTK )(2)(*WWRWKK RWK2)( *1)(WWWWWKKK 一般地對(duì)于任意加權(quán)矢量，有 一次迭代27dxRRW1* )(222*WWRRRWdx 1*21RWWKKKRWW

13、11210 *WW 又有最小均方誤差加權(quán)矢量 梯度向量 故當(dāng)時(shí)，一次迭代即達(dá)最優(yōu)。28w0w11v0v0w*0w*1w*w29 在二次性能曲面上，牛頓迭代法可一次達(dá)到最優(yōu)，在二次性能曲面上，牛頓迭代法可一次達(dá)到最優(yōu)，但實(shí)際自適應(yīng)系統(tǒng)沒(méi)有足夠的信息量來(lái)保證這一次迭代的成功。 在非穩(wěn)條件下，有兩個(gè)問(wèn)題：（1）R矩陣未知，僅僅只能盡可能好地估計(jì)。（2）在每一次自適應(yīng)迭代時(shí)，梯度須利用局部觀測(cè)來(lái)加以估計(jì)。30 1 RW*WW1 R KKKRWW 11 為了預(yù)期有噪的和估計(jì)的影響，我們調(diào)整牛頓迭代法：得到一種算法，使在許多次迭代后收斂于，這小增量將有平滑在和估計(jì)中噪聲的效果，以較小的增量調(diào)節(jié)修改后的牛頓

14、迭代法為：使得自適應(yīng)系統(tǒng)有穩(wěn)定的性能311 RK )22(11dxKKKRRWRWW *2)21(WWK 121 )(21(*1WWWWKK )()21(*0*WWWWKK 10 在無(wú)噪聲條件下，和收斂?jī)H取決于標(biāo)量收斂因子為此代入式歸納為 可以準(zhǔn)確知道3210 , 2/1 ,2/1 , 2/1 01. 0 在無(wú)噪情況下的收斂條件為：是一步收斂是振蕩收斂 實(shí)際自適應(yīng)系統(tǒng)中具有噪聲，的優(yōu)化在小于1/2，通常作為多次迭代的收斂因子。KWKWKW是平滑收斂33)(1 KKWWdxRRW22 dxRRW1* KKKKRVWWRRWRW2)(222* *WWVKK KKKRVWW 21 *2)2(RWWR

15、IK KKVRIV)2(1 最陡下降法和牛頓方法不同，每一步的加權(quán)調(diào)節(jié)是在梯度方向上。最陡下降法迭代算法為：而 則 平移向量 平移 C.2.3 最陡下降梯度搜索方法最陡下降梯度搜索方法所以34VQVT QRQVQ1 VQV KKVQRIVQ )2(1 KKVQRIQV )2(11 RQQ1KVI )2( 0)2(VIVKK 旋轉(zhuǎn)座標(biāo)到主軸方向，即其中 故 歸納可得迭代公式350)2(lim KKI 0)21(lim)21(lim)21(lim)21(lim210 KLKKKKKKK 最陡下降法穩(wěn)定和收斂的條件為：由于對(duì)角矩陣之積恰等于相應(yīng)對(duì)角元素乘積之矩陣，故36121 i max10 max

16、 R0lim KKV)(*11WWQVQVKKK *limKKKWW )()2(*01*WWQIQWWKK )()2(*0*WWRIWK 要滿足收斂條件，須 其中是的最大特征值。而則 則37w0w11v0v0w*0w*1w*w38max10 ir)21(iir 121 iir C.2.4 迭代的穩(wěn)定性和收斂速率迭代的穩(wěn)定性和收斂速率若滿足上述條件，各項(xiàng)公比均滿足迭代收斂的條件為390)21( i i 210 10 ir0)21( i i 210 0 ir0)21( i ii 121 01 iri 0 1 r當(dāng)，稱為過(guò)阻尼情況，穩(wěn)定收斂。，當(dāng)，稱為臨界阻尼情況，一步收斂。，當(dāng)，稱為欠阻尼情況，振

17、蕩收斂。， 當(dāng)或稱為不收斂或不穩(wěn)定情況。 時(shí)，40收斂速率隨 r 的減小而增大。r=0.8r=0.5r=-0.25r=0ww0w*K41)()(*minWWRWWMSET *WWV RVVMSET min dxTdxdTdxdRRRrWRr1*min)0()0( 自適應(yīng)系統(tǒng)中，MSE收斂于其最小值的過(guò)程，作為其性能的一種測(cè)度，我們現(xiàn)稱之為學(xué)習(xí)過(guò)程，而MSE值對(duì)應(yīng)其迭代次數(shù)的曲線稱之為學(xué)習(xí)曲線。均方誤差 利用移動(dòng)座標(biāo) 則 C.2.5 自適應(yīng)搜索學(xué)習(xí)曲線自適應(yīng)搜索學(xué)習(xí)曲線42KKKRWW 11 *0)()21(WWWWKK 0)21(VVKK KTKKRVV min 002min)21(RVVTK

18、 )()()21(*0*02minWWRWWTK K mser22)21( rrmse在牛頓迭代算法中：則為簡(jiǎn)單幾何級(jí)數(shù)，幾何比為： 43牛頓法的學(xué)習(xí)曲線是有單一時(shí)間常數(shù)的純指數(shù)函數(shù)MSEK44r 1exp re 1 11 r10 1 r /11/1 e Kke 1111/ 21/1 r 21 為了說(shuō)明學(xué)習(xí)曲線的收斂過(guò)程，定義兩種時(shí)間常數(shù)：如果一個(gè)單位時(shí)間相應(yīng)于一次迭代，可以記為收斂特性時(shí)間常數(shù)和權(quán)值公比的關(guān)系 ，即K次迭代，一次迭代而則權(quán)值收斂時(shí)間常數(shù)45mse 2rrmse mse msemserr 22exp1exp 2 mse 41 mse2)21( 學(xué)習(xí)曲線的時(shí)間常數(shù)定義為學(xué)習(xí)曲線的幾何比則相應(yīng)的時(shí)間常數(shù)為由此 46RVVT min VVT min 0)21(VVKK KTKKVV min 00min)21()21(VVKTK 00min)21()21(VVKTKT 21 在最陡下降搜索算法時(shí)：其中 和均為對(duì)角矩陣，可交換47020min)21(VVKTK KnnnLn2200