二章最佳濾波ppt課件

1、12(,)(),11TMf wwfw wwww0)(. .wig tsmi, 2 , 10)(wjlpmmj, 2, 112(,)( ),11TMMin f wwfw wwwww性能函數(shù)性能函數(shù)最正確化優(yōu)化最正確化優(yōu)化TMnxnxnxn)(,),(),()(21xTMnwnwnwn)(,),(),()(21wMiTHiinnnxwny1)()()()(wxxwnjensnsnx0)()()(1100)1() 1()()(ijnjiieeinsnsnxTMjjnjeeenn000)1(, 1)()(sx時(shí)域時(shí)域-正弦輸入正弦輸入cdsin0021()()( )()()()jtjtx tx ts

2、tes te01( )( )jtx ts t esin2d0(1)( )(1)jtjiixts tieeMi,1)()1(tsitsMi,100(1)(t)( )1,( )TjtjtjjMs t eees t exaTMjjee)1(,1aax)()(nsn nax)()(nsn空域空域-正弦輸入正弦輸入tjLtjtjetsetsetstx000)()()()(211tjijLtjijtjijieetseetseetstxL00201)1()1(2)1(1)()()()(Mi, 1iidsin2LijLijijiensensensnx)1()1(2)1(1)()()()(21)()()(111

3、)()()()(21)1()1()1(212121nsnsnseeeeeenxnxnxnLMjMjMjjjjLLLx)()(,)(21nnnLAssaaaxTLnsnsnsn)(,),(),()(21sTMjjiiiee)1(, 1aLaaaA,21對(duì)于實(shí)矢量 x=x1，x2 ，xnT的純量實(shí)函數(shù)f(x), Txfxfxxffxf,)x,()(n21n21xxx111)()(1xxfxfx0)(0 xxfA.6 梯度梯度函數(shù)對(duì)于一維自變量x1的梯度就是函數(shù)對(duì)x1的導(dǎo)數(shù) )()()(11xxxxjxrxfjfxfjxfxfjxffnjnrjrTrrxffxf,)(nr1xxTjjxffxf,)(

4、nj1xx0)(0 xxfkj11111,kkrTTTnrnrjnjTrnrTjnjxxxxxxxxxxxxxrjrjx = x +xxx對(duì)于復(fù)矢量x 對(duì)實(shí)矢量的函數(shù)的梯度公式對(duì)實(shí)矢量的函數(shù)的梯度公式x=x1,，xnT a=a1,，anTaaxxaxa)()(,TxTxxAxAxx2)(TxaaxxHeR*TeRxx aaAyAyxx)(TAxAxxx2)(H對(duì)復(fù)矢量的函數(shù)的梯度公式對(duì)復(fù)矢量的函數(shù)的梯度公式a=ar+jaj, x=xr+jx 3.1 最小均方誤差濾波器最小均方誤差濾波器圖3.1 橫式濾波器TTMMnxnxnxnxnxnxn)1(),.,1(),()(),.,(),()(21xT

5、Mwww,.,21wMiiinxwny1*) 1()(*)()(wxxwnnTH)()()()()(nndnyndneHxw)()()(*inxnxEirxx)()()(*indnxEirxd)()(*irirxxxx)()(*irirdxdx2( )| ( )| fEe nwwRwrwrwxxHxdHxdHndEneneEneE*2*2)(| )(|)()(| )(|wRwrwxxHxdHndERe2| )(|2)1 () 1()0()()(*MrrrndnExdxdxdxdxr)()(nnEHxxxxR)0()2()1 ()2()0() 1() 1() 1 ()0(xxxxxxxxxxxx

6、xxxxxxrMrMrMrrrMrrrxxHxxRR0|)(|)()(2vxvxxvvRvnEnnEHHHxxH()是埃米爾特矩陣(2)是正定的或半正定的。(3)具有Toeplitz性質(zhì)，即其恣意對(duì)角線上的元素相等。xdoptxxrwRoptxxHoptxdHoptndwRwrwRe2| )(|E2minxdHoptndErw| )(|2optxxHoptndEwRw| )(|2xd1xxoptrRw22( ) ( ) 2Re220HHxdxxxdxxE e nE d n wwwwww rw R wrR wwRwrwxxHxdHndERe2| )(|2| )(|)(2neEwf最正確解最正確解

7、-維納解維納解(正規(guī)方程)正規(guī)方程的解正規(guī)方程的解 直接矩陣求逆算法直接矩陣求逆算法DMIDMI算法或采樣矩陣求逆算法或采樣矩陣求逆(SMI)(SMI)算法算法 最陡下降法加權(quán)系數(shù)的遞推最陡下降法加權(quán)系數(shù)的遞推-最小均方算法即最小均方算法即LMSLMS算法算法(3) (3) 利用矩陣的埃爾米特和利用矩陣的埃爾米特和ToeplitzToeplitz性質(zhì)性質(zhì)0|)(|2neEww)()()(nndneHxwjrjeeejrjwwwjrjxxx222|jreee22T)()(rTjjTrjjTjrrrddxwxwxwxw*2222|eejeejrxwww| )(| )(|22neEneEww0)()

8、(2*nneEx* ( )( )0optEn enx0)()(*neinxE1, 1 , 0Mi0)()(*nqnpE正交原理正交原理 jrjddd( )( )( )Hoptoptend nnwx)()()()()(0*optHnndnEnenEwxxxoptHnnEndnEwxxx)()()()(*xxoptxdR wr根據(jù)正交原理推正規(guī)方程根據(jù)正交原理推正規(guī)方程 )()(minoptxxHoptwwRwwoptwwvvRvxxHminiiixxqqRMi, 2 , 13.2 關(guān)于均方誤差性能函數(shù)的進(jìn)一步討論關(guān)于均方誤差性能函數(shù)的進(jìn)一步討論 3.2.1 均方誤差性能函數(shù)的各種表達(dá)式均方誤差性

9、能函數(shù)的各種表達(dá)式1211221212,0,00,0,0,0,xxMMMMMRq qqqqqq qq22( ) ( ) ()HHHHxdxdxxE e nE d nw rw rw R wjijijHi01qqMMMMMqqqq11111,qqQ1QQIQQHH，QRQxxH1HxxRQQQQminHH v QQ v1211221212,0,00,0,0,0,xxMMMMMRq qqqqqq qqxxR Q = Q1212,0,00,0(,)0,0,MMdiag vRvxxHmin)()(minoptxxHoptwwRwwminH vvoptwwv()HHoptvQ vQw-wTMHvv , 1

10、vQvQvv MiiiHv12minminvv1,0,1,0HHTiiiMiqQ qqqqq()HHoptvQ vQw-w21www21optoptoptwww21vvoptwwv)0() 1 () 1 ()0(xxxxxxxxxxrrrrR0)0(xxr圖3.2 均方誤差性能面 圖3.3 等均方誤差橢圓族 CxxTvRvmin1CxxTvRv2100QRQxxT1CTvv1222211Cvv1)/()/(22221121CvCv3.2.2 幾何意義幾何意義 均方誤差橢圓的長(zhǎng)軸正比于min1短軸正比于max1wRwrwxxHxdHndERe2| )(|2xdxxrwRw22xdxxoptrRw

11、1xdHoptndEneErw)()(2min2minwww)() 1(nn2)(2)() 1(xdxxnnnrwRwwxdxxnnrwRIw2)()2() 1()()2() 1(optxxoptnnwwRIww3.3 最陡下降法最陡下降法3.3.1 最陡下降法的遞推公式最陡下降法的遞推公式optnnwwv)()()()2() 1(nnxxvRIvoptwwv)0()0()0()2()(vRIvnxxn1HxxRQQQQ11( )(2)(0) (2)(0)nnnvIQQvQ I Qv)0()2()2(11vQIQQIQ)0()2(1vQIQn1( )( )( )( )HHoptnnnnvQ v

12、Q vQww)0( )2()( vIvnn3.3.2 最陡下降法的性能分析最陡下降法的性能分析 一、收斂性一、收斂性 )()2() 1(optxxoptnnwwRIww1( )( )( )( )HHoptnnnnvQ vQ vQww)0( )2()( vIvnn)21 ( ,)21()2(1nMnnDiagIMii, 11|21|max/100nn)21 (lim0v)(limnnlim( )optnnww01/1,iiMi2max11( ) 1,MMiixxiiniiTrE x nMPiMR01/xxTrR01/inMPMivnvinii, 1),0( )21 ()( Miii, 1)/1e

13、xp(21Minvnviii, 1)/exp()0( )( Miii, 1,)21ln(1Miii, 1,21)( )( )()(11111nvnvqqqqnnMMMMMQvv)/exp()0( )( )(11kMkkikMkkikinvqnvqnvMkkikioptinCwnw1)/exp()()0( kikikvqC二、過渡過程二、過渡過程 1權(quán)向量的過渡過程權(quán)向量的過渡過程 ( )( )( ( )HHoptnnnvQ vQw-w( )( )( )optnnnvw-wQvmax/102min1( ) ( )Miiinvn2min1( ) (0)exp( 2 /)MiiiinvnMiiiim

14、se, 14121minmsemax)4(minmaxmax4mse2均方誤差的過渡過程均方誤差的過渡過程xdoptxxrwR1max22min|() | |xxxxxxcondRRR3 特征值分散的影響特征值分散的影響當(dāng) 大時(shí)，稱方程及其相應(yīng)的矩陣為病態(tài)的。當(dāng) 為病態(tài)時(shí)，最陡下降法的收斂性能很差)(xxcond RxxRMiiiHv12minminvv4 步長(zhǎng)值的影響步長(zhǎng)值的影響3.4 最小均方最小均方LMS算法算法 3.4.1 最小均方最小均方LMS算法公式算法公式 (1)( )nn www22| )(| )(|neneEwww| )(|2neE2| )(|)() 1(nennwww)()

15、()()()()(nnndnyndneHxw)()(2| )(|*2nnenexw*(1)( )2( )( )1,iiiw nw ne n x niM*(1)( )2( ) (1)1,iiw nw ne n x niiM )()(2)() 1(*nnennxww圖3.5 LMS算法的第i支路 圖3.6 LMS算法框圖)()()()()(2)() 1(*nnnndnnnHwxxxww)()(2)()()(2) 1(*ndnnnnnHxwxxIw*(1)( )2( ) (1)1,iiw nw ne n x niiM 1)(0inMP| )(|21nxEPin 初始條件：初始條件：0w)0(或由先驗(yàn)

16、知識(shí)確定或由先驗(yàn)知識(shí)確定運(yùn)算：運(yùn)算： 對(duì)對(duì)0,1,2,n 獲得獲得)(nx)(nd (2)濾波濾波 )()()(nnnyHxw(3)誤差估計(jì)誤差估計(jì) )()()(nyndne(4)更新權(quán)向量更新權(quán)向量 )()(2)() 1(*nennnxww)(22)() 1(xdnnnxxwRrww)()(2)() 1(*nennnxww3.4.2 LMS算法的性能分析算法的性能分析最陡下降法的加權(quán)矢量的遞推校正值為確定值LMS算法的相應(yīng)的遞推校正值為隨機(jī)量。LMS算法的加權(quán)矢量將以隨機(jī)方式變化。LMS算法又稱為隨機(jī)梯度法 LMS算法)()(2)()()(2) 1(*ndnnnnnHxwxxIw)()2()

17、 1(optxxoptnnwwRIwwxdxxnnrwRIw2)()2() 1(最陡下降法)()(*ndnEdxrx) 1() 1(2) 1()(*nnennxww一、加權(quán)矢量的平均值的收斂性和過渡過程一、加權(quán)矢量的平均值的收斂性和過渡過程 )()(2)()()(2) 1(*ndnnnnnHxwxxIw)()(2)()()(2)1(*ndnEnEnnEnEHxwxxIw與 無關(guān))0(,) 1(xx，n)(nw)()(nnEHxxxxRxdxxnEnErwRIw2)(2)1(僅與 有關(guān)，)(nxxdxxnnrwRIw2)()2() 1(最陡下降法optnnwwv)()( ( ) ( )optEn

18、Envww)(2)1(nEnExxvRIv)0(2)(vRIvnxxnEoptwwv)0()0(1xxRQQ)()(1nnvQv)()( 1nEnEvQv)0( 2)( vIvnnE)0(2)(1optnoptnEwwQIQww類似于最陡下降法類似于最陡下降法 1)(0inMP1)(0inMP1加權(quán)矢量的平均值的收斂性加權(quán)矢量的平均值的收斂性optnnEww)(lim01/1,iiM2max11( ) 1,MMiixxiiniiTrE x nMPiMRmax01/)( )21 ()( ovnvEiniiiii21)21ln(1)/exp()0()(iiinvnvE)()(nEnEoptvQww

19、MkkikioptinCwnwE1)/exp()()(21221minmaxminmaxxxcond R2加權(quán)矢量的平均值的過渡過程加權(quán)矢量的平均值的過渡過程當(dāng) 的特征值分散時(shí)，即其條件數(shù)很大時(shí)，即 為病態(tài)時(shí)，LMS算法的收斂性很差。 值必需選得滿足收斂條件。在收斂范圍內(nèi)， 愈大，收斂愈快。但 過大時(shí)，過渡過程將出現(xiàn)震蕩xxRxxR2. 均方誤差的過渡過程均方誤差的過渡過程)()()()(nnnndHoptHoptxwwxw)()(nneHoptxvoptnnwwv)()()()()(nndneHoptoptxw2min( ) optE en0 x)()(*nenEopt22*( )( ) (

20、 ) ( ) ( )( ) ( )2Re( ) ( )( )HHoptHoptnE e nE enEnnnnnn envxxvvx)()()()(nnndneHxw22( )( ) ( ) ( ) ( )( ) ( )HHoptnE e nE enEnnnnvxxv( ) ( )( ) ( )( )( )( )( )( )( )( )( )( )( )HHHH1xxHHMii 1EnnnnEnnEnnEnnE TrnnE Trnk nvxxvvR vvQQ vvvvvK( ) ( )( )HnEnnKvv( )iiik (n)=nK( )nKminmin( )( )Mii 1(n)=+Tr(n

21、+k nK為為 的對(duì)角元素的對(duì)角元素(3.4.37)( )( )( )1HnnnvQ vQ v2. 均方誤差的過渡過程均方誤差的過渡過程cont圖3.7 LMS算法的穩(wěn)態(tài)誤差3. 穩(wěn)態(tài)誤差及失調(diào)系數(shù)穩(wěn)態(tài)誤差及失調(diào)系數(shù)LMS算法來說，在收斂到最正確值后，由于加權(quán)矢量繼續(xù)按公式 變化，其校正值不為零而是繼續(xù)隨機(jī)起伏，從而使加權(quán)矢量繼續(xù)隨機(jī)起伏。這就使得LMS算法的收斂到即收斂到零后，均方誤差將大于維納誤差)()(2)() 1(*nnennxww)(nwminminxxTrRminminMii1inMP失調(diào)系數(shù)失調(diào)系數(shù)用于描畫用于描畫LMS算法的穩(wěn)態(tài)均方誤差對(duì)維納誤差的相對(duì)偏向。算法的穩(wěn)態(tài)均方誤差對(duì)

22、維納誤差的相對(duì)偏向。 )()(2)()2() 1(*nennInoptxxxvRv1xxRQQ)()(2)()2() 1(1*11nnennoptxQvQIvQ)()()( 1nnnHvQvQv)()(2)( )2() 1( 1*nnennoptxQvIv)()(2)() 1() 1(*nnennnoptoptxwwwwv)()(2)()()(2*nennnnoptHxvxxI對(duì)對(duì)LMSLMS算法的失調(diào)系數(shù)的估計(jì)算法的失調(diào)系數(shù)的估計(jì)(1) (1) *1(1)(2) ( )2( )( )(2) ( )( )optennennnnvI vQ xI vv2)( )( 2)1( )1(IvvIvvHH

23、nnEnnE)()()()(411*2HoptoptnnneneExQxQ*23*41*43*21*43*21xxExxExxExxExxxxE2min (1) (1) 2 ( ) ( ) 24HHEnnEnn vvIvvI對(duì)對(duì)LMS算法的失調(diào)系數(shù)的估計(jì)算法的失調(diào)系數(shù)的估計(jì)(2) *1( )2( )( )eoptnennvQ x*1*121212minminmin( )( ) 2( )( )(2( )( ) 4( ) ( )44HHeeoptoptHxxEnnEennennEnnE vvQ xQ xQ xxQQ R Q(1)nv的誤差矢量的誤差矢量( )(1)( )ennnvvv各元素互不相關(guān)，其方差陣為對(duì)角陣。各元素互不相關(guān)，其方差陣為對(duì)角陣。( ) ( )( )HnEnnKvv()(2)( )(2)2minn1n4 KI KI()( )n1nKK( )( )( )minnnnKKK( )nK( )iiik (n)=nK( )( )( )2iiiiiiminik nk nk n( )iminik n1令令 為為 的對(duì)角元素的對(duì)角元素2min (1) (1) 2 ( ) ( ) 24HHEnnEnn vvIvvI當(dāng)當(dāng)n很大時(shí)很大時(shí)當(dāng)當(dāng)n很大時(shí)很大時(shí)minmin( )( )()MMiii 1i 1in+k n11( )Mmini