Kalman濾波器學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1Kalman濾波器濾波器第一頁，共32頁。111( ), ( )( )0, HnnkEnkQvv若其他222( ), ( )( )0, HnnkEnkQvv若其他已知已知: (1, )nnF狀態(tài)轉(zhuǎn)移矩陣 ( )nC觀測矩陣1 ( )nQ過程噪聲相關(guān)矩陣2 ( )nQ觀測噪聲相關(guān)矩陣12( )(n)HEnvvO12 ( ),( )nnvv線性狀態(tài)模型、高斯噪聲 假設(shè)假設(shè)(jish): 第1頁/共32頁第二頁，共32頁。(1), ( )nyy已知含噪數(shù)據(jù)已知含噪數(shù)據(jù)(shj) ，求，求 無噪聲的估計(jì)值無噪聲的估計(jì)值:( ) iy1 ()(1), ( )( ) ()(1), ( )( ) (

2、)(1), ( )( )(1), ( )(1)(1)1| (1), ( )innninniininniinnnnnnyyyyyyyyyyyyyyyy濾波 ：已知，求平滑 ：已知，求，預(yù)測 ：已知，求，一步預(yù)測：已知，求數(shù)學(xué)符號(hào)：第2頁/共32頁第三頁，共32頁。新息新息(xn x)方法：方法：新息新息(xn x) (innovation)1( )( )( )nnnyy稱稱 為為 的新息過程的新息過程(guchng)向量。向量。( )ny性質(zhì)性質(zhì)1: (正交正交),( )( )0HEnny是不同于是不同于 的新過程的新過程( )n( )ny性質(zhì)性質(zhì)2: ， 是個(gè)白噪聲過程是個(gè)白噪聲過程( )(

3、)0, HEnnnk ( )n性質(zhì)性質(zhì)3: （一一對(duì)應(yīng)關(guān)系（一一對(duì)應(yīng)關(guān)系) 保留有保留有 的所有信息的所有信息( )n(1), ( )(1), ( )nnyy( )n( )ny第3頁/共32頁第四頁，共32頁。1211111( )(1, )( ,1)( )( )( ,1)( )( )( )( )( )( )(1)(1, )( ) ( ) ( )( )( ,1)(1, )( ) ( )( ,1)(1, )(1, ) ( )(1, )( )HHHnnnn nnnn nnnnnnnnnnnnnnn nnnnnn nnnnnnnnnGFKCCKCQyCxxFxGPKFGCKKFPFQ估計(jì)估計(jì)(gj)(

4、 )nx狀態(tài)向量估計(jì)狀態(tài)向量估計(jì)(gj)誤差：誤差：1( ,1)( )( )n nnnxx相關(guān)矩陣：相關(guān)矩陣：( ,1)( ,1)( ,1)Hn nEn nn nK：Kalman 增益增益(zngy)矩陣矩陣( )nG校正項(xiàng)校正項(xiàng)：Kalman 增益矩陣增益矩陣：Kalman 新息新息( )n第4頁/共32頁第五頁，共32頁。例：例： 是一個(gè)時(shí)不變的標(biāo)量隨機(jī)變量，是一個(gè)時(shí)不變的標(biāo)量隨機(jī)變量， 為為觀測數(shù)據(jù)觀測數(shù)據(jù),其中其中 為白噪聲。若用為白噪聲。若用 Kalman 濾波器自適應(yīng)濾波器自適應(yīng)(shyng)估計(jì)估計(jì) ，設(shè)計(jì)，設(shè)計(jì) Kalman 濾波器。濾波器。( )x t( )( )( )y t

5、x tv t( )x t設(shè)計(jì)過程：設(shè)計(jì)過程： 構(gòu)造狀態(tài)構(gòu)造狀態(tài)(zhungti)空間方程；空間方程； 設(shè)計(jì)設(shè)計(jì)x(n)的更新公式的更新公式( )( )0dx tx tdt(1)( )0 x nx n(1)( )( )( )( )x nx ny nx nv n狀態(tài)方程狀態(tài)方程觀測觀測(gunc)(gunc)方程方程(1, )1nnF1( )0n Q( )1n C22( )nvQ( )v t第5頁/共32頁第六頁，共32頁。220(1,0)( )(1)kE xnE xP22( ,1)( )( ,1)(1) ( )( )( ) ( )(1, )( ,1) 1( )( )k n ng nk n nx

6、nx ng ny nx nk nnk n ng ng nvv(1), (2,1); (2), (3,2);gkgk依次可以遞推出 第6頁/共32頁第七頁，共32頁。隨機(jī)隨機(jī)(su j)優(yōu)化問題優(yōu)化問題LMS: Least Mean Squares Wiener 濾波器濾波器: 2min|( )( ) ( )| HEd nnnwwu最陡下降最陡下降(xijing)法法*2*( )(1)( )(1)(1)|( )(1) ( )| HnnnJnJnEd nnn wwwwwwwwu1optuu udwR r真實(shí)梯度真實(shí)梯度第7頁/共32頁第八頁，共32頁。 最陡下降最陡下降(xijing)法的改進(jìn)法的

7、改進(jìn): *( )(1)( ) ( )( (1)nnnnJnwwwQw21*( )(1)( )( (1)( (1)nnnJnJnwwwww 牛頓牛頓(ni dn)法法: 2( (1): Hessian)Jnw共軛梯度的梯度(矩陣*2* ( (1)(1)(1),( (1)(1)( (1)( (1)(1)HTJnnnJnnJnJnnwwwwAwwAwwwAw例如，若則第8頁/共32頁第九頁，共32頁。確定性優(yōu)化確定性優(yōu)化 也稱隨機(jī)逼近最優(yōu)化。求解的方法也稱隨機(jī)逼近最優(yōu)化。求解的方法(fngf)稱為隨機(jī)逼近方法稱為隨機(jī)逼近方法(fngf)。(1)nw( )nw( )(1)()nnww校正項(xiàng) 用誤差控制

8、21min|( )( ) ( )|NHnd nnnwwu后驗(yàn)估計(jì)后驗(yàn)估計(jì)(gj)誤差：誤差：( )( )( )( )( ) ( )Hnd ny nd nnn wu先驗(yàn)先驗(yàn)(xin yn)估計(jì)誤差：估計(jì)誤差：( )( )(1) ( )He nd nnnwu第9頁/共32頁第十頁，共32頁。梯度梯度(t d)向量向量22: ( )( )|( )(1) ( )|HJ nE e nEd nnnwu目標(biāo)函數(shù)011( )( ), (1), (1), ( ),TTMnu n u nu nMnw wwuw*( )( )( )( )HEnnEn dnuuwu*( )( )( )( )J nJE e n e nn

9、ww*( )( )( )( )( ) ( )(1)( )(1)e n e nJ ne nEE e nnne nn uww*( )( ) ( )0J nE e nn uRwr維納濾波器：維納濾波器：1optwR r第10頁/共32頁第十一頁，共32頁。缺點(diǎn)缺點(diǎn)(qudin)：真實(shí)梯度含數(shù)學(xué)期望，不易求得。：真實(shí)梯度含數(shù)學(xué)期望，不易求得。梯度下降梯度下降(xijing)算法：算法：( )(1)( )(1)nnnJ nww( )(1)( )( )nnnJ nww*(1)( ) ( )J ne nn u真實(shí)真實(shí)(zhnsh)梯度梯度步長參數(shù)步長參數(shù), 學(xué)習(xí)速率學(xué)習(xí)速率改進(jìn)：改進(jìn)：梯度估計(jì)梯度估計(jì)瞬時(shí)梯

10、度：瞬時(shí)梯度：( )( )(1) ( )He nd nnnwu先驗(yàn)估計(jì)誤差先驗(yàn)估計(jì)誤差第11頁/共32頁第十二頁，共32頁?；净?jbn)的的LMS算法：算法：*(1)( )( )(1)EJ nEn e nJ n u*( )( )(1) ( )( )(1)( )( ) ( )He nd nnnnnn e nnwuwwu 最陡下降最陡下降(xijing)法法 LMS算法算法漸近無偏漸近無偏(w pin)估計(jì)估計(jì), 搜索方向?yàn)樘荻蓉?fù)方向 每一步更新都使目標(biāo)函數(shù)值減小(“最陡下降”含義）瞬時(shí)梯度分析：瞬時(shí)梯度分析：, 搜索方向?yàn)樗矔r(shí)梯度負(fù)方向 不能保證每一步更新都使目標(biāo)函數(shù)值減小，但總趨勢(shì)使目標(biāo)

11、函數(shù)值減小。第12頁/共32頁第十三頁，共32頁。( )LMSnLMS算法的均值收斂的選擇算法的均方收斂均值均值(jn zh)收斂：收斂：( )0E e n1( )optEnwwR r均方收斂均方收斂(shulin)：2( ) ()optEnCww常數(shù)*( ) ( ) ( ) ne nnuu 要求不同時(shí)間的輸入信號(hào)向量 線性獨(dú)立 因?yàn)樗矔r(shí)梯度向量為 。梯度下降梯度下降(xijing)法要求不同時(shí)間的梯度向量法要求不同時(shí)間的梯度向量(搜索方向搜索方向)線性獨(dú)立。線性獨(dú)立。LMS算法的獨(dú)立性要求：算法的獨(dú)立性要求：第13頁/共32頁第十四頁，共32頁。*( )(1)( )( ) (1)( )( )

12、(1) ( ) (1)HEnEnEn e nEnEnd nnnEnwwuwuwuIRwr1 (1)(0) (0)nEEwIRwrIR wr12202 (2)(1) (0)inEEwIRwrIRwIRr10( )(0)nniiEnwIRwIR r第14頁/共32頁第十五頁，共32頁。代入上式，可得代入上式，可得10( )(0)nniHHiEnwIUUwIUUr( )( )HHEnnRuuUU其中其中(qzhng)iiiHHHiHHHIRUUUUU I UU I UU I UU IU100limniiHniiIRUIU若若 的所有的所有(suyu)對(duì)角元素絕對(duì)值對(duì)角元素絕對(duì)值1，即，即Imax11

13、則極限則極限(jxin) (等比級(jí)數(shù)求和等比級(jí)數(shù)求和)110limniniI110lim()niHniIRUU第15頁/共32頁第十六頁，共32頁。10111lim( )lim(0)ninHHnniHHoptEnwUIU wIUUrUU rU U rR rw結(jié)論結(jié)論(jiln)：( (均值收斂均值收斂(shulin)(shulin)條件條件) )max111 均方收斂均方收斂(shulin)條件：條件：20trR收斂為維納濾波器，且收斂與初始值收斂為維納濾波器，且收斂與初始值w(0)選擇無關(guān)選擇無關(guān)max20由于跡由于跡 ，故兩條件可合并為，故兩條件可合并為max1trMiiR和極限和極限li

14、m0nnImax11第16頁/共32頁第十七頁，共32頁。均方收斂均方收斂(shulin) 均值收斂均值收斂(shulin)max220總的輸入能量max220trR21tr( )MiEiRRu的對(duì)角元素之和總的輸入信號(hào)能量第17頁/共32頁第十八頁，共32頁。 偏小偏小 收斂收斂(shulin)慢慢 跟蹤性能好跟蹤性能好缺點(diǎn)：缺點(diǎn)： 偏大偏大 收斂快收斂快 跟蹤跟蹤(gnzng)性能差性能差 固定學(xué)習(xí)固定學(xué)習(xí)(xux)速率：速率： (常數(shù)常數(shù))自適應(yīng)學(xué)習(xí)速率參數(shù)自適應(yīng)學(xué)習(xí)速率參數(shù)( )n 時(shí)變學(xué)習(xí)速率：時(shí)變學(xué)習(xí)速率： (遞減遞減)，模擬退火法則，模擬退火法則( )Cnn “換檔變速換檔變速”

15、方法：固定方法：固定+時(shí)變時(shí)變第18頁/共32頁第十九頁，共32頁。例例1. (先搜索先搜索(su su)，后收斂，后收斂)0( )1nn000()00, ( ), dNn NnNnenN 自適應(yīng)自適應(yīng)(shyng)學(xué)習(xí)速率：學(xué)習(xí)速率：“學(xué)習(xí)規(guī)則的學(xué)習(xí)學(xué)習(xí)規(guī)則的學(xué)習(xí)”00nnn時(shí)，固定時(shí)，例例2. (先固定先固定(gdng)，后指數(shù)衰減，后指數(shù)衰減)和和 正的常數(shù)正的常數(shù)0dN第19頁/共32頁第二十頁，共32頁。*( )( )(1)( )( )( ) ( )Hnnnn e nnnuwwuu(1) ( )( )(1)( )(1) (1)HHnnnnnnnuuuuuu與的相關(guān)系數(shù) (1)1*(

16、)( )( ) (1)( ) (1)(1), (1)(1) ( )LMS( )(1)( )( ) ( )nHnnnnnnnnnnnnn e nnuvuuPuIuuuuuwwv解相關(guān)后的輸入向量 解相關(guān)算法： 第20頁/共32頁第二十一頁，共32頁。時(shí)，時(shí)， 比比 合理合理(hl)2200( )( )( )( ) ( )nnn in iHiiJ nid iniwuin( )nw2*0*0( )( )( ) ( )( )( ) ( )( ) ( )( )0nn iHinn iHiJ nd ininnd inii wuwwwuu2200( )( )( )( ) ( )nnn in iHiiJ ne

17、id iiiwu( ) iw第21頁/共32頁第二十二頁，共32頁。*00( )( ) ( )( )( )nnn iTn iiinnni diwuuu0110 ( )( )( ) ( )( )( )( ) (1)( )( )nn iHinn iHHiHniiiinnnnn RuuuuuuRuu其中*0*( )( )( ) (1)( )( )nn iini dinn dnruru*00( )( )( )( )( )nnn iHn iiiiini diuuwu( )( )( )nnnRwr1( )( ) ( )nnnwRr第22頁/共32頁第二十三頁，共32頁。矩陣矩陣(j zhn)求逆引理：求逆

18、引理：HABcc1(1) ( )( ) (1)( )(1)( ) (1) ( )HHnnnnnnnnnPuuPPPuPu增益增益(zngy)(zngy)向量向量1( ) ( )(1)( )( ) (1)( )1 (1) ( )( )( ) (1) ( )11 ( ) (1) ( )( )( )( ) (1) ( ) ( )HHHHnnnnnnnnnnnnnnnnnnnnnnPuPkuPuPukuPuuPukkuPuk111111HHB cc BABc B c(1) ( )( )( ) (1) ( )HnnnnnnPukuPu第23頁/共32頁第二十四頁，共32頁。1*( )( ) ( )( )

19、 ( )( )(1)( )( ) (1) (1)( )( ) (1)( )( ) (1)(1)( )( ) (1) (1)( )( )(1) ( ) (1)( )HHnnnnnnnn dnnnn dnnnnnnn dnnnnd nnnnnwRrPrPruPrkPkuPrkPrkwuwk*( )e n即即*( )(1)( )( )nnn e nwwk第24頁/共32頁第二十五頁，共32頁。RLS算法算法(sun f)：*( )( )(1) ( )(1) ( )( )( ) (1) ( )1( )(1)( )( ) (1)( )(1)( )( )HHHe nd nnnnnnnnnnnnnnnnn

20、e nwuPukuPuPPkuPwwk11(0)0, (0)(0) ()wPRI很小第25頁/共32頁第二十六頁，共32頁。非平穩(wěn)非平穩(wěn)(pngwn)，0000( )( )( )( )( )( )( )nnn iHn iHHiniinniiiiiiRuuuuuuR(0), 越小越好越小越好(0) RI很小( )nu第26頁/共32頁第二十七頁，共32頁。統(tǒng)計(jì)統(tǒng)計(jì)(tngj)性能分析：性能分析：權(quán)誤差權(quán)誤差(wch)向量向量( )( )optnnww權(quán)誤差權(quán)誤差(wch)向量的相關(guān)函數(shù)矩陣向量的相關(guān)函數(shù)矩陣( )( )( )HnEnnK均方誤差均方誤差2( )(1) ( )( )HEd nnnnwu最小均方誤差最小均方誤差2min( )( )HoptEd nnwu剩余均方誤差剩余均方誤差exmin( )( )nn當(dāng)當(dāng) 時(shí)，稱時(shí)，稱 為穩(wěn)態(tài)剩余均方誤差為穩(wěn)態(tài)剩余均方誤差n exmin()lim ( )nn exex( )( )nnnc近似不再減小時(shí)的最小近似不再減小時(shí)的數(shù)值算法的收斂速率算法的收斂速率算法的跟蹤性能算法的跟蹤性能第27頁/共32頁第