維納濾波和卡爾曼濾波課件

1、維納濾波和卡爾曼濾波第二章 維納濾波和卡爾曼濾波 n 2.1 引言引言 n 2.2 離散維納濾波器的時(shí)域解離散維納濾波器的時(shí)域解n 2.3 離散維納濾波器的離散維納濾波器的z z域解域解 n 2.4 維納預(yù)測(cè)維納預(yù)測(cè)n 2.5 卡爾曼卡爾曼(Kalman)(Kalman)濾波濾波 維納濾波和卡爾曼濾波2.1 引引 言言n最優(yōu)濾波n維納濾波和卡爾曼濾波簡(jiǎn)介n本章討論的主要內(nèi)容維納濾波和卡爾曼濾波1、最優(yōu)濾波n信號(hào)處理的目的是從噪聲中提取信號(hào)，得到不受干擾影響的真正信號(hào)。采用的處理系統(tǒng)稱為濾波器。n濾波器的分類：線性濾波器、非線性濾波器；FIR濾波器、IIR濾波器；時(shí)域?yàn)V波器、頻域?yàn)V波器；維納濾波

2、和卡爾曼濾波圖 2.1.1 信號(hào)處理的一般模型 x(n)=s(n)+v(n) ( )( )( )( )( ) ()my ns nx nh nh m x nm( )( )( )( )( )e ns ny ns ns n維納濾波和卡爾曼濾波n最優(yōu)準(zhǔn)則最優(yōu)準(zhǔn)則：最大輸出信噪比準(zhǔn)則匹配濾波器最小均方誤差準(zhǔn)則誤差絕對(duì)值的期望值最小 誤差絕對(duì)值的三次或高次冪的期望值最小2min| ( )| E e nmin| ( )|E e nmin| ( )| kE e n維納濾波和卡爾曼濾波x(n)=s(n)+v(n) ( )( )( ) ()my ns nh m x nm( )( )( )e ns ny nWien

3、er濾波器的一般結(jié)構(gòu)濾波器的一般結(jié)構(gòu) 2min| ( )| E e n維納濾波和卡爾曼濾波2、維納濾波和卡爾曼濾波簡(jiǎn)介n維納(Wiener)濾波與卡爾曼(Kalman)濾波以估計(jì)的結(jié)果與信號(hào)真值之間的誤差的均方值最小作為最優(yōu)準(zhǔn)則。)( )()(nsnsne22( )E e nEss假設(shè)信號(hào)的真值與估計(jì)值間的誤差為： 均方誤差最小即誤差的平方的統(tǒng)計(jì)平均值最?。?最小維納濾波和卡爾曼濾波3、本章討論的主要內(nèi)容n主要內(nèi)容：維納濾波器（FIR維納濾波器和IIR維納濾波器）、維納預(yù)測(cè)器、卡爾曼濾波。n分析思路：在均方誤差最小的前提下，求得系統(tǒng)的單位脈沖響應(yīng)h(n)或傳遞函數(shù)H(z)，進(jìn)而計(jì)算濾波器的最小

4、均方誤差2min| ( )| E e n22min( )( )( )optmin E e nhnE e n維納濾波和卡爾曼濾波2.2 離散維納濾波器的時(shí)域解離散維納濾波器的時(shí)域解n正交性原理正交性原理n維納維納霍夫方程霍夫方程nFIR維納濾波器的時(shí)域解維納濾波器的時(shí)域解維納濾波和卡爾曼濾波1、 維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法0( )( )( )( )()kky ns nx nh nh x nkn 因果維納濾波器的輸出y(n) ：n=0,1, 2, 設(shè)期望信號(hào)為d(n)，誤差信號(hào)e(n)及其均方值E|e(n)|2分別為 e(n)=d(n)-y(n)=s(n)-y(n) 2*(

5、)| ( )| ( )( )J nE e nE e n e n代價(jià)函數(shù)為( ),0,1,2,.kkh kajb k維納濾波和卡爾曼濾波22| ( )| | ( )| 0kkE e nE e njabk=0, 1, 2, 記梯度算子為 kkkjab k=0, 1, 2, ( )khmin J nn 要使均方誤差為最小，須滿足 0kJ nJ nh *kkkE e n enE e n enJ njab維納濾波和卡爾曼濾波上式展開為 *2*( )( )( )( )| ( )| ( )( )( )( )kkkkke ne ne ne nE e nEe ne nje nje naabb又00( )( )(

6、 )( )()( )( )( )()kkke ns ny ns nh x nks na kjb kx nk維納濾波和卡爾曼濾波將上述4式代入得 2*| ( )| 2 () ( )kkJ nE e nE x nk e n *( )()( )()( )()( )()kkkke nx nkae njx nkbe nx nkae njx nkb 維納濾波和卡爾曼濾波 分析：分析：上式說明，若使濾波器的均方誤差達(dá)到最小，則誤差信號(hào)與輸入信號(hào)正交，這就是通常所說的正交性原理。 *0()( )0,0,1,2,.koptJ nE x nk enkn正交性原理：正交性原理：維納濾波和卡爾曼濾波n正交性原理的重要

7、意義：提供了一個(gè)數(shù)學(xué)方法，用以判正交性原理的重要意義：提供了一個(gè)數(shù)學(xué)方法，用以判斷線性濾波系統(tǒng)是否工作于最佳狀態(tài)。斷線性濾波系統(tǒng)是否工作于最佳狀態(tài)。0 s x1 sse s w2x2 x2 w1x1 維納濾波和卡爾曼濾波2、 維納維納霍夫方程霍夫方程*,0()( )0,0,1,2,.()( )()0optopt iiE x nk enkE x nkd nhx ni將輸入信號(hào)分配進(jìn)去， 得到 *,0()()dxopt ixxirkhrikk=0, 1, 2, 維納維納-霍夫（霍夫（WienerHopf）方程：）方程：k=0, 1, 2, ,0( )()xdopt i xxirkhrki維納濾波和

8、卡爾曼濾波3、FIR維納濾波器的時(shí)域解n FIR維納濾波器的維納維納濾波器的維納-霍夫方程霍夫方程 當(dāng)h(n)是一個(gè)長(zhǎng)度為M的因果序列時(shí)，F(xiàn)IR維納濾波器的維納-霍夫方程表述為 10( )( )()Mxdxxirkh i rkik=0, 1, 2, ,M-1 (2.2.21)維納濾波和卡爾曼濾波把k的取值代入(2.2.21)式， 得到 當(dāng)k=0時(shí)，h0rxx(0)+h1rxx(-1)+hM-1rxx(-M+1)=rxd (0)當(dāng)k=1時(shí)，h0rxx(1)+ h1rxx(0)+ hM-1rxx(-M+2)= rxd (1) 當(dāng)k=M-1時(shí)，h0rxx(M-1)+ h1rxx (M-2)+hM-1

9、rxx(0)= rxd (M-1) (2.2.22) 維納濾波和卡爾曼濾波定義 011(0)(1)(1)(0)(1)(1)(1)(0)(2)(1)(2)(0)xdxdxdxdMxxxxxxxxxxxxxxxxxxxxhrhrhRrMhrrrMrrrMRrMrMr維納濾波和卡爾曼濾波（2.2.22）式可以寫成矩陣形式矩陣形式， 即 xdxxRR h 對(duì)上式求逆，得到 1optxxxdhhR R 這里涉及到計(jì)算相關(guān)矩陣和逆矩陣，計(jì)算量可能較大。維納濾波和卡爾曼濾波n FIR維納濾波器的估計(jì)誤差的均方值維納濾波器的估計(jì)誤差的均方值 假定所研究的信號(hào)都是零均值的，濾波器為FIR型，長(zhǎng)度等于M， 12*

10、01*012*min012*20| ( )| ( ) ( )( ) ()( )( )( )()| ( )| ( )( ) ( )( ) ()( )( )( )MmMmMmMdxddmE e nE e n d nh m x nmE e n dnhm E e n x nmE e nE e n dnEd nh m x nm dnh m rmHxdR h維納濾波和卡爾曼濾波 結(jié)論：在所有在所有N階階FIR濾波器中，最優(yōu)濾波器的均方誤差值是濾波器中，最優(yōu)濾波器的均方誤差值是最小的，從這個(gè)意義上說，它是最優(yōu)的。最小的，從這個(gè)意義上說，它是最優(yōu)的。其階數(shù)越高，采用的已知信息就越多，它的最小均方誤差就越小，但

11、相應(yīng)的計(jì)算量也越大。維納濾波和卡爾曼濾波2.3 離散維納濾波器的離散維納濾波器的z域解域解n白化濾波器白化濾波器n非因果非因果IIR維納濾波器的維納濾波器的Z域解域解n因果因果IIR維納濾波器的維納濾波器的Z域解域解維納濾波和卡爾曼濾波n 若不考慮濾波器的因果性，維納霍夫方程可以改寫為 ( )( )()( )*xdxxxxmrkh m rkmh krk 設(shè)定d(n)=s(n)，對(duì)上式兩邊做Z變換，得到 Sxs (z)=Hopt(z)Sxx(z) ( )( )( )xsoptxxSzHzSzx(n)=s(n)+v(n) 假設(shè)信號(hào)和噪聲不相關(guān)，即rsv(m)=0，則 Sxs (z)=Sss(z)S

12、xx(z)=Sss(z)+Svv(z) ( )( )( )( )( )( )xsssoptxxssvvSzSzHzSzSzSz維納濾波和卡爾曼濾波n 對(duì)于因果IIR維納濾波器，其維納霍夫方程為 0( )( )()( )( )xdxxxxmrkh m rkmh krkk=0, 1, 2, 因?yàn)榇嬖趉0的約束，使得上式不能直接轉(zhuǎn)到Z域求解。如有可能將其轉(zhuǎn)化為非因果問題，則求解會(huì)大大簡(jiǎn)化。維納濾波和卡爾曼濾波 如果濾波器的輸入是白噪聲，即x(n)= w(n)，w(n)是方差為2w的白噪聲，由于 2( )( )xxwwwrkrkk 則因果IIR維納濾波器的維納霍夫方程變?yōu)椋?20( )( )( )(

13、)xdwdwwmrkrkh mkmh k k=0, 1, 2, 2( )wdwrkh kk=0, 1, 2, 由此可見，只要將輸入信號(hào)轉(zhuǎn)化為白噪聲，就可以解得因果IIR維納濾波器的單位脈沖響應(yīng)。維納濾波和卡爾曼濾波1、白化濾波器、白化濾波器n任何具有有理功率譜密度的隨機(jī)信號(hào)都可以看成是由一白色噪聲w(n)激勵(lì)某個(gè)物理網(wǎng)絡(luò)所形成。x(n)的時(shí)間序列信號(hào)模型 21( )( ) ()xxwPzB z B z)()()(zWzBzX維納濾波和卡爾曼濾波一般把信號(hào)轉(zhuǎn)化為白噪聲的過程稱為白化白化，對(duì)應(yīng)的濾波器稱為白化濾波器白化濾波器。 x(n)的白化濾波器 如果B(z)是一個(gè)最小相移網(wǎng)絡(luò)函數(shù)，那么1/B(

14、z)顯然也是一個(gè)物理可實(shí)現(xiàn)的最小相移網(wǎng)絡(luò)，因此可以利用上式白化x(n)。)()(1)(zXzBzW維納濾波和卡爾曼濾波利用白化x(n)的方法求解維納-霍夫方程 n 利用白化x(n)的方法求解維納-霍夫方程:)()()(zBzGzH維納濾波和卡爾曼濾波于是，在最小均方誤差準(zhǔn)則下，求最佳于是，在最小均方誤差準(zhǔn)則下，求最佳Hopt(z)的問題就歸結(jié)的問題就歸結(jié)為求最佳為求最佳G(z)的問題了。的問題了。G(z)當(dāng)然也需分因果性或非因果性的當(dāng)然也需分因果性或非因果性的約束情況加以討論。約束情況加以討論。21( )( ) ()xxPzB z B z 如果已知信號(hào)的Pxx(z)，即可由下式求得B(z) 。

15、 維納濾波和卡爾曼濾波n 計(jì)算計(jì)算Hopt (z)： ( )( )( )( )( ) ()ky ns nw ng ng k w nk2、 非因果非因果IIR維納濾波器的求解維納濾波器的求解維納濾波和卡爾曼濾波22*22*2ss( )() ( )( ) ()(| ( )| ( )( )( ) ()(0)|( )|( ) ( )() ()| kkwkrkkEg kE e nEs ng kEg k g r wE s nwnk w nrnw nkrk s ng k w nk s ng kg k r 第一項(xiàng)第二項(xiàng)*22ss2( )( )( )( )|(0)( )wswskkwswswkkwwkg k r

16、krkrrg k 第三項(xiàng)(2.3.9) 維納濾波和卡爾曼濾波 求滿足最小均方誤差條件下的求滿足最小均方誤差條件下的g(k)：為求得相對(duì)于g(k)的最小均方誤差值，令( )( )0wswwrkg k -k 2| ( )| 0E e ng k2( )( )wsoptwrkgk -k 2( )( )wsoptwSzGzZ變換后 維納濾波和卡爾曼濾波 非因果非因果IIR維納濾波器的最佳解：維納濾波器的最佳解： optopt2( )( )1( )( )( )wswGzSzHzB zB zs(n)=s(n)*(n)，x(n)=w(n)*b(n)rxs(m)=rws(m)*b(-m) Sxs (z)=Sws

17、(z)B(z-1) 1( )( )()xswsSzSzB z維納濾波和卡爾曼濾波 非因果IIR維納濾波器的復(fù)頻域最佳解的一般表達(dá)式 opt21( )( )11( )( )()( )xsxswxxSzSzHzB z B zSz假定信號(hào)與噪聲不相關(guān)，即當(dāng)Es(n)v(n)=0時(shí)可以得到： Sxs(z)=Sss(z) Sxx(z)=Sss(z)+Svv(z) 1( )( )()sswsSzSzB z維納濾波和卡爾曼濾波 信號(hào)和噪聲不相關(guān)時(shí)，非因果IIR維納濾波器的復(fù)頻域最佳解和頻率響應(yīng)分別為 )()()()()()(optzSzSzSzSzSzHvvssssxxxs)()()()e ()e ()e

18、()e (jjjjoptvvssssvvssssPPPSSSH維納濾波和卡爾曼濾波n由上式可知：當(dāng)噪聲為0時(shí)，Hopt=1，信號(hào)全部通過；當(dāng)信號(hào)為0時(shí)， Hopt=0，噪聲全部被抑制掉；當(dāng)即有信號(hào)又有噪聲時(shí)， Hopt1，大小隨Pvv的增加而減小，從而達(dá)到降低噪聲影響的目的。011)e (joptHPss(ej)0, Pvv(ej)=0 Pss(ej)0, Pvv(ej) 0 Pss(ej)=0, Pvv(ej) 0 維納濾波和卡爾曼濾波圖 2.3.6 非因果維納濾波器的傳輸函數(shù)的幅頻特性 維納濾波和卡爾曼濾波n 計(jì)算最小均方誤差計(jì)算最小均方誤差E|e(n)|2min： 22min2|( )|

19、 ( )| (0)wssskwrkE e nr 第一項(xiàng)根據(jù)圍線積分法求逆Z變換的公式, rss(m)用下式表示: CmsssszzzSmrd)(j21)(1得出 CsssszzzSrd)(j21)0(1維納濾波和卡爾曼濾波 第二項(xiàng)由帕塞伐爾定理：zzzYzXnynxCnd1)(j21)()(*取y(n)=x(n), 有 zzzXzXnxCnd)(j21| )(|12因此 211d|( )|( )()2jwswswsCnzrkSz Szz得到 21min211d| ( )| ( )( )()2jsswswsCwzE e nSzSz Szz維納濾波和卡爾曼濾波112min121()( )( )()

20、( )( )()11d| ( )| ( )2j1d( )()2jwsxsopxsssCsstxsCwsszszSzzE e nSzzzSSzB zB zHzzSzz 1( )( )()xswsSzSzB z21min211d| ( )| ( )( )()2jsswswsCwzE e nSzSz Szz維納濾波和卡爾曼濾波 假定信號(hào)與噪聲不相關(guān)，Es(n)v(n)=0，又因?yàn)閷?shí)信號(hào)的自相關(guān)函數(shù)是偶函數(shù)，即rss(m)=rss(-m)，則2m1(1)in( )1d| ( )| ( )()2j( )( )( )( )()1d2j( )( )( )( )1d2j( )( )( )1d2j( )optH

21、ssssssCxxssxxssssCxxssxxssCxxssvvCxzxSzzE e nSzSzSzzSz SzSz SzzSzzSzSzSzzSzzSz SzzSzz Sxs(z)=Sss(z) ，Sxx(z)=Sss(z)+Svv(z)； Sss(z)=Sss(z-1) 維納濾波和卡爾曼濾波3 3、 因果因果IIRIIR維納濾波器的求解維納濾波器的求解n 若維納濾波器是一個(gè)因果濾波器， 要求 g(n)=0 n0 則濾波器的輸出信號(hào) 0( )( )( )( )( ) ()ky ns nw ng ng k w nk估計(jì)誤差的均方值 E|e(n)|2=E|s(n)-y(n)|2 類似于（2.3

22、.9）式的推導(dǎo)，得到 222200( )1| ( )| (0)( )|( )|wssswwskkwwrkE e nrg krk維納濾波和卡爾曼濾波要使均方誤差取得最小值， 當(dāng)且僅當(dāng) 2opt2( )0( )00( )( )wswwswrnngnnrnu n令 0opt221( )( ) ( )( )( )11( )ZT( )( )()nnwswswsnnxsoptwswwSzrn u n zrn zSzGzgnSzB z維納濾波和卡爾曼濾波因果維納濾波器的復(fù)頻域最佳解為 )()()(11)()()(12optzBzSzBzBzGzHxsopt維納濾波和卡爾曼濾波維納濾波的最小均方誤差為 22m

23、in20*212121|( )| ( )| (0)1(0)( ) ( )( )11d(0)( )()2j( )()11d( )2j()( )1( )2jwssskwsswswsksswswsCxsxsssCwssCrkE e nrrrk u k rkzrSzSzzSzSzzSzB zB zzSz 1optd( )()xszHz Szz維納濾波和卡爾曼濾波 非因果情況時(shí)，濾波器的最小均方誤差為22min2|( )| ( )| (0)wssskwrkE e nr 對(duì)于因果情況， 22min20|( )| ( )| (0)wssskwrkE e nr 比較兩式，可以看出非因果情況的E|e(n)|2m

24、in一定小于等于因果情況E|e(n)|2min。維納濾波和卡爾曼濾波 因果維納濾波器設(shè)計(jì)的一般方法： (1) 根據(jù)觀測(cè)信號(hào)x(n)的功率譜求出它所對(duì)應(yīng)信號(hào)模型的傳輸函數(shù)，即采用譜分解的方法得到B(z)，Sxx(z)=2wB(z)B(z-1)。 (2) 求的Z反變換，取其因果部分再做Z變換，即舍掉單位圓外的極點(diǎn)，得 (3) 積分曲線取單位圓，計(jì)算Hopt(z), E|e(n)|2min。 )()(1zBzSxs)()(1zBzSxs維納濾波和卡爾曼濾波例例 2.3.1 已知 )8 . 01)(8 . 01 (36. 0)(1zzzSss信號(hào)和噪聲不相關(guān)，即rsv(m)=0，噪聲v(n)是零均值、

25、單位功率的白噪聲（2v=1,mv=0)，求Hopt(z)和E|e(n)|2min。 解解 根據(jù)白噪聲的特點(diǎn)得出Svv(z)=1, 由噪聲和信號(hào)不相關(guān)， 得到rxx(m)=rss(m)+rvv(m)。 11211( )( )( )0.361(1 0.8)(1 0.8 )1.6 (1 0.5)(1 0.5 )( ) ()(1 0.8)(1 0.8 )xxssvvwSzSzSzzzzzB z B zzz維納濾波和卡爾曼濾波考慮到B(z)必須是因果穩(wěn)定的系統(tǒng)，得到 1211 0.5( ),1.61 0.8wzB zz (1)、 首先分析物理可實(shí)現(xiàn)情況:1opt2111( )1110.80.36( )(

26、 )()1.6 (10.5)(10.8)(10.5 )xswSzzHzB zB zzzz因?yàn)?111110.810.360.36Re,0.8(1 0.8)(1 0.5 )(1 0.8)(1 0.5 )0.360.8(1 0.8)(1 0.5 )3(0.8)5nnznZszzzzzzzzz維納濾波和卡爾曼濾波1opt11110.80.631( )1.6 (10.5)10.8810.5zHzzzz取其因果部分 110.3633/5(0.8)(1 0.8)(1 0.5 )51 0.8nZTu nzzz 110.363(0.8)(1 0.8)(1 0.5 )5nZu nzz維納濾波和卡爾曼濾波2min

27、1opt111| ( )| 1d( )( )()2j310.360.36d82j(1 0.8)(1 0.8 )1 0.5(1 0.8)(1 0.8 )50.45(0.5)182(0.8)(1/0.8)(0.5)ssxsCCCE e nzSzHz Szzzzzzzzzzdzjzzz取單位圓為積分圍線，上式等于單位圓內(nèi)的極點(diǎn) )5 . 08 . 0(zz及的留數(shù)之和，即 維納濾波和卡爾曼濾波未經(jīng)濾波器的均方誤差 1| )(| )()(| )(|2222vnvEnsnxEneE20.80.5min550.450.50.450.588( )(1/0.8)(0.5)(0.8)(1/0.8)3/8zzzz

28、E e nzzzz 所以通過因果維納濾波器后均方誤差下降8/3(2.7)倍。維納濾波和卡爾曼濾波 (2)、 對(duì)于非物理可實(shí)現(xiàn)情況有 opt111( )( )( )( )( )( )0.36(1 0.8)(1 0.8 )0.361(1 0.8)(1 0.8 )0.225(1 0.5)(1 0.5 )xsssxxssvvSzSzHzSzSzSzzzzzzz維納濾波和卡爾曼濾波21minopt111111d| ( )| ( )( )()2j10.360.2250.36d2j (1 0.8)(1 0.8 )(1 0.5)(1 0.5 )(1 0.8)(1 0.8 )10.360.22512(1 0.8

29、)(1 0.8 )(1 0.5)(1 0.5 )ssxsCCzE e nSzHz Szzzzzzzzzzdzjzzzzz11110.36 (1.0250.50.5 )d2j(1 0.8)(1 0.8 )(1 0.5)(1 0.5 )Czzzzzzzz維納濾波和卡爾曼濾波令 1110.36 (1.0250.50.5 )( )(1 0.8)(1 0.8 )(1 0.5)(1 0.5 )zzF zzzzz z單位圓內(nèi)有兩個(gè)極點(diǎn)0.8和0.5, 應(yīng)用留數(shù)定理，有 1035 . 0),(Res8 . 0),(Res)(min2zFzFneE結(jié)論：比較兩種情況下的最小均方誤差,可以看出非物理可實(shí)現(xiàn)情況的最

30、小均方誤差小于物理可實(shí)現(xiàn)情況的均方誤差。 維納濾波和卡爾曼濾波2.4 維維 納納 預(yù)預(yù) 測(cè)測(cè)n預(yù)測(cè)的可能性預(yù)測(cè)的可能性n維納預(yù)測(cè)的計(jì)算維納預(yù)測(cè)的計(jì)算n純預(yù)測(cè)純預(yù)測(cè)n一步線性預(yù)測(cè)的時(shí)域解一步線性預(yù)測(cè)的時(shí)域解維納濾波和卡爾曼濾波 H(z) x(n)=s(n)+(n) )( )(nsny( H(z) x(n)=s(n)+(n) ( )()y ns nN 圖2.4.1(b) 維納預(yù)測(cè)器圖2.4.1(a) 維納濾波器維納濾波和卡爾曼濾波1、預(yù)測(cè)的可能性、預(yù)測(cè)的可能性n信號(hào)可以預(yù)測(cè)是由于信號(hào)內(nèi)部存在關(guān)聯(lián)性。數(shù)據(jù)間關(guān)聯(lián)越密切，預(yù)測(cè)越準(zhǔn)確；完全不關(guān)聯(lián)，則無法預(yù)測(cè)。 2( )wwwrmm 0( )0wwmrm時(shí)

31、， 21( ),0 xxwxxSzB z B zrm輸入：輸出：維納濾波和卡爾曼濾波n隨機(jī)信號(hào)預(yù)測(cè)的特點(diǎn)：隨機(jī)信號(hào)預(yù)測(cè)的特點(diǎn)：以信號(hào)的統(tǒng)計(jì)特性作為預(yù)測(cè)的主要依據(jù)；不可能作預(yù)測(cè)誤差為零的絕對(duì)精確的預(yù)測(cè)；實(shí)際信號(hào)通常帶有噪聲干擾，使得預(yù)測(cè)和濾波聯(lián)系在一起，成為帶濾波的預(yù)測(cè)。維納濾波和卡爾曼濾波2 2、 維納預(yù)測(cè)的計(jì)算維納預(yù)測(cè)的計(jì)算0( )()( ) ()()()()my ns nNh m x nNme nNs nNs nN( )()dyns nN )()(Nnsnyd )()()(nnsnx )( )(Nnsny H（z） 維納濾波和卡爾曼濾波 同理，要使預(yù)測(cè)誤差的均方值為最小，須滿足 2| ()

32、| 0kE e nNh其中，hk表示h(k)。 02jiiixxhNnsE0( )( )(), 0dxyoptxxmrkhm rkmk即 2()jhmin E e nN維納濾波和卡爾曼濾波NxsxyxsdxyzzSzSkNrkNnsnxEknynxEkrdd)()()()()()()()(*n 非因果維納預(yù)測(cè)器的最佳解為 )()()()()(optzSzSzzSzSzHxxxsNxxxydn 因果維納預(yù)測(cè)器的最佳解為 )()()(11)()()(11)(1212optzBzSzzBzBzSzBzHxsNxyd維納濾波和卡爾曼濾波維納預(yù)測(cè)的最小均方誤差為 21minopt1opt1| ()| (

33、 )( )()2j1( )( )()2jdssxyCNssxsCdzE e nNSzHz SzzdzSzHz Szzz 維納預(yù)測(cè)的求解和維納濾波器的求解方法是一致的。 維納濾波和卡爾曼濾波3 3、 純預(yù)測(cè)純預(yù)測(cè)n 假設(shè)假設(shè)x(n)=s(n)+v(n)，純預(yù)測(cè)問題是在，純預(yù)測(cè)問題是在v(n)=0情況下對(duì)情況下對(duì)s(n+N), N0的預(yù)測(cè)，此時(shí)的預(yù)測(cè)，此時(shí)x(n)=s(n)。 因果情況下，假設(shè)s(n)與v(n)不相關(guān)，純預(yù)測(cè)情況下的輸入信號(hào)的功率譜及維納預(yù)測(cè)器的最佳解分別為 )()(1)()()(11)()()()()()(12opt12zBzzBzBzSzzBzHzBzBzSzSzSNxsNss

34、xsxx維納濾波和卡爾曼濾波純預(yù)測(cè)器的最小均方誤差為 CNNCNNCNxssszdzzBzzzBzBzBzdzzzBzBzBzBzzBzBzdzzzSzHzSNneE)()()()(j2)()()()()()(j21)()()(j21| )(|11212121optmin2應(yīng)用復(fù)卷積定理 zzzYzXnynxCnd1)(j21)()(*維納濾波和卡爾曼濾波取y(n)=x(n) zzzXzXnxCnd)()(j21)(12得到 )( )()()()()()(| )(|10220022222min2nbNnbnbNnbnuNnbnbNneENnnnnn 可以看到，隨著N增加，E|e(n+N)|2m

35、in也增加。這一點(diǎn)也容易理解，當(dāng)預(yù)測(cè)的距離越遠(yuǎn)，預(yù)測(cè)的效果越差，偏差越大，當(dāng)預(yù)測(cè)的距離越遠(yuǎn)，預(yù)測(cè)的效果越差，偏差越大，因而因而E|e(n+N)|2min越大。越大。 維納濾波和卡爾曼濾波4、 一步線性預(yù)測(cè)的時(shí)域解一步線性預(yù)測(cè)的時(shí)域解n 一步線性預(yù)測(cè)一步線性預(yù)測(cè)：采用p個(gè)最近的采樣值來預(yù)測(cè)時(shí)間序列下一時(shí)刻的值，包括前向預(yù)測(cè)和后向預(yù)測(cè)兩種。 前向預(yù)測(cè)前向預(yù)測(cè)：在噪聲v(n)=0的情況下，已知x(n-1), x(n-2)，,x(n-p), 預(yù)測(cè)當(dāng)前時(shí)刻x(n)； 后向預(yù)測(cè)后向預(yù)測(cè)：在噪聲v(n)=0的情況下，已知x(n)，x(n-1)，x(n-p+1)基礎(chǔ)上，估計(jì)x(n-p)。 維納濾波和卡爾曼濾波

36、圖 2.4.2 前后向預(yù)測(cè)數(shù)據(jù)之間的關(guān)系 x(n p) , x(n p1) , , x(n2) , x(n1) , x(n)后向預(yù)測(cè)前向預(yù)測(cè)維納濾波和卡爾曼濾波（1）、前向預(yù)測(cè)）、前向預(yù)測(cè)n設(shè)定系統(tǒng)的單位脈沖響應(yīng)為h(n)，其輸出信號(hào)為1( )( )( )( ) ()pky ns nx nh k x nk令apk=-h(k)，則 pkpkknxanx1)()( n 前向預(yù)測(cè)誤差為 pkpkpkpkknxaknxanxnxnxne01)()()()( )()(其中, ap0=1, 維納濾波和卡爾曼濾波一步前向預(yù)測(cè)器結(jié)構(gòu)圖 維納濾波和卡爾曼濾波n前向預(yù)測(cè)誤差的均方值為： 212)()(| )(|p

37、kpkknxanxEneEplaneEpl, 2 , 10| )(|2或Ee (n)x* (n-l)=0 l=1, 2, , p 即*12( )()()01,2,PpkkEx na x nkx nllppkxxpkxxlkralr10)()(維納濾波和卡爾曼濾波 由于預(yù)測(cè)器的輸出 是輸入信號(hào)的線性組合，故預(yù)測(cè)誤差與預(yù)測(cè)的信號(hào)值同樣滿足正交性原理：)( nx0)( )(*nxneEn 前向預(yù)測(cè)誤差的最小均方值為： 2*min*11| ( )| ( )( ( )( )( ) ( )( )()( )(0)( )ppkkpxxpk xxkE e nE e n x nx nE e n x nEx na

38、x nkx nra rk維納濾波和卡爾曼濾波pkxxpkxxpkxxpkxxpllkralrneEkrar11min2, 2 , 10)()(| )(|)()0(將方程組寫成矩陣形式 （Yule-Walker方程）方程）00| )(|1)0() 1()() 1()0() 1 ()() 1 ()0(min21neEaarprprprrrprrrpppxxxxxxxxxxxxxxxxxx維納濾波和卡爾曼濾波1optxxxdhhR R12(0)(1)(1)(0)(1)(0)(2)(1)(1)(1)(2)(0)xxxxxxxdxxxxxxxdxdMxxxxxxrrrMhrhrrrMrrMhrMrMr

39、維納霍夫方程00| )(|1)0() 1()() 1()0() 1 ()() 1 ()0(min21neEaarprprprrrprrrpppxxxxxxxxxxxxxxxxxx Yule-Walker方程維納濾波和卡爾曼濾波 前向預(yù)測(cè)誤差為 1( )( )( )( )()ppkke nx nx nx na x nk AR信號(hào)模型為 1( )()pkkx na x nkw n 222min,pkkwaa e nw nE enE wn對(duì)比兩式可知，維納濾波和卡爾曼濾波（2）、后向預(yù)測(cè)）、后向預(yù)測(cè)n假設(shè)前、后向預(yù)測(cè)器具有相同的系數(shù)，即 1( )()()()ppkky ns npx npa x np

40、k n 后向預(yù)測(cè)誤差為 pkpkkpnxapnxpnxpnxnb1)()()( )()(維納濾波和卡爾曼濾波n后向預(yù)測(cè)誤差的均方值為： 2122)()()( )()(PkpkkpnxapnxEpnxpnxEnbE2| ( )| 01,2,plE b nlpa或Eb (n)x* (n-p+l)=0 l=1, 2, , p 即*12()()()01,2,ppkkEx npa x npkx npllppkxxpkxxlkralr10)()(維納濾波和卡爾曼濾波 由于預(yù)測(cè)器的輸出 是輸入信號(hào)的線性組合，故預(yù)測(cè)誤差與預(yù)測(cè)的信號(hào)值同樣滿足正交性原理：()x np*( ) ()0E b n x npn 后向

41、預(yù)測(cè)誤差的最小均方值為： 2*min*1( )( )()()( ) ()( ) ()( ) ()()()()ppkkE b nE b nx npx npE b n x npb n x npE b n x npEx npa x npkx np維納濾波和卡爾曼濾波同理，可以得到下面方程組： 2min11(0)( )| ( )| ( )()01,2,pxxpk xxkpxxpk xxkra rkE b nrla rkllp將方程組寫成Yule-Walker方程方程形式2min1(0)(1)( )1| ( )| (1)(0)(1)00( )(1)(0)xxxxxxpxxxxxxppxxxxxxrrrp

42、E b narrrparprpr維納濾波和卡爾曼濾波 Yule-Walker方程具有以下特點(diǎn)： (1) 除了第一個(gè)方程外，其余都是齊次方程; (2) 與維納-霍夫方程相比，不需要知道rxs(m)。 (3) 由方程組的p+1個(gè)方程，可以確定apk,k=1, 2, , p和Ee2(n)min，共計(jì)p+1個(gè)未知數(shù)。維納濾波和卡爾曼濾波n Levinson-Durbin算法算法 Levinson-Durbin算法首先由一階AR模型開始，一階AR模型(p=1)的Yule-Walker為 01)0() 1 ()2()0(211 , 1arrrrxxxxxxxx由該方程解出： )0()1 ()0() 1 (

43、21 , 1211 , 1xxxxxxrarra維納濾波和卡爾曼濾波然后增加一階，即令p=2，得到 001)0() 1 ()2() 1 ()0() 1 ()2() 1 ()0(222, 21 , 2aarrrrrrrrrxxxxxxxxxxxxxxxxxx 由上面方程解出： 2122, 2221 , 12, 21 , 1221 , 2211 , 12222, 2)1 ()1 ()0(/)2() 1 () 1 ()0(/)1 ()2()1 ()0(/)1 ()2()0(aaaarrrrrrararrrrrraxxxxxxxxxxxxxxxxxxxxxxxxxx維納濾波和卡爾曼濾波 然后令p=3,

44、 4, , 以此類推， 可以得到Levinson-Durbin的一般遞推公式如下： 11,121,1,1,2221220( )()1,2,3,1(1)(0)( )pxxpk xxkpppp pp kpkppp kpppxxrparpkkkaaak akpkrE xn 維納濾波和卡爾曼濾波例例2.4.2 已知 )8 . 01)(8 . 01 (36. 0)(1zzzSxxx(n)為AR模型，求AR模型參數(shù)（包括模型階數(shù)和系數(shù)）。rxx(m)=0.8|m| 解解 首先對(duì)Sxx(z)做傅里葉反變換，得到x(n)的自相關(guān)函數(shù)rxx(m), 維納濾波和卡爾曼濾波 （1）、采用試驗(yàn)的方法確定模型階數(shù)p。首

45、先取p=2，各相關(guān)函數(shù)值由上式計(jì)算 00118 . 064. 08 . 018 . 064. 08 . 01221aa計(jì)算得到 a1=-0.8， a2=0, 2=0.36 維納濾波和卡爾曼濾波（2）、如果取p=3，可計(jì)算出a1=-0.8, a2=a3=0, 2=0.36，說明AR模型的階數(shù)只能是一階的。（3）、采用譜分解的方法，即對(duì)Sxx(z)進(jìn)行譜分解，得到的模型也是一階的，其時(shí)間序列模型和差分方程為 ) 1(8 . 0)()(8 . 011)(1nxnnxzzB維納濾波和卡爾曼濾波2.5 卡爾曼卡爾曼(Kalman)濾波濾波 n卡爾曼濾波的狀態(tài)方程和量測(cè)方程卡爾曼濾波的狀態(tài)方程和量測(cè)方程n

46、卡爾曼濾波的遞推算法卡爾曼濾波的遞推算法維納濾波和卡爾曼濾波1、卡爾曼濾波的狀態(tài)方程和量測(cè)方程卡爾曼濾波的狀態(tài)方程和量測(cè)方程 假設(shè)某系統(tǒng)k時(shí)刻的狀態(tài)變量為xk，狀態(tài)方程和量測(cè)方程（也稱為輸出方程）表示為 11kkkkxA xwkkkkvxCy Ak為狀態(tài)轉(zhuǎn)移矩陣，描述系統(tǒng)狀態(tài)由時(shí)間k-1的狀態(tài)到時(shí)間k的狀態(tài)之間的轉(zhuǎn)移； Ck為量測(cè)矩陣，描述狀態(tài)經(jīng)其作用，變成可量測(cè)或可觀測(cè)的； xk為狀態(tài)向量，是不可觀測(cè)的；yk為觀測(cè)向量； wk為過程噪聲；vk為量測(cè)噪聲。維納濾波和卡爾曼濾波圖 2.5.1 卡爾曼濾波器的信號(hào)模型 kskx維納濾波和卡爾曼濾波 假設(shè)狀態(tài)變量的增益矩陣A不隨時(shí)間發(fā)生變化，wk,v

47、k都是零均值白噪聲，方差分別是Qk和Rk，并且初始狀態(tài)x0與wk,vk都不相關(guān)，且噪聲向量wk,vk也互不相關(guān)，即2200:0,:0,0;,00TkkwkkjkkjTkkvkkjkkjkkTkkwE wQE w wQvE vRE v vRCov x wCov x vE w v其中 jkjkkj01維納濾波和卡爾曼濾波2、 卡爾曼濾波的遞推算法卡爾曼濾波的遞推算法 n 基本思想： 先不考慮輸入信號(hào)k和觀測(cè)噪聲vk的影響，得到狀態(tài)變量和輸出信號(hào)（即觀測(cè)數(shù)據(jù)）的估計(jì)值 和 再用輸出信號(hào)的估計(jì)誤差 加權(quán)后校正狀態(tài)變量的估計(jì)值 ，使?fàn)顟B(tài)變量估計(jì)誤差 的均方值最小。 kxkyky kxkxminkkkkk

48、kkkkTkkkxyyyyxxxxE x xx 量測(cè)方程校正維納濾波和卡爾曼濾波 當(dāng)不考慮觀測(cè)噪聲和輸入信號(hào)時(shí)，狀態(tài)方程和量測(cè)方程為：11 kkkkkkkkkxACxCyxAx 輸出信號(hào)的估計(jì)誤差（新息）為：kkkyyy維納濾波和卡爾曼濾波 為了提高狀態(tài)估計(jì)的質(zhì)量，用輸出信號(hào)的估計(jì)誤差 來校正狀態(tài)變量 ky)()(111kkkkkkkkkkkkkxACyHxAyyHxAx其中，Hk為增益矩陣，實(shí)質(zhì)是一加權(quán)矩陣。 校正后狀態(tài)變量的估計(jì)誤差及其均方值分別為：kkkxxxT()() TkkkkkkkPE x xE xxxx 未經(jīng)校正的狀態(tài)變量估計(jì)誤差的均方值為：T()() kkkkkPE xxxx維

49、納濾波和卡爾曼濾波 卡爾曼濾波要求狀態(tài)變量的估計(jì)誤差的均方值Pk為最小， 因此卡爾曼濾波的關(guān)鍵就是要得到卡爾曼濾波的關(guān)鍵就是要得到Pk與與Hk的關(guān)系式，即通過選擇的關(guān)系式，即通過選擇合適的合適的Hk,使使Pk取得最小值。取得最小值。 minkkkPHx維納濾波和卡爾曼濾波卡爾曼遞推公式總結(jié)如下：1T11TT11)()()(kkkkkkkkkkkkkkkkkkkkkkkkPCHIPQAPAPRCPCCPHxACyHxAx維納濾波和卡爾曼濾波n 假設(shè)初始條件Ak,Ck,Qk,Rk,yk,xk-1, Pk-1已知，其中x0=Ex0, P0=varx0, 那么，遞推流程見圖2.5.2。 0011111

50、22222,kkkkkx Px PHx Px PHx PxPHxP維納濾波和卡爾曼濾波圖 2.5.3 求 的卡爾曼濾波一步遞推算法 1111()kkkkkkkkkkkkkkkkkxA xyC xC A xxA xHyC A xkx維納濾波和卡爾曼濾波n卡爾曼濾波的特點(diǎn)：采用遞推的方式，不要求存儲(chǔ)全部的觀測(cè)數(shù)據(jù)，便于實(shí)時(shí)計(jì)算；Hk,Pk, Pk與觀測(cè)數(shù)據(jù)yk無關(guān)，可以事先計(jì)算好并存儲(chǔ)；Pk與Qk，Rk是緊密相關(guān)的：Rk增大時(shí)，Hk變小；（量測(cè)噪聲大時(shí)，增益應(yīng)取小些，以便減弱量測(cè)噪聲的影響）P0減小或Qk1變小或兩者都變小時(shí)， Pk變小， Pk變小， Hk變?。唬?P0減小說明初始估計(jì)較好， Qk

51、1變小表示狀態(tài)轉(zhuǎn)移的隨機(jī)波動(dòng)小，故新觀測(cè)值對(duì)狀態(tài)預(yù)測(cè)的校正影響減弱，增益應(yīng)取小些）維納濾波和卡爾曼濾波n例例 x(t)是一個(gè)時(shí)不變的標(biāo)量隨機(jī)變量，y(t)=x(t)+v(t)是觀測(cè)數(shù)據(jù)，其中v(t)為白噪聲。若用Kalman濾波器自適應(yīng)估計(jì)x(t)，試設(shè)計(jì)Kalman濾波器。構(gòu)造狀態(tài)空間方程設(shè)計(jì)x(t)的更新公式 0101dx tx tx nx ndtx nx ny nx nv n狀態(tài)方程量測(cè)方程維納濾波和卡爾曼濾波例例 已知1var, 0, 0)(, 1)(,)8 . 01)(8 . 01 (36. 0)(0011xPxzSzSzzzSvxvvxx在k=0時(shí)開始觀察yk, yk=xk+vk，用卡爾曼過濾的計(jì)算公式求xk， 并與維納過濾的方法進(jìn)行比較。 維納濾波和卡爾曼濾波解解 (1) 由x(n)功率譜及量測(cè)方程，確定卡爾曼遞推算法。 首先對(duì)Sxx(z)進(jìn)行功率譜分解，確定x(n)的信號(hào)模型B(z)，從而確定Ak。根據(jù)Sxx(z) =2B(z)B(z-1)，得出 11121( )0.361 0.81 0.80.36,( )1 0.8( )0.8 (1)(1)xxzzSzzzzB zzx nx nn由此可以得到卡爾曼濾波的狀態(tài)方程為：( )0.8 (1)(1),0.8kx nx nnA維納濾波和卡爾曼濾波 由量測(cè)方程yk=xk+vk, 確定Ck=1， 2(0)1kvv