自適應(yīng)信號(hào)處理講義之一北京航空航天大學(xué)

1、自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論 3 3. .1 1 引引 言言 一一、基基本本概概念念 通通信信與與控控制制中中的的濾濾波波問問題題： 指從獲得的信號(hào)與干擾中盡可能地消除干擾，分離出所期望的消息；或：對(duì)一系列有誤差的實(shí)際測(cè)量數(shù)據(jù)進(jìn)行處理，得出所期望數(shù)據(jù)的估值。 在波形估計(jì)與狀態(tài)估計(jì)中, 基于觀測(cè) z(k)或 z(k)對(duì) x(k+)或隨機(jī)矢量 x(k+)進(jìn)行最優(yōu)估計(jì)時(shí)， 若0，就是濾波問題 若0，就是預(yù)測(cè)問題 若0，就是平滑問題 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線

2、線性性性性濾濾濾濾波波波波理理理理論論論論二、濾波歷史二、濾波歷史 維納濾波維納濾波：1949 把統(tǒng)計(jì)學(xué)觀點(diǎn)引入到通信與濾波理論中，是線性濾波理論研究的一個(gè)重要開端。 是使均方誤差最小的系統(tǒng)最佳沖激響應(yīng)的明確表達(dá)式 導(dǎo)出了最佳濾波器沖激響應(yīng)opth滿足的方程即維納霍夫方程 不適用于非平穩(wěn)過程 難以進(jìn)行實(shí)時(shí)處理 卡爾曼濾波卡爾曼濾波：1960 年，把狀態(tài)變量的概念引入到最小均方誤差估計(jì)中來，建立了 KF 理論。 是實(shí)時(shí)遞推算法 把多狀態(tài)變量引入了濾波理論 易于用計(jì)算機(jī)求解，適于實(shí)時(shí)處理，同時(shí)突破了平穩(wěn)隨機(jī)過程的限制 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線

3、性性性性濾濾濾濾波波波波理理理理論論論論 3 3. .2 2 信信信信號(hào)號(hào)號(hào)號(hào)模模模模型型型型 一、 平穩(wěn)機(jī)過程的統(tǒng)計(jì)量 均值、均方值和方差 dxkxpxxExkkk),( dxkxpxxEkk),(|22 2222|kkkkxxxExxEk 自相關(guān)函數(shù)、協(xié)方差和功率譜密度函數(shù) ),(lkxxxElkR lkxllkklkxxlkRxxxxExxCov),(),( )()(xxSmRF：mjmTxxemRS)()( 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二二、 時(shí)時(shí)間間序序列列模模型型 這種模型應(yīng)該具有如下的特性

4、： 足夠的一般性、最小預(yù)測(cè)誤差特性和可辨識(shí)性。 1幾種時(shí)間序列模型 (1) 自回歸模型 AR(n)(Autoregressive) knknkkuxaxax11, kkuxzA)( 模型多項(xiàng)式為：nnzazazA111)( 若0)(zA的根全在單位圓內(nèi)，則 AR(n)是平穩(wěn)的。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論(2) 滑動(dòng)平均模型 MA(m)(Moving Average) mkmkkkububux11, kkuzBx)( 模型多項(xiàng)式為：nnzbzbzB111)( 若0)(zB的根全在單位圓內(nèi)，則 MA(m

5、)是可逆的。 (3)自回歸滑動(dòng)平均模型 ARMA(m,n) (Autoregressive Moving Average) mkmkknknkkububuxaxax1111， kkuzBxzA)()( 其中ku為零均值、方差為2w的白噪聲，)(zA與)(zB無公因子，應(yīng)分別滿足上述平穩(wěn)性和可逆性條件。 (4) 輸入控制量的 ARMA模型ARMAX模型(xexogenous input) 又稱為 CARMA模型(ccontrolled input) krkkuzCzuzBxzA)()()( 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理

6、理理理論論論論2幾種時(shí)間序列信號(hào)模型的適用性 WOLD分分解解定定理理： 任意寬平穩(wěn)過程 x 可以分解為相互正交的兩部分之和：sxxx，其中sx是確定的寬平穩(wěn)過程，x是純非確定的寬平穩(wěn)過程。x可以按離散指標(biāo)表示為一個(gè)正交隨機(jī)序列kw的后向滑動(dòng)和：kjjjkubx(MA 模型)，或按連續(xù)指標(biāo)表示為一個(gè)正交增量過程)(tu的后向滑動(dòng)積分：tsdustbtx)()()(。 在許多應(yīng)用場(chǎng)合，隨機(jī)過程 x 或者不包含確定性部分，或者其確定性部分可除去。 Wold 分解定理說明，在描述時(shí)間序列方面，MA 模型具有普遍適用的性質(zhì)。考慮到 MA 與 AR、ARMA 模型之間的等效性，可知用上述幾種信號(hào)模型能很

7、普遍地代表實(shí)際所能遇到的各種時(shí)間序列。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論預(yù)預(yù)測(cè)測(cè)的的最最優(yōu)優(yōu)性性 作為一個(gè)“充分”的模型，上述描述模型必須具有最小預(yù)測(cè)誤差函數(shù)的特性，因?yàn)槟Ｐ捅旧砭褪怯脕眍A(yù)測(cè)行為的。 由于對(duì)ku的所有假定都以二階矩為基礎(chǔ)，所以最優(yōu)線性預(yù)測(cè)器意味著預(yù)測(cè)誤差方差最小。 如 AR 模型：nikikikuxax1 預(yù)測(cè)值：niikikxax1 預(yù)測(cè)誤差：kkkkuxxx 可以證明，若ku是白噪聲，則預(yù)測(cè)誤差方差最小。 可見，上述描述模型不僅具有足夠的一般性，而且預(yù)測(cè)誤差方差最小。 自自自自適適適適應(yīng)

8、應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論3幾種時(shí)間序列信號(hào)模型之間的聯(lián)系 任意 MA序列可用無限階 AR序列表示/用階數(shù)足夠大的 AR序列近似表示。 任意 ARMA序列可用無限階 AR序列表示/用階數(shù)足夠大的 AR序列近似表示。 即當(dāng)時(shí)間序列可用 MA 或 ARMA 模型表示時(shí)，他們也可用 AR 序列表示。但用不同模型表示同一時(shí)間序列時(shí)的效率不同。 三、 狀態(tài)空間模型 動(dòng)態(tài)方程或消息模型（隨機(jī)動(dòng)態(tài)模型） kkkkkG uxx1 觀測(cè)方程 kkkkkHwxz 其中kx和kz分別為狀態(tài)向量和觀測(cè)向量。kx的均值為0 x、方差為0P；ku

9、為策動(dòng)噪聲，kw為觀測(cè)噪聲，kx與kw不相關(guān)。 任何 ARMAX模型都可以表示為狀態(tài)空間模型。 在平穩(wěn)條件下，任何狀態(tài)空間模型的輸入輸出特性均可表示為 ARMAX模型。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二二、自自相相關(guān)關(guān)函函數(shù)數(shù)、功功率率譜譜與與時(shí)時(shí)間間序序列列信信號(hào)號(hào)模模型型的的關(guān)關(guān)系系 1時(shí)間序列模型與功率譜的關(guān)系 (1) ARMA(m,n)(xS )()1 ()()1 (1111zUzbzbzXzazammnn )()()(zUzHzX 而nnmmzazazbzbzAzBzH111111)()()(

10、由線性系統(tǒng)的輸入輸出關(guān)系，有 )()()()(1zUzHzHzSx 由tjez及2)(uuS，有 2)()()(uTjTjxeHeHS （*） 可見 ARMA 信號(hào)模型的功率譜)(xS是Tje的有理函數(shù)，這種隨機(jī)過程叫有理譜過程。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論(2) )(xS ARMA(m,n) 若已知)(xS，要將之表示為（*）式的乘積形式，這個(gè)過程被稱為譜分解。 一般情況下求譜分解并不容易，但若)(xS為有理譜，則譜分解問題容易解決。 譜譜分分解解定定理理： 若功率譜)(xS是平穩(wěn)隨機(jī)過程的有理譜，

11、那么一定存在一個(gè)零極點(diǎn)都在單位圓內(nèi)的有理譜函數(shù)： mkkknkkkzazbzAzBzH00)()()( 滿足21)()()(uxzHzHzS，02u，式中ka、kb都是實(shí)數(shù)，且100 ba。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論2. 時(shí)間序列模型與自相關(guān)函數(shù)的關(guān)系 (1) 時(shí)間序列)(kRx 如 AR(1)：kkkuaxx1，10 a 式中ku為零均值、12u的白噪聲。 假定00 x，可求 2|22111)(aaaaaxxEkRkkkklklx 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)

12、優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論(2). )(kRx時(shí)間序列 對(duì) ARMA(m,n)模型兩邊分別乘以1nkx、2nkx、nkx2，取期望可得： nkiknRaknRnixix, 2 , 1 , 0)()(1 Yule-Walker方程（正規(guī)方程） 若已知)(kRx，則可求出 AR部分參數(shù)ia。 求出ia以后，可將 AR部分看成一個(gè)已確定的時(shí)間序列，重新定義函數(shù)： nknkkkxaxaxx11 此時(shí) ARMA模型變?yōu)椋?miikikkubux1 對(duì)上式取相關(guān)，可得： mkmkbbbkRjmjjkjkux , , 0)(12 若)(kRx已知，則可由上式求出ib。不過，這是一

13、個(gè)非線性方程組，求解比較困難。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論若隨機(jī)變量 x(k)或隨機(jī)矢量 x(k)及觀測(cè) z(k)或 z(k)是廣義平穩(wěn)的，已知自相關(guān)函數(shù)或功率譜的線性最小均方誤差估計(jì)，即是維納濾波維納濾波求求最最優(yōu)優(yōu)濾波器濾波器的的沖激沖激響應(yīng)響應(yīng)。 若已知信號(hào)的動(dòng)態(tài)模型與測(cè)量方程，則基于觀測(cè)和初始條件的線性無偏最小均方誤差估計(jì)，即是卡爾曼濾波卡爾曼濾波求解求解最優(yōu)最優(yōu)濾波器濾波器輸出輸出的的遞遞推推算法算法。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性

14、濾濾濾濾波波波波理理理理論論論論3 3. .3 3 維維納納濾濾波波理理論論 3 3. .3 3. .1 1 已已知知模模型型與與最最優(yōu)優(yōu)準(zhǔn)準(zhǔn)則則 濾波：指將噪聲中的有用信號(hào)分離出來 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論一一 連續(xù)情況連續(xù)情況1限定：濾波器為線性的2. 線性濾波器的輸入)()()(tttwxz線性觀測(cè)、加性噪聲其中)(tx 是未知的消息，)(tx與噪聲)(tw聯(lián)合平穩(wěn)分布且統(tǒng)計(jì)獨(dú)立。已知)(tx與)(tw的相關(guān)函數(shù))(xR、)(wR，或?qū)?yīng)的功率譜)(xS、)(wS。3 線性濾波器的輸出 )()

15、()()()( ttdttzhzhx即為消息的估計(jì)。4最優(yōu)準(zhǔn)則 最小均方誤差，即 WF 是求使 )( )()( )()(ttttEtJdTdxxxx在 t 時(shí)刻最小的線性系統(tǒng))(topth自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二、離散情況二、離散情況 1 限定 濾波器是線性的，為)(nh 2 輸入為 )()()(nnnwxz線性觀測(cè) 已知)(iRx、)(iRw，0)(wx,Cov，或)(zSx、)(zSw。 3 輸出為 0, 2 , 1 , 0)()()( knknknzhx 3 最優(yōu)準(zhǔn)則 )( )()( )()

16、(nnnnEnJdTdxxxx 最小 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論3.3.3 3.2 .2 維納霍夫方程維納霍夫方程 設(shè)計(jì) WF 即尋找)(th或)(nh，使)(tJ或)(nJ最小。 一一 連續(xù)情況連續(xù)情況 對(duì)于 LMMSE 估計(jì)，有正交投影原理 0,0 ,zxxxLMMSELMMSELMMSEEE 故當(dāng)0)()(ttETzx時(shí)，)(tJ最小 0 ,)()()(0()()()(tdtRtRtdttEdTdzzxhzzhx 為)(th應(yīng)滿足的方程，即 WH 方程。方程存在于0區(qū)間。 自自自自適適適適應(yīng)應(yīng)應(yīng)

17、應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二離散情況二離散情況由正交投影原理：2 , 1 , 0 , 0)()(knknExz而)( )()(nnndxxx 002 , 1 , 0 ),()()(idnininzhx00)()()()()(kdinknEknknEzzhxz00)()()(ikiRikRdzzxh此為 IIRIIR 濾波器，同樣可以采用頻譜因式分解法求解 W-H 方程。自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論對(duì)于 F FI IR R 濾波器 W

18、-H 方程為： 1, 1 , 0 ),()()(10MkkRkiRidMiozxzh 定義：TMnznznz(n) 1() 1()(Z Z ， 則)0()2() 1()2()2() 1 () 1() 1 ()0()()(zzzzzzzzzzzRMRMRMRRRMRRRnnETR R )()(nnEdxzp pTMRRRddd)1 () 1()0(zxzxzx 由上述定義，可把維納霍夫方程寫為矩陣形式：p ph hR Ro 其中TooooMhhh) 1() 1 ()0(h h。 此時(shí) W-H 方程的解為：p pR Rh h1o 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)

19、優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論其中)(nc為發(fā)射機(jī)、信道和接收機(jī)的射頻和中頻部分的合成沖激響應(yīng)。信道輸出接收信號(hào))()()()()()()()(nwkndkcndnwkndkcnzISInkk 3 3 3 3. . . .4 4 4 4 維維維維納納納納濾濾濾濾波波波波的的的的應(yīng)應(yīng)應(yīng)應(yīng)用用用用 一一 時(shí)域?yàn)V波器時(shí)域?yàn)V波器信道均衡信道均衡 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論應(yīng)設(shè)計(jì)均衡器)(nw使誤碼率)(p最小，但)(p與)(nw的關(guān)系為非線性的，故可采用如下最優(yōu)準(zhǔn)則： 最最最最小小小小峰

20、峰峰峰值值值值失失失失真真真真準(zhǔn)準(zhǔn)準(zhǔn)準(zhǔn)則則則則 0ISIZero-forcing 均衡器。 最最最最小小小小均均均均方方方方誤誤誤誤差差差差準(zhǔn)準(zhǔn)準(zhǔn)準(zhǔn)則則則則 )()( 2ndnxEJd最小 p pR RW W1其中)()(nnETZ ZZ ZR R 、)()(ndnz zp p 期望信號(hào))(nxd是由原始信號(hào))(nd組成的（發(fā)送訓(xùn)練法）或某種表達(dá))(nd已知特性信號(hào)組成的（盲算法）。自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二二 空空 域域 濾濾 波波 器器 波波 束束 形形 成成一 個(gè) 由 兩 個(gè) 相 同 的 無

21、方 向 性 傳 感 器 構(gòu) 成 的 二 元 陣 。 傳感器輸出信號(hào)21sin2)1()()()()(idijetxtxtxty21sin)1()(idijeA為天線陣的方向圖自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論 最優(yōu)/自適應(yīng)陣 31sin2)1()()(idijietxwty 最大信噪比最優(yōu)準(zhǔn)則： 最小輸出噪聲方差 最小均方誤差自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論WF：期望的響應(yīng)與實(shí)際濾波器輸出之間均方誤差最小無限制最優(yōu)化LCM

22、P（線性限制最小功率）： wwxRkyEHmin)(min2，st11mNNmCHfw限制最優(yōu)化其中)()(kkyHxw，)()(kkERHxxx由拉格朗日乘子法fwcfwwwxHHHHHCRJ)(最小fwxx111CRCCRHopt自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論廣廣義義旁旁瓣瓣對(duì)對(duì)消消器器（GSC）是 LCMP 的另一種形式1)()(11mNmNNBNNbccwww= wwccPP 其中HHcCCCCP1)(為限制空間的投影矩陣, ccPIP表示正交投影矩陣。 fwww11)()(CCCCCCCPHHH

23、cc只與約束條件有關(guān)，與觀測(cè)數(shù)據(jù)無關(guān), 為 WF的期望值。w中只有bw可自適應(yīng)調(diào)節(jié), 使: 22)()(kykyERyEbcHwwx最小,自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論 通過調(diào)節(jié)bw，使)(kyb與期望值)(kyc的 MSE最小 )(ky的均方值)(2kyE最小。 令xwHcckyd)(等效的期望輸出 xwzwHcHbHbbBkkyd)()(等效的估計(jì) )()(kBkHcxz為等效的輸入 22)()()(kykyEkyEJbc p pR Rw w1b = HHdkEkkE)()()(1zzz =cHccH

24、cRBBRBwxx1)( 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論三、維納濾波的物理解釋三、維納濾波的物理解釋 例：假定觀測(cè)過程)()()(twtxPtz，式中)(tx和)(tw是不相關(guān)的零均值平穩(wěn)過程。已知：222)(kkSx，2)(0NtSw，待估計(jì)信號(hào)為)()(txtxd，為常數(shù)。試針對(duì)0和0設(shè)計(jì)維納濾波。 解：22022022)/41 (22)()()(kkNPkNkkSSSwxz 定義04kNPSNR ，則有 )()()1 (2)(22220jSjSkSNRkNSzzz 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)

25、號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論kjSNRkjNj1)2()(S 2/10z )()(xzxRPRd 222)()(kePkeSPjSjjxzxd )1(2/)(2)()()()()(0*SNRkjNkjePkjSSjSSSjzzxzzxzxddd 0 ,1112/20 ,1112/2)(F)()(10)(01SNRkkzxzxeSNRNPeSNRNPSRdd 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論0 ，零零延延遲遲，濾濾波波 ktzxopteSNRNPtRt

26、hd1112/2)()(0 kjSNRNPSjHzxoptd11112/2)()(0 SNRkjSNRNPSjHjHzoptopt111112/2)()()(0 可見，零延遲維納濾波是一個(gè)單極點(diǎn)低通濾波器，其 3 分貝帶寬與 k 和 SNR 有關(guān)，為SNRk12。 消息模型的帶寬正比于 k，其 3 分貝帶寬為 2k。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論Note: 對(duì)固定的消息帶寬 k，最佳濾波器的帶寬SNRk12隨著 SNR 的增加而增加。 當(dāng)SNR時(shí)，濾波器的帶寬為無限寬，消息將無失真地傳輸； 當(dāng)0SNR時(shí)

27、，濾波器的 3 分貝帶寬趨于 2k，但增益趨于 0（因?yàn)?P）基于最小均方誤差準(zhǔn)則的最好濾波器的輸出應(yīng)該為 0 = 消息的均值！ 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論0 ，預(yù)測(cè)，預(yù)測(cè) kktzxopteeSNRNPtRthd1112/2)()(0 與零延遲時(shí)的濾波器相比可見，最佳預(yù)測(cè)器正好等于零延遲時(shí)估計(jì)的最佳濾波器乘以增益ke，當(dāng)預(yù)測(cè)時(shí)間較長(zhǎng)時(shí)，預(yù)測(cè)的輸出將為 0。 預(yù)測(cè)時(shí)間較長(zhǎng)是指k3，因?yàn)榇藭r(shí)0)(xR，即輸入的消息此時(shí)為統(tǒng)計(jì)獨(dú)立。由于當(dāng)前的任何狀態(tài)對(duì) 3k 后的狀態(tài)沒有任何影響，故當(dāng)前任何狀態(tài)都不能用于

28、預(yù)測(cè) 3k 以后的狀態(tài)。隨著預(yù)測(cè)時(shí)間的增大，預(yù)測(cè)誤差也將增大，并且不可能預(yù)測(cè)任意長(zhǎng)的時(shí)間。當(dāng)時(shí)，)0(12xoptR最好的預(yù)測(cè)系統(tǒng)也只能預(yù)測(cè)一定時(shí)間間隔內(nèi)的情況，對(duì)預(yù)測(cè)來說這個(gè)概念很重要！ 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論維維 納納 濾濾 波波 已 知 ：)(iRx、)(iRw，0)(wx,Cov， 或)(zSx、)(zSw 假 設(shè) ：)()()(nnnwxz 線 性 觀 測(cè) 求 解 ： 使)()()()()(nnnnEnJdTdxxxx 最 小 的 線 性 濾 波 器 )(nh 其 中0,2, 1 ,0)

29、()()(knknknzhx 維 納 霍 夫 方 程 的 解 為 ：p pR Rh h1o 其 中TooooMhhh)1()1()0(h h, TMnznznz(n)1()1()(Z Z )0()2()1()2()2()1()1()1()0()()(zzzzzzzzzzzRMRMRMRRRMRRRnnETR R )()(nnEdxzp pTMRRRddd)1()1()0(zxzxzx 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論 3 3 3 3. . . .5 5 5 5 卡卡卡卡爾爾爾爾曼曼曼曼濾濾濾濾波波波波理理理

30、理論論論論 KF 是線性無偏最小均方誤差遞推濾波器 KF 與 WF 不同的是： 不由協(xié)方差函數(shù)描述系統(tǒng)，而由白噪聲策動(dòng)的產(chǎn)生該過程的線性模型來表示。 不去尋找最佳濾波器的沖激響應(yīng)，而是去尋找一套算法直接得到消息的估計(jì)即使不能解析地求解微分方程，也總能容易的用計(jì)算機(jī)求解。 不用時(shí)變的沖激響應(yīng)描述產(chǎn)生消息的線性系統(tǒng)，而是用微分方程來描述，方程的解即為消息。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論一一 離散卡爾曼濾波離散卡爾曼濾波1 已知模型與最優(yōu)準(zhǔn)則 消息模型 kkkkkG uxx1其中 n 維矢量kx為消息，ku為

31、 r 維策動(dòng)噪聲矢量。k為nn維轉(zhuǎn)移矩陣或系統(tǒng)矩陣，kG為rn維矩陣。 測(cè)量模型 kkkkHwxz線性觀測(cè)其中kz為m維觀測(cè)矢量，kw為 m維觀測(cè)噪聲。自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論 已知的先驗(yàn)信息 kkEuu，kjkjkQCovuu ,白噪聲 kkEww，kjkjkRCovuw ,白噪聲 0,kkCovwu 初值 00 xxE， 00PVarx 0,0kCovux，0,0kCovwx 限定濾波器為線性的：kkkkd dZ ZF Fx 最優(yōu)準(zhǔn)則最小均方誤差求使 kkTkkkEJxxxx在 k 時(shí)刻最小的系

32、統(tǒng)狀態(tài)（消息）xk 的線性無偏、最小均方差遞推濾波估計(jì)算法自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論2 非遞推的線性無偏最小均方誤差算法klklklkkkkF0d dd dZ ZF Fzx尋找最優(yōu)估計(jì) 尋找最佳的kF F和kd d令 0kkkEExxe及 kTkkEJee最小即可求出kF F和kd d： 1kTkkkTkTkkR RH HP PH HH HP PF FkkkkZ ZF Fx xd d其 中kkkkkFFF10F F，kkzzz10Z Z。kkHHH10H H，kkRRR10R R自自自自適適適適應(yīng)應(yīng)應(yīng)

33、應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論得到線性無偏最小均方誤差估計(jì)：x xH HZ ZR RH HP PH HH HP PZ ZZ ZF FkkkTkkkTkTkkkkkkk1xxxkkkTkkkTkTkkkkkkkP PH HR RH HP PH HH HP PP PP PH HF FP PP P1其中kkkkkPPPP0000P PkikkiiikCovEPxxxxxx,)(為消息協(xié)方差。3卡爾曼濾波 遞推線性無偏、最小均方誤差算法 1111|kkkkkkGuxxTkkkTkkkkkGQGPP1111111|1111|)(kkTk

34、kkkHRHPP11|1|)(kTkkkkTkkkkRHPHHPK)(1|1|kkkkkkkkkwHKxzxx自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論當(dāng)0ku，0kw時(shí)，上式可簡(jiǎn)化為：111|kkkkxxTkkkTkkkkkGQGPP1111111|1111|)(kkTkkkkHRHPP1|)(kkkkPHKI11|1|)(kTkkkkTkkkkRHPHHPK)(1|1|kkkkkkkkHKxzxx自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論

35、論注注：1. 線性觀測(cè)的線性 MMSE 算法是 KF 的標(biāo)量形式。2. 1|kkkkHxz反映觀測(cè)中關(guān)于消息的新信息，叫新息（innovation）或殘差（residual） ，由k對(duì)預(yù)測(cè)值進(jìn)行修正，其方差為： kTkkkkkRHPHVar1|3. 由kP與kK的公式可見： kkKR，即若觀測(cè)噪聲增大，則增益應(yīng)取小，以減弱觀測(cè)噪聲的影響。 kkkkKPQ1|1，即若狀態(tài)轉(zhuǎn)移的隨機(jī)波動(dòng)（1kQ較小）, 則新加入的觀測(cè)對(duì)狀態(tài)預(yù)測(cè)的校正影響便因預(yù)測(cè)較準(zhǔn)而減弱，故kK，1| kkkPP。 kK正比于1kQ，反比于kR。若把動(dòng)態(tài)噪聲與觀測(cè)噪聲的能量之比稱為SNR，則kK正比于SNR。 由1|)(kkkk

36、kPHKIP可見，1| kkkPP。自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論二二連連續(xù)續(xù)時(shí)時(shí)間間卡卡爾爾曼曼濾濾波波 1. 已知模型與最優(yōu)準(zhǔn)則 消息模型 )()()()()(ttGttFtuxx 馬爾可夫模型 測(cè)量模型)()()()(tttHtwxz線性觀測(cè) 已知先驗(yàn)統(tǒng)計(jì)量)()(ttEuu，)()()(),(ttQtCovuu)()(ttEww，)()()(),(ttRtCovww0)(),(wu tCov00)(xxtE，00)(PtVarx0)(),(0ux tCov，0)(),(0wx tCov 限定濾波器

37、為線性的 最優(yōu)化準(zhǔn)則 )()()()()(ttttEtJTxxxx最小自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論2. 遞推濾波算法)()()()(1tRtHtPtKH)()()()()()()()()()()(tPtHtKtGtQtGtFtPtPtFtPTT)()( )()()()()()( )()( tttHttKttGttFtwxzuxx其中)(tP式為黎卡蒂微分方程。黎卡蒂方程的解為：),()(),()(000tttPtttPTttTTTTTdtKRKGQGHKPPHKt0),()()()()()()()()(

38、)()()()(),(其中 ),(t為xxF的轉(zhuǎn)移矩陣。自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論三、卡爾曼濾波的穩(wěn)定性三、卡爾曼濾波的穩(wěn)定性 濾波器的穩(wěn)定性研究的是：當(dāng)時(shí)間充分長(zhǎng)以后，初值的影響是否可以忽略不計(jì)。即：是否無論怎樣選取濾波初值，只要時(shí)間充分長(zhǎng)，就能保證濾波值與最優(yōu)濾波值任意接近。 濾波的目的，是通過一連串的觀測(cè)數(shù)據(jù)，對(duì)隨著時(shí)間推移而變化的狀態(tài)進(jìn)行“最好”的估計(jì)。如果我們對(duì)初始狀態(tài)0 x的統(tǒng)計(jì)性質(zhì)（前二階矩）并沒有確切的了解，甚至根本不知道，那么在進(jìn)行濾波時(shí)，所取的濾波和濾波誤差方差陣的初值0 x和0P

39、就分別與應(yīng)當(dāng)取得最優(yōu)初值0 xE和0 xVar有一定的誤差，有時(shí)這些初值甚至是任意取的。那么，濾波初值取得不好對(duì)往后的濾波會(huì)產(chǎn)生什么影響？這就是卡爾曼濾波的穩(wěn)定性問題。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論1 穩(wěn)穩(wěn)定定性性的的定定義義 線性差分方程的穩(wěn)定性的充分必要條件。 考慮 n 維線性差分方程： 111,kkkkkuyy (1) 其中1, kk為狀態(tài)轉(zhuǎn)移矩陣，是可逆的。 定義： 如果存在常數(shù) c0，使得對(duì)所有0k，ck0，則由(1)式所描述的系統(tǒng)稱為穩(wěn)定的。 如果當(dāng)k時(shí)，00k，則稱該系統(tǒng)為漸進(jìn)穩(wěn)定的。 如

40、果存在常數(shù)01c和02c，使對(duì)所有0 lk，有)(21lkcklec，則稱該系統(tǒng)為一致漸進(jìn)穩(wěn)定的。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論為了考察初值誤差對(duì)方程解的影響，我們把方程(1)的ky用初值0y和輸入項(xiàng)lu表示成： kllklkkuyy1100 如果從另一初值0y出發(fā)，那么又有： kllklkkuyy1100 于是可得： )(000yyyykkk 兩邊取范數(shù)，并由范數(shù)的性質(zhì)有： 000yyyykkk (2) 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波

41、波波波理理理理論論論論所以： 如果系統(tǒng)(1)是穩(wěn)定的，即ck0，那么任意給定0，只要初值之差cyy/00，就有kkyy即只要初值的差充分小，就能保證從這兩個(gè)初值出發(fā)的解之差任意小。 如果系統(tǒng)(1)是漸進(jìn)穩(wěn)定的，即00k，那么除了上面的 性 質(zhì) 之 外 ， 從 (2) 式 還 可 推 得 ： 對(duì) 任 何 初 值0y與0y，0kkyy即無論初值怎樣選取，只要 k 充分大（時(shí)間充分長(zhǎng)），ky和ky就可以任意接近。 如果系統(tǒng)(1)是一致漸進(jìn)穩(wěn)定的，即對(duì)所有0 lk，有)(21lkcklec，那么除了上面兩個(gè)性質(zhì)仍然成立之外，方程(1)表示的系統(tǒng)還具有另外一個(gè)性質(zhì)有界的輸入必有有界的輸出。 自自自自適適

42、適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論2系統(tǒng)的可控性和可觀測(cè)性系統(tǒng)的可控性和可觀測(cè)性 為了證明線性濾波系統(tǒng)的一致漸進(jìn)穩(wěn)定性，要求原來的動(dòng)態(tài)和量測(cè)系統(tǒng)是一致完全可控和一致完全可觀測(cè)的。這兩個(gè)概念是卡爾曼首先提出來的，在近代控制理論中起著重要的作用。 考慮非隨機(jī)線性系統(tǒng)： kkkkkkkkxHzuGxx1111 其中1ku為非隨機(jī)控制項(xiàng)。 如果存在某個(gè)正整數(shù) N，使得從任意給定的Nkx狀態(tài)出發(fā)，只要適當(dāng)選取控制項(xiàng)Nku、1Nku、1ku，就可以使kx達(dá)到任何狀態(tài)，則稱上述系統(tǒng)在 k時(shí)刻是完全可控完全可控的。 如果存在某個(gè)正整數(shù)

43、N，使得從量測(cè)值1Nkz、2Nkz、kz可以唯一地確定狀態(tài)kx，則稱上述系統(tǒng)在 k 時(shí)刻是完全可觀完全可觀測(cè)測(cè)的。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論3濾波的穩(wěn)定性定理濾波的穩(wěn)定性定理 對(duì)隨機(jī)線性動(dòng)態(tài)系統(tǒng)： kkkkkkkkkwxHzuGxx1111 (2) 其卡爾曼濾波公式為： kkkkkkkkkkkkkkkkkkzKxzKxHKIxHzKxx1111)()( (3) 其中111|1|)(kTkkkTkkkkTkkkkRHPRHPHHPK，kkkkHKI)(。 可視(3)式為一個(gè)線性系統(tǒng)，其中kkzK是系統(tǒng)

44、的輸入項(xiàng)，k是狀態(tài)轉(zhuǎn)移矩陣。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論下面的定理討論了這個(gè)濾波系統(tǒng)的穩(wěn)定性問題。 定定理理 1：設(shè)系統(tǒng)(2)為一致完全可控和一致完全可觀測(cè)的，則其最優(yōu)線性濾波器(3)是一致漸進(jìn)穩(wěn)定的。即存在常數(shù)01c和02c，使對(duì)所有0 lk，有)(21lkcklec。 Note： 定理 1 表明，對(duì)于一致完全可控和一致完全可觀測(cè)的線性系統(tǒng)，當(dāng)時(shí)間充分長(zhǎng)之后，其最優(yōu)線性濾波將漸進(jìn)地不依賴于濾波初值的選取，而且有界的量測(cè)輸入將導(dǎo)致有界的濾波輸出。 自自自自適適適適應(yīng)應(yīng)應(yīng)應(yīng)信信信信號(hào)號(hào)號(hào)號(hào)處處處處理理理理最最最最優(yōu)優(yōu)優(yōu)優(yōu)線線線線性性性性濾濾濾濾波波波波理理理理論論論論定定理理 2：