建模與估計(jì)1.1-1.2(第一次課)

1、建模與估計(jì)第 一次課 2015.04.01教學(xué)目標(biāo)講述模型建立與參數(shù)辨識(shí)的一般方法。講述Kalman濾波估計(jì)理論基礎(chǔ)。介紹多傳感器信息融合估計(jì)理論的最新進(jìn)展為后續(xù)估計(jì)理論學(xué)習(xí)打下基礎(chǔ)。 第一章第一章 緒論緒論研究對(duì)象？研究對(duì)象？研究?jī)?nèi)容？研究?jī)?nèi)容？參數(shù)辨識(shí)的一般方法？參數(shù)辨識(shí)的一般方法？例：某地降水量 Z(t) t=1,2,.52,.研究對(duì)象研究對(duì)象：離散情形下的時(shí)間序列(Time Series).時(shí)間序列：時(shí)間序列：依時(shí)間順序排列的觀測(cè)值序列。研究?jī)?nèi)容：研究?jī)?nèi)容：建模、估計(jì)建模：建模： 1、自回歸滑動(dòng)平均模型(Autoregressive moving average, ARMA) 2、狀態(tài)

2、空間模型(state-space model) 3、傳遞函數(shù)模型(transfer function)1、統(tǒng)計(jì)模型：數(shù)據(jù)分析(黑箱)2、機(jī)理模型：公式、定律(白箱)3、半經(jīng)驗(yàn)半機(jī)理模型：(灰箱) 模型分類：模型分類：PID :U(k)=kpe(k)-e(k-1)+ki e(k)+kd e(k)-2e(k-1)+e(k-2)1、最小二乘法(Least squares method,LSM)，1795年，Gauss在確定天體運(yùn)行橢圓軌道時(shí)提出。建模方法：建模方法： 這種估計(jì)的特點(diǎn)是算法簡(jiǎn)單，不必知道與被估計(jì)量及觀測(cè)量有關(guān)的任何統(tǒng)計(jì)信息。它的基本原理是：實(shí)際值與觀測(cè)值誤差平方和最小，由此得名“最小二

3、乘法”。例例1：對(duì)于一個(gè)未知長(zhǎng)度為的物體進(jìn)行N次測(cè)量,設(shè)每次觀測(cè)物體長(zhǎng)度為li, i=1,2,., N,求真實(shí)物體長(zhǎng)度的估值，設(shè)每次測(cè)量誤差為 。i解：,1,2,.,iiliN2211()NNiiiiJl12()NiidJld 11NiilN的最小二乘估值為 可以看到：最小二乘法雖然不能滿足每一個(gè)方程，使每個(gè)方程都有偏差，但它使所有偏差平方和最小但它使所有偏差平方和最小，兼顧了所有方程的近似程度。 2、 1941年，Wiener-Kolmogrov基于傳遞函數(shù)提出Wiener濾波。但其缺點(diǎn)要求存儲(chǔ)全部歷史數(shù)據(jù)，算法非遞推，且只能處理平穩(wěn)隨機(jī)序列。18941964濾波：3、1960年R.E Ka

4、lman提出濾波理論，基于狀態(tài)空間模型，該方法適合計(jì)算機(jī)計(jì)算，算法遞推。例例2：接上例，求的遞推估值11()NiiNlN111(1)1NiiNlN111()1NiNiNllNN11()11NNNlNN1(1) ()1NN111NlN()N11()1NlNN基于N個(gè)觀測(cè)值對(duì)的估值為 定義：新息1(1)()NNlN校正系數(shù)或?yàn)V波增益K(N+1)=1/(N+1) (1)()(1) (1)NNK NN 新息新息從第N+1次測(cè)量中去掉了前N次測(cè)量的新息剩下 的新的信息。則的遞推估值為：練習(xí)1：考慮雷達(dá)跟蹤直線水平勻速飛行目標(biāo)，要求估計(jì)飛機(jī)目標(biāo)的速度v,測(cè)得目標(biāo)初始為所標(biāo)原點(diǎn)，每分鐘觀測(cè)一次，共計(jì)觀測(cè)5次

5、，位置觀測(cè)如下求：v的最小二乘估計(jì)解：雷達(dá)對(duì)目標(biāo)位置的觀測(cè)帶有隨機(jī)誤差y(t)=vt+e(t)552211( )( ( )ttJe ty tvt置 0Jv有 512 ( )0ty tvt t 55211( )tty t tvt51521( )tty t tvt代入觀測(cè)值 v 10.007272公里第一章第一章 ARMA模型與狀態(tài)模型與狀態(tài)空間模型空間模型隨機(jī)過(guò)程隨機(jī)過(guò)程平穩(wěn)隨機(jī)序列、白噪聲、相關(guān)函數(shù)平穩(wěn)隨機(jī)序列、白噪聲、相關(guān)函數(shù)自回歸滑動(dòng)平均模型自回歸滑動(dòng)平均模型 AR(n),MA(q),ARMA(p,q),平穩(wěn)可逆平穩(wěn)可逆狀態(tài)空間模型狀態(tài)空間模型 非遞推表達(dá)式、并聯(lián)、串聯(lián)、解耦、與非遞推表達(dá)

6、式、并聯(lián)、串聯(lián)、解耦、與ARMA的轉(zhuǎn)換的轉(zhuǎn)換第一節(jié) 隨機(jī)過(guò)程(Stochastic Process)例1：電網(wǎng)電壓定義定義：隨機(jī)過(guò)程隨時(shí)間演化的隨機(jī)變量族。當(dāng)T=,-2,-1,0,1, 2,為離散時(shí)間集合時(shí)，也稱隨機(jī)過(guò)程Z(t)為隨機(jī)序列。定義定義：實(shí)現(xiàn)隨機(jī)過(guò)程每次的觀測(cè)結(jié)果是T上的普通函數(shù)，稱為 隨機(jī)過(guò)程的一個(gè)實(shí)現(xiàn)(realization), z(t)。定義：定義：隨機(jī)過(guò)程Z(t),tT,可看成所有實(shí)現(xiàn)的實(shí)現(xiàn)族。舉例：隨機(jī)過(guò)程定義：定義：隨機(jī)過(guò)程的數(shù)學(xué)期望(均值)Expectation: 是隨機(jī)變量數(shù)學(xué)期望的推廣，它由隨機(jī)過(guò)程每時(shí)刻的均值構(gòu)成來(lái)定義，它從總體上刻畫隨機(jī)過(guò)程取值的平均。m(t)

7、=EZ(t), tT定義定義：隨機(jī)過(guò)程的方差Variance刻畫了隨機(jī)過(guò)程Z(t)偏離均值m(t)的誤差的平方的平均狀況。22( )( ( )E( ( )( ) tD Z tZ tm ttTD為方差符號(hào)， (t)叫標(biāo)準(zhǔn)方差函數(shù)。定義定義：隨機(jī)過(guò)程的相關(guān)函數(shù)Correlated function 反應(yīng)在任意兩個(gè)不同時(shí)刻隨機(jī)變量之間的聯(lián)系，進(jìn)而說(shuō)明隨機(jī)過(guò)程波動(dòng)的快慢。 R(t1,t2)=E(Z(t1)-m(t1)(Z(t2)-m(t2)t1=t2=t, R(t,t)=2(t)當(dāng)例2.隨機(jī)相位余弦波Z(t)=cos(w0t+ )，其中為在0,2上服從 均勻分布的隨機(jī)變量，w0為常數(shù)，求隨機(jī)過(guò)程Z(t

8、)的均值m(t)， 相關(guān)函數(shù)R(t1,t2)及方差2(t)。解：的概率密度 1,02( )20,f其他數(shù)學(xué)期望 m(t)=EZ(t)=20001E()cos()02cos w tw td相關(guān)函數(shù)20 10 201cos()cos()2w tw tdR(t1,t2)=E(Z(t1)-m(t1)(Z(t2)-m(t2)0 10 2E()()cos w tcos w t2012012011cos()2 )cos()22w ttw ttd2012001211cos() |cos()42w ttw tt21( )( , )2tR t t第二節(jié)第二節(jié) 平穩(wěn)隨機(jī)過(guò)程平穩(wěn)隨機(jī)過(guò)程(stationary sto

9、chastic process) (1)m(t)=C 均值為常數(shù)(2)2(t)=C 均值為常數(shù)(3) 相關(guān)函數(shù)僅與時(shí)間間隔有關(guān)，( )( ,)RR t t, t定義：定義：平穩(wěn)隨機(jī)過(guò)程例1：設(shè)隨機(jī)過(guò)程z(t)=Acosw0t+Bsinw0t,t(-,),其中A與B獨(dú)立，且EA=EB=0,有EA2=EB2=2,問(wèn)z(t)是否為平穩(wěn)隨機(jī)過(guò)程。解解：Ez(t)=E Acosw0t+EBsinw0t=0 相關(guān)函數(shù)r()=E(Acosw0t+Bsinw0t)( Acosw0(t+)+Bsinw0(t+) =EA2cosw0t cosw0(t+)+ EB2sinw0t sinw0(t+) =2 cosw0

10、t cosw0(t+)+ sinw0t sinw0(t+) = 2cos w0只與 有關(guān)，是平穩(wěn)隨機(jī)過(guò)程。例2：請(qǐng)列舉平穩(wěn)和非平穩(wěn)隨機(jī)過(guò)程的實(shí)際應(yīng)用。地震波： 若平穩(wěn)隨機(jī)過(guò)程每個(gè)樣本函數(shù)都經(jīng)歷它的各種狀態(tài)，能充分代表過(guò)程的統(tǒng)計(jì)特性，則稱它為各態(tài)歷經(jīng)平穩(wěn)隨機(jī)過(guò)程。定義：定義：平穩(wěn)隨機(jī)過(guò)程的遍歷性(各態(tài)歷經(jīng)性 Ergodicity)z(t)是一個(gè)平穩(wěn)隨機(jī)過(guò)程Z(t)，t0,)的一個(gè)樣本，若01lim( )E ( )TTz t dtZ tmT依概率1成立，則稱Z(t)均值具有遍歷性或各態(tài)歷經(jīng)性。若01lim( ) ()E ( ) ()TTz t z tdtZ t Z tT 依概率1成立，則稱Z(t)

11、相關(guān)函數(shù)具有遍歷性或各態(tài)歷經(jīng)性。若Z(t)的均值和相關(guān)函數(shù)都具有遍歷性,則稱Z(t)是各態(tài)歷經(jīng)平穩(wěn)隨機(jī)過(guò)程。定義：定義：若平穩(wěn)隨機(jī)序列Z(t), t1,2,3,若z(t)是它的一個(gè)樣本序列，且11lim( )E ( )ttiz iZ tmt11lim( ) ()E ( ) ()ttiz i z iZ t Z tt以概率1成立，則稱它具有遍歷性。 在較弱的條件下，可證明大量的現(xiàn)實(shí)平穩(wěn)隨機(jī)過(guò)程均具有各態(tài)歷經(jīng)性，如某地降雨、心電圖、腦電圖、機(jī)械振動(dòng)、海浪、量測(cè)誤差、電網(wǎng)電壓等。例3.隨機(jī)相位余弦波z(t)=cos(w0t+)，tT (0,)其中為在 0,2上服從均勻分布的隨機(jī)變量，是否具有各態(tài)歷經(jīng)性

12、。解：均值的遍歷性：不妨設(shè)=0，00,2則 01lim( )TTz t dtT0001limcos()TTw tdtT00001limsin()|TTw tTw=0=EZ(t) 相關(guān)函數(shù)的遍歷性01lim( ) ()TTz t z tdtT000001limcos()cos()TTw tw tdtT00001 1limcos()2)cos()2TTw ttwdtT 00011limcos|cos22TTwtwTE ( ) ()z t z t所以該隨機(jī)過(guò)程具有各態(tài)歷經(jīng)性。 今后我們主要研究離散時(shí)間隨機(jī)過(guò)程，即隨機(jī)序列，記為zt , tT=,-1,0,1,，應(yīng)注意在不引起混淆的情況下，今后不再用大

13、寫字母Zt ，表示隨機(jī)序列Zt, tT，而同一用小寫字母zt 表示隨機(jī)序列及其實(shí)現(xiàn)。這里zt , tT即可以表示隨機(jī)序列，也可以表示它的實(shí)現(xiàn)(z1,z2,zN)，即可看成隨機(jī)向量，也可看成zt, tT的容量為N的樣本。平穩(wěn)隨機(jī)過(guò)程zt ，tTrk=E(zt-m)(zt +k-m)，m=Ezt 相關(guān)函數(shù):性質(zhì)性質(zhì)：(1)r00 非負(fù) (2)對(duì)稱性 rk= r-k證明：rk=E(zt-m)(zt +k-m)= E(zt +k-m)(zt-m)(3) |rk|r0證明：E|(zt-m)(zt+k-m)| 220E Ettkzmzmr許瓦爾茲不等式E|XY| 22E() E( )XY標(biāo)準(zhǔn)相關(guān)函數(shù)定義：

14、k=rk / r0, 0|k|1, 0=1111221101nnn-1n-(4) 對(duì)任意自然數(shù)n和不全為零的實(shí)數(shù)l1,l2,ln有證明：定義定義：對(duì)于平穩(wěn)隨機(jī)序列zt ,長(zhǎng)度為N的一個(gè)樣本，(z1,z2,zN)采樣均值 11NttzzN采樣方差 2211()NttzzN采樣相關(guān)函數(shù) 11()()N kktt ktrzzzzNk=0,1,2 采樣標(biāo)準(zhǔn)相關(guān)函數(shù) 0kkrr 假如zt 具有遍歷性，則由隨機(jī)過(guò)程理論當(dāng)N以概率1成立(a.s. = allmost surely)zm22kkrrkk,L(t)=l1zt+l2zt -1+lnzt n+1EL2(t)=,1ni j iji jl l r0 定義定義：白噪聲白噪聲(white noise,最簡(jiǎn)單的平穩(wěn)隨機(jī)序列) at, tT=,-1,0,1,是零均值，方差為2的不相關(guān)隨機(jī)序列，即Eat=0, Eat at +k= 2E0,0,0tt ka akk標(biāo)準(zhǔn)相關(guān)函數(shù) 1,0( )0,0kkk例4：設(shè)at 為白噪聲序列Eat =0, Eatat+k=2ts,其中 tt=1, ts=0(ts)(1)z