精選時(shí)間序列分析時(shí)間序列講解講義

（優(yōu)選）時(shí)間序列分析第一章時(shí)間序列ppt講解當(dāng)前1頁(yè)，總共74頁(yè)?！?.1時(shí)間序列的分解一.時(shí)間序列的定義：

時(shí)間序列：按時(shí)間次序排列的隨機(jī)變量序列。

觀測(cè)樣本：隨機(jī)序列各隨機(jī)變量的觀測(cè)樣本。個(gè)有序觀

測(cè)值

一次實(shí)現(xiàn)或一條軌道：時(shí)間序列的一組實(shí)際觀測(cè)。

時(shí)間序列分析的任務(wù)：數(shù)學(xué)建模，解釋、控制或預(yù)報(bào)。

當(dāng)前2頁(yè)，總共74頁(yè)。

二.時(shí)間序列的分解趨勢(shì)項(xiàng)，季節(jié)項(xiàng)，隨機(jī)項(xiàng)注：1.單周期季節(jié)項(xiàng)：只需要

且可設(shè)

2.隨機(jī)項(xiàng)：可設(shè)3.當(dāng)前3頁(yè)，總共74頁(yè)。例：某城市居民季度用煤消耗量

分解方法:1.趨勢(shì)項(xiàng)估計(jì)（1）分段趨勢(shì)(年平均)（2）線性回歸擬合直線（3）二次曲線回歸（4）滑動(dòng)平均估計(jì)當(dāng)前4頁(yè)，總共74頁(yè)。2.估計(jì)趨勢(shì)項(xiàng)后,所得數(shù)據(jù)由季節(jié)項(xiàng)和隨機(jī)項(xiàng)組成,季節(jié)項(xiàng)估計(jì)可由該數(shù)據(jù)的每個(gè)季節(jié)平均而得.3.隨機(jī)項(xiàng)估計(jì)即為方法一：分段趨勢(shì)法1趨勢(shì)項(xiàng)（年平均）當(dāng)前5頁(yè)，總共74頁(yè)。減去趨勢(shì)項(xiàng)后,所得數(shù)據(jù)當(dāng)前6頁(yè)，總共74頁(yè)。2、季節(jié)項(xiàng)當(dāng)前7頁(yè)，總共74頁(yè)。3.隨機(jī)項(xiàng)的估計(jì)

當(dāng)前8頁(yè)，總共74頁(yè)。方法二：回歸直線法一、趨勢(shì)項(xiàng)估計(jì)一元線性回歸模型

最小二乘估計(jì)為可得到

當(dāng)前9頁(yè)，總共74頁(yè)。1.直線趨勢(shì)項(xiàng)當(dāng)前10頁(yè)，總共74頁(yè)。消去趨勢(shì)項(xiàng)后,所得數(shù)據(jù)當(dāng)前11頁(yè)，總共74頁(yè)。2、季節(jié)項(xiàng)估為當(dāng)前12頁(yè)，總共74頁(yè)。3.隨機(jī)項(xiàng)估計(jì)為當(dāng)前13頁(yè)，總共74頁(yè)。方法三：二次曲線法當(dāng)前14頁(yè)，總共74頁(yè)。1.二次項(xiàng)估計(jì)（趨勢(shì)項(xiàng)）數(shù)據(jù)和二次趨勢(shì)項(xiàng)估計(jì)當(dāng)前15頁(yè)，總共74頁(yè)。2.季節(jié)項(xiàng)、隨機(jī)項(xiàng)

當(dāng)前16頁(yè)，總共74頁(yè)。例二、美國(guó)罷工數(shù)（51-80年)（滑動(dòng)平均法）當(dāng)前17頁(yè)，總共74頁(yè)。1.趨勢(shì)項(xiàng)（5項(xiàng)平均）當(dāng)前18頁(yè)，總共74頁(yè)。2.季節(jié)項(xiàng)和隨機(jī)項(xiàng)當(dāng)前19頁(yè)，總共74頁(yè)。例三、化學(xué)溶液濃度變化數(shù)據(jù)當(dāng)前20頁(yè)，總共74頁(yè)。一階差分當(dāng)前21頁(yè)，總共74頁(yè)。三時(shí)間序列和隨機(jī)過(guò)程

設(shè)是實(shí)數(shù)的子集，如果對(duì)每個(gè)t屬于T，都有一個(gè)隨機(jī)變量與之對(duì)應(yīng)，就稱(chēng)隨機(jī)變量的集合是一個(gè)隨機(jī)過(guò)程。

當(dāng)T是全體整數(shù)或全體非負(fù)整數(shù)時(shí)，稱(chēng)相應(yīng)的隨機(jī)過(guò)程為隨機(jī)序列。

把隨機(jī)序列的指標(biāo)集合T看成時(shí)間指標(biāo)時(shí)，這個(gè)隨機(jī)過(guò)程就是時(shí)間序列。

當(dāng)T是全體實(shí)數(shù)或全體非負(fù)實(shí)數(shù)時(shí)，相應(yīng)的隨機(jī)過(guò)程稱(chēng)為連續(xù)時(shí)隨機(jī)過(guò)程。

如果把T認(rèn)為時(shí)間指標(biāo)，連續(xù)是的隨機(jī)過(guò)程就是連續(xù)的時(shí)間序列。

當(dāng)前22頁(yè)，總共74頁(yè)。§1.2平穩(wěn)序列一·平穩(wěn)序列

定義如果時(shí)間序列滿足

（1）對(duì)任何的

（2）對(duì)任何的

（3）對(duì)任何的

就稱(chēng)是平穩(wěn)時(shí)間序列，簡(jiǎn)稱(chēng)時(shí)間序列。稱(chēng)實(shí)數(shù)為的自協(xié)方差函數(shù)。

平穩(wěn)序列中隨機(jī)變量的均值為，方差為都是和t無(wú)關(guān)的常數(shù)。

協(xié)方差結(jié)構(gòu)的平移不變性是平穩(wěn)序列的特性，所以平穩(wěn)序列是二階矩平穩(wěn)序列。當(dāng)前23頁(yè)，總共74頁(yè)。自協(xié)方差函數(shù)滿足以下三條性質(zhì)：

（1）對(duì)稱(chēng)性：

對(duì)所有的K成立。（2）非負(fù)定性：對(duì)任何的，n階自協(xié)方差矩陣

是非負(fù)定的矩陣。（3）有界性：對(duì)所有的k成立。

滿足上述性質(zhì)的實(shí)數(shù)列都稱(chēng)為非負(fù)定序列。當(dāng)前24頁(yè)，總共74頁(yè)。

下面證明這些性質(zhì)，對(duì)稱(chēng)性由定義直接得到。

為證明非負(fù)性，任取一個(gè)

維實(shí)向量

當(dāng)前25頁(yè)，總共74頁(yè)。為證明有界性，我們先介紹一個(gè)常用的不等式.

引理(Schwarz不等式）對(duì)任何方差有限的隨機(jī)變量X和Y,有證明不妨設(shè),關(guān)于a的一元

于是，判別式

取

時(shí)，有界性有Schwarz不等式得到：

當(dāng)前26頁(yè)，總共74頁(yè)。線性相關(guān)性定義：自協(xié)方差矩陣退化的充分必要條件是存在非零的n維實(shí)向量

使得

這時(shí)我們稱(chēng)隨機(jī)變量是線性相關(guān)的。

自相關(guān)系數(shù)

定義：設(shè)平穩(wěn)序列是標(biāo)準(zhǔn)化的序列，的自協(xié)方差函數(shù)稱(chēng)為平穩(wěn)序列的自相關(guān)系數(shù)。

當(dāng)前27頁(yè)，總共74頁(yè)。二.白噪聲最簡(jiǎn)單的平穩(wěn)序列是白噪聲，它在時(shí)間序列分析中有特殊的重要地位。定義（白噪聲）設(shè)是一個(gè)平穩(wěn)序列，如果對(duì)任意的稱(chēng)是一個(gè)白噪聲，記做

當(dāng)是獨(dú)立序列時(shí)，稱(chēng)是獨(dú)立白噪聲；

當(dāng)時(shí)，稱(chēng)為零均值白噪聲；

當(dāng)稱(chēng)為標(biāo)準(zhǔn)白噪聲。

當(dāng)前28頁(yè)，總共74頁(yè)。例2.3Poisson過(guò)程和Poisson白噪聲如果連續(xù)時(shí)的隨機(jī)過(guò)程滿足（1），且對(duì)任何的t>s≧0和非負(fù)整數(shù)k，（2）{N(t)}有獨(dú)立增量性：對(duì)任何n>1和

隨機(jī)變量

相互獨(dú)立，則稱(chēng){N(t)}是一個(gè)強(qiáng)度為λ的Poisson過(guò)程。

數(shù)學(xué)期望和方差分別為

當(dāng)前29頁(yè)，總共74頁(yè)。Poisson白噪聲定義：滿足上面三個(gè)條件稱(chēng)為Poisson白噪聲。ave表示的樣本均值，std表示樣本的標(biāo)準(zhǔn)差。下面的例子是Poisson白噪聲的60個(gè)樣本。

當(dāng)前30頁(yè)，總共74頁(yè)。Poisson白噪聲的60樣本的產(chǎn)生1.隨機(jī)產(chǎn)生服從(0,1)上均勻的200個(gè)樣本:2.給出服從參數(shù)為1的指數(shù)分布的200個(gè)獨(dú)立樣本;3.給出參數(shù)為1的Poisson過(guò)程一條樣本軌道在i=1,…,61上的取值；當(dāng)前31頁(yè)，總共74頁(yè)。參數(shù)為1的Poisson白噪聲的60個(gè)樣本I當(dāng)前32頁(yè)，總共74頁(yè)。樣本II當(dāng)前33頁(yè)，總共74頁(yè)。標(biāo)準(zhǔn)正態(tài)白噪聲的60個(gè)樣本:A=randn(1,60)；plot(A)當(dāng)前34頁(yè)，總共74頁(yè)。三.正交平穩(wěn)序列設(shè)X和Y是方差有限的隨機(jī)變量，如果E(XY)=0，就稱(chēng)X和Y是正交的，如果cov(X,Y）=0，就稱(chēng)X和Y是不相關(guān)的。

定義對(duì)于平穩(wěn)序列和，

（1）如果對(duì)任何的s,t∈Z,，則稱(chēng)和

是正交的；

（2）如果對(duì)任何的s,t∈Z，，則稱(chēng)和

是不相關(guān)的。定理2.2設(shè)

和分別是平穩(wěn)序列和的自協(xié)方差函數(shù)，

記定義

當(dāng)前35頁(yè)，總共74頁(yè)。（1）如果和正交，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

（2）如果和不相關(guān)，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

證明：（1）當(dāng)和正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到

（2）由上面的推導(dǎo)得到。

當(dāng)前36頁(yè)，總共74頁(yè)?！?.3線性平穩(wěn)序列和線性濾波一.有限運(yùn)動(dòng)平均

定義：設(shè)是WN(O,)，對(duì)于非負(fù)整數(shù)q和常數(shù)a0,a1,…aq,我們稱(chēng)

是白噪聲的（有限）運(yùn)動(dòng)平均，簡(jiǎn)稱(chēng)為MA，運(yùn)動(dòng)平均又稱(chēng)

滑動(dòng)平均。MA的平穩(wěn)性

當(dāng)前37頁(yè)，總共74頁(yè)。例：當(dāng)前38頁(yè)，總共74頁(yè)。概率極限定理：

定理（單調(diào)收斂定理）如果非負(fù)隨機(jī)變量序列單調(diào)不減：

則當(dāng)時(shí)，有對(duì)于任何時(shí)間序列，利用單調(diào)收斂定理得到定理（控制收斂定理）如果隨機(jī)變量序列滿足和時(shí)，則當(dāng)時(shí)，并且當(dāng)前39頁(yè)，總共74頁(yè)。二.線性平穩(wěn)序列定義：如果實(shí)數(shù)列滿足則稱(chēng)是絕對(duì)可和的。對(duì)于絕對(duì)可和的實(shí)數(shù)列，定義零均值白噪聲的無(wú)窮滑動(dòng)和如下

，則是平穩(wěn)序列。下面說(shuō)明是平穩(wěn)序列。

由Schwarz不等式得到于是Xt右邊的無(wú)窮級(jí)數(shù)是a.s.絕對(duì)收斂的，從而是a.s.收斂的。

由于所以用控制收斂定理得到

現(xiàn)對(duì)t,s∈Z，定義

當(dāng)前40頁(yè)，總共74頁(yè)。利用公式可以知道

所以由控制收斂定理得到這就說(shuō)明了是平穩(wěn)序列

當(dāng)前41頁(yè)，總共74頁(yè)。證明：當(dāng)時(shí)定理：設(shè)是WN(0，),實(shí)數(shù)列平方可和，線性平穩(wěn)序列由上述

定義，則自協(xié)方差函數(shù)當(dāng)前42頁(yè)，總共74頁(yè)。三.時(shí)間序列的線性濾波對(duì)序列進(jìn)行滑動(dòng)求和：稱(chēng)為對(duì)進(jìn)行線性濾波。其中決定可和的稱(chēng)為一個(gè)保時(shí)線性濾波器。

如果輸入信號(hào)是平穩(wěn)列則輸出也是平穩(wěn)列。期望協(xié)方差函數(shù)當(dāng)前43頁(yè)，總共74頁(yè)。例3.1余弦波信號(hào)的濾波信號(hào){St}方差，噪聲方差，信噪比當(dāng)前44頁(yè)，總共74頁(yè)。注：當(dāng)前45頁(yè)，總共74頁(yè)。當(dāng)前46頁(yè)，總共74頁(yè)?！?.4正態(tài)時(shí)間序列和隨機(jī)變量的收斂性隨機(jī)向量的數(shù)學(xué)期望和方差

矩陣隨機(jī)向量期望

隨機(jī)向量，則X的協(xié)方差矩陣

協(xié)方差矩陣的計(jì)算公式隨機(jī)向量線性變換

當(dāng)前47頁(yè)，總共74頁(yè)。如果存在m維常數(shù)列向量μ，m×n常數(shù)矩陣B和iid的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量使得Y=μ+BX,則稱(chēng)隨機(jī)變量服從m維正態(tài)分布。這時(shí)EY=μ,∑=Var(Y)=Y的特征函數(shù)為

這是多維正態(tài)分布的等價(jià)定義。記Y~N(μ,∑)

當(dāng)前48頁(yè)，總共74頁(yè)。多維正態(tài)分布的充要條件定理4.1的充要條件是對(duì)任何

二.正條平穩(wěn)序列

定義：對(duì)于時(shí)間序列，如果對(duì)任何n≥1和有

服從多元正態(tài)分布，則稱(chēng)為正態(tài)時(shí)間序列

特別當(dāng)還是平穩(wěn)序列時(shí)，又稱(chēng)為正態(tài)平穩(wěn)序列。當(dāng)前49頁(yè)，總共74頁(yè)。正態(tài)序列收斂定理定理4.3

如果正態(tài)序列,依分布收斂到隨機(jī)變量ξ則定理4.4

如果服從WN(0，)，實(shí)數(shù)列絕對(duì)可和，則有定義的平穩(wěn)序列時(shí)零均值正態(tài)序列，自協(xié)方差函數(shù)(3.5)給出。

證明：下證為正態(tài)序列，先證對(duì)任何,有其中

當(dāng)前50頁(yè)，總共74頁(yè)。對(duì)任何,定義則有當(dāng)時(shí),有當(dāng)前51頁(yè)，總共74頁(yè)。由定理4.2,得到依分布收斂到，則從而由和定理4.1得到(4.9).用同樣方法可以證明:對(duì)任何有其中.定理4.4成立.當(dāng)前52頁(yè)，總共74頁(yè)。§1.5嚴(yán)平穩(wěn)序列及其遍歷性

定義：設(shè)是時(shí)間序列。如果對(duì)任意正整數(shù)n和k，隨機(jī)變量同分布，就稱(chēng)是嚴(yán)平穩(wěn)序列。特征是分布平移不變性：對(duì)任何固定的k，時(shí)間序列和

同分布。嚴(yán)平穩(wěn)和寬平穩(wěn)的關(guān)系：1.二階矩有限的嚴(yán)平穩(wěn)為寬平穩(wěn)。2.寬平穩(wěn)一般不是嚴(yán)平穩(wěn)。3.正態(tài)平穩(wěn)列既是寬平穩(wěn)也是嚴(yán)平穩(wěn)。4.平穩(wěn)序列到寬平穩(wěn)序列到弱平穩(wěn)序列。5.嚴(yán)平穩(wěn)序列到強(qiáng)平穩(wěn)序列。

當(dāng)前53頁(yè)，總共74頁(yè)。遍歷性：1.時(shí)間序列一般只是一條軌道。2.要用時(shí)間序列的一次實(shí)現(xiàn)推斷的統(tǒng)計(jì)性質(zhì)。遍歷性可以保證從一條軌道可以推斷整體的統(tǒng)計(jì)性質(zhì)。如果嚴(yán)平穩(wěn)序列是遍歷的，從他的一次實(shí)現(xiàn)就可以推斷出這個(gè)嚴(yán)平穩(wěn)的所有有限維分布:有遍歷的嚴(yán)平穩(wěn)序列被稱(chēng)為嚴(yán)平穩(wěn)遍歷序列。當(dāng)前54頁(yè)，總共74頁(yè)。嚴(yán)平穩(wěn)序列定理定理5.1如果是嚴(yán)平穩(wěn)遍歷序列，則有如下的結(jié)果：

（1）強(qiáng)大數(shù)律：如果則

（2）對(duì)任何多元函數(shù)是嚴(yán)平穩(wěn)遍歷序列.

下面的定理在判斷線性平穩(wěn)序列的遍歷性時(shí)時(shí)十分有用的。定理5.2如果是獨(dú)立同分布的WN(0,)實(shí)數(shù)列平方可和,

則線性平穩(wěn)序列

是嚴(yán)平穩(wěn)序列的。當(dāng)前55頁(yè)，總共74頁(yè)?！?.6Hilbert空間中的平穩(wěn)序列Hilbert空間

設(shè)是平穩(wěn)序列，令所以是一個(gè)線性空間。

當(dāng)前56頁(yè)，總共74頁(yè)。在線性空間上定義內(nèi)積，則有所以是內(nèi)積空間，在任何內(nèi)積空間中都有Schwarz不等式令距離則有

當(dāng)前57頁(yè)，總共74頁(yè)。三角不等式：這樣又稱(chēng)為距離空間，不難看出在任意的內(nèi)積空間上都可以定義距離，是它自然成為距離空間。如果也是內(nèi)積空間和距離空間，是的子空間。

定義6.1對(duì)：

(1)如果,則稱(chēng)在中收斂到

（2)如果當(dāng)

時(shí)，則稱(chēng)是中的基本列或Cauchy列。

當(dāng)前58頁(yè)，總共74頁(yè)。完備的內(nèi)積空間：每個(gè)基本列都是極限在空間內(nèi)的內(nèi)積空間。又稱(chēng)Hilbert空間。

是Hilbert空間。用表示中包含的最小閉子空間則是Hilbert空間，稱(chēng)為由平穩(wěn)序列生成的Hilbert空間。二.內(nèi)積的連續(xù)性

定理（內(nèi)積的連續(xù)性）在內(nèi)積空間中，如果證明(1)由三角不等式得到。

當(dāng)前59頁(yè)，總共74頁(yè)。（2）有Schwarz不等式得到例：n維Hilbert空間

是線性空間，定義內(nèi)積，則為內(nèi)積空間。

是完備的內(nèi)積空間。

為歐氏模

當(dāng)前60頁(yè)，總共74頁(yè)。例2設(shè)是零均值的平穩(wěn)列，，則它的線性組合全

體構(gòu)成的內(nèi)積空間

是Hilbert空間稱(chēng)為有X生成的Hilbert空間。實(shí)際上，是線性空

間和內(nèi)積空間下面我們來(lái)證明的完備性。

證明：先設(shè)是標(biāo)準(zhǔn)的白噪聲WN(0，1),對(duì)任何的線性組合

只要

由例1知道有使得

當(dāng)取時(shí)

于是是完備的當(dāng)前61頁(yè)，總共74頁(yè)。對(duì)一般的零均值的平穩(wěn)序列，可以設(shè)協(xié)方差陣的秩是m,m≤n有非退化矩陣B使得Y=BX有協(xié)方差矩陣于是且為WN(0，1)的一段，由知道為線性組合，從而是完備的。三.復(fù)值時(shí)間序列

復(fù)隨機(jī)變量：如果X和Y是隨機(jī)變量，稱(chēng)Z=X+iY是復(fù)隨機(jī)變量。

如果EX和EY都存在，稱(chēng)Z=X+iY的數(shù)學(xué)期存在,并且EZ=EX+iEY

二階矩有限的復(fù)隨機(jī)變量：如果就稱(chēng)為Z的二階矩有限

隨機(jī)變量。

當(dāng)前62頁(yè)，總共74頁(yè)。按時(shí)間次序排列的復(fù)值隨機(jī)變量的序列稱(chēng)為復(fù)時(shí)間序列。如果復(fù)時(shí)間序列滿足就稱(chēng)是一個(gè)復(fù)值平穩(wěn)序列，稱(chēng)是的自協(xié)方差函數(shù)。

當(dāng)

，稱(chēng)是一個(gè)復(fù)值零均值白噪聲。當(dāng)前63頁(yè)，總共74頁(yè)?！?.7平穩(wěn)序列的譜函數(shù)1.時(shí)域和頻域

遍歷的時(shí)間序列可以從延的時(shí)間分布進(jìn)行統(tǒng)計(jì)分析，稱(chēng)為時(shí)域分析。

平穩(wěn)時(shí)間序列的二階性質(zhì)也可以從其頻率分解來(lái)研究，稱(chēng)為頻域分析。2.譜函數(shù)和譜密度

設(shè)平穩(wěn)序列有自協(xié)方差函數(shù)（1）如果有[-π,π]上的單調(diào)不減右連續(xù)的函數(shù)F(λ)使得

則稱(chēng)F(λ)是或的譜分布函數(shù)，簡(jiǎn)稱(chēng)為譜函數(shù)。（2）如果有[-π,π]上的非負(fù)函數(shù)f(λ)使得

則稱(chēng)f(λ)是或的譜密度函數(shù)或功率譜密度，簡(jiǎn)稱(chēng)為譜密度或

功率譜。當(dāng)前64頁(yè)，總共74頁(yè)。譜函數(shù)和譜密度的關(guān)系若

有譜函數(shù)f(λ)

,則變上限的積分就是的譜函數(shù)。當(dāng)譜函數(shù)F(λ)絕對(duì)連續(xù)，它的幾乎處處導(dǎo)函數(shù)就是譜函數(shù)，特別，當(dāng)F(λ)是連續(xù)函數(shù)，除去有限點(diǎn)外導(dǎo)函數(shù)存在且連續(xù)，則是譜密度。當(dāng)前65頁(yè)，