時間序列分析第一章時間序列

時間序列分析第一章時間序列第一頁，共七十五頁，2022年，8月28日§1.1時間序列的分解一.時間序列的定義：

時間序列：按時間次序排列的隨機(jī)變量序列。

觀測樣本：隨機(jī)序列各隨機(jī)變量的觀測樣本。個有序觀

測值

一次實現(xiàn)或一條軌道：時間序列的一組實際觀測。

時間序列分析的任務(wù)：數(shù)學(xué)建模，解釋、控制或預(yù)報。

第二頁，共七十五頁，2022年，8月28日

二.時間序列的分解趨勢項，季節(jié)項，隨機(jī)項注：1.單周期季節(jié)項：只需要

且可設(shè)

2.隨機(jī)項：可設(shè)3.第三頁，共七十五頁，2022年，8月28日例：某城市居民季度用煤消耗量

分解方法:1.趨勢項估計（1）分段趨勢(年平均)（2）線性回歸擬合直線（3）二次曲線回歸（4）滑動平均估計第四頁，共七十五頁，2022年，8月28日2.估計趨勢項后,所得數(shù)據(jù)由季節(jié)項和隨機(jī)項組成,季節(jié)項估計可由該數(shù)據(jù)的每個季節(jié)平均而得.3.隨機(jī)項估計即為方法一：分段趨勢法1趨勢項（年平均）第五頁，共七十五頁，2022年，8月28日減去趨勢項后,所得數(shù)據(jù)第六頁，共七十五頁，2022年，8月28日2、季節(jié)項第七頁，共七十五頁，2022年，8月28日3.隨機(jī)項的估計

第八頁，共七十五頁，2022年，8月28日方法二：回歸直線法一、趨勢項估計一元線性回歸模型

最小二乘估計為可得到

第九頁，共七十五頁，2022年，8月28日1.直線趨勢項第十頁，共七十五頁，2022年，8月28日消去趨勢項后,所得數(shù)據(jù)第十一頁，共七十五頁，2022年，8月28日2、季節(jié)項估為第十二頁，共七十五頁，2022年，8月28日3.隨機(jī)項估計為第十三頁，共七十五頁，2022年，8月28日方法三：二次曲線法第十四頁，共七十五頁，2022年，8月28日1.二次項估計（趨勢項）數(shù)據(jù)和二次趨勢項估計第十五頁，共七十五頁，2022年，8月28日2.季節(jié)項、隨機(jī)項

第十六頁，共七十五頁，2022年，8月28日例二、美國罷工數(shù)（51-80年)（滑動平均法）第十七頁，共七十五頁，2022年，8月28日1.趨勢項（5項平均）第十八頁，共七十五頁，2022年，8月28日2.季節(jié)項和隨機(jī)項第十九頁，共七十五頁，2022年，8月28日例三、化學(xué)溶液濃度變化數(shù)據(jù)第二十頁，共七十五頁，2022年，8月28日一階差分第二十一頁，共七十五頁，2022年，8月28日三時間序列和隨機(jī)過程

設(shè)是實數(shù)的子集，如果對每個t屬于T，都有一個隨機(jī)變量與之對應(yīng)，就稱隨機(jī)變量的集合是一個隨機(jī)過程。

當(dāng)T是全體整數(shù)或全體非負(fù)整數(shù)時，稱相應(yīng)的隨機(jī)過程為隨機(jī)序列。

把隨機(jī)序列的指標(biāo)集合T看成時間指標(biāo)時，這個隨機(jī)過程就是時間序列。

當(dāng)T是全體實數(shù)或全體非負(fù)實數(shù)時，相應(yīng)的隨機(jī)過程稱為連續(xù)時隨機(jī)過程。

如果把T認(rèn)為時間指標(biāo)，連續(xù)是的隨機(jī)過程就是連續(xù)的時間序列。

第二十二頁，共七十五頁，2022年，8月28日§1.2平穩(wěn)序列一·平穩(wěn)序列

定義如果時間序列滿足

（1）對任何的

（2）對任何的

（3）對任何的

就稱是平穩(wěn)時間序列，簡稱時間序列。稱實數(shù)為的自協(xié)方差函數(shù)。

平穩(wěn)序列中隨機(jī)變量的均值為，方差為都是和t無關(guān)的常數(shù)。

協(xié)方差結(jié)構(gòu)的平移不變性是平穩(wěn)序列的特性，所以平穩(wěn)序列是二階矩平穩(wěn)序列。第二十三頁，共七十五頁，2022年，8月28日自協(xié)方差函數(shù)滿足以下三條性質(zhì)：

（1）對稱性：

對所有的K成立。（2）非負(fù)定性：對任何的，n階自協(xié)方差矩陣

是非負(fù)定的矩陣。（3）有界性：對所有的k成立。

滿足上述性質(zhì)的實數(shù)列都稱為非負(fù)定序列。第二十四頁，共七十五頁，2022年，8月28日

下面證明這些性質(zhì)，對稱性由定義直接得到。

為證明非負(fù)性，任取一個

維實向量

第二十五頁，共七十五頁，2022年，8月28日為證明有界性，我們先介紹一個常用的不等式.

引理(Schwarz不等式）對任何方差有限的隨機(jī)變量X和Y,有證明不妨設(shè),關(guān)于a的一元

于是，判別式

取

時，有界性有Schwarz不等式得到：

第二十六頁，共七十五頁，2022年，8月28日線性相關(guān)性定義：自協(xié)方差矩陣退化的充分必要條件是存在非零的n維實向量

使得

這時我們稱隨機(jī)變量是線性相關(guān)的。

自相關(guān)系數(shù)

定義：設(shè)平穩(wěn)序列是標(biāo)準(zhǔn)化的序列，的自協(xié)方差函數(shù)稱為平穩(wěn)序列的自相關(guān)系數(shù)。

第二十七頁，共七十五頁，2022年，8月28日二.白噪聲最簡單的平穩(wěn)序列是白噪聲，它在時間序列分析中有特殊的重要地位。定義（白噪聲）設(shè)是一個平穩(wěn)序列，如果對任意的稱是一個白噪聲，記做

當(dāng)是獨立序列時，稱是獨立白噪聲；

當(dāng)時，稱為零均值白噪聲；

當(dāng)稱為標(biāo)準(zhǔn)白噪聲。

第二十八頁，共七十五頁，2022年，8月28日例2.3Poisson過程和Poisson白噪聲如果連續(xù)時的隨機(jī)過程滿足（1），且對任何的t>s≧0和非負(fù)整數(shù)k，（2）{N(t)}有獨立增量性：對任何n>1和

隨機(jī)變量

相互獨立，則稱{N(t)}是一個強(qiáng)度為λ的Poisson過程。

數(shù)學(xué)期望和方差分別為

第二十九頁，共七十五頁，2022年，8月28日Poisson白噪聲定義：滿足上面三個條件稱為Poisson白噪聲。ave表示的樣本均值，std表示樣本的標(biāo)準(zhǔn)差。下面的例子是Poisson白噪聲的60個樣本。

第三十頁，共七十五頁，2022年，8月28日Poisson白噪聲的60樣本的產(chǎn)生1.隨機(jī)產(chǎn)生服從(0,1)上均勻的200個樣本:2.給出服從參數(shù)為1的指數(shù)分布的200個獨立樣本;3.給出參數(shù)為1的Poisson過程一條樣本軌道在i=1,…,61上的取值；第三十一頁，共七十五頁，2022年，8月28日參數(shù)為1的Poisson白噪聲的60個樣本I第三十二頁，共七十五頁，2022年，8月28日樣本II第三十三頁，共七十五頁，2022年，8月28日標(biāo)準(zhǔn)正態(tài)白噪聲的60個樣本:A=randn(1,60)；plot(A)第三十四頁，共七十五頁，2022年，8月28日三.正交平穩(wěn)序列設(shè)X和Y是方差有限的隨機(jī)變量，如果E(XY)=0，就稱X和Y是正交的，如果cov(X,Y）=0，就稱X和Y是不相關(guān)的。

定義對于平穩(wěn)序列和，

（1）如果對任何的s,t∈Z,，則稱和

是正交的；

（2）如果對任何的s,t∈Z，，則稱和

是不相關(guān)的。定理2.2設(shè)

和分別是平穩(wěn)序列和的自協(xié)方差函數(shù)，

記定義

第三十五頁，共七十五頁，2022年，8月28日（1）如果和正交，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

（2）如果和不相關(guān)，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

證明：（1）當(dāng)和正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到

（2）由上面的推導(dǎo)得到。

第三十六頁，共七十五頁，2022年，8月28日§1.3線性平穩(wěn)序列和線性濾波一.有限運(yùn)動平均

定義：設(shè)是WN(O,)，對于非負(fù)整數(shù)q和常數(shù)a0,a1,…aq,我們稱

是白噪聲的（有限）運(yùn)動平均，簡稱為MA，運(yùn)動平均又稱

滑動平均。MA的平穩(wěn)性

第三十七頁，共七十五頁，2022年，8月28日例：第三十八頁，共七十五頁，2022年，8月28日概率極限定理：

定理（單調(diào)收斂定理）如果非負(fù)隨機(jī)變量序列單調(diào)不減：

則當(dāng)時，有對于任何時間序列，利用單調(diào)收斂定理得到定理（控制收斂定理）如果隨機(jī)變量序列滿足和時，則當(dāng)時，并且第三十九頁，共七十五頁，2022年，8月28日二.線性平穩(wěn)序列定義：如果實數(shù)列滿足則稱是絕對可和的。對于絕對可和的實數(shù)列，定義零均值白噪聲的無窮滑動和如下

，則是平穩(wěn)序列。下面說明是平穩(wěn)序列。

由Schwarz不等式得到于是Xt右邊的無窮級數(shù)是a.s.絕對收斂的，從而是a.s.收斂的。

由于所以用控制收斂定理得到

現(xiàn)對t,s∈Z，定義

第四十頁，共七十五頁，2022年，8月28日利用公式可以知道

所以由控制收斂定理得到這就說明了是平穩(wěn)序列

第四十一頁，共七十五頁，2022年，8月28日證明：當(dāng)時定理：設(shè)是WN(0，),實數(shù)列平方可和，線性平穩(wěn)序列由上述

定義，則自協(xié)方差函數(shù)第四十二頁，共七十五頁，2022年，8月28日三.時間序列的線性濾波對序列進(jìn)行滑動求和：稱為對進(jìn)行線性濾波。其中決定可和的稱為一個保時線性濾波器。

如果輸入信號是平穩(wěn)列則輸出也是平穩(wěn)列。期望協(xié)方差函數(shù)第四十三頁，共七十五頁，2022年，8月28日例3.1余弦波信號的濾波信號{St}方差，噪聲方差，信噪比第四十四頁，共七十五頁，2022年，8月28日注：第四十五頁，共七十五頁，2022年，8月28日第四十六頁，共七十五頁，2022年，8月28日§1.4正態(tài)時間序列和隨機(jī)變量的收斂性隨機(jī)向量的數(shù)學(xué)期望和方差

矩陣隨機(jī)向量期望

隨機(jī)向量，則X的協(xié)方差矩陣

協(xié)方差矩陣的計算公式隨機(jī)向量線性變換

第四十七頁，共七十五頁，2022年，8月28日如果存在m維常數(shù)列向量μ，m×n常數(shù)矩陣B和iid的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量使得Y=μ+BX,則稱隨機(jī)變量服從m維正態(tài)分布。這時EY=μ,∑=Var(Y)=Y的特征函數(shù)為

這是多維正態(tài)分布的等價定義。記Y~N(μ,∑)

第四十八頁，共七十五頁，2022年，8月28日多維正態(tài)分布的充要條件定理4.1的充要條件是對任何

二.正條平穩(wěn)序列

定義：對于時間序列，如果對任何n≥1和有

服從多元正態(tài)分布，則稱為正態(tài)時間序列

特別當(dāng)還是平穩(wěn)序列時，又稱為正態(tài)平穩(wěn)序列。第四十九頁，共七十五頁，2022年，8月28日正態(tài)序列收斂定理定理4.3

如果正態(tài)序列,依分布收斂到隨機(jī)變量ξ則定理4.4

如果服從WN(0，)，實數(shù)列絕對可和，則有定義的平穩(wěn)序列時零均值正態(tài)序列，自協(xié)方差函數(shù)(3.5)給出。

證明：下證為正態(tài)序列，先證對任何,有其中

第五十頁，共七十五頁，2022年，8月28日對任何,定義則有當(dāng)時,有第五十一頁，共七十五頁，2022年，8月28日由定理4.2,得到依分布收斂到，則從而由和定理4.1得到(4.9).用同樣方法可以證明:對任何有其中.定理4.4成立.第五十二頁，共七十五頁，2022年，8月28日§1.5嚴(yán)平穩(wěn)序列及其遍歷性

定義：設(shè)是時間序列。如果對任意正整數(shù)n和k，隨機(jī)變量同分布，就稱是嚴(yán)平穩(wěn)序列。特征是分布平移不變性：對任何固定的k，時間序列和

同分布。嚴(yán)平穩(wěn)和寬平穩(wěn)的關(guān)系：1.二階矩有限的嚴(yán)平穩(wěn)為寬平穩(wěn)。2.寬平穩(wěn)一般不是嚴(yán)平穩(wěn)。3.正態(tài)平穩(wěn)列既是寬平穩(wěn)也是嚴(yán)平穩(wěn)。4.平穩(wěn)序列到寬平穩(wěn)序列到弱平穩(wěn)序列。5.嚴(yán)平穩(wěn)序列到強(qiáng)平穩(wěn)序列。

第五十三頁，共七十五頁，2022年，8月28日遍歷性：1.時間序列一般只是一條軌道。2.要用時間序列的一次實現(xiàn)推斷的統(tǒng)計性質(zhì)。遍歷性可以保證從一條軌道可以推斷整體的統(tǒng)計性質(zhì)。如果嚴(yán)平穩(wěn)序列是遍歷的，從他的一次實現(xiàn)就可以推斷出這個嚴(yán)平穩(wěn)的所有有限維分布:有遍歷的嚴(yán)平穩(wěn)序列被稱為嚴(yán)平穩(wěn)遍歷序列。第五十四頁，共七十五頁，2022年，8月28日嚴(yán)平穩(wěn)序列定理定理5.1如果是嚴(yán)平穩(wěn)遍歷序列，則有如下的結(jié)果：

（1）強(qiáng)大數(shù)律：如果則

（2）對任何多元函數(shù)是嚴(yán)平穩(wěn)遍歷序列.

下面的定理在判斷線性平穩(wěn)序列的遍歷性時時十分有用的。定理5.2如果是獨立同分布的WN(0,)實數(shù)列平方可和,

則線性平穩(wěn)序列

是嚴(yán)平穩(wěn)序列的。第五十五頁，共七十五頁，2022年，8月28日§1.6Hilbert空間中的平穩(wěn)序列Hilbert空間

設(shè)是平穩(wěn)序列，令所以是一個線性空間。

第五十六頁，共七十五頁，2022年，8月28日在線性空間上定義內(nèi)積，則有所以是內(nèi)積空間，在任何內(nèi)積空間中都有Schwarz不等式令距離則有

第五十七頁，共七十五頁，2022年，8月28日三角不等式：這樣又稱為距離空間，不難看出在任意的內(nèi)積空間上都可以定義距離，是它自然成為距離空間。如果也是內(nèi)積空間和距離空間，是的子空間。

定義6.1對：

(1)如果,則稱在中收斂到

（2)如果當(dāng)

時，則稱是中的基本列或Cauchy列。

第五十八頁，共七十五頁，2022年，8月28日完備的內(nèi)積空間：每個基本列都是極限在空間內(nèi)的內(nèi)積空間。又稱Hilbert空間。

是Hilbert空間。用表示中包含的最小閉子空間則是Hilbert空間，稱為由平穩(wěn)序列生成的Hilbert空間。二.內(nèi)積的連續(xù)性

定理（內(nèi)積的連續(xù)性）在內(nèi)積空間中，如果證明(1)由三角不等式得到。

第五十九頁，共七十五頁，2022年，8月28日（2）有Schwarz不等式得到例：n維Hilbert空間

是線性空間，定義內(nèi)積，則為內(nèi)積空間。

是完備的內(nèi)積空間。

為歐氏模

第六十頁，共七十五頁，2022年，8月28日例2設(shè)是零均值的平穩(wěn)列，，則它的線性組合全

體構(gòu)成的內(nèi)積空間

是Hilbert空間稱為有X生成的Hilbert空間。實際上，是線性空

間和內(nèi)積空間下面我們來證明的完備性。

證明：先設(shè)是標(biāo)準(zhǔn)的白噪聲WN(0，1),對任何的線性組合

只要

由例1知道有使得

當(dāng)取時

于是是完備的第六十一頁，共七十五頁，2022年，8月28日對一般的零均值的平穩(wěn)序列，可以設(shè)協(xié)方差陣的秩是m,m≤n有非退化矩陣B使得Y=BX有協(xié)方差矩陣于是且為WN(0，1)的一段，由知道為線性組合，從而是完備的。三.復(fù)值時間序列

復(fù)隨機(jī)變量：如果X和Y是隨機(jī)變量，稱Z=X+iY是復(fù)隨機(jī)變量。

如果EX和EY都存在，稱Z=X+iY的數(shù)學(xué)期存在,并且EZ=EX+iEY

二階矩有限的復(fù)隨機(jī)變量：如果就稱為Z的二階矩有限

隨機(jī)變量。

第六十二頁，共七十五頁，2022年，8月28日按時間次序排列的復(fù)值隨機(jī)變量的序列稱為復(fù)時間序列。如果復(fù)時間序列滿足就稱是一個復(fù)值平穩(wěn)序列，稱是的自協(xié)方差函數(shù)。

當(dāng)

，稱是一個復(fù)值零均值白噪聲。第六十三頁，共七十五頁，2022年，8月28日§1.7平穩(wěn)序列的譜函數(shù)1.時域和頻域

遍歷的時間序列可以從延的時間分布進(jìn)行統(tǒng)計分析，稱為時域分析。

平穩(wěn)時間序列的二階性質(zhì)也可以從其頻率分解來研究，稱為頻域分析。2.譜函數(shù)和譜密度

設(shè)平穩(wěn)序列有自協(xié)方差函數(shù)（1）如果有[-π,π]上的單調(diào)不減右連續(xù)的函數(shù)F(λ)使得

則稱F(λ)是或的譜分布函數(shù)，簡稱為譜函數(shù)。（2）如果有[-π,π]上的非負(fù)函數(shù)f(λ)使得

則稱f(λ)是或的譜密度函數(shù)或功率譜密度，簡稱為譜密度或

功率譜。第六十四頁，共七十五頁，2022年，8月28日譜函數(shù)和譜密度的關(guān)系若

有譜函數(shù)f(λ)

,則變上限的積分就是的譜函數(shù)。當(dāng)譜函數(shù)F(λ)絕對連續(xù)，它的幾乎處處導(dǎo)函數(shù)就是譜函數(shù)，特別，當(dāng)F(λ)是連續(xù)函數(shù)，除去有限點外導(dǎo)函數(shù)存在且連續(xù)，則是譜密度。第六十五頁，共七十五頁，2022年，8月28日譜函數(shù)存在唯一性定理定理7.1

（Herglotz定理）平穩(wěn)序列的譜函數(shù)是唯一存在的。線性平穩(wěn)序列的譜密度定理7.2如果是WN(0，)實數(shù)列平方可和，則線性平穩(wěn)序列

有譜