過程建模3-時間序列模型

上篇線性系統(tǒng)建模3.1問題的提出3時間序列模型在實際建模應(yīng)用中，有一類系統(tǒng)不能完全用前面章節(jié)所介紹的輸入/輸出關(guān)系模型來描述，如生物系統(tǒng)中的生物電信號（心電、腦電…),經(jīng)濟系統(tǒng)中的市場價格，機械系統(tǒng)中的機械振動，社會上的某種疾病的發(fā)病率等。這些系統(tǒng)變量的特征：一是系統(tǒng)不存在明確的因果關(guān)系，或者說“因”不清楚，能觀測到的只是“果”；二是這些量隨時間推移而變化的觀測值相關(guān)的；三是觀測值受隨機干擾影響，具有隨機性，屬于隨機過程。我們將這種隨時間順序排列的一個觀測序列稱為時間序列或隨機時間序列。3.1問題的提出3時間序列模型時間序列自身所具有的相關(guān)性，即任何時刻的觀測值都受過去觀測值的影響，是對其進行研究的基礎(chǔ)。

我們可以：通過時間序列的歷史數(shù)據(jù),得出關(guān)于其過去行為的有關(guān)結(jié)論，進而對時間序列未來行為進行推斷。

建立隨機時間序列模型的目的，就是要通過序列過去的變化特征來預(yù)測未來的變化趨勢。3.1問題的提出3時間序列模型根據(jù)不同的研究對象所表現(xiàn)的時間統(tǒng)計特性，隨機時間序列可以分為兩類：平穩(wěn)時間序列：平穩(wěn)時間序列是平穩(wěn)序列，它滿足期望為零，且任意兩個時刻的相關(guān)函數(shù)與時間t無關(guān)，僅與兩個時刻的時間差相關(guān)。非平穩(wěn)時間序列：不滿足平穩(wěn)隨機過程的統(tǒng)計特征，序列的相關(guān)函數(shù)與時間起源點有關(guān)。有季節(jié)性周期時間序列、線性趨勢時間序列、指數(shù)趨勢時間序列及不規(guī)則時間序列等不同的時間序列，其建模過程有所不同。3.1問題的提出3時間序列模型

隨機時間序列模型（TimeSeriesModeling）一般形式為

yt=F(yt-1,yt-2,…,t)

建立具體的時間序列模型的三個問題：

(1)模型的具體形式（線性/非線性？定常/時變？）

(2)時序變量的滯后期

(3)隨機擾動項的結(jié)構(gòu)3.1問題的提出3時間序列模型

例如，取線性方程、一階滯后以及白噪聲隨機擾動項（t=vt），模型將是一個1階自回歸過程AR(1)：

yt=yt-1+vt

(vt特指白噪聲)一般的p階自回歸過程AR(p)是：

yt=1yt-1+2yt-2+…+pyt-p+t(*)

(1)如果隨機擾動項是一個白噪聲(t=vt)，則稱(*)式為一純AR(p)過程(pureAR(p)process)，記為

yt=1yt-1+2yt-2+…+pyt-p+vt3.1問題的提出3時間序列模型

(2)如果t不是一個白噪聲，通常認為它是一個q階的滑動平均(movingaverage)過程MA(q)：

t=vt

?

1vt-1?

2vt-2??

qvt-q

該式給出了一個純MA(q)過程(pureMA(q)process)。

將純AR(p)與純MA(q)結(jié)合，得到一個一般的自回歸滑動平均(autoregressivemovingaverage)過程ARMA(p,q)：

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-q3.1問題的提出3時間序列模型

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-qARMA(p,q)：該式表明：（1）一個隨機時間序列可以通過一個自回歸滑動平均過程生成，即該序列可以由其自身的過去以及隨機擾動項來解釋。（2）如果該序列是平穩(wěn)的，即它的行為并不會隨著時間的推移而變化，那么我們就可以通過該序列過去的行為來預(yù)測未來。平穩(wěn)時間序列的建模就是指用動態(tài)數(shù)據(jù)來擬合ARMA模型。3時間序列模型結(jié)構(gòu)階數(shù)序列樣本確定估計參數(shù)預(yù)測未來行為時間序列分析的過程：時間序列建模3.1問題的提出檢驗3.2ARMA模型建立

線性時不變隨機時間序列模型包括AR、MA和ARMA模型。模型的建立，就是對于一個平穩(wěn)的隨機時間序列，找出生成它的合適的隨機過程或模型，即判斷該時間序列是遵循一純AR過程、還是遵循一純MA過程或ARMA過程，并估計過程的參數(shù)。具體包括：3.2.1ARMA模型結(jié)構(gòu)識別3.2.2ARMA模型參數(shù)估計所使用的工具主要是時間序列的自相關(guān)函數(shù)（ACF）、偏自相關(guān)函數(shù)（PACF）及最小二乘估計（LS）。3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別ARMA模型結(jié)構(gòu)識別即是初步確定適合于給定樣本的ARMA模型形式，即確定p,q的取值。常用的結(jié)構(gòu)識別方法有：損失函數(shù)檢驗法F檢驗法AIC準則自相關(guān)圖和偏自相關(guān)圖法

見第4章“模型階的辨識”3時間序列模型3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別AR(p)模型的識別原則：若yt的偏自相關(guān)函數(shù)k*在p以后截尾,即k>p時，k*=0，而它的自相關(guān)函數(shù)k是拖尾的，則此序列是自回歸AR(p)序列。MA(q)模型的識別規(guī)則：

若yt的自相關(guān)函數(shù)k在q以后截尾,即k>q時，k=0，而它的偏自相關(guān)函數(shù)k*是拖尾的,則此序列是滑動平均MA(q)序列。3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別

從識別上看，通常：

ARMA(p,q)過程的偏自相關(guān)函數(shù)(PACF)可能在p階滯后前有幾項明顯的尖柱，但從p階滯后項開始逐漸趨向于零；而它的自相關(guān)函數(shù)(ACF)則是在q階滯后前有幾項明顯的尖柱,從q階滯后項開始逐漸趨向于零。ARMA(p,q)的自相關(guān)函數(shù)，可以看作MA(q)的自相關(guān)函數(shù)和AR(p)的自相關(guān)函數(shù)的混合。3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別ARMA(p,q)模型的ACF與PACF理論模式模型ACFPACF白噪聲kk*AR(p)衰減趨于零(幾何型或震蕩型)p階后截尾：k*=0，k>pMA(q)q階后截尾：k=0，k>p衰減趨于零(幾何型或震蕩型)ARMA(p,q)q階后衰減趨于零(幾何型或震蕩型)p階后衰減趨于零(幾何型或震蕩型)3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別3時間序列模型3.2.1

ARMA模型結(jié)構(gòu)識別3時間序列模型3.2.2

ARMA模型參數(shù)估計ARMA模型參數(shù)估計，是在模型結(jié)構(gòu)確定后，估計模型的參數(shù)，即確定常用的參數(shù)估計方法有：矩估計最小二乘估計極大似然估計

…….

1，2，…

，p和1，2，，q3時間序列模型3.2.2

ARMA模型參數(shù)估計矩估計，也叫YuleWalker方程估計。它只需要樣本的自相關(guān)函數(shù)的估計值，求解YuleWalker線性方程組獲得參數(shù)估計值，簡單方便。但矩估計的精度較低，一般用來獲得最小二乘估計的初始值。最小二乘估計。對于AR模型，用普通最小二乘法。對于MA和ARMA模型，需要用增廣最小二乘法。（參見第1章）3.3非平穩(wěn)時間序列模型

當(dāng)隨機時間序列模型

yt=F(yt-1,yt-2,…,t)函數(shù)F中包含時間的確定性趨勢項時，該模型所確定的隨機序列不再是平穩(wěn)序列。這時，序列的統(tǒng)計特性與時間原點有關(guān)。3時間序列模型3.3非平穩(wěn)時間序列模型若F為線性函數(shù)，則表現(xiàn)為ARMA模型的一些參數(shù)為時變參數(shù)。此時，模型參數(shù)估計可采用：限定記憶或漸消記憶最小二乘法卡爾曼濾波逼近法若F為非線性函數(shù)，可嘗試用非線性最小二乘法估計模型參數(shù)或用動態(tài)神經(jīng)網(wǎng)絡(luò)建模。（參見第9章）3時間序列模型3.3非平穩(wěn)時間序列模型用卡爾曼濾波估計時變ARMA模型參數(shù)：Kalman濾波器時變ARMA模型其中，w(k)表示人為設(shè)定的時變參數(shù)的“假”噪聲，假設(shè)它是零均值、正態(tài)白噪聲，且與v(k)獨立。w(k)的方差為可調(diào)參數(shù)，根據(jù)待估計參數(shù)隨時間變化的快慢取值。由于時變參數(shù)的動態(tài)變化規(guī)律未知，將其假設(shè)為不相關(guān)的隨機漂移向量3時間序列模型3.3非平穩(wěn)時間序列模型用逼近法估計時變ARMA模型參數(shù)：3時間序列模型將模型中隨時間變化的參數(shù)表示成一個時間的函數(shù)，該函數(shù)能逼近原參數(shù)的時間動態(tài)性能，如用時間t的n次多項式逼近：其中為未知參數(shù)，需要估計。時變參數(shù)逼近式原模型方程重構(gòu)時變參數(shù)LS舉例時不變參數(shù)估計3.3非平穩(wěn)時間序列模型逼近法中，關(guān)鍵是根據(jù)時變參數(shù)的特性選擇合適的逼近函數(shù)，除了多項式逼近，還有小波函數(shù)逼近、傅立葉級數(shù)逼近等。有時也將逼近函數(shù)稱為時變參數(shù)展開的基函數(shù)，基函數(shù)的選擇目前沒有形成統(tǒng)一的理論框架。3時間序列模型平穩(wěn)時間序列建模過程1、檢驗時間序列的平穩(wěn)性2、零均值化3、模型的初步識別4、模型的定階5、模型的參數(shù)估計6、模型的適應(yīng)性檢驗

3.4應(yīng)用實例3時間序列模型化學(xué)反應(yīng)產(chǎn)出量

(每次觀測間隔兩小時)

476423713864554159487135574058448055377451575060455750452559507156745058455436544855455750624464435238595541534934355445

68385060395940575423

共70個數(shù)據(jù)3.4應(yīng)用實例3時間序列模型時序數(shù)據(jù)文件建立和數(shù)據(jù)的觀察一、工作文件的建立化學(xué)反應(yīng)產(chǎn)出量時序是每隔兩小時采集的數(shù)據(jù)，可把此數(shù)據(jù)看作無規(guī)則的數(shù)據(jù)，而且，共有70個數(shù)據(jù)，建立工作文件應(yīng)選擇

3.4應(yīng)用實例3時間序列模型二、建立數(shù)據(jù)對象三、輸入數(shù)據(jù)四、對數(shù)據(jù)進行瀏覽觀察

1、觀察其數(shù)據(jù)圖，看序列是否具有趨勢性、周期性、季節(jié)性，以判斷序列是否平穩(wěn)序列？本序列的數(shù)據(jù)圖如下：3.4應(yīng)用實例3時間序列模型本圖展示了連續(xù)觀測一項化學(xué)反應(yīng)的70筆產(chǎn)量的觀測值，這70筆的數(shù)列數(shù)據(jù)的明顯特征就是大約在一固定的水準為50測量單位左右，并且都在20到80的測量單位固定范圍內(nèi)變動，整體來說此數(shù)列不論何時皆具有大致相同的統(tǒng)計特征，此序列是一個平穩(wěn)序列。在此例中，所預(yù)測的產(chǎn)量的平均水準應(yīng)為50，且都在20到80之間。若再仔細觀察數(shù)列的行為可發(fā)現(xiàn)一趨勢：若觀測值大于平均數(shù)，則下一個觀測值即小于平均數(shù)，反之亦然，于是兩兩鄰近的觀測呈現(xiàn)負相關(guān)，如能適當(dāng)利用此相關(guān)性可使我們的預(yù)測更精確。3.4應(yīng)用實例3時間序列模型五、看數(shù)據(jù)的統(tǒng)計特性，觀察此序列是否正態(tài)序列：從其統(tǒng)計特征可以看出該序列均值為51.12857,Jarque-Bera為0.065419，Probalility為0.967819，說明此序列為正態(tài)序列。3時間序列模型六、看序列的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)從序列的相關(guān)圖可以看出ACF具有拖尾性，而PACF具有截尾性。說明此序列也是平穩(wěn)序列。3.4應(yīng)用實例3時間序列模型時序模型的初步識別一、數(shù)據(jù)的零均化

二、觀察序列的相關(guān)函數(shù)圖，以判斷此序列初步判別序列是何種模型。通過相關(guān)圖觀察，我們發(fā)現(xiàn)自相關(guān)函數(shù)具有拖尾性，而偏自相關(guān)函數(shù)具有截尾性，可初步判定一步截尾，即AR(1)。另外考慮ARMA模型，從相關(guān)圖上可看出為ARMA(1,2)

3.4應(yīng)用實例3時間序列模型時序模型定階和參數(shù)估計我們依據(jù)初步識別的結(jié)果，利用第4章介紹的模型階估計法對模型進行進一步分析定階。首先對本數(shù)據(jù)分別用最小二乘法擬合AR(1),AR(2),AR(3),AR(4)模型,其結(jié)果如下：3.4應(yīng)用實例3時間序列模型3.4應(yīng)用實例3時間序列模型3.4應(yīng)用實例3時間序列模型接下來針對