時間序列分析方法第04章預測

1、時間序列分析方法講義第4章預測5第四章預測在本章當中我們討論預測的一般概念和方法，然后分析利用 的問題。ARMA( p,q)模型進行預測§ 4.1預期原理利用各種條件對某個變量下一個時點或者時間階段內取值的判斷是預測的重要情形。 此，需要了解如何確定預測值和度量預測的精度。4.1.1基于條件預期的預測假設我們可以觀察到一組隨機變量X t的樣本值，然后利用這些數(shù)據(jù)預測隨機變量的值。特別地，一個最為簡單的情形就是利用Yt的前m個樣本值預測Yt 1，此時Xt可以描述為：Yt 1Xt Yt,Yt 1, ,Yt m 1假設Yt*1|t表示根據(jù)Xt對于Yt 1做出的預測。那么如何度量預測效果呢？

2、通常情況下, 我們利用損失函數(shù)來度量預測效果的優(yōu)劣。假設預測值與真實值之間的偏離作為損失，單的二次損失函數(shù)可以表示為(該度量也稱為預測的均方誤差)：MSE(Yt*1|t) E(Yt1 Y*1|t)2定理4.1使得預測均方誤差達到最小的預測是給定則簡Xt時，對Yt 1的條件數(shù)學期望,即:Yt*1|t E(Yt 1 |Xt)證明：假設基于Xt對Y 1的任意預測值為：Yt*1|t g(Xt)則此預測的均方誤差為：MSE(Yt*1|t) EYt 1 g(Xt)2 對上式均方誤差進行分解，可以得到：MSE(Yt*1|t) E Yt 1 E(Yt1|Xt) E(Yt 1 |Xt) EY 1 E(Yt 1

3、|Xt)2 E(Yt 1 |Xt) 2EY 1 E(Yt1|Xt)E(Yt1|Xt) 其中交叉項的數(shù)學期望為(利用數(shù)學期望的疊代法則g(Xt)2g(Xt)2 g(Xt)EYt 1 E(Yt 1 |Xt)E(Yt1 |Xt)因此均方誤差為：MSE(Yt*1|t) EYt 1 E(Yt1|Xt)2為了使得均方誤差達到最小，則有：g(Xt) E(Yt 1|Xt)此時最優(yōu)預測的均方誤差為：MSE(Yt*1|t) EYt 1 E(Yt1|Xt)2g(Xt)E(Yti)：0|Xt)g(Xt)2End我們以后經常使用條件數(shù)學期望作為隨機變量的預測值。4.1.2基于線性投影的預測由于上述條件數(shù)學期望比較難以確

4、定，因此將預測函數(shù)的范圍限制在線性函數(shù)當中,們考慮下述線性預測：Yt*1|tXt如此預測的選取是所有預測變量的線性組合，預測的優(yōu)劣則體現(xiàn)在系數(shù)向量的選擇上。定義4.1如果我們可以求出一個系數(shù)向量值 相關：，使得預測誤差(Yt1Xt) 與Xt不E(Yt 1則稱預測 XtXt)Xt0為Yt 1基于Xt的線性投影。定理4.2在所有線性預測當中，線性投影預測具有最小的均方誤差。證明：假設gXt是任意一個線性預測，則對應的均方誤差可以分解為:MSE EYt 1E(Yt 1由于 Xt是線性投影，則有：E(Yt 1Xt)( Xt g因此均方誤差為：MSE E(Yt 1Xt)2g Xt2Xt)2EYt 1Xt

5、E( Xt g Xt)2Xt)E(Yt 1E( Xt為了使得均方誤差達到最小，線性預測滿足: g XtXt這是一個線性投影。g Xt)2Xtg Xt22E(Yt 1Xt)( XtXt)Xt( g) 0g Xt)End我們將線性投影預測表示為：f?(Yt1 |Xt)Xt或者簡化為：Y? 1|t Xt顯然線性投影的預測誤差仍然不小于條件期望預測，因此有：MSEf?(Yt 1 |Xt) MSEE(Y 1|Xt)E?表示含有常數(shù)當條件中包含常數(shù)的時候，此時線性投影當中就含有常數(shù)，為此使用 項的線性投影預測，即：呂(Yt1|Xt)政 Yt 1 |1,Xt)4.1.3線性投影的性質根據(jù)線性投影的定義，我們

6、可以求出投影的系數(shù)向量:E(Yt 1Xt)E(XtXt)如果E(XtXt)是可逆的，則有:E(Yt 1Xt)E(XtXt) 1命題4.1線性預測滿足下述性質:(1) 最優(yōu)線性預測的均方誤差為：MSE E(Yt 1)2 E(Yt1Xt)E(XtXt) 1£以畀 J(2) 線性投影滿足線性平移性質：f?(aYt證明：MSE1 b|Xt)301 |Xt) b(1)根據(jù)投影向量的表達式，可以得到：E(Yt 1Xt)2E(Yt 1)22£厲 1Xt)E(XtXt) 1E(XtYt1)E" 1Xt)E(XtXt) 1E(XtXt)E(XtYt 1)化簡就可以得到命題表達式。(

7、2)需要證明af?(Yt 1 |Xt) b是aVt 1 b的線性投影。顯然, 以證明它滿足正交性質。它是線性函數(shù)，其次，可End4.1.4線性投影和普通最小二乘回歸線性投影與最小二乘估計緊密相關，這兩種概念之間存在聯(lián)系。立線性回歸方程，得到：例如，將yti基于Xt建yt 1xtt對于給定 y 1和Xt的T個樣本，樣本殘差平方和定義為:T(yt 1Xt)2t 1使得殘差平方和達到最小的系數(shù)最小二乘估計為：TTb XtXt) 1 Xt yt 1)t 1t 1如果過程是協(xié)方差平穩(wěn)過程且關于二階矩是遍歷的，則有：1 T-XtXtT t 11 T-XtYt 1T t 1PE(XtXt)PE(XtYt 1

8、)因此上述OLS估計按概率收斂到線性投影系數(shù)： b P4.1.5向量預測上述結果可以推廣到利用m 1維向量Xt預測n 1維向量Yt1，記為:f?(Yt1|Xt)Xt其中為投影系數(shù)的一個E(Yt 1 Xt)Xt上式說明預測誤差(Yt 1Y?1|tn m階矩陣，滿足正交條件：0Y 1it)的每一個分量與條件變量Xt的每一個分量都無關。命題4.2 假設Y? 1|t是Yt 1的最小均方誤差線性預測，則對任意Yt 1的線性組合時間序列分析方法講義第4章預測zt 1 h Yt 1，它的最小均方誤差線性預測為：? 1|t h « 1|tEnd證明：只需證明是線性投影即可，這時需要驗證相應的正交性。

9、類似地，投影矩陣為：E(Yt 1Xt)E(XtXt) 1與此對應的均方誤差矩陣為：MSE EYt 1XtYt1XtE(Y 1Yt 1) E(Yt 1Xt)E(XtXt) 1 E(XtYt 1)§ 4.2基于無限個觀測值的預測無論是條件期望預測還是正交線性預測, 于無限個觀測值情形下的預測。都是基于有限個條件變量的，下面我們分析基2274.2.1基于滯后誤差的預測考察一個無限階移動平均過程MA(Yt(L)(L)01L2L2假設已經知道過去所有時間階段的殘差觀測值 數(shù)的值?，F(xiàn)在我們要預測 s個階段以后的Yt，| j |j 0 t, t 1, t 2,，根據(jù)模型它應該是：也知道模型中各種參

10、Yt st s 1 t s 1對此最優(yōu)線性預測形式為：EYt s| t, t1, 這個預測值的對應誤差為：Yt s EYt s| t, t1, 這個預測值的均方誤差為：EYt s |2例4.1試求MA(q)過程的最優(yōu)線性預測。解：MA(q)過程為：EYts(1(L) t，(L)0 1L2L2qLq則它的最優(yōu)線性預測為:EYt s |1,2,qq 1,q 2,對應的均方誤差為:2MSE (112(112s21) q2)2,3,q 1,q 2,q上述預測具有清楚的含義，在時間間隔 程的無條件方差。q以后，使用過程的均值進行預測，而方差是過4.2.2基于滯后Y的預測時間序列分析方法講義第4章預測24

11、般情況下，我們僅僅可以觀察到丫的值，為此假設移動平均過程具有可逆表示:(L)(Yt) t其中：(L)01L 2L201，1 jlj 0假設上述AR過程與MA過程之間滯后算子多項式的關系: (L) (L) 11.協(xié)方差平穩(wěn)的 (11L 2L2AR(p)過程為：pLP )(Yt) t表示成為算子多項式形式：(L)(Yt) t滿足：(L)(L)，(L) (L) 12. 一個MA(q)過程可以表示成為：Yt(11L2L2qLq) t也可以表示成為算子多項式形式：Yt(L) t在可逆性假設條件下，則有：(L)(L)，(L) (L) 1如果給出了觀測值Yt,Yt 1, ，可以在模型當中構造出殘差序列 t,

12、 t 1,AR(1)過程當中：(1L)(Yt) t對于給定系數(shù)和Yt,Yt 1,t (Yt在可逆的t (1(Yt，例如在，由上式可以計算出:)(Yt1)MA(1)過程當中，可以得到： L) 1(Yt)(Yt最后，可以得到給定EYt s|Yt,Y 1,)1)2(Yt 2)Y，Yt1，條件下的預測公式為:(L)Ls(L)(Yt或者:11)(Yt)上述公式也被稱為 Wiener-Kolmogorov預測公式。上述公式當中的算子是截斷形式的算 子表達式，算子表達式中將滯后算子的負指數(shù)項省略。4.2.3 預測一個E?Yt s|Yt,Yt1,(L)Ls對于一個平穩(wěn)的1(L) rAR(1)過程AR(1)過程

13、，可以將算子多項式表示成為:L2L23L3(L)s 2 l2利用上述公式，可以得到EYts|Yt,Yt1,s階段后的最優(yōu)線性預測為:s(11 Ls(Yt)L)(Yt上述預測公式說明,隨著預測階段的增加，預測值將趨于長期均值。 對應的預測誤差為:MSE 12隨著預測階段的增加,2(s 1)2預測誤差也趨于無條件方差2/(12)。AR(p)過程AR( p)過程，可以利用 Wiener-Kolmogorov預測公式進行預測。該公式 的主要特點在于：它可以利用過去的過程觀測值和未來的殘差值表示預測值，然后未來的殘差值利用期望去掉。X s4.2.4預測一個對于一個平穩(wěn)的fi(S)(Yt)f12)(Yt

14、1f1p)(Yt p 1其中t sf j表示矩陣1 t s 12 t sF t中第i行、第2s 1 t 1j列元素，矩陣F為:這時s階段的最優(yōu)預測為：Y? s|t fFr顯然上述預測是均值基礎上加上觀測值的一個線性組合，是觀測值的線性函數(shù)。f1(2s) (Y 1f1ps) (Y p 1相應的預測誤差為：Ytssit t s 1 t s 12 t s 2下面我們給出具體的預測推導過程：(1)進行1個時期的預測，它滿足：Y?1|t1(Yt)2(Yt 1)P(Yt p1(2)將時間開始階段換為t? 2|t 11 (Yt 1根據(jù)多重投影定理斷言， 進行的最優(yōu)線性預測，則有：? 2 |t1 0? 1|t

15、將1期預測代入得到：)如果1，得到：)2的t2(Yt2(YtP(Yt p2 )1期預測是t期信息的投影，則該預測也是t期p(Ytp2)Y?2|t1 1(Yt)2(Yt)(122)( Yt2(Yt 1P(Yt)(1 2p(Ytp1)P 2)3)(Yt 11 p(Yt(1 p 1p)(Yt p 2(3) AR(p)過程的前s期預測根據(jù)疊代可以得到: % j It1 0? j 1|t)2(Y? j 2|t)P(Y? j p|t),j 1,2,s其中：Y?|t Y，4.2.5預測一個MA(1)過程繼續(xù)考察一個 MA(1)過程，可以利用滯后算子表示為:Yt(1 L) t，| | 1利用 Wiener-K

16、olmogorov預測公式進行預測，1 LLsY?s|tL(Y )得到:向前預測1 LL期時有:則預測值為:Y?1|t1(Yt當預測步長超過1 L 0LsL(Yt)1時:2(Yt 1)3(Yt則預測值為:Y? sitMA(q)過程4.2.6 預測一個繼續(xù)考察一個可逆的 MA(q)過程：(Yt) (11L2L2qLq) t利用 Wiener-Kolmogorov預測公式進行預測,(11L2L2qLq)LsY?s|t其中：(11L2L2LsqLq)1L得到:1L s 2L22L2qLq s, s 1,2, qLq,qs q 1,q 2,對于比較近期的預測(s 1,2,s |t( s s 1 L其中

17、?t可以利用下述遞推表示：,q)有：qLq s)?t?(Yt)1?1242q?q對于比較遠期的預測(S q)比較簡單：Y? sit427預測一個ARMA(1,1)過程ARMA(1,1)過程可以表示為: (1 L)(Yt ) (1 L) 假設該過程是平穩(wěn)的(IIL)(Ytt1)和可逆的(| 1)，則:Y? s|t(1L)Ls1 LrYt其中：1(TLL)L(1 LL2 L2L(1 L 2 L2)L代入到預測公式中:Y? sits 1 L s 2 l2s 1(s 1 s L s1 L2)s 1 11廠1ss 1(Yt)L(Yt)注意到對于任意s 1，預測值滿足遞推公式:Y? s|t(Y? s 1|

18、t)這意味著預測值按照幾何方式以速度收斂到無條件均值。前 1期預測由下式給出:Y?1|trYt )上式可以等價地表示為:Y?1|t(1 L) (1 L) (Y(Ytt其中：?t °(1或者：L)L>)?t (Yt(Yt 1Y?it 1)4.2.8預測一個ARMA( p, q)過程綜合上述各種預測情形，我們可以得到預測平穩(wěn) ARMA(P, q)過程的方法。ARMA(p, q)過程可以表示為：(11L2L2pLp)(Yt)(11L 2L2qLq) t最優(yōu)線性預測方程可以表示為:Y?1|tp(Yt p11(Yt)2(Yt1 ?2 ?t其中?t可以利用下述遞推表示：? Yt Yt|t

19、1前s期預測為：Y? s|t1 (Y? s 1|t1 (Y? s 1|tp (Y? s p|t p 0? s p|t),sq ?t s q , s 1,1,q 2,q其中：Y?it1§ 4.2基于無限個觀測值的預測Yt,Yt1, ,Yt m 1情形下的預下面我們假設已知模型的參數(shù)，但是只獲得了有限樣本 測問題。4.3.1最優(yōu)預測的近似基于有限個觀察值的預測方法是假設樣本之前的殘差公式存在：E?(Yt s|Yt,Yt 1, ) E?(Yts|Yt,Yt1, ,Y m1, tm0,4.3.2有限樣本情形下的精確預測利用線性投影可以得到有限樣本情形下的精確預測：/ (m) Y(m)(m)v

20、(m)V(m)z()Xt 01 Yt 2 Yt 2m Yt m 1§ 4.7 ARMA(1)過程之和都為零，這是因為有下面的近似t m 1°,)下面我們考慮兩個 ARMA過程相加所得到的時間序列性質。4.7.1MA(1)過程與白噪聲之和假設一個序列是零均值的ARMA(1)過程:Xt UtUt 1其中Ut是白噪聲序列，滿足：2,t s0, t sE(UtUs)此時Xt過程自協(xié)方差函數(shù)為:(1 2)E(XtXtj)u2,0,| j|假設隨機過程Vt是另外一個白噪聲過程，滿足:2 ,t sE(VtVs)二0, t s假設兩個白噪聲序列之間在任何時點都是不相關的，也即有:E(UtV

21、s)0， s,t這是也有：E(XtVs) 0， s,t目前的問題是，如何觀測到一個序列Yt是上述移動平均過程和白噪聲過程的和，那么這個和過程的性質如何？Yt Xt Vt utut 1 Vt(1 2) uE(YtYt j)了，0,由此可見，隨機過程 時，我們設想是否有一個Ytt t 1其中白噪聲滿足：E"0；'；顯然，上述過程仍然具有零均值，它的自協(xié)方差函數(shù)可以表示為：川0j 1|j| 1Yt也是平穩(wěn)過程，它的自協(xié)方差函數(shù)與MA(1)過程是類似的。此MA(1)過程：它具有與和過程一致的自協(xié)方差函數(shù)？如何是這樣，則要求白噪聲的方差滿足：(1 2) >222 2u2，滿足上述

22、要求的值為:對于給定的參數(shù)：v2/ 2)J(12) ( 2/ 了)2 4 22(12)2在特殊情形下，如果1.+(12) 4(12)2 4 2,or, 1對于其他情形，可以分析具有相同自協(xié)方差函數(shù)的自回歸系數(shù)的要求。4.7.2兩個移動平均過程之和假設Xt是MA(qi)過程，Yt是MA(q2)過程，并且兩個過程的殘差在任何時點都不相關, 則可以證明，他們的和過程滿足過程MA(maX p, q)。4.7.2兩個自回歸過程之和假設隨機過程 Xt和W；是兩個AR(1)過程，滿足：(1L)Xt ut(1L)Wt vt其中Ut和Vt是兩個在任何時點上都不相關的白噪聲序列。假設我們可以觀察到Yt Xt Wt

23、并且想利用Ys，s t來對Yt 1進行預測。為此，我們需要分析時間序列的結構。在特殊情形下，如果一旦自回歸系數(shù)相同，或，則直接得到Yt(1如果L)Yt Ut vt，則有：XtWt的自回歸表示:(1可以等價地表示為： (1 1 L 2L2)Yt 對應的要求為：(11 L 2L2)(1L) t (1因此可以知道：AR(1)AR(1)ARMA(2,1)更為一般地，對于兩個殘差序列不相關的自回歸過程而言：(L)Xt Ut(L)Wt Vt它們相加可以得到一個 ARMA( p1 p2, max p1, p2)過程:(L)Yt(L) t(L)(L) (L)，(L) t (L)Ut (L)VtL)(1(1(1

24、(1 L)UtL)Ut (1L)VtL)L)(1(1L)L)vt§ 4.8 Wold分解和Box-Jenkins建模思想平穩(wěn)時間序列具有類似的性質，那么如果表示平穩(wěn)時間序列的一般結構呢? 定理給出了一般的結論。Wold分解4.8.1定理Wold分解4.3(Wold分解定理)任何零均值協(xié)方差平穩(wěn)過程 Yt可以表示成為如下形式:t是利用(Yt j, j 1)預測Yt時產生的誤差:Ytt對于任意E?(Yt |Yti,Ytj， t 與 t2,)j不相關，并且t也可以利用利用(Yt j, j 1)進行預測:t E?(t |Yt 1,Yt 2,t稱為過程Yt的線性確定性成分，而t j稱為過程Yt

25、的線性非確定性成分。 如果t 0,則稱該過程是純線性不確定性的。4.8.2 Box-Jenkins 建模思想任何時間序列數(shù)據(jù)都有自己的生成機制，呢？這需要利用時間序列模型對數(shù)據(jù)生成機制進行逼近或者近似, 列模型的基本過程。但是如何揭示和描述時間序列的數(shù)據(jù)生成機制這就需要尋求建立時間序(1)建立模型一個基本出發(fā)點是，所采用的模型越節(jié)儉越好，所要估計的參數(shù)越多，模 型出現(xiàn)錯誤的可能性就越大。(2)即使一個復雜的模型描述和模擬歷史數(shù)據(jù)的能力很好, 卻很大。以前大型經濟計量模型的失敗則說明了這一點。但是有時進行預測時的誤差Box-Jenkins提出并倡導的預測方法主要步驟為:(1)如果有必要，可以對數(shù)據(jù)進行變化，使得數(shù)據(jù)的協(xié)方差平穩(wěn)性變得更為合理。測。對于描述平穩(wěn)性數(shù)據(jù)的 ARMA( p,q)模型的階數(shù)做出一個初始的數(shù)值比較小的猜估計自回歸和移動平均算子多項式中的系數(shù)。對模型進行診斷分析以確定所得到的模型確實與觀測到的數(shù)據(jù)具有類似的特征。其中數(shù)據(jù)變化主要根據(jù)經濟時間序列的特征，對數(shù)序列的差分是非常常用的變換方法。 時間序列模型的估計與