平穩(wěn)時間序列的ARMA模型

1、第五講（續(xù)）平穩(wěn)時間序列的ARMA 模型1 平穩(wěn)性有一類描述時間序列的重要隨機模型受到了人們的廣泛關(guān)注，這就是所謂的平穩(wěn)模型。這類模型假設隨機過程在一個不變的均值附近保持平衡。其統(tǒng)計規(guī)律不會隨著時間的推移發(fā)生變化。平穩(wěn)的定義分為嚴平穩(wěn)和 寬平穩(wěn)。定義 1（嚴平穩(wěn)）設 xt , t T 是一個隨機過程 , xt 是在不同的時刻 t 的隨機變量，在不同的時刻 t 是不同的隨機變量， 任取 n 個值 t1,K , tn 和任意的實數(shù) h ，則 x1,K , xn 分布函數(shù)滿足關(guān)系式Fn ( x1 ,L , xn; t1,L tn )Fn (x1,L , xn ;t1h,L tnh)則稱xt ,tT

2、為嚴平穩(wěn)過程。在實際中，這幾乎是不可能的。由此考慮到是否可以把條件放寬，僅僅要求其數(shù)字特征( 數(shù)學期望和協(xié)方差)相等。定義 2（寬平穩(wěn)）若隨機變量xt , tT的均值（一階矩）和協(xié)方差（二階矩）存在，且滿足：（1）任取 tT ，有 E(xt )c ；（2）任取 tT ， tT ，有E( X (t )a)( X (t)a)R( )協(xié)方差是時間間隔的函數(shù)。則稱xt ,tT為寬平穩(wěn)過程，其中 R( ) 為協(xié)方差函數(shù)。2 各種隨機時間序列的表現(xiàn)形式白噪聲過程 （white noise ，如圖 1）。屬于平穩(wěn)過程。 yt = ut, ut IID(0, 2)圖 1 白噪聲序列（2=1）隨機游走過程（ra

3、ndom walk ，如圖 11）。屬于非平穩(wěn)過程。 yt = yt-1 + ut, ut IID(0,2)圖 2 隨機游走序列（ 2=1）圖 3 日元兌美元差分序列圖 4 股票綜合指數(shù)圖 5 隨機趨勢非平穩(wěn)序列（= 0.1）圖 6 隨機趨勢非平穩(wěn)序列（= -0.1 ）圖 7 對數(shù)的中國國民收入序列圖 8中國人口序列3 延遲算子延遲算子類似于一個時間指針，當前序列值乘以一個延遲算子，就相當于把當前序列值的時間向過去撥了一個時刻，記 B 為延遲算子，有 xB p x ,p 1。t pt特別（1 B) 是差分算子。4ARMA(p,q) 模型及其平穩(wěn)性和可逆性4.1模型類型及其表示在平穩(wěn)時間序列的分

4、析中，應用最廣泛的是有限參數(shù)模型。pX tX t1 Xt12 X t2Lp Xtpatat是白噪聲。q 階移動平均模型：用現(xiàn)在和過去的隨機干擾表X t 。X tat1at12 at2Lqat qp 階自回歸和q 階移動平均模型：自己的過去及過去和現(xiàn)在的隨機干擾表X t 。X t1 Xt 12 X t2Lp X tpat1 at12 at2Lq atq其中 at 是白噪聲序列。4.2 平穩(wěn)性Xt1Xt 12Xt 2LpXt pa 是平穩(wěn)時間序列的反映t嗎？如果它是平穩(wěn)時間序列的模型，回歸系數(shù)應該滿足何種條件呢？例設 X t 是一 階 自 回歸 模 型 ， 即 Xt1Xt 1a 或t(B) Xta

5、t ，其中( B)1 1B則 X1a（利用等比級數(shù)的通項和公式）t(11 B) t=jB j a1tj 0=ja1t jj 0如果 |1| 1，Xtjaj， a的系數(shù)隨著 j 的增加而1tt jj 0趨于無窮大，這顯然違背了“遠小近大 ”的原則，由此可見，平穩(wěn)的充分必要條件是 |1 |1， |1 |1的充分必要條件方程11 z0 的根在單位圓外。設 xt 是一個 p 階自回歸模型X t1 X t 12 X t 23 X t 3p X t pat或( B) X tat其中：( B)1 1 B2 B23 B3Lp B p 。 xt 平穩(wěn)的充分必要條件是：112233Lpp0 的根在單位圓外；pp

6、1p 2p 3L123p 0的根在單位圓 1。4.3 可逆性我們可以考慮到一個時間序列 Xt 是否可以用它的 現(xiàn)在值和過去值 來表示 現(xiàn)在時刻 的隨機干擾 at 呢？即atI (B) Xt這種表達式稱為 “逆轉(zhuǎn)形式 ”。如果一個時間序列具有逆轉(zhuǎn)形式，也就是說逆轉(zhuǎn)形式存在且平穩(wěn)， 通常稱該過程 X t 具1證明請參看附錄1。有可逆性。例設 X t 是一階滑動平均模型，即Xt at 1at 1或Xt(B)at ，其中(B)1 1B則 a1Xt（利用等比級數(shù)的通項和公式）t(11B)=1j B j Xtj 0=1j X t jj 0對于一階滑動平均模型 Xt at1at 1 ，無論1 取何值，Xta

7、t1at 1 是 一 個 名 副 其 實 的 平 穩(wěn) 序 列 ， 但 是 對 于Xtat1at 1的 “逆轉(zhuǎn)形式 ”是否存在，則取決于| 1| 是否小于 1。如果 |1 |1，XtjXt jaj11tX tj 的系數(shù)隨著 j的增加而趨于無窮大，這顯然違背了“遠小近大 ”的原則，由此可見，Xtat1at 1的逆轉(zhuǎn)形式存在的充分必要條件為| 1|1，| 1| 1的充分必要條件方程11z0 的根在單位圓外。Xtat1at 12at 2Lq at q( B) at 可 逆 的 充 分 必要條件為，方程( z) 11 z2 z2Lq zq0的根在單位圓外。qq 1q 2L12由于自回歸模型q 0的根在單

8、位圓 2。X t1 X t 12 X t23 X t3Lp X tpat 稍微變形，就是用系統(tǒng)的現(xiàn)在和過去值表示隨機干擾項，所以自回歸模型自然可逆。4.4ARMA （ p， q）的平穩(wěn)性和可逆性設時間序列X t 是 ARMA （p,q）模型Xt1 X t 12 X t2Lp Xtp2證明參看附錄2。at1at 12 at 2Lqat q令(B)11 B2 B2Lp B p(B) 11 B2 B2Lq Bq則模型記為()XttB(B)a如果 1. p0， q0 ；2. (B) 和 (B)無公共因子；3. (z) 0 和 (z) 0 的根在單位圓外。則 X t 是自回歸移動平均模型，平穩(wěn)且可逆。它

9、有傳遞形式X( B) a ，由此可以認為， 任何一個自回歸滑動平均模型t(B) t都可以用一個足夠高階的滑動平均模型逼近。逆轉(zhuǎn)形式a(B) X，可見任何一個自回歸滑動平均模型都可以用一t(B)t個足夠高階的自回歸模型逼近。5 平穩(wěn)時間序列的統(tǒng)計特征5.1 總體的自相關(guān)函數(shù)和樣本的自相關(guān)函數(shù)（看參考教材 王燕，應用時間序列分析，中國人大，2005）一、AR(p) 模型的自相關(guān)函數(shù)AR(p) 模型，自相關(guān)函數(shù)快速收斂于零，但不等于零, “拖尾”。又因為 ARMA （p， q）模型(B)xt( B) t 的可逆性，即(B) x ，所以任何一個ARMA （ p，q）模型都可以表t( B) t示為一個足

10、夠高階的AR （p）模型，所以ARMA （p，q）模型與 AR （ p）模型有相同的統(tǒng)計特性。下面從可以從圖 18 到圖 25 觀察時間序列圖與其自相關(guān)函數(shù)圖的特點。3210-1-2-320406080100120140160180200E圖 9 白噪聲序列的自相關(guān)函數(shù)圖 10 白噪聲序列的自相關(guān)函數(shù)圖420-2-420406080100120140160180200Z圖 11人工模擬序列 X t =0.65X t-1 +0.36X t-2 +at 圖圖 12人工模擬序列X t =0.65X t-1 +0.36X t-2 +at 的自相關(guān)函數(shù)圖2520151050-52040608010012

11、0140160180200Z圖 13模擬隨機游走序列xtxt 1at 圖圖 14模擬隨機游走序列xtxt 1at 的自相關(guān)關(guān)函數(shù)圖二、 MA （ q）的自相關(guān)函數(shù)結(jié)論： MA （ q）模型的自相關(guān)函數(shù) q 階截尾，即在 q+1 及以后為零。 圖 2-7 是模擬一階移動平均模型 Xt at 0.8at 1趨勢圖，圖2-8 是 Xtat0.8at 1 自相關(guān)函數(shù)圖420-2-420406080100120140160180200X圖 15Xtat0.8at 1 趨勢圖圖 16X tat0.8at 1 自相關(guān)函數(shù)圖由此，我們已經(jīng)有了識別MA （ q）模型的工具，自相關(guān)函數(shù) q 階截尾。但是對于AR（

12、 p）和ARMA （ p，q）模型，則無法區(qū)別了。偏自相關(guān)函數(shù)kk由 AR（ p）模型本身看，只涉及到 n 步相關(guān)性，但序列的自相關(guān)函數(shù) k 確是拖尾的。AR （ P）模型的偏自相關(guān)函數(shù) p 階截尾。kk 0,k p 。注：偏自相關(guān)函數(shù)的概率意義是在給定Xt 1 ,L , Xt k 1 的條件下， X t 和 X t k 的相關(guān)系數(shù)。ARMA(p,q) 模型自相關(guān)和偏自相關(guān)均拖尾，但是快速收表1自相關(guān)和偏自相關(guān)特征表模 型自相關(guān)函數(shù)偏自相關(guān)函數(shù)AR （ p）拖 尾截 尾MA 截拖（ q）尾尾ARMA拖拖（ P，q）尾尾對一個實際時間序列， 我們能掌握的是一段樣本數(shù)據(jù)， 所以首先要利用樣本數(shù)據(jù)估

13、計模型的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)。【例】利用 1997 年 1 月 2002 年 12 月到海外旅游人數(shù)資料繪制自相關(guān)和偏自相關(guān)圖，在這里去掉了2003 年的數(shù)據(jù)是由于非典的流行使2003 年到旅游的人數(shù)銳減，出現(xiàn)奇異值，不具有一般性。如圖17 所示。SRASeulaV40302010016111621263136414651566166717681Case Num ber圖 171997 年 1 月 2002 年 12 月到海外旅游人數(shù)曲線圖Autocorrelations:SARSAuto- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.751Bo

14、x-Ljung Prob.1.587.115.*.*25.892 .0002.358.115.*.*35.657.0003.166.114.* .37.775.0004.074.113.* .38.205.0005.068.112.* .38.573.0006.183.111.*41.281.0007.034.110.* .41.377.0008.011.110. * .41.387 .0009.095.109.* .42.154.00010.253.108.*.*47.641.00011.427.107.*.*63.578.00012.660.106.*.*102.277 .00013.38

15、6.105.*.*115.737.00014.179.104.*118.679.00015.038.103.* .118.814.00016-.022.103. * .118.860 .000Autocorrelations:SARSPlot Symbols:Autocorrelations *Two Standard Error Limits .圖 18 97 年 1 月到 02 年 12 月到海外旅游人數(shù)自相關(guān)圖圖 18 顯示滯后一期和滯后兩期的自相關(guān)函數(shù)分別為0.5874 和 0.35818，超過了兩倍標準差，顯著不為零， 以后的自相關(guān)函數(shù)均顯著為零， 直到滯后期為周期的長度12 時，自

16、相關(guān)函數(shù)出現(xiàn)了峰值，為 0.66015，這是季節(jié)性時間序列的十分典型的特征，該序列從自相關(guān)函數(shù)看長期趨勢并不十分顯著。而且可能建立MA 模型會產(chǎn)生過多的參數(shù)，于是可能適應的 AR 模型。根據(jù)偏相關(guān)系數(shù)，如圖19 所示Partial Autocorrelations:SARSPr-Aut- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.7511.587.118.*.*2.020.118.* .3-.080.118.*.4.003.118.* .5.064.118.* .6.197.118.*.7-.255.118*.8.036.118.* .9.223.

17、118.*.10.248.118.*11.239.118.*12.391.118.*.*13-.305.118*.*.14-.165.118. *.15-.044.118.*.16-.029.118.*.Plot Symbols:Autocorrelations *Two Standard Error Limits .圖1997 年1 月到02 年12 月到海外旅游人數(shù)偏自相關(guān)圖偏自相關(guān)函數(shù)圖19 顯示滯后期為1，7，12 和 13 的偏自相關(guān)函數(shù)分別為0.5874、-0.2555、0.39145 和 -0.30474，顯著不為零，該時間序列的偏自相關(guān)函數(shù)顯示該時間序列可能適應的模型 (11

18、B)(112 B12 ) X tat 和(1 1B7 B712 B1213 B13 ) X tat 。我們模擬模型為 (11B)(112B12)Xta 。t表 2模型 (11 B)(112 B12 ) X tat 的參數(shù)估計表參數(shù)參數(shù)估計標準差t 值P 值10.4959420.09480105.2314030.0000120.7672140.076675610.0059730.000022.7398662.186436110.4004260.0000Standard error3.1740588 Log likelihood-189.48646AIC384.97291 SBC391.80291

19、表 2 顯示，該模型為Xt22.739866at(10.495942B)(10.767214B12 )進一步對模型的適應性進行檢驗，回歸系數(shù)均顯著外，殘差的自相關(guān)函數(shù)均落在兩倍標準差，可以認為殘差序列是白噪聲序列，如圖20 所示。Auto- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.751Box-Ljung Prob.1-.048.115.*.175.6762.039.115.* .292.8643.040.114.* .416.9374.056.113.* .664.9565-.007.112.* .668 .9856.112.111.* .1.

20、681.9477.028.110.* .1.747.9728-.045.110. *.1.917.9839.117.109.* .3.083.96110.031.108.* .3.167.97711-.037.107. *.3.286.98612-.047.106. *.3.485.99113.130.105.*.5.011.97514.025.104.* .5.070.98515.017.103.* .5.096.99116.067.103.*.5.517 .993圖 20 最終模型殘差的自相關(guān)函數(shù)圖最終模型殘差的白噪聲檢驗結(jié)果表明殘差序列可以視為白噪聲序列，模型是適應的。當模型通過了檢驗，

21、我們可以用該模型進行結(jié)構(gòu)分析和預測分析了。3 時間序列建模的方法為了對時間序列建模有一個較全面的了解，下面從樣本觀測數(shù)據(jù)出發(fā)，介紹建立時間序列模型的基本步驟。Box-Jenkins 方法是以序列的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)的統(tǒng)計特性為依據(jù)，找出序列可能適應的模型，然后對模型進行估計。通?？梢钥紤]的模型ARMA 、 ARIMA和乘積型季節(jié)模型。（一）模型的識別對于一組長度為N 的樣本觀測數(shù)據(jù)x1 , x2 , xN ，首先要對數(shù)據(jù)進行預處理，預處理的目的是實現(xiàn)平穩(wěn)化，處理的手段包括差分和季節(jié)差分等。經(jīng)過預處理的新序列能較好滿足平穩(wěn)性條件。模型的識別包括差分階數(shù)d、季節(jié)差分階數(shù)D、模型階數(shù)、q、k

22、和 m 的識別。識別的工具是自相關(guān)函數(shù)和偏自相關(guān)函數(shù)。如果樣本的自相關(guān)函數(shù)?(s)當 sq 時顯著為零，則序列適應的模型是MAq 。如果樣本的偏自相關(guān)函數(shù)?ss 當 sp 時顯著為零，則序列適應的模型是 AR p 。若樣本的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)均拖尾，并且按負指數(shù)衰減，則序列是 ARMA 序列，這時應該從高階到低階擬合模型，從中選擇最佳的。當自相關(guān)函數(shù)緩慢下降，或是具有季節(jié)變化，那么觀測的序列是具有趨勢變動或季節(jié)變動的非平穩(wěn)序列，則需要做差分或季節(jié)差分，如果差分后的序列的樣本的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)既不截尾又不拖尾，而在周期s 的整倍數(shù)時出現(xiàn)峰值，則序列遵從乘積型季節(jié)模型，否則遵從ARI

23、MA模型。（二）模型的估計當模型的階數(shù)確定之后，利用有效的擬合方法。如最小二乘估計，極大似然估計等方法，估計模型各部分的參數(shù)。（三）診斷性檢驗模型選擇檢驗所選擇的模型是否能較好地擬合數(shù)據(jù)。它包括模型過擬合和欠擬合檢驗。通過檢驗的結(jié)果，修改模型。時間序列建模應該基于簡約的原則，即用盡可能少的模型參數(shù)，對模型做出盡可能精確估計。所以在選擇模型時應該反復試探，這是一個識別，建模，再識別，再建模的過程。附錄 1AR 模型平穩(wěn)的充分必要條件。由于(B) Xtat有1( B) atXt設(B)0 有 1,1,L ,1p 個根，則( B) 可表示為12p(B)c(1 1 B)(1 2 B)L (1p B) ，c 為常數(shù)，不妨假設為 1。則 Xt1at = (1 1B)(11at(B)2 B)L (1 p B)用待定系數(shù)法，有1pAkatXa =（其中 Ak 是有限實數(shù)）(B)k 1 (1ttk B)再用等比級數(shù)通項和公式，有Xt1at(B)pAk= k 1 (1k B)atp=A (jB j )akktk 1j 0p=(Ak kj )