時(shí)間序列模型

1、Wold分解定理：任何協(xié)方差平穩(wěn)過程xt,都可以被表示為xt - - dt= ut+ i ut-i+ 2 ut-2 + + = 刈 jj 0其中 表示xt的期望.dt表示xt的線性確定性成分,如周期性成分、時(shí)間 t的多項(xiàng)式和指數(shù)形式等,可以直接用 xt的滯后值預(yù)測.o = 1,j2 < 8.為白噪聲過程.ut表示j 0 j用xt的滯后項(xiàng)預(yù)測xt時(shí)的誤差.ut = xt - E(xt xt-1, xt-2 ,)j 0 jut j稱為xt的線性非確定性成分.當(dāng) dt = 0時(shí),稱xt為純線性非確定性過程.Wold分解定理由 Wold在1938年提出.Wold分解定理只要求過程 2階平穩(wěn)即可.

2、從原 理上講,要得到過程的 Wold分解,就必須知道無限個(gè)j參數(shù),這對(duì)于一個(gè)有限樣本來說是不可能的.實(shí)際中可以對(duì)j做另一種假定,即可以把(L)看作是2個(gè)有限特征多項(xiàng)式的比,(L)= jLjj o(L) _ 1iL2L2.qLq(L) - 11L2L2.pLp注意,無論原序列中含有何種確定性成分, 在前面介紹的模型種類中, 還是后面介紹的 自相關(guān)函數(shù)、偏自相關(guān)函數(shù)中都假設(shè)在原序列中已經(jīng)剔除了所有確定性成分,是一個(gè)純的隨機(jī)過程(過程中不含有任何確定性成分) .如果一個(gè)序列如上式,xt = + dt+ ut + 1 ut-1+ 2 ut-2 + +那么所有研究都是在 yt= xt- - dt的根底上

3、進(jìn)行.例如前面給出的各類模型中都不含有均值項(xiàng)、 時(shí)間趨勢項(xiàng)就是這個(gè)道理.2.3自相關(guān)函數(shù)以上介紹了隨機(jī)過程的幾種模型.實(shí)際中單憑對(duì)時(shí)間序列的觀察很難確定其屬于哪一種模型,而自相關(guān)函數(shù)和偏自相關(guān)函數(shù)是分析隨機(jī)過程和識(shí)別模型的有力工具.1 .自相關(guān)函數(shù)定義在給出自相關(guān)函數(shù)定義之前先介紹自協(xié)方差函數(shù)概念.由第一節(jié)知隨機(jī)過程xt中的每一個(gè)元素xt, t = 1,2, 都是隨機(jī)變量.對(duì)于平穩(wěn)的隨機(jī)過程,其 期望為常數(shù),用 表示, 即E(x t) = , t = 1,2,(2.25)隨機(jī)過程的取值將以為中央上下變動(dòng).平穩(wěn)隨機(jī)過程的方差也是一個(gè)常量Var(x t) = E (xt- E(xt)2 = E (

4、xt- )2 = x2 , t = 1,2,(2.26)x2用來度量隨機(jī)過程取值對(duì)其均值的離散程度.相隔k期的兩個(gè)隨機(jī)變量 x t與xt - k的協(xié)方差即滯后k期的自協(xié)方差,定義為k = Cov (xt ,x t - k ) = E( xt - ) (xt - k - ) (2.27)自協(xié)方差序列k = 0, 1, K稱為隨機(jī)過程xt的自協(xié)方差函數(shù).當(dāng) k = 0時(shí) 0 = Var (xt) = x2自相關(guān)系數(shù)定義_Cov(xt, xt k)k - Var(xt) . Var(xt k )由于對(duì)于一個(gè)平穩(wěn)過程有Var (xt) = Var (xt - k) = x2所以(2.28)可以改寫為_

5、 Cov(xt,xt k) _ k _ k - - k22xx0當(dāng)k = 0時(shí),有 o= 1.以滯后期k為變量的自相關(guān)系數(shù)列k, k = 0, 1, K- -,(2.28)(2.29)(2.30)(2.31)稱為自相關(guān)函數(shù).由于k = - k即Cov (xt - k, xt ) = Cov (xt , x t + k ),自相關(guān)函數(shù)是零對(duì)稱的,所以實(shí)際研究中只給出自相關(guān)函數(shù)的正半局部即可.2 .自回歸過程的自相關(guān)函數(shù)(1)平穩(wěn)AR(1)過程的自相關(guān)函數(shù)AR(1)過程如下xt =xt-1 + Ut ,1用xt- k同乘上式兩側(cè)xt xt- k =xt-1 xt- k+ Ut xt- k兩側(cè)同取期

6、望,k =1 k -10得,其中E(xt- k ut) = 0 (uit與其t- k期及以前各項(xiàng)都不相關(guān)).兩側(cè)同除k 一 1 k -1 11 1 k -2 -=1k 00.80.6040.20.0-0.2-04-0.6-0.8,24681012140 (經(jīng)濟(jì)問題中常見)24681012140 (經(jīng)濟(jì)問題中少見)由于 o =1.所以有k = 1k ,(k0)對(duì)于平穩(wěn)序列有.所以當(dāng) 1為正時(shí),自相關(guān)函數(shù)按指數(shù)衰減至零(過阻尼情形),當(dāng)1為負(fù)時(shí),自相關(guān)函數(shù)正負(fù)交錯(cuò)地指數(shù)衰減至零.見圖2.6.由于對(duì)于經(jīng)濟(jì)時(shí)間序列, ,一般為正,所以第一種情形常見.指數(shù)衰減至零的表現(xiàn)形式說明隨著時(shí)間間隔的加長,變量之

7、間的關(guān)系變得越來越弱.0.80.60.20.0,-0.2-0.4r-0.6-0.8圖2.6 AR(1)過程的自相關(guān)函數(shù)(2) AR(p)過程的自相關(guān)函數(shù)用xt - k, (k同乘平穩(wěn)的p階自回歸過程Xt = i Xt -i + 2 Xt -2 + +p Xt - p + Ut(2.32)的兩側(cè),得Xt - k Xt = 1 Xt - k Xt-1 + 2Xt - k Xt-2 + + p Xt - k Xt - p+ Xt - k Ut(2.33)對(duì)上式兩側(cè)分別求期望得k = i k-i + 2 k-2 + + p k - p , k 0(2.34)上式中對(duì)于 k 0,有E(Xt - kUt)

8、 = 0.由于當(dāng)k 0時(shí),Xt . k發(fā)生在Ut之前,所以Xt - k與Ut 不相關(guān).用0分別除(2.34)式的兩側(cè)得k = i k-i + 2 k -2 + + p k-p , k 0(2.35)令 (L) = (i - iL - 2 L2 -p Lp)其中L為k的滯后算子,那么上式可表達(dá)為(L) k = 0因 (L)可因式分解為,p (L) =(I-GiL),i i那么(2.35)式的通解(證實(shí)見附錄)是k = Ai G1k + A2 G2k + + Ap Gpk.(2.36)其中Ai,i = i, p為待定常數(shù).這里 GJ, i = i, 2,p是特征方程(L) = (i - i L -

9、 2 L2 -p Lp) = 0的根.為保證隨機(jī)過程的平穩(wěn)性,要求| Gi|i, i = i, 2,pc 這會(huì)遇到如下兩種情形. 當(dāng)Gi為實(shí)數(shù)時(shí),(2.36)式中的Ai Gik將隨著k的增加而幾何衰減至零,稱為指數(shù)衰 減(過阻尼情形).當(dāng)Gi和Gj表示一對(duì)共軻復(fù)根時(shí),設(shè)Gi= a + bi, Gj = a - bi, Ja2 b2 = R,那么Gi, Gj的極座標(biāo)形式是 Gi = R (Cos + i Sin ), Gj = R (Cos - i Sin ).假設(shè)AR(p)過程平穩(wěn),那么 Gi < i,所以必有 R <i.那么隨著 k 的增加,Gik= Rk (Cosk + i S

10、ink ), Gjk= Rk (Cosk - i Sink ), 自相關(guān)函數(shù)(2.36)式中的相應(yīng)項(xiàng) Gik, Gjk將按正弦振蕩形式衰減(欠阻尼情形).實(shí)際中的平穩(wěn)自回歸過程的自相關(guān)函數(shù)常是由指數(shù)衰減和正弦衰減兩局部混合而成. 從(2.36)式可以看出,當(dāng)特征方程的根取值遠(yuǎn)離單位圓時(shí),k不必很大,自相關(guān)函數(shù)就會(huì)衰減至零. 有一個(gè)實(shí)數(shù)根接近1時(shí),自相關(guān)函數(shù)將衰減的很慢,近似于線性衰減.當(dāng)有兩個(gè)以 上的根取值接近1時(shí),自相關(guān)函數(shù)同樣會(huì)衰減的很慢.a.兩個(gè)特征根為實(shí)根b.兩個(gè)特征根為共羯復(fù)根圖2.6 AR(2)過程的自相關(guān)函數(shù)3.移動(dòng)平均過程的自相關(guān)函數(shù)(1) MA(1)過程的自相關(guān)函數(shù).對(duì)于 M

11、A(1)過程 xt= Ut+ 1 Ut-1k = E(Xt Xt- k) = E ( Ut +當(dāng)k = 0時(shí),0 = E( xt xt) = E ( Ut +1 Ut -1) (Ut - k + 1 Ut -k-1)1 Ut -1)(Ut +1 Ut -1)=E ( Ut2 + 1 Ut Ut-1 +當(dāng)k = 1時(shí)1= E( xt xt- 1) = E ( Ut +1 Ut Ut-i +1 Ut -1)(Ut12Ut-12) = (1 +1 +1 Ut2)12 )2=E ( Ut Ut -1 +當(dāng)k 1時(shí),1 Ut-12 +.21 Ut Ut-2 +1Ut-1 Ut -2)=1 E (Ut-1

12、) 2 = 12k + 1 Utk -1) = 0k = E ( ut+ 1 ut -1) (ut綜合以上三種情形,MA(1)過程自相關(guān)函數(shù)為_ kk 二 012110 ,見圖2.7.80.80.60.40.20.0-0.2-0.4-0.6-0.81012142461010圖2.7 MA(1)過程的自相關(guān)函數(shù)可見MA(1)過程的自相關(guān)函數(shù)具有 截尾特征.當(dāng)k 1時(shí),k = 0.(2) MA(q)過程的自相關(guān)函數(shù)MA(q)過程的臼相關(guān)函數(shù)是k= 1,2, q；,k 1 k 12 k 2. q k q-222112. q當(dāng)k q時(shí),k = 0,說明 k , k = 0, 1,具有截尾特征.(注意：

13、模型移動(dòng)平均項(xiàng)的符號(hào)以及這里k的符號(hào)正好與 Box-Jenkins書中的符號(hào)相反,這樣表示的好處是保持與計(jì)算機(jī)輸出結(jié)果一致.)4. ARMA (1, 1)過程的自相關(guān)函數(shù)ARMA (1, 1)過程的自相關(guān)函數(shù) k從1開始指數(shù)衰減.1的大小取決于1和1, 1的符號(hào)取決于(1 - 1 ).假設(shè)1 > 0,指數(shù)衰減是平滑的,或正或負(fù).假設(shè)1 < 0,相關(guān)函數(shù)為正負(fù)交替式指數(shù)衰減.對(duì)于ARMA ( p, q)過程,p, q 2時(shí),自相關(guān)函數(shù)是指數(shù)衰減或正弦衰減的.5.相關(guān)圖(correlogram)對(duì)于一個(gè)有限時(shí)間序列(X1, X2,XT)用樣本平均數(shù)X=xt1 t 1估計(jì)總體均值,用樣本

14、方差s2 =T12(xt x)1 t 1估計(jì)總體方差 x2.當(dāng)用樣本矩估計(jì)隨機(jī)過程的自相關(guān)函數(shù),那么稱其為相關(guān)圖或估計(jì)的自相關(guān)函數(shù),記為Ck rk =-C0rk是對(duì)k的估計(jì).其中k = 0, 1 , 2, , K, ( K < T ).(2.41)是對(duì)k的估計(jì)1C0 = Tk(Xt X)(Xt k x), k = 0, 1,2,K , 1(2.42)T(Xt X)2t 1(2.43)是對(duì)0的估計(jì),T是時(shí)間序列數(shù)據(jù)的樣本容量.實(shí)際中T不應(yīng)太小,最好能大于60.注意：(2.42)式分母為T,不是T-ko Ck為有偏估計(jì)量.但在小樣本條件下更有效.Dato: 06/05AJ3 Time: 23

15、:08Sample W49 1993Included observations: 49Aulocorre aiion Partin Corre ation AC PAC Q-Stat Prob注：2個(gè)標(biāo)準(zhǔn)差=2 T-1/2 = 2 ( 1/7) = 0.286.圖中虛線表示到中央線 2個(gè)標(biāo)準(zhǔn)差寬度.1O.B030 60313,9310.00020.2370.19921.9240.00030.1210.113227150.00040.064-0.04622 9420.0005 口 012-0.05322 9530.0006-0.072-0.04623 2540.QD17 -0.151-D.125

16、24.6190.0018 -0,1610 00526,1940.0019 41850.12823,3430£0110-0.2150.06131.29?0.001相關(guān)圖是對(duì)自相關(guān)函數(shù)的估計(jì). 由于MA過程和ARMA過程中的MA分量的自相關(guān)函 數(shù)具有截尾特性,所以通過相關(guān)圖可以估計(jì) MA過程的階數(shù)q.相關(guān)圖是識(shí)別 MA過程階數(shù) 和ARMA過程中MA分量階數(shù)的一個(gè)重要方法. 實(shí)際應(yīng)用中相關(guān)圖一般取 k = 15就足夠了.rk的方差近似為T-1.所以在觀察相關(guān)圖時(shí),假設(shè)rk的絕對(duì)值超過2 T-1/2 ( 2個(gè)標(biāo)準(zhǔn)差),就被認(rèn)為是顯著地不為零.當(dāng)T充分大時(shí),近似有(rk -0) / T-1/2

17、 = rkT1/2 N (0, 1)2.4偏自相關(guān)函數(shù)偏自相關(guān)函數(shù)是描述隨機(jī)過程結(jié)構(gòu)特征的另一種方法.用kj表示k階自回歸式中第j個(gè)回歸系數(shù),那么k階自回歸模型表示為Xt= k 1Xt-1 + k 2 Xt-2 + + kk Xt-k + Ut其中kk是最后一個(gè)回歸系數(shù).假設(shè)把k= 1,2 的一系列回歸式kk看作是滯后期k的函數(shù),那么稱kk, k= 1,2(2.45)為偏自相關(guān)函數(shù).它由下式中的紅項(xiàng)組成.Xt = 11 Xt-1 + UtXt = 21 Xt-1 + 22 Xt-2 + UtXt =k 1Xt-1 + k 2 Xt-2 + + kk Xt-k + Ut因偏自相關(guān)函數(shù)中每一個(gè)回歸

18、系數(shù)kk恰好表示Xt與Xt-k在排除了其中間變量Xt-1, Xt-2, Xt-k+1影響之后的相關(guān)系數(shù),Xt -k 1 Xt-1 - k 2 Xt-2 - kk-1 Xt-k+1 =kk Xt-k + Ut所以偏自相關(guān)函數(shù)由此得名.對(duì)于 AR(1)過程,Xt= 11 Xt-1 + Ut,當(dāng) k = 1 時(shí),11 0,當(dāng) k > 1 時(shí),kk = 0 ,所以 AR(1) 過程的偏自相關(guān)函數(shù)特征是在k = 1出現(xiàn)峰值(11 = 1)然后截尾.0.80.60.40.20.0-0.2-0.4-0.6-0.80.60.40.20.0-0.2-0.4-0.6-0.824681012140.811 &

19、gt; 011 < 0AR(1)過程的偏相關(guān)圖對(duì)于AR(2)過程,當(dāng)k 2時(shí),kk 0,當(dāng)k >2時(shí),kk= 0.偏自相關(guān)函數(shù)在滯后期2以后有截尾特性.對(duì)于AR(p)過程,當(dāng)k p時(shí),kk 0,當(dāng)k> p時(shí),kk= 0.偏自相關(guān)函數(shù)在滯后期 p 以后有截尾特性,因此可用此特征識(shí)別AR(p)過程的階數(shù).MA(1)過程的偏自相關(guān)函數(shù)呈指數(shù)衰減特征.假設(shè) 1> 0,偏自相關(guān)函數(shù)呈交替改變符號(hào) 式指數(shù)衰減；假設(shè)1 0,偏自相關(guān)函數(shù)呈負(fù)數(shù)的指數(shù)衰減.由于任何一個(gè)可逆的 MA(q)過程都可以轉(zhuǎn)換成一個(gè)無限階的系數(shù)按幾何遞減的AR過程,所以MA(q)過程的偏自相關(guān)函數(shù)呈緩慢衰減特征.

20、0.80.60.40.20.0-0.2-0.4-0.6-0.81 > 00.81 < 0MA1過程的偏自相關(guān)函數(shù)例 5:對(duì)于 xt= ut+ i ut-i 過程,有 1/ (1+ i L) xt = ut ,當(dāng) i> 0,(1- 1 L + i2L2 -)xt = ut ,xt = 1 x t-1 - 12 x t-2 + 13 x t-3 - + ut ,對(duì)于 xt = ut - 1 ut-1 過程,有 1/ (1- 1 L) xt = ut ,當(dāng) 1 > 0,(1+ 1 L + i2L2 + - )xt = ut ,xt = - 1 x t-1 - 12x t-2

21、- 13x t-3 -+ ut ,對(duì)于MA(2)過程,假設(shè) (L) = 0的根是實(shí)數(shù),偏自相關(guān)函數(shù)由兩個(gè)指數(shù)衰減形式疊加而MA q過程的偏自相 偏自相關(guān)函數(shù)呈指數(shù)11, 22,的估計(jì)量成.假設(shè) L = 0的根是虛數(shù),偏自相關(guān)函數(shù)呈正弦衰減形式.ARMA p, q過程的偏自相關(guān)函數(shù)也是無限延長的, 其表現(xiàn)形式與 關(guān)函數(shù)相類似.根據(jù)模型中移動(dòng)平均局部的階數(shù) q以及參數(shù)i的不同, 衰減和或正弦衰減混合形式.對(duì)于時(shí)間序列數(shù)據(jù),偏自相關(guān)函數(shù)通常是未知的.可用樣本計(jì)算11 ,22 ,估計(jì)的偏自相關(guān)函數(shù)(2.48)kk, k= 1,2,K,稱為偏相關(guān)圖.由于 AR過程和ARMA過程中AR分量的偏自相關(guān)函數(shù)具

22、有截尾特性,所 以可利用偏相關(guān)圖估計(jì)自回歸過程的階數(shù) p.實(shí)際中對(duì)于偏相關(guān)圖取 k = 15就足可以了.般的方差近似為 T1.當(dāng)T充分大時(shí),近似有(?kk -0) / T-1/2 = T1/2 4k N (0, 1)所以在觀察偏相關(guān)圖時(shí),假設(shè)？kk的絕對(duì)值超過2 71/2 2個(gè)標(biāo)準(zhǔn)差,就被認(rèn)為是顯著地不為零.2.5時(shí)間序列模型的建立與預(yù)測ARIMA過程yt用(2.51)(L)Adyt = 0 + (L) ut表示,其中 L和L分別是p, q階的以L為變數(shù)的多項(xiàng)式,它們的根都在單位圓之外.0為位移項(xiàng),Ad yt表示對(duì)yt進(jìn)彳T d次差分之后可以表達(dá)為一個(gè)平穩(wěn)的可逆的 ARMA過程. 這是隨機(jī)過程

23、的一般表達(dá)式.它既包括了 AR , MA和ARMA過程,也包括了單整的 AR , MA和ARMA過程.建立時(shí)間序列模型通常包括三個(gè)步驟.1模型的識(shí)別,2模型參數(shù)的估計(jì),3診斷與檢驗(yàn).模型的識(shí)別就是通過對(duì)相關(guān)圖的分析,初步確定適合于給定樣本的ARIMA模型形式,即確定d, p, q的取值.模型參數(shù)的估計(jì)就是待初步確定模型形式后對(duì)模型參數(shù)進(jìn)行估計(jì).診斷與檢驗(yàn)就是以樣本為根底檢驗(yàn)擬合的模型,以求發(fā)現(xiàn)某些不妥之處.如果模型的某些參數(shù)估計(jì)值不能通過顯著性檢驗(yàn), 或者殘差序列不能近似為一個(gè)白噪聲過程,應(yīng)返回第一步再次對(duì)模型進(jìn)行識(shí)別. 如果上述兩個(gè)問題都不存在, 就可接受所建立的模型. 建摸過程用 圖2.8

24、表示.下面對(duì)建摸過程做詳細(xì)論述.1.模型的識(shí)別模型的識(shí)別主要依賴于對(duì)相關(guān)圖與偏相關(guān)圖的分析.在對(duì)經(jīng)濟(jì)時(shí)間序列進(jìn)行分析之前, 首先應(yīng)對(duì)樣本數(shù)據(jù)取對(duì)數(shù),目的是消除數(shù)據(jù)中可能存在的異方差,然后分析其相關(guān)圖.識(shí)別的第1步是判斷隨機(jī)過程是否平穩(wěn).由 2.2節(jié)知,如果一個(gè)隨機(jī)過程是平穩(wěn)的,其 特征方程的根都應(yīng)在單位圓之外.由2.7節(jié)知,如果 L = 0的根接近單位圓,自相關(guān)函數(shù)將衰減的很慢.所以在分析相關(guān)圖時(shí),如果發(fā)現(xiàn)其衰減很慢,即可認(rèn)為該時(shí)間序列是非平穩(wěn) 的.這時(shí)應(yīng)對(duì)該時(shí)間序列進(jìn)行差分,同時(shí)分析差分序列的相關(guān)圖以判斷差分序列的平穩(wěn)性, 直至得到一個(gè)平穩(wěn)的序列.對(duì)于經(jīng)濟(jì)時(shí)間序列,差分次數(shù),即模型2.51中

25、的參數(shù)d通常只取0, 1或2.圖2.8建立時(shí)間序列模型程序圖實(shí)際中也要預(yù)防過度差分.一般來說平穩(wěn)序列差分得到的仍然是平穩(wěn)序列,但當(dāng)差分次數(shù)過多時(shí)存在兩個(gè)缺點(diǎn),1序列的樣本容量減?。?方差變大；所以建模過程中要預(yù)防 差分過度.對(duì)于一個(gè)序列,差分后假設(shè)數(shù)據(jù)的極差變大,說明差分過度.第2步是在平穩(wěn)時(shí)間序列根底上識(shí)別ARMA模型階數(shù)p, q.表2.3給出了不同ARMA模型的自相關(guān)函數(shù)和偏自相關(guān)函數(shù).當(dāng)然一個(gè)過程的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)通常是未知的.用樣本得到的只是估計(jì)的自相關(guān)函數(shù)和偏自相關(guān)函數(shù),即相關(guān)圖和偏相關(guān)圖.建立ARMA模型,時(shí)間序列的相關(guān)圖與偏相關(guān)圖可為識(shí)別模型參數(shù)p, q提供信息.相關(guān)圖和

26、偏相關(guān)圖估計(jì)的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)通常比真實(shí)的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的方差要大,并表現(xiàn)為更高的自相關(guān). 實(shí)際中相關(guān)圖,偏相關(guān)圖的特征不會(huì)像自相關(guān)函數(shù)與偏自相關(guān)函數(shù)那 樣“標(biāo)準(zhǔn),所以應(yīng)該善于從相關(guān)圖,偏相關(guān)圖中識(shí)別出模型的真實(shí)參數(shù)p, q.另外,估計(jì)的模型形式不是唯一的,所以在模型識(shí)別階段應(yīng)多項(xiàng)選擇擇幾種模型形式,以供進(jìn)一步選擇.表2.3 ARIMA過程與其自相關(guān)函數(shù)偏自相關(guān)函數(shù)特征模 型ARIMA(1,1,1)Xt = 1 Xt-1 + Ut + 1Ut-1自相關(guān)函數(shù)特征 緩慢地線性衰減1.0偏自相關(guān)函數(shù)特征1.0AR (1)Xt =1 Xt-1 + UtMA (1)Xt = Ut +

27、1 U-1AR (2)Xt = 1 Xt-1 + 2 Xt-2 + UtLAJL 型 lK'if,lfjo OHJ'JhH自0.50.0-0.5-1.0假設(shè)1 >0,平滑地指數(shù)聶減0.80.60.40.20.0-0.2-0.4-0.6-0.8假設(shè)0.8< 0,正負(fù)交替地指數(shù)衰減0.60.40.20.0Rd.國 e 石 一-0.2-0.4-0.6-0.8：gi一ak %2468101214-H-* 右0.8> 0, k=1時(shí)有正峰值然后截尾0.6.0.4,0.20.01-0.2.-0.4.-0.6-0.8-H-* 右0.82468101214< 0, k=

28、1時(shí)有負(fù)峰值然后截尾0.6 ,0.4 , 0.2 . 0.0 J-0.2,-0.4,-0.6.-0.8_|_12468101214指數(shù)或正弦衰減-0.2,-0.4,-0.6,-0.8,2468101214(兩個(gè)特征根為實(shí)根)68101214假設(shè)11 > 0, k=1時(shí)有正峰值然后截尾0.80.60.40.20.0-0.2-0.4-0.6-0.8假設(shè)11 < 0, k=1時(shí)有負(fù)峰值然后截尾0.80.60.40.20.0-0.2-0.4-0.6-0.824681012-14假設(shè)1 > 0 ,交替式指數(shù)衰減0.80.60.40.20.0-0.2-0.4-0.6-0.82468101

29、214假設(shè)1 < 0,負(fù)的平滑式指數(shù)衰減0.80.60.40.20.0-0.2-0.4-0.6-0.82468101214k=1,2時(shí)有兩個(gè)峰值然后截尾0.80.60.40.20.0-0.2-0.4-0.6-0.802468101214(1 > 0 ,2 > 0)0.80.60.40.20.0-0.2-0.4-0.6-0.8i2468101214(兩個(gè)特征根為共羯復(fù)根)MA (2)Xt = Ut + 1 U-1+ 2 Ut-2ARMA (1, 1)Xt =1 Xt-1 + Ut + 1 Ut-1ARMA (2, 1)Xt = 1 Xt-1+ 2 Xt-2+ Ut + 1 U-

30、1ARMA (1, 2)Xt = 1 Xt-1+ Ut + 1 Ut-1+ 2 Ut-2ARMA (2, 2)k=1有峰值然后按指數(shù)衰減1.0(1 > 0,1> 0)0.8(1 > 0,1< 0)k=1有峰值然后按指數(shù)或正弦衰減(1 > 0 ,2< 0,1 > 0 )k=1,2有兩個(gè)峰值然后按指數(shù)衰減-0.2,-0.4,-0.61-0.82468101214ooo(1 > 0 ,1> 0 ,2>0 )k=1,2有兩個(gè)峰值然后按指數(shù)或正弦(1 > 0 ,2 < 0)指數(shù)或正弦衰減0.80.60.40.20.0-0.2-0.4

31、-0.6-0.8(1> 0 ,2 > 0)k=1有峰值然后按指數(shù)衰減1.00.510.01-0.5(0.821> 0 ,46'8'10'12'141 > 0)0.60.40.20.0-口 E 0 g 一-0.2-0.4-0.6-0.8(21> 0 ,4681012141 < 0)k=10.82有兩個(gè)峰值然后按指數(shù)衰減0.610.40.0Lb-0.2-0.4-0.6-0.8hl(2> 0 ,4681012142 < 0,1 > 0)k=1有峰值然后按指數(shù)或正弦衰減(1 > 0>1 > 0,2

32、< 0 )1.00.80.60.40.20.0-0.2-0.4-0.6-0.82468101214(1> 0 ,1 > 0,2> 0)k=1,2有兩個(gè)峰值然后按指數(shù)或正弦Xt=1Xt-1+2Xt-2+ Ut +1Ut-1+2Ut-2睨減0.60.40.20.0-0.2-0.4-0.62-4'6-8-10'12- -14-2-4-6-810-12-14睨減0.80.60.40.20.0-0.2-0.4-0.6-0.80.40.0-0.4-0.82468101214(1 > 0,2 < 0,1 > 0,2 < 0)0.80.60.40

33、.20.0-0.2-0.4-0.6-0.8 2468101214(1 > 0 ,2< 01 > 0 ,2 > 0)(1 > 0,2 < 0,1 > 0 ,2 < 0 )0.8(1 > 0,2 < 01 > 0 ,2> 0 )卜面通過一些相關(guān)圖和偏相關(guān)圖識(shí)別模型結(jié)構(gòu).Autorarrelation Partial CorrelationAutocorrelation Partial CorrelationAutocorrelation Partial Correlaticn2.模型參數(shù)的估計(jì)對(duì)于時(shí)間序列模型,一般采用極大似然

34、法估計(jì)參數(shù).對(duì)于一組相互獨(dú)立的隨機(jī)變量xt,(t = 1,2,T),當(dāng)?shù)玫揭粋€(gè)樣本(Xi, X2,xt)時(shí),似然函數(shù)可表示為T(2.52)L ( |X1,X2,XT)= f(xi|) f (X2| )- f (XT| ) =f (Xt| )t 1其中=(1, 2,k)是一組未知參數(shù).對(duì)數(shù)似然函數(shù)是log L = log f (Xt | )t 1通過選擇 使上式到達(dá)最大,從而求得極大似然估計(jì)值?.具體步驟是用上述對(duì)數(shù)似然函數(shù)對(duì)每個(gè)未知參數(shù)求偏導(dǎo)數(shù)并令其為零,即log L _廣-=01< log L人、二=0, (k個(gè)方程聯(lián)立)k一般來說似然函數(shù)是非線性的,必須采用迭代計(jì)算的方法求參數(shù)的極大

35、似然估計(jì)值.極大似然估計(jì)量(MLE)具有一致性和漸近有效性.首先討論怎樣對(duì)如下線性回歸模型yt =0 +1 Xt1 +2 Xt 2 +k-1Xt k-1+Ut,t = 1,2, T； ,(2.53)進(jìn)行極大似然彳t計(jì).假定ut N(0, 2),那么yt也服從正態(tài)分布.yt N(E(yt),2),其中E(yt) = 0 + 1 Xt1 +2 Xt 2 + k -1 Xt k -1.假設(shè)yt是相互獨(dú)立的,那么對(duì)于樣本(y1, y2,yT),似然函數(shù)是L( , 2|y1,y,yT) = f( y1) f( y2) -f( yT)其中表示未知參數(shù)0, 1,k -1的集合.由(2.53)式每個(gè)yt的概率

36、密度函數(shù)為f ( yt ) = 1T12 eXP (yt E(2yt).(22)2對(duì)于木本(yi, y2,yT),對(duì)數(shù)似然函數(shù)為logL = log f ( yt)=log 2 log t i2 J 2 JTyt - E( yt ) 2t 1(2.54)上式右側(cè)前兩項(xiàng)是常量.第三項(xiàng)的符號(hào)為負(fù),所以對(duì)、. T萬和 tNt - E( yt )2極小化,即選擇 使 、一 10gL極大化等同于選擇值從而使平TT2 2(yt - o -ixt 1 - 2 xt 2 - , - k i Xt k -i) = utt 1t i極小化.上式中t表示殘差.這種估計(jì)方法恰好與OLS法相同,所以在這個(gè)例子中MLE估

37、計(jì)量與01$估計(jì)量？完全相同, 一 、 即 =?.與OLS法不同的是極大似然估計(jì)法在估計(jì)-2最小.把(xt xt)=tt(2.56)式改寫為u = » .(L)i?t2(2.57)i,i和ut的估計(jì),那么使下式最小.假定utu?t2= S (p ,1,(2.58)tN (0, u2), t = 1,log L = - T log u- T,且不存在自相關(guān),那么條件對(duì)數(shù)似然函數(shù)為 u?t2_t2 u2(2.59)之所以稱之為條件對(duì)數(shù)似然函數(shù)是由于2 .依賴于過去的不可知觀測值xo, x-i,x- p+i和的同時(shí),還得到ut方差的估計(jì)量.對(duì)(2.54)式求 2的偏導(dǎo)數(shù)并令其為零.(2.5

38、5)10gL T 1 T22- = -2+4yt - E( yt ) = 02 22 4 t i用代替上式中E(yt)中的T-1 2=T ut t i現(xiàn)在討論怎樣對(duì)時(shí)間序列模型的參數(shù)進(jìn)行極大似然估計(jì).對(duì)于非平穩(wěn)過程 yt ,假定經(jīng)過d次差分之后可以表達(dá)為一個(gè)平穩(wěn)、可逆的自回歸移動(dòng) 平均過程Xt,(L) d yt = (L) xt = (L) ut.(2.56)對(duì)于yt假定可以觀測到T + d個(gè)觀測值,即y. d+i, , yo , yi,yT,那么經(jīng)過d次差分之后,xt的樣本容量為To以xi,xt 為樣本估計(jì)ARMA (p, q)模型參數(shù)(i,p, 1,q ).對(duì)隨機(jī)過程xt的參數(shù)估計(jì)就如對(duì)回

39、歸模型的參數(shù)估計(jì)一樣,目的是使xt與其擬合值？t的殘差 平方和U0, U-1,U- q +1.比方Ui = Xi - 1 X0 - 2 X-i -p X-p+i - 1 Uo -qU- q+1(2.60)對(duì)(2.59)式求極大即等同于對(duì)？t2求極小.對(duì)2求極小時(shí)需要先確定 xo, x 1, x-p+1和U0, U-1,U-q+1的值.此問題的一般處理方法是取這些變量等于他們的無條件期望值.U0,U-1, - U- q+1的無條件期望值為零.假設(shè)模型(2.56)中不含有漂移項(xiàng),那么 X0, X-1,又p+1的無 條件期望值也為零.當(dāng)樣本容量 T與滯后長度p, q值相比充分大,且1,p的值不接近1

40、 時(shí),這種近似非常理想.假設(shè)(2.56)式中不含有移動(dòng)平均項(xiàng),對(duì)于自回歸參數(shù)來說(2.57)式是一個(gè)線性函數(shù).可以用OLS法估計(jì)參數(shù).如果(2.56)式中含有移動(dòng)平均項(xiàng),那么對(duì)于移動(dòng)平均參數(shù)來說,(2.57)式是一個(gè)非線性函數(shù).對(duì) (2.57)式必須采用非線性估計(jì)方法.首先假定模型為純自回歸形式,(L) Xt= Ut(2.61)或Xt = 1 Xt-1 + + pXt-p + Ut .(2.62)這是一個(gè)線性回歸模型,極大似然估計(jì)與OLS估計(jì)結(jié)果近似相同.當(dāng)模型中含有移動(dòng)平均成分時(shí)Ut =-1(L) (L) Xt(2.63)對(duì)于參數(shù)來說,模型是非線性的.對(duì)于非線性模型,通常由三種估計(jì)方法.直接

41、搜索法.通過改變參數(shù)的取值,反復(fù)計(jì)算殘差平方和I?2的值.然后從中選擇最小的那個(gè)值所對(duì)應(yīng)的參數(shù)值作為對(duì)參數(shù)的估計(jì)值.這種方法只有在參數(shù)個(gè)數(shù)較少時(shí)才是可行的.當(dāng)參數(shù)個(gè)數(shù)較多時(shí),計(jì)算量將非常大.例如當(dāng)含有四個(gè)被估參數(shù),每個(gè)參數(shù)需選擇20個(gè)計(jì)算值時(shí),那么需要計(jì)算(20) 4= 160000次.直接優(yōu)化法.求誤差平方和函數(shù)對(duì)每一個(gè)參數(shù)的偏導(dǎo)數(shù)并令其為零,從而求得正規(guī)方程(Ut2) =0, i =1, 口 + q(2.64)其中(1,p+q) =( 1,p, 1,q).由于p + q個(gè)方程中都含有p + q個(gè)參數(shù),所以必須聯(lián)立求解.由于計(jì)算上的困難,這種方法很少直接采用.線性迭代法.對(duì)任何非線性函數(shù)通常

42、都可以按泰勒級(jí)數(shù)展開.f (x) =f(X0) +f(X0) (X-X0) +=(X0) - f(X0)X0+ f(X0)X + 首先為參數(shù)選一組初始值(1, 0, -p+q, 0)(下標(biāo)零表示初始值.怎樣確定初始值并不重要.),然后將Xt = f (Xt-1,Xt-p)按泰勒級(jí)數(shù)在(1, 0,p+q, 0)點(diǎn)展開.pq fXt = f (Xt-1,Xt-p,1, 0 ,p+q, 0 ) +(i i,0)i 1 i 0, p qp q 2(2.65),1f+ - ( i i,0)( j j,0) +2 i 1 j 1 i j 0其中偏導(dǎo)數(shù)的下標(biāo)寫為零表示偏導(dǎo)數(shù)在1 =1, 0 ,p+q=p+q

43、, 0時(shí)的值.取上式右側(cè)的前兩項(xiàng)對(duì)原非線性函數(shù) Xt進(jìn)行近似.去掉右側(cè)第三項(xiàng)及以后各項(xiàng)得Xt - f (Xt-1,p qfp q,Xt-p,1, 0 ,p+q, 0 ) +i,0 = ii 1i 0 i 1f+ ut.i 0(2.66)(2.67)p+q, 2)作為待估參數(shù)的第三組估計(jì)值.重i,j 1i = 1, p + q,(2.68)上式為線性回歸方程形式.左側(cè)為量,右側(cè)含有一組未知量i , i = 1,p + q.利用OLS法對(duì)上式進(jìn)行估計(jì).設(shè)所得估計(jì)值用(1,1,p+q, 1)表示.以此作為第二組估計(jì)值,對(duì)非線性函數(shù)再一次線性化,從而得到一個(gè)新的線性方程.p qXt - f(Xt-1,

44、Xt-p,1,1,p+q, 1)+i,1i 1對(duì)上式再次應(yīng)用 OLS法估計(jì)參數(shù),并把 (1, 2, 復(fù)上述過程,直至滿足如下要求為止.其中i表示參數(shù)序號(hào),j表示迭代次數(shù).是預(yù)先給定的精度標(biāo)準(zhǔn).如果最后一次的參數(shù)估計(jì)值用(1, k, , p+q, k)表示,并且(1, k,p+q k)接近真值(1 ,p+q),那么必有,p qfi ,ki 1i k所以有Xt = f (Xt-1, ,Xt-p, 1, k , " p+q, k) + Ut(1, k, - p+q, k)是對(duì)(1, - p+q)的最終估計(jì).這種迭代計(jì)算一般都是通過計(jì)算機(jī)完成.評(píng)價(jià)線性模型的一些統(tǒng)計(jì)量例F, t等都不能直接用

45、于評(píng)價(jià)非線性模型.原因是盡管是正態(tài)分布的且均值為零,但殘差1yt=Xt-Xt=Xt- f (Xt-1, ,Xt-p,1, k,p+q, k)(2.69)不服從正態(tài)分布,那么U?t2不服從 2分布,參數(shù)估計(jì)量不服從正態(tài)分布.所以不能使用F和t檢驗(yàn).然而對(duì)迭代中的最后一步可以進(jìn)行F, t檢驗(yàn).如果估計(jì)量？= i, k, (i= 1, -p,+ q),接近真值i,那么F,t檢驗(yàn)將會(huì)對(duì)非線性模型有很滿意的解釋作用.3 .診斷與檢驗(yàn)完成模型的識(shí)別與參數(shù)估計(jì)后,應(yīng)對(duì)估計(jì)結(jié)果進(jìn)行診斷與檢驗(yàn),以求發(fā)現(xiàn)所選用的模型 是否適宜.假設(shè)不適宜,應(yīng)該知道下一步作何種修改.這一階段主要檢驗(yàn)擬合的模型是否合理.一是檢驗(yàn)?zāi)Ｐ?/p>

46、參數(shù)的估計(jì)值是否具有顯著性；二是檢驗(yàn)?zāi)Ｐ偷臍埐钚蛄惺欠駷榘自肼?參數(shù)估計(jì)值的顯著性檢驗(yàn)是通過t檢驗(yàn)完成的,而模型的殘差序列是否為白噪聲的檢驗(yàn)是用Box-Pierce (1970)提出的Q統(tǒng)計(jì)量完成的.Q檢驗(yàn)的零假設(shè)是H ：1 = 2 =K = 0即模型的誤差項(xiàng)是一個(gè)白噪聲過程.Q統(tǒng)計(jì)量定義為K _2_Q = T rk(2.70)近似服從2( K - p-q)分布,其中T表示樣本容量,rk表示用殘差序列計(jì)算的自相關(guān)系數(shù)值,K表示自相關(guān)系數(shù)的個(gè)數(shù),p表示模型自回歸局部的最大滯后值,q表示移動(dòng)平均局部的最大滯后值.Ljung和Box認(rèn)為(2.70)式定義的Q統(tǒng)計(jì)量的分布與2( k - p - q)分

47、布存在差異(相應(yīng)值偏小),于是提出修正的 Q統(tǒng)計(jì)量.K r 2 Q = T (T+2) k(2.71)k 1 T k其中rk , K, p, q的定義如(2.70)式.修正的Q統(tǒng)計(jì)量(2.71)近似服從 2( k - p - q)分布.且 它的近似性比原 Q統(tǒng)計(jì)量的近似性更好.(EViews中給出的Q統(tǒng)計(jì)量就是按(2.71)式定義 的.)用殘差序列計(jì)算 Q統(tǒng)計(jì)量的值.顯然假設(shè)殘差序列不是白噪聲,殘差序列中必含有其他成份,自相關(guān)系數(shù)不等于零.那么Q值將很大,反之 Q值將很小.判別規(guī)那么是：假設(shè) Q < 2 ( K - p - q),那么接受 H0o假設(shè) Q > 2 ( K - p -

48、 q),那么拒絕 H0O其中表示檢驗(yàn)水平.4 .時(shí)間序列模型預(yù)測下面以ARMA (1, 1)模型為例具體介紹預(yù)測方法.其他形式時(shí)間序列模型的預(yù)測方法 與此類似.設(shè)對(duì)時(shí)間序列樣本xt, t = 1,2,T,所擬合的模型是xt= 1 xt-1 + ut+ 1 ut-1(2.72)那么理論上T + 1期xt的值應(yīng)按下式計(jì)算xt+i = 1 xt + UT+1 + 1 ut(2.73)用估計(jì)的參數(shù) 4, 4和UT分別代替上式中的1, 1和UT.上式中的UT+1是未知的,但知E(UT+1) = 0 ,所以取UT+1 = 0.xT是的(樣本值).對(duì)xT+1的預(yù)測按下式進(jìn)行xt 1 = ?1 xt + 4

49、I?r(2.74)由(2.73)式,理論上xt+2的預(yù)測式是xT+2 =1 xT+1 + UT+2 + 1 UT+1仍取UT+1 = 0 , UT+2 = 0 ,那么xT+2的實(shí)際預(yù)測式是?T 2= 4 ?T 1(2.75)其中? 1是上一步得到的預(yù)測值,與此類推XT+3的預(yù)測式是?T 3= ?1 ?T 2(2.76)由上可見,隨著預(yù)測期的加長,預(yù)測式 (2.73)中移動(dòng)平均項(xiàng)逐步淡出預(yù)測模型,預(yù)測式變 成了純自回歸形式.假設(shè)上面所用的xt是一個(gè)差分變量,設(shè)yt=xt,那么得到的預(yù)測值相當(dāng)于yt, (t = T +1, T+2 ,.)由于yt = yt-i + yt所以原序列T+1期預(yù)測值應(yīng)按下式計(jì)算?t 1= yT+yT 1(2.77)對(duì)于t > T +1 ,預(yù)測式是?t=?t1+?t, t = T +2, T+3,(2.78)其中？t 1是相應(yīng)上一步的預(yù)測結(jié)果.用EViews計(jì)算相關(guān)圖和偏相關(guān)圖.附錄：對(duì)(2.36咸(自相關(guān)函數(shù)通解表達(dá)式)的證實(shí)對(duì)于AR(p)過程Xt = 1 Xt -1 + 2 Xt -2 +- + p Xt - p + Ut(1)它的自相關(guān)函數(shù)滿足下式,k = 1 k-1 + 2 k -2 + , + p k p, k 0(2)(見?計(jì)量經(jīng)濟(jì)分析?第 77頁)即有(1 - 1 L - 2 L2 -pLp ) k= 0(3)那么(2)式的自相