時間序列模型歸納總結復習

1、時間序列模型歸納總結復習隨機時間序列分析的幾個基本概念一、隨機過程(Stochastic Process)定義 設（,F,P）是概率空間，T是給定的參數集，如果對于任意tT，都有一定義在（,F ,P）上的隨機變量X(t,)與之對應，則稱隨機變量族X(t,),tT為隨機過程。簡記為X(t,),tT或Xt,tT 或XT離散參數的隨機過程也稱為隨機序列或（隨機）時間序列。上述定義可簡單理解成：隨機過程是一簇隨機變量Xt,tT，其中T表示時間t的變動范圍，對每個固定的時刻t而言，Xt是一普通的隨機變量，這些隨機變量的全體就構成一個隨機過程。當t=0,±1,±2,時，即時刻t只取整數

2、時，隨機過程Xt,tT可寫成如下形式，Xt,t=0,±1,±2,。此類隨機過程Xt是離散時間t的隨機函數，稱它為隨機序列或時間序列。對于一個連續(xù)時間的隨機過程的等間隔采樣序列，即Xt,t=0,±1,±2,就是一個離散隨機序列。二、時間序列的概率分布和數值特征1、時間序列的概率分布一個時間序列便是一個無限維的隨機向量。一個無限維隨機向量X=(,X-1,X0,X1,)/的概率分布應當用一個無限維概率分布描述。根據柯爾莫哥夫定理，一個時間序列的概率分布可以用它有限維分布簇來描述。時間序列所有的一維分布是：，F-1(·)，F0(·)，F1(&

3、#183;),所有二維分布是：Fij(·，·)， i，j=0,±1,±2,(ij)一個時間序列的所有有限維分布簇的全體，稱為該序列的有限維分布簇。2、時間序列的均值函數一個時間序列的均值函數是指：其中EXt表示在t固定時對隨機變量Xt的求均值，它只一維分布簇中的分布函數Ft(·)有關。3、時間序列的協方差函數與自相關函數與隨機變量之間的協方差相似，時間序列的協方差函數定義為：其中Ft,s(X,Y)為（Xt，Xs）的二維聯合分布。類似可以定義時間序列的自相關函數，即：時間序列的自協方差函數有以下性質： （1） 對稱性：（2） 非負定性：對任意正整

4、數m和任意m個整數k1, k2,。 km，方陣為對稱非負定矩陣。時間序列的自相關函數同樣也具有上述性質且有(t,t)=1。三、平穩(wěn)隨機過程平穩(wěn)時間序列是時間序列分析中一類重要而特殊的隨機序列，時間序列分析的主要內容是關于平穩(wěn)時間序列的統計分析。（一）兩種不同的平穩(wěn)性定義： 1、 嚴平穩(wěn)：如果對于時間t的任意n個值和任意實數，隨機過程的n維分布滿足關系式：則稱為嚴平穩(wěn)過程。 2、寬平穩(wěn)：若隨機過程的均值（一階矩）和協方差存在，且滿足（1）（2）則稱為寬平穩(wěn)隨機過程。通常說的平穩(wěn)是指寬平穩(wěn)。二者的聯系：（）嚴寬：因為寬平穩(wěn)要求期望和協方差存在，而嚴平穩(wěn)要求概率分布存在，而不能斷言一、二階矩存在。（

5、）寬嚴，這是不言而喻的。（）嚴平穩(wěn)+二階矩存在寬平穩(wěn)。但反過來一般不成立。（）對于正態(tài)過程來說，有：嚴平穩(wěn)寬平穩(wěn)（二）平穩(wěn)時間序列自協方差函數和自相關函數為了敘述方便，常假定平穩(wěn)時間序列的均值為零，即。用以下記號表示平穩(wěn)序列的自協方差函數，即相應地，的自相關函數用以下記號平穩(wěn)序列的自協方差函數列和自相關函數列具有以下性質：（1） 對稱性：；（2） 非負定性：對于任意正整數m，為非負定對稱方陣；（3） 。（三）平穩(wěn)序列的樣本統計量（1） 樣本均值時間序列無法獲得多重實現，多數時間序列僅包含一次實現，對于一個平穩(wěn)序列用時間均值代替總體均值。即 上式的估計是無偏的。（2） 樣本自協方差函數第一式是有

6、偏估計，第二式是無偏估計，但有效性不如第一式。其它概率性質和偏自相關函數的定義將在以后章節(jié)介紹。四、幾類特殊的隨機過程（序列）：1、純隨機過程：隨機過程如果是由一個不相關的隨機變量的序列構成的，則稱其為純隨機過程。2、白噪聲序列（White noise）：如果時間序列滿足以下性質：（1）（2）式中，當ts時，。稱此序列為白噪聲序列，簡稱白噪聲。白噪聲是一種最簡單的平穩(wěn)序列。（3）獨立同分布序列：如果時間序列中的隨機變量Xt,t=0,±1,±2,為相互獨立的隨機變量，而且Xt具有相同的分布，稱這樣的時間序列為獨立同分布序列。獨立同分布序列是一種最簡單的嚴平穩(wěn)序列。一般說，白噪

7、聲序列與獨立同分布序列是不同的兩種序列，當白噪聲序列為正態(tài)序列時，它也是獨立同分布序列，此時稱之為正態(tài)白噪聲序列。（4）獨立增量隨機過程：對于任意正整數n，任意，隨機變量相互獨立。簡單地講，就是任意兩相鄰時刻上的隨機變量之差（增量）是相互獨立的。（5）二階矩過程：若隨機過程對每個的均值和方差存在，則稱之為二階矩過程。（6）正態(tài)過程：若的有限維分布都是正態(tài)分布，則稱為正態(tài)隨機過程。主要介紹三種單變量模型：自回歸（AR）模型、移動平均（MA）模型和自回歸移動平均（ARMA）模型。第一節(jié) 自回歸模型一、一階自回歸模型AR(1) 如果時間序列獨立，就是說事物的后一時刻的行為主要與其前一時刻的行為毫無關

8、系。這樣的資料所揭示甲統計規(guī)律就是事物獨立地隨機變動，系統無記憶能力。如果情況不是這樣，資料之間有一定的依存性。后一時刻的行為主要與前一時刻的行為有關，而與其前一時刻以前的行為無直接關系，即已知Xt-1；Xt主要與Xt-1相關。用記憶性來說，就是最短的記憶，即一期記憶，也就是一階動態(tài)性。描述這種關系的數學模型就是一階自回歸模型。即 記作AR（1）。其中Xt 零均值平穩(wěn)序列，t 為隨機擾動。1、 一階自回歸模型的特點Xt對Xt-1有線性相關關系t為獨立正態(tài)同分布序列2、 AR（1）與普通一元線性回歸的關系一元線性回歸一階自回歸兩個變量，Y為隨機變量，X為確定性變量；一個變量，為隨機變量；為白噪聲

9、序列，;；;還可假定為正態(tài)分布。主要區(qū)別：（1） 普通線性回歸模型需要一組確定性變量值和相應的觀測值；（）模型只需要一組隨機變量的觀測值。（2） 普通一無線性回歸表示的是一隨機變量對另一個確定性變量的依存關系；而AR（1）表示的是一個隨機變量對其自身過去值的依存關系。（3） 普通線性回歸是在靜態(tài)的條件下研究的；AR（1）是在動態(tài)的條件下研究的。（4） 二者的假定不同。（5） 普通回歸模型實質是一種條件回歸，而AR（1）是無條件回歸。主要聯系：固定時刻t-1，且觀察值Xt-1已知時，AR（1）就是一個普通的一元線性回歸。二、 AR（1）模型的特例隨機游動、 隨機游動模型 、模型的特性（） 系統具

10、有極強的一期記憶性，系統在t-1和t時刻的響應，除隨機擾動外，完全一致，差異完全是由擾動引起的。（） 在時刻t-1時，系統的一步超前預測就是系統在t-1時的響應Xt-1，即。（） 系統行為是一系列獨立隨機變量的和，即 三、一般自回歸模型AR(n)其中：為白噪聲，。第二節(jié) 移動平均模型一、 一階移動平均模型MA（1）如果系統的響應Xt僅與其前一時刻進入系統的擾動t存在一定的相關關系，則有MA（1）模型： 其中：為白噪聲。MA（1）模型的基本假設為：（1）系統的響應Xt僅與其前一時刻進入系統的擾動t有一定的依存關系；（2）為白噪聲。二、 一般移動模型MA（m）模型的形式：其中：（1）Xt僅與， ，

11、有關，而與（j=m+1,m+2,）無關；（2）為白噪聲。第三節(jié) 自回歸移動平均(ARMA)模型一、 ARMA（2，1）模型 1、ARMA（2，1）模型的形式：其中：與、和有相關關系，白噪聲。2、ARMA（2，1）模型的結構：ARMA（2，1）模型是由一個AR（2）和一個MA（1）兩部分構成。3、ARMA（2，1）與AR（1）的區(qū)別從模型形式看，ARMA（2，1）比AR（1）的項數多；從模型的動態(tài)性看，ARMA（2，1）比AR（1）具有更長的記憶；從計算所需的資料看，ARMA（2，1）需要用t期以前的，這需要從初期開始遞歸地計算出來，通常取零；從參數估計來看，ARMA（2，1）比AR（1）困難。

12、二、 ARMA（n，n-1）模型ARMA（n，n-1）模型的基本假設為：獨立于（j=n,n+1,）,從而獨立于（j=n+1,n+2,）.三、ARMA(n，n-1)模型的合理性 為什么我們以ARMA(n，n-1)模型為一般形式來建立時序模型呢?難道一個ARMA(n，n-1)模型總可以描述一個時間序列嗎?對于平穩(wěn)系統來說，這是毫無疑問的。之所以以ARMA(n，n-1)為基本模型是因為下述理由： 第一，AR、MA、ARMA(n，m)模型都是ARMA(n，n-1)模型的特殊情形。 第二，理論依據：用Hilbert空間線性算子的基本理論可以證明，對于任何平穩(wěn)隨機系統，我們都可以用一個ARMA(n，n-1

13、)模型近似到我們想要達到的程度；用差分方程的理論也可以證明，對于n階自回歸，MA模型的階數應該是n-1。第三，從連續(xù)系統的離散化過程來看，ARMA(n，n1)也是合理的。在一個n階自回歸線性微分方程和任意階的移動平均數的形式下，如果一個連續(xù)自回歸移動平均過程在一致區(qū)間上抽樣，那么，這個抽樣過程的結果是ARMA(n，n-1)?！菊鹿?jié)實驗】利用Eviews軟件生成AR序列、MA序列和ARMA序列。第三章 ARMA模型的特性本章為本書重點之一，主要掌握三類模型的格林函數形式、平穩(wěn)性和可逆性條件、AFC和PAFC的形式和特點。第一節(jié) 線性差分方程一、 后移(Backshift)算子:1. 定義：后移算

14、子B定義為，從而。2. 后移算子的性質：(1) 常數的后移算子為常數：(2) 分配律：(3) 結合律：(4) 后移算子B的逆為前移算子(5) 對于，無限求和得前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分別表示為： 其中：二、 線性差分方程 可將寫成 這里 差分方程通解為： 這里，C (t)是齊次方程解，I (t)是特解。三、 齊次方程解的計算無重根 考慮齊次差分方程 其中 假定G1，G2，Gn是互不相同，則在時刻t的通解： 其中Ai為常數（可由初始條件確定）。重根 設有d個相等的根，可驗證通解為 對一般情形，當的因式分解為 齊次方程解便是 因此，齊次方程解是由衰減指數項Gt

15、、多項式tj、衰減正弦項Dtsin(2f0t+F)，以及這些函數的組合混合生成的。上述過程中計算并不方便，通常通過解方程得到其根為：。由于的根與的根互為倒數，因此。非齊次方程的特解通常情況下不容易得到，沒有一個“萬能鑰匙”，需要具體問題具體分析，只能對一些具有特殊形式非齊次項的方程進行討論。此處叢略。第二節(jié) 格林函數(Greens function)和平穩(wěn)性(Stationarity)一、 格林函數(Greens function)1、 定義：設零均值平穩(wěn)序列能夠表示為 （1）則稱上式為平穩(wěn)序列的傳遞形式，式中的加權系數稱為格林（Green）函數，其中。2、 格林函數的含義：格林函數是描述系統

16、記憶擾動程度的函數。式（1）可以記為 （2）其中。式（1）表明具有傳遞形式的平穩(wěn)序列可以由現在時刻以前的白噪聲通過系統“”的作用而生成，是j個單位時間以前加入系統的干擾項對現實響應的權，亦即系統對的“記憶”。二、 AR（1）系統的格林函數由AR（1）模型 即： 則AR(1)模型的格林函數。如若，則隨著j的增大而緩慢減小，表明系統的記憶較強；相反，若，則隨著j的增大而急劇減小，表明系統的記憶較弱.例：下面是參數分別為0.9、0.1和-0.9的AR（1）系統對擾動的記憶情況（三個序列由同一正態(tài)白噪聲序列模擬生成）： 比較前后三個不同參數的圖，可以看出：（） 取正值時，響應波動較平坦。（） 取負值時

17、，響應波動較大。（） 越大，系統響應回到均衡位置的速度越慢，時間越長。由于其中，因此AR（1）模型可用一個無限階MA來逼近，這說明AR模型是一種長效記憶模型。三、AR系統的平穩(wěn)性1、由平穩(wěn)性的定義求AR(1)系統的平穩(wěn)性條件將AR（1）模型兩邊平方再取數學期望，得到 如果序列是平穩(wěn)的，則有，由上式可得 由于是非負的，所以，從而，這就是AR（1）模型的平穩(wěn)性條件。利用滯后算子B，AR（1）模型可以寫為 式中，那么平穩(wěn)性條件就等價于的根在單位圓外（或的根落在單位圓內）。上述平穩(wěn)條件可以推廣到AR（n）模型，即其中：的平穩(wěn)性條件為：的根在單位圓外（或的根在單位圓內）。2、由格林函數求AR(1)模型的

18、平穩(wěn)性條件對于AR(1)系統來說，其平穩(wěn)性條件也可以由格林函數得出。如果系統受擾后，該擾動的作用漸漸減小，直至趨于零，即系統響應隨著時間的增長回到均衡位置，那么，該系統就是平穩(wěn)的。相對于格林函數來說，就是隨著j，擾動的權數，由于故必有j，顯然， 這就是AR(1)系統平穩(wěn)性條件。反過來，若，則稱AR(1)為漸近穩(wěn)定的，也必是平穩(wěn)的。 時，=1; 當=1時,=(-1)j 當=-1時這時，雖然響應不回到其均衡位置，但仍是有界的，這時系統為臨界穩(wěn)定的，系統可能存在某種趨勢或季節(jié)性。 當時，j，任意小的擾動只要給定足夠的時間，就會使系統響應正負趨于無窮，永遠不會回到其均衡位置，這時系統便是不穩(wěn)定的，當然

19、是非平穩(wěn)的。例：求AR（2）模型的平穩(wěn)域解：特征方程 的根，根據AR模型的平穩(wěn)性的條件由于是實數，必同為實數或共軛復數，由于，因此 故AR（2）模型的平穩(wěn)域為四、格林函數與Wold分解(Wolds Decomposition)所謂Wold分解也叫正交分解，其核心就是把一個平穩(wěn)過程分解成不相關的隨機變量的和。由于這一思想是由Wold引入(1938年)到時序分析中的，故叫做Wold分解。他認為可以用線性空間來解釋ARMA模型的解。在n維線性空間Ln中，n個線性無關的向量稱為空間的一組基。設可由線性表示： 其中由向量和唯一確定，稱為向量關于基的坐標。如果用線性空間的觀點來看AR(1)模型的解由于是相

20、互獨立的，可看作線性空間的基(或無限維坐標軸)，顯然可由線性表示，其系數就是對于的坐標，就是的正交向量的和。因而上式也叫做Wold分解式，其系數叫Wold系數。格林函數和Wold系數是同一客體從不同角度觀察的結果，二者是完全一致的。Wold系數是線性空間解釋，格林函數是系統解釋。五、ARMA模型格林函數的通用解法ARMA(n,m)模型 且 則 令 則化為比較等式兩邊B的同次冪的系數，可得由上式，格林函數可從開始依次遞推算出。思考：MA(m)模型的格林函數為 例：ARMA（2，1）系統的格林函數ARMA（2，1）模型可以看作是一個二階差分方程，設該方程的解是將上式代入模型中： 利用比較系數法，B

21、的同次冪必相等，于是：B的指數：上式可以寫成：即： 上式為一關于齊次差分方程的形式，其通解為其中：和是特征方程的根；和是任意常數，其值由初始條件確定。這里的初始條件是：則ARMA（2，1）系統的格林函數為：ARMA（2，1）模型的格林函數也可以通過下面的過程求得。根據Wold分解，平穩(wěn)ARMA（2，1）模型可以寫成即：AR（2）為ARMA（2，1）模型的特殊形式，同樣具有上述關系。例：ARMA（n，n-1）系統的格林函數與上面方法相同，ARMA（n，n-1）系統的格林函數的隱式的遞推式為：其中 由下列式子導出 即 其最終解為：其中：例：ARMA（2，1）系統的平穩(wěn)性條件ARMA（2，1）的平穩(wěn)

22、性條件要求：。由得：，即的根在單位圓內。由于ARMA（2，1）的特征方程和AR（2）和形式一樣（或者說和其移動平均項系數無關），因此其平穩(wěn)域與AR（2）系統的平穩(wěn)域相同，都是：思考：MA模型的平穩(wěn)性條件。第三節(jié) 逆函數和可逆性（Invertibility）所謂可逆性(Invertibility)是指移動平均模型可以用AR模型表示。一、 逆函數的定義設是零均值平穩(wěn)序列，如果白噪聲序列能夠表示為則稱上式為平穩(wěn)序列的逆轉形式，式中的加權系數稱為逆函數。二、ARMA模型的逆函數1、ARMA（n,m）模型逆函數通用解法對于ARMA（n,m）模型的逆函數求解模型格林函數求解方法相同。令 ，則平穩(wěn)序列的逆轉

23、形式可表示為 由ARMA(n,m)模型可得仍由先前定義的和，則上式可化為比較上式兩邊B的同次冪的系數，得到即 由此可從開始推算出。2、AR模型的逆函數 對于AR（1）模型 有 則其逆函數 類似對于AR（n）模型有 其逆函數為：3、MA模型的逆函數對于MA（1）模型，則， ， ，即 比較上式兩邊B的同次冪的系數得從而有 也可以用以下方法求MA（1）模型的逆函數由得 即可見 與AR（1）討論相類似，上面推導所隱含的可逆性條件為 對于MA（m）模型的可逆性討論與AR（n）模型平穩(wěn)性的討論是類似的，即： MA（m）模型的可逆性條件為其特征方程的特征根滿足下面所講的逆函數與格林函數的關系也作為求逆函數的

24、一種選擇。三、和之間的關系對于AR（1）模型和MA（1）模型， 注意到 格林函數 逆函數AR（1）： MA（1） 可以看出，AR（1）的和MA（1）的形式一致，只是符號相反，參數互換。此對偶性對其它模型仍然存在，如：ARMA（2，1）的格林函數為ARMA（1，2）的逆函數為綜上可知，在格林函數的表達式中，用代替，代替，代替，即可得到相對應的逆函數。四、關于ARMA模型平穩(wěn)性與可逆性的說明通過上面的討論可知，AR模型不存在可逆性性條件，MA模型不存在平穩(wěn)性條件。因此，對于ARMA模型的平穩(wěn)性條件是針對其AR系數而言，可逆性條件是針對其MA系數而言。只有同時滿足平穩(wěn)性可可逆性條件，ARMA模型才是

25、有意義的。第四節(jié) 自協方差函數一、理論自協方差函數和自相關函數對于ARMA系統來說，設序列的均值為零，則自協方差函數 自相關函數 二、樣本自相關函數的計算在擬合模型之前，我們所有的只是序列的一個有限樣本數據，無法求得理論自相關函數，只能求樣本的自協方差函數和自相關函數。樣本自協方差有兩種形式：則相應的自相關函數為 在通常的情況下，我們常采用第一種的計算方法。三、AR模型的自協方差函數和自相關函數（1） AR（1）模型的自協方差函數和自相關函數AR（1）模型為： 假設為零均值序列。將上式兩端乘以，并取期望，得 當k=0時，有： 即： 當 k=1時，有 即： 當k=2時，有 依此類推，便有一般式：

26、將代入，有， 相應的自相關函數為，即(2)、AR（n）模型的自協方差函數和自相關函數自相關函數兩邊同乘以 得到取期望，得： 上式兩邊除以 ，可得差分方程：我們注意到，上式類似于過程 自身所滿足的差分方程。假定將上式記為 這里， 記 則差分方程通解： 這里，是特征方程： =0的根。為了保證平穩(wěn)性，則要求 。在實際應用中，如果假定根是互異的，會出現兩種情況：1 Gi是實根，這時在通解 k 中AiGik 隨k增大等比例地衰減到零，我們常稱之為指數衰減。2 Gi和Gj是一對共軛復根，導致在通解出現：使得自相關函數呈衰減的正弦振蕩，衰減系數 ，頻率f滿足：方差：當k=0時， 上式兩邊除以 ，并有 ，故方

27、差 可以寫成四、MA模型的自協方差函數和自相關函數（1）MA（1）模型的自協方差函數和自相關函數：將MA（1）模型 兩端同乘以取期望，得當k=0時，有當k=1時，有當k=2時，有可見，對于MA（1）模型來說（2）MA（m）模型的自協方差函數和自相關函數自相關函數 因此該過程的方差是 且 由此得出自相關函數是 對于MA(m)過程，當滯后超出過程的階數m時自相關函數為零。換言之，滑動平均過程的自相關函數具有超出m步滯后的截尾性。（上述性質用來在B-J建模過程中，識別MA模型）五、偏自相關函數對于一個k階AR模型，有：由此得到Yule-Walker 方程，記為： 或 Pkk=k當已知時，由該方程組可

28、以解出，。遺憾的是，用該方程組求解時，需要知道自回歸過程的階數。因此，我們可以對連續(xù)的k值求解Yule-Walker方程。對k=1，2，3， 依次求解方程，得 上述序列為AR模型的偏自相關函數。如果自回歸過程的階數為n，則對于k>n應該有fkk=0。（） 偏自相關性是條件相關，是在給定的條件下，和的條件相關。換名話說，偏自相關函數是對和之間未被所解釋的相關的度量。（） 由最小二乘原理易得，是作為關于線性回歸的回歸系數。（） 由（2）可得，對于AR（n）模型，當k>n時，=0。（此性質用來在B-J建模過程中，識別AR特征）（） 對于任何平穩(wěn)過程，都可以由Yule-Walker 方程定

29、義偏自相關函數，當然也都是作為自相關函數的函數。六、自回歸和滑動平均過程之間的對偶性自回歸和有限滑動平均過程之間存在對偶關系的特征：1 在一個n階平穩(wěn)自回歸模型中，at可表示為既往X的有限加權和，換言之，Xt可表為既往a的無限加權和： 同樣，在一個m階滑動平均模型中，Xt可表示為既往a的有限加權和，換言之，at可表為既往X的無限加權和： 2 有限的MA過程具有在某點之外全為零的自相關函數，但由于它等價于一個無限階的AR過程，因此其偏自相關函數無限伸延，且被衰減指數和（或）衰減正弦波所控制。與此相反，AR過程具有在某點之外全為零的偏自相關函數，但是它的自相關函數無限伸延，且有衰減指數和（或）衰減

30、正弦波混合生成。3 對于一個有限m階自回歸過程，其參數不必滿足任何條件就能保證可逆性，然而，為滿足平穩(wěn)性，(B)=0的根必須都在單位圓外。與此相反，MA過程的參數不需要滿足任何條件就能保證平穩(wěn)性，然而，為滿足可逆性，(B)=0的根必須都在單位圓外。4 滑動平均過程的譜與對應的自回歸過程的譜存在互逆關系。七、本章小結零均值時間序列統計分析結果類別模 型AR(n)MA(m)ARMA(n,m)模型方程平穩(wěn)性條件特征根全在單位圓內無條件平穩(wěn)特征根全在單位圓內可逆性條件無條件可逆特征根全在單位圓內特征根全在單位圓內傳遞形式逆轉形式Green函數拖尾截尾拖尾逆函數截尾拖尾拖尾自相關函數拖尾截尾拖尾偏相關函

31、數截尾（截尾應該是快速趨于0）拖尾拖尾自相關系數拖著長長的尾巴，就是拖尾，AC（自相關autocorr）值是慢慢減少的。而偏相關系數是突然收斂到臨界值水平范圍內的，這就是截尾，PAC（偏相關parcorr）突然變的很小。AR模型：自相關系數拖尾，偏自相關系數截尾；MA模型：自相關系數截尾，偏自相關函數拖尾；ARMA模型：自相關函數和偏自相關函數均拖尾。ACF, Lags, Bounds = autocorr(y)ACF, Lags, Bounds = parcorr(y)【本章思考題】敘述AR、MA和ARMA模型的格林函數形式、平穩(wěn)性和可逆性條件、AFC和PAFC的形式和特點?！緦嶒瀮热荨?、

32、觀察前面生成的幾個自回歸序列的波動變化不同之處； 2、觀察生成的AR模型和MA模型自相關函數和偏自相關函數的不同之處。平穩(wěn)時間序列模型的建立本章討論平穩(wěn)時間序列的建模問題，也就是從觀測到的有限樣本數據出發(fā)，通過模型的識別、模型的定階、參數估計和診斷校驗等步驟，建立起適合的序列模型。學習重點為模型的識別和模型的檢驗。第一節(jié) 模型識別一、 識別依據模型識別主要是依據SACF和SPACF的拖尾性與截尾性來完成。常見的一些ARMA類型的SACF和SPACF的統計特征在下表中列出，可供建模時，進行對照選擇。表 ARIMA過程與其自相關函數偏自相關函數特征 模 型 自相關函數特征 偏自相關函數特征ARIM

33、A(1,1,1)D xt = j1D xt-1 + ut + q1ut-1緩慢地線性衰減AR（1）xt = j1 xt-1 + ut若j1 > 0，平滑地指數衰減若j1 < 0，正負交替地指數衰減若j11 > 0，k=1時有正峰值然后截尾若j11 < 0，k=1時有負峰值然后截尾MA（1）xt = ut + q1 ut-1若q1 > 0，k=1時有正峰值然后截尾若q1 < 0，k=1時有負峰值然后截尾若q1 > 0，交替式指數衰減若q1 < 0，負的平滑式指數衰減AR（2）xt = j1 xt-1 + j2 xt-2 + ut指數或正弦衰減（兩個

34、特征根為實根）（兩個特征根為共軛復根）k=1, 2時有兩個峰值然后截尾（j1 > 0，j2 > 0）（j1 > 0，j2 < 0）MA（2）xt = ut + q1 ut-1+ q2 ut-2k=1, 2有兩個峰值然后截尾（q1 > 0，q2 < 0）（q1 > 0，q2 > 0）指數或正弦衰減（q1 > 0，q2 < 0）（q1 > 0，q2 > 0）ARMA（1，1）xt = j1 xt-1 + ut + q1 ut-1k=1有峰值然后按指數衰減（j1 > 0，q1 > 0）（j1 > 0，q1 &l

35、t; 0）k=1有峰值然后按指數衰減（j1 > 0，q1 > 0）（j1 > 0，q1 < 0）ARMA（2，1）xt = j1 xt-1+ j2 xt-2+ ut + q1 ut-1k=1有峰值然后按指數或正弦衰減（j1 > 0，j2 < 0，q1 > 0）k=1, 2有兩個峰值然后按指數衰減（j1 > 0，j2 < 0，q1 > 0）ARMA（1，2）xt = j1 xt-1+ ut + q1 ut-1+ q2 ut-2k=1, 2有兩個峰值然后按指數衰減（j1 > 0，q1 > 0，q2 < 0）（j1 >

36、; 0，q1 > 0，q2 >0）k=1有峰值然后按指數或正弦衰減（j1 > 0，q1 > 0，q2 < 0）（j1 > 0，q1 > 0，q2 > 0）ARMA（2，2）xt=j1xt-1+j2xt-2+ ut +q1ut-1+q2ut-2k=1, 2有兩個峰值然后按指數或正弦衰減（j1 > 0，j2 < 0，q1 > 0，q2 < 0）（j1 > 0，j2 < 0，q1 > 0，q2 > 0）k=1, 2有兩個峰值然后按指數或正弦衰減（j1 > 0，j2 < 0，q1 > 0，

37、q2 < 0）（j1 > 0，j2 < 0，q1 > 0，q2 > 0）二、 拖尾性與截尾性的判定理論上，對于MA(q)過程，其自相關函數在q步之后全部為零，實際上并非如此，因為為樣本數據的估計值。同樣地，偏自相關函數也存在類似的問題。判定在m步之后截尾的做法是：實際判斷時，以頻率代概率。判定在n步之后截尾的做法是：實際判斷時，以頻率代概率。拖尾：即被負指數控制收斂于零。三、 實例【例4-1】現有磨輪資料250個，試判斷該數據的零均值及平穩(wěn)性。1時間序列趨勢圖2零均值化后的圖形3ACF與PACF圖形ACFPACF第二節(jié) 模型定階一、 殘差方差圖法基本思想：以AR模

38、型為例。對于時間序列，如果其合理（真正的）階數為p，當我們用一個小于p的值為階數去擬合它，所得到的剩余平方和必然偏大， ，不僅受剩余平方和的影響，而且還受自由度的影響。將比真正模型的大。原因在于它把模型中原本有的一些高階項給省略了，而這些項的存在對減小殘差的方差是有明顯貢獻的。反之，如果我們用一個大于p的值作為階數去擬合它（過度擬合），雖然剩余平方和減少，但已不明顯，這時可能還會增大。因此，我們可以用一系列階數逐漸遞增的模型對進行擬合，每次都求出，作出階數n和殘差方差的圖形，進行判斷。這種方法直觀簡單，但沒有量的準則，具有主觀性。二、 自相關函數（ACF）和偏自相關函數（PACF）定階法它們不

39、僅可以用來識別模型，而且還可以用來確定模型的階。三、 F檢驗定階法基本思想：首先用ARMA(n,m)對進行過度擬合，再令為零，用F檢驗判定階數降低之后的模型ARMA(n-1,m-1)與ARMA(n,m)之間是否存在顯著性差異。如果有顯著性差異，階數能夠升高；如果沒有差異，階數可以降低。四、 最佳準則函數定階法最佳準則函數法，是構造一個準則函數，該函數既要考慮用某一模型對原始數據擬合的接近程度（殘差的大?。?，同時又要考慮模型中所含待定參數的個數。建模時，根據函數的取值確定模型優(yōu)劣，使準則函數值達到最小的模型是最佳模型。準則函數法是日本學者赤池弘次(Akaike)最先提出。主要有FPE準則，AIC

40、準則，BIC準則，SC準則。1 FPE準則基本思想：根據模型的預報誤差來判斷自回歸模型的階數是否恰當，合理的階數應該能夠使得模型的最終預報誤差最小?；纠碚摚簩τ谀Ｐ停瑫r間序列的一步預報誤差的方差為：，而是的無偏估計，于是 （1）（1）中第一個因子，隨著階數的增加而增加；第二個因子隨著階數的增加而減少。因此它實質上就是一個最佳準則函數。該最佳準則函數還可寫成： 詳見教材中P103的證明?；静僮鳎喊凑諒牡碗A到高階的方式建立AR模型，并計算出相應的FPE的值，從中選擇最小的FPE對應的n作為模型的階，即。2 AIC準則（Akaike Information Criterion）基本思想：建立模型

41、時，根據準則函數取值來判斷模型的優(yōu)劣，使準則函數達到極小的是最佳模型，該準則是在模型極大似然估計的基礎上建立起來的?；纠碚摚鹤钚⌒畔蕜tAIC函數的一般形式： （2）在（2）式中“模型極大似然度”一般用似然函數表示，設樣本長度N充分大時，ARMA模型得到近似極大似然估計的對數似然函數為： 詳細的證明，參見顧嵐：時間序列分析在經濟中的應用，中國統計出版社，1994年2月。 （3）由于（3）中第二項與模型及參數個數無關，可以舍棄。于是得到采用ARMA（n,m）模型擬合的AIC準則函數： 在EVIEWS軟件中的定義與此不同。 （4）使得AIC信息量取值最小的n和m，即是模型理想的階。由（4）可以看

42、出AIC信息量由兩部分構成：前一部分體現模型的擬合好壞，后一部分表明模型參數的多少。顯然我們希望模型擬合得越精確真好，但過高的精度要求又會導致參數的增多及模型的復雜，可能反而影響模型的擬合效果，因此，實質上，它就是對擬合精度和參數個數二者加以適當權重。可以想象，當模型中參數個數K由少至多增加時，擬合誤差改進顯著，（4）中第一項起主要作用，AIC明顯下降；隨著模型階數增加，模型擬合殘差改進甚微，AIC上升。AIC的最小值處對應著最佳模型的階數。3 BIC準則AIC準則為時間序列模型定階帶來了許多方便，但AIC準則也有不足之處。從理論上已證明了AIC準則不能給出模型階數的相容估計，即當樣本趨于無窮

43、大時，由AIC準則選擇的模型階數不能收斂到其真值（通常比真值高）。Akaike于1976年提出了BIC準則彌補了AIC準則的不足。定義：，其中K是模型的自由參數個數，對于ARMA(n,m)模型，。從理論上已證明，BIC準則確定的模型階數是真實階數的相容估計。若，則是要選擇的最佳階數。注：與的關系見圖，用AIC準則往往比用BIC準則確定的階數高。KK0/K0我們還可以定義其它類型的準則函數，如 （5）其中C是選定的常數。定義不同的準則函數是為了對擬合殘差與參數個數之間進行不同的權衡，以體現使用者對于二者重要性的不同側重。當然，對于同一數據序列使用不同準則挑選的最優(yōu)模型不同，其漸近性質也不同。在實

44、際問題中，相應于不同階數的準則函數值往往不是理想的下凸函數，而是總的趨勢符合下凸函數變化規(guī)律，同時有隨機起伏，有時可能出現準則函數下降到某值后，沒有明顯的增長趨勢，而是隨機的起伏擺動。遇到這種情形，如果適當地增大（5）中常數系數C的值，可以使準則函數在后一段有明顯的增長趨勢。五、 實例【例4-2】沿用例4-1中的數據，進行模型的定階。第三節(jié) 參數估計一、 矩估計1自回歸模型的參數估計：采用YULE-WALK方程 （1）2移動平均模型的參數估計： 可采用：直接法、迭代法、牛頓-拉普森算法。 （2）（1）直接解法（2）線性迭代法（3）牛頓-拉普森算法 詳見顧嵐：時間序列分析在經濟中的應用，中國統計

45、出版社，P120。3自回歸移動平均模型的參數估計：將模型分成兩個部分，先對AR部分應用YULE-WALK方程，計算得到剩余序列，對剩余序列應用MA模型的參數估計方法。二、 最小二乘估計（LS）1線性最小二乘估計2非線性最小二乘估計：高斯-牛頓法；最速下降法；三、 極大似然估計（ML）對于時間序列模型，一般采用極大似然法估計參數。對于一組相互獨立的隨機變量xt,（t = 1, 2, , T），當得到一個樣本 (x1, x2, , xT) 時，似然函數可表示為 L (g | x1, x2, , xT) = f (x1| g ) f (x2| g ) f (xT | g ) = | g ) (1)其

46、中g =（g1, g2, , gk）是一組未知參數。對數似然函數是 log L = f (xt | g ),通過選擇 g 使上式達到最大，從而求的極大似然估計值 。具體步驟是用上述對數似然函數對每個未知參數求偏導數并令其為零，即 = 0, : = 0, （k個方程聯立）一般來說似然函數是非線性的，必須采用迭代計算的方法求參數的極大似然估計值。極大似然估計量 (MLE) 具有一致性和漸近有效性?，F在討論怎樣對時間序列模型的參數進行極大似然估計。對于非平穩(wěn)過程yt ，假定經過d次差分之后可以表達為一個平穩(wěn)、可逆的自回歸移動平均過程xt ， F (L) Dd yt = F (L) xt = Q (L

47、) ut. (2)對于yt 假定可以觀測到T + d個觀測值，即y- d+1, , y0, y1, , yT ，則經過d次差分之后， xt 的樣本容量為T。 以 x1, , xT 為樣本估計ARMA (p, q) 模型參數 (f1, , fp, q1, , qq )。 對隨機過程xt的參數估計就如對回歸模型的參數估計一樣，目的是使xt與其擬合值的殘差平方和 = .最小。把 (2) 式改寫為 ut = . (3)若用，和分別表示對fi, q i和ut的估計，則使下式最小。 = S (, , , , , ) (4)假定ut N (0, su2), t = 1, T，且不存在自相關，則條件對數似然函

48、數為 log L = -T logsu - (5)之所以稱之為條件對數似然函數是因為依賴于過去的不可知觀測值x0, x-1, , x- p+1和u0, u-1, , u- q +1。比如 u1 = x1 - f1 x0 - f2 x-1 - - fp x-p+1 - q1u0 - - qqu- q+1. (6)對（5）式求極大即等同于對求極小。對求極小時需要先確定x0, x1, , x-p+1和u0, u-1, , u- q +1的值。此問題的一般處理方法是取這些變量等于他們的無條件期望值。u0, u-1, , u- q +1的無條件期望值為零。若模型（2）中不含有漂移項，則x0, x-1,

49、, x- p +1的無條件期望值也為零。當樣本容量T與滯后長度p, q值相比充分大，且f1, , fp的值不接近1時，這種近似非常理想。若 (2) 式中不含有移動平均項，對于自回歸參數來說 (3) 式是一個線性函數?？梢杂肙LS法估計參數。如果 (2) 式中含有移動平均項，那么對于移動平均參數來說， (3) 式是一個非線性函數。對 (3) 式必須采用非線性估計方法。首先假定模型為純自回歸形式， F (L) xt = ut (7)或 xt = f1 xt-1 + + fp xt-p + ut . (8)這是一個線性回歸模型，極大似然估計與OLS估計結果近似相同。當模型中含有移動平均成分時 ut = Q -1(L) F (L) xt (9)對于參數來說，模型是非線性的。對于非線性模型，通常由三種估計方法。直接搜索法。通過改變參數的取值，反復計算殘差平方和的值。然后從中選擇最小的那個值所對應的參數值作為對參數的估計值。這種方法只有在參數個數較少時才是可行的。當參數個數較多時，計算量將非常大。例如當含有四個被估參數，每個參數需選擇20個計算值時，則需要計算 (20) 4 = 160000次。直接優(yōu)化法。求誤差平方和函數對每一個參數的偏導數并令其為零，從而求得正規(guī)方程 = 0, i =1, , p + q (10)其中（g1, , gp+q）=（f1, , fp