時(shí)間序列模型歸納總結(jié)復(fù)習(xí)

1、時(shí)間序列模型歸納總結(jié)復(fù)習(xí)隨機(jī)時(shí)間序列分析的幾個(gè)基本概念一、隨機(jī)過程(Stochastic Process)定義 設(shè)（,F,P）是概率空間，T是給定的參數(shù)集，如果對(duì)于任意tT，都有一定義在（,F ,P）上的隨機(jī)變量X(t,)與之對(duì)應(yīng)，則稱隨機(jī)變量族X(t,),tT為隨機(jī)過程。簡(jiǎn)記為X(t,),tT或Xt,tT 或XT離散參數(shù)的隨機(jī)過程也稱為隨機(jī)序列或（隨機(jī)）時(shí)間序列。上述定義可簡(jiǎn)單理解成：隨機(jī)過程是一簇隨機(jī)變量Xt,tT，其中T表示時(shí)間t的變動(dòng)范圍，對(duì)每個(gè)固定的時(shí)刻t而言，Xt是一普通的隨機(jī)變量，這些隨機(jī)變量的全體就構(gòu)成一個(gè)隨機(jī)過程。當(dāng)t=0,±1,±2,時(shí)，即時(shí)刻t只取整數(shù)

2、時(shí)，隨機(jī)過程Xt,tT可寫成如下形式，Xt,t=0,±1,±2,。此類隨機(jī)過程Xt是離散時(shí)間t的隨機(jī)函數(shù)，稱它為隨機(jī)序列或時(shí)間序列。對(duì)于一個(gè)連續(xù)時(shí)間的隨機(jī)過程的等間隔采樣序列，即Xt,t=0,±1,±2,就是一個(gè)離散隨機(jī)序列。二、時(shí)間序列的概率分布和數(shù)值特征1、時(shí)間序列的概率分布一個(gè)時(shí)間序列便是一個(gè)無限維的隨機(jī)向量。一個(gè)無限維隨機(jī)向量X=(,X-1,X0,X1,)/的概率分布應(yīng)當(dāng)用一個(gè)無限維概率分布描述。根據(jù)柯爾莫哥夫定理，一個(gè)時(shí)間序列的概率分布可以用它有限維分布簇來描述。時(shí)間序列所有的一維分布是：，F(xiàn)-1(·)，F(xiàn)0(·)，F(xiàn)1(&

3、#183;),所有二維分布是：Fij(·，·)， i，j=0,±1,±2,(ij)一個(gè)時(shí)間序列的所有有限維分布簇的全體，稱為該序列的有限維分布簇。2、時(shí)間序列的均值函數(shù)一個(gè)時(shí)間序列的均值函數(shù)是指：其中EXt表示在t固定時(shí)對(duì)隨機(jī)變量Xt的求均值，它只一維分布簇中的分布函數(shù)Ft(·)有關(guān)。3、時(shí)間序列的協(xié)方差函數(shù)與自相關(guān)函數(shù)與隨機(jī)變量之間的協(xié)方差相似，時(shí)間序列的協(xié)方差函數(shù)定義為：其中Ft,s(X,Y)為（Xt，Xs）的二維聯(lián)合分布。類似可以定義時(shí)間序列的自相關(guān)函數(shù)，即：時(shí)間序列的自協(xié)方差函數(shù)有以下性質(zhì)： （1） 對(duì)稱性：（2） 非負(fù)定性：對(duì)任意正整

4、數(shù)m和任意m個(gè)整數(shù)k1, k2,。 km，方陣為對(duì)稱非負(fù)定矩陣。時(shí)間序列的自相關(guān)函數(shù)同樣也具有上述性質(zhì)且有(t,t)=1。三、平穩(wěn)隨機(jī)過程平穩(wěn)時(shí)間序列是時(shí)間序列分析中一類重要而特殊的隨機(jī)序列，時(shí)間序列分析的主要內(nèi)容是關(guān)于平穩(wěn)時(shí)間序列的統(tǒng)計(jì)分析。（一）兩種不同的平穩(wěn)性定義： 1、 嚴(yán)平穩(wěn)：如果對(duì)于時(shí)間t的任意n個(gè)值和任意實(shí)數(shù)，隨機(jī)過程的n維分布滿足關(guān)系式：則稱為嚴(yán)平穩(wěn)過程。 2、寬平穩(wěn)：若隨機(jī)過程的均值（一階矩）和協(xié)方差存在，且滿足（1）（2）則稱為寬平穩(wěn)隨機(jī)過程。通常說的平穩(wěn)是指寬平穩(wěn)。二者的聯(lián)系：（）嚴(yán)寬：因?yàn)閷捚椒€(wěn)要求期望和協(xié)方差存在，而嚴(yán)平穩(wěn)要求概率分布存在，而不能斷言一、二階矩存在。（

5、）寬嚴(yán)，這是不言而喻的。（）嚴(yán)平穩(wěn)+二階矩存在寬平穩(wěn)。但反過來一般不成立。（）對(duì)于正態(tài)過程來說，有：嚴(yán)平穩(wěn)寬平穩(wěn)（二）平穩(wěn)時(shí)間序列自協(xié)方差函數(shù)和自相關(guān)函數(shù)為了敘述方便，常假定平穩(wěn)時(shí)間序列的均值為零，即。用以下記號(hào)表示平穩(wěn)序列的自協(xié)方差函數(shù)，即相應(yīng)地，的自相關(guān)函數(shù)用以下記號(hào)平穩(wěn)序列的自協(xié)方差函數(shù)列和自相關(guān)函數(shù)列具有以下性質(zhì)：（1） 對(duì)稱性：；（2） 非負(fù)定性：對(duì)于任意正整數(shù)m，為非負(fù)定對(duì)稱方陣；（3） 。（三）平穩(wěn)序列的樣本統(tǒng)計(jì)量（1） 樣本均值時(shí)間序列無法獲得多重實(shí)現(xiàn)，多數(shù)時(shí)間序列僅包含一次實(shí)現(xiàn)，對(duì)于一個(gè)平穩(wěn)序列用時(shí)間均值代替總體均值。即 上式的估計(jì)是無偏的。（2） 樣本自協(xié)方差函數(shù)第一式是有

6、偏估計(jì)，第二式是無偏估計(jì)，但有效性不如第一式。其它概率性質(zhì)和偏自相關(guān)函數(shù)的定義將在以后章節(jié)介紹。四、幾類特殊的隨機(jī)過程（序列）：1、純隨機(jī)過程：隨機(jī)過程如果是由一個(gè)不相關(guān)的隨機(jī)變量的序列構(gòu)成的，則稱其為純隨機(jī)過程。2、白噪聲序列（White noise）：如果時(shí)間序列滿足以下性質(zhì)：（1）（2）式中，當(dāng)ts時(shí)，。稱此序列為白噪聲序列，簡(jiǎn)稱白噪聲。白噪聲是一種最簡(jiǎn)單的平穩(wěn)序列。（3）獨(dú)立同分布序列：如果時(shí)間序列中的隨機(jī)變量Xt,t=0,±1,±2,為相互獨(dú)立的隨機(jī)變量，而且Xt具有相同的分布，稱這樣的時(shí)間序列為獨(dú)立同分布序列。獨(dú)立同分布序列是一種最簡(jiǎn)單的嚴(yán)平穩(wěn)序列。一般說，白噪

7、聲序列與獨(dú)立同分布序列是不同的兩種序列，當(dāng)白噪聲序列為正態(tài)序列時(shí)，它也是獨(dú)立同分布序列，此時(shí)稱之為正態(tài)白噪聲序列。（4）獨(dú)立增量隨機(jī)過程：對(duì)于任意正整數(shù)n，任意，隨機(jī)變量相互獨(dú)立。簡(jiǎn)單地講，就是任意兩相鄰時(shí)刻上的隨機(jī)變量之差（增量）是相互獨(dú)立的。（5）二階矩過程：若隨機(jī)過程對(duì)每個(gè)的均值和方差存在，則稱之為二階矩過程。（6）正態(tài)過程：若的有限維分布都是正態(tài)分布，則稱為正態(tài)隨機(jī)過程。主要介紹三種單變量模型：自回歸（AR）模型、移動(dòng)平均（MA）模型和自回歸移動(dòng)平均（ARMA）模型。第一節(jié) 自回歸模型一、一階自回歸模型AR(1) 如果時(shí)間序列獨(dú)立，就是說事物的后一時(shí)刻的行為主要與其前一時(shí)刻的行為毫無關(guān)

8、系。這樣的資料所揭示甲統(tǒng)計(jì)規(guī)律就是事物獨(dú)立地隨機(jī)變動(dòng)，系統(tǒng)無記憶能力。如果情況不是這樣，資料之間有一定的依存性。后一時(shí)刻的行為主要與前一時(shí)刻的行為有關(guān)，而與其前一時(shí)刻以前的行為無直接關(guān)系，即已知Xt-1；Xt主要與Xt-1相關(guān)。用記憶性來說，就是最短的記憶，即一期記憶，也就是一階動(dòng)態(tài)性。描述這種關(guān)系的數(shù)學(xué)模型就是一階自回歸模型。即 記作AR（1）。其中Xt 零均值平穩(wěn)序列，t 為隨機(jī)擾動(dòng)。1、 一階自回歸模型的特點(diǎn)Xt對(duì)Xt-1有線性相關(guān)關(guān)系t為獨(dú)立正態(tài)同分布序列2、 AR（1）與普通一元線性回歸的關(guān)系一元線性回歸一階自回歸兩個(gè)變量，Y為隨機(jī)變量，X為確定性變量；一個(gè)變量，為隨機(jī)變量；為白噪聲

9、序列，;；;還可假定為正態(tài)分布。主要區(qū)別：（1） 普通線性回歸模型需要一組確定性變量值和相應(yīng)的觀測(cè)值；（）模型只需要一組隨機(jī)變量的觀測(cè)值。（2） 普通一無線性回歸表示的是一隨機(jī)變量對(duì)另一個(gè)確定性變量的依存關(guān)系；而AR（1）表示的是一個(gè)隨機(jī)變量對(duì)其自身過去值的依存關(guān)系。（3） 普通線性回歸是在靜態(tài)的條件下研究的；AR（1）是在動(dòng)態(tài)的條件下研究的。（4） 二者的假定不同。（5） 普通回歸模型實(shí)質(zhì)是一種條件回歸，而AR（1）是無條件回歸。主要聯(lián)系：固定時(shí)刻t-1，且觀察值Xt-1已知時(shí)，AR（1）就是一個(gè)普通的一元線性回歸。二、 AR（1）模型的特例隨機(jī)游動(dòng)、 隨機(jī)游動(dòng)模型 、模型的特性（） 系統(tǒng)具

10、有極強(qiáng)的一期記憶性，系統(tǒng)在t-1和t時(shí)刻的響應(yīng)，除隨機(jī)擾動(dòng)外，完全一致，差異完全是由擾動(dòng)引起的。（） 在時(shí)刻t-1時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在t-1時(shí)的響應(yīng)Xt-1，即。（） 系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即 三、一般自回歸模型AR(n)其中：為白噪聲，。第二節(jié) 移動(dòng)平均模型一、 一階移動(dòng)平均模型MA（1）如果系統(tǒng)的響應(yīng)Xt僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)t存在一定的相關(guān)關(guān)系，則有MA（1）模型： 其中：為白噪聲。MA（1）模型的基本假設(shè)為：（1）系統(tǒng)的響應(yīng)Xt僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)t有一定的依存關(guān)系；（2）為白噪聲。二、 一般移動(dòng)模型MA（m）模型的形式：其中：（1）Xt僅與， ，

11、有關(guān)，而與（j=m+1,m+2,）無關(guān)；（2）為白噪聲。第三節(jié) 自回歸移動(dòng)平均(ARMA)模型一、 ARMA（2，1）模型 1、ARMA（2，1）模型的形式：其中：與、和有相關(guān)關(guān)系，白噪聲。2、ARMA（2，1）模型的結(jié)構(gòu)：ARMA（2，1）模型是由一個(gè)AR（2）和一個(gè)MA（1）兩部分構(gòu)成。3、ARMA（2，1）與AR（1）的區(qū)別從模型形式看，ARMA（2，1）比AR（1）的項(xiàng)數(shù)多；從模型的動(dòng)態(tài)性看，ARMA（2，1）比AR（1）具有更長(zhǎng)的記憶；從計(jì)算所需的資料看，ARMA（2，1）需要用t期以前的，這需要從初期開始遞歸地計(jì)算出來，通常取零；從參數(shù)估計(jì)來看，ARMA（2，1）比AR（1）困難。

12、二、 ARMA（n，n-1）模型ARMA（n，n-1）模型的基本假設(shè)為：獨(dú)立于（j=n,n+1,）,從而獨(dú)立于（j=n+1,n+2,）.三、ARMA(n，n-1)模型的合理性 為什么我們以ARMA(n，n-1)模型為一般形式來建立時(shí)序模型呢?難道一個(gè)ARMA(n，n-1)模型總可以描述一個(gè)時(shí)間序列嗎?對(duì)于平穩(wěn)系統(tǒng)來說，這是毫無疑問的。之所以以ARMA(n，n-1)為基本模型是因?yàn)橄率隼碛桑?第一，AR、MA、ARMA(n，m)模型都是ARMA(n，n-1)模型的特殊情形。 第二，理論依據(jù)：用Hilbert空間線性算子的基本理論可以證明，對(duì)于任何平穩(wěn)隨機(jī)系統(tǒng)，我們都可以用一個(gè)ARMA(n，n-1

13、)模型近似到我們想要達(dá)到的程度；用差分方程的理論也可以證明，對(duì)于n階自回歸，MA模型的階數(shù)應(yīng)該是n-1。第三，從連續(xù)系統(tǒng)的離散化過程來看，ARMA(n，n1)也是合理的。在一個(gè)n階自回歸線性微分方程和任意階的移動(dòng)平均數(shù)的形式下，如果一個(gè)連續(xù)自回歸移動(dòng)平均過程在一致區(qū)間上抽樣，那么，這個(gè)抽樣過程的結(jié)果是ARMA(n，n-1)?！菊鹿?jié)實(shí)驗(yàn)】利用Eviews軟件生成AR序列、MA序列和ARMA序列。第三章 ARMA模型的特性本章為本書重點(diǎn)之一，主要掌握三類模型的格林函數(shù)形式、平穩(wěn)性和可逆性條件、AFC和PAFC的形式和特點(diǎn)。第一節(jié) 線性差分方程一、 后移(Backshift)算子:1. 定義：后移算

14、子B定義為，從而。2. 后移算子的性質(zhì)：(1) 常數(shù)的后移算子為常數(shù)：(2) 分配律：(3) 結(jié)合律：(4) 后移算子B的逆為前移算子(5) 對(duì)于，無限求和得前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分別表示為： 其中：二、 線性差分方程 可將寫成 這里 差分方程通解為： 這里，C (t)是齊次方程解，I (t)是特解。三、 齊次方程解的計(jì)算無重根 考慮齊次差分方程 其中 假定G1，G2，Gn是互不相同，則在時(shí)刻t的通解： 其中Ai為常數(shù)（可由初始條件確定）。重根 設(shè)有d個(gè)相等的根，可驗(yàn)證通解為 對(duì)一般情形，當(dāng)?shù)囊蚴椒纸鉃?齊次方程解便是 因此，齊次方程解是由衰減指數(shù)項(xiàng)Gt

15、、多項(xiàng)式tj、衰減正弦項(xiàng)Dtsin(2f0t+F)，以及這些函數(shù)的組合混合生成的。上述過程中計(jì)算并不方便，通常通過解方程得到其根為：。由于的根與的根互為倒數(shù)，因此。非齊次方程的特解通常情況下不容易得到，沒有一個(gè)“萬能鑰匙”，需要具體問題具體分析，只能對(duì)一些具有特殊形式非齊次項(xiàng)的方程進(jìn)行討論。此處叢略。第二節(jié) 格林函數(shù)(Greens function)和平穩(wěn)性(Stationarity)一、 格林函數(shù)(Greens function)1、 定義：設(shè)零均值平穩(wěn)序列能夠表示為 （1）則稱上式為平穩(wěn)序列的傳遞形式，式中的加權(quán)系數(shù)稱為格林（Green）函數(shù)，其中。2、 格林函數(shù)的含義：格林函數(shù)是描述系統(tǒng)

16、記憶擾動(dòng)程度的函數(shù)。式（1）可以記為 （2）其中。式（1）表明具有傳遞形式的平穩(wěn)序列可以由現(xiàn)在時(shí)刻以前的白噪聲通過系統(tǒng)“”的作用而生成，是j個(gè)單位時(shí)間以前加入系統(tǒng)的干擾項(xiàng)對(duì)現(xiàn)實(shí)響應(yīng)的權(quán)，亦即系統(tǒng)對(duì)的“記憶”。二、 AR（1）系統(tǒng)的格林函數(shù)由AR（1）模型 即： 則AR(1)模型的格林函數(shù)。如若，則隨著j的增大而緩慢減小，表明系統(tǒng)的記憶較強(qiáng)；相反，若，則隨著j的增大而急劇減小，表明系統(tǒng)的記憶較弱.例：下面是參數(shù)分別為0.9、0.1和-0.9的AR（1）系統(tǒng)對(duì)擾動(dòng)的記憶情況（三個(gè)序列由同一正態(tài)白噪聲序列模擬生成）： 比較前后三個(gè)不同參數(shù)的圖，可以看出：（） 取正值時(shí)，響應(yīng)波動(dòng)較平坦。（） 取負(fù)值時(shí)

17、，響應(yīng)波動(dòng)較大。（） 越大，系統(tǒng)響應(yīng)回到均衡位置的速度越慢，時(shí)間越長(zhǎng)。由于其中，因此AR（1）模型可用一個(gè)無限階MA來逼近，這說明AR模型是一種長(zhǎng)效記憶模型。三、AR系統(tǒng)的平穩(wěn)性1、由平穩(wěn)性的定義求AR(1)系統(tǒng)的平穩(wěn)性條件將AR（1）模型兩邊平方再取數(shù)學(xué)期望，得到 如果序列是平穩(wěn)的，則有，由上式可得 由于是非負(fù)的，所以，從而，這就是AR（1）模型的平穩(wěn)性條件。利用滯后算子B，AR（1）模型可以寫為 式中，那么平穩(wěn)性條件就等價(jià)于的根在單位圓外（或的根落在單位圓內(nèi)）。上述平穩(wěn)條件可以推廣到AR（n）模型，即其中：的平穩(wěn)性條件為：的根在單位圓外（或的根在單位圓內(nèi)）。2、由格林函數(shù)求AR(1)模型的

18、平穩(wěn)性條件對(duì)于AR(1)系統(tǒng)來說，其平穩(wěn)性條件也可以由格林函數(shù)得出。如果系統(tǒng)受擾后，該擾動(dòng)的作用漸漸減小，直至趨于零，即系統(tǒng)響應(yīng)隨著時(shí)間的增長(zhǎng)回到均衡位置，那么，該系統(tǒng)就是平穩(wěn)的。相對(duì)于格林函數(shù)來說，就是隨著j，擾動(dòng)的權(quán)數(shù)，由于故必有j，顯然， 這就是AR(1)系統(tǒng)平穩(wěn)性條件。反過來，若，則稱AR(1)為漸近穩(wěn)定的，也必是平穩(wěn)的。 時(shí)，=1; 當(dāng)=1時(shí),=(-1)j 當(dāng)=-1時(shí)這時(shí)，雖然響應(yīng)不回到其均衡位置，但仍是有界的，這時(shí)系統(tǒng)為臨界穩(wěn)定的，系統(tǒng)可能存在某種趨勢(shì)或季節(jié)性。 當(dāng)時(shí)，j，任意小的擾動(dòng)只要給定足夠的時(shí)間，就會(huì)使系統(tǒng)響應(yīng)正負(fù)趨于無窮，永遠(yuǎn)不會(huì)回到其均衡位置，這時(shí)系統(tǒng)便是不穩(wěn)定的，當(dāng)然

19、是非平穩(wěn)的。例：求AR（2）模型的平穩(wěn)域解：特征方程 的根，根據(jù)AR模型的平穩(wěn)性的條件由于是實(shí)數(shù)，必同為實(shí)數(shù)或共軛復(fù)數(shù)，由于，因此 故AR（2）模型的平穩(wěn)域?yàn)樗?、格林函?shù)與Wold分解(Wolds Decomposition)所謂Wold分解也叫正交分解，其核心就是把一個(gè)平穩(wěn)過程分解成不相關(guān)的隨機(jī)變量的和。由于這一思想是由Wold引入(1938年)到時(shí)序分析中的，故叫做Wold分解。他認(rèn)為可以用線性空間來解釋ARMA模型的解。在n維線性空間Ln中，n個(gè)線性無關(guān)的向量稱為空間的一組基。設(shè)可由線性表示： 其中由向量和唯一確定，稱為向量關(guān)于基的坐標(biāo)。如果用線性空間的觀點(diǎn)來看AR(1)模型的解由于是相

20、互獨(dú)立的，可看作線性空間的基(或無限維坐標(biāo)軸)，顯然可由線性表示，其系數(shù)就是對(duì)于的坐標(biāo)，就是的正交向量的和。因而上式也叫做Wold分解式，其系數(shù)叫Wold系數(shù)。格林函數(shù)和Wold系數(shù)是同一客體從不同角度觀察的結(jié)果，二者是完全一致的。Wold系數(shù)是線性空間解釋，格林函數(shù)是系統(tǒng)解釋。五、ARMA模型格林函數(shù)的通用解法ARMA(n,m)模型 且 則 令 則化為比較等式兩邊B的同次冪的系數(shù)，可得由上式，格林函數(shù)可從開始依次遞推算出。思考：MA(m)模型的格林函數(shù)為 例：ARMA（2，1）系統(tǒng)的格林函數(shù)ARMA（2，1）模型可以看作是一個(gè)二階差分方程，設(shè)該方程的解是將上式代入模型中： 利用比較系數(shù)法，B

21、的同次冪必相等，于是：B的指數(shù)：上式可以寫成：即： 上式為一關(guān)于齊次差分方程的形式，其通解為其中：和是特征方程的根；和是任意常數(shù)，其值由初始條件確定。這里的初始條件是：則ARMA（2，1）系統(tǒng)的格林函數(shù)為：ARMA（2，1）模型的格林函數(shù)也可以通過下面的過程求得。根據(jù)Wold分解，平穩(wěn)ARMA（2，1）模型可以寫成即：AR（2）為ARMA（2，1）模型的特殊形式，同樣具有上述關(guān)系。例：ARMA（n，n-1）系統(tǒng)的格林函數(shù)與上面方法相同，ARMA（n，n-1）系統(tǒng)的格林函數(shù)的隱式的遞推式為：其中 由下列式子導(dǎo)出 即 其最終解為：其中：例：ARMA（2，1）系統(tǒng)的平穩(wěn)性條件ARMA（2，1）的平穩(wěn)

22、性條件要求：。由得：，即的根在單位圓內(nèi)。由于ARMA（2，1）的特征方程和AR（2）和形式一樣（或者說和其移動(dòng)平均項(xiàng)系數(shù)無關(guān)），因此其平穩(wěn)域與AR（2）系統(tǒng)的平穩(wěn)域相同，都是：思考：MA模型的平穩(wěn)性條件。第三節(jié) 逆函數(shù)和可逆性（Invertibility）所謂可逆性(Invertibility)是指移動(dòng)平均模型可以用AR模型表示。一、 逆函數(shù)的定義設(shè)是零均值平穩(wěn)序列，如果白噪聲序列能夠表示為則稱上式為平穩(wěn)序列的逆轉(zhuǎn)形式，式中的加權(quán)系數(shù)稱為逆函數(shù)。二、ARMA模型的逆函數(shù)1、ARMA（n,m）模型逆函數(shù)通用解法對(duì)于ARMA（n,m）模型的逆函數(shù)求解模型格林函數(shù)求解方法相同。令 ，則平穩(wěn)序列的逆轉(zhuǎn)

23、形式可表示為 由ARMA(n,m)模型可得仍由先前定義的和，則上式可化為比較上式兩邊B的同次冪的系數(shù)，得到即 由此可從開始推算出。2、AR模型的逆函數(shù) 對(duì)于AR（1）模型 有 則其逆函數(shù) 類似對(duì)于AR（n）模型有 其逆函數(shù)為：3、MA模型的逆函數(shù)對(duì)于MA（1）模型，則， ， ，即 比較上式兩邊B的同次冪的系數(shù)得從而有 也可以用以下方法求MA（1）模型的逆函數(shù)由得 即可見 與AR（1）討論相類似，上面推導(dǎo)所隱含的可逆性條件為 對(duì)于MA（m）模型的可逆性討論與AR（n）模型平穩(wěn)性的討論是類似的，即： MA（m）模型的可逆性條件為其特征方程的特征根滿足下面所講的逆函數(shù)與格林函數(shù)的關(guān)系也作為求逆函數(shù)的

24、一種選擇。三、和之間的關(guān)系對(duì)于AR（1）模型和MA（1）模型， 注意到 格林函數(shù) 逆函數(shù)AR（1）： MA（1） 可以看出，AR（1）的和MA（1）的形式一致，只是符號(hào)相反，參數(shù)互換。此對(duì)偶性對(duì)其它模型仍然存在，如：ARMA（2，1）的格林函數(shù)為ARMA（1，2）的逆函數(shù)為綜上可知，在格林函數(shù)的表達(dá)式中，用代替，代替，代替，即可得到相對(duì)應(yīng)的逆函數(shù)。四、關(guān)于ARMA模型平穩(wěn)性與可逆性的說明通過上面的討論可知，AR模型不存在可逆性性條件，MA模型不存在平穩(wěn)性條件。因此，對(duì)于ARMA模型的平穩(wěn)性條件是針對(duì)其AR系數(shù)而言，可逆性條件是針對(duì)其MA系數(shù)而言。只有同時(shí)滿足平穩(wěn)性可可逆性條件，ARMA模型才是

25、有意義的。第四節(jié) 自協(xié)方差函數(shù)一、理論自協(xié)方差函數(shù)和自相關(guān)函數(shù)對(duì)于ARMA系統(tǒng)來說，設(shè)序列的均值為零，則自協(xié)方差函數(shù) 自相關(guān)函數(shù) 二、樣本自相關(guān)函數(shù)的計(jì)算在擬合模型之前，我們所有的只是序列的一個(gè)有限樣本數(shù)據(jù)，無法求得理論自相關(guān)函數(shù)，只能求樣本的自協(xié)方差函數(shù)和自相關(guān)函數(shù)。樣本自協(xié)方差有兩種形式：則相應(yīng)的自相關(guān)函數(shù)為 在通常的情況下，我們常采用第一種的計(jì)算方法。三、AR模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)（1） AR（1）模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)AR（1）模型為： 假設(shè)為零均值序列。將上式兩端乘以，并取期望，得 當(dāng)k=0時(shí)，有： 即： 當(dāng) k=1時(shí)，有 即： 當(dāng)k=2時(shí)，有 依此類推，便有一般式：

26、將代入，有， 相應(yīng)的自相關(guān)函數(shù)為，即(2)、AR（n）模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)自相關(guān)函數(shù)兩邊同乘以 得到取期望，得： 上式兩邊除以 ，可得差分方程：我們注意到，上式類似于過程 自身所滿足的差分方程。假定將上式記為 這里， 記 則差分方程通解： 這里，是特征方程： =0的根。為了保證平穩(wěn)性，則要求 。在實(shí)際應(yīng)用中，如果假定根是互異的，會(huì)出現(xiàn)兩種情況：1 Gi是實(shí)根，這時(shí)在通解 k 中AiGik 隨k增大等比例地衰減到零，我們常稱之為指數(shù)衰減。2 Gi和Gj是一對(duì)共軛復(fù)根，導(dǎo)致在通解出現(xiàn)：使得自相關(guān)函數(shù)呈衰減的正弦振蕩，衰減系數(shù) ，頻率f滿足：方差：當(dāng)k=0時(shí)， 上式兩邊除以 ，并有 ，故方

27、差 可以寫成四、MA模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)（1）MA（1）模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)：將MA（1）模型 兩端同乘以取期望，得當(dāng)k=0時(shí)，有當(dāng)k=1時(shí)，有當(dāng)k=2時(shí)，有可見，對(duì)于MA（1）模型來說（2）MA（m）模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)自相關(guān)函數(shù) 因此該過程的方差是 且 由此得出自相關(guān)函數(shù)是 對(duì)于MA(m)過程，當(dāng)滯后超出過程的階數(shù)m時(shí)自相關(guān)函數(shù)為零。換言之，滑動(dòng)平均過程的自相關(guān)函數(shù)具有超出m步滯后的截尾性。（上述性質(zhì)用來在B-J建模過程中，識(shí)別MA模型）五、偏自相關(guān)函數(shù)對(duì)于一個(gè)k階AR模型，有：由此得到Y(jié)ule-Walker 方程，記為： 或 Pkk=k當(dāng)已知時(shí)，由該方程組可

28、以解出，。遺憾的是，用該方程組求解時(shí)，需要知道自回歸過程的階數(shù)。因此，我們可以對(duì)連續(xù)的k值求解Yule-Walker方程。對(duì)k=1，2，3， 依次求解方程，得 上述序列為AR模型的偏自相關(guān)函數(shù)。如果自回歸過程的階數(shù)為n，則對(duì)于k>n應(yīng)該有fkk=0。（） 偏自相關(guān)性是條件相關(guān)，是在給定的條件下，和的條件相關(guān)。換名話說，偏自相關(guān)函數(shù)是對(duì)和之間未被所解釋的相關(guān)的度量。（） 由最小二乘原理易得，是作為關(guān)于線性回歸的回歸系數(shù)。（） 由（2）可得，對(duì)于AR（n）模型，當(dāng)k>n時(shí)，=0。（此性質(zhì)用來在B-J建模過程中，識(shí)別AR特征）（） 對(duì)于任何平穩(wěn)過程，都可以由Yule-Walker 方程定

29、義偏自相關(guān)函數(shù)，當(dāng)然也都是作為自相關(guān)函數(shù)的函數(shù)。六、自回歸和滑動(dòng)平均過程之間的對(duì)偶性自回歸和有限滑動(dòng)平均過程之間存在對(duì)偶關(guān)系的特征：1 在一個(gè)n階平穩(wěn)自回歸模型中，at可表示為既往X的有限加權(quán)和，換言之，Xt可表為既往a的無限加權(quán)和： 同樣，在一個(gè)m階滑動(dòng)平均模型中，Xt可表示為既往a的有限加權(quán)和，換言之，at可表為既往X的無限加權(quán)和： 2 有限的MA過程具有在某點(diǎn)之外全為零的自相關(guān)函數(shù)，但由于它等價(jià)于一個(gè)無限階的AR過程，因此其偏自相關(guān)函數(shù)無限伸延，且被衰減指數(shù)和（或）衰減正弦波所控制。與此相反，AR過程具有在某點(diǎn)之外全為零的偏自相關(guān)函數(shù)，但是它的自相關(guān)函數(shù)無限伸延，且有衰減指數(shù)和（或）衰減

30、正弦波混合生成。3 對(duì)于一個(gè)有限m階自回歸過程，其參數(shù)不必滿足任何條件就能保證可逆性，然而，為滿足平穩(wěn)性，(B)=0的根必須都在單位圓外。與此相反，MA過程的參數(shù)不需要滿足任何條件就能保證平穩(wěn)性，然而，為滿足可逆性，(B)=0的根必須都在單位圓外。4 滑動(dòng)平均過程的譜與對(duì)應(yīng)的自回歸過程的譜存在互逆關(guān)系。七、本章小結(jié)零均值時(shí)間序列統(tǒng)計(jì)分析結(jié)果類別模 型AR(n)MA(m)ARMA(n,m)模型方程平穩(wěn)性條件特征根全在單位圓內(nèi)無條件平穩(wěn)特征根全在單位圓內(nèi)可逆性條件無條件可逆特征根全在單位圓內(nèi)特征根全在單位圓內(nèi)傳遞形式逆轉(zhuǎn)形式Green函數(shù)拖尾截尾拖尾逆函數(shù)截尾拖尾拖尾自相關(guān)函數(shù)拖尾截尾拖尾偏相關(guān)函

31、數(shù)截尾（截尾應(yīng)該是快速趨于0）拖尾拖尾自相關(guān)系數(shù)拖著長(zhǎng)長(zhǎng)的尾巴，就是拖尾，AC（自相關(guān)autocorr）值是慢慢減少的。而偏相關(guān)系數(shù)是突然收斂到臨界值水平范圍內(nèi)的，這就是截尾，PAC（偏相關(guān)parcorr）突然變的很小。AR模型：自相關(guān)系數(shù)拖尾，偏自相關(guān)系數(shù)截尾；MA模型：自相關(guān)系數(shù)截尾，偏自相關(guān)函數(shù)拖尾；ARMA模型：自相關(guān)函數(shù)和偏自相關(guān)函數(shù)均拖尾。ACF, Lags, Bounds = autocorr(y)ACF, Lags, Bounds = parcorr(y)【本章思考題】敘述AR、MA和ARMA模型的格林函數(shù)形式、平穩(wěn)性和可逆性條件、AFC和PAFC的形式和特點(diǎn)?！緦?shí)驗(yàn)內(nèi)容】1、

32、觀察前面生成的幾個(gè)自回歸序列的波動(dòng)變化不同之處； 2、觀察生成的AR模型和MA模型自相關(guān)函數(shù)和偏自相關(guān)函數(shù)的不同之處。平穩(wěn)時(shí)間序列模型的建立本章討論平穩(wěn)時(shí)間序列的建模問題，也就是從觀測(cè)到的有限樣本數(shù)據(jù)出發(fā)，通過模型的識(shí)別、模型的定階、參數(shù)估計(jì)和診斷校驗(yàn)等步驟，建立起適合的序列模型。學(xué)習(xí)重點(diǎn)為模型的識(shí)別和模型的檢驗(yàn)。第一節(jié) 模型識(shí)別一、 識(shí)別依據(jù)模型識(shí)別主要是依據(jù)SACF和SPACF的拖尾性與截尾性來完成。常見的一些ARMA類型的SACF和SPACF的統(tǒng)計(jì)特征在下表中列出，可供建模時(shí)，進(jìn)行對(duì)照選擇。表 ARIMA過程與其自相關(guān)函數(shù)偏自相關(guān)函數(shù)特征 模 型 自相關(guān)函數(shù)特征 偏自相關(guān)函數(shù)特征ARIM

33、A(1,1,1)D xt = j1D xt-1 + ut + q1ut-1緩慢地線性衰減AR（1）xt = j1 xt-1 + ut若j1 > 0，平滑地指數(shù)衰減若j1 < 0，正負(fù)交替地指數(shù)衰減若j11 > 0，k=1時(shí)有正峰值然后截尾若j11 < 0，k=1時(shí)有負(fù)峰值然后截尾MA（1）xt = ut + q1 ut-1若q1 > 0，k=1時(shí)有正峰值然后截尾若q1 < 0，k=1時(shí)有負(fù)峰值然后截尾若q1 > 0，交替式指數(shù)衰減若q1 < 0，負(fù)的平滑式指數(shù)衰減AR（2）xt = j1 xt-1 + j2 xt-2 + ut指數(shù)或正弦衰減（兩個(gè)

34、特征根為實(shí)根）（兩個(gè)特征根為共軛復(fù)根）k=1, 2時(shí)有兩個(gè)峰值然后截尾（j1 > 0，j2 > 0）（j1 > 0，j2 < 0）MA（2）xt = ut + q1 ut-1+ q2 ut-2k=1, 2有兩個(gè)峰值然后截尾（q1 > 0，q2 < 0）（q1 > 0，q2 > 0）指數(shù)或正弦衰減（q1 > 0，q2 < 0）（q1 > 0，q2 > 0）ARMA（1，1）xt = j1 xt-1 + ut + q1 ut-1k=1有峰值然后按指數(shù)衰減（j1 > 0，q1 > 0）（j1 > 0，q1 &l

35、t; 0）k=1有峰值然后按指數(shù)衰減（j1 > 0，q1 > 0）（j1 > 0，q1 < 0）ARMA（2，1）xt = j1 xt-1+ j2 xt-2+ ut + q1 ut-1k=1有峰值然后按指數(shù)或正弦衰減（j1 > 0，j2 < 0，q1 > 0）k=1, 2有兩個(gè)峰值然后按指數(shù)衰減（j1 > 0，j2 < 0，q1 > 0）ARMA（1，2）xt = j1 xt-1+ ut + q1 ut-1+ q2 ut-2k=1, 2有兩個(gè)峰值然后按指數(shù)衰減（j1 > 0，q1 > 0，q2 < 0）（j1 >

36、; 0，q1 > 0，q2 >0）k=1有峰值然后按指數(shù)或正弦衰減（j1 > 0，q1 > 0，q2 < 0）（j1 > 0，q1 > 0，q2 > 0）ARMA（2，2）xt=j1xt-1+j2xt-2+ ut +q1ut-1+q2ut-2k=1, 2有兩個(gè)峰值然后按指數(shù)或正弦衰減（j1 > 0，j2 < 0，q1 > 0，q2 < 0）（j1 > 0，j2 < 0，q1 > 0，q2 > 0）k=1, 2有兩個(gè)峰值然后按指數(shù)或正弦衰減（j1 > 0，j2 < 0，q1 > 0，

37、q2 < 0）（j1 > 0，j2 < 0，q1 > 0，q2 > 0）二、 拖尾性與截尾性的判定理論上，對(duì)于MA(q)過程，其自相關(guān)函數(shù)在q步之后全部為零，實(shí)際上并非如此，因?yàn)闉闃颖緮?shù)據(jù)的估計(jì)值。同樣地，偏自相關(guān)函數(shù)也存在類似的問題。判定在m步之后截尾的做法是：實(shí)際判斷時(shí)，以頻率代概率。判定在n步之后截尾的做法是：實(shí)際判斷時(shí)，以頻率代概率。拖尾：即被負(fù)指數(shù)控制收斂于零。三、 實(shí)例【例4-1】現(xiàn)有磨輪資料250個(gè)，試判斷該數(shù)據(jù)的零均值及平穩(wěn)性。1時(shí)間序列趨勢(shì)圖2零均值化后的圖形3ACF與PACF圖形ACFPACF第二節(jié) 模型定階一、 殘差方差圖法基本思想：以AR模

38、型為例。對(duì)于時(shí)間序列，如果其合理（真正的）階數(shù)為p，當(dāng)我們用一個(gè)小于p的值為階數(shù)去擬合它，所得到的剩余平方和必然偏大， ，不僅受剩余平方和的影響，而且還受自由度的影響。將比真正模型的大。原因在于它把模型中原本有的一些高階項(xiàng)給省略了，而這些項(xiàng)的存在對(duì)減小殘差的方差是有明顯貢獻(xiàn)的。反之，如果我們用一個(gè)大于p的值作為階數(shù)去擬合它（過度擬合），雖然剩余平方和減少，但已不明顯，這時(shí)可能還會(huì)增大。因此，我們可以用一系列階數(shù)逐漸遞增的模型對(duì)進(jìn)行擬合，每次都求出，作出階數(shù)n和殘差方差的圖形，進(jìn)行判斷。這種方法直觀簡(jiǎn)單，但沒有量的準(zhǔn)則，具有主觀性。二、 自相關(guān)函數(shù)（ACF）和偏自相關(guān)函數(shù)（PACF）定階法它們不

39、僅可以用來識(shí)別模型，而且還可以用來確定模型的階。三、 F檢驗(yàn)定階法基本思想：首先用ARMA(n,m)對(duì)進(jìn)行過度擬合，再令為零，用F檢驗(yàn)判定階數(shù)降低之后的模型ARMA(n-1,m-1)與ARMA(n,m)之間是否存在顯著性差異。如果有顯著性差異，階數(shù)能夠升高；如果沒有差異，階數(shù)可以降低。四、 最佳準(zhǔn)則函數(shù)定階法最佳準(zhǔn)則函數(shù)法，是構(gòu)造一個(gè)準(zhǔn)則函數(shù)，該函數(shù)既要考慮用某一模型對(duì)原始數(shù)據(jù)擬合的接近程度（殘差的大?。?，同時(shí)又要考慮模型中所含待定參數(shù)的個(gè)數(shù)。建模時(shí)，根據(jù)函數(shù)的取值確定模型優(yōu)劣，使準(zhǔn)則函數(shù)值達(dá)到最小的模型是最佳模型。準(zhǔn)則函數(shù)法是日本學(xué)者赤池弘次(Akaike)最先提出。主要有FPE準(zhǔn)則，AIC

40、準(zhǔn)則，BIC準(zhǔn)則，SC準(zhǔn)則。1 FPE準(zhǔn)則基本思想：根據(jù)模型的預(yù)報(bào)誤差來判斷自回歸模型的階數(shù)是否恰當(dāng)，合理的階數(shù)應(yīng)該能夠使得模型的最終預(yù)報(bào)誤差最小?；纠碚摚簩?duì)于模型，時(shí)間序列的一步預(yù)報(bào)誤差的方差為：，而是的無偏估計(jì)，于是 （1）（1）中第一個(gè)因子，隨著階數(shù)的增加而增加；第二個(gè)因子隨著階數(shù)的增加而減少。因此它實(shí)質(zhì)上就是一個(gè)最佳準(zhǔn)則函數(shù)。該最佳準(zhǔn)則函數(shù)還可寫成： 詳見教材中P103的證明?；静僮鳎喊凑諒牡碗A到高階的方式建立AR模型，并計(jì)算出相應(yīng)的FPE的值，從中選擇最小的FPE對(duì)應(yīng)的n作為模型的階，即。2 AIC準(zhǔn)則（Akaike Information Criterion）基本思想：建立模型

41、時(shí)，根據(jù)準(zhǔn)則函數(shù)取值來判斷模型的優(yōu)劣，使準(zhǔn)則函數(shù)達(dá)到極小的是最佳模型，該準(zhǔn)則是在模型極大似然估計(jì)的基礎(chǔ)上建立起來的。基本理論：最小信息準(zhǔn)則AIC函數(shù)的一般形式： （2）在（2）式中“模型極大似然度”一般用似然函數(shù)表示，設(shè)樣本長(zhǎng)度N充分大時(shí)，ARMA模型得到近似極大似然估計(jì)的對(duì)數(shù)似然函數(shù)為： 詳細(xì)的證明，參見顧嵐：時(shí)間序列分析在經(jīng)濟(jì)中的應(yīng)用，中國(guó)統(tǒng)計(jì)出版社，1994年2月。 （3）由于（3）中第二項(xiàng)與模型及參數(shù)個(gè)數(shù)無關(guān)，可以舍棄。于是得到采用ARMA（n,m）模型擬合的AIC準(zhǔn)則函數(shù)： 在EVIEWS軟件中的定義與此不同。 （4）使得AIC信息量取值最小的n和m，即是模型理想的階。由（4）可以看

42、出AIC信息量由兩部分構(gòu)成：前一部分體現(xiàn)模型的擬合好壞，后一部分表明模型參數(shù)的多少。顯然我們希望模型擬合得越精確真好，但過高的精度要求又會(huì)導(dǎo)致參數(shù)的增多及模型的復(fù)雜，可能反而影響模型的擬合效果，因此，實(shí)質(zhì)上，它就是對(duì)擬合精度和參數(shù)個(gè)數(shù)二者加以適當(dāng)權(quán)重?？梢韵胂?，當(dāng)模型中參數(shù)個(gè)數(shù)K由少至多增加時(shí)，擬合誤差改進(jìn)顯著，（4）中第一項(xiàng)起主要作用，AIC明顯下降；隨著模型階數(shù)增加，模型擬合殘差改進(jìn)甚微，AIC上升。AIC的最小值處對(duì)應(yīng)著最佳模型的階數(shù)。3 BIC準(zhǔn)則AIC準(zhǔn)則為時(shí)間序列模型定階帶來了許多方便，但AIC準(zhǔn)則也有不足之處。從理論上已證明了AIC準(zhǔn)則不能給出模型階數(shù)的相容估計(jì)，即當(dāng)樣本趨于無窮

43、大時(shí)，由AIC準(zhǔn)則選擇的模型階數(shù)不能收斂到其真值（通常比真值高）。Akaike于1976年提出了BIC準(zhǔn)則彌補(bǔ)了AIC準(zhǔn)則的不足。定義：，其中K是模型的自由參數(shù)個(gè)數(shù)，對(duì)于ARMA(n,m)模型，。從理論上已證明，BIC準(zhǔn)則確定的模型階數(shù)是真實(shí)階數(shù)的相容估計(jì)。若，則是要選擇的最佳階數(shù)。注：與的關(guān)系見圖，用AIC準(zhǔn)則往往比用BIC準(zhǔn)則確定的階數(shù)高。KK0/K0我們還可以定義其它類型的準(zhǔn)則函數(shù)，如 （5）其中C是選定的常數(shù)。定義不同的準(zhǔn)則函數(shù)是為了對(duì)擬合殘差與參數(shù)個(gè)數(shù)之間進(jìn)行不同的權(quán)衡，以體現(xiàn)使用者對(duì)于二者重要性的不同側(cè)重。當(dāng)然，對(duì)于同一數(shù)據(jù)序列使用不同準(zhǔn)則挑選的最優(yōu)模型不同，其漸近性質(zhì)也不同。在實(shí)

44、際問題中，相應(yīng)于不同階數(shù)的準(zhǔn)則函數(shù)值往往不是理想的下凸函數(shù)，而是總的趨勢(shì)符合下凸函數(shù)變化規(guī)律，同時(shí)有隨機(jī)起伏，有時(shí)可能出現(xiàn)準(zhǔn)則函數(shù)下降到某值后，沒有明顯的增長(zhǎng)趨勢(shì)，而是隨機(jī)的起伏擺動(dòng)。遇到這種情形，如果適當(dāng)?shù)卦龃螅?）中常數(shù)系數(shù)C的值，可以使準(zhǔn)則函數(shù)在后一段有明顯的增長(zhǎng)趨勢(shì)。五、 實(shí)例【例4-2】沿用例4-1中的數(shù)據(jù)，進(jìn)行模型的定階。第三節(jié) 參數(shù)估計(jì)一、 矩估計(jì)1自回歸模型的參數(shù)估計(jì)：采用YULE-WALK方程 （1）2移動(dòng)平均模型的參數(shù)估計(jì)： 可采用：直接法、迭代法、牛頓-拉普森算法。 （2）（1）直接解法（2）線性迭代法（3）牛頓-拉普森算法 詳見顧嵐：時(shí)間序列分析在經(jīng)濟(jì)中的應(yīng)用，中國(guó)統(tǒng)計(jì)

45、出版社，P120。3自回歸移動(dòng)平均模型的參數(shù)估計(jì)：將模型分成兩個(gè)部分，先對(duì)AR部分應(yīng)用YULE-WALK方程，計(jì)算得到剩余序列，對(duì)剩余序列應(yīng)用MA模型的參數(shù)估計(jì)方法。二、 最小二乘估計(jì)（LS）1線性最小二乘估計(jì)2非線性最小二乘估計(jì)：高斯-牛頓法；最速下降法；三、 極大似然估計(jì)（ML）對(duì)于時(shí)間序列模型，一般采用極大似然法估計(jì)參數(shù)。對(duì)于一組相互獨(dú)立的隨機(jī)變量xt,（t = 1, 2, , T），當(dāng)?shù)玫揭粋€(gè)樣本 (x1, x2, , xT) 時(shí)，似然函數(shù)可表示為 L (g | x1, x2, , xT) = f (x1| g ) f (x2| g ) f (xT | g ) = | g ) (1)其

46、中g(shù) =（g1, g2, , gk）是一組未知參數(shù)。對(duì)數(shù)似然函數(shù)是 log L = f (xt | g ),通過選擇 g 使上式達(dá)到最大，從而求的極大似然估計(jì)值 。具體步驟是用上述對(duì)數(shù)似然函數(shù)對(duì)每個(gè)未知參數(shù)求偏導(dǎo)數(shù)并令其為零，即 = 0, : = 0, （k個(gè)方程聯(lián)立）一般來說似然函數(shù)是非線性的，必須采用迭代計(jì)算的方法求參數(shù)的極大似然估計(jì)值。極大似然估計(jì)量 (MLE) 具有一致性和漸近有效性?，F(xiàn)在討論怎樣對(duì)時(shí)間序列模型的參數(shù)進(jìn)行極大似然估計(jì)。對(duì)于非平穩(wěn)過程yt ，假定經(jīng)過d次差分之后可以表達(dá)為一個(gè)平穩(wěn)、可逆的自回歸移動(dòng)平均過程xt ， F (L) Dd yt = F (L) xt = Q (L

47、) ut. (2)對(duì)于yt 假定可以觀測(cè)到T + d個(gè)觀測(cè)值，即y- d+1, , y0, y1, , yT ，則經(jīng)過d次差分之后， xt 的樣本容量為T。 以 x1, , xT 為樣本估計(jì)ARMA (p, q) 模型參數(shù) (f1, , fp, q1, , qq )。 對(duì)隨機(jī)過程xt的參數(shù)估計(jì)就如對(duì)回歸模型的參數(shù)估計(jì)一樣，目的是使xt與其擬合值的殘差平方和 = .最小。把 (2) 式改寫為 ut = . (3)若用，和分別表示對(duì)fi, q i和ut的估計(jì)，則使下式最小。 = S (, , , , , ) (4)假定ut N (0, su2), t = 1, T，且不存在自相關(guān)，則條件對(duì)數(shù)似然函

48、數(shù)為 log L = -T logsu - (5)之所以稱之為條件對(duì)數(shù)似然函數(shù)是因?yàn)橐蕾囉谶^去的不可知觀測(cè)值x0, x-1, , x- p+1和u0, u-1, , u- q +1。比如 u1 = x1 - f1 x0 - f2 x-1 - - fp x-p+1 - q1u0 - - qqu- q+1. (6)對(duì)（5）式求極大即等同于對(duì)求極小。對(duì)求極小時(shí)需要先確定x0, x1, , x-p+1和u0, u-1, , u- q +1的值。此問題的一般處理方法是取這些變量等于他們的無條件期望值。u0, u-1, , u- q +1的無條件期望值為零。若模型（2）中不含有漂移項(xiàng)，則x0, x-1,

49、, x- p +1的無條件期望值也為零。當(dāng)樣本容量T與滯后長(zhǎng)度p, q值相比充分大，且f1, , fp的值不接近1時(shí)，這種近似非常理想。若 (2) 式中不含有移動(dòng)平均項(xiàng)，對(duì)于自回歸參數(shù)來說 (3) 式是一個(gè)線性函數(shù)?？梢杂肙LS法估計(jì)參數(shù)。如果 (2) 式中含有移動(dòng)平均項(xiàng)，那么對(duì)于移動(dòng)平均參數(shù)來說， (3) 式是一個(gè)非線性函數(shù)。對(duì) (3) 式必須采用非線性估計(jì)方法。首先假定模型為純自回歸形式， F (L) xt = ut (7)或 xt = f1 xt-1 + + fp xt-p + ut . (8)這是一個(gè)線性回歸模型，極大似然估計(jì)與OLS估計(jì)結(jié)果近似相同。當(dāng)模型中含有移動(dòng)平均成分時(shí) ut = Q -1(L) F (L) xt (9)對(duì)于參數(shù)來說，模型是非線性的。對(duì)于非線性模型，通常由三種估計(jì)方法。直接搜索法。通過改變參數(shù)的取值，反復(fù)計(jì)算殘差平方和的值。然后從中選擇最小的那個(gè)值所對(duì)應(yīng)的參數(shù)值作為對(duì)參數(shù)的估計(jì)值。這種方法只有在參數(shù)個(gè)數(shù)較少時(shí)才是可行的。當(dāng)參數(shù)個(gè)數(shù)較多時(shí)，計(jì)算量將非常大。例如當(dāng)含有四個(gè)被估參數(shù)，每個(gè)參數(shù)需選擇20個(gè)計(jì)算值時(shí)，則需要計(jì)算 (20) 4 = 160000次。直接優(yōu)化法。求誤差平方和函數(shù)對(duì)每一個(gè)參數(shù)的偏導(dǎo)數(shù)并令其為零，從而求得正規(guī)方程 = 0, i =1, , p + q (10)其中（g1, , gp+q）=（f1, , fp