時(shí)間序列b第二章平穩(wěn)時(shí)間序列模型

1、應(yīng)用時(shí)間序列分析應(yīng)用時(shí)間序列分析第二章第二章 平穩(wěn)時(shí)間序列模型平穩(wěn)時(shí)間序列模型2 時(shí)間序列的模型類型很多，我們這里只討論平穩(wěn)時(shí)間序列模型。這里講的平穩(wěn)是指寬平穩(wěn)，其特性是序列的統(tǒng)計(jì)特性不隨時(shí)間的平移而變化，即均值和協(xié)方差不隨時(shí)間的平移而變化。 n時(shí)域分析方法的產(chǎn)生最早可以追溯到時(shí)域分析方法的產(chǎn)生最早可以追溯到1927年，英國統(tǒng)計(jì)學(xué)家年，英國統(tǒng)計(jì)學(xué)家G. U. Yule（1871-1951）提出自回歸模型）提出自回歸模型.（autoregressive, AR）34第一節(jié)第一節(jié) 一階自回歸模型一階自回歸模型一、一階自回歸模型一、一階自回歸模型如果時(shí)間序列 ), 2 , 1(tXt后一時(shí)刻的行為主

2、要與其前一時(shí)刻 的行為有關(guān)，而與其前一時(shí)刻以前的行為無直接關(guān)系，即一期記憶，也就是一階動(dòng)態(tài)性。 描述這種關(guān)系的數(shù)學(xué)模型就是一階自回歸模型: ttiaXX11(2.1.1) 記作AR(1)。其中， tX為為零均值零均值(即中心化處理后的即中心化處理后的)平穩(wěn)序列平穩(wěn)序列. 1為 tX對(duì) 1tX的依賴程度， ta為隨機(jī)擾動(dòng)。 51. 一階自回歸模型的特點(diǎn)一階自回歸模型的特點(diǎn) AR(1)模型也把模型也把 tX分解為獨(dú)立的兩部分：一是依賴于分解為獨(dú)立的兩部分：一是依賴于 1tX的部分的部分11tX；二是與；二是與 1tX不相關(guān)的部分不相關(guān)的部分 ta(獨(dú)立正態(tài)同分布序列獨(dú)立正態(tài)同分布序列 )一階自回歸

3、模型的基本假定一階自回歸模型的基本假定 對(duì)對(duì) 有線性相關(guān)關(guān)系有線性相關(guān)關(guān)系6tX1 - tXtsaaEaVaraEtsatt, 0)(,)(, 0)(2即即 為零均值白噪聲序列為零均值白噪聲序列tat與與Xt-j（j=1,2,-)獨(dú)立。獨(dú)立。72. AR(1)與普通一元線性回歸的區(qū)別與普通一元線性回歸的區(qū)別 (1)普通線性回歸模型需要一組確定性變量值和相應(yīng)的觀測(cè)普通線性回歸模型需要一組確定性變量值和相應(yīng)的觀測(cè)值；值； AR(1)模型只需要一組隨機(jī)變量的觀測(cè)值。模型只需要一組隨機(jī)變量的觀測(cè)值。 (2)普通線性回歸表示一個(gè)隨機(jī)變量對(duì)另一個(gè)確定性變量的普通線性回歸表示一個(gè)隨機(jī)變量對(duì)另一個(gè)確定性變量的

4、依存依存 關(guān)系；而關(guān)系；而AR(1)表示一個(gè)隨機(jī)變量對(duì)其自身過去值的表示一個(gè)隨機(jī)變量對(duì)其自身過去值的依存關(guān)系。依存關(guān)系。 (3)普通線性回歸是靜態(tài)模型；普通線性回歸是靜態(tài)模型；AR(1)是動(dòng)態(tài)模型。是動(dòng)態(tài)模型。(4)二者的假定不同。二者的假定不同。 (5)普通回歸模型實(shí)質(zhì)上是一種條件回歸，普通回歸模型實(shí)質(zhì)上是一種條件回歸，AR(1)是無條件回是無條件回歸。歸。 n固定時(shí)刻固定時(shí)刻t-1,且觀測(cè)值且觀測(cè)值Xt-1已知時(shí)，已知時(shí)，AR(1)就是就是一個(gè)普通的一元線性回歸模型一個(gè)普通的一元線性回歸模型8AR(1)與普通一元線性回歸的的與普通一元線性回歸的的主要聯(lián)系主要聯(lián)系93. 相關(guān)序列的獨(dú)立化過程

5、相關(guān)序列的獨(dú)立化過程 (2.1.1)式的另一種形式為：式的另一種形式為： 11tttXXa(2.1.3)上式揭示了上式揭示了AR(1)的一個(gè)實(shí)質(zhì)性問題：的一個(gè)實(shí)質(zhì)性問題：AR(1)模型是一個(gè)使模型是一個(gè)使相關(guān)數(shù)據(jù)轉(zhuǎn)化為獨(dú)立數(shù)據(jù)的變化器。由于就相關(guān)數(shù)據(jù)轉(zhuǎn)化為獨(dú)立數(shù)據(jù)的變化器。由于就AR(1)系統(tǒng)來說，系統(tǒng)來說，僅有一階動(dòng)態(tài)性，即在僅有一階動(dòng)態(tài)性，即在 1tX已知的條件下， 主要表現(xiàn)為對(duì) 1tX的直接依賴性，顯然，只要把的直接依賴性，顯然，只要把 中依賴于中依賴于 1tX的部分的部分 消除以后，剩下的部分消除以后，剩下的部分 )(11ttXX自然就是獨(dú)立的了。自然就是獨(dú)立的了。 tXtX10二、二

6、、 AR(1)模型的特例模型的特例隨機(jī)游動(dòng)隨機(jī)游動(dòng)1. 11時(shí)的時(shí)的AR(1)模型模型 或或差分是差分是 tX與其前一期值的差。從統(tǒng)計(jì)上講，差分結(jié)與其前一期值的差。從統(tǒng)計(jì)上講，差分結(jié)果所得到的序列就是逐期增長量。果所得到的序列就是逐期增長量。一般地一般地k階差分記作階差分記作 tkXtttaXX1tttaXX1ttaX nk階季節(jié)差分階季節(jié)差分 k X t = X t X t-k11n差分可以使非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。差分可以使非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。nBox-Jenkins(簡(jiǎn)稱記為簡(jiǎn)稱記為B-J)，就是利用類似于，就是利用類似于這種數(shù)學(xué)工具來處理非平穩(wěn)序列的。這種數(shù)學(xué)工具來處理非平穩(wěn)序

7、列的。 1213(1) 系統(tǒng)具有極強(qiáng)的一期記憶性，即慣性。也就是說，系統(tǒng)系統(tǒng)具有極強(qiáng)的一期記憶性，即慣性。也就是說，系統(tǒng)在在t-1 和和t時(shí)刻的響應(yīng)，除隨機(jī)擾動(dòng)外，完全一致。差異完全時(shí)刻的響應(yīng)，除隨機(jī)擾動(dòng)外，完全一致。差異完全是由擾動(dòng)引起的。是由擾動(dòng)引起的。 (2) 在時(shí)刻在時(shí)刻t-1時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在t-1時(shí)的時(shí)的響應(yīng)響應(yīng) 1tX，即 1)1(1ttXX(3) 系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即 0ttjjXa2. 特例形式的特性特例形式的特性14 第二節(jié)第二節(jié) 一般自回歸模型一般自回歸模型 對(duì)于自回歸系統(tǒng)來

8、說，當(dāng)對(duì)于自回歸系統(tǒng)來說，當(dāng) tX不僅與前期值不僅與前期值 1tX有關(guān)，而且與有關(guān)，而且與 2tX相關(guān)時(shí)，顯然，相關(guān)時(shí)，顯然，AR(1)模型就不再是適應(yīng)模型了。如果對(duì)這種模型就不再是適應(yīng)模型了。如果對(duì)這種情形擬合情形擬合AR模型，模型， ta不僅對(duì)不僅對(duì) 1tX, ,而且對(duì)而且對(duì) 2tX呈現(xiàn)出一定的相關(guān)性，呈現(xiàn)出一定的相關(guān)性， 因此，因此，AR(1)模型就不適應(yīng)了。模型就不適應(yīng)了。 15一、一、 tata2tX的依賴性的依賴性 對(duì)對(duì)ta2tX當(dāng)當(dāng)AR(1)模型中的模型中的與與不獨(dú)立時(shí)不獨(dú)立時(shí), ,我們將我們將 記為記為 , ,于是于是tata可以分解為可以分解為22tttaXa (2.2.1)

9、從而從而(2.2.1)式的形式變?yōu)槭降男问阶優(yōu)?ttttaXXX2211(2.2.2)可見，可見， tX與與 1tX和和 2tX有關(guān)，所以有關(guān)，所以(2.2.2)式是一個(gè)式是一個(gè)AR(2)模型。模型。 16二、二、 AR(2)模型的假設(shè)和結(jié)構(gòu)模型的假設(shè)和結(jié)構(gòu) 1. AR(2)模型的基本假設(shè)模型的基本假設(shè)tX1tX2tX(1) 假設(shè)假設(shè) 與與 和和 有直接關(guān)系有直接關(guān)系, ,而與而與 無關(guān)無關(guān); ;)4 , 3(jXjt(2)ta是一個(gè)白噪聲序列。是一個(gè)白噪聲序列。 這就是這就是AR(2)模型的兩個(gè)基本假設(shè)。模型的兩個(gè)基本假設(shè)。 2. AR(2)模型的結(jié)構(gòu)模型的結(jié)構(gòu)AR(2)模型是由三個(gè)部分組成

10、的：第一部分是依賴于模型是由三個(gè)部分組成的：第一部分是依賴于 的部的部 1tX分，用分，用 表示表示; ; 11tX第二部分是依賴于第二部分是依賴于 的部分的部分, ,用用 2tX21tX來表示來表示. .第三部分是獨(dú)立于前兩部分的白噪聲第三部分是獨(dú)立于前兩部分的白噪聲 . . ta17三、三、 一般自回歸模型一般自回歸模型 當(dāng)當(dāng)AR(2)模型的基本假設(shè)被違背以后，模型的基本假設(shè)被違背以后， 我們可以類似從我們可以類似從AR(1)到到AR(2)模型的推廣方法模型的推廣方法, ,得到更為一般的自回歸模型得到更為一般的自回歸模型AR(n)模模型型: :tntntttaXXXX2211上式還可以表示

11、為上式還可以表示為 ntnttttXXXXa2211可見，可見，AR(n)系統(tǒng)的響應(yīng)系統(tǒng)的響應(yīng) tX具有具有 n階動(dòng)態(tài)性。擬合階動(dòng)態(tài)性。擬合AR(n)模模 型的過程也就是使相關(guān)序列獨(dú)立化的過程。型的過程也就是使相關(guān)序列獨(dú)立化的過程。18 第三節(jié)第三節(jié) 移動(dòng)平均模型移動(dòng)平均模型 AR系統(tǒng)的特征是系統(tǒng)在系統(tǒng)的特征是系統(tǒng)在 t時(shí)刻的響應(yīng)時(shí)刻的響應(yīng) tX僅與其以前時(shí)刻僅與其以前時(shí)刻的響應(yīng)的響應(yīng)ntttXXX,.21有關(guān)，而與之前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)無關(guān)。有關(guān)，而與之前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)無關(guān)。 如果一個(gè)系統(tǒng)在如果一個(gè)系統(tǒng)在 t時(shí)刻的響應(yīng)時(shí)刻的響應(yīng) tX，與其以前時(shí)刻，與其以前時(shí)刻 , 2, 1 tt的響應(yīng)

12、的響應(yīng) 21.ttXX無關(guān)，而與其以前時(shí)刻無關(guān)，而與其以前時(shí)刻 , 2, 1 tt進(jìn)入系統(tǒng)的進(jìn)入系統(tǒng)的擾動(dòng)擾動(dòng),21ttaa存在著一定的相關(guān)關(guān)系，那么，這一類系統(tǒng)則為存在著一定的相關(guān)關(guān)系，那么，這一類系統(tǒng)則為MA系統(tǒng)。系統(tǒng)。n英國數(shù)學(xué)家、天文學(xué)家英國數(shù)學(xué)家、天文學(xué)家G. T. Walker爵士在分爵士在分析印度大氣規(guī)律時(shí)使用了移動(dòng)平均模型（析印度大氣規(guī)律時(shí)使用了移動(dòng)平均模型（moving average, MA）和）和 自回歸移動(dòng)平均模型（自回歸移動(dòng)平均模型（1931年）。年）。（autoregressive moving average, ARMA）1920一、一階移動(dòng)平均模型：一、一階移動(dòng)

13、平均模型：MA(1) tX對(duì)于一個(gè)對(duì)于一個(gè)MA系統(tǒng)來說，如果系統(tǒng)的響應(yīng)系統(tǒng)來說，如果系統(tǒng)的響應(yīng) tX刻進(jìn)入系統(tǒng)的擾動(dòng)刻進(jìn)入系統(tǒng)的擾動(dòng) 僅與其前一時(shí)僅與其前一時(shí)1ta存在一定的相關(guān)關(guān)系，我們就得到模型存在一定的相關(guān)關(guān)系，我們就得到模型:11tttXaa其中：其中： ta為白噪聲。為白噪聲。 MA(1)模型的基本假設(shè)為：系統(tǒng)的響應(yīng)模型的基本假設(shè)為：系統(tǒng)的響應(yīng) 僅與其前一時(shí)刻進(jìn)入僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)系統(tǒng)的擾動(dòng)1ta有一定的依存關(guān)系；而且有一定的依存關(guān)系；而且 ta為白噪聲。為白噪聲。21二、一般移動(dòng)平均模型二、一般移動(dòng)平均模型類似與類似與AR模型模型,當(dāng)當(dāng)MA(1)的假設(shè)被違背時(shí)的假設(shè)被違背

14、時(shí),我們把我們把MA(1)模型模型推廣到推廣到MA(2),進(jìn)而再對(duì)廣到更進(jìn)而再對(duì)廣到更一般的一般的MA(m)模型，即：模型，即： mtmttttaaaaX2211tX僅與僅與 這時(shí)這時(shí)12,ttt maaa有關(guān)，而與有關(guān)，而與 (1,2,)tjajmm無關(guān)，無關(guān)，且且ta為白噪聲序列，這就是一般移動(dòng)平均模型的基本假設(shè)。為白噪聲序列，這就是一般移動(dòng)平均模型的基本假設(shè)。 n關(guān)于產(chǎn)科醫(yī)院的例子：設(shè)關(guān)于產(chǎn)科醫(yī)院的例子：設(shè)t是在第是在第t天新住院天新住院的病員人數(shù)，而且，假定這個(gè)病員人數(shù)構(gòu)成的病員人數(shù)，而且，假定這個(gè)病員人數(shù)構(gòu)成的序列是白噪聲序列，那么，某一天的住院的序列是白噪聲序列，那么，某一天的住院

15、病員人數(shù)與第二天的住院病員人數(shù)是無關(guān)的病員人數(shù)與第二天的住院病員人數(shù)是無關(guān)的。再假定典型的情形是：。再假定典型的情形是：10%的病人住院一的病人住院一天，天，50%的病人住院二天，的病人住院二天，30%的病人住院的病人住院三天，三天，10%的病人住院四天，那么，第的病人住院四天，那么，第t天住天住院的病員人數(shù)院的病員人數(shù)Xt將由下式給出將由下式給出 X t = t +0.9t-1 +0.4t-2 +0.1t-3 即為即為 X tMA(3)2223第四節(jié)第四節(jié) 自回歸移動(dòng)平均模型自回歸移動(dòng)平均模型一個(gè)系統(tǒng)，如果它在時(shí)刻一個(gè)系統(tǒng)，如果它在時(shí)刻t的響應(yīng)的響應(yīng) tX，不僅與以前時(shí)刻的自，不僅與以前時(shí)刻

16、的自身值有關(guān)，而且還與其以前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)存在一定的依身值有關(guān)，而且還與其以前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)存在一定的依存關(guān)系，那么，這個(gè)系統(tǒng)就是自回歸移動(dòng)平均系統(tǒng)，相應(yīng)的存關(guān)系，那么，這個(gè)系統(tǒng)就是自回歸移動(dòng)平均系統(tǒng)，相應(yīng)的模模 型記作型記作ARMA. . 則對(duì)于這樣的系統(tǒng)要使響應(yīng)則對(duì)于這樣的系統(tǒng)要使響應(yīng) tX轉(zhuǎn)化為獨(dú)立序列轉(zhuǎn)化為獨(dú)立序列 ta，不僅要消除，不僅要消除 tX依賴于依賴于t時(shí)刻以前的自身部分，而且還必須消時(shí)刻以前的自身部分，而且還必須消除除tX依賴于依賴于t時(shí)刻以前進(jìn)入系統(tǒng)的擾動(dòng)的部分。時(shí)刻以前進(jìn)入系統(tǒng)的擾動(dòng)的部分。 24一、一、ARMA(2，1)模型模型 ta1. ta對(duì)對(duì) 2tX和和

17、 1ta的相關(guān)性的相關(guān)性 由于由于AR(1)模型：模型： tttaXX11已不是適應(yīng)模型，即已不是適應(yīng)模型，即 與與 2tX1ta和和不獨(dú)立，所以，這里的剩余不獨(dú)立，所以，這里的剩余 不是我們所假設(shè)的不是我們所假設(shè)的 tata，將其記作，將其記作 , ,將其分解為將其分解為: : tattttaaXa1122將上式代入將上式代入AR(1)模型，得模型，得 112211tttttXXXaa這就是這就是ARMA(2,1)模型。模型。 252. ARMA(2,1)模型的基本假設(shè)模型的基本假設(shè) 在在ARMA模型中，若模型中，若 tX中確實(shí)除了對(duì)中確實(shí)除了對(duì) 1,tX2tX和和 1ta系外，在系外，在

18、和和 已知的條件下對(duì)已知的條件下對(duì)的依存關(guān)的依存關(guān)1tX2tX)4 , 3(jXjt和和 )3 , 2(jajt不存在相關(guān)關(guān)系，那么不存在相關(guān)關(guān)系，那么 ta一定獨(dú)立于一定獨(dú)立于 )3 , 2(jajt當(dāng)然也就獨(dú)立于當(dāng)然也就獨(dú)立于 )4 , 3(jXjt,這就是這就是ARMA(2,1)模型的基本假設(shè)。模型的基本假設(shè)。 263.ARMA(2,1)模型的結(jié)構(gòu)模型的結(jié)構(gòu)從模型從模型 112211tttttaaXXX中不難看出，中不難看出，ARMA(2,1)模型把模型把 tX分解成了獨(dú)立的四個(gè)部分，分解成了獨(dú)立的四個(gè)部分， 所以，其結(jié)構(gòu)是由一個(gè)所以，其結(jié)構(gòu)是由一個(gè)AR(2)和一個(gè)和一個(gè)MA(1)兩部分

19、構(gòu)成的，兩部分構(gòu)成的， 具體具體地說， 是由上述四部分構(gòu)成的。是由上述四部分構(gòu)成的。 274. 相關(guān)序列的獨(dú)立化過程相關(guān)序列的獨(dú)立化過程 將將ARMA(2,1)模型如下變形：模型如下變形： 112211tttttaXXXa可見，可見，ARMA(2,1)是通過從是通過從 tX中消除中消除 tX對(duì)對(duì) 21,ttXX以及以及 1ta的依賴性之后，使得相關(guān)序列的依賴性之后，使得相關(guān)序列 tX轉(zhuǎn)化成為獨(dú)立序列轉(zhuǎn)化成為獨(dú)立序列 ta ，即它，即它是一個(gè)使相關(guān)序列轉(zhuǎn)化為獨(dú)立序列的變換器。是一個(gè)使相關(guān)序列轉(zhuǎn)化為獨(dú)立序列的變換器。 285. ARMA(2,1)與與AR(1)的區(qū)別的區(qū)別 從模型形式看，從模型形式

20、看，ARMA(2,1)比比AR(1)的項(xiàng)數(shù)多；的項(xiàng)數(shù)多； 從模型的動(dòng)態(tài)從模型的動(dòng)態(tài) 性看，性看，ARMA(2,1)比比AR(1)具有更長的記憶；具有更長的記憶； 從計(jì)算從計(jì)算 ta所需的所需的資料看，資料看， ARMA(2,1)需要用需要用t 期以前的期以前的 ,21ttaa初期開始遞初期開始遞 ，這就需要從，這就需要從歸地計(jì)算出歸地計(jì)算出 來，通常來，通常t0 時(shí)的時(shí)的 tata取序列 的 ta均值零；均值零； 從參數(shù)估計(jì)來看，從參數(shù)估計(jì)來看，ARMA(2,1)比比AR(1)困難得多。困難得多。29二、二、ARMA(2，1)模型的非線性回歸模型的非線性回歸 為了計(jì)算為了計(jì)算 的值，必須知道的

21、值，必須知道 的值，然而在動(dòng)態(tài)的條件的值，然而在動(dòng)態(tài)的條件tX1ta1ta下，下， 本身又取決于本身又取決于 和和 , ,則則有有 321,tttXXX2tattttttttaaXXXXXX)(213221111211tttttaaXXX2213212112111上式是非線性的，那么估計(jì)參數(shù)時(shí)，只能用非線性最小二乘法，上式是非線性的，那么估計(jì)參數(shù)時(shí)，只能用非線性最小二乘法，其基本思想就是在曲面上搜索使得剩余平方和最小的參數(shù)值，其基本思想就是在曲面上搜索使得剩余平方和最小的參數(shù)值，有計(jì)算程序，多次迭代即可。有計(jì)算程序，多次迭代即可。 30三、三、ARMA(2，1)模型的其他特殊情形模型的其他特殊

22、情形 1. ARMA(1，1)當(dāng)當(dāng)ARMA(2，1)中的系數(shù)中的系數(shù) 時(shí)，有時(shí)，有 02ttttaaXX1121即為即為ARMA(1，1)模型。模型。 2. MA(1) 當(dāng)當(dāng)ARMA(2，1)中的系數(shù)中的系數(shù) 時(shí)，有時(shí)，有 02111tttaaX即為即為MA(1)模型。模型。 313. AR(1) 模型模型當(dāng)當(dāng)ARMA(2，1)中的中的 時(shí)，有時(shí)，有 012tttaXX11即為即為AR(1)模型。模型。 因此，在建立模型時(shí)，首先擬合一個(gè)因此，在建立模型時(shí)，首先擬合一個(gè)ARMA(2.1)模型，然后模型，然后根據(jù)其參數(shù)值根據(jù)其參數(shù)值 和和 是否顯著小這一信息，來尋找較合理是否顯著小這一信息，來尋找

23、較合理21,1的模型，然后擬合出那個(gè)較合理的模型，并檢驗(yàn)其適應(yīng)性。的模型，然后擬合出那個(gè)較合理的模型，并檢驗(yàn)其適應(yīng)性。 32四、四、ARMA(n,n-1)模型模型 tX如果一個(gè)如果一個(gè)ARMA(2，1)模型是不適應(yīng)的，則是違背了基本假設(shè)，模型是不適應(yīng)的，則是違背了基本假設(shè)， 按照和推導(dǎo)按照和推導(dǎo)ARMA(2,1)模型相同的思路，可以考慮模型相同的思路，可以考慮 tX不僅依賴不僅依賴于于 和和21,ttXX1ta，可能比，可能比ARMA(2，1)的記憶長。按照這種思的記憶長。按照這種思想，一直如此類推下去，便可得到想，一直如此類推下去，便可得到ARMA(n,n-1)模型模型:111111ntnttntnttaaaXXX作如下變形作如下變形 111111ntntntntttaaXXXaARMA(n,n-1)模型使相關(guān)序列模型使相關(guān)序列 轉(zhuǎn)化為獨(dú)立序列轉(zhuǎn)化為獨(dú)立序列 ta33五、五、 ARMA(n,n-1)與與ARMA(n,m) 1. 建模策略建模策略 利用上述利用上述ARMA模型的生成過程及其特性，我們可以得到模型的生成過程