平穩(wěn)時(shí)間序列模型概述

1、第一章第一章 平穩(wěn)時(shí)間序列模型平穩(wěn)時(shí)間序列模型 組長(zhǎng)：李國(guó)鳳組長(zhǎng)：李國(guó)鳳 組員：李俐蕓組員：李俐蕓 孫孫 煒煒 指導(dǎo)教師：桂文林指導(dǎo)教師：桂文林2n方法 n平穩(wěn)序列建模n序列預(yù)測(cè) neviews軟件演示本章結(jié)構(gòu)3 方法 nAR模型（Auto Regression Model） nMA模型（Moving Average Model） nARMA模型（Auto Regression Moving Average model）4 時(shí)間序列的模型類型很多，我們這里只討論平穩(wěn)時(shí)間序列模型。這里講的平穩(wěn)是指寬平穩(wěn)，其特性是序列的統(tǒng)計(jì)特性不隨時(shí)間的平移而變化，即均值和協(xié)方差不隨時(shí)間的平移而變化。 n純隨機(jī)性

2、方差齊性n各序列值之間沒(méi)有任何相關(guān)關(guān)系，即為 “沒(méi)有記憶”的序列 n方差齊性 n根據(jù)馬爾可夫定理，只有方差齊性假定成立時(shí)，用最小二乘法得到的未知參數(shù)估計(jì)值才是準(zhǔn)確的、有效的00k(k)， )0(2tDX白噪聲序列的性質(zhì)數(shù)據(jù)的平穩(wěn)性n一.圖示判斷n1.平穩(wěn)時(shí)間序列在圖形上表現(xiàn)處圍繞其均值不斷波動(dòng)的過(guò)程；2.根據(jù)相關(guān)圖，若一個(gè)隨機(jī)過(guò)程是平穩(wěn)的，其特征根應(yīng)都在單位圓外，倒數(shù)都在單位圓內(nèi)；3.在分析相關(guān)圖時(shí)，如果自相關(guān)函數(shù)衰減很慢，近似呈線性衰減，即可認(rèn)為該序列是非平穩(wěn)的。自回歸AR模型n具有如下結(jié)構(gòu)的模型稱為 階自回歸模型，簡(jiǎn)記為n特別當(dāng) 時(shí)，稱為中心化 模型tsExtsEVarExxxxtsstt

3、tptptpttt, 0, 0)(,)(0)(0222110，p)(pAR00)(pAR10第一節(jié)第一節(jié) 一階自回歸模型一階自回歸模型( (Autoregressive Model) )一、一階自回歸模型如果時(shí)間序列 ), 2 , 1(tXt后一時(shí)刻的行為主要與其前一時(shí)刻 的行為有關(guān)，而與其前一時(shí)刻以前的行為無(wú)直接關(guān)系，即一期記憶，也就是一階動(dòng)態(tài)性。 描述這種關(guān)系的數(shù)學(xué)模型就是一階自回歸模型: ttiaXX11(2.1.1) 記作AR(1)。其中， tX為零均值(即中心化處理后的)平穩(wěn)序列. 1為 tX對(duì) 1tX的依賴程度， ta為隨機(jī)擾動(dòng)。 111.一階自回歸模型的特點(diǎn) AR(1)模型也把

4、tX分解為獨(dú)立的兩部分：一是依賴于 1tX的部分11tX；二是與 1tX不相關(guān)的部分 ta(獨(dú)立正態(tài)同分布序列 )122. AR(1)與普通一元線性回歸的區(qū)別: (1)普通線性回歸模型需要一組確定性變量值和相應(yīng)的觀測(cè)值； AR(1)模型只需要一組隨機(jī)變量的觀測(cè)值。 (2)普通線性回歸表示一個(gè)隨機(jī)變量對(duì)另一個(gè)確定性變量的依存 關(guān)系；而AR(1)表示一個(gè)隨機(jī)變量對(duì)其自身過(guò)去值的依存關(guān)系。 (3)普通線性回歸是靜態(tài)模型；AR(1)是動(dòng)態(tài)模型。(4)二者的假定不同。 (5)普通回歸模型實(shí)質(zhì)上是一種條件回歸，AR(1)是無(wú)條件回歸。 133.相關(guān)序列的獨(dú)立化過(guò)程 (2.1.1)式的另一種形式為： 11t

5、ttXXa(2.1.3)上式揭示了AR(1)的一個(gè)實(shí)質(zhì)性問(wèn)題：AR(1)模型是一個(gè)使相關(guān)數(shù)據(jù)轉(zhuǎn)化為獨(dú)立數(shù)據(jù)的變化器。由于就AR(1)系統(tǒng)來(lái)說(shuō)，僅有一階動(dòng)態(tài)性，即在 1tX已知的條件下， tx主要表現(xiàn)為對(duì) 1tX的直接依賴性，顯然，只要把 tx中依賴于 1tX的部分 消除以后，剩下的部分 )(11ttXX自然就是獨(dú)立的了。 14二、 AR(1)模型的特例隨機(jī)游動(dòng) (Random walk1. 11時(shí)的AR(1)模型： 此時(shí)(2.1.1)式的具體形式為 aXXtt1也可以用差分表示aXtaXXtt1或所謂差分，就是 tX與其前一期值的差，從統(tǒng)計(jì)上講，差分結(jié)果所得到的序列就是逐期增長(zhǎng)量。一般地k階差

6、分記作 tkX差分可以使非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。Box-Jenkins(簡(jiǎn)稱記為B-J)，就是利用類似于這種數(shù)學(xué)工具來(lái)處理非平穩(wěn)序列的。 。15n一階自回歸模型一階自回歸模型ARAR（1 1） 0102030405060708090100-2.5-2-1.5-1-0.500.511.52tttyy12 . 016n ARAR（1 1）模型的特例）模型的特例隨機(jī)游動(dòng)隨機(jī)游動(dòng) tttyy12, 0WNt0102030405060708090100-12-10-8-6-4-2024172.特例形式的特性： (1)系統(tǒng)具有極強(qiáng)的一期記憶性，即慣性。也就是說(shuō)，系統(tǒng)在t-1 和t時(shí)刻的響應(yīng)，除隨機(jī)擾動(dòng)外

7、，完全一致。差異完全是由擾動(dòng) 引起的。 (2)在時(shí)刻t-1時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在t-1時(shí)的響應(yīng) 1tX，即 1)1(1ttXX(3)系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即 0ttjjXa18 第二節(jié) 一般自回歸模型 對(duì)于自回歸系統(tǒng)來(lái)說(shuō)，當(dāng) tX不僅與前期值 1tX有關(guān)，而且與 2tX相關(guān)時(shí)，顯然，AR(1)模型就不再是適應(yīng)模型了。如果對(duì)這種情形擬合AR模型， ta不僅對(duì) 1tX,而且對(duì) 2tX呈現(xiàn)出一定的相關(guān)性， 因此，AR(1)模型就不適應(yīng)了。 19一、 tata2tX的依賴性 對(duì)ta2tX當(dāng)AR(1)模型中的與不獨(dú)立時(shí),我們將 記為 ,于是tata可以分解為22tttaXa (2.

8、2.1)從而(2.2.1)式的形式變?yōu)?ttttaXXX2211(2.2.2)可見(jiàn)， tX與 1tX和 2tX有關(guān)，所以(2.2.2)式是一個(gè)AR(2)模型。 20二、 AR(2)模型的假設(shè)和結(jié)構(gòu) 1.AR(2)模型的基本假設(shè): tX1tX2tX(1)假設(shè) 與 和 有直接關(guān)系,而與 無(wú)關(guān);)4 , 3(jXjt(2)ta是一個(gè)白噪聲序列。 這就是AR(2)模型的兩個(gè)基本假設(shè)。 2.AR(2)模型的結(jié)構(gòu): AR(2)模型是由三個(gè)部分組成的：第一部分是依賴于 的部 1tX分，用 表示; 11tX第二部分是依賴于 的部分;用 2tX21tX來(lái)表示.第三部分是獨(dú)立于前兩部分的白噪聲 . ta21三、

9、一般自回歸模型 當(dāng)AR(2)模型的基本假設(shè)被違背以后， 我們可以類似從AR(1)到AR(2)模型的推廣方法,得到更為一般的自回歸模型AR(n)模型:tntntttaXXXX2211上式還可以表示為 ntnttttXXXXa2211可見(jiàn)，AR(n)系統(tǒng)的響應(yīng) tX具有 n階動(dòng)態(tài)性。擬合AR(n)模 型的過(guò)程也就是使相關(guān)序列獨(dú)立化的過(guò)程。AR模型平穩(wěn)性判別方法模型平穩(wěn)性判別方法n特征根判別nAR(p)模型平穩(wěn)的充要條件是它的p個(gè)特征根都在單位圓內(nèi)n根據(jù)特征根和自回歸系數(shù)多項(xiàng)式的根成倒數(shù)的性質(zhì)，等價(jià)判別條件是該模型的自回歸系數(shù)多項(xiàng)式的根都在單位圓外。移動(dòng)平均移動(dòng)平均MA模型模型n具有如下結(jié)構(gòu)的模型稱

10、為 階自回歸模型，簡(jiǎn)記為n特別當(dāng) 時(shí)，稱為中心化 模型q)(qMA0)(qMA112220( )0( ),()0,ttttqt qqtttsxEVarEst ，24 第三節(jié) 移動(dòng)平均模型() AR系統(tǒng)的特征是系統(tǒng)在 t時(shí)刻的響應(yīng) tX僅與其以前時(shí)刻的響應(yīng)ntttXXX,.21有關(guān)，而與之前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)無(wú)關(guān)。 如果一個(gè)系統(tǒng)在 t時(shí)刻的響應(yīng) tX，與其以前時(shí)刻 , 2, 1 tt的響應(yīng) 21.ttXX無(wú)關(guān)，而與其以前時(shí)刻 , 2, 1 tt進(jìn)入系統(tǒng)的擾動(dòng),21ttaa存在著一定的相關(guān)關(guān)系，那么，這一類系統(tǒng)則為MA系統(tǒng)。25一、一階移動(dòng)平均模型：MA(1) tX對(duì)于一個(gè)MA系統(tǒng)來(lái)說(shuō)，如果系統(tǒng)的

11、響應(yīng) tX刻進(jìn)入系統(tǒng)的擾動(dòng) 僅與其前一時(shí)1ta 存在一定的相關(guān)關(guān)系，我們就得到模型:11tttXaa其中： ta為白噪聲。 MA(1)模型的基本假設(shè)為：系統(tǒng)的響應(yīng) 僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)1ta有一定的依存關(guān)系；而且 ta為白噪聲。26二、一般移動(dòng)平均模型類似與AR模型,當(dāng)MA(1)的假設(shè)被違背時(shí),我們把MA(1)模型推廣到MA(2),進(jìn)而再對(duì)廣到更一般的MA(m)模型，即： mtmttttaaaaX2211tX僅與 這時(shí)12,ttt maaa有關(guān)，而與 (1,2,)tjajmm無(wú)關(guān)，且ta為白噪聲序列，這就是一般移動(dòng)平均模型的基本假設(shè)。 MA模型的可逆性模型的可逆性n可逆MA模型定義 若

12、一個(gè)MA模型能夠表示稱為收斂的AR模型形式，那么該MA模型稱為可逆MA模型 一個(gè)自相關(guān)系數(shù)列唯一對(duì)應(yīng)一個(gè)可逆MA模型。MA模型的可逆條件模型的可逆條件nMA(q)模型的可逆條件是：nMA(q)模型的特征根都在單位圓內(nèi)n等價(jià)條件是移動(dòng)平滑系數(shù)多項(xiàng)式的根都在單位圓外11i1iARMA模型模型的定義的定義n具有如下結(jié)構(gòu)的模型稱為自回歸移動(dòng)平均模型，簡(jiǎn)記為n特別當(dāng) 時(shí)，稱為中心化 模型),(qpARMAtsExtsEVarExxxtsstttqpqtqttptptt, 0, 0)(,)(0)(00211110，00),(qpARMA30第四節(jié) 自回歸移動(dòng)平均模型nAutoregressive Movi

13、ng Average Model一個(gè)系統(tǒng)，如果它在時(shí)刻t的響應(yīng) tX，不僅與以前時(shí)刻的自身值有關(guān)，而且還與其以前時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)存在一定的依存關(guān)系，那么，這個(gè)系統(tǒng)就是自回歸移動(dòng)平均系統(tǒng)，相應(yīng)的模 型記作ARMA. 則對(duì)于這樣的系統(tǒng)要使響應(yīng) tX轉(zhuǎn)化為獨(dú)立序列 ta，不僅要消除 tX依賴于t時(shí)刻以前的自身部分，而且還必須消除tX依賴于t時(shí)刻以前進(jìn)入系統(tǒng)的擾動(dòng)的部分。 31一、ARMA(2，1)模型 ta1. ta對(duì) 2tX和 1ta的相關(guān)性 由于AR(1)模型： tttaXX11已不是適應(yīng)模型，即 與 2tX1ta和不獨(dú)立，所以，這里的剩余 不是我們所假設(shè)的 tata，將其記作 ,將其分解為:

14、 tattttaaXa1122將上式代入AR(1)模型，得 112211tttttXXXaa這就是ARMA(2,1)模型。 322.ARMA(2,1)模型的基本假設(shè) 在ARMA模型中，若 tX中確實(shí)除了對(duì) 1,tX2tX和 1ta系外，在 和 已知的條件下對(duì)的依存關(guān)1tX2tX)4 , 3(jXjt和 )3 , 2(jajt不存在相關(guān)關(guān)系，那么 ta一定獨(dú)立于 )3 , 2(jajt當(dāng)然也就獨(dú)立于 )4 , 3(jXjt,這就是ARMA(2,1)模型的基本假設(shè)。 333.ARMA(2,1)模型的結(jié)構(gòu)從模型 112211tttttaaXXX中不難看出，ARMA(2,1)模型把 tX分解成了獨(dú)立的

15、四個(gè)部分， 所以，其結(jié)構(gòu)是由一個(gè)AR(2)和一個(gè)MA(1)兩部分構(gòu)成的， 具體地說(shuō)， 是由上述四部分構(gòu)成的。 344.相關(guān)序列的獨(dú)立化過(guò)程 將ARMA(2,1)模型如下變形： 112211tttttaXXXa可見(jiàn)，ARMA(2,1)是通過(guò)從 tX中消除 tX對(duì) 21,ttXX以及 1ta的依賴性之后，使得相關(guān)序列 tX轉(zhuǎn)化成為獨(dú)立序列 ta，即它是一個(gè)使相關(guān)序列轉(zhuǎn)化為獨(dú)立序列的變換器。 355.ARMA(2,1)與AR(1)的區(qū)別 從模型形式看，ARMA(2,1)比AR(1)的項(xiàng)數(shù)多； 從模型的動(dòng)態(tài) 性看，ARMA(2,1)比AR(1)具有更長(zhǎng)的記憶； 從計(jì)算 ta所需的資料看， ARMA(2

16、,1)需要用t 期以前的 ,21ttaa初期開(kāi)始遞 ，這就需要從歸地計(jì)算出 來(lái)，通常t0 時(shí)的 tata取序列 的 ta均值零； 從參數(shù)估計(jì)來(lái)看，ARMA(2,1)比AR(1)困難得多。36二、ARMA(2，1)模型的非線性回歸為了計(jì)算 的值，必須知道 的值，然而在動(dòng)態(tài)的條件tX1ta1ta下， 本身又取決于 和 ,則有 321,tttXXX2tattttttttaaXXXXXX)(213221111211tttttaaXXX2213212112111上式是非線性的，那么估計(jì)參數(shù)時(shí)，只能用非線性最小二乘法，其基本思想就是在曲面上搜索使得剩余平方和最小的參數(shù)值，有計(jì)算程序，多次迭代即可。 37三

17、、ARMA(2，1)模型的其他特殊情形 1.ARMA(1，1)當(dāng)ARMA(2，1)中的系數(shù) 時(shí)，有 02ttttaaXX1121即為ARMA(1，1)模型。 2.MA(1) 當(dāng)ARMA(2，1)中的系數(shù) 時(shí)，有 02111tttaaX即為MA(1)模型。 383.AR(1) 模型當(dāng)ARMA(2，1)中的 時(shí)，有 012tttaXX11即為AR(1)模型。 因此，在建立模型時(shí)，首先擬合一個(gè)ARMA(2.1)模型，然后根據(jù)其參數(shù)值 和 是否顯著小這一信息，來(lái)尋找較合理21,1的模型，然后擬合出那個(gè)較合理的模型，并檢驗(yàn)其適應(yīng)性。 39四、ARMA(n,n-1)模型 tX如果一個(gè)ARMA(2，1)模型

18、是不適應(yīng)的，則是違背了基本假設(shè)， 按照和推導(dǎo)ARMA(2,1)模型相同的思路，可以考慮 tX不僅依賴于 和21,ttXX1ta，可能比ARMA(2，1)的記憶長(zhǎng)。按照這種思想，一直如此類推下去，便可得到ARMA(n,n-1)模型:111111ntnttntnttaaaXXX作如下變形 111111ntntntntttaaXXXaARMA(n,n-1)模型使相關(guān)序列 轉(zhuǎn)化為獨(dú)立序列 ta40五、 ARMA(n,n-1)與ARMA(n,m) 1.建模策略 利用上述ARMA模型的生成過(guò)程及其特性，我們可以得到對(duì)某一系統(tǒng)的一系列動(dòng)態(tài)觀察數(shù)據(jù)擬合ARMA模型的基本策略。即通過(guò)逐漸增加ARMA(n,n-1

19、)模型的階數(shù)，使得越來(lái)越接近一組數(shù)據(jù)的依存關(guān)系，停止在不能使這種逼近更有效地得到改善的n的數(shù)值上。 2.ARMA(n,m)模型 ARMA(n,m)模型實(shí)際上是ARMA (n,n-1)模型的某些參數(shù) 或 ii為零的特殊情形，所以建模策略仍適應(yīng)。 41六、六、 ARMA (n,n-1)模型的合理性模型的合理性 第二、理論依據(jù)：用Hilbert空間線性算子的基本理論可以證明，對(duì)于任何平穩(wěn)隨機(jī)系統(tǒng)，我們都可以用一個(gè)ARMA(n,n-1) 模型近似到我們想要達(dá)到的程度；用差分方程的理論也可以證明，對(duì)于n階自回歸，MA模型的階數(shù)應(yīng)該是n-1。 第一、AR、MA、ARMA(n,m)模型都是ARMA(n,n-

20、1) 模型的特殊情形。 第三、從連續(xù)系統(tǒng)離散化過(guò)程來(lái)看，ARMA(n,n-1) 也是合理的。在一個(gè)n階自回歸線性微分方程和任意階的移動(dòng)平均數(shù)的形式下，如果一個(gè)連續(xù)自回歸移動(dòng)平均過(guò)程在一致區(qū)間上抽樣，那么，這個(gè)抽樣過(guò)程的結(jié)果是ARMA(n,n-1)。 平穩(wěn)條件與可逆條件平穩(wěn)條件與可逆條件nARMA(p,q)模型的平穩(wěn)條件nP階自回歸系數(shù)多項(xiàng)式 的根都在單位圓外n即ARMA(p,q)模型的平穩(wěn)性完全由其自回歸部分的平穩(wěn)性決定nARMA(p,q)模型的可逆條件nq階移動(dòng)平均系數(shù)多項(xiàng)式 的根都在單位圓外n即ARMA(p,q)模型的可逆性完全由其移動(dòng)平滑部分的可逆性決定0)( B0)( BARMA模型相

21、關(guān)性特征模型相關(guān)性特征平穩(wěn)時(shí)間序列建模與預(yù)測(cè)平穩(wěn)時(shí)間序列建模與預(yù)測(cè)n平穩(wěn)時(shí)間序列建模n平穩(wěn)時(shí)間序列預(yù)測(cè)第一節(jié)第一節(jié) 建模步驟建模步驟平穩(wěn)非白噪聲序列計(jì)算樣本相關(guān)系數(shù)模型識(shí)別參數(shù)估計(jì)模型檢驗(yàn)?zāi)Ｐ蛢?yōu)化序列預(yù)測(cè)YN一、計(jì)算樣本相關(guān)系數(shù)一、計(jì)算樣本相關(guān)系數(shù)n樣本自相關(guān)系數(shù)樣本自相關(guān)系數(shù)n樣本偏自相關(guān)系數(shù)樣本偏自相關(guān)系數(shù)nttkntkttkxxxxxx121)()(DDkkk二、模型識(shí)別二、模型識(shí)別n基本原則基本原則kkk模型定階的困難模型定階的困難n因?yàn)橛捎跇颖镜碾S機(jī)性，樣本的相關(guān)系數(shù)不會(huì)呈現(xiàn)出理論截因?yàn)橛捎跇颖镜碾S機(jī)性，樣本的相關(guān)系數(shù)不會(huì)呈現(xiàn)出理論截尾的完美情況，本應(yīng)截尾的尾的完美情況，本應(yīng)截尾的

22、或或 仍會(huì)呈現(xiàn)出小值振蕩的仍會(huì)呈現(xiàn)出小值振蕩的情況。情況。n由于平穩(wěn)時(shí)間序列通常都具有短期相關(guān)性，隨著延遲階數(shù)增由于平穩(wěn)時(shí)間序列通常都具有短期相關(guān)性，隨著延遲階數(shù)增大，大， 與與 都會(huì)衰減至零值附近作小值波動(dòng)？都會(huì)衰減至零值附近作小值波動(dòng)？n當(dāng)當(dāng) 或或 在延遲若干階之后衰減為小值波動(dòng)時(shí)，什么情況下在延遲若干階之后衰減為小值波動(dòng)時(shí)，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近作拖尾波動(dòng)呢？遲若干階之后正常衰減到零值附近作拖尾波動(dòng)呢？ kkkkkkkkk模型定階經(jīng)驗(yàn)方法模型定階經(jīng)驗(yàn)方法n95的置信區(qū)

23、間的置信區(qū)間n模型定階的經(jīng)驗(yàn)方法模型定階的經(jīng)驗(yàn)方法n如果樣本如果樣本(偏偏)自相關(guān)系數(shù)在最初的自相關(guān)系數(shù)在最初的d階明顯大于兩倍標(biāo)準(zhǔn)階明顯大于兩倍標(biāo)準(zhǔn)差范圍，而后幾乎差范圍，而后幾乎95的自相關(guān)系數(shù)都落在的自相關(guān)系數(shù)都落在2倍標(biāo)準(zhǔn)差的倍標(biāo)準(zhǔn)差的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值波動(dòng)的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值波動(dòng)的過(guò)程非常突然。這時(shí)，通常視為過(guò)程非常突然。這時(shí)，通常視為(偏偏)自相關(guān)系數(shù)截尾。截自相關(guān)系數(shù)截尾。截尾階數(shù)為尾階數(shù)為d。22Pr0.9522Pr0.95kkknnnn三、參數(shù)估計(jì)三、參數(shù)估計(jì)n待估參數(shù)待估參數(shù)非中心化非中心化ARMA(P,q)模型有模型有

24、個(gè)未知參數(shù)個(gè)未知參數(shù) n常用估計(jì)方法常用估計(jì)方法n矩估計(jì)矩估計(jì)n極大似然估計(jì)極大似然估計(jì)n最小二乘估計(jì)最小二乘估計(jì)2p q 211, ,pq 1.1.矩估計(jì)矩估計(jì)n原理原理n樣本自相關(guān)系數(shù)估計(jì)總體自相關(guān)系數(shù)樣本自相關(guān)系數(shù)估計(jì)總體自相關(guān)系數(shù)n樣本一階均值估計(jì)總體均值，樣本方差估計(jì)總體方差樣本一階均值估計(jì)總體均值，樣本方差估計(jì)總體方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp2.2.極大似然估計(jì)極大似然估計(jì)n原理原理n在極大似然準(zhǔn)則下，認(rèn)為樣本來(lái)自使該樣本出現(xiàn)概率最大在極大似然準(zhǔn)則下，認(rèn)為樣本來(lái)自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計(jì)

25、就是使得似然函數(shù)的總體。因此未知參數(shù)的極大似然估計(jì)就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達(dá)到最大的參數(shù)值（即聯(lián)合密度函數(shù)）達(dá)到最大的參數(shù)值 ,);(max),;,(21121kkxpxxL3.3.最小二乘估計(jì)最小二乘估計(jì)n原理原理n使殘差平方和達(dá)到最小的那組參數(shù)值即為最小二乘估計(jì)值使殘差平方和達(dá)到最小的那組參數(shù)值即為最小二乘估計(jì)值 211111)(min)(min)(ntqtqtptpttxxxQQ4.4.條件最小二乘估計(jì)條件最小二乘估計(jì)n實(shí)際中最常用的參數(shù)估計(jì)方法實(shí)際中最常用的參數(shù)估計(jì)方法n假設(shè)條件假設(shè)條件n殘差平方和方程殘差平方和方程n解法解法n迭代法迭代法0,0txtnitititnitxx

26、Q121112)(四、模型檢驗(yàn)四、模型檢驗(yàn)n模型的顯著性檢驗(yàn)?zāi)Ｐ偷娘@著性檢驗(yàn)n整個(gè)模型對(duì)信息的提取是否充分整個(gè)模型對(duì)信息的提取是否充分n參數(shù)的顯著性檢驗(yàn)參數(shù)的顯著性檢驗(yàn)n模型結(jié)構(gòu)是否最簡(jiǎn)模型結(jié)構(gòu)是否最簡(jiǎn)1.1.模型的顯著性檢驗(yàn)?zāi)Ｐ偷娘@著性檢驗(yàn)n目的目的n檢驗(yàn)?zāi)Ｐ偷挠行裕▽?duì)信息的提取是否充分）檢驗(yàn)?zāi)Ｐ偷挠行裕▽?duì)信息的提取是否充分）n檢驗(yàn)對(duì)象檢驗(yàn)對(duì)象n殘差序列殘差序列n判定原則判定原則n一個(gè)好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎一個(gè)好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序所有的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列列 n反之，如果殘差序列為非白噪

27、聲序列，那就意味著反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就說(shuō)明殘差序列中還殘留著相關(guān)信息未被提取，這就說(shuō)明擬合模型不夠有效擬合模型不夠有效假設(shè)條件假設(shè)條件n原假設(shè)：殘差序列為白噪聲序列原假設(shè)：殘差序列為白噪聲序列n備擇假設(shè)：殘差序列為非白噪聲序列備擇假設(shè)：殘差序列為非白噪聲序列0120,1mHm：mkmHk，：至少存在某個(gè)1, 012.參數(shù)顯著性檢驗(yàn)參數(shù)顯著性檢驗(yàn)n目的目的n檢驗(yàn)每一個(gè)未知參數(shù)是否顯著非零。刪除不顯著參數(shù)使模檢驗(yàn)每一個(gè)未知參數(shù)是否顯著非零。刪除不顯著參數(shù)使模型結(jié)構(gòu)最精簡(jiǎn)型結(jié)構(gòu)最精簡(jiǎn) n假設(shè)條件假設(shè)條件n檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量mjHHjj

28、10:0:10)()(mntQamnTjjjj五、模型優(yōu)化五、模型優(yōu)化n問(wèn)題提出問(wèn)題提出n當(dāng)一個(gè)擬合模型通過(guò)了檢驗(yàn)，說(shuō)明在一定的置信水當(dāng)一個(gè)擬合模型通過(guò)了檢驗(yàn)，說(shuō)明在一定的置信水平下，該模型能有效地?cái)M合觀察值序列的波動(dòng)，但平下，該模型能有效地?cái)M合觀察值序列的波動(dòng)，但這種有效模型并不是唯一的。這種有效模型并不是唯一的。n優(yōu)化的目的優(yōu)化的目的n選擇相對(duì)最優(yōu)模型選擇相對(duì)最優(yōu)模型 n問(wèn)題問(wèn)題 同一個(gè)序列可以構(gòu)造兩個(gè)擬合模型，兩個(gè)模型都顯著有效，同一個(gè)序列可以構(gòu)造兩個(gè)擬合模型，兩個(gè)模型都顯著有效，那么到底該選擇哪個(gè)模型用于統(tǒng)計(jì)推斷呢？那么到底該選擇哪個(gè)模型用于統(tǒng)計(jì)推斷呢？ n解決辦法解決辦法n確定適當(dāng)?shù)?/p>

29、比較準(zhǔn)則，構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量，確定相對(duì)最優(yōu)確定適當(dāng)?shù)谋容^準(zhǔn)則，構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量，確定相對(duì)最優(yōu)1.AIC1.AIC準(zhǔn)則準(zhǔn)則n最小信息量準(zhǔn)則（最小信息量準(zhǔn)則（An Information Criterion） n指導(dǎo)思想指導(dǎo)思想似然函數(shù)值越大越好似然函數(shù)值越大越好 ，未知參數(shù)的個(gè)數(shù)越少越好未知參數(shù)的個(gè)數(shù)越少越好 nAIC統(tǒng)計(jì)量統(tǒng)計(jì)量L為模型的極大似然值為模型的極大似然值)(2)ln(2未知參數(shù)個(gè)數(shù)nAIC未知參數(shù)個(gè)數(shù)）(2ln2LAIC估計(jì)是殘差方差的極大似然22.SBC2.SBC準(zhǔn)則準(zhǔn)則nAIC準(zhǔn)則的缺陷準(zhǔn)則的缺陷n在樣本容量趨于無(wú)窮大時(shí)，由在樣本容量趨于無(wú)窮大時(shí)，由AIC準(zhǔn)則選擇的模型不收斂準(zhǔn)則選擇的模型不收斂于真實(shí)模型，它通常比真實(shí)模型所含的未知參數(shù)個(gè)數(shù)要多于真實(shí)模型，它通常比真實(shí)模型所含的未知參數(shù)個(gè)數(shù)要多 nSBC統(tǒng)計(jì)量統(tǒng)計(jì)量)(ln()ln(2未知參數(shù)nnSBC第二節(jié)序列預(yù)測(cè)第二節(jié)序列預(yù)測(cè)n誤差分析誤差分析nAR（P）序列的預(yù)測(cè)）序列的預(yù)測(cè)nMA（q）序列的預(yù)測(cè)）序列的預(yù)測(cè)nARMA（p,q）的預(yù)測(cè)）的預(yù)測(cè)n修正預(yù)測(cè)修正預(yù)測(cè)序列預(yù)測(cè)序列預(yù)測(cè)n線性預(yù)測(cè)函數(shù)線性預(yù)測(cè)函數(shù)n預(yù)測(cè)方差最小原則預(yù)測(cè)方差最小原則10titiixC x ( )( )min( )t lxttVare lVar e l序列分解序列分解 111111( )( )t lt lt lltltlt