時(shí)間序列分析方法 第04章 預(yù)測(cè)

1、時(shí)間序列分析方法講義 第4章 預(yù)測(cè)PAGE PAGE 20第四章 預(yù) 測(cè)在本章當(dāng)中我們討論預(yù)測(cè)的一般概念和方法，然后分析利用模型進(jìn)行預(yù)測(cè)的問題。4.1 預(yù)期原理利用各種條條件對(duì)某某個(gè)變量量下一個(gè)個(gè)時(shí)點(diǎn)或或者時(shí)間間階段內(nèi)內(nèi)取值的的判斷是是預(yù)測(cè)的的重要情情形。為為此，需需要了解解如何確確定預(yù)測(cè)測(cè)值和度度量預(yù)測(cè)測(cè)的精度度。4.1.11基于條條件預(yù)期期的預(yù)測(cè)測(cè)假設(shè)我們可可以觀察察到一組組隨機(jī)變變量的樣樣本值，然然后利用用這些數(shù)數(shù)據(jù)預(yù)測(cè)測(cè)隨機(jī)變變量的值值。特別別地，一一個(gè)最為為簡(jiǎn)單的的情形就就是利用用的前個(gè)樣樣本值預(yù)預(yù)測(cè)，此此時(shí)可以以描述為為：假設(shè)表示根根據(jù)對(duì)于于做出的預(yù)預(yù)測(cè)。那那么如何何度量預(yù)預(yù)測(cè)效果

2、果呢？通常情情況下，我們利用損失函數(shù)來度量預(yù)測(cè)效果的優(yōu)劣。假設(shè)預(yù)測(cè)值與真實(shí)值之間的偏離作為損失，則簡(jiǎn)單的二次損失函數(shù)可以表示為(該度量也稱為預(yù)測(cè)的均方誤差)：定理4.11使得預(yù)預(yù)測(cè)均方方誤差達(dá)達(dá)到最小小的預(yù)測(cè)測(cè)是給定定時(shí)，對(duì)對(duì)的條件件數(shù)學(xué)期期望，即即：證明：假設(shè)設(shè)基于對(duì)對(duì)的任意意預(yù)測(cè)值值為：則此預(yù)測(cè)的的均方誤誤差為：對(duì)上式均方方誤差進(jìn)進(jìn)行分解解，可以以得到：其中交叉項(xiàng)項(xiàng)的數(shù)學(xué)學(xué)期望為為(利用數(shù)數(shù)學(xué)期望望的疊代代法則)：因此均方誤誤差為：為了使得均均方誤差差達(dá)到最最小，則則有：此時(shí)最優(yōu)預(yù)預(yù)測(cè)的均均方誤差差為：End我們以后經(jīng)經(jīng)常使用用條件數(shù)數(shù)學(xué)期望望作為隨隨機(jī)變量量的預(yù)測(cè)測(cè)值。4.1.22 基于

3、于線性投投影的預(yù)預(yù)測(cè)由于上述條條件數(shù)學(xué)學(xué)期望比比較難以以確定，因因此將預(yù)預(yù)測(cè)函數(shù)數(shù)的范圍圍限制在在線性函函數(shù)當(dāng)中中，我們們考慮下下述線性性預(yù)測(cè)：如此預(yù)測(cè)的的選取是是所有預(yù)預(yù)測(cè)變量量的線性性組合，預(yù)預(yù)測(cè)的優(yōu)優(yōu)劣則體體現(xiàn)在系系數(shù)向量量的選擇擇上。定義4.11如果我我們可以以求出一一個(gè)系數(shù)數(shù)向量值值，使得得預(yù)測(cè)誤誤差與不相關(guān)關(guān)：則稱預(yù)測(cè)為為基于的線線性投影影。定理4.22在所有有線性預(yù)預(yù)測(cè)當(dāng)中中，線性性投影預(yù)預(yù)測(cè)具有有最小的的均方誤誤差。證明：假設(shè)設(shè)是任意意一個(gè)線線性預(yù)測(cè)測(cè)，則對(duì)對(duì)應(yīng)的均均方誤差差可以分分解為：由于是線性性投影，則則有：因此均方誤誤差為：為了使得均均方誤差差達(dá)到最最小，線線性預(yù)測(cè)測(cè)滿

4、足：這是一個(gè)線線性投影影。Ennd我們將線性性投影預(yù)預(yù)測(cè)表示示為：或者簡(jiǎn)化為為：顯然線性投投影的預(yù)預(yù)測(cè)誤差差仍然不不小于條條件期望望預(yù)測(cè)，因因此有：當(dāng)條件中包包含常數(shù)數(shù)的時(shí)候候，此時(shí)時(shí)線性投投影當(dāng)中中就含有有常數(shù)，為為此使用用表示含含有常數(shù)數(shù)項(xiàng)的線線性投影影預(yù)測(cè)，即即：4.1.33線性投投影的性性質(zhì)根據(jù)線性投投影的定定義，我我們可以以求出投投影的系系數(shù)向量量：如果是可逆逆的，則則有：命題4.11 線線性預(yù)測(cè)測(cè)滿足下下述性質(zhì)質(zhì)：(1) 最最優(yōu)線性性預(yù)測(cè)的的均方誤誤差為：(2) 線線性投影影滿足線線性平移移性質(zhì)：證明：(11) 根根據(jù)投影影向量的的表達(dá)式式，可以以得到：化簡(jiǎn)就可以以得到命命題表達(dá)達(dá)

5、式。(2) 需需要證明明是的線性性投影。顯顯然，它它是線性性函數(shù)，其其次，可可以證明明它滿足正正交性質(zhì)質(zhì)。Ennd4.1.44線性投投影和普普通最小小二乘回回歸線性投影與與最小二二乘估計(jì)計(jì)緊密相相關(guān)，這這兩種概概念之間間存在聯(lián)聯(lián)系。例例如，將將基于建立立線性回回歸方程程，得到到：對(duì)于給定和和的T個(gè)樣本本，樣本本殘差平平方和定定義為：使得殘差平平方和達(dá)達(dá)到最小小的系數(shù)數(shù)最小二二乘估計(jì)計(jì)為：如果過程是是協(xié)方差差平穩(wěn)過過程且關(guān)關(guān)于二階階矩是遍遍歷的，則則有：因此上述OOLS估估計(jì)按概概率收斂斂到線性性投影系系數(shù)：4.1.55向量預(yù)預(yù)測(cè)上述結(jié)果可可以推廣廣到利用用維向量量預(yù)測(cè)維向向量，記記為：其中為投

6、影影系數(shù)的的一個(gè)階階矩陣，滿滿足正交交條件：上式說明預(yù)預(yù)測(cè)誤差差的每一一個(gè)分量量與條件件變量的的每一個(gè)個(gè)分量都都無關(guān)。命題4.22假設(shè)是的最小小均方誤誤差線性性預(yù)測(cè)，則則對(duì)任意意的線性性組合，它它的最小小均方誤誤差線性性預(yù)測(cè)為為：證明：只需需證明是是線性投投影即可可，這時(shí)時(shí)需要驗(yàn)驗(yàn)證相應(yīng)應(yīng)的正交交性。EEnd類似地，投投影矩陣陣為：與此對(duì)應(yīng)的的均方誤誤差矩陣陣為：4.2基基于無限限個(gè)觀測(cè)測(cè)值的預(yù)預(yù)測(cè)無論是條件件期望預(yù)預(yù)測(cè)還是是正交線線性預(yù)測(cè)測(cè)，都是是基于有有限個(gè)條條件變量量的，下下面我們們分析基基于無限限個(gè)觀測(cè)測(cè)值情形形下的預(yù)預(yù)測(cè)。4.2.11基于滯滯后誤差差的預(yù)測(cè)測(cè)考察一個(gè)無無限階移移動(dòng)平均

7、均過程：，假設(shè)已經(jīng)知知道過去去所有時(shí)時(shí)間階段段的殘差差觀測(cè)值值，也知知道模型型中各種種參數(shù)的的值?，F(xiàn)現(xiàn)在我們們要預(yù)測(cè)測(cè)個(gè)階段段以后的的，根據(jù)據(jù)模型它它應(yīng)該是是：對(duì)此最優(yōu)線線性預(yù)測(cè)測(cè)形式為為：這個(gè)預(yù)測(cè)值值的對(duì)應(yīng)應(yīng)誤差為為：這個(gè)預(yù)測(cè)值值的均方方誤差為為：例4.1 試求過過程的最最優(yōu)線性性預(yù)測(cè)。解：過程為為：，則它的最優(yōu)優(yōu)線性預(yù)預(yù)測(cè)為：對(duì)應(yīng)的均方方誤差為為： 上述述預(yù)測(cè)具具有清楚楚的含義義，在時(shí)時(shí)間間隔隔以后，使使用過程程的均值值進(jìn)行預(yù)預(yù)測(cè)，而而方差是是過程的的無條件件方差。4.2.22基于滯滯后Y的預(yù)測(cè)測(cè)一般情況下下，我們們僅僅可可以觀察察到Y(jié)的值，為為此假設(shè)設(shè)移動(dòng)平平均過程程具有可可逆表示示：其

8、中：，假設(shè)上述AAR過程程與MAA過程之之間滯后后算子多多項(xiàng)式的的關(guān)系：1. 協(xié)方方差平穩(wěn)穩(wěn)的過程程為：表示成為算算子多項(xiàng)項(xiàng)式形式式：滿足：，2. 一個(gè)個(gè)過程可可以表示示成為：也可以表示示成為算算子多項(xiàng)項(xiàng)式形式式：在可逆性假假設(shè)條件件下，則則有：，如果給出了了觀測(cè)值值，可以以在模型型當(dāng)中構(gòu)構(gòu)造出殘殘差序列列，例如如在過程程當(dāng)中：對(duì)于給定系系數(shù)和，由由上式可可以計(jì)算算出：在可逆的過過程當(dāng)中中，可以以得到：最后，可以以得到給給定條件件下的預(yù)預(yù)測(cè)公式式為：或者：w-k公式w-k公式上述公式也也被稱為為Wieenerr-Koolmoogorrov預(yù)預(yù)測(cè)公式式。上述述公式當(dāng)當(dāng)中的算算子是截截?cái)嘈问绞降乃?/p>

9、子子表達(dá)式式，算子子表達(dá)式式中將滯滯后算子子的負(fù)指指數(shù)項(xiàng)省省略。4.2.33預(yù)測(cè)一一個(gè)過程程對(duì)于一個(gè)平平穩(wěn)的過過程，可可以將算算子多項(xiàng)項(xiàng)式表示示成為：利用上述公公式，可可以得到到階段后后的最優(yōu)優(yōu)線性預(yù)預(yù)測(cè)為：上述預(yù)測(cè)公公式說明明，隨著著預(yù)測(cè)階階段的增增加，預(yù)預(yù)測(cè)值將將趨于長(zhǎng)長(zhǎng)期均值值。對(duì)應(yīng)應(yīng)的預(yù)測(cè)測(cè)誤差為為：隨著預(yù)測(cè)階階段的增增加，預(yù)預(yù)測(cè)誤差差也趨于于無條件件方差。4.2.44預(yù)測(cè)一一個(gè)過程程對(duì)于一個(gè)平平穩(wěn)的過過程，可可以利用用Wieenerr-Koolmoogorrov預(yù)預(yù)測(cè)公式式進(jìn)行預(yù)預(yù)測(cè)。該該公式的的主要特特點(diǎn)在于于：它可可以利用用過去的的過程觀觀測(cè)值和和未來的的殘差值值表示預(yù)預(yù)測(cè)值，然

10、然后未來來的殘差差值利用用期望去去掉。其中表示矩矩陣中第第行、第第列元素素，矩陣陣為： 這時(shí)階段的的最優(yōu)預(yù)預(yù)測(cè)為：顯然上述預(yù)預(yù)測(cè)是均均值基礎(chǔ)礎(chǔ)上加上上觀測(cè)值值的一個(gè)個(gè)線性組組合，是是觀測(cè)值值的線性性函數(shù)。相應(yīng)的預(yù)測(cè)測(cè)誤差為為：下面我們給給出具體體的預(yù)測(cè)測(cè)推導(dǎo)過過程：(1) 進(jìn)進(jìn)行1個(gè)個(gè)時(shí)期的的預(yù)測(cè)，它它滿足：(2) 將將時(shí)間開開始階段段換為，得得到：根據(jù)多重投投影定理理斷言，如如果的期預(yù)測(cè)測(cè)是期信信息的投投影，則則該預(yù)測(cè)測(cè)也是期期進(jìn)行的的最優(yōu)線線性預(yù)測(cè)測(cè)，則有有：將1期預(yù)測(cè)測(cè)代入得得到：(3)過程程的前期期預(yù)測(cè)根根據(jù)疊代代可以得得到：，其中：，4.2.55預(yù)測(cè)一一個(gè)過程程繼續(xù)考察一一個(gè)過程程，

11、可以以利用滯滯后算子子表示為為：，利用Wieenerr-Koolmoogorrov預(yù)預(yù)測(cè)公式式進(jìn)行預(yù)預(yù)測(cè)，得得到：向前預(yù)測(cè)11期時(shí)有有：則預(yù)測(cè)值為為：當(dāng)預(yù)測(cè)步長(zhǎng)長(zhǎng)超過11時(shí)：則預(yù)測(cè)值為為：4.2.66預(yù)測(cè)一一個(gè)過程程繼續(xù)考察一一個(gè)可逆逆的過程程：利用Wieenerr-Koolmoogorrov預(yù)預(yù)測(cè)公式式進(jìn)行預(yù)預(yù)測(cè)，得得到：其中：對(duì)于比較近近期的預(yù)預(yù)測(cè)()有：其中可以利利用下述述遞推表表示：對(duì)于比較遠(yuǎn)遠(yuǎn)期的預(yù)預(yù)測(cè)()比較簡(jiǎn)簡(jiǎn)單：4.2.77預(yù)測(cè)一一個(gè)過程程過程可以表表示為：假設(shè)該過程程是平穩(wěn)穩(wěn)的()和可逆逆的()，則：其中：代入到預(yù)測(cè)測(cè)公式中中：注意到對(duì)于于任意，預(yù)預(yù)測(cè)值滿滿足遞推推公式：這意

12、味著預(yù)預(yù)測(cè)值按按照幾何何方式以以速度收收斂到無無條件均均值。前前1期預(yù)預(yù)測(cè)由下下式給出出：上式可以等等價(jià)地表表示為：其中：或者：4.2.88預(yù)測(cè)一一個(gè)過程程綜合上述各各種預(yù)測(cè)測(cè)情形，我我們可以以得到預(yù)預(yù)測(cè)平穩(wěn)穩(wěn)過程的的方法。過程可以表示為：最優(yōu)線性預(yù)預(yù)測(cè)方程程可以表表示為： 其中可以利利用下述述遞推表表示：前期預(yù)測(cè)為為：其中：，4.2基基于無限限個(gè)觀測(cè)測(cè)值的預(yù)預(yù)測(cè)下面我們假假設(shè)已知知模型的的參數(shù)，但但是只獲獲得了有有限樣本本情形下下的預(yù)測(cè)測(cè)問題。4.3.11最優(yōu)預(yù)預(yù)測(cè)的近近似基于有限個(gè)個(gè)觀察值值的預(yù)測(cè)測(cè)方法是是假設(shè)樣樣本之前前的殘差差都為零零，這是是因?yàn)橛杏邢旅娴牡慕乒酱嬖谠冢?.3.2

13、2有限樣樣本情形形下的精精確預(yù)測(cè)測(cè)利用線性投投影可以以得到有有限樣本本情形下下的精確確預(yù)測(cè)：4.7 ARMMA(11)過程程之和下面我們考考慮兩個(gè)個(gè)ARMMA過程程相加所所得到的的時(shí)間序序列性質(zhì)質(zhì)。4.7.11MA(11)過程程與白噪噪聲之和和假設(shè)一個(gè)序序列是零零均值的的過程：其中是白噪噪聲序列列，滿足足：此時(shí)過程自自協(xié)方差差函數(shù)為為：假設(shè)隨機(jī)過過程是另另外一個(gè)個(gè)白噪聲聲過程，滿滿足：假設(shè)兩個(gè)白白噪聲序序列之間間在任何何時(shí)點(diǎn)都都是不相相關(guān)的，也也即有：，這是也有：，目前的問題題是，如如何觀測(cè)測(cè)到一個(gè)個(gè)序列是是上述移移動(dòng)平均均過程和和白噪聲聲過程的的和，那那么這個(gè)個(gè)和過程程的性質(zhì)質(zhì)如何？顯然，上

14、述述過程仍仍然具有有零均值值，它的的自協(xié)方方差函數(shù)數(shù)可以表表示為：由此可見，隨隨機(jī)過程程也是平平穩(wěn)過程程，它的的自協(xié)方方差函數(shù)數(shù)與過程程是類似似的。此此時(shí)，我我們?cè)O(shè)想想是否有有一個(gè)過過程：其中白噪聲聲滿足：它具有與和和過程一一致的自自協(xié)方差差函數(shù)？如何是這樣樣，則要要求白噪噪聲的方方差滿足足：對(duì)于給定的的參數(shù)：，滿足足上述要要求的值值為：在特殊情形形下，如如果，則則上式變變?yōu)椋簩?duì)于其他情情形，可可以分析析具有相相同自協(xié)協(xié)方差函函數(shù)的自自回歸系系數(shù)的要要求。4.7.22兩個(gè)移移動(dòng)平均均過程之之和假設(shè)是過程程，是過程，并并且兩個(gè)個(gè)過程的的殘差在在任何時(shí)時(shí)點(diǎn)都不不相關(guān)，則則可以證證明，他他們的和和過

15、程滿滿足過程程。4.7.22兩個(gè)自自回歸過過程之和和假設(shè)隨機(jī)過過程和是兩個(gè)個(gè)過程，滿滿足：其中和是兩兩個(gè)在任任何時(shí)點(diǎn)點(diǎn)上都不不相關(guān)的的白噪聲聲序列。假假設(shè)我們們可以觀觀察到并且想利用用來對(duì)進(jìn)行行預(yù)測(cè)。為此，我們們需要分分析時(shí)間間序列的的結(jié)構(gòu)。在在特殊情情形下，如如果一旦旦自回歸歸系數(shù)相相同，或或，則直直接得到到的自回回歸表示示：如果，則有有：可以等價(jià)地地表示為為：對(duì)應(yīng)的要求求為：因此可以知知道：更為一般地地，對(duì)于于兩個(gè)殘殘差序列列不相關(guān)關(guān)的自回回歸過程程而言：它們相加可可以得到到一個(gè)過過程：，4.8WWoldd分解和和Boxx-Jeenkiins建建模思想想平穩(wěn)時(shí)間序序列具有有類似的的性質(zhì)，那

16、那么如果果表示平平穩(wěn)時(shí)間間序列的的一般結(jié)結(jié)構(gòu)呢？Wolld分解解定理給給出了一一般的結(jié)結(jié)論。4.8.11Wolld分解解定理4.33(Woold分分解定理理)任何零零均值協(xié)協(xié)方差平平穩(wěn)過程程可以表表示成為為如下形形式：其中：，是利用用預(yù)測(cè)時(shí)產(chǎn)產(chǎn)生的誤誤差：對(duì)于任意，與不相關(guān)關(guān)，并且且也可以以利用利利用進(jìn)行行預(yù)測(cè)：稱為過程的的線性確確定性成成分，而而稱為過過程的線線性非確確定性成成分。如如果，則則稱該過過程是純純線性不不確定性性的。4.8.22Boxx-Jeenkiins建建模思想想任何時(shí)間序序列數(shù)據(jù)據(jù)都有自自己的生生成機(jī)制制，但是是如何揭揭示和描描述時(shí)間間序列的的數(shù)據(jù)生生成機(jī)制制呢？這這需要利

17、利用時(shí)間間序列模模型對(duì)數(shù)數(shù)據(jù)生成成機(jī)制進(jìn)進(jìn)行逼近近或者近近似，這這就需要要尋求建建立時(shí)間間序列模模型的基基本過程程。(1) 建建立模型型一個(gè)基基本出發(fā)發(fā)點(diǎn)是，所所采用的的模型越越節(jié)儉越越好，所所要估計(jì)計(jì)的參數(shù)數(shù)越多，模模型出現(xiàn)現(xiàn)錯(cuò)誤的的可能性性就越大大。(2) 即即使一個(gè)個(gè)復(fù)雜的的模型描描述和模模擬歷史史數(shù)據(jù)的的能力很很好，但但是有時(shí)時(shí)進(jìn)行預(yù)預(yù)測(cè)時(shí)的的誤差卻卻很大。以以前大型型經(jīng)濟(jì)計(jì)計(jì)量模型型的失敗敗則說明明了這一一點(diǎn)。Box-JJenkkinss提出并并倡導(dǎo)的的預(yù)測(cè)方方法主要要步驟為為：(1) 如如果有必必要，可可以對(duì)數(shù)數(shù)據(jù)進(jìn)行行變化，使使得數(shù)據(jù)據(jù)的協(xié)方方差平穩(wěn)穩(wěn)性變得得更為合合理。(2)

18、對(duì)對(duì)于描述述平穩(wěn)性性數(shù)據(jù)的的模型的的階數(shù)做做出一個(gè)個(gè)初始的的數(shù)值比比較小的的猜測(cè)。(3) 估估計(jì)自回回歸和移移動(dòng)平均均算子多多項(xiàng)式中中的系數(shù)數(shù)。(4) 對(duì)對(duì)模型進(jìn)進(jìn)行診斷斷分析以以確定所所得到的的模型確確實(shí)與觀觀測(cè)到的的數(shù)據(jù)具具有類似似的特征征。其中數(shù)據(jù)變變化主要要根據(jù)經(jīng)經(jīng)濟(jì)時(shí)間間序列的的特征，對(duì)對(duì)數(shù)序列列的差分分是非常常常用的的變換方方法。時(shí)時(shí)間序列列模型的的估計(jì)與與診斷是是后面討討論的主主要內(nèi)容容。4.8.33 樣本本自相關(guān)關(guān)函數(shù)為了確定模模型的階階數(shù)，我我們首先先討論自自相關(guān)函函數(shù)的估估計(jì)問題題。一般般情況下下可以利利用樣本本的矩估估計(jì)進(jìn)行行：，根據(jù)和過程程的性質(zhì)質(zhì)，我們們可以根根據(jù)上述述樣本