《時間序列分析-基于Python》 課件 ch4 平穩(wěn)序列擬合與預(yù)測

平穩(wěn)序列擬合與預(yù)測04建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN單位根檢驗單位根檢驗是構(gòu)造統(tǒng)計量進行序列平穩(wěn)性檢驗的最常用方法。它的理論基礎(chǔ)是：如果序列是平穩(wěn)的，那么該序列的所有特征根都應(yīng)該在單位圓內(nèi)。基于這個性質(zhì)構(gòu)造的序列平穩(wěn)性檢驗方法叫作單位根檢驗。最早的單位根檢驗方法是由統(tǒng)計學(xué)家Dickey和Fuller提出來的，所以人們以他們名字的首字母DF命名了最早的平穩(wěn)性檢驗方法——DF檢驗。隨著學(xué)科的發(fā)展，后續(xù)又產(chǎn)生了很多種單位根檢驗方法，比如ADF檢驗，PP檢驗等等。DF檢驗的構(gòu)造原理DF檢驗是從最簡單的一種情況著手進行構(gòu)造的單位根檢驗方法。它假設(shè)序列的確定性部分可以只由過去一期的歷史數(shù)據(jù)描述，即序列可以表達為式中，為序列的隨機部分，常常假設(shè)顯然該序列只有一個特征根，且特征根為通過檢驗特征根是在單位圓內(nèi)還是單位圓上（外）可以檢驗序列的平穩(wěn)性。由于現(xiàn)實生活中絕大多數(shù)序列都是非平穩(wěn)序列，所以單位根檢驗的原假設(shè)為序列非平穩(wěn)，備擇假設(shè)是序列平穩(wěn)DF統(tǒng)計量統(tǒng)計量的漸進分布為標(biāo)準(zhǔn)正態(tài)分布

統(tǒng)計量的漸近分布不是我們熟知的任何參數(shù)分布，Dickey和Fuller通過隨機模擬的方法，得到該統(tǒng)計量的經(jīng)驗分布DF檢驗的等價表達等價假設(shè)檢驗統(tǒng)計量檢驗結(jié)果判定當(dāng)顯著性水平取為時，記為DF檢驗的分位點，則當(dāng)時，拒絕原假設(shè)，認(rèn)為序列平穩(wěn)。等價判別是統(tǒng)計量的P值小于等于顯著性水平；當(dāng)時，接受原假設(shè)，認(rèn)為序列非平穩(wěn)。等價判別是統(tǒng)計量的P值大于顯著性水平。DF檢驗的三種類型類型一：無漂移項自回歸結(jié)構(gòu)類型二：有漂移項自回歸結(jié)構(gòu)類型三：帶趨勢回歸結(jié)構(gòu)例2-3續(xù)對1915-2004年澳大利亞自殺率序列（每10萬人自殺人口數(shù)）進行DF檢驗，判斷該序列的平穩(wěn)性。該序列DF檢驗統(tǒng)計量等于-1.31，P值為0.62，大于顯著性水平0.05，所以基于DF檢驗，我們不能拒絕該序列非平穩(wěn)的原假設(shè)，即可以判斷1915-2004年澳大利亞自殺率序列為非平穩(wěn)序列。ADF檢驗的構(gòu)造原理ADF檢驗產(chǎn)生背景DF檢驗只適用于最簡單的、確定性部分只由上一期歷史數(shù)據(jù)描述的序列平穩(wěn)性檢驗。為了使DF檢驗?zāi)苓m用于任意期確定性信息提取，人們對DF檢驗進行了一定的修正，得到了增廣DF檢驗（augmentedDickey-Fuller）,簡記為ADF檢驗ADF檢驗原理假設(shè)序列的確定性部分可以由過去p期的歷史數(shù)據(jù)描述，即序列可以表達為如果序列平穩(wěn)，它必須滿足所有非零特征根都在單位圓內(nèi)。假如有一個單位根存在，不妨假設(shè)，則序列非平穩(wěn)。把代入特征方程，得到這意味著，如果序列非平穩(wěn)，存在特征根，那么序列回歸系數(shù)之和恰好等于1。因而，對于序列的平穩(wěn)性檢驗，可以通過檢驗它的回歸系數(shù)之和的性質(zhì)進行判斷。ADF檢驗假設(shè)條件檢驗統(tǒng)計量檢驗結(jié)果判定和DF檢驗一樣。通過蒙特卡洛方法，可以得到ADF檢驗統(tǒng)計量的臨界值表。當(dāng)顯著性水平取為時，記為ADF檢驗的分位點，則當(dāng)時，拒絕原假設(shè)，認(rèn)為序列平穩(wěn)。等價判別是統(tǒng)計量的P值小于等于顯著性水平；當(dāng)時，接受原假設(shè)，認(rèn)為序列非平穩(wěn)。等價判別是統(tǒng)計量的P值大于顯著性水平。例2-5續(xù)對1900—1998年全球7.0級以上地震發(fā)生次數(shù)序列進行ADF檢驗，判斷該序列的平穩(wěn)性。該序列延遲2階ADF檢驗統(tǒng)計量等于-3.18，P值為0.02，小于顯著性水平0.05，所以基于ADF檢驗，我們能顯著拒絕該序列非平穩(wěn)的原假設(shè)，即可以判斷1900—1998年全球7.0級以上地震發(fā)生次數(shù)序列為平穩(wěn)序列。建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN計算樣本相關(guān)系數(shù)樣本自相關(guān)系數(shù)樣本偏自相關(guān)系數(shù)建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN平穩(wěn)序列擬合模型識別自相關(guān)系數(shù)偏自相關(guān)系數(shù)選擇模型拖尾P階截尾AR(P)q階截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定階的困難因為由于樣本的隨機性，樣本的相關(guān)系數(shù)不會呈現(xiàn)出理論截尾的完美情況，本應(yīng)截尾的或仍會呈現(xiàn)出小值振蕩的情況由于平穩(wěn)時間序列通常都具有短期相關(guān)性，隨著延遲階數(shù)，與都會衰減至零值附近作小值波動當(dāng)或在延遲若干階之后衰減為小值波動時，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近作拖尾波動呢？這實際上沒有絕對的標(biāo)準(zhǔn),在很大程度上依靠分析人員的主觀經(jīng)驗。但樣本自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的近似分布可以幫助缺乏經(jīng)驗的分析人員做出盡量合理的判斷。樣本相關(guān)系數(shù)的近似分布BarlettQuenouille模型定階經(jīng)驗方法樣本自相關(guān)系數(shù)和樣本偏自相關(guān)系數(shù)的95％置信區(qū)間模型定階的經(jīng)驗方法如果樣本自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）在最初的d階明顯大于兩倍標(biāo)準(zhǔn)差范圍，而后幾乎95％的自相關(guān)系數(shù)都落在2倍標(biāo)準(zhǔn)差的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值波動的過程非常突然。這時，通常視為自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）截尾。截尾階數(shù)為d。如果有超過5%的樣本自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）落入2倍標(biāo)準(zhǔn)差范圍之外,或者由顯著非零的自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）衰減為小值波動的過程比較緩慢或者非常連續(xù),這時,通常視為自相關(guān)系數(shù)拖尾。例4-1選擇合適的模型擬合1900—1998年全球7.0級以上地震年發(fā)生次數(shù)序列。在例2-5的分析中,我們已經(jīng)判斷該序列是平穩(wěn)非白噪聲序列?，F(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階例4-1模型定階從自相關(guān)圖可以看出,自相關(guān)系數(shù)是以一種有規(guī)律的方式,按指數(shù)函數(shù)軌跡衰減的,這說明自相關(guān)系數(shù)衰減到零不是一個突然截尾的過程,而是一個連續(xù)漸變的過程,這時自相關(guān)系數(shù)拖尾的典型特征,我們可以把拖尾特征形象地描述為“坐著滑梯落水”。從偏自相關(guān)圖可以看出,除了1階偏自相關(guān)系數(shù)在2倍標(biāo)準(zhǔn)差范圍之外,其他階數(shù)的偏自相關(guān)系數(shù)都在2倍標(biāo)準(zhǔn)差范圍內(nèi),這是一個偏自相關(guān)系數(shù)1階截尾的典型特征。我們可以把這種截尾特征形象地描述為“1階之后高臺跳水”。本例中,根據(jù)自相關(guān)系數(shù)拖尾,偏自相關(guān)系數(shù)1階截尾的屬性,我們可以初步確定擬合模型為AR(1)模型。例3.10選擇合適的模型擬合美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列

例4-2序列自相關(guān)圖和偏自相關(guān)圖對序列進行ADF檢驗和白噪聲檢驗，檢驗結(jié)果顯示該序列為平穩(wěn)非白噪聲序列?，F(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階例4-2模型定階自相關(guān)圖顯示除了延遲1階的自相關(guān)系數(shù)在2倍標(biāo)準(zhǔn)差范圍之外，其它階數(shù)的自相關(guān)系數(shù)都在2倍標(biāo)準(zhǔn)差范圍內(nèi)波動。根據(jù)這個特點可以判斷該序列具有短期相關(guān)性，進一步確定序列平穩(wěn)。同時，可以認(rèn)為該序列自相關(guān)系數(shù)1階截尾。偏自相關(guān)系數(shù)顯示出典型非截尾的性質(zhì)。綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，為擬合模型定階為MA(1)。例3.11選擇合適的模型擬合1880-1985全球氣表平均溫度改變值差分序列

例4-3對序列進行ADF檢驗和白噪聲檢驗，檢驗結(jié)果顯示該序列為平穩(wěn)非白噪聲序列?，F(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階序列自相關(guān)圖和偏自相關(guān)圖自相關(guān)系數(shù)顯示出不截尾的性質(zhì)。偏自相關(guān)系數(shù)也顯示出不截尾的性質(zhì)。綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，可以嘗試使用ARMA(1,1)模型擬合該序列。例4-3模型定階建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN參數(shù)估計待估參數(shù)個未知參數(shù)常用估計方法矩估計極大似然估計最小二乘估計矩估計原理樣本自相關(guān)系數(shù)估計總體自相關(guān)系數(shù)樣本一階均值估計總體均值，樣本方差估計總體方差例4-4求AR(2)模型系數(shù)的矩估計AR(2)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到AR(2)模型參數(shù)的矩估計例4-5求MA(1)模型系數(shù)的矩估計MA(1)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到MA(1)模型參數(shù)的矩估計矩估計例4-6求ARMA(1,1)模型系數(shù)的矩估計ARMA(1,1)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到ARMA(1,1)模型參數(shù)的矩估計對矩估計的評價優(yōu)點估計思想簡單直觀不需要假設(shè)總體分布計算量小（低階模型場合）缺點信息浪費嚴(yán)重，只用到了p+q個樣本自相關(guān)系數(shù)信息，其他信息都被忽略估計精度差通常矩估計方法被用作極大似然估計、最小二乘估計等其它估計方法迭代計算的初始值極大似然估計原理在極大似然準(zhǔn)則下，認(rèn)為樣本來自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達到最大的參數(shù)值

似然方程組似然方程組實際上是由p+q+1個超越方程構(gòu)成，需要使用迭代算法求出未知參數(shù)的極大似然估計值對極大似然估計的評價優(yōu)點極大似然估計充分應(yīng)用了每一個觀察值所提供的信息，因而它的估計精度高同時還具有估計的一致性、漸近正態(tài)性和漸近有效性等許多優(yōu)良的統(tǒng)計性質(zhì)缺點需要假定總體分布最小二乘估計令殘差項為殘差平方和為使殘差平方和達到最小的那組參數(shù)值即為最小二乘估計值最小二乘估計的特征與評價由于隨機擾動不可觀測，所以也不是的顯性函數(shù)，未知參數(shù)的最小二乘估計值通常也得借助迭代法求出。在實際中，最常用的是條件最小二乘估計方法。它假定過去未觀測到的序列值等于零，即，這個假定條件下進行的最小二乘估計稱為條件最小二乘估計。最小二乘估計方法的優(yōu)點原理簡單，方法普適，估計精度高例4-1續(xù)使用最小二乘估計方法確定1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的口徑。根據(jù)參數(shù)估計結(jié)果，確定該AR(1)模型口徑為例4-2續(xù)確定美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列擬合模型的口徑

擬合模型：MA(1)模型口徑：例4-3續(xù)確定1880-1985全球氣表平均溫度改變值差分序列擬合模型的口徑

擬合模型：ARMA(1,1)擬合模型常數(shù)項不顯著非零，刪除常數(shù)項得到擬合模型的口徑為：建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN模型檢驗對序列進行模型擬合之后，我們還要對該擬合模型進行必要的檢驗。檢驗內(nèi)容模型的顯著性檢驗確保序列中蘊含的相關(guān)信息被充分提取，擬合模型的殘差序列必須是白噪聲序列參數(shù)的顯著性檢驗確保擬合模型的精簡，每個保留在擬合模型中的參數(shù)必須顯著非零模型的顯著性檢驗?zāi)康臋z驗擬合模型的有效性（對相關(guān)信息的提取是否充分）檢驗對象殘差序列判定原則一個好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就說明擬合模型不夠有效模型顯著性檢驗的假設(shè)條件原假設(shè)：殘差序列為白噪聲序列備擇假設(shè)：殘差序列為非白噪聲序列檢驗統(tǒng)計量例3.9續(xù)檢驗1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的顯著性殘差序列的白噪聲檢驗結(jié)果顯示：由于各階延遲下ＬＢ統(tǒng)計量的Ｐ值都顯著大于0.05，可以認(rèn)為擬合模型的殘差序列屬于白噪聲序列，即該擬合模型顯著有效。例4-1續(xù)參數(shù)顯著性檢驗?zāi)康臋z驗每一個未知參數(shù)是否顯著非零。刪除不顯著參數(shù)使模型結(jié)構(gòu)最精簡

假設(shè)條件檢驗統(tǒng)計量例3.9續(xù)檢驗1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的參數(shù)顯著性

參數(shù)顯著性檢驗結(jié)果例4-1續(xù)因為每個參數(shù)的Z統(tǒng)計量的P值都小于顯著性水平（0.05），所以我們可以認(rèn)為AR(1)模型的兩個參數(shù)都顯著非零。例3.9續(xù)對美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列擬合模型進行檢驗?zāi)Ｐ惋@著性檢驗

結(jié)論：模型顯著成立，參數(shù)顯著非零例4-2續(xù)參數(shù)顯著性檢驗例3.9續(xù)對1880—1985年全球氣表平均溫度改變值差分序列擬合模型進行檢驗?zāi)Ｐ惋@著性檢驗結(jié)論：模型顯著成立參數(shù)顯著非零例4-3續(xù)參數(shù)顯著性檢驗建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN模型優(yōu)化問題提出當(dāng)一個擬合模型通過了檢驗，說明在一定的置信水平下，該模型能有效地擬合觀察值序列的波動，但這種有效模型并不是唯一的。優(yōu)化的目的選擇相對最優(yōu)模型

例4-7等時間間隔連續(xù)讀?。罚皞€某次化學(xué)反應(yīng)的過程數(shù)據(jù)，構(gòu)成一時間序列。預(yù)處理顯示該序列為平穩(wěn)非白噪聲序列。序列的樣本自相關(guān)圖和偏自相關(guān)圖根據(jù)自相關(guān)圖的特征，可能有人會認(rèn)為自相關(guān)系數(shù)２階截尾，那么可以對序列擬合MA(2)模型。根據(jù)偏自相關(guān)圖的特征，可能有人會認(rèn)為偏自相關(guān)系數(shù)１階截尾，那么可以對序列擬合AR(1)模型。擬合模型擬合模型一：根據(jù)自相關(guān)系數(shù)2階截尾，擬合MA(2)模型擬合模型二：根據(jù)自相關(guān)系數(shù)2階截尾，擬合AR(1)模型模型檢驗這兩個模型均顯著有效這兩個模型的所有參數(shù)均顯著非零問題同一個序列可以構(gòu)造兩個甚至多個擬合模型，每個模型都顯著有效，那么到底該選擇哪個模型用于統(tǒng)計推斷呢？解決辦法確定適當(dāng)?shù)谋容^準(zhǔn)則，構(gòu)造適當(dāng)?shù)慕y(tǒng)計量，確定相對最優(yōu)模型優(yōu)化標(biāo)準(zhǔn)AIC準(zhǔn)則最小信息量準(zhǔn)則（AnInformationCriterion）指導(dǎo)思想似然函數(shù)值越大越好未知參數(shù)的個數(shù)越少越好

AIC統(tǒng)計量SBC準(zhǔn)則AIC準(zhǔn)則的缺陷在樣本容量趨于無窮大時，由AIC準(zhǔn)則選擇的模型不收斂于真實模型，它通常比真實模型所含的未知參數(shù)個數(shù)要多SBC統(tǒng)計量例3.15續(xù)用AIC準(zhǔn)則和SBC準(zhǔn)則評判例4-7中兩個擬合模型的相對優(yōu)劣結(jié)果最小信息量檢驗顯示，無論是使用AIC準(zhǔn)則還是使用SBC準(zhǔn)則，AR(1)模型都要優(yōu)于MA(2)模型，所以本例中AR(1)模型是相對最優(yōu)模型。例4-7模型AICBICMA(2)538.706547.700AR(1)537.958544.703建模步驟0102單位根檢驗?zāi)Ｐ妥R別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預(yù)測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗?zāi)Ｐ蛢?yōu)化序列預(yù)測YN序列預(yù)測線性預(yù)測函數(shù)預(yù)測方差最小原則線性預(yù)測函數(shù)根據(jù)平穩(wěn)ARMA模型的可逆性，可以用AR結(jié)構(gòu)表達任意一個平穩(wěn)ARMA模型其中：這意味著使用遞推法，基于現(xiàn)有的序列觀察值可以預(yù)測未來任意時刻的序列值例4-8假設(shè)序列可以用ARMA(1,1)模型擬合，請確定該序列未來２期預(yù)測值中第t期和第t-1期序列值的權(quán)重。根據(jù)擬合模型結(jié)構(gòu)，求出逆函數(shù)未來兩期遞推公式預(yù)測方差最小原則預(yù)測誤差預(yù)測方差根據(jù)預(yù)測方差最小原則，得序列分解預(yù)測誤差預(yù)測值預(yù)測序列分解誤差分析估計誤差期望方差A(yù)R(p)序列的預(yù)測預(yù)測值預(yù)測方差95％置信區(qū)間例3.1