ARIMA時間序列建模過程——原理及python實現(xiàn)

1、ARIMA時間序列建模過程一一原理及python實現(xiàn)ARIMA模型的全稱叫做自回歸查分移動平均模型，全稱是(ARIMA,AutoregressiveIntegratedMovingAverageModel),是統(tǒng)計模型(statisticmodel)中最常見的一種用來進行時間序列預測的模型，AR、MA、ARMA模型都可以看作它的特殊形式。1. ARIMA的優(yōu)缺點優(yōu)點：模型十分簡單，只需要內(nèi)生變量而不需要借助其他外生變量。缺點：要求時序數(shù)據(jù)是穩(wěn)定的(stationary),或者是通過差分化(differencing)后是穩(wěn)定的；本質(zhì)上只能捕捉線性關系，而不能捕捉非線性關系。2. ARIMA的參數(shù)

2、與數(shù)學形式ARIMA模型有三個參數(shù)：p,d,q。p-代表預測模型中采用的時序數(shù)據(jù)本身的滯后數(shù)(lags),也叫做AR/Auto-Regressive項；d-代表時序數(shù)據(jù)需要進行幾階差分化，才是穩(wěn)定的，也叫Integrated項;q-代表預測模型中采用的預測誤差的滯后數(shù)(lags),也叫做MA/MovingAverage項。差分：假設y表示t時刻的Y的差分。ifd=0,yt=Yt,ifd=1,yt=Yt-Yt-1,ifd=2,yt=(Yt-Yt-1)-(Yt-1-Yt-2)=Yt-2Yt-1+Yt-2ARIMA的預測模型可以表示為：Y的預測值=白噪音+1個或多個時刻的加權+一個或多個時刻的預測誤

3、差。假設p,q,d已知，ARIMA用數(shù)學形式表示為：yt?=w?1?yt-1+.+?p?yt-p+0l?et-1+.+怒t-q其中,？表示AR的系數(shù)，裱示MA的系數(shù)3.Python建模#構建初始序列importnumpyasnpimportmatplotlib.pyplotaspltimportstatsmodels.apiassmfromstatsmodels.graphics.tsaplotsimportacf,pacf,plot_acf,plot_pacffromstatsmodels.tsa.arima_modelimportARMAfromstatsmodels.tsa.arima_

4、modelimportARIMA#序列化time_series_=pd.Series(151.0,188.46,199.38,219.75,241.55,262.58,328.22,396.26,442.04,517.77,626.52,717.08,824.38,913.38,1088.39,1325.83,1700.92,2109.38,2499.77,2856.47,3114.02,3229.29,3545.39,3880.53,4212.82,4757.45,5633.24,6590.19,7617.47,9333.4,11328.92,12961.1,15967.61)time_se

5、ries_.index=pd.Index(sm.tsa.datetools.dates_from_range('1978','2010')time_series_.plot(figsize=(12,8)plt.show()3.1 異常值及缺失值處理異常值一般采用移動中位數(shù)方法：frompandasimportrolling_medianthreshold=3#指的是判定一個點為異常的閾值df'pandas'=rolling_median(df'u',window=3,center=True).fillna(method='

6、bfill').fillna(method='ffill')#df'u'是原始數(shù)據(jù)，df'pandas'是求移動中位數(shù)后的結果，window指的是移動平均的窗口寬度difference=np.abs(df'u'-df'pandas')outlier_idx=difference>threshold缺失Q股是用均值代替(若連續(xù)缺失，且序列不平穩(wěn)，求查分時可能出現(xiàn)nan)或直接刪除。3.2 判斷是時序數(shù)據(jù)是穩(wěn)定的方法一般是觀察時序圖(穩(wěn)定的數(shù)據(jù)是沒有趨勢(trend),沒有周期性(seasonality)

7、的；即它的均值，在時間軸上擁有常量的振幅，并且它的方差，在時間軸上是趨于同一個穩(wěn)定的值的。該方式并不嚴謹)或單位跟檢測(ADF是一種常用的單位根檢驗方法，他的原假設為序列具有單位根，即非平穩(wěn)，對于一個平穩(wěn)的時序數(shù)據(jù)，就需要在給定的置信水平上顯著，拒絕原假設。如果ADF統(tǒng)計量比臨界值的值小，則可在該顯著性水平下，拒絕原序列存在單位根的原假設，即原序列是平穩(wěn)的。反之，則接受原假設，是非平穩(wěn)序列)確定。ADF檢驗：t=sm.tsa.stattools.adfuller(time_series_log,)#ADF檢測output=pd.DataFrame(index='TestStatisti

8、cValue',"p-value","LagsUsed","NumberofObservationsUsed","CriticalValue(1%)","CriticalValue(5%)","CriticalValue(10%)”,columns='value')output'value''TestStatisticValue'=t0output'value''p-value'=t1output&

9、#39;value''LagsUsed'=t2output'value''NumberofObservationsUsed'=t3output'value''CriticalValue(1%)'=t4'1%'output'value''CriticalValue(5%)'=t4'5%'output'value''CriticalValue(10%)'=t4'10%'print(output)#gu

10、t#valueTestStatisticValue0.807369p-value0.991754LagsUsed1NumberofObservationsUsed31CriticalValue(1%)-3.66143CriticalValue(5%)-2.96053CriticalValue(10%)-2.619323.3 不平穩(wěn)處理1)對數(shù)處理。對數(shù)處理可以減小數(shù)據(jù)的波動；time_series_log=np.log(time_series_)time_series_log.plot(figsize=(8,6)v0=time_series_log0print(np.exp(time_seri

11、es_log)plt.show()2)差分。一般來說，非純隨機的時間序列經(jīng)過一階差分或二階差分就會變得平穩(wěn)。在保證ADF檢驗的p<0.01的情況下，階數(shù)越小越好，否則會帶來樣本減少、還原序列麻煩、預測困難等問題。time_series=time_series_log.diff(1)time_series=time_series.dropna(how=any)time_series.plot(figsize=(8,6)plt.show()3.4 參數(shù)確定？關于pdq的選擇一般是通過計算自相關系數(shù)(acf)和偏相關系數(shù)確定(pacf),觀察兩個相關系數(shù)圖確定，平穩(wěn)的序列的自相關圖和偏相關圖要

12、么拖尾，要么是截尾。截尾就是在某階之后，系數(shù)都為0或趨于0,拖尾就是有一個緩慢衰減的趨勢，但是不都為0。自相關系數(shù)ACF二偏相關系數(shù)PACF；模型選擇拖尾p階截尾AR(p)q階截尾拖尾MA(q)p階拖尾q階拖尾ARMA(p,q)同時，還可利用aic、bic統(tǒng)計量自動確定plot_acf(time_series)#acf圖plot_pacf(time_series)#pacf圖plt.show()#bic最小化選擇最優(yōu)參數(shù)，aic同理defproper_model(data_ts,maxLag):#init_bic=sys.maxint/python2init_bic=sys.maxsizein

13、it_p=0init_q=0forpinnp.arange(maxLag):forqinnp.arange(maxLag):model=ARMA(data_ts,order=(p,q)try:results_ARMA=model.fit()except:continuebic=results_ARMA.bicifbic<init_bic:init_p=pinit_q=qinit_bic=bicreturninit_bic,init_p,init_q3.5 模型擬合b,p,q=proper_model(time_series,10)arima_mod=ARIMA(time_series_,

14、order=(p,0,q)arma_mod=ARMA(time_series_,order=(p,q)result_arma=arma_mod.fit()3.6 模型檢測假設檢驗，判斷(診斷)殘差序列是否為白噪聲序列從而確定模型優(yōu)劣。Ljung-Boxtest是對randomness的檢驗,或者說是對時間序列是否存在滯后相關的一種統(tǒng)計檢驗。對于滯后相關的檢驗，我們常常采用的方法還包括計算ACF和PCAF并觀察其圖像，但是無論是ACF還是PACF都僅僅考慮是否存在某一特定滯后階數(shù)的相關。LB檢驗則是基于一系列滯后階數(shù)，判斷序列總體的相關性或者說隨機性是否存在。給定置信值a(0.05、0.01.)

15、,如果p值大于a值則接受原假定，即序列為白噪聲序列，否認序列存在相關性。fromstatsmodels.stats.diagnosticimportacorrljungboxp_value=acorr_ljungbox(result_arima.resid.values.squeeze(),lags=5)1print(p_value)3.7 模型預測result_arma_pre=result_arma.predict(start='2011',end='2011')result_arima=arima_mod.fit()result_arima_pre=res

16、ult_arima.predict(start='2011',end='2011')print(result_arma_pre)print(result_arima_pre)如果對序列使電了差分，最后則需要對結果進行還原操作:# print(result_arma_pre)# v0=time_series_log0# realV=口# realI=口# preV=口# preI=口# realV.append(v0)# preV.append(v0)# foriinrange(len(time_series_log):# realI.append(str(tim

17、e_series_log.indexi).split('')0.split('-')0)# preI.append(str(time_series_log.indexi).split('')0.split('-')0)# foriinrange(len(time_series):# v=v0+time_seriesi# v0=v# realV.append(v)# preV.append(v)# v1=realVlen(realV)-1# foriinrange(len(result_arma_pre):# v=v1+result_arma_prei# v1=v# preV.a