時間序列分析電子科大第六章

§6.4ARMA模型階的確定

基于假定模型的階已知的前提下介紹了參數(shù)估計的方法.

對動態(tài)數(shù)據(jù)進行相關分析，初步判別模型類別以及階的初步估計.有各類判定模型階數(shù)的方法一、相關函數(shù)定階法

用相關函數(shù)的截尾性判別方法給出模型階的初步估計.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第1頁!

例6.4.1設{εt}是標準正態(tài)白噪聲，{xt}是滿足下AR(4)模型的模擬序列（N=300）直線方程為計算偏相關函數(shù)，可初估計時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第2頁!

對p=1,2,…,10分別求參數(shù)和噪聲方差的y-w估計，可得時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第3頁!

類似于統(tǒng)計學中多元回歸分析的逐步回歸法，通過假設檢驗來確定階數(shù).原假設：序列滿足AR(k)模型；備擇假設：序列滿足AR(k+1)模型.二、殘差方差圖定階法

結(jié)論用一系列階數(shù)逐次遞增的AR(k)模型擬合原模型，其殘差的方差一般隨著k的增大而逐漸下降，當k=p以后變動幅度會趨小.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第4頁!3）觀察殘差方差圖，若從k*

始基本保持不變(無明顯下降趨勢),就可令注1

殘差方差圖方法是一種觀察試驗方法，無定量判斷的準則.2）畫出的殘差方差圖；定階步驟:1）分別用AR(k)模型(k=1,2,…,M)擬合觀察數(shù)據(jù),計算相應的殘差方差(k=1,2,…,M)；時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第5頁!自相關函數(shù)圖時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第6頁!模型階數(shù)從1升至2，殘差方差大幅度減小，升至5后殘差方差反而略有增加.殘差方差圖時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第7頁!1.FPE(最終預報誤差)準則不足擬合與過度擬合都會使預報誤差增大.

日本學者赤池(Akaike)思想

AR模型的階數(shù)估計值不能取過大，也不能過小.過大會導致模型的復雜度增大，使參數(shù)估計值的不確定性增大；過小使擬合模型與真實模型差異過大.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第8頁!分析

(6.4.2)中有兩個因子:1)因子依賴于k,其大小反映了模型與數(shù)據(jù)的擬合程度；2)個因子隨k

增大而增大,放大了殘差方差的不確定性影響.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第9頁!AIC準則可應用于ARMA模型及其他統(tǒng)計模型(如多項式回歸定階).

能在模型參數(shù)極大似然估計的基礎上，對于ARMA(p,q)的階數(shù)和相應的參數(shù)，同時給出一種最佳估計.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第10頁!分析：應使K—L信息量達到最小值.兩個函數(shù)接近程度越高,K-L信息量越小時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第11頁!AIC注1

若估計模型與真實模型存在較大的差異時，或階數(shù)估計偏低時，上式中右端的項會顯著變大，第二項則作用不大；注2若階數(shù)估計偏高時，上式中第二項起主要作用.

上式是對兩方面的加權(quán)平均(權(quán)系數(shù)為2).時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第12頁!(6.4.7)式中為殘差方差.m為參數(shù)個數(shù),有ARMA(p,q)模型:m=p+q+1;AR(p)模型:m=p+1;MA(q)模型:m=q+1;注由AIC準則定出的階數(shù)估計不是模型真實階數(shù)的相合估計，一般階數(shù)估計值偏大.在N充分大而且固定的條件下時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第13頁!

結(jié)論當N充分大時,AIC和FPE準則給出的階數(shù)估計值相同,FPE準則也可以用于ARMA模型定階.四、BIC準則AIC準則避免了統(tǒng)計檢驗中由于選取置信度而產(chǎn)生的人為性，為模型定階帶來許多方便.但AIC方法未給出相容估計.Akaike（1976）提出新的定階準則—BIC時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第14頁!

例6.4.1設{et}是標準正態(tài)白噪聲，{xt}是滿足AR(4)模型的模擬序列（N=300）已初步估計，計算AIC和BIC函數(shù)如下兩種方法都估計出僅是一次估計結(jié)論

現(xiàn)模擬1000條序列，每次N=300，有以下結(jié)果時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第15頁!有Ave(AIC)=4.589;

Ave(BIC)=3.996；

對較大樣本長度N，仍應綜合考慮兩種定階方法.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第16頁!記聯(lián)合概率密度為

例5.5.1

若樣本是零均值正態(tài)隨機變量，其聯(lián)合概率密度為

其中是協(xié)方差矩陣.對給定樣本值時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第17頁!設{Xt

}是零均值正態(tài)ARMA序列，給定樣本的樣本值聯(lián)合概率密度為其中協(xié)方差矩陣.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第18頁!記是ARMA模型的參數(shù)向量,均值Eβ

表示是參數(shù)向量β的函數(shù).（5.5.2）

注對一般ARMA模型，其參數(shù)的似然函數(shù)及極大似然估計要復雜許多.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第19頁!N充分大時，的極值點與（5.5.3）的極值點幾乎一樣.近似似然函數(shù)定義稱是平方和函數(shù).時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第20頁!

若時間序列{Xt

}實際是p階有限自回歸模型AR(p),其噪聲方差為,如果選擇AR(k)模型進行擬合，則1）若k<p(稱為不足擬合),其剩余平方和Q必然增大，有2）若k>p(稱為過擬合),不會顯著減小，有可能還略有增大.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第21頁!Jenkins—Whitt方法：利用殘差方差圖判定AR模型階數(shù).殘差方差的估計式為(6.4.1)其中時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第22頁!注2

若觀察數(shù)據(jù)不是來自AR模型時,常常不是單調(diào)下降的.例6.4.2下圖是一磨輪剖面資料的數(shù)據(jù)圖時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第23頁!偏相關函數(shù)圖時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第24頁!二、最佳準則函數(shù)定階法

通常是先定義一個與模型參數(shù)有關的準則函數(shù):1)考慮擬合時對數(shù)據(jù)的接近程度；2）考慮模型中待定系數(shù)的個數(shù).使準則函數(shù)達到最小值的模型是最佳模型.取使準則函數(shù)為最小的階數(shù)值作為估計值.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第25頁!

Akaike提出用最終預報誤差準則(FinalPredictionError,記為FPE)來判定AR模型的階數(shù).導出目標函數(shù)(6.4.2)其中N為樣本長度,k為模型階數(shù)，為相應的殘差方差估計.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第26頁!Akaike準則選擇使(6.4.3)

成立的p為AR模型的階數(shù)估計值,若有多個則取其中最小者.Akaike從信息論的概念導出適用面廣泛的統(tǒng)計模型準則—AIC準則(AkaikeInformationCriterion).2.最小信息準則(AIC)時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第27頁!1）最小信息準則AIC的一般形式

設是隨機向量,其概率密度為，屬于概率密度族，是模型的參數(shù)向量，且基本思想：利用K—L(Kull-back,Leibler)信息量(6.4.4)來刻劃與的接近程度.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第28頁!使K—L信息量達到最小值,即(6.4.5)可求出最小信息準則AIC的一般形式為(6.4.6)結(jié)論可證明AIC的一般形式是K—L信息量的漸近無偏相容估計.m為參數(shù)個數(shù)時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第29頁!Akaike原則從一組可供選擇的模型中，應選取AIC為最小的模型.2）ARMA、AR、MA模型

在一定條件下(參見公式5.5.3),ARMA模型的對數(shù)似然函數(shù)可近似為其中因見公式（5.5.4）時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第30頁!3.AIC準則與FPE準則的關系AIC準則與FPE準則有漸近等價關系：證時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第31頁!(6.4.8)式中m=p+q+1表示自由參數(shù)個數(shù).注1AIC和BIA的差別是用mlnN替代2m，使利用多余參數(shù)的代價增大.一般BIC階數(shù)估計值比AIC階數(shù)估計值低.注2BIC準則可以給出階數(shù)的相容估計.時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第32頁!有Ave(AIC)=4.413;

Ave(BIC)=3.039；BIC定階對階數(shù)的低估比例達51.1%；增大樣本長度N可改善這種情況.

模擬1000條序列，每次N=1000，有以下結(jié)果時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第33頁!§5.5ARMA模型參數(shù)的精估計

—極大似然估計(最小平方和估計)一、極大似然估計（ML估計）建立在極大似然準則上的估計.設隨機序列{Yt}的有限維概率密度存在,由一組參數(shù)惟一確定,聯(lián)合概率密度是參數(shù)向量β和樣本的函數(shù).時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第34頁!為對數(shù)似然函數(shù).

的極大似然估計.定義注必需已知聯(lián)合概率密度.二、ARMA序列參數(shù)的極大似然函數(shù)時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第35頁!對數(shù)似然函數(shù)為為顯含參數(shù),令（5.5.1）時間序列分析電子科大第六章共38頁，您現(xiàn)在瀏覽的是第36頁!三、ARMA序列參數(shù)的近似極大似然方法應選擇βML