計量學-ARMA模型的自相關函數概述課件

（三）ARMA模型的自相關函數

由ARMA(p,q)的自協方差公式可以看出，只有的q個自相關的值同時依賴于和；當時，具有與AR(p)模型相同的自相關函數差分公式或者1（三）ARMA模型的自相關函數1若，自相關函數是指數或正弦波衰減的，具體由多項式和初始值決定。若，就會有個初始值不遵從一般的衰減變化形式。ARMA(p,q)的自相關函數是步拖尾的。這一事實在識別ARMA模型時也非常有用。2若，自相關函數ARMA(1,1)過程3ARMA(1,1)過程3二、偏自相關函數（partialautocorrelationfunction，PACF）時間序列過程的偏自相關函數就是時間序列在兩個時間隨機變量之間，排除了其間各個時間隨機變量影響的相關系數。4二、偏自相關函數（partialautocorrelati（一）AR(p)模型的偏自相關函數AR(p)的模型偏自相關函數定義為計算方法把對回歸，得到回歸方程其中最后一項的回歸系數就是要求的偏自相關系數。5（一）AR(p)模型的偏自相關函數5根據線性回歸法計算偏自相關函數，運用最小二乘法進行參數估計，得到正規(guī)方程組該方程組也可以認為是利用的協方差和自相關函數導出。尤勒——沃克方程如下6根據線性回歸法計算偏自相關函數，運用最小二乘法進行參數估計，分別求解，得到偏自相關系數：7分別求解，得到偏自相關系數：7由于AR(p)模型意味著與以后的滯后項不相關，因此大于p階的偏自相關系數必然都等于0。這意味著AR(p)模型的偏自相關函數有在處截尾的特征。這也是識別自回歸模型及其自回歸階數的重要依據。8由于AR(p)模型意味著與以后的滯后項不相（二）MA(q)和ARMA模型的偏自相關函數MA(1)的偏自相關函數

該函數，且被衰減指數控制，因此具有拖尾性?？赡娴腗A()過程等價于無限階的AR過程，因此它們的偏自相關函數會無限延伸，被指數衰減和（或）正弦波衰減所控制。總之都具有拖尾的特征。9（二）MA(q)和ARMA模型的偏自相關函數9自回歸移動平均混合過程ARMA(p,q)，是由自回歸過程和移動平均過程兩部分組成，因此它們的偏自相關函數也是無限延伸的，其特征就像純移動平均過程的偏自相關函數?；旌线^程的偏自相關函數被復合的衰減指數和（或）衰減正弦波所控制。衰減特性主要由移動平均過程的階數和具體參數決定。10自回歸移動平均混合過程ARMA(p,q)，是由自回歸過程和移三、模型識別方法1、基本ARMA模型自相關和偏自相關函數的基本特征（1）AR(p)模型的自相關函數是拖尾的，即會按指數衰減，或正弦振蕩衰減，偏自相關函數是截尾的，截尾處為自回歸階數p；（2）MA(q)模型的自相關函數是截尾的，截尾處對應移動平均階數q。偏自相關函數則是拖尾的；11三、模型識別方法11（3）ARMA(p,q)模型的自相關函數和偏自相關函數都是拖尾的，自相關函數是步拖尾，偏自相關函數是步拖尾。12（3）ARMA(p,q)模型的自相關函數和偏自相關函數都是拖2、樣本自相關函數和樣本偏自相關函數假設有一組觀測樣本，一般認為近似自相關函數最好的樣本自相關函數為：其中132、樣本自相關函數和樣本偏自相關函數13計算樣本偏自相關函數（SPACF）的方法：直接把樣本自相關值代入尤勒——沃克方程進行計算，或者用公式回歸的方法計算。14計算樣本偏自相關函數（SPACF）的方法：14第三節(jié)自回歸移動平均模型的估計ARMA模型的參數估計常用的方法是利用均值（期望）、自相關函數，包括Yule-Walker方程的矩估計方法。這些矩估計方法是一致估計，但未必有效。充分有效的估計方法是最大似然法，但最大似然法比較復雜。在樣本容量較大時矩估計與最大似然估計是接近的。15第三節(jié)自回歸移動平均模型的估計ARMA模型的參數估計常用的一、移動平均模型參數估計MA(q)模型的自協方差函數為自相關函數為16一、移動平均模型參數估計16首先利用樣本數據計算出的估計值把這q+1個樣本自協方差代自協方差函數中的，或者根據這些再計算出的估計代入自相關函數，并用和分別代自協方差或自相關函數中的待定參數和，可得到q+1個方程的聯立方程組。17首先利用樣本數據計算出的估計值17如果可以從這個方程組解出和，就是我們要求的參數估計值。也可以先解出真實參數與自協方差、自相關的關系，再代入樣本估計值。因為是時間序列過程的二階矩，上述估計量是通過q+1個樣本矩方程求出的，所以是矩估計量，具有一致估計的性質。18如果可以從這個方程組解出和，就是q=1時的參數估計方法一：直接利用一階自相關函數進行參數估計19q=1時的參數估計19由于可逆性條件要求的絕對值小于1，因此只有滿足要求。把樣本自相關系數作為的估計代入上式，就可以解得模型參數的估計量20由于可逆性條件要求的絕對值小于1，因此只有20方法二：利用自協方差函數進行估計MA(1)模型有求解上述方程組，并利用，可解得21方法二：利用自協方差函數進行估計21代入樣本自相關和自協方差得模型參數和模型誤差項方差的估計量由于上述矩估計的方程組是非線性的，因此只有當q較?。╭=1、2、3）時，直接進行解析求解才可行，當更大時解析求解越來越困難，一般應使用迭代方法求近似解。22代入樣本自相關和自協方差得模型參數和模型誤差項方差最簡單的迭代方法把MA(q)模型的自協方差公式代入估計量，并變換為23最簡單的迭代方法23首先給出參數的一組初始值：將它們和代入上述兩個迭代公式，計算出參數的第一次迭代值，，再將這些參數值代入迭代公式反復迭代，直到收斂。最后得到迭代值作為參數估計值。24首先給出參數的一組初始值：24二、自回歸模型參數估計（一）普通最小二乘估計OLS根據模型，殘差平方和為根據最小二乘原理，利用一階條件求上述最小二乘函數最小化的參數值，即為最小二乘估計。25二、自回歸模型參數估計25（二）利用樣本自協方差方程的矩估計對于一般的平穩(wěn)AR(p)模型，有關于自相關的一組關系，即Yule-Walker方程：26（二）利用樣本自協方差方程的矩估計26利用樣本數據計算出樣本自相關，代入上述Yule-Walker方程，可以解得的“Yule-Walker估計”：27利用樣本數據計算出樣本自相關27該模型中修正項的方差則可以用下式估計：因為計算估計量的方程組是樣本自相關函數，也是二階樣本矩方程，因此Yule-Walker估計同樣是矩估計量，也是一致估計。28該模型中修正項的方差則可以用下式估計：28當樣本容量足夠大時，OLS法和矩估計方法的結果是很相似的。在使用OLS法時需要注意的是，AR(p)模型回歸用的是一個時間序列的數據，各期滯后之間相關性較強，因此回歸結果的有效性往往有問題，必須時間序列的樣本容量比較大，而且還要排斥存在共線性問題。29當樣本容量足夠大時，OLS法和矩估計方法的結果是很相似的。2三、自回歸移動平均模型參數估計ARMA(p,q)模型的個參數可分兩步進行估計步驟一：先估計出其中的自回歸參數；步驟二：估計移動平均系數和。30三、自回歸移動平均模型參數估計30（一）估計自回歸參數因為當時，ARMA(p,q)模型的自相關函數與AR(p)相同的性質，因此31（一）估計自回歸參數31利用樣本自相關函數值，可計算出的估計量：32利用樣本自相關函數值，可計算出的估計量：32（二）估計移動平均系數模型改寫成令，并讓作為一個變量代入，則模型近似為就是一個MA(q)模型，可以利用前面介紹的MA(q)模型矩方法估計其中的參數和33（二）估計移動平均系數33可以利用原時間序列的自協方差和前面得到的自回歸系數估計，計算出的自協方差，進而計算出自相關系數。再代入MA(q)模型矩估計的樣本自相關函數，就可以用前面介紹的方法得到和的參數估計。3434第四節(jié)ARMA模型檢驗和預測一、ARMA模型檢驗ARMA模型最主要的檢驗是殘差序列隨機性檢驗，也就是在用所選擇的模型進行參數估計以后，確定殘差序列是無序列相關的白噪聲，還是存在序列相關性：如果仍然存在明顯的序列相關性，意味著選擇的模型沒有把原時間序列中的信息全部模擬出來，或者說存在一定的偏差，模型需要修正。如果殘差序列已經是白噪聲，則所選擇的模型比較合理。35第四節(jié)ARMA模型檢驗和預測一、ARMA模型檢驗35檢驗殘差是否白噪聲的方法（一）是根據殘差序列的樣本自相關函數SACF，樣本偏自相關函數SPACF，看它們是否在統計上具有顯著性。（二）利用SACF，用專門的統計量

~36檢驗殘差是否白噪聲的方法36一般的參數顯著性t檢驗，確定模型及其階數的信息準則SIC和AIC，也都對ARMA模型的選擇，對自回歸、移動平均階數的確定有參考價值。在應用時應該綜合考慮這些因素。BOX等建議采用“過擬合方法”進行檢驗。即先設定參數較多，階數較高的模型，然后根據顯著性和模型選擇、判斷準則逐步簡化。這種方法有一定道理，但有時也有問題。37一般的參數顯著性t檢驗，確定模型及其階數的信息準則SIC和A二、ARMA模型預測（一）ARMA模型預測原理預測的前提是已確定了模型，并且已經作了參數估計和進行了基本的檢驗。檢驗評估模型的預測往往把觀測數據分成兩部分，一部分用于估計參數，另一部分則用于檢驗模型的預測效果，從而判斷模型的有效性。時間序列模型預測的一般準則是均方誤（MSE）最小，而均方誤最小的預測就是條件期望預測。38二、ARMA模型預測38（二）MA模型預測MA模型預測的前提是移動平均參數、擾動方差，以及不可觀測的擾動都得到了估計，后者通常是利用AR形式進行估計的。方便起見，在預測分析中仍然用原來符號表示參數和擾動項的估計值，并只討論無常數項模型的預測。39（二）MA模型預測391、MA(1)模型預測（1）一步預測因此一步預測為預測誤差的方差為401、MA(1)模型預測40（2）二步預測因此二步預測為預測誤差的方差為對于任意h>2，MA(1)模型的h步預測也都為0，預測方差則都為41（2）二步預測412、MA(2)模型預測（1）一步預測因此一步預測為預測誤差的方差為422、MA(2)模型預測42（2）二步預測因此二步預測為預測誤差的方差為對于任意h>2，MA(2)模型的h步預測也都為0，預測方差則都為。43（2）二步預測433、MA(q)模型預測h步預測的公式:其中，且對于，。h步預測誤差的方差443、MA(q)模型預測44（三）AR模型預測1、AR(1)模型預測（1）一步預測因此一步預測為預測誤差的方差為45（三）AR模型預測45（2）二步預測因此二步預測為預測誤差的方差為46（2）二步預測46（3）h步預測()預測為預測誤差的方差為47（3）h步預測()472、AR(2)模型預測（1）一步預測因此一步預測為預測誤差的方差為482、AR(2)模型預測48（2）二步預測因此二步預測為預測誤差的方差為49（2）二步預測49（3）三步預測預測為預測誤差的方差為對三步以上的預測則更復雜，把模型轉變?yōu)橐苿悠骄Ｐ秃箢A測會更容易一些。50（3）三步預測503、MA(q)模型預測h步預測的公式:其中，且對于，。h步預測誤差的方差513、MA(q)模型預測51（四）ARMA(1,1)模型的預測一步預測因此一步預測為預測誤差方差為52（四）ARMA(1,1)模型的預測52二步預測因此二步預測為預測誤差的方差為53二步預測53（五）預測的比較可以用不同模型預測的均方預測誤差，即各步預測誤差平方和除預測步數，作為判斷標準。例如作了m步預測，意味著留了m個樣本數據作為預測用，那么就是判斷模型預測性能，選擇模型的重要依據。54（五）預測的比較54（三）ARMA模型的自相關函數

由ARMA(p,q)的自協方差公式可以看出，只有的q個自相關的值同時依賴于和；當時，具有與AR(p)模型相同的自相關函數差分公式或者55（三）ARMA模型的自相關函數1若，自相關函數是指數或正弦波衰減的，具體由多項式和初始值決定。若，就會有個初始值不遵從一般的衰減變化形式。ARMA(p,q)的自相關函數是步拖尾的。這一事實在識別ARMA模型時也非常有用。56若，自相關函數ARMA(1,1)過程57ARMA(1,1)過程3二、偏自相關函數（partialautocorrelationfunction，PACF）時間序列過程的偏自相關函數就是時間序列在兩個時間隨機變量之間，排除了其間各個時間隨機變量影響的相關系數。58二、偏自相關函數（partialautocorrelati（一）AR(p)模型的偏自相關函數AR(p)的模型偏自相關函數定義為計算方法把對回歸，得到回歸方程其中最后一項的回歸系數就是要求的偏自相關系數。59（一）AR(p)模型的偏自相關函數5根據線性回歸法計算偏自相關函數，運用最小二乘法進行參數估計，得到正規(guī)方程組該方程組也可以認為是利用的協方差和自相關函數導出。尤勒——沃克方程如下60根據線性回歸法計算偏自相關函數，運用最小二乘法進行參數估計，分別求解，得到偏自相關系數：61分別求解，得到偏自相關系數：7由于AR(p)模型意味著與以后的滯后項不相關，因此大于p階的偏自相關系數必然都等于0。這意味著AR(p)模型的偏自相關函數有在處截尾的特征。這也是識別自回歸模型及其自回歸階數的重要依據。62由于AR(p)模型意味著與以后的滯后項不相（二）MA(q)和ARMA模型的偏自相關函數MA(1)的偏自相關函數

該函數，且被衰減指數控制，因此具有拖尾性?？赡娴腗A()過程等價于無限階的AR過程，因此它們的偏自相關函數會無限延伸，被指數衰減和（或）正弦波衰減所控制?？傊季哂型衔驳奶卣鳌?3（二）MA(q)和ARMA模型的偏自相關函數9自回歸移動平均混合過程ARMA(p,q)，是由自回歸過程和移動平均過程兩部分組成，因此它們的偏自相關函數也是無限延伸的，其特征就像純移動平均過程的偏自相關函數?；旌线^程的偏自相關函數被復合的衰減指數和（或）衰減正弦波所控制。衰減特性主要由移動平均過程的階數和具體參數決定。64自回歸移動平均混合過程ARMA(p,q)，是由自回歸過程和移三、模型識別方法1、基本ARMA模型自相關和偏自相關函數的基本特征（1）AR(p)模型的自相關函數是拖尾的，即會按指數衰減，或正弦振蕩衰減，偏自相關函數是截尾的，截尾處為自回歸階數p；（2）MA(q)模型的自相關函數是截尾的，截尾處對應移動平均階數q。偏自相關函數則是拖尾的；65三、模型識別方法11（3）ARMA(p,q)模型的自相關函數和偏自相關函數都是拖尾的，自相關函數是步拖尾，偏自相關函數是步拖尾。66（3）ARMA(p,q)模型的自相關函數和偏自相關函數都是拖2、樣本自相關函數和樣本偏自相關函數假設有一組觀測樣本，一般認為近似自相關函數最好的樣本自相關函數為：其中672、樣本自相關函數和樣本偏自相關函數13計算樣本偏自相關函數（SPACF）的方法：直接把樣本自相關值代入尤勒——沃克方程進行計算，或者用公式回歸的方法計算。68計算樣本偏自相關函數（SPACF）的方法：14第三節(jié)自回歸移動平均模型的估計ARMA模型的參數估計常用的方法是利用均值（期望）、自相關函數，包括Yule-Walker方程的矩估計方法。這些矩估計方法是一致估計，但未必有效。充分有效的估計方法是最大似然法，但最大似然法比較復雜。在樣本容量較大時矩估計與最大似然估計是接近的。69第三節(jié)自回歸移動平均模型的估計ARMA模型的參數估計常用的一、移動平均模型參數估計MA(q)模型的自協方差函數為自相關函數為70一、移動平均模型參數估計16首先利用樣本數據計算出的估計值把這q+1個樣本自協方差代自協方差函數中的，或者根據這些再計算出的估計代入自相關函數，并用和分別代自協方差或自相關函數中的待定參數和，可得到q+1個方程的聯立方程組。71首先利用樣本數據計算出的估計值17如果可以從這個方程組解出和，就是我們要求的參數估計值。也可以先解出真實參數與自協方差、自相關的關系，再代入樣本估計值。因為是時間序列過程的二階矩，上述估計量是通過q+1個樣本矩方程求出的，所以是矩估計量，具有一致估計的性質。72如果可以從這個方程組解出和，就是q=1時的參數估計方法一：直接利用一階自相關函數進行參數估計73q=1時的參數估計19由于可逆性條件要求的絕對值小于1，因此只有滿足要求。把樣本自相關系數作為的估計代入上式，就可以解得模型參數的估計量74由于可逆性條件要求的絕對值小于1，因此只有20方法二：利用自協方差函數進行估計MA(1)模型有求解上述方程組，并利用，可解得75方法二：利用自協方差函數進行估計21代入樣本自相關和自協方差得模型參數和模型誤差項方差的估計量由于上述矩估計的方程組是非線性的，因此只有當q較小（q=1、2、3）時，直接進行解析求解才可行，當更大時解析求解越來越困難，一般應使用迭代方法求近似解。76代入樣本自相關和自協方差得模型參數和模型誤差項方差最簡單的迭代方法把MA(q)模型的自協方差公式代入估計量，并變換為77最簡單的迭代方法23首先給出參數的一組初始值：將它們和代入上述兩個迭代公式，計算出參數的第一次迭代值，，再將這些參數值代入迭代公式反復迭代，直到收斂。最后得到迭代值作為參數估計值。78首先給出參數的一組初始值：24二、自回歸模型參數估計（一）普通最小二乘估計OLS根據模型，殘差平方和為根據最小二乘原理，利用一階條件求上述最小二乘函數最小化的參數值，即為最小二乘估計。79二、自回歸模型參數估計25（二）利用樣本自協方差方程的矩估計對于一般的平穩(wěn)AR(p)模型，有關于自相關的一組關系，即Yule-Walker方程：80（二）利用樣本自協方差方程的矩估計26利用樣本數據計算出樣本自相關，代入上述Yule-Walker方程，可以解得的“Yule-Walker估計”：81利用樣本數據計算出樣本自相關27該模型中修正項的方差則可以用下式估計：因為計算估計量的方程組是樣本自相關函數，也是二階樣本矩方程，因此Yule-Walker估計同樣是矩估計量，也是一致估計。82該模型中修正項的方差則可以用下式估計：28當樣本容量足夠大時，OLS法和矩估計方法的結果是很相似的。在使用OLS法時需要注意的是，AR(p)模型回歸用的是一個時間序列的數據，各期滯后之間相關性較強，因此回歸結果的有效性往往有問題，必須時間序列的樣本容量比較大，而且還要排斥存在共線性問題。83當樣本容量足夠大時，OLS法和矩估計方法的結果是很相似的。2三、自回歸移動平均模型參數估計ARMA(p,q)模型的個參數可分兩步進行估計步驟一：先估計出其中的自回歸參數；步驟二：估計移動平均系數和。84三、自回歸移動平均模型參數估計30（一）估計自回歸參數因為當時，ARMA(p,q)模型的自相關函數與AR(p)相同的性質，因此85（一）估計自回歸參數31利用樣本自相關函數值，可計算出的估計量：86利用樣本自相關函數值，可計算出的估計量：32（二）估計移動平均系數模型改寫成令，并讓作為一個變量代入，則模型近似為就是一個MA(q)模型，可以利用前面介紹的MA(q)模型矩方法估計其中的參數和87（二）估計移動平均系數33可以利用原時間序列的自協方差和前面得到的自回歸系數估計，計算出的自協方差，進而計算出自相關系數。再代入MA(q)模型矩估計的樣本自相關函數，就可以用前面介紹的方法得到和的參數估計。8834第四節(jié)ARMA模型檢驗和預測一、ARMA模型檢驗ARMA模型最主要的檢驗是殘差序列隨機性檢驗，也就是在用所選擇的模型進行參數估計以后，確定殘差序列是無序列相關的白噪聲，還是存在序列相關性：如果仍然存在明顯的序列相關性，意味著選擇的模型沒有把原時間序列中的信息全部模擬出來，或者說存在一定的偏差，模型需要修正。如果殘差序列已經是白噪聲，則所選擇的模型比較合理。89第四節(jié)ARMA模型檢驗和預測一、ARMA模型檢驗35檢驗殘差是否白噪聲的方法（一）是根據殘差序列的樣本自相關函數SACF，樣本偏自相關函數SPACF，看它們是否在統計上具有顯著性。（二）利用SACF，用專門的統計量

~90檢驗殘差是否白噪聲的方法36一般的參數顯著性t檢驗，確定模型及其階數的信息準則SIC和AIC，也都對ARMA模型的選擇，對自回歸、移動平均階數的確定有參考價值。在應用時應該綜合考慮這些因素。BOX等建議采用“過擬合方法”進行檢驗。即先設定參數較多，階數較高的模型，然后根據顯著性和模型選擇、判斷準則逐步簡化。這種方法有一定道理，但有時也有問題。91一般的參數顯著性t檢驗，確定模型及其階數的信息準則SIC和A二、ARMA模型預測（一）ARMA模型預測原理預測的前提是已確定了模型，并且已經作了參數估計和進行了基本的檢驗。檢驗評估模型的預測往往把觀測數據分成兩部分，一部分用于估計參數，另一部分則用于檢驗模型的預測效果，從而判斷模型的有效性。時間序列模型預測的一般準則是均方誤（MSE）最小，而均方誤最小