時間序列分析-第四章 均值和自協(xié)方差函數的估計

1、.,第四章,均值和自協(xié)方差函數的估計,.,本章結構,均值的估計 自協(xié)方差函數的估計 白噪聲檢驗,.,4.1 均值的估計,相合性 中心極限定理 收斂速度 的模擬計算,.,均值、自協(xié)方差函數的作用,AR,MA,ARMA模型的參數可以由自協(xié)方差函數唯一確定。 有了樣本之后，可以先估計均值和自協(xié)方差函數。 然后由均值和自協(xié)方差函數解出模型參數。 均值和自協(xié)方差可以用矩估計法求。 還要考慮相合性，漸進分布，收斂速度等問題。,.,均值估計公式,設 是平穩(wěn)列 的觀測。 的點估計為 把觀測樣本看成隨機樣本時記作大寫的,.,相合性,設統(tǒng)計量 是 的估計，在統(tǒng)計學中有如下的定義 1 如果 ，則稱 是 的無偏估計。

2、 2 如果當 則稱 是 的漸 進無偏估計。 3 如果 依概率收斂到 ，則稱 是 的相合估計。 4如果 收斂到 ，則稱 是 的強相合估計。,.,一般情況下，無偏估計比有偏估計來得好，對于由(1.1)定義的 。有 所以 是均值 的無偏估計。,.,均值估計的相合性,好的估計量起碼應是相合的。否則，估計量不收斂到要估計的參數，它無助于實際問題的解決。 對于平穩(wěn)序列 ，如果它的自協(xié)方差函數 收斂到零，則：,.,.,利用切比雪夫不等式 得到 依概率收斂到 。于是 是 的相合估計。,.,均值估計的性質,定理1.1 設平穩(wěn)序列 有均值 和自協(xié)方差函數 。則 1 是 的無偏估計。 2 如果 則 是 的相合估計。

3、 3 如果 還是嚴平穩(wěn)遍歷序列，則 是 的強相合估計。,.,第三條結論利用1.5的遍歷定理5.1可得。 一般地，任何強相合估計一定是相合估計。 線性平穩(wěn)列的均值估計是相合估計。 ARMA模型的均值估計是相合估計。,.,獨立同分布樣本的中心極限定理,若 。則 可以據此計算 的 置信區(qū)間。 (1.3) 其中的1.96也經常用2近似代替。,.,平穩(wěn)列的均值估計的中心極限定理,定理1.2 設 是獨立同分布的 ，線性平穩(wěn)序列 由 (1.5) 定義。其中 平方可和。如果 的譜密度 (1.6) 在 連續(xù)，并且 則當 時，,.,推論,當 絕對可和時， 連續(xù)。 推論1.3 如果 和 成立，則當 時 并且 (1.

4、7),.,收斂速度,相合的估計量漸進性質除了是否服從中心極限定理外，還包括這個估計量的收斂速度。 收斂速度的描述方法之一是所謂的重對數律。 重對數律成立時，得到的收斂速度的階數一般是 除了個別情況，這個階數一般不能再被改進。,.,收斂速度(2),定理1.4 設 是獨立同分布的 。線性平穩(wěn)序列 由(1.5)定義。譜密度 。當以下的條件之一成立時： 1 當 以負指數階收斂于0. 2 譜密度 在 連續(xù)。并且 對某個 成立。,.,則有重對數律 (1.8) (1.9) 易見重對數律滿足時 不收斂。,.,AR(2)的均值計算,令 考慮AR(2)模型 為模擬方便設 。,.,AR(2)的均值計算(2),.,估

5、計收斂性的模擬,為了觀察 時 的收斂可以模擬L個值然后觀察 的變化。 為了研究固定N情況下 的精度以至于抽樣分布?？梢赃M行M次獨立的隨機模擬，得到M個 的觀察值。這種方法對于難以得到估計量的理論分布的情況是很有用的。,.,.,.,.,.,4.2 自協(xié)方差函數的估計,自協(xié)方差估計公式及正定性 的相合性 的漸進分布 模擬計算,.,自協(xié)方差函數估計公式,(2.2) 樣本自相關系數(ACF)估計為 (2.3),.,自協(xié)方差函數估計公式,估計 一般不使用除了 的估計形式： (2.4) 因為： 我們不對大的k值計算 更重要的是只有除以N的估計式才是正定的。,.,樣本自協(xié)方差的正定性,只要觀測 不全相同則

6、正定。 令 記 (2.5) 只要 不全是零則A滿秩。,.,樣本自協(xié)方差的正定性,事實上，設 則A矩陣左面會出現一個以 值開始非零的斜面。顯然是滿秩的。 故 不全相同時 正定。 作為 的主子式也是正定的。,.,的相合性,定理2.1 設平穩(wěn)序列的樣本自協(xié)方差函數 由式(2.2)或(2.4)定義。 1 如果當 時， 則對每個確定的k， 是 的漸進無偏估計：,.,2如果 是嚴平穩(wěn)遍歷序列。則對每個確定的k, 和 分別是 和 的強相合估計：,.,定理2.1的證明,下面只對由(2.2)定義的樣本自協(xié)方差函數證明定理2.1。對由(2.4)定義的 的證明是一樣的。 設 則 是零均值的平穩(wěn)序列。利用 (2.7)

7、,.,定理2.1的證明,.,.,定理2.1的證明,.,.,只考慮線性序列。 設 是4階矩有限的獨立同分布的 實數列 平方可和。 線性平穩(wěn)序列 (2.8),.,有自協(xié)方差函數 (2.9) 有譜密度 (2.10),.,設自協(xié)方差函數列 平方可和。 設 為獨立同分布的 。 令 定義正態(tài)時間序列 (2.11) (2.12),.,樣本自協(xié)方差和自相關的中心極限定理,定理2.2 設 是獨立同分布的 。滿足 。如果線性平穩(wěn)序列(2.8)的譜密度(2.10)平方可積：,.,則對任何正整數h，當 時，有以下結果 1 依分布收斂到 2 依分布收斂到,.,自相關檢驗的例子,例2.1(接第三章例1.1)對MA(q)序

8、列 。利用定理2.2得到，只要當 依分布收斂到 的分布。 注意 時， 中的 應屬于 ，所以令 有,.,為期望為0，方差為 的正態(tài)分布。 在假設 是MA(q)下，對mq有,.,自相關檢驗的例子,現在用 表示第三章例1.1中差分后的化學濃度數據。在 是MA(q)下。用 代替真值 后分別對 計算出,.,在q=0的假設下， 所以應當否定q=0.,.,自相關檢驗的例子,實際工作中人們還計算概率 并且把p稱為檢驗的p值。明顯p值越小，數據提供的否定原假設的依據越充分?，F在在 下 ， 近似服從標準正態(tài)分布。所以p值幾乎是零，因而必須拒絕 是MA(0)的假設。 取q=1時， 所以不能拒絕 是MA(1)的假設。

9、,.,譜密度平方可積的充要條件,對于實際工作者來講譜密度平方可積的條件通常很難驗證。于是希望能把定理2.2中譜密度平方可積的條件改加在自協(xié)方差函數 的收斂速度上。 定理2.3 對于一平穩(wěn)序列 它的自協(xié)方差函數平方可積的充分必要條件是它的譜密度平方可積。,.,這個結論主要是利用實變函數論中Fourier級數的理論。只有證明 時用了周期圖(如P.67定理3.1的證明，那里 絕對可和)。證明略。 推論2.4 設 是獨立同分布的白噪聲 滿足 如果線性平穩(wěn)序列(2.8)的自協(xié)方差函數平方可和： 則定理2.2中的結論成立。,.,快速收斂條件下的中心極限定理,定理2.2 要求白噪聲的方差有4階矩。下面關于線

10、性平穩(wěn)序列的樣本自相關系數的中心極限定理不要求噪聲項的4階矩有限。 定理2.5 設 是獨立同分布的 線性平穩(wěn)序列 由(2.8)定義。如果自協(xié)方差函數 平方可和，并且對某個常數 (2.13),.,則對任何正數h.當 時， 依分布收斂到 ARMA序列的 滿足(2.13).ARMA序列的白噪聲列是獨立同分布序列時定理2.5結論成立。,.,獨立同分布列的中心極限定理,推論2.6 如果 是獨立同分布的白噪聲， 是樣本自相關系數，則對任何正整數h: 1: 依分布收斂到多元標準正態(tài)分布 這里 是 的單位矩陣。,.,2：如果 則 依分布收斂到,.,推論2.6的證明,對白噪聲， 定理2.5的條件滿足。第二條滿足

11、推論2.4的條件。,.,AR(2)模型實例,首先用圖形表示N不同時 的誤差。 然后重復M=1000次計算1000個 的標準差(稱為標準誤差)。發(fā)現N增大時標準誤差減小。 誤差隨N減小的速度為 。 根離單位圓近的模型其估計標準誤差大。,.,.,.,.,.,.,.,4.3 白噪聲檢驗,白噪聲的 檢驗 樣本自相關置信區(qū)間檢驗法,.,白噪聲的 檢驗,若 是獨立同分布的白噪聲，根據推論2.6，N足夠大時 服從iid標準正態(tài)分布。于是 近似服從 分布。,.,AR(2)模擬數據的檢驗,對于AR(2)模型取不同根離單位圓距離實驗。根離單位圓越近與白噪聲差別越大。 對AR(1)模型用不同的b模擬。B接近于1時與白噪聲差別明顯。 關于 中項數m的選?。簃=5比m=20有效。注意以ARMA模型為例，當k較大時 已經很小，所以 貢獻不大，取太大的m容易使檢驗不敏感。,.,白噪聲的 檢驗法： 是獨立白噪聲； 是相關序列。 下，拒絕域為 其中,.,.