《時(shí)間序列分析-基于Python》 課件 ch3 平穩(wěn)時(shí)間序列分析

平穩(wěn)時(shí)間序列分析03Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04Wold分解定理Wold分解定理的產(chǎn)生背景1938年,H.Wold在他的博士論文“AStudyintheAnalysisofStationaryTimeSeries”中提出了著名的平穩(wěn)序列分解定理。這個(gè)定理是平穩(wěn)時(shí)間序列分析的理論基石。Wold分解定理的內(nèi)容對(duì)于任意一個(gè)離散平穩(wěn)時(shí)間序列,它都可以分解為兩個(gè)不相關(guān)的平穩(wěn)序列之和,其中一個(gè)為確定性的(deterministic),另一個(gè)為隨機(jī)性的(stochastic),不妨記作式中：為確定性平穩(wěn)序列，為隨機(jī)性平穩(wěn)序列Wold分解定理中確定性序列的性質(zhì)確定性序列的真實(shí)生成機(jī)制可以是任意方式。換言之的真實(shí)波動(dòng)可以是時(shí)間的任意函數(shù)（前提是保證序列的平穩(wěn)性）。Wold證明不管的生成機(jī)制是怎樣的，它都可以等價(jià)表達(dá)為歷史序列值的線性函數(shù)所以，Wold分解定理中確定性序列的性質(zhì)是：序列的當(dāng)期波動(dòng)可以由其歷史序列值解讀的部分。Wold分解定理中隨機(jī)性序列的性質(zhì)Wold分解定理中，隨機(jī)序列代表了不能由序列的歷史信息解讀的隨機(jī)波動(dòng)部分Wold證明這部分信息可以等價(jià)表達(dá)為式中：稱(chēng)為新息過(guò)程（innovationprocess），是每個(gè)時(shí)期加入的新的隨機(jī)信息。它們相互獨(dú)立，不可預(yù)測(cè)，通常假定，。且有所以，Wold分解定理中隨機(jī)性序列的性質(zhì)是：序列的當(dāng)期波動(dòng)不可以由其歷史序列值解讀的部分。波動(dòng)序列的方差對(duì)任意平穩(wěn)序列而言，令關(guān)于q期歷史序列值做線性回歸式中為回歸殘差序列，不妨記該序列的方差為。隨著的增大單調(diào)非增，且。的大小可以衡量歷史信息對(duì)現(xiàn)時(shí)值的預(yù)測(cè)精度。越小，說(shuō)明基于q期歷史信息對(duì)未來(lái)的預(yù)測(cè)精度越高；越大，則說(shuō)明序列隨機(jī)性很大，q期歷史信息對(duì)未來(lái)的預(yù)測(cè)精度很差。如果，說(shuō)明序列的歷史信息幾乎可以完全預(yù)測(cè)未來(lái)的波動(dòng)，這時(shí)稱(chēng)為確定性序列。如果說(shuō)明序列的歷史信息對(duì)預(yù)測(cè)未來(lái)波動(dòng)完全沒(méi)有作用，這時(shí)稱(chēng)為純隨機(jī)序列。絕大多數(shù)序列是介于確定性序列和純隨機(jī)序列中間，即，這時(shí)稱(chēng)為隨機(jī)序列。Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04AR模型的定義具有如下結(jié)構(gòu)的模型稱(chēng)為p階自回歸模型，簡(jiǎn)記為特別當(dāng)時(shí)，稱(chēng)為中心化模型令，稱(chēng)是的中心化序列自回歸系數(shù)多項(xiàng)式引進(jìn)延遲算子，中心化模型又可以簡(jiǎn)記為

稱(chēng)下式為p階自回歸系數(shù)多項(xiàng)式延遲算子延遲算子類(lèi)似于一個(gè)時(shí)間指針，當(dāng)前序列值乘以一個(gè)延遲算子，就相當(dāng)于把當(dāng)前序列值的時(shí)間向過(guò)去撥了一個(gè)時(shí)刻記B為延遲算子，有

所以模型的簡(jiǎn)寫(xiě)形式如下導(dǎo)出延遲算子的性質(zhì)

，其中

例3-1考察如下四個(gè)模型的平穩(wěn)性例3-1時(shí)序圖平穩(wěn)特征非平穩(wěn)特征AR模型平穩(wěn)性判別

判別原因要擬合一個(gè)平穩(wěn)序列的發(fā)展,用來(lái)擬合的模型顯然也應(yīng)該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法特征根判別線性差分方程：稱(chēng)具有如下形式的方程為序列的p階線性差分方程式中，；為實(shí)數(shù)；為t的某個(gè)已知函數(shù)。特別地，當(dāng)時(shí)，如下差分方程稱(chēng)為p階齊次線性差分方程根據(jù)Wold分解定理，任意一個(gè)平穩(wěn)序列，都可以視為一個(gè)線性差分方程齊次線性差分方程的通解判別原因要擬合一個(gè)平穩(wěn)序列的發(fā)展,用來(lái)擬合的模型顯然也應(yīng)該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法自回歸方程的解任一個(gè)中心化模型都可以視為一個(gè)非齊次線性差分方程，它的通解求法如下（1）求齊次線性差分方程的一個(gè)通解（2）求非齊次線性差分方程的一個(gè)特解（3）求非齊次線性差分方程的通解

齊次線性差分方程的通解齊次線性差分方程的求解要借助它的特征方程和特征根。p階齊次線性差分方程的特征方程為特征方程的非零根稱(chēng)為特征根。p階齊次線性差分方程有p個(gè)特征根，不妨記作根據(jù)差分方程理論，p階齊次線性差分方程的通解為（假設(shè)由d個(gè)相同實(shí)根，m個(gè)共軛虛根）非齊次線性差分方程的解非齊次線性差分方程的解等于齊次線性差分方程的通解，再加上一個(gè)特解所謂特解就是使非齊次線性差分方程成立的任一值，即例3-2驗(yàn)證一階齊次線性差分方程的通解為，為任意實(shí)數(shù)?！纠?-2解】該差分方程的特征方程為：特征根為：容易驗(yàn)證是該差分方程的解：例3-2續(xù)求一階線性差分方程的解?！纠?-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：特解可以用任意方式求出，本例嘗試求出該差分方程的一個(gè)常數(shù)特解則所以該差分方程的解為：例3-2驗(yàn)證二階齊次線性差分方程的通解為，為任意實(shí)數(shù)。【例3-2】該差分方程的特征方程為：特征根為：容易驗(yàn)證是該差分方程的解：例3-2續(xù)求二階線性差分方程的解。【例3-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：可以求出該差分方程的一個(gè)常數(shù)特解為：所以該差分方程的解為：平穩(wěn)序列的解根據(jù)Wold分解定理，任意平穩(wěn)序列都可以等價(jià)表達(dá)為p階線性差分方程它的特征方程為它的p個(gè)非零特征根為，假設(shè)為該序列的任意特解，則該平穩(wěn)序列的解為其中：為任意實(shí)數(shù)。平穩(wěn)序列特征根的性質(zhì)平穩(wěn)序列必須滿足始終在均值附近波動(dòng)，不能隨著時(shí)間的遞推而發(fā)散，即為了保證上式對(duì)于任意實(shí)數(shù)都成立，就必須要求每個(gè)特征根的冪函數(shù)都不能發(fā)散，即

進(jìn)而推導(dǎo)出平穩(wěn)序列必須滿足每個(gè)特征根的絕對(duì)值都小于1這意味著，如果我們能把一個(gè)平穩(wěn)序列所有的特征根都求出來(lái)并且都標(biāo)注在坐標(biāo)軸上，那么該序列所有的特征根都應(yīng)該在半徑為1的單位圓內(nèi)。如果序列有特征根在單位圓上或圓外，那么這個(gè)序列就是非平穩(wěn)的。所以這個(gè)判斷序列是否平穩(wěn)的性質(zhì)也稱(chēng)為平穩(wěn)序列的單位根屬性。特征根判別p階自回歸序列平穩(wěn)，要求p個(gè)非零特征根都在單位圓內(nèi)，即在引入延遲算子之后,我們還可以推導(dǎo)出跟特征根判別等價(jià)的性質(zhì):p階自回歸序列平穩(wěn)的條件是自回歸系數(shù)多項(xiàng)式的p個(gè)根都在單位圓外平穩(wěn)域判別對(duì)于一個(gè)模型而言，如果沒(méi)有平穩(wěn)性的要求，實(shí)際上也就意味著對(duì)參數(shù)向量沒(méi)有任何限制，它們可以取遍維歐氏空間的任意一點(diǎn)如果加上了平穩(wěn)性限制，參數(shù)向量就只能取維歐氏空間的一個(gè)子集，使得特征根都在單位圓內(nèi)的系數(shù)集合對(duì)于低階自回歸模型用平穩(wěn)域的方法判別模型的平穩(wěn)性通常更為簡(jiǎn)便

AR(1)模型平穩(wěn)條件方程結(jié)構(gòu)特征根平穩(wěn)域AR(2)模型的平穩(wěn)條件方程結(jié)構(gòu)特征根平穩(wěn)域AR(2)的平穩(wěn)域例3-1續(xù)分別用特征根判別法和平穩(wěn)域判別法檢驗(yàn)例3-1中四個(gè)AR模型的平穩(wěn)性例3.1平穩(wěn)性判別模型特征根判別平穩(wěn)域判別結(jié)論(1)平穩(wěn)(2)非平穩(wěn)(3)平穩(wěn)

(4)非平穩(wěn)平穩(wěn)AR模型的統(tǒng)計(jì)性質(zhì)——均值

如果AR(p)模型滿足平穩(wěn)性條件，則有根據(jù)平穩(wěn)序列均值為常數(shù)，且為白噪聲序列，有推導(dǎo)出平穩(wěn)AR模型的統(tǒng)計(jì)性質(zhì)——方差要得到平穩(wěn)AR(p)模型的方差,需要借助Green函數(shù)的幫助Green函數(shù)的定義假設(shè)為任意p階的平穩(wěn)AR模型,那么一定存在一個(gè)常數(shù)序列使得可以等價(jià)表達(dá)為純隨機(jī)序列的線性組合,即

這個(gè)常數(shù)序列就稱(chēng)為Green函數(shù)

基于Green函數(shù)，可以求出AR(p)模型的方差為Green函數(shù)的遞推公式原理方法：待定系數(shù)法例3-3求平穩(wěn)AR(1)模型的Green函數(shù)的遞推公式,并基于Green函數(shù)求解AR(1)模型的方差。平穩(wěn)AR(1)模型的Green函數(shù)遞推公式為平穩(wěn)AR(1)模型的方差為平穩(wěn)AR模型的統(tǒng)計(jì)性質(zhì)——協(xié)方差函數(shù)在平穩(wěn)AR(p)模型兩邊同乘，再求期望根據(jù)得協(xié)方差函數(shù)的遞推公式例3-4求平穩(wěn)AR(1)模型的協(xié)方差遞推公式因?yàn)槠椒€(wěn)AR(1)模型的方差為所以協(xié)方差函數(shù)的遞推公式為例3-5求平穩(wěn)AR(2)模型的協(xié)方差A(yù)R(2)模型協(xié)方差函數(shù)遞推公式特別地，當(dāng)k=1時(shí)，例3-5平穩(wěn)AR(2)模型的方差求解（方法一：基于Green函數(shù)遞推）AR(2)模型的Green函數(shù)為記

，

，則上面Green函數(shù)等號(hào)兩邊求平方，累加得且例3-5平穩(wěn)AR(2)模型的方差求解（方法一）把

代入

，得整理得

所以平穩(wěn)AR(2)模型的方差為例3-5平穩(wěn)AR(2)模型的方差求解（方法二：基于方程組求解）基于AR(2)模型的協(xié)方差遞推方程，可以得到如下聯(lián)立方程用方程組表示即為例3-5平穩(wěn)AR(2)模型的方差求解（方法二）解方程得平穩(wěn)AR(2)模型的方差為例3-5所以平穩(wěn)AR(2)模型的協(xié)方差函數(shù)遞推公式為平穩(wěn)AR模型的統(tǒng)計(jì)性質(zhì)——自相關(guān)系數(shù)自相關(guān)系數(shù)的定義平穩(wěn)AR(P)模型的自相關(guān)系數(shù)遞推公式常用AR模型自相關(guān)系數(shù)遞推公式AR(1)模型AR(2)模型AR模型自相關(guān)系數(shù)的性質(zhì)AR模型的自相關(guān)系數(shù)的表達(dá)式實(shí)際上是一個(gè)齊次差分方程，它的通解形式為根據(jù)自相關(guān)系數(shù)的通解形式，可以判斷AR模型的自相關(guān)系數(shù)具有如下特征呈指數(shù)衰減拖尾性例3-6考察如下AR模型的自相關(guān)圖例3-6自相關(guān)圖例3-6圖示解釋從上圖中可以看到,這四個(gè)平穩(wěn)AR模型,不論它們是AR(1)模型還是AR(2)模型,不論它們的特征根是實(shí)根還是復(fù)根,是正根還是負(fù)根,它們的自相關(guān)系數(shù)都呈現(xiàn)出拖尾性和呈指數(shù)衰減到零值附近的性質(zhì)。但由于特征根不同,它們的自相關(guān)系數(shù)衰減的方式也不一樣有的是按負(fù)指數(shù)單調(diào)衰減(如模型(1))有的是正負(fù)相間地衰減(如模型(2))有的呈現(xiàn)出類(lèi)似于周期性的余弦衰減,即具有“偽周期”特征(如模型(3))有的是不規(guī)則衰減（如模型(4)）偏自相關(guān)系數(shù)偏自相關(guān)系數(shù)的定義對(duì)于平穩(wěn)序列，所謂滯后k偏自相關(guān)系數(shù)就是指在給定中間k-1個(gè)隨機(jī)變量的條件下，或者說(shuō)，在剔除了中間k-1個(gè)隨機(jī)變量的干擾之后，對(duì)影響的相關(guān)度量。用數(shù)學(xué)語(yǔ)言描述就是偏自相關(guān)系數(shù)的計(jì)算基于Yule-Walker方程組計(jì)算偏自相關(guān)系數(shù)在方程等號(hào)兩邊同時(shí)乘以，等號(hào)兩邊求期望再除以方差，得取前k個(gè)方程構(gòu)成的方程組即Yule-Walker方程組解Yule-Walker方程組可以得到參數(shù)的解，最后一個(gè)參數(shù)的解即為延遲K偏自相關(guān)系數(shù)AR(1)模型偏自相關(guān)系數(shù)的計(jì)算AR(1)模型Jule-Walker方程偏自相關(guān)系數(shù)的解AR(2)模型偏自相關(guān)系數(shù)的計(jì)算Yule-Walker方程求解基于矩陣結(jié)構(gòu)計(jì)算偏自相關(guān)系數(shù)證明AR(p)模型偏自相關(guān)系數(shù)p階截尾所謂p階截尾,是指。要證明這一點(diǎn),實(shí)際上只要能證明當(dāng)時(shí),即可。例3-6續(xù)求如下AR模型的偏自相關(guān)系數(shù)，并考察它們的偏自相關(guān)圖特征例3-6續(xù)求AR模型的偏自相關(guān)系數(shù)例3-6續(xù)考察AR序列的偏自相關(guān)圖Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04MA模型的定義具有如下結(jié)構(gòu)的模型稱(chēng)為階自回歸模型，簡(jiǎn)記為特別當(dāng)時(shí)，稱(chēng)為中心化模型引進(jìn)延遲算子，中心化模型又可以簡(jiǎn)記為其中稱(chēng)為q階移動(dòng)平均系數(shù)多項(xiàng)式MA模型的統(tǒng)計(jì)性質(zhì)常數(shù)均值常數(shù)方差自協(xié)方差函數(shù)與自相關(guān)系數(shù)q階截尾常用MA模型的自相關(guān)系數(shù)MA(1)模型MA(2)模型例3-7繪制下列MA模型的樣本自相關(guān)圖,直觀考察MA模型自相關(guān)系數(shù)截尾的特性。例3-7MA模型的自相關(guān)圖

MA(1)模型自相關(guān)圖特征解讀考察上面兩個(gè)MA(1)模型的自相關(guān)圖，排除樣本隨機(jī)性的影響,樣本自相關(guān)圖清晰顯示出MA(1)模型自相關(guān)系數(shù)一階截尾考察上面兩個(gè)MA(1)模型的自相關(guān)圖，可以發(fā)現(xiàn)這兩個(gè)不同的MA模型具有完全相同的自相關(guān)圖。容易驗(yàn)證它們的理論自相關(guān)系數(shù)也正好相等MA(2)模型自相關(guān)圖特征解讀考察上面兩個(gè)MA(2)模型的自相關(guān)圖，排除樣本隨機(jī)性的影響,樣本自相關(guān)圖清晰顯示出MA(2)模型自相關(guān)系數(shù)二階截尾考察上面兩個(gè)MA(2)模型的自相關(guān)圖，可以發(fā)現(xiàn)這兩個(gè)不同的MA模型具有完全相同的自相關(guān)圖。容易驗(yàn)證它們的理論自相關(guān)系數(shù)也正好相等MA模型的可逆性例3-7演示了不同的MA模型，可能具有完全相同的自相關(guān)系數(shù)的現(xiàn)象。產(chǎn)生這種現(xiàn)象的原因就是我們?cè)诘诙轮刑岬降模鹤韵嚓P(guān)系數(shù)有可能不唯一。這種自相關(guān)系數(shù)的不唯一性，會(huì)給我們將來(lái)的工作增加麻煩。因?yàn)?，將?lái)我們都是通過(guò)樣本自相關(guān)系數(shù)顯示出來(lái)的特征選擇合適的模型擬合序列的發(fā)展，如果自相關(guān)系數(shù)和模型之間不是一一對(duì)應(yīng)關(guān)系，就將導(dǎo)致擬合模型和隨機(jī)序列之間不會(huì)是一一對(duì)應(yīng)關(guān)系。為了保證一個(gè)給定的自相關(guān)函數(shù)能夠?qū)?yīng)唯一的模型，我們就要給模型增加約束條件。這個(gè)約束條件稱(chēng)為模型的可逆性條件。可逆MA模型定義：若一個(gè)MA模型能夠表示成為收斂的AR模型形式，那么該MA模型稱(chēng)為可逆MA模型可逆概念的重要性：一個(gè)自相關(guān)系數(shù)列唯一對(duì)應(yīng)一個(gè)可逆MA模型。MA模型的可逆性可逆MA(1)模型MA(q)模型的可逆條件MA模型的可逆條件MA(q)模型的可逆概念和AR(p)模型的平穩(wěn)概念是對(duì)偶概念。MA(q)模型的可逆條件是該模型特征方程的q個(gè)非零特征根都在單位圓內(nèi)或移動(dòng)平滑系數(shù)多項(xiàng)式的根都在單位圓外低階MA模型系數(shù)可逆域根據(jù)MA模型的結(jié)構(gòu)，求出特征方程的特征根，根據(jù)特征根都在單位圓內(nèi)的約束條件，可以求出滿足可逆條件的系數(shù)取值空間，這就是MA模型的系數(shù)可逆域。MA模型的系數(shù)可逆域與AR模型的平穩(wěn)域具有對(duì)偶關(guān)系MA(1)模型的系數(shù)可逆域MA(2)模型的系數(shù)可逆域逆函數(shù)的遞推公式原理待定系數(shù)法遞推公式例3.7續(xù)考察如下MA模型的可逆性MA1)—(2)模型1

模型2模型2的逆函數(shù)模型2的逆轉(zhuǎn)形式兩個(gè)MA(1)模型可逆性判斷MA模型的可逆條件MA1)—(2)模型3

模型4模型3的逆函數(shù)模型3的逆轉(zhuǎn)形式兩個(gè)MA(2)模型可逆性判斷MA模型的可逆條件MA模型偏自相關(guān)系數(shù)拖尾對(duì)于一個(gè)可逆模型，可以等價(jià)寫(xiě)成模型形式其中AR(p)模型偏自相關(guān)系數(shù)p階截尾，所以可逆MA(q)模型偏自相關(guān)系數(shù)階截尾，即具有偏自相關(guān)系數(shù)拖尾屬性。一個(gè)可逆MA(q)模型一定對(duì)應(yīng)著一個(gè)與它具有相同自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的不可逆MA(q)模型，這個(gè)不可逆MA(q)模型也同樣具有偏自相關(guān)系數(shù)拖尾特性。例3-8

求MA(1)模型偏自相關(guān)系數(shù)的表