《時間序列分析-基于Python》 課件全套 王燕 第1-7章 時間序列分析方法發(fā)展概述-多元時間序列分析

時間序列分析方法發(fā)展概述01時間序列分析方法最早的起源時間序列分析是最早出現(xiàn)的統(tǒng)計分析方法。7000年前，古埃及人已定居在尼羅河兩岸。他們的生命財產(chǎn)安全與尼羅河是否泛濫密切相關(guān)。古埃及人從長期的觀察中發(fā)現(xiàn)，尼羅河的泛濫是有規(guī)律的。為了研究尼羅河泛濫的規(guī)律，古埃及人發(fā)明了元旦和天的概念。他們把天狼星和太陽同時升起的那一天稱為元旦。天黑到天明算一天。把每天尼羅河水漲落潮的規(guī)律記在竹竿上。這個竹竿上的數(shù)據(jù)就是歷史上最早的時間序列。通過對這個時間序列長期的觀察，他們發(fā)現(xiàn)每年6月中旬尼羅河開始漲潮，漲潮期大概60天，落潮期大概60天。洪水過后，土地肥沃，隨意播種就會有豐厚的收成。由于掌握了尼羅河泛濫的規(guī)律，使得古埃及的農(nóng)業(yè)迅速發(fā)展，解放出大批的勞動力去從事非農(nóng)業(yè)生產(chǎn)，從而創(chuàng)建了埃及燦爛的史前文明1月1日6月17日10月12月尼羅河泛濫期描述性時間序列分析象埃及人一樣，沿著時間的發(fā)展，記錄下隨機變量的數(shù)據(jù)，通過直觀的數(shù)據(jù)比較或繪圖觀察，尋找序列中蘊含的發(fā)展規(guī)律，這種分析方法被稱為描述性時間序列分析。描述性時間序列分析是時間序列分析方法的萌芽。這是人類在認知自然、改造自然的過程中發(fā)展出來的實用方法。幾乎所有的文明，都獨立的、熟練的掌握了這一方法。對于很多自然現(xiàn)象，只要人們觀察的時間足夠長，就能運用描述性時序分析發(fā)現(xiàn)蘊含在時間里的自然規(guī)律。根據(jù)自然規(guī)律，做恰當?shù)恼甙才?，就能有利于社會的發(fā)展和進步。根據(jù)自然呈現(xiàn)的規(guī)律，還可以幫助人們思考為什么自然會呈現(xiàn)出這種規(guī)律，有利于人們發(fā)現(xiàn)自然規(guī)律之間的因果關(guān)系。農(nóng)作物產(chǎn)量與價格序列研究利用自然規(guī)律制定利民政策案例：《史記-貨殖列傳》中記載，公元前500年左右，范蠡認為我國農(nóng)作物生成存在“六歲穰，六歲旱，十二歲一大饑”的自然規(guī)律，提出了我國最早穩(wěn)定糧價的方法：“平糶法”。根據(jù)波動頻率，尋找自然規(guī)律之間的因果關(guān)系歐洲人在1500年左右，也發(fā)現(xiàn)了農(nóng)作物生產(chǎn)與價格序列具有12年左右的周期。他們關(guān)心的是為什么有這個周期，赫歇爾根據(jù)施瓦貝發(fā)現(xiàn)的太陽黑子序列規(guī)律，揭示了太陽黑子數(shù)量影響降雨量，降雨量影響農(nóng)作物產(chǎn)量的規(guī)律。時間序列分析方法發(fā)展概述現(xiàn)代時間序列分析方法萌芽期19世紀末-20世紀初，是現(xiàn)代時間序列分析方法萌芽期。我們課本上學的主要方法，都是從這個時期開始產(chǎn)生的。這個時期產(chǎn)生了兩種不同的時序分析方向一個方向是由外向內(nèi)的分析視角產(chǎn)生的方法是與確定性因素分解相關(guān)的方法一個方向是由內(nèi)向外的分析視角產(chǎn)生的方法是時域分析方法確定性因素分解方法因素分解方法（TimeSeriesDecomposition）由英國統(tǒng)計學家W.M.Persons于1919年在他的論文“商業(yè)環(huán)境的指標（IndicesofBusinessConditions）”一文中首次使用。因素分解方法認為所有的序列波動都可以歸納為受到如下四大類因素的綜合影響：長期趨勢（Trend）。序列呈現(xiàn)出明顯的長期遞增或遞減的變化趨勢。循環(huán)波動（Circle）。序列呈現(xiàn)出從低到高再由高到低的反復循環(huán)波動。循環(huán)周期可長可短，不一定是固定的。季節(jié)性變化（Season）。序列呈現(xiàn)出和季節(jié)變化相關(guān)的穩(wěn)定周期波動。隨機波動(Immediate)。除了長期趨勢、循環(huán)波動和季節(jié)性變化之外，其他不能用確定性因素解釋的序列波動，都屬于隨機波動。統(tǒng)計學家在進行確定性時間序列分析時，假定序列會受到這四個因素中的全部或部分的影響，導致序列呈現(xiàn)出不同的波動特征。換言之，任何一個時間序列都可以用這四個因素的某個函數(shù)進行擬合常用模型加法模型：乘法模型：確定性因素分解方法的發(fā)展指數(shù)平滑預測方法簡單指數(shù)平滑（平穩(wěn)序列預測）Holt兩參數(shù)指數(shù)平滑（趨勢序列預測）HoltWinters三參數(shù)指數(shù)平滑（周期序列預測）X11季節(jié)調(diào)整模型它是第二次世界大戰(zhàn)之后，美國人口普查局委托統(tǒng)計學家進行的基于計算機自動進行的時間序列因素分解方法。1954年，X0版本面世，隨后十多年陸續(xù)推出新的改進版本。1965年，推出可以處理任意趨勢且沒有時間滯后的成熟版本X11。X12-ARIMA模型1975年，加拿大統(tǒng)計局將ARIMA模型引入X11模型。借助ARIMA模型可以對序列進行向后預測擴充數(shù)據(jù)，以保證擬合數(shù)據(jù)的完整性，彌補了中心移動平均方法的缺陷。1998年，美國人口普查局開發(fā)了X12-ARIMA模型。它的改進是將一些特殊因素作為干預變量引入研究。這些干預變量包括：特殊節(jié)假日、固定季節(jié)因素、工作日因素、交易日因素、閏年因素，以及研究人員自行定義的任意自變量。X13-ARIMA-Seats模型2006年美國人口普查局再次推出更新版本X13-ARIMA-Seats，它是在X12-ARIMA的基礎(chǔ)上，增加了seats季節(jié)調(diào)整方法。2017年

Facebook基于時間序列分解方法結(jié)合機器學習算法，開發(fā)了時間序列預測模型Prophet頻域分析方法確定性因素分解方法還有一個引申的發(fā)展方向是隨機性因素分解方法，我們也稱為頻域分析方法。頻域分析方法也稱為頻譜分析或譜分析方法。它假定任何一種無趨勢的時間序列都可以分解為若干不同頻率的周期波動，借助傅里葉變換，用正弦、余弦之后來逼近某個函數(shù)。20世紀60年代，Burg在分析地震信號時提出最大熵譜估計理論（FFT算法）。該理論克服了傳統(tǒng)譜分析所固有的分辨率不高和頻率漏泄等缺點，使譜分析方法進入一個新階段，稱為現(xiàn)代譜分析階段。譜分析方法具有很高的數(shù)學門檻，且需要的數(shù)據(jù)量與計算量都非常大，且計算結(jié)果不易進行直觀解釋。這使得譜分析方法的使用主要局限在某些特殊領(lǐng)域，比如：地震研究領(lǐng)域、電子信號領(lǐng)域、醫(yī)學研究領(lǐng)域、海洋學、天文學、軍事領(lǐng)域等等。隨著電子信息技術(shù)的發(fā)展，我們獲取的數(shù)據(jù)頻率越來越高，數(shù)據(jù)量越來越大。傳統(tǒng)的時域分析方法受到挑戰(zhàn)，譜分析方法在高頻數(shù)據(jù)場合越來越受到重視和使用。時域分析方法的萌芽時域分析方法主要是從序列自相關(guān)的角度揭示時間序列的發(fā)展規(guī)律。目前時域分析方法廣泛應用于自然科學和社會科學的各個領(lǐng)域，成為現(xiàn)代時間序列分析的主流方法。時域分析方法的萌芽

GeorgeUdnyYule"OnaMethodofInvestigatingPeriodicitiesinDisturbedSeries,withSpecialReferencetoWolfer'sSunspotNumbers"(1927)

提出了AR模型SirGilbertThomasWalker"Onperiodicity".QuarterlyJournaloftheRoyalMeteorologicalSociety.51(216):337–346.(1925)使用了MA模型時域分析方法的理論基礎(chǔ)Wold分解定理HermanWold,瑞典人。1938年在博士論文AstudyintheAnalysisofStationarytimeSeries中提出了Wold分解定理Wold分解定理證明任何平穩(wěn)序列都可以分解為確定性序列和隨機序列之和Wold是現(xiàn)代時間序列分析理論的靈魂，是構(gòu)造ARMA模型擬合平穩(wěn)序列的理論基礎(chǔ)。Cramer分解定理HaraldCramer,瑞典人，斯德哥爾摩大學教授，Wold的指導教師，著名的統(tǒng)計學家和保險精算學家。Cramer分解定理（1962年）是Wold分解定理的理論推廣，它是非平穩(wěn)序列的分解理論，是構(gòu)造ARIMA模型的理論基礎(chǔ)。時域分析方法的核心G.E.P.Box和G.M.Jenkins1970年，他們出版了《TimeSeriesAnalysisForecastingandControl》一書。在這本書中，他們將前人的知識進行了系統(tǒng)的梳理和分析，構(gòu)造了ARIMA模型，并系統(tǒng)地闡述了ARIMA模型的識別、估計、檢驗及預測的原理及方法。這些知識現(xiàn)在被稱為經(jīng)典時間序列分析方法，是時域分析方法的核心內(nèi)容。為了記念Box和Jenkins對時間序列發(fā)展的特殊貢獻，現(xiàn)在人們也常把ARIMA模型稱為Box-Jenkins模型。ARIMA模型的實質(zhì)單變量、同方差場合的線性模型時域分析方法的完善階段--異方差場合1982年，Engle根據(jù)1958年2季度至1977年2季度的數(shù)據(jù)，研究英國因工資上漲導致通貨膨脹問題時，發(fā)現(xiàn)在方差齊性的假定下，很容易預測出1977年3季度物價指數(shù)的置信區(qū)間。但是Engle以經(jīng)濟學家的經(jīng)驗，認為這個置信區(qū)間偏小，與實際情況可能不符。因為物價指數(shù)最近4年的方差是過去20年方差的10倍。根據(jù)經(jīng)濟變量通常具有集群效應的特征，1977年3季度延續(xù)大幅波動的可能性更大。為刻劃通貨膨脹率序列的波動性，Engle構(gòu)造了ARCH（Autoregressiveconditionalhetero-scedasticity)模型。與無條件方差比，條件異方差模型能更準確地擬合出序列即期波動的特征。之后，有很多人對ARCH模型進行了拓展和衍生。比較重要的拓展模型是Bollerslov在1986年提出的GARCH模型。GARCH的衍生模型數(shù)不勝數(shù)，常用的有：EGARCHIGARCHGARCH-MTGARCHRobertF.Engle2003年諾貝爾經(jīng)濟學獎時域分析方法的完善階段--多元時序場合（單一回歸模型）1930-1970年代多元時序回歸模型早就在計量經(jīng)濟學領(lǐng)域廣泛使用。1968年，計量經(jīng)濟學家Granger發(fā)現(xiàn)多元非平穩(wěn)序列構(gòu)建回歸模型，容易出現(xiàn)偽回歸現(xiàn)象。而且在1974年進行了非平穩(wěn)序列偽回歸的隨機模擬試驗。模擬檢驗非常有說服力地證明在非平穩(wěn)的場合，回歸方程的顯著性檢驗犯第一類錯誤的概率遠遠大于0.05，偽回歸顯著成立。這導致多元非平穩(wěn)序列的回歸分析不可以隨便做。1970年，Box&Jenkins提出ARIMAX模型，用于多元平穩(wěn)序列建立回歸模型。1975年，Box&Tiao，首次使用干預模型分析經(jīng)濟政策（定性數(shù)據(jù)）對空氣污染控制所帶來的影響。發(fā)展出了專門評估特殊事件對序列產(chǎn)生的影響大小的分析方法，這種方法統(tǒng)稱為干預分析。1987年，Granger提出了協(xié)整的概念，解決了多變量回歸無法判斷是否存在偽回歸的問題。為多變量回歸徹底松綁。

Granger因此獲得2003年諾貝爾經(jīng)濟學獎。Granger還有一個重要貢獻：多元時序的Granger因果檢驗。Granger2003年諾貝爾經(jīng)濟學獎時域分析方法的完善階段--多元時序場合（多元方程組模型）

SYSLINE模型（聯(lián)立線性方程組模型）是1940年代興起的，是以公認的經(jīng)濟學說為基礎(chǔ)，根據(jù)對現(xiàn)實經(jīng)濟中實際數(shù)據(jù)所作的經(jīng)驗性估算，建立宏觀經(jīng)濟體制的數(shù)學模型，并用其分析經(jīng)濟波動和經(jīng)濟政策，預測經(jīng)濟趨勢，為政策提供者提供政策決策參考的模型。在sysline模型領(lǐng)域貢獻最大的是L.R.Klein。KleinI模型

：Klein以美國1920-1941年的年度宏觀經(jīng)濟數(shù)據(jù)為樣本，建立旨在分析美國在兩次世界大戰(zhàn)之間的經(jīng)濟發(fā)展的小型宏觀經(jīng)濟模型。該模型非常簡單只有3個行為方程，但是它在宏觀計量經(jīng)濟學發(fā)展史上占有重要地位。以后的宏觀計量經(jīng)濟學模型大都是在此基礎(chǔ)上擴充、改進和發(fā)展起來的。以至于薩繆爾森認為“美國的許多模型，剝到最后，發(fā)現(xiàn)都有一個小的Klein模型”。Klein∥模型：二戰(zhàn)以后，由于美國經(jīng)濟環(huán)境的改變以及美國政府對宏觀經(jīng)濟的逐步干預，KleinI模型不再適合美國宏觀經(jīng)濟現(xiàn)狀。所以Klein以1953-1984年美國宏觀經(jīng)濟數(shù)據(jù)為樣本，基于凱恩斯經(jīng)濟學理論，建立了Klein∥模型。在六十年代后期，Klein建立了賓夕法尼亞大學沃頓商學院計量經(jīng)濟學預測模型，該模型在分析商業(yè)條件方面取得了很好的聲譽，用于預測包括國家產(chǎn)品，出口，投資和消費在內(nèi)的波動，研究稅收變化對其影響。Klein因為他卓越的貢獻獲得1980年諾獎Klein1980年諾貝爾經(jīng)濟學獎時域分析方法的完善階段--多元時序場合（VAR模型）1980年，Sims研究貨幣政策及其影響時，提出向量自回歸模型（VAR模型）。這種模型采用多方程聯(lián)立的形式，但它不以嚴格的經(jīng)濟理論為依據(jù)。在模型的每一個方程中，內(nèi)生變量對模型的全部內(nèi)生變量的滯后項進行回歸，從而估計全部內(nèi)生變量的動態(tài)關(guān)系。VAR結(jié)構(gòu)簡潔明了，預測精度高。還可以進行協(xié)整關(guān)系分析，脈沖響應分析和方差分解研究。2011年，Sims因VAR模型獲諾貝爾經(jīng)濟學獎。Sims2011年諾貝爾經(jīng)濟學獎時域分析方法的完善階段--非線性場合Granger和Andersen在1978年提出了雙線性模型HowellTong于1978年提出了門限自回歸模型Priestley于1980年提出了狀態(tài)相依模型Hamilton于1989年提出了馬爾可夫轉(zhuǎn)移模型Lewis和Stevens于1991年提出了多元適應回歸樣條方法Carlin等人于1992年提出了非線性狀態(tài)空間建模的方法Chen和Tsay于1993年提出了非線性可加自回歸模型現(xiàn)在基于機器學習,有更多的非線性方法被創(chuàng)造出來。非線性是一個異常廣闊的研究空間,在非線性的模型構(gòu)造、參數(shù)估計、模型檢驗等各方面都有大量的研究工作需要完成。湯家豪（HowellTong）教材與軟件教材時間序列分析——基于Python，王燕編著，中國人民大學出版社。軟件Python語言是由荷蘭數(shù)學和計算機科學研究學會的Rossum于1990年開發(fā)的一個語法簡潔，功能強大，代碼編寫效率高，可移植性、可擴展性強的開源軟件。Python語言的這些優(yōu)點，使得它成為數(shù)據(jù)分析領(lǐng)域的重要工具。時間序列分析是數(shù)據(jù)分析常用的方法之一，為了便于數(shù)據(jù)分析人員在同一個軟件平臺進行數(shù)據(jù)分析，本教材使用Python語言作為案例演示工具。THANKS01時間序列的預處理02本章內(nèi)容平穩(wěn)序列的定義0102平穩(wěn)性檢驗純隨機性檢驗0403概率分布概率分布的意義隨機變量族的統(tǒng)計特性完全由它們的聯(lián)合分布函數(shù)或聯(lián)合密度函數(shù)決定時間序列概率分布族的定義實際應用的局限性

在實際應用中,要得到序列的聯(lián)合概率分布幾乎是不可能的,而且聯(lián)合概率分布通常涉及非常復雜的數(shù)學運算,這些原因?qū)е挛覀兒苌僦苯邮褂寐?lián)合概率分布進行時間序列分析特征統(tǒng)計量均值方差自協(xié)方差自相關(guān)系數(shù)平穩(wěn)時間序列的定義嚴平穩(wěn)嚴平穩(wěn)是一種條件比較苛刻的平穩(wěn)性定義，它認為只有當序列所有的統(tǒng)計性質(zhì)都不會隨著時間的推移而發(fā)生變化時，該序列才能被認為平穩(wěn)。寬平穩(wěn)寬平穩(wěn)是使用序列的特征統(tǒng)計量來定義的一種平穩(wěn)性。它認為序列的統(tǒng)計性質(zhì)主要由它的低階矩決定，所以只要保證序列低階矩平穩(wěn)（二階），就能保證序列的主要性質(zhì)近似穩(wěn)定。平穩(wěn)時間序列的統(tǒng)計定義嚴平穩(wěn)滿足如下條件的序列稱為嚴平穩(wěn)序列

寬平穩(wěn)滿足如下條件的序列稱為寬平穩(wěn)序列嚴平穩(wěn)與寬平穩(wěn)的關(guān)系一般關(guān)系嚴平穩(wěn)條件比寬平穩(wěn)條件苛刻，通常情況下，嚴平穩(wěn)（低階矩存在）能推出寬平穩(wěn)成立，而寬平穩(wěn)序列不能反推嚴平穩(wěn)成立特例不存在低階矩的嚴平穩(wěn)序列不滿足寬平穩(wěn)條件，例如服從柯西分布的嚴平穩(wěn)序列就不是寬平穩(wěn)序列當序列服從多元正態(tài)分布時，寬平穩(wěn)可以推出嚴平穩(wěn)平穩(wěn)時間序列的統(tǒng)計性質(zhì)常數(shù)均值自協(xié)方差函數(shù)和自相關(guān)函數(shù)只依賴于時間的平移長度而與時間的起止點無關(guān)延遲自協(xié)方差函數(shù)延遲自相關(guān)系數(shù)自相關(guān)系數(shù)的性質(zhì)規(guī)范性對稱性非負定性

非唯一性

一個平穩(wěn)時間序列一定唯一決定了它的自相關(guān)函數(shù)，但一個自相關(guān)函數(shù)未必唯一對應著一個平穩(wěn)時間序列。時間序列數(shù)據(jù)結(jié)構(gòu)的特殊性傳統(tǒng)統(tǒng)計分析的數(shù)據(jù)結(jié)構(gòu)：有限個變量，每個變量有多個觀察值時間序列數(shù)據(jù)結(jié)構(gòu)：可列多個隨機變量，而每個變量只有一個樣本觀察平穩(wěn)性的重大意義在平穩(wěn)序列場合，序列的均值等于常數(shù)，這意味著原本含有可列多個隨機變量的均值序列變成了只含有一個變量的常數(shù)序列。原本每個隨機變量的均值（方差，自相關(guān)系數(shù)）只能依靠唯一的一個樣本觀察值去估計，現(xiàn)在由于平穩(wěn)性，每一個統(tǒng)計量都將擁有大量的樣本觀察值。這極大地減少了隨機變量的個數(shù)，并增加了待估變量的樣本容量。極大地簡化了時序分析的難度，同時也提高了對特征統(tǒng)計量的估計精度嚴平穩(wěn)與寬平穩(wěn)的關(guān)系一般關(guān)系嚴平穩(wěn)條件比寬平穩(wěn)條件苛刻，通常情況下，嚴平穩(wěn)（低階矩存在）能推出寬平穩(wěn)成立，而寬平穩(wěn)序列不能反推嚴平穩(wěn)成立特例不存在低階矩的嚴平穩(wěn)序列不滿足寬平穩(wěn)條件，例如服從柯西分布的嚴平穩(wěn)序列就不是寬平穩(wěn)序列當序列服從多元正態(tài)分布時，寬平穩(wěn)可以推出嚴平穩(wěn)本章內(nèi)容平穩(wěn)序列的定義0102平穩(wěn)性檢驗純隨機性檢驗03序列的平穩(wěn)性檢驗檢驗方法方法一：圖檢驗（本章介紹）時序圖檢驗自相關(guān)圖檢驗

方法二：構(gòu)造檢驗統(tǒng)計量進行假設檢驗（第四章介紹）單位根檢驗平穩(wěn)性的時序圖檢驗時序圖檢驗原理：平穩(wěn)時間序列具有常數(shù)均值和方差。這意味著平穩(wěn)序列的時序圖應該顯示出該序列始終在一個常數(shù)值附近波動，而且波動的范圍有界的特點。時序圖檢驗技巧如果序列的時序圖顯示出該序列有明顯的趨勢性或周期性，那該序列通常就不是平穩(wěn)序列。根據(jù)這個性質(zhì)，很多非平穩(wěn)序列，通過查看它的時序圖就可以直接識別出來。例2-1趨勢序列非平穩(wěn)繪制1978-2012年我國第三產(chǎn)業(yè)占國內(nèi)生產(chǎn)總值的比例序列的時序圖，根據(jù)時序圖判斷該序列的平穩(wěn)性。該序列時序圖清晰顯示：序列有明顯的遞增趨勢特征，所以是非平穩(wěn)序列。周期序列的平穩(wěn)性具有周期特征的序列平穩(wěn)性識別是困難的。理論上，如果周期波動的振幅和頻率不隨時間的變化而變化，通常序列是穩(wěn)定的。

比如通信領(lǐng)域常用的隨機相位信號函數(shù)是平穩(wěn)序列其中：A為振幅，

為頻率，

為起始相位。A和

為任意常數(shù)，

。如果

，振幅和頻率會隨著時間變化而變化，那么該序列就是非平穩(wěn)序列。周期效應的平穩(wěn)性演示周期序列的平穩(wěn)性識別無論是圖識別方法還是將來要學習的單位根檢驗方法都無法準確識別出具有周期特征的序列的平穩(wěn)性。通常具有周期特征的序列，在實務處理上，不嚴格區(qū)分它到底是平穩(wěn)序列還是非平穩(wěn)序列，都類似于非平穩(wěn)序列一樣處理——通過差分的方法提取周期特征，然后對差分后的序列建模。所以實務中，如果序列具有顯著的周期特征可以視為非平穩(wěn)序列處理。例2-2繪制1970—1976年加拿大Coppermine地區(qū)月度降雨量序列的時序圖，根據(jù)時序圖判斷該序列平穩(wěn)性該序列時序圖清晰顯示：序列有明顯的周期特征，可以視為非平穩(wěn)序列。例2-3繪制1915-2004年澳大利亞自殺率序列（每10萬人自殺人口數(shù)）的時序圖，根據(jù)時序圖判斷該序列的平穩(wěn)性。該序列時序圖顯示：從1915年開始澳大利亞每年的自殺率長期圍繞在10萬分之3附近波動，而且波動范圍長期在10萬分之2至10萬分之4之間，這呈現(xiàn)出平穩(wěn)序列的特征。但是看序列的最后20年的波動，自殺率又是一路遞減，這是有趨勢嗎？如果是趨勢，這就是非平穩(wěn)特征。這時，通過時序圖判斷序列的平穩(wěn)性有點困難。這時，可以借助序列自相關(guān)圖的性質(zhì)進一步輔助識別。自相關(guān)圖檢驗自相關(guān)圖檢驗自相關(guān)圖是一個平面二維坐標懸垂線圖，橫坐標表示延遲時期數(shù)，縱坐標表示自相關(guān)系數(shù)，懸垂線的長度表示自相關(guān)系數(shù)的大小.自相關(guān)圖檢驗技巧在下一章，我們會證明平穩(wěn)序列通常具有短期相關(guān)性.這就是我們利用自相關(guān)圖進行平穩(wěn)性判別的標準.該性質(zhì)用自相關(guān)系數(shù)來描述就是隨著延遲階數(shù)k的增加，平穩(wěn)序列的自相關(guān)系數(shù)會很快地衰減向零;而非平穩(wěn)序列的自相關(guān)系數(shù)衰減向零的速度通常比較慢。例2.1續(xù)繪制1978-2012年我國第三產(chǎn)業(yè)占國內(nèi)生產(chǎn)總值的比例序列的自相關(guān)圖該序列自相關(guān)圖呈現(xiàn)出明顯的三角對稱性，這是有趨勢的非平穩(wěn)序列常見的自相關(guān)圖特征.根據(jù)該序列自相關(guān)圖我們可以認為該序列非平穩(wěn)，且可能具有長期趨勢這和該序列時序圖呈現(xiàn)的單調(diào)遞增性是一致的.例2.2續(xù)繪制1970—1976年加拿大Coppermine地區(qū)月度降雨量序列的自相關(guān)圖該序列自相關(guān)圖呈現(xiàn)明顯的三角函數(shù)波動規(guī)律.這是具有周期性變化的非平穩(wěn)序列的一種典型的自相關(guān)圖特征，而且這種周期性幾乎不衰減根據(jù)自相關(guān)圖的長期相關(guān)性和余弦變化特征，我們可以認為該序列非平穩(wěn)且具有穩(wěn)定的周期變化規(guī)律.這和該序列時序圖呈現(xiàn)的季節(jié)性特征是一致的.例2.3續(xù)繪制1915-2004年澳大利亞自殺率序列（每10萬人自殺人口數(shù)）的自相關(guān)圖該序列自相關(guān)圖呈現(xiàn)出明顯的倒三角特征,這是具有單調(diào)趨勢的非平穩(wěn)序列的典型特征.根據(jù)自相關(guān)圖特征,我們可以認為該序列非平穩(wěn),且具有長期趨勢.本章內(nèi)容平穩(wěn)序列的定義0102平穩(wěn)性檢驗純隨機性檢驗0403純隨機序列純隨機序列的定義：如果序列滿足如下兩條性質(zhì)，我們稱該序列為純隨機序列,也稱為白噪聲(WhiteNoise)序列,簡記為。容易證明,白噪聲序列一定是平穩(wěn)序列,而且是最簡單的平穩(wěn)序列。例2-4隨機產(chǎn)生1000個服從標準正態(tài)分布的白噪聲序列觀察值,并繪制時序圖。純隨機序列的性質(zhì)

純隨機性

各序列值之間沒有任何相關(guān)關(guān)系，即為“沒有記憶”的序列

方差齊性根據(jù)馬爾可夫定理，只有方差齊性假定成立時，用最小二乘法得到的未知參數(shù)估計值才是準確的、有效的純隨機性檢驗原理純隨機性檢驗原理：Barlett定理純隨機性檢驗也稱為白噪聲檢驗,是專門用來檢驗序列是否為純隨機序列的一種方法如果一個序列是純隨機序列,那么它的序列值之間應該沒有任何相關(guān)關(guān)系,即滿足這是一種理論上才會出現(xiàn)的理想狀況。實際上,由于觀察值序列的有限性,純隨機序列的樣本自相關(guān)系數(shù)不會絕對為零。例2-4續(xù)（1）繪制例2-7標準正態(tài)白噪聲序列的樣本自相關(guān)圖。該序列樣本自相關(guān)圖顯示：這個純隨機序列沒有一個樣本自相關(guān)系數(shù)嚴格等于零。但這些自相關(guān)系數(shù)確實都非常小,都在零值附近以一個很小的幅度隨機波動。這就提醒我們應該考慮樣本自相關(guān)系數(shù)的分布性質(zhì),從統(tǒng)計意義上判斷序列的純隨機性質(zhì)。純隨機性檢驗原理純隨機性檢驗原理：Barlett定理Barlett定理如果一個時間序列是純隨機的，得到一個觀察期數(shù)為的觀察值序列，那么該序列的延遲非零期的樣本自相關(guān)系數(shù)將近似服從均值為零，方差為序列觀察期數(shù)倒數(shù)的正態(tài)分布根據(jù)Barlett定理,我們可以構(gòu)造檢驗統(tǒng)計量來檢驗序列的純隨機性檢驗統(tǒng)計量假設條件原假設：延遲期數(shù)小于或等于m期的序列值之間相互獨立備擇假設：延遲期數(shù)小于或等于m期的序列值之間有相關(guān)性

檢驗統(tǒng)計量Q統(tǒng)計量LB統(tǒng)計量純隨機性檢驗的判別原則拒絕原假設當檢驗統(tǒng)計量大于分位點，或該統(tǒng)計量的P值小于時，則可以以的置信水平拒絕原假設，認為該序列為非白噪聲序列。接受原假設當檢驗統(tǒng)計量小于分位點，或該統(tǒng)計量的P值大于時，則認為在的置信水平下無法拒絕原假設，即可以認為該序列為白噪聲序列。

例2-4續(xù)(2)計算例2-4中白噪聲序列延遲1~12階的LB統(tǒng)計量的值,并判斷該序列的隨機性。延遲1-12階的LB統(tǒng)計量的P值都大于顯著性水平（0.05）所以可以判斷該序列為純隨機序列檢驗結(jié)果解讀由于LB檢驗統(tǒng)計量的P值顯著大于顯著性水平α,所以該序列不能拒絕純隨機的原假設。換言之,我們判斷該序列為白噪聲序列，認為該序列的波動沒有任何統(tǒng)計規(guī)律可循。還需要解釋的一點是,為什么在本例中只檢驗了前12期延遲的Q統(tǒng)計量就直接判斷該序列是白噪聲序列呢?為什么不進行全部999期延遲檢驗呢?一方面是因為,平穩(wěn)序列通常具有短期相關(guān)性,如果序列值之間存在顯著的相關(guān)關(guān)系,通常只存在于延遲時期比較短的序列值之間。所以,如果一個平穩(wěn)序列短期延遲的序列值之間都不存在顯著的相關(guān)關(guān)系,通常長期延遲之間就更不會存在顯著的相關(guān)關(guān)系了。另一方面是因為,假如一個平穩(wěn)序列顯示出顯著的短期相關(guān)性,那么該序列就一定不是白噪聲序列,我們就可以對序列值之間存在的相關(guān)性進行分析。假如此時考慮的延遲時期數(shù)太長,反而可能淹沒了該序列的短期相關(guān)性。因為平穩(wěn)序列只要延遲時期足夠長,自相關(guān)系數(shù)都會收斂于零。例2-5對1900—1998年全球7級以上地震發(fā)生次數(shù)序列進行平穩(wěn)性和純隨機性檢驗。時序圖顯示該序列沒有明顯的趨勢和周期.自相關(guān)圖顯示，除了延遲1一4階的自相關(guān)系數(shù)在兩倍標準差之外，其他自相關(guān)系數(shù)均在兩倍標準差之內(nèi).我們可以認為該序列具有短期相關(guān)性.因此，我們可以判斷該序列為平穩(wěn)序列.例2-5對1900—1998年全球7級以上地震發(fā)生次數(shù)序列進行純隨機性檢驗。通過圖檢驗和純隨機性檢驗，我們可以認為全球每年發(fā)生7.0+級地震次數(shù)序列是平穩(wěn)非白噪聲序列LB檢驗結(jié)果顯示，延遲1~10階的LB統(tǒng)計量的P值都小于顯著性水平0.05所以我們可以顯著拒絕序列為純隨機序列的原假設，認為該序列為非白噪聲序列。THANKS02平穩(wěn)時間序列分析03Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04Wold分解定理Wold分解定理的產(chǎn)生背景1938年,H.Wold在他的博士論文“AStudyintheAnalysisofStationaryTimeSeries”中提出了著名的平穩(wěn)序列分解定理。這個定理是平穩(wěn)時間序列分析的理論基石。Wold分解定理的內(nèi)容對于任意一個離散平穩(wěn)時間序列,它都可以分解為兩個不相關(guān)的平穩(wěn)序列之和,其中一個為確定性的(deterministic),另一個為隨機性的(stochastic),不妨記作式中：為確定性平穩(wěn)序列，為隨機性平穩(wěn)序列Wold分解定理中確定性序列的性質(zhì)確定性序列的真實生成機制可以是任意方式。換言之的真實波動可以是時間的任意函數(shù)（前提是保證序列的平穩(wěn)性）。Wold證明不管的生成機制是怎樣的，它都可以等價表達為歷史序列值的線性函數(shù)所以，Wold分解定理中確定性序列的性質(zhì)是：序列的當期波動可以由其歷史序列值解讀的部分。Wold分解定理中隨機性序列的性質(zhì)Wold分解定理中，隨機序列代表了不能由序列的歷史信息解讀的隨機波動部分Wold證明這部分信息可以等價表達為式中：稱為新息過程（innovationprocess），是每個時期加入的新的隨機信息。它們相互獨立，不可預測，通常假定，。且有所以，Wold分解定理中隨機性序列的性質(zhì)是：序列的當期波動不可以由其歷史序列值解讀的部分。波動序列的方差對任意平穩(wěn)序列而言，令關(guān)于q期歷史序列值做線性回歸式中為回歸殘差序列，不妨記該序列的方差為。隨著的增大單調(diào)非增，且。的大小可以衡量歷史信息對現(xiàn)時值的預測精度。越小，說明基于q期歷史信息對未來的預測精度越高；越大，則說明序列隨機性很大，q期歷史信息對未來的預測精度很差。如果，說明序列的歷史信息幾乎可以完全預測未來的波動，這時稱為確定性序列。如果說明序列的歷史信息對預測未來波動完全沒有作用，這時稱為純隨機序列。絕大多數(shù)序列是介于確定性序列和純隨機序列中間，即，這時稱為隨機序列。Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04AR模型的定義具有如下結(jié)構(gòu)的模型稱為p階自回歸模型，簡記為特別當時，稱為中心化模型令，稱是的中心化序列自回歸系數(shù)多項式引進延遲算子，中心化模型又可以簡記為

稱下式為p階自回歸系數(shù)多項式延遲算子延遲算子類似于一個時間指針，當前序列值乘以一個延遲算子，就相當于把當前序列值的時間向過去撥了一個時刻記B為延遲算子，有

所以模型的簡寫形式如下導出延遲算子的性質(zhì)

，其中

例3-1考察如下四個模型的平穩(wěn)性例3-1時序圖平穩(wěn)特征非平穩(wěn)特征AR模型平穩(wěn)性判別

判別原因要擬合一個平穩(wěn)序列的發(fā)展,用來擬合的模型顯然也應該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法特征根判別線性差分方程：稱具有如下形式的方程為序列的p階線性差分方程式中，；為實數(shù)；為t的某個已知函數(shù)。特別地，當時，如下差分方程稱為p階齊次線性差分方程根據(jù)Wold分解定理，任意一個平穩(wěn)序列，都可以視為一個線性差分方程齊次線性差分方程的通解判別原因要擬合一個平穩(wěn)序列的發(fā)展,用來擬合的模型顯然也應該是平穩(wěn)的。AR模型是常用的平穩(wěn)序列的擬合模型之一,但并非所有的AR模型都是平穩(wěn)的。

判別方法特征根判別法平穩(wěn)域判別法自回歸方程的解任一個中心化模型都可以視為一個非齊次線性差分方程，它的通解求法如下（1）求齊次線性差分方程的一個通解（2）求非齊次線性差分方程的一個特解（3）求非齊次線性差分方程的通解

齊次線性差分方程的通解齊次線性差分方程的求解要借助它的特征方程和特征根。p階齊次線性差分方程的特征方程為特征方程的非零根稱為特征根。p階齊次線性差分方程有p個特征根，不妨記作根據(jù)差分方程理論，p階齊次線性差分方程的通解為（假設由d個相同實根，m個共軛虛根）非齊次線性差分方程的解非齊次線性差分方程的解等于齊次線性差分方程的通解，再加上一個特解所謂特解就是使非齊次線性差分方程成立的任一值，即例3-2驗證一階齊次線性差分方程的通解為，為任意實數(shù)?！纠?-2解】該差分方程的特征方程為：特征根為：容易驗證是該差分方程的解：例3-2續(xù)求一階線性差分方程的解?！纠?-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：特解可以用任意方式求出，本例嘗試求出該差分方程的一個常數(shù)特解則所以該差分方程的解為：例3-2驗證二階齊次線性差分方程的通解為，為任意實數(shù)?！纠?-2】該差分方程的特征方程為：特征根為：容易驗證是該差分方程的解：例3-2續(xù)求二階線性差分方程的解?！纠?-2續(xù)解】在例3-2中，我們求出該差分方程的通解為：可以求出該差分方程的一個常數(shù)特解為：所以該差分方程的解為：平穩(wěn)序列的解根據(jù)Wold分解定理，任意平穩(wěn)序列都可以等價表達為p階線性差分方程它的特征方程為它的p個非零特征根為，假設為該序列的任意特解，則該平穩(wěn)序列的解為其中：為任意實數(shù)。平穩(wěn)序列特征根的性質(zhì)平穩(wěn)序列必須滿足始終在均值附近波動，不能隨著時間的遞推而發(fā)散，即為了保證上式對于任意實數(shù)都成立，就必須要求每個特征根的冪函數(shù)都不能發(fā)散，即

進而推導出平穩(wěn)序列必須滿足每個特征根的絕對值都小于1這意味著，如果我們能把一個平穩(wěn)序列所有的特征根都求出來并且都標注在坐標軸上，那么該序列所有的特征根都應該在半徑為1的單位圓內(nèi)。如果序列有特征根在單位圓上或圓外，那么這個序列就是非平穩(wěn)的。所以這個判斷序列是否平穩(wěn)的性質(zhì)也稱為平穩(wěn)序列的單位根屬性。特征根判別p階自回歸序列平穩(wěn)，要求p個非零特征根都在單位圓內(nèi)，即在引入延遲算子之后,我們還可以推導出跟特征根判別等價的性質(zhì):p階自回歸序列平穩(wěn)的條件是自回歸系數(shù)多項式的p個根都在單位圓外平穩(wěn)域判別對于一個模型而言，如果沒有平穩(wěn)性的要求，實際上也就意味著對參數(shù)向量沒有任何限制，它們可以取遍維歐氏空間的任意一點如果加上了平穩(wěn)性限制，參數(shù)向量就只能取維歐氏空間的一個子集，使得特征根都在單位圓內(nèi)的系數(shù)集合對于低階自回歸模型用平穩(wěn)域的方法判別模型的平穩(wěn)性通常更為簡便

AR(1)模型平穩(wěn)條件方程結(jié)構(gòu)特征根平穩(wěn)域AR(2)模型的平穩(wěn)條件方程結(jié)構(gòu)特征根平穩(wěn)域AR(2)的平穩(wěn)域例3-1續(xù)分別用特征根判別法和平穩(wěn)域判別法檢驗例3-1中四個AR模型的平穩(wěn)性例3.1平穩(wěn)性判別模型特征根判別平穩(wěn)域判別結(jié)論(1)平穩(wěn)(2)非平穩(wěn)(3)平穩(wěn)

(4)非平穩(wěn)平穩(wěn)AR模型的統(tǒng)計性質(zhì)——均值

如果AR(p)模型滿足平穩(wěn)性條件，則有根據(jù)平穩(wěn)序列均值為常數(shù)，且為白噪聲序列，有推導出平穩(wěn)AR模型的統(tǒng)計性質(zhì)——方差要得到平穩(wěn)AR(p)模型的方差,需要借助Green函數(shù)的幫助Green函數(shù)的定義假設為任意p階的平穩(wěn)AR模型,那么一定存在一個常數(shù)序列使得可以等價表達為純隨機序列的線性組合,即

這個常數(shù)序列就稱為Green函數(shù)

基于Green函數(shù)，可以求出AR(p)模型的方差為Green函數(shù)的遞推公式原理方法：待定系數(shù)法例3-3求平穩(wěn)AR(1)模型的Green函數(shù)的遞推公式,并基于Green函數(shù)求解AR(1)模型的方差。平穩(wěn)AR(1)模型的Green函數(shù)遞推公式為平穩(wěn)AR(1)模型的方差為平穩(wěn)AR模型的統(tǒng)計性質(zhì)——協(xié)方差函數(shù)在平穩(wěn)AR(p)模型兩邊同乘，再求期望根據(jù)得協(xié)方差函數(shù)的遞推公式例3-4求平穩(wěn)AR(1)模型的協(xié)方差遞推公式因為平穩(wěn)AR(1)模型的方差為所以協(xié)方差函數(shù)的遞推公式為例3-5求平穩(wěn)AR(2)模型的協(xié)方差AR(2)模型協(xié)方差函數(shù)遞推公式特別地，當k=1時，例3-5平穩(wěn)AR(2)模型的方差求解（方法一：基于Green函數(shù)遞推）AR(2)模型的Green函數(shù)為記

，

，則上面Green函數(shù)等號兩邊求平方，累加得且例3-5平穩(wěn)AR(2)模型的方差求解（方法一）把

代入

，得整理得

所以平穩(wěn)AR(2)模型的方差為例3-5平穩(wěn)AR(2)模型的方差求解（方法二：基于方程組求解）基于AR(2)模型的協(xié)方差遞推方程，可以得到如下聯(lián)立方程用方程組表示即為例3-5平穩(wěn)AR(2)模型的方差求解（方法二）解方程得平穩(wěn)AR(2)模型的方差為例3-5所以平穩(wěn)AR(2)模型的協(xié)方差函數(shù)遞推公式為平穩(wěn)AR模型的統(tǒng)計性質(zhì)——自相關(guān)系數(shù)自相關(guān)系數(shù)的定義平穩(wěn)AR(P)模型的自相關(guān)系數(shù)遞推公式常用AR模型自相關(guān)系數(shù)遞推公式AR(1)模型AR(2)模型AR模型自相關(guān)系數(shù)的性質(zhì)AR模型的自相關(guān)系數(shù)的表達式實際上是一個齊次差分方程，它的通解形式為根據(jù)自相關(guān)系數(shù)的通解形式，可以判斷AR模型的自相關(guān)系數(shù)具有如下特征呈指數(shù)衰減拖尾性例3-6考察如下AR模型的自相關(guān)圖例3-6自相關(guān)圖例3-6圖示解釋從上圖中可以看到,這四個平穩(wěn)AR模型,不論它們是AR(1)模型還是AR(2)模型,不論它們的特征根是實根還是復根,是正根還是負根,它們的自相關(guān)系數(shù)都呈現(xiàn)出拖尾性和呈指數(shù)衰減到零值附近的性質(zhì)。但由于特征根不同,它們的自相關(guān)系數(shù)衰減的方式也不一樣有的是按負指數(shù)單調(diào)衰減(如模型(1))有的是正負相間地衰減(如模型(2))有的呈現(xiàn)出類似于周期性的余弦衰減,即具有“偽周期”特征(如模型(3))有的是不規(guī)則衰減（如模型(4)）偏自相關(guān)系數(shù)偏自相關(guān)系數(shù)的定義對于平穩(wěn)序列，所謂滯后k偏自相關(guān)系數(shù)就是指在給定中間k-1個隨機變量的條件下，或者說，在剔除了中間k-1個隨機變量的干擾之后，對影響的相關(guān)度量。用數(shù)學語言描述就是偏自相關(guān)系數(shù)的計算基于Yule-Walker方程組計算偏自相關(guān)系數(shù)在方程等號兩邊同時乘以，等號兩邊求期望再除以方差，得取前k個方程構(gòu)成的方程組即Yule-Walker方程組解Yule-Walker方程組可以得到參數(shù)的解，最后一個參數(shù)的解即為延遲K偏自相關(guān)系數(shù)AR(1)模型偏自相關(guān)系數(shù)的計算AR(1)模型Jule-Walker方程偏自相關(guān)系數(shù)的解AR(2)模型偏自相關(guān)系數(shù)的計算Yule-Walker方程求解基于矩陣結(jié)構(gòu)計算偏自相關(guān)系數(shù)證明AR(p)模型偏自相關(guān)系數(shù)p階截尾所謂p階截尾,是指。要證明這一點,實際上只要能證明當時,即可。例3-6續(xù)求如下AR模型的偏自相關(guān)系數(shù)，并考察它們的偏自相關(guān)圖特征例3-6續(xù)求AR模型的偏自相關(guān)系數(shù)例3-6續(xù)考察AR序列的偏自相關(guān)圖Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04MA模型的定義具有如下結(jié)構(gòu)的模型稱為階自回歸模型，簡記為特別當時，稱為中心化模型引進延遲算子，中心化模型又可以簡記為其中稱為q階移動平均系數(shù)多項式MA模型的統(tǒng)計性質(zhì)常數(shù)均值常數(shù)方差自協(xié)方差函數(shù)與自相關(guān)系數(shù)q階截尾常用MA模型的自相關(guān)系數(shù)MA(1)模型MA(2)模型例3-7繪制下列MA模型的樣本自相關(guān)圖,直觀考察MA模型自相關(guān)系數(shù)截尾的特性。例3-7MA模型的自相關(guān)圖

MA(1)模型自相關(guān)圖特征解讀考察上面兩個MA(1)模型的自相關(guān)圖，排除樣本隨機性的影響,樣本自相關(guān)圖清晰顯示出MA(1)模型自相關(guān)系數(shù)一階截尾考察上面兩個MA(1)模型的自相關(guān)圖，可以發(fā)現(xiàn)這兩個不同的MA模型具有完全相同的自相關(guān)圖。容易驗證它們的理論自相關(guān)系數(shù)也正好相等MA(2)模型自相關(guān)圖特征解讀考察上面兩個MA(2)模型的自相關(guān)圖，排除樣本隨機性的影響,樣本自相關(guān)圖清晰顯示出MA(2)模型自相關(guān)系數(shù)二階截尾考察上面兩個MA(2)模型的自相關(guān)圖，可以發(fā)現(xiàn)這兩個不同的MA模型具有完全相同的自相關(guān)圖。容易驗證它們的理論自相關(guān)系數(shù)也正好相等MA模型的可逆性例3-7演示了不同的MA模型，可能具有完全相同的自相關(guān)系數(shù)的現(xiàn)象。產(chǎn)生這種現(xiàn)象的原因就是我們在第二章中提到的：自相關(guān)系數(shù)有可能不唯一。這種自相關(guān)系數(shù)的不唯一性，會給我們將來的工作增加麻煩。因為，將來我們都是通過樣本自相關(guān)系數(shù)顯示出來的特征選擇合適的模型擬合序列的發(fā)展，如果自相關(guān)系數(shù)和模型之間不是一一對應關(guān)系，就將導致擬合模型和隨機序列之間不會是一一對應關(guān)系。為了保證一個給定的自相關(guān)函數(shù)能夠?qū)ㄒ坏哪Ｐ?，我們就要給模型增加約束條件。這個約束條件稱為模型的可逆性條件?？赡鍹A模型定義：若一個MA模型能夠表示成為收斂的AR模型形式，那么該MA模型稱為可逆MA模型可逆概念的重要性：一個自相關(guān)系數(shù)列唯一對應一個可逆MA模型。MA模型的可逆性可逆MA(1)模型MA(q)模型的可逆條件MA模型的可逆條件MA(q)模型的可逆概念和AR(p)模型的平穩(wěn)概念是對偶概念。MA(q)模型的可逆條件是該模型特征方程的q個非零特征根都在單位圓內(nèi)或移動平滑系數(shù)多項式的根都在單位圓外低階MA模型系數(shù)可逆域根據(jù)MA模型的結(jié)構(gòu)，求出特征方程的特征根，根據(jù)特征根都在單位圓內(nèi)的約束條件，可以求出滿足可逆條件的系數(shù)取值空間，這就是MA模型的系數(shù)可逆域。MA模型的系數(shù)可逆域與AR模型的平穩(wěn)域具有對偶關(guān)系MA(1)模型的系數(shù)可逆域MA(2)模型的系數(shù)可逆域逆函數(shù)的遞推公式原理待定系數(shù)法遞推公式例3.7續(xù)考察如下MA模型的可逆性MA1)—(2)模型1

模型2模型2的逆函數(shù)模型2的逆轉(zhuǎn)形式兩個MA(1)模型可逆性判斷MA模型的可逆條件MA1)—(2)模型3

模型4模型3的逆函數(shù)模型3的逆轉(zhuǎn)形式兩個MA(2)模型可逆性判斷MA模型的可逆條件MA模型偏自相關(guān)系數(shù)拖尾對于一個可逆模型，可以等價寫成模型形式其中AR(p)模型偏自相關(guān)系數(shù)p階截尾，所以可逆MA(q)模型偏自相關(guān)系數(shù)階截尾，即具有偏自相關(guān)系數(shù)拖尾屬性。一個可逆MA(q)模型一定對應著一個與它具有相同自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的不可逆MA(q)模型，這個不可逆MA(q)模型也同樣具有偏自相關(guān)系數(shù)拖尾特性。例3-8

求MA(1)模型偏自相關(guān)系數(shù)的表達式MA(1)模型表達式：根據(jù)偏自相關(guān)系數(shù)的定義，我們知道延遲k階偏自相關(guān)系數(shù)是如下方程組的最后一個系數(shù)對依次求方程，可以得到MA(1)模型任意k階偏自相關(guān)系數(shù)的通解為例3-7續(xù)繪制下列MA模型的偏自相關(guān)系數(shù)圖，直觀考察MA模型偏自相關(guān)系數(shù)的拖尾性例3-7續(xù)：MA模型偏自相關(guān)系數(shù)拖尾Wold分解定理0102AR模型MA模型03本章內(nèi)容ARMA模型04ARMA模型的定義具有如下結(jié)構(gòu)的模型稱為自回歸移動平均模型，簡記為特別當時，稱為中心化模型引進延遲算子,ARMA(p,q)模型簡記為其中：平穩(wěn)條件與可逆條件ARMA(p,q)模型的平穩(wěn)條件P階自回歸系數(shù)多項式的根都在單位圓外即ARMA(p,q)模型的平穩(wěn)性完全由其自回歸部分的平穩(wěn)性決定ARMA(p,q)模型的可逆條件q階移動平均系數(shù)多項式的根都在單位圓外即ARMA(p,q)模型的可逆性完全由其移動平滑部分的可逆性決定傳遞形式與逆轉(zhuǎn)形式傳遞形式逆轉(zhuǎn)形式ARMA(p,q)模型的統(tǒng)計性質(zhì)均值協(xié)方差自相關(guān)系數(shù)ARMA模型的相關(guān)性自相關(guān)系數(shù)拖尾ARMA(p,q)模型可以轉(zhuǎn)化為無窮階移動平均模型偏自相關(guān)系數(shù)拖尾ARMA(p,q)模型可以轉(zhuǎn)化為無窮階自回歸模型例3.9:考察ARMA模型的相關(guān)性擬合模型ARMA(1,1)

并直觀地考察該模型自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)。

例3-8ARMA模型自相關(guān)系數(shù)和偏自相關(guān)系數(shù)拖尾性樣本自相關(guān)圖樣本偏自相關(guān)圖ARMA模型相關(guān)性特征模型自相關(guān)系數(shù)偏自相關(guān)系數(shù)AR(P)拖尾P階截尾MA(q)q階截尾拖尾ARMA(p,q)拖尾拖尾THANKS03平穩(wěn)序列擬合與預測04建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN單位根檢驗單位根檢驗是構(gòu)造統(tǒng)計量進行序列平穩(wěn)性檢驗的最常用方法。它的理論基礎(chǔ)是：如果序列是平穩(wěn)的，那么該序列的所有特征根都應該在單位圓內(nèi)?；谶@個性質(zhì)構(gòu)造的序列平穩(wěn)性檢驗方法叫作單位根檢驗。最早的單位根檢驗方法是由統(tǒng)計學家Dickey和Fuller提出來的，所以人們以他們名字的首字母DF命名了最早的平穩(wěn)性檢驗方法——DF檢驗。隨著學科的發(fā)展，后續(xù)又產(chǎn)生了很多種單位根檢驗方法，比如ADF檢驗，PP檢驗等等。DF檢驗的構(gòu)造原理DF檢驗是從最簡單的一種情況著手進行構(gòu)造的單位根檢驗方法。它假設序列的確定性部分可以只由過去一期的歷史數(shù)據(jù)描述，即序列可以表達為式中，為序列的隨機部分，常常假設顯然該序列只有一個特征根，且特征根為通過檢驗特征根是在單位圓內(nèi)還是單位圓上（外）可以檢驗序列的平穩(wěn)性。由于現(xiàn)實生活中絕大多數(shù)序列都是非平穩(wěn)序列，所以單位根檢驗的原假設為序列非平穩(wěn)，備擇假設是序列平穩(wěn)DF統(tǒng)計量統(tǒng)計量的漸進分布為標準正態(tài)分布

統(tǒng)計量的漸近分布不是我們熟知的任何參數(shù)分布，Dickey和Fuller通過隨機模擬的方法，得到該統(tǒng)計量的經(jīng)驗分布DF檢驗的等價表達等價假設檢驗統(tǒng)計量檢驗結(jié)果判定當顯著性水平取為時，記為DF檢驗的分位點，則當時，拒絕原假設，認為序列平穩(wěn)。等價判別是統(tǒng)計量的P值小于等于顯著性水平；當時，接受原假設，認為序列非平穩(wěn)。等價判別是統(tǒng)計量的P值大于顯著性水平。DF檢驗的三種類型類型一：無漂移項自回歸結(jié)構(gòu)類型二：有漂移項自回歸結(jié)構(gòu)類型三：帶趨勢回歸結(jié)構(gòu)例2-3續(xù)對1915-2004年澳大利亞自殺率序列（每10萬人自殺人口數(shù)）進行DF檢驗，判斷該序列的平穩(wěn)性。該序列DF檢驗統(tǒng)計量等于-1.31，P值為0.62，大于顯著性水平0.05，所以基于DF檢驗，我們不能拒絕該序列非平穩(wěn)的原假設，即可以判斷1915-2004年澳大利亞自殺率序列為非平穩(wěn)序列。ADF檢驗的構(gòu)造原理ADF檢驗產(chǎn)生背景DF檢驗只適用于最簡單的、確定性部分只由上一期歷史數(shù)據(jù)描述的序列平穩(wěn)性檢驗。為了使DF檢驗能適用于任意期確定性信息提取，人們對DF檢驗進行了一定的修正，得到了增廣DF檢驗（augmentedDickey-Fuller）,簡記為ADF檢驗ADF檢驗原理假設序列的確定性部分可以由過去p期的歷史數(shù)據(jù)描述，即序列可以表達為如果序列平穩(wěn)，它必須滿足所有非零特征根都在單位圓內(nèi)。假如有一個單位根存在，不妨假設，則序列非平穩(wěn)。把代入特征方程，得到這意味著，如果序列非平穩(wěn)，存在特征根，那么序列回歸系數(shù)之和恰好等于1。因而，對于序列的平穩(wěn)性檢驗，可以通過檢驗它的回歸系數(shù)之和的性質(zhì)進行判斷。ADF檢驗假設條件檢驗統(tǒng)計量檢驗結(jié)果判定和DF檢驗一樣。通過蒙特卡洛方法，可以得到ADF檢驗統(tǒng)計量的臨界值表。當顯著性水平取為時，記為ADF檢驗的分位點，則當時，拒絕原假設，認為序列平穩(wěn)。等價判別是統(tǒng)計量的P值小于等于顯著性水平；當時，接受原假設，認為序列非平穩(wěn)。等價判別是統(tǒng)計量的P值大于顯著性水平。例2-5續(xù)對1900—1998年全球7.0級以上地震發(fā)生次數(shù)序列進行ADF檢驗，判斷該序列的平穩(wěn)性。該序列延遲2階ADF檢驗統(tǒng)計量等于-3.18，P值為0.02，小于顯著性水平0.05，所以基于ADF檢驗，我們能顯著拒絕該序列非平穩(wěn)的原假設，即可以判斷1900—1998年全球7.0級以上地震發(fā)生次數(shù)序列為平穩(wěn)序列。建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN計算樣本相關(guān)系數(shù)樣本自相關(guān)系數(shù)樣本偏自相關(guān)系數(shù)建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN平穩(wěn)序列擬合模型識別自相關(guān)系數(shù)偏自相關(guān)系數(shù)選擇模型拖尾P階截尾AR(P)q階截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定階的困難因為由于樣本的隨機性，樣本的相關(guān)系數(shù)不會呈現(xiàn)出理論截尾的完美情況，本應截尾的或仍會呈現(xiàn)出小值振蕩的情況由于平穩(wěn)時間序列通常都具有短期相關(guān)性，隨著延遲階數(shù)，與都會衰減至零值附近作小值波動當或在延遲若干階之后衰減為小值波動時，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近作拖尾波動呢？這實際上沒有絕對的標準,在很大程度上依靠分析人員的主觀經(jīng)驗。但樣本自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的近似分布可以幫助缺乏經(jīng)驗的分析人員做出盡量合理的判斷。樣本相關(guān)系數(shù)的近似分布BarlettQuenouille模型定階經(jīng)驗方法樣本自相關(guān)系數(shù)和樣本偏自相關(guān)系數(shù)的95％置信區(qū)間模型定階的經(jīng)驗方法如果樣本自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）在最初的d階明顯大于兩倍標準差范圍，而后幾乎95％的自相關(guān)系數(shù)都落在2倍標準差的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值波動的過程非常突然。這時，通常視為自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）截尾。截尾階數(shù)為d。如果有超過5%的樣本自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）落入2倍標準差范圍之外,或者由顯著非零的自相關(guān)系數(shù)（偏自相關(guān)系數(shù)）衰減為小值波動的過程比較緩慢或者非常連續(xù),這時,通常視為自相關(guān)系數(shù)拖尾。例4-1選擇合適的模型擬合1900—1998年全球7.0級以上地震年發(fā)生次數(shù)序列。在例2-5的分析中,我們已經(jīng)判斷該序列是平穩(wěn)非白噪聲序列。現(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階例4-1模型定階從自相關(guān)圖可以看出,自相關(guān)系數(shù)是以一種有規(guī)律的方式,按指數(shù)函數(shù)軌跡衰減的,這說明自相關(guān)系數(shù)衰減到零不是一個突然截尾的過程,而是一個連續(xù)漸變的過程,這時自相關(guān)系數(shù)拖尾的典型特征,我們可以把拖尾特征形象地描述為“坐著滑梯落水”。從偏自相關(guān)圖可以看出,除了1階偏自相關(guān)系數(shù)在2倍標準差范圍之外,其他階數(shù)的偏自相關(guān)系數(shù)都在2倍標準差范圍內(nèi),這是一個偏自相關(guān)系數(shù)1階截尾的典型特征。我們可以把這種截尾特征形象地描述為“1階之后高臺跳水”。本例中,根據(jù)自相關(guān)系數(shù)拖尾,偏自相關(guān)系數(shù)1階截尾的屬性,我們可以初步確定擬合模型為AR(1)模型。例3.10選擇合適的模型擬合美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列

例4-2序列自相關(guān)圖和偏自相關(guān)圖對序列進行ADF檢驗和白噪聲檢驗，檢驗結(jié)果顯示該序列為平穩(wěn)非白噪聲序列。現(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階例4-2模型定階自相關(guān)圖顯示除了延遲1階的自相關(guān)系數(shù)在2倍標準差范圍之外，其它階數(shù)的自相關(guān)系數(shù)都在2倍標準差范圍內(nèi)波動。根據(jù)這個特點可以判斷該序列具有短期相關(guān)性，進一步確定序列平穩(wěn)。同時，可以認為該序列自相關(guān)系數(shù)1階截尾。偏自相關(guān)系數(shù)顯示出典型非截尾的性質(zhì)。綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，為擬合模型定階為MA(1)。例3.11選擇合適的模型擬合1880-1985全球氣表平均溫度改變值差分序列

例4-3對序列進行ADF檢驗和白噪聲檢驗，檢驗結(jié)果顯示該序列為平穩(wěn)非白噪聲序列?，F(xiàn)在考察該序列的自相關(guān)圖和偏自相關(guān)圖,給該序列的擬合模型定階序列自相關(guān)圖和偏自相關(guān)圖自相關(guān)系數(shù)顯示出不截尾的性質(zhì)。偏自相關(guān)系數(shù)也顯示出不截尾的性質(zhì)。綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，可以嘗試使用ARMA(1,1)模型擬合該序列。例4-3模型定階建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN參數(shù)估計待估參數(shù)個未知參數(shù)常用估計方法矩估計極大似然估計最小二乘估計矩估計原理樣本自相關(guān)系數(shù)估計總體自相關(guān)系數(shù)樣本一階均值估計總體均值，樣本方差估計總體方差例4-4求AR(2)模型系數(shù)的矩估計AR(2)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到AR(2)模型參數(shù)的矩估計例4-5求MA(1)模型系數(shù)的矩估計MA(1)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到MA(1)模型參數(shù)的矩估計矩估計例4-6求ARMA(1,1)模型系數(shù)的矩估計ARMA(1,1)模型的Yule-Walker方程用樣本自相關(guān)系數(shù)代入Yule-Walker方程，得到ARMA(1,1)模型參數(shù)的矩估計對矩估計的評價優(yōu)點估計思想簡單直觀不需要假設總體分布計算量?。ǖ碗A模型場合）缺點信息浪費嚴重，只用到了p+q個樣本自相關(guān)系數(shù)信息，其他信息都被忽略估計精度差通常矩估計方法被用作極大似然估計、最小二乘估計等其它估計方法迭代計算的初始值極大似然估計原理在極大似然準則下，認為樣本來自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達到最大的參數(shù)值

似然方程組似然方程組實際上是由p+q+1個超越方程構(gòu)成，需要使用迭代算法求出未知參數(shù)的極大似然估計值對極大似然估計的評價優(yōu)點極大似然估計充分應用了每一個觀察值所提供的信息，因而它的估計精度高同時還具有估計的一致性、漸近正態(tài)性和漸近有效性等許多優(yōu)良的統(tǒng)計性質(zhì)缺點需要假定總體分布最小二乘估計令殘差項為殘差平方和為使殘差平方和達到最小的那組參數(shù)值即為最小二乘估計值最小二乘估計的特征與評價由于隨機擾動不可觀測，所以也不是的顯性函數(shù)，未知參數(shù)的最小二乘估計值通常也得借助迭代法求出。在實際中，最常用的是條件最小二乘估計方法。它假定過去未觀測到的序列值等于零，即，這個假定條件下進行的最小二乘估計稱為條件最小二乘估計。最小二乘估計方法的優(yōu)點原理簡單，方法普適，估計精度高例4-1續(xù)使用最小二乘估計方法確定1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的口徑。根據(jù)參數(shù)估計結(jié)果，確定該AR(1)模型口徑為例4-2續(xù)確定美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列擬合模型的口徑

擬合模型：MA(1)模型口徑：例4-3續(xù)確定1880-1985全球氣表平均溫度改變值差分序列擬合模型的口徑

擬合模型：ARMA(1,1)擬合模型常數(shù)項不顯著非零，刪除常數(shù)項得到擬合模型的口徑為：建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN模型檢驗對序列進行模型擬合之后，我們還要對該擬合模型進行必要的檢驗。檢驗內(nèi)容模型的顯著性檢驗確保序列中蘊含的相關(guān)信息被充分提取，擬合模型的殘差序列必須是白噪聲序列參數(shù)的顯著性檢驗確保擬合模型的精簡，每個保留在擬合模型中的參數(shù)必須顯著非零模型的顯著性檢驗目的檢驗擬合模型的有效性（對相關(guān)信息的提取是否充分）檢驗對象殘差序列判定原則一個好的擬合模型應該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息，即殘差序列應該為白噪聲序列反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就說明擬合模型不夠有效模型顯著性檢驗的假設條件原假設：殘差序列為白噪聲序列備擇假設：殘差序列為非白噪聲序列檢驗統(tǒng)計量例3.9續(xù)檢驗1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的顯著性殘差序列的白噪聲檢驗結(jié)果顯示：由于各階延遲下ＬＢ統(tǒng)計量的Ｐ值都顯著大于0.05，可以認為擬合模型的殘差序列屬于白噪聲序列，即該擬合模型顯著有效。例4-1續(xù)參數(shù)顯著性檢驗目的檢驗每一個未知參數(shù)是否顯著非零。刪除不顯著參數(shù)使模型結(jié)構(gòu)最精簡

假設條件檢驗統(tǒng)計量例3.9續(xù)檢驗1900-1998年全球７級以上地震發(fā)生次數(shù)序列擬合模型的參數(shù)顯著性

參數(shù)顯著性檢驗結(jié)果例4-1續(xù)因為每個參數(shù)的Z統(tǒng)計量的P值都小于顯著性水平（0.05），所以我們可以認為AR(1)模型的兩個參數(shù)都顯著非零。例3.9續(xù)對美國科羅拉多州某一加油站連續(xù)57天的每日盈虧序列擬合模型進行檢驗模型顯著性檢驗

結(jié)論：模型顯著成立，參數(shù)顯著非零例4-2續(xù)參數(shù)顯著性檢驗例3.9續(xù)對1880—1985年全球氣表平均溫度改變值差分序列擬合模型進行檢驗模型顯著性檢驗結(jié)論：模型顯著成立參數(shù)顯著非零例4-3續(xù)參數(shù)顯著性檢驗建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN模型優(yōu)化問題提出當一個擬合模型通過了檢驗，說明在一定的置信水平下，該模型能有效地擬合觀察值序列的波動，但這種有效模型并不是唯一的。優(yōu)化的目的選擇相對最優(yōu)模型

例4-7等時間間隔連續(xù)讀取７０個某次化學反應的過程數(shù)據(jù)，構(gòu)成一時間序列。預處理顯示該序列為平穩(wěn)非白噪聲序列。序列的樣本自相關(guān)圖和偏自相關(guān)圖根據(jù)自相關(guān)圖的特征，可能有人會認為自相關(guān)系數(shù)２階截尾，那么可以對序列擬合MA(2)模型。根據(jù)偏自相關(guān)圖的特征，可能有人會認為偏自相關(guān)系數(shù)１階截尾，那么可以對序列擬合AR(1)模型。擬合模型擬合模型一：根據(jù)自相關(guān)系數(shù)2階截尾，擬合MA(2)模型擬合模型二：根據(jù)自相關(guān)系數(shù)2階截尾，擬合AR(1)模型模型檢驗這兩個模型均顯著有效這兩個模型的所有參數(shù)均顯著非零問題同一個序列可以構(gòu)造兩個甚至多個擬合模型，每個模型都顯著有效，那么到底該選擇哪個模型用于統(tǒng)計推斷呢？解決辦法確定適當?shù)谋容^準則，構(gòu)造適當?shù)慕y(tǒng)計量，確定相對最優(yōu)模型優(yōu)化標準AIC準則最小信息量準則（AnInformationCriterion）指導思想似然函數(shù)值越大越好未知參數(shù)的個數(shù)越少越好

AIC統(tǒng)計量SBC準則AIC準則的缺陷在樣本容量趨于無窮大時，由AIC準則選擇的模型不收斂于真實模型，它通常比真實模型所含的未知參數(shù)個數(shù)要多SBC統(tǒng)計量例3.15續(xù)用AIC準則和SBC準則評判例4-7中兩個擬合模型的相對優(yōu)劣結(jié)果最小信息量檢驗顯示，無論是使用AIC準則還是使用SBC準則，AR(1)模型都要優(yōu)于MA(2)模型，所以本例中AR(1)模型是相對最優(yōu)模型。例4-7模型AICBICMA(2)538.706547.700AR(1)537.958544.703建模步驟0102單位根檢驗模型識別參數(shù)估計模型檢驗050403本章內(nèi)容模型優(yōu)化06序列預測07建模步驟平穩(wěn)非白噪聲序列計算樣本相關(guān)系數(shù)模型識別參數(shù)估計模型檢驗模型優(yōu)化序列預測YN序列預測線性預測函數(shù)預測方差最小原則線性預測函數(shù)根據(jù)平穩(wěn)ARMA模型的可逆性，可以用AR結(jié)構(gòu)表達任意一個平穩(wěn)ARMA模型其中：這意味著使用遞推法，基于現(xiàn)有的序列觀察值可以預測未來任意時刻的序列值例4-8假設序列可以用ARMA(1,1)模型擬合，請確定該序列未來２期預測值中第t期和第t-1期序列值的權(quán)重。根據(jù)擬合模型結(jié)構(gòu)，求出逆函數(shù)未來兩期遞推公式預測方差最小原則預測誤差預測方差根據(jù)預測方差最小原則，得序列分解預測誤差預測值預測序列分解誤差分析估計誤差期望方差AR(p)序列的預測預測值預測方差95％置信區(qū)間例3.16已知某超市月銷售額近似服從AR(2)模型（單位：萬元/每月）今年第一季度該超市月銷