時間序列分析模型與回歸分析模型算法說明

1、本次模型采用時間序列分析模型與回歸分析模型進行組合訓練，以此來對經(jīng)濟指標進行時間序列預(yù)測發(fā)現(xiàn)其自身的規(guī)律性， 據(jù)此預(yù)測未來一段時間內(nèi)經(jīng)濟數(shù) 據(jù)的變化。同時采用回歸分析對經(jīng)濟指標間的相關(guān)性進行分析，確定指標間的函數(shù)變動，探究指標之間的聯(lián)系。一、回歸分析線性回歸和邏輯回歸通常是人們學習預(yù)測模型的第一個算法。 由于這二者的 知名度很大，許多分析人員以為它們就是回歸的唯一形式了。 而了解更多的學者 會知道它們是所有回歸模型的主要兩種形式。事實是有很多種回歸形式，每種回歸都有其特定的適用場合。在這篇文章中， 我將以簡單的形式介紹 7中最常見的回歸模型。通過這篇文章，我希望能夠幫 助大家對回歸有更廣泛和全

2、面的認識，而不是僅僅知道使用線性回歸和邏輯回歸 來解決實際問題。1 .什么是回歸分析？回歸分析是一種預(yù)測建模技術(shù)的方法，研究因變量（目標）和自變量（預(yù)測 器）之前的關(guān)系。這一技術(shù)被用在預(yù)測、時間序列模型和尋找變量之間因果關(guān)系。 例如研究駕駛員魯莽駕駛與交通事故發(fā)生頻率之間的關(guān)系，就可以通過回歸分析 來解決?；貧w分析是進行數(shù)據(jù)建模、分析的重要工具。下面這張圖反映的是使用一條 曲線來擬合離散數(shù)據(jù)點。其中，所有離散數(shù)據(jù)點與擬合曲線對應(yīng)位置的差值之和 是被最小化了的，更多細節(jié)我們會慢慢介紹。2 .為什么使用回歸分析？如上面所說，回歸分析能估計兩個或者多個變量之間的關(guān)系。下面我們通過一個簡單的例子來理解

3、:比如說，你想根據(jù)當前的經(jīng)濟狀況來估計一家公司的銷售額增長。你有最近 的公司數(shù)據(jù)，數(shù)據(jù)表明銷售增長大約是經(jīng)濟增長的2.5倍。利用這種洞察力，我們就可以根據(jù)當前和過去的信息預(yù)測公司未來的銷售情況。使用回歸模型有很多好處，例如：揭示了因變量和自變量之間的顯著關(guān)系揭示了多個自變量對一個因變量的影響程度大小回歸分析還允許我們比較在不同尺度上測量的變量的影響， 例如價格變化的 影響和促銷活動的數(shù)量的影響。這樣的好處是可以幫助市場研究者 /數(shù)據(jù)分析 家/數(shù)據(jù)科學家評估選擇最佳的變量集，用于建立預(yù)測模型。3 .有哪些回歸類型？有許多回歸技術(shù)可以用來做預(yù)測。這些回歸技術(shù)主要由三個度量（獨立變量 的數(shù)量、度量變

4、量的類型和回歸線的形狀）驅(qū)動。我們將在下面的章節(jié)中詳細討 論。對于有創(chuàng)造力的人來說，可以對上面的參數(shù)進行組合，甚至創(chuàng)造出新的回歸。但 是在此之前，讓我們來看一看最常見的幾種回歸。4 ）線性回歸（Linear Regression線性回歸是最為人熟知的建模技術(shù)， 是人們學習如何預(yù)測模型時的首選之一。 在此技術(shù)中，因變量是連續(xù)的，自變量可以是連續(xù)的也可以是離散的。 回歸的本 質(zhì)是線性的。線性回歸通過使用最佳的擬合直線（又被稱為回歸線），建立因變量（Y）和 一個或多個自變量（X）之間的關(guān)系。它的表達式為：Y=a+b*X+e,其中a為直線截距，b為直線斜率，e為誤差 項。如果給出了自變量 X,就能通過

5、這個線性回歸表達式計算出預(yù)測值， 即因變 量Y。Relation a/w Weight & Height元線性回歸和多元線性回歸的區(qū)別在于，多元線性回歸有大于1個自變量，而一元線性回歸只有1 個自變量。接下來的問題是“如何獲得最佳擬合直線？”如何獲得最佳擬合直線(確定 a和b值)？這個問題可以使用最小二乘法(Least Square Method)輕松解決。最小二乘 法是一種擬合回歸線的常用算法。它通過最小化每個數(shù)據(jù)點與預(yù)測直線的垂直誤 差的平方和來計算得到最佳擬合直線。因為計算的是誤差平方和，所有，誤差正 負值之間沒有相互抵消。自變量和因變量之間必須滿足線性關(guān)系。多元回歸存在多重共線

6、性，自相關(guān) 性和異方差性。線性回歸對異常值非常敏感。異常值會嚴重影響回歸線和最終的 預(yù)測值。多重共線性會增加系數(shù)估計的方差， 并且使得估計對模型中的微小變化 非常敏感。結(jié)果是系數(shù)估計不穩(wěn)定。在多個自變量的情況下，我們可以采用正向選擇、向后消除和逐步選擇的方 法來選擇最重要的自變量。2)邏輯回歸邏輯回歸用來計算事件成功(Success或者失敗(Failure)的概率。當因變 量是二進制(0/1 , True/False, Yes/NO)時，應(yīng)該使用邏輯回歸。這里， Y的取 值范圍為0,1,它可以由下列等式來表示。odds= p/ (1-p) = probability of event occu

7、rrence / probability of not event occurrenceln(odds) = ln(p/(1-p)logit(p) = ln(p/(1-p) = b0+b1X1+b2X2+b3X3.+bkXk其中，p是事件發(fā)生的概率。你可能會有這樣的疑問“為什么在等式中使用 對數(shù)log呢？"因為我們這里使用的二項分布(因變量)，所以需要選擇一個合適的激活函 數(shù)能夠?qū)⑤敵鲇成涞?,1之間，Logit函數(shù)滿足要求。在上面的等式中，通過 使用最大似然估計來得到最佳的參數(shù)，而不是使用線性回歸最小化平方誤差的方 法。邏輯回歸廣泛用于分類問題。邏輯回歸不要求因變量和自變量之間是線

8、性關(guān) 系，它可以處理多類型關(guān)系，因為它對預(yù)測輸出進行了非線性log變換。為了避免過擬合和欠擬合，我們應(yīng)該涵蓋所有有用的變量。實際中確保這種 情況的一個好的做法是使用逐步篩選的方法來估計邏輯回歸。訓練樣本數(shù)量越大越好，因為如果樣本數(shù)量少，最大似然估計的效果就會比 最小二乘法差。自變量不應(yīng)相互關(guān)聯(lián)，即不存在多重共線性。然而，在分析和建模中，我們 可以選擇包含分類變量相互作用的影響。如果因變量的值是序數(shù)，則稱之為序數(shù)邏輯回歸。如果因變量是多類別的，則稱之為多元邏輯回歸。3)多項式回歸(Polynomial Regression對應(yīng)一個回歸方程，如果自變量的指數(shù)大于1,則它就是多項式回歸方程，如下所示

9、：y=a+b*xA21在多項式回歸中，最佳的擬合線不是直線，而是擬合數(shù)據(jù)點的曲線。雖然可能會有一些誘導(dǎo)去擬合更高階的多項式以此來降低誤差，但是這樣容易發(fā)生過擬合。應(yīng)該畫出擬合曲線圖形，重點放在確保曲線反映樣本真實分布上。 下圖是一個例子，可以幫助我們理解。尤其要注意曲線的兩端，看看這些形狀和趨勢是否有意義。更高的多項式可以產(chǎn) 生怪異的推斷結(jié)果。4）逐步回歸（Stepwise Regression當我們處理多個獨立變量時，就使用逐步回歸。在這種技術(shù)中，獨立變量的 選擇是借助于自動過程來完成的，不涉及人工干預(yù)。逐步回歸的做法是觀察統(tǒng)計值，例如R-square、t-stats、AIC指標來辨別重要的

10、變量?；谔囟藴?，通過增加/刪除協(xié)變量來逐步擬合回歸模型。常見的 逐步回歸方法如下所示：標準的逐步回歸做兩件事，每一步中增加或移除自變量。前向選擇從模型中最重要的自變量開始，然后每一步中增加變量。反向消除從模型所有的自變量開始，然后每一步中移除最小顯著變量。這種建模技術(shù)的目的是通過使用最少的自變量在得到最大的預(yù)測能力。它也是處理高維數(shù)據(jù)集的方法之一。5）嶺回歸（Ridge Regression嶺回歸是當數(shù)據(jù)遭受多重共線性（獨立變量高度相關(guān)）時使用的一種技術(shù)。在多重共線性中，即使最小二乘估計（OLS是無偏差的，但是方差很大，使得 觀察智遠離真實值。嶺回歸通過給回歸估計中增加額外的偏差度，能夠有

11、效減少方差。之前我們介紹過線性回歸方程，如下所示：y=a+b?x這個方程也有一個誤差項，完整的方程可表示成：y=a+b*x+e (error term), error term is the value needed to correct for a prediction error between the observed and predicted value=> y=a+y= a+ b1x1+ b2x2+.+e, for multiple independent variables.在線性方程中，預(yù)測誤差可以分解為兩個子分量。首先是由于偏頗，其次是由于方差。預(yù)測誤差可能由于這兩個或

12、兩個分量中的任何一個而發(fā)生。這里，我們將討論由于方差引起的誤差。嶺回歸通過收縮參數(shù) 入（lambda）解決了多重共線性問題。請看下面的方 程式：=argmin |y-+A |網(wǎng)后隧Rp 7xkjgEnmity上面這個公式中包含兩項。第一個是最小平方項，第二個是系數(shù) B的平方 和項，前面乘以收縮參數(shù) 入。增加第二項的目的是為了縮小系數(shù) B的幅值以 減小方差。6）套索回歸（Lasso Regression類似于嶺回歸，套索（Least Absolute Shrinkage and Selection Operatedr 回歸 懲罰的是回歸系數(shù)的絕對值。止匕外，它能夠減少變異性和提高線性回歸模型的準

13、 確性。請看下面的方程式:=argmin |j/ - X3的 + > 口訓夾咐p *- v、7LottsPenalty套索回歸不同于嶺回歸，懲罰函數(shù)它使用的是系數(shù)的絕對值之和，而不是平 方。這導(dǎo)致懲罰項（或等價于約束估計的絕對值之和），使得一些回歸系數(shù)估計 恰好為零。施加的懲罰越大，估計就越接近零。實現(xiàn)從 n個變量中進行選擇。7）彈性回歸（ElasticNet Regression彈性回歸是嶺回歸和套索回歸的混合技術(shù)，它同時使用L2和L1正則化。當有多個相關(guān)的特征時，彈性網(wǎng)絡(luò)是有用的。套索回歸很可能隨機選擇其中一個， 而彈性回歸很可能都會選擇。3 ="部曲（舊+刖牘十九|叫J權(quán)

14、衡嶺回歸和套索回歸的一個優(yōu)點是它讓彈性回歸繼承了一些嶺回歸在旋 轉(zhuǎn)狀態(tài)下的穩(wěn)定性。4 .如何選擇合適的回歸模型？當你只知道一兩種技巧時，生活通常是簡單的。我知道的一個培訓機構(gòu)告訴 他們的學生：如果結(jié)果是連續(xù)的，使用線性回歸；如果結(jié)果是二值的，使用邏輯 回歸！然而，可供選擇的選項越多，選擇合適的答案就越困難。類似的情況也發(fā) 生在回歸模型選擇中。二、時間序列分析時間序列(time series)是同一現(xiàn)象在不同時間上的相繼觀察值排列而成的 序列。根據(jù)觀察時間的不同，時間序列中的時間可以是可以是年份、季度、月份 或其他任何時間形式。時間序列：(1)平穩(wěn)序歹!J ( stationary series

15、)是基本上不存在趨勢的序列，序列中的各觀察值基本上在某個固定的水平上是包含趨勢、季節(jié)性或周期性的序列，只含有其中一種成分，也可能是幾種 成分的組合?？煞譃椋河汹厔菪蛄?、有趨勢和季節(jié)性序列、幾種成分混合而成的 復(fù)合型序列。趨勢(trend):時間序列在長時期內(nèi)呈現(xiàn)出來的某種持續(xù)上升或持續(xù)下降的 變動，也稱長期趨勢。時間序列中的趨勢可以是線性和非線性。季節(jié)性(seasonaHty)：季節(jié)變動(seasonal fluctuation)，是時間序列在一年內(nèi)重復(fù)出現(xiàn)的周期波動。銷售旺季，銷售淡季，旅游旺季、旅游淡季，因季節(jié)不 同而發(fā)生變化。季節(jié)，不僅指一年中的四季，其實是指任何一種周期性的變化。周期性

16、(cyclidty)：循環(huán)波動(cyclical fluctuation ),是時間序列中呈現(xiàn)出來 的圍繞長期趨勢的一種波浪形或振蕩式波動。周期性是由商業(yè)和經(jīng)濟活動引起的， 不同于趨勢變動，不是朝著單一方向的持續(xù)運動，而是漲落相間的交替波動；不 同于季節(jié)變動，季節(jié)變動有比較固定的規(guī)律，且變動周期大多為一年，循環(huán)波動 則無固定規(guī)律，變動周期多在一年以上，且周期長短不一。周期性通常是由經(jīng)濟 環(huán)境的變化引起。除此之外，還有偶然性因素對時間序列產(chǎn)生影響，致使時間序列呈現(xiàn)出某種 隨機波動。時間序列除去趨勢、周期性和季節(jié)性后的偶然性波動，稱為隨機性(random), 也稱不規(guī)貝 U波動(irregular

17、 variations) 0時間序列的成分可分為4種：趨勢(T)、季節(jié)性或季節(jié)變動(S)、周期性或 循環(huán)波動(C)、隨機性或不規(guī)則波動(I)。傳統(tǒng)時間序列分析的一項主要內(nèi)容就 是把這些成分從時間序列中分離出來，并將它們之間的關(guān)系用一定的數(shù)學關(guān)系式 予以表達，而后分別進行分析。按4種成分對時間序列的影響方式不同，時間序列可分解為多種模型：加法模型(additive model),乘法模型(multiplicative model)。 乘法模型：二、描述性分析1、增長率分析：是對現(xiàn)象在不同時間的變化狀況所做的描述。由于對比的 基期不同，增長率有不同的計算方法。(1)增長率(growth rate)

18、:增長速度，是時間序列中報告期觀察值與基期 觀察值之比減1后的結(jié)果，用表示。由于對比的基期不同，可分為環(huán)比增長率 和定基增長率。環(huán)比增長率：是報告期觀察值與前一時期觀察值之比減1,說明現(xiàn)象逐期增長變化的程度；定基增長率是報告期觀察值與某一固定時期觀察值之比減1,說明現(xiàn)象在整個觀察期內(nèi)總的增長變化程度。(2)平均增長率(average rate of increase)：平均增長速度，是時間序列中 逐期環(huán)比值(環(huán)比發(fā)展速度)的幾何平均數(shù)減1的結(jié)果數(shù)(3)增長率分析中應(yīng)注意的問題i:當時間序列中的觀察出現(xiàn)0或負數(shù)時，不宜計算增長率。這種序列計算增長率，要么不符合數(shù)學公理，要么無法解釋其實際意義?？?/p>

19、用絕對數(shù)進行分析11: 有些情況下，不能單純就增長率論增長率，注意增長率與絕對水平結(jié)合 起來。增長率是一個相對值，與對比的基數(shù)值的大小有關(guān)。這種情況，計算增長 1%的絕對值來克服增長率分析的局限性：增長1%的絕對值表示增長率每增長一個百分點而增加的絕對數(shù)量：增長 1% 的絕對值=前期水平/100三、時間序列預(yù)測的程序時間序列分析的主要目的之一是根據(jù)已有的歷史數(shù)據(jù)對未來進行預(yù)測。時間序列含有不同的成分，如趨勢、季節(jié)性、周期性和隨機性。對于一個具體的時間 序列，它可能含有一種成分，也可能同時含有幾種成分，含有不同成分的時間序 列所用的預(yù)測方法是不同的。預(yù)測步驟：第一步：確定時間序列所包含的成分，確

20、定時間序列的類型第二步：找出適合此類時間序列的預(yù)測方法第三步：對可能的預(yù)測方法進行評估，以確定最佳預(yù)測方案第四步：利用最佳預(yù)測方案進行預(yù)測1、確定時間序列成分(1)確定趨勢成分確定趨勢成分是否存在，可繪制時間序列的線圖，看時間序列是否存在趨勢， 以及存在趨勢是線性還是非線性。利用回歸分析擬合一條趨勢線，對回歸系數(shù)進行顯著性檢驗?；貧w系數(shù)顯著， 可得出線性趨勢顯著的結(jié)論。(2)確定季節(jié)成分確定季節(jié)成分是否存在，至少需要兩年數(shù)據(jù)，且數(shù)據(jù)需要按季度、月份、周 或天來記錄?？衫L圖，年度折疊時間序列圖(folded annual time series plot),需 要將每年的數(shù)據(jù)分開畫在圖上，橫軸只

21、有一年的長度，每年的數(shù)據(jù)分別對應(yīng)縱軸。 如果時間序列只存在季節(jié)成分，年度折疊時間序列圖中的折線將會有交叉；如果時間序列既含有季節(jié)成分又含有趨勢，則年度折疊時間序列圖中的折線將不會有 交叉，若趨勢上升，后面年度的折線將會高于前面年度的折線，若下降，則后面 年度的折線將會低于前面年度的折線。2、選擇預(yù)測方法確定時間序列類型后，選擇適當?shù)念A(yù)測方法。利用時間數(shù)據(jù)進行預(yù)測，通常 假定過去的變化趨勢會延續(xù)到未來，這樣就可以根據(jù)過去已有的形態(tài)或模式進行 預(yù)測。時間序列的預(yù)測方法：傳統(tǒng)方法：簡單平均法、移動平均法、指數(shù)平滑法 等，現(xiàn)代方法：BoxJenkins的自回歸模型（ARMA）。一般來說，任何時間序列都

22、會有不規(guī)則成分存在，在商務(wù)和管理數(shù)據(jù)中通常不含趨勢和季節(jié)成分的時間序列，即平穩(wěn)時間序列只含隨機成分，只要通過 平滑可消除隨機波動。因此，這類預(yù)測方法也稱平滑預(yù)測方法。3、預(yù)測方法的評估在選擇某種特定的方法進行預(yù)測時，需要評價該方法的預(yù)測效果或準確性。評價方法是找出預(yù)測值與實際值的差距， 即預(yù)測誤差。最優(yōu)的預(yù)測方法就是預(yù)測 誤差達到最小的方法。預(yù)測誤差計算方法：平均誤差，平均絕對誤差、均方誤差、平均百分比誤差、 平均絕對百分比誤差。方法的選擇取決于預(yù)測者的目標、對方法的熟悉程度。ME,MAD,MSE的大小受時間序列數(shù)據(jù)的水平和計量單位的影響，有時并不能 真正反映預(yù)測模型的好壞，只有在比較不同模型

23、對同一數(shù)據(jù)的預(yù)測時才有意義。 平均百分比誤差(mean percentage error, MPE)和平均絕對百分比誤差(mean absolute percentage error,MAPE)則不同，它們消除了時間序列數(shù)據(jù)的水平和計 量單位的影響，是反映誤差大小的相對值。4、平穩(wěn)序列的預(yù)測平穩(wěn)時間序列只含有隨機成分，預(yù)測方法：簡單平均法、移動平均法、指數(shù) 平滑法。主要通過對時間序列進行平滑以消除隨機波動，又稱平滑法。平滑法可用于對時間序列進行短期預(yù)測，也可對時間序列進行平滑以描述序列的趨勢(線性趨勢和非線性趨勢)。(1)簡單平均法：根據(jù)已有的t期觀察值通過簡單平均法來預(yù)測下一期的數(shù) 值。簡單

24、平均法適合對較為平穩(wěn)的時間序列進行預(yù)測，即當時間序列沒有趨勢時，用該方法比較好。但如果時間序列有趨勢或季節(jié)成分，該方法的預(yù)測則不夠準確。 簡單平均法將遠期的數(shù)值和近期的數(shù)值看作對未來同等重要。從預(yù)測角度，近期的數(shù)值比遠期的數(shù)值對未來有更大的作用，因此簡單平均法預(yù)測的結(jié)果不夠準確。(2)移動平均法(moving average):通過對時間序列逐期遞移求得平均數(shù) 作為預(yù)測值的一種預(yù)測方法，有簡單移動平均法(simple moving average和加 權(quán)移動平均法(weighted moving average .簡單移動平均將最近k期數(shù)據(jù)加以平 均，作為下一期的預(yù)測值。對時間序列的平滑結(jié)果，

25、通過這些平滑值可描述出時間序列的變化形態(tài)或趨勢。也可以用來預(yù)測。移動平均法只使用最近k期的數(shù)據(jù)，在每次計算移動平均值時，移動的間隔 都為k,也適合對較為平穩(wěn)的時間序列進行預(yù)測。 應(yīng)用關(guān)鍵是確定合理的移動平均 間隔ko對于同一個時間序列，采用不同的移動間隔，預(yù)測的準確性是不同的。 可通過試驗的方法，選擇一個使均方誤差達到最小的移動間隔。移動間隔小，能快速反映變化，但不能反映變化趨勢；移動間隔大，能反映變化趨勢，但預(yù)測值 帶有明顯的滯后偏差。移動平均法的基本思想：移動平均可以消除或減少時間序列數(shù)據(jù)受偶然性因 素干擾而產(chǎn)生的隨機變動影響，適合短期預(yù)測。(3)指數(shù)平滑法(exponential smo

26、othing)是通過對過去的觀察值加權(quán)平均 進行預(yù)測，使t+1期的預(yù)測值等t期的實際觀察值與t期的預(yù)測值的加權(quán)的平均 值。指數(shù)平滑法是從移動平均法發(fā)展而來，是一種改良的加權(quán)平均法，在不舍棄歷史數(shù)據(jù)的前提下，對離預(yù)測期較近的歷史數(shù)據(jù)給予較大權(quán)數(shù)， 權(quán)數(shù)由近到遠接 指數(shù)規(guī)律遞減，因此稱指數(shù)平滑。指數(shù)平滑有一次指數(shù)平滑法、二次指數(shù)平滑法、 三次指數(shù)平滑法等。一次指數(shù)平滑法也稱單一指數(shù)平滑法(single exponential smoothing),只有 一個平滑系數(shù)，且觀察值離預(yù)測時期越久遠，權(quán)數(shù)變得越小。5、趨勢型序列的預(yù)測時間序列的趨勢可分為線性趨勢和非線性趨勢， 若這種趨勢能夠延續(xù)到未來，

27、就可利用趨勢進行外推預(yù)測。有趨勢序列的預(yù)測方法主要有線性趨勢預(yù)測、非線 性趨勢預(yù)測和自回歸模型預(yù)測。(1)線性趨勢預(yù)測線性趨勢(linear trend)是指現(xiàn)象隨著時間的推移而呈現(xiàn)穩(wěn)定增長或下降的 線性變化規(guī)律。趨勢方程：時間序列的預(yù)測值；是趨勢線斜率，表示時間t變動一個單位，觀察值的平均變動數(shù)量(2)非線性趨勢預(yù)測序列中的趨勢通?？烧J為是由于某種固定因素作用同一方向所形成的。若這種因素隨時間推移按線性變化，則可對時間序列擬合趨勢直線；若呈現(xiàn)出某種非 線性趨勢(non-linear trend),則需要擬合適當?shù)内厔萸€。6、復(fù)合型序列的分解預(yù)測復(fù)合型序列是指含有趨勢、季節(jié)、周期和隨機成分的序列。對這類序列的預(yù) 測方法是將時間序列的各個因素依次分解出來，然后