Eviews5章基本回歸模型的OLS估計(jì).ppt

1、第5章 基本回歸模型的OLS估計(jì) 重點(diǎn)內(nèi)容： 普通最小二乘法 線性回歸模型的估計(jì) 線性回歸模型的檢驗(yàn),一、普通最小二乘法（OLS） 1.最小二乘原理,設(shè)（x1，y1），（x2，y2），（xn，yn）是平面直角坐標(biāo)系下的一組數(shù)據(jù)，且x1 x2 xn，如果這組圖像接近于一條直線，我們可以確定一條直線y = a + bx ，使得這條直線能反映出該組數(shù)據(jù)的變化。 如果用不同精度多次觀測一個或多個未知量，為了確定各未知量的可靠值，各觀測量必須加改正數(shù)，使其各改正數(shù)的平方乘以觀測值的權(quán)數(shù)的總和為最小。因而稱最小二乘法。,一、普通最小二乘法（OLS） 1.最小二乘原理,設(shè)雙變量的總體回歸方程為 yt= B1

2、 + B2xt +t 樣本回歸函數(shù)為 yt= b1 + b2xt + et 其中，et為殘差項(xiàng)， 5-3式為估計(jì)方程，b1 和b2分別為B1和B2的估計(jì)量， 因而 e = 實(shí)際的yt 估計(jì)的yt,一、普通最小二乘法（OLS） 1.最小二乘原理,估計(jì)總體回歸函數(shù)的最優(yōu)方法是選擇B1和B2的估計(jì)量b1 ，b2，使得殘差et盡可能達(dá)到最小。 用公式表達(dá)即為 總之，最小二乘原理就是選擇樣本回歸函數(shù)使得y的估計(jì)值與真實(shí)值之差的平方和最小。,一、普通最小二乘法（OLS） 2.方程對象,選擇工作文件窗口工具欄中的“Object”| “New Object”| “Equation”選項(xiàng)，在下圖所示的對話框中輸

3、入方程變量。,一、普通最小二乘法（OLS） 2.方程對象,EViews5.1提供了8種估計(jì)方法： “LS”為最小二乘法； “TSLS”為兩階段最小二乘法； “GMM”為廣義矩法； “ARCH”為自回歸條件異方差； “BINARY”為二元選擇模型，其中包括Logit模型、Probit模型和極端值模型； “ORDERED”為有序選擇模型； “CENSORED”截取回歸模型； “COUNT”為計(jì)數(shù)模型。,二、一元線性回歸模型 1.模型設(shè)定,一元線性回歸模型的形式為 yi = 0 + 1 xi + ui （i=1，2，n） 其中，y為被解釋變量，也被稱為因變量；x為解釋變量或自變量；u是隨機(jī)誤差項(xiàng)（r

4、andom error term），也被稱為誤差項(xiàng)或擾動項(xiàng)，它表示除了x之外影響y的因素，即y的變化中未被x所解釋的部分；n為樣本個數(shù)。,二、一元線性回歸模型 2.實(shí)際值、擬合值和殘差,估計(jì)方程為 表示的是yt的擬合值， 和 分別是 0 和1的估計(jì)量。實(shí)際值指的是回歸模型中被解釋變量（因變量）y的原始觀測數(shù)據(jù)。擬合值就是通過回歸模型計(jì)算出來的yt的預(yù)測值。,二、一元線性回歸模型 2.實(shí)際值、擬合值和殘差,三條曲線分別是實(shí)際值（Actual），擬合值（Fitted）和殘差（Residual）。實(shí)際值和擬合值越接近，方程擬合效果越好。,三、多元線性回歸模型,通常情況下，將含有多個解釋變量的線性回歸

5、模型（多元線性回歸模型）寫成如下形式， yi = 0 + 1 x1i +2 x2i+3 x3i+k xki + ui （i=1，2，n） 其中，y為被解釋變量，也被稱為因變量；x為解釋變量或自變量；u是隨機(jī)誤差項(xiàng)（random error term），也被稱為誤差項(xiàng)或擾動項(xiàng)； n為樣本個數(shù)。,三、 多元線性回歸模型,在多元線性回歸模型中，要求解釋變量x1，x2，xk之間互不相關(guān)，即該模型不存在多重共線性問題。如果有兩個變量完全相關(guān)，就出現(xiàn)了完全多重共線性，這時參數(shù)是不可識別的，模型無法估計(jì)。,三、 多元線性回歸模型,通常情況下，把多元線性回歸方程中的常數(shù)項(xiàng)看作虛擬變量的系數(shù)，在參數(shù)估計(jì)過程中該

6、常數(shù)項(xiàng)始終取值為1。因而模型的解釋變量個數(shù)為k+1.多元回歸模型的矩陣形式為 Y = X + u 其中，Y是因變量觀測值的T維列向量；X是所有自變量（包括虛擬變量）的T個樣本點(diǎn)觀測值組成的T（k+1）的矩陣；是k+1維系數(shù)向量；u是T維擾動項(xiàng)向量。,四、 線性回歸模型的基本假定,線性回歸模型必須滿足以下幾個基本假定： 假定1：隨機(jī)誤差項(xiàng)u具有0均值和同方差，即 E ( ui ) = 0 i=1，2，n Var ( ui ) = 2 i=1，2，n 其中，E表示均值，也稱為期望，在這里隨機(jī)誤差項(xiàng)u的均值為0。Var表示隨機(jī)誤差項(xiàng)u的方差，對于每一個樣本點(diǎn)i，即在i=1，2，n的每一個數(shù)值上，解釋

7、變量y對被解釋變量x的條件分布具有相同的方差。當(dāng)這一假定條件不成立是，稱該回歸模型存在異方差問題。,四、 線性回歸模型的基本假定,假定2：不同樣本點(diǎn)下的隨機(jī)誤差項(xiàng)u之間是不相關(guān)的，即 Cov（ui，uj）=0，ij，i，j=1，2，n 其中，cov表示協(xié)方差。當(dāng)此假定條件不成立時，則稱該回歸模型存在序列相關(guān)問題，也稱為自相關(guān)問題。,四、 線性回歸模型的基本假定,假定3：同一個樣本點(diǎn)下的隨機(jī)誤差項(xiàng)u與解釋變量x之間不相關(guān)，即 Cov（xi，ui）=0 i=1，2，n,四、 線性回歸模型的基本假定,假定4：隨機(jī)誤差項(xiàng)u服從均值為0、同方差的正態(tài)分布，即 u N（0，2） 如果回歸模型中沒有被列出的

8、各因素是獨(dú)立的隨機(jī)變量，則隨著這些隨機(jī)變量個數(shù)的增加，隨機(jī)誤差項(xiàng)u服從正態(tài)分布。,四、 線性回歸模型的基本假定,假定5：解釋變量x1，x2，xi是非隨機(jī)的確定性變量，并且解釋變量間互不相關(guān)。則這說明yi的概率分布具有均值，即 E（yi|xi）= E（0 +1xi +ui）=0 +1xi 該式被稱為總體回歸函數(shù)。 如果兩個或多個解釋變量間出現(xiàn)了相關(guān)性，則說明該模型存在多重共線性問題。,五、 線性回歸模型的檢驗(yàn) 1.擬合優(yōu)度檢驗(yàn),擬合優(yōu)度檢驗(yàn)用來驗(yàn)證回歸模型對樣本觀測值（實(shí)際值）的擬合程度，可通過R2統(tǒng)計(jì)量來檢驗(yàn)。,五、 線性回歸模型的檢驗(yàn) 1.擬合優(yōu)度檢驗(yàn),公式 三者的關(guān)系為 TSS = RSS

9、 +ESS TSS為總體平方和， RSS為殘差平方和， ESS為回歸平方和。,五、 線性回歸模型的檢驗(yàn) 1.擬合優(yōu)度檢驗(yàn),總體平方和（TSS）反映了樣本觀測值總體離差的大小，也被稱為離差平方和；殘差平方（RSS）說明的是樣本觀測值與估計(jì)值偏離的程度，反映了因變量總的波動中未被回歸模型所解釋的部分；回歸平方和（ESS）反映了擬合值總體離差大小，這個擬合值是根據(jù)模型解釋變量算出來的。,五、 線性回歸模型的檢驗(yàn) 1.擬合優(yōu)度檢驗(yàn),擬合優(yōu)度R2的計(jì)算公式為 R2 = ESS / TSS = 1RSS / TSS 當(dāng)回歸平方（ESS）和與總體平方和（TSS）較為接近時，模型的擬合程度較好；反之，則模型的

10、擬合程度較差。因此，模型的擬合程度可通過這兩個指標(biāo)來表示。,五、 線性回歸模型的檢驗(yàn) 2.顯著性檢驗(yàn),變量顯著性檢驗(yàn)（t檢驗(yàn)） 檢驗(yàn)中的原假設(shè)為： H0：i= 0， 備擇假設(shè)為： H1：i 0， 如果原假設(shè)成立，表明解釋變量x對被解釋變量y沒有顯著的影響；當(dāng)原假設(shè)不成立時，表明解釋變量x對被解釋變量y有顯著的影響，此時接受備擇假設(shè)。,五、 線性回歸模型的檢驗(yàn) 2.顯著性檢驗(yàn),方程顯著性檢驗(yàn)（F 檢驗(yàn)） 原假設(shè)為： H0：1= 0，2= 0，k= 0， 備擇假設(shè)為： H1：i 中至少有一個不為 0， 如果原假設(shè)成立，表明解釋變量x對被解釋變量y沒有顯著的影響；當(dāng)原假設(shè)不成立時，表明解釋變量x對被

11、解釋變量y有顯著的影響，此時接受備擇假設(shè)。,五、 線性回歸模型的檢驗(yàn) 2.顯著性檢驗(yàn),方程顯著性檢驗(yàn)（F 檢驗(yàn)） F 統(tǒng)計(jì)量為 該統(tǒng)計(jì)量服從自由度為（k，nk1）的F分布。給定一個顯著性水平，當(dāng)F統(tǒng)計(jì)量的數(shù)值大于該顯著性水平下的臨界值F（k，nk1）時，則在（1）的水平下拒絕原假設(shè)H0，即模型通過了方程的顯著性檢驗(yàn)，模型的線性關(guān)系顯著成立。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),（1）圖示檢驗(yàn)法 圖示檢驗(yàn)法通過散點(diǎn)圖來判斷用OLS方法估計(jì)的模型異方差性，這種方法較為直觀。通常是先將回歸模型的殘差序列和因變量一起繪制一個散點(diǎn)圖，進(jìn)而判斷是否存在相關(guān)性，如果兩個序列的相關(guān)性存在，則該模型存在

12、異方差性。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),（1）圖示檢驗(yàn)法 檢驗(yàn)步驟： 建立方程對象進(jìn)行模型的OLS（最小二乘）估計(jì)，此時產(chǎn)生的殘差保存在主窗口界面的序列對象resid中。 建立一個新的序列對象，并將殘差序列中的數(shù)據(jù)復(fù)制到新建立的對象中。 然后選擇主窗口中的“Quick” | “Graph” | “Scatter”選項(xiàng)，生成散點(diǎn)圖，進(jìn)而可判斷隨機(jī)項(xiàng)是否存在異方差性。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),（2）懷特（White）檢驗(yàn)法 檢驗(yàn)步驟： 用OLS（最小二乘法）估計(jì)回歸方程，得到殘差e。 作輔助回歸模型： 求輔助回歸模型的擬合優(yōu)度R2的值。 White檢驗(yàn)的統(tǒng)計(jì)量服

13、從2分布，即 N R 2 2 (k) 其中，N為樣本容量，k為自由度，k等于輔助回歸模型（）中解釋變量的個數(shù)。如果2值大于給點(diǎn)顯著性水平下對應(yīng)的臨界值，則可以拒絕原假設(shè)，即存在異方差；反之，接受原假設(shè)，即不存在異方差。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),（2）懷特（White）檢驗(yàn)法 White檢驗(yàn)的統(tǒng)計(jì)量服從2分布，即 N R 2 2 (k) 其中，N為樣本容量，k為自由度，k等于輔助回歸模型（）中解釋變量的個數(shù)。如果2值大于給點(diǎn)顯著性水平下對應(yīng)的臨界值，則可以拒絕原假設(shè)，即存在異方差；反之，接受原假設(shè)，即不存在異方差。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),（2）懷特（Wh

14、ite）檢驗(yàn)法 在EViews5.1軟件中選擇方程對象工具欄中的“View” | “Residual Tests” | “White Heteroskedasticity”選項(xiàng)即可完成操作。,五、 線性回歸模型的檢驗(yàn) 3.異方差性檢驗(yàn),異方差性的后果 ： 當(dāng)模型出現(xiàn)異方差性時，用OLS（最小二乘估計(jì)法）得到的估計(jì)參數(shù)將不再有效；變量的顯著性檢驗(yàn)（t檢驗(yàn)）失去意義；模型不再具有良好的統(tǒng)計(jì)性質(zhì)，并且模型失去了預(yù)測功能。,五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),方法： （1）杜賓（D .W .Durbin-Watson）檢驗(yàn)法 （2）LM（拉格朗日乘數(shù)Lagrange Multiplier）檢驗(yàn)

15、法,五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),（1）杜賓（D .W .Durbin-Watson）檢驗(yàn)法 J. Durbin, G. S. Watson于1950年提出了D .W .檢驗(yàn)法。它是通過對殘差構(gòu)成的統(tǒng)計(jì)量來判斷誤差項(xiàng)ut 是否存在自相關(guān)。D .W .檢驗(yàn)法用來判定一階序列相關(guān)性的存在。 D .W .的統(tǒng)計(jì)量為,五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),（1）杜賓（D .W .Durbin-Watson）檢驗(yàn)法 如果， 0 D .W . dt ，存在一階正自相關(guān) dt D .W . du ，不能確定是否存在自相關(guān) du D .W . 4du ，不存在自相關(guān) 4du D .W .

16、4dt 不能確定是否存在自相關(guān) 4dt D .W . 4 ，存在一階負(fù)自相關(guān),五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),（1）杜賓（D .W .Durbin-Watson）檢驗(yàn)法 使用D .W .檢驗(yàn)時應(yīng)注意，因變量的滯后項(xiàng)yt-1不能作為回歸模型的解釋變量，否則D .W .檢驗(yàn)失效。另外，樣本容量應(yīng)足夠大，一般情況下，樣本數(shù)量應(yīng)在15個以上。,五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),（2）LM（拉格朗日乘數(shù)Lagrange Multiplier）檢驗(yàn)法 LM 檢驗(yàn)原假設(shè)和備擇假設(shè)分別為： H0：直到p階滯后不存在序列相關(guān) H1：存在p階序列相關(guān) LM的統(tǒng)計(jì)量為 LM = nR2 2（

17、p） 其中，n為樣本容量，R2為輔助回歸模型的擬合優(yōu)度。LM統(tǒng)計(jì)量服從漸進(jìn)的2（p）。在給定顯著性水平的情況下，如果LM統(tǒng)計(jì)量小于設(shè)定在該顯著性水平下的臨近值，則接受原假設(shè)，即直到p階滯后不存在序列相關(guān)。,五、 線性回歸模型的檢驗(yàn) 4.序列相關(guān)檢驗(yàn),序列相關(guān)性的后果： 用OLS（最小二乘估計(jì)法）得到的估計(jì)參數(shù)將不再有效； 變量的顯著性檢驗(yàn)（t檢驗(yàn)）失去意義； 模型不再具有良好的統(tǒng)計(jì)性質(zhì)，并且模型失去了預(yù)測功能。,五、 線性回歸模型的檢驗(yàn) 5.多重共線性,方法： （1）相關(guān)系數(shù)檢驗(yàn)法 （2）逐步回歸法,五、 線性回歸模型的檢驗(yàn) 5.多重共線性,（1）相關(guān)系數(shù)檢驗(yàn)法 在群對象窗口的工具欄中選擇“View” | “Correlations” | “Common Sample”選項(xiàng)，即可得到變量間的相關(guān)系數(shù)。 如果相關(guān)系數(shù)較高，則變量間可能存在線性關(guān)系，即模型有多重共線性的可能。