第二章 簡(jiǎn)單線性回歸

1、計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 回歸(Regression)一詞來(lái)源于19世紀(jì)英國(guó)生物學(xué)家葛 爾登(Francis Galton, 1822-1911)對(duì)人體遺傳特征的 實(shí)驗(yàn)研究。他根據(jù)實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，雙親高的孩子個(gè)子 高，雙親矮的孩子個(gè)子矮，然而高和矮卻不是無(wú)限制 的，總是越來(lái)越趨向于人的平均身高，他稱(chēng)這種現(xiàn)象 為“回歸”。 現(xiàn)在統(tǒng)計(jì)學(xué)上回歸指的是變量之間的依存關(guān)系。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS i 01ii YX 由于所有點(diǎn)不可能恰在直線上，因此上式需添加 一隨機(jī)擾動(dòng)，誤差或隨機(jī)項(xiàng) ，這樣上式成為：

2、反映因變量和自變量之間的近似線性關(guān)系 01iii YX 因變量或 被解釋變量 參數(shù) 自變量或 解釋變量 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 1) X與Y之間的關(guān)系是線性的； 2) X是非隨機(jī)的變量，它的值是確定的； 3) 誤差項(xiàng)的期望為0； 4) 對(duì)于所有觀測(cè)值，誤差項(xiàng)具有相同的方差； 5) 隨機(jī)誤差之間相互獨(dú)立； 6) 誤差項(xiàng)服從正態(tài)分布。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS i Y i X 注：蒲式耳(谷物,水果等容量單位, 美=35.238升,英=36.368升) 1 pound (磅)=0.4536 kilogram (千克) 1 acre (英畝)=0.405 hectare (

3、公頃) 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 30 40 50 60 70 80 90 5101520253035 Fertilizer X Bushels of corn Y 利用Eviews所作 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 ii MinYY 其中 表示實(shí)際觀測(cè)值， 表示相應(yīng)的擬合值， i Y i Y iii YYe稱(chēng)為殘差。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 2 0101 , iii SSReYX 0 0 SSR 1 0 SSR 令得 01 2 01 ii iiii YnX X YXX 12 2 iiii ii nX YXY nX

4、X 從而 01 YX 正規(guī)方程 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS ii xXX ii yYY 1 22 cov, ii iX x yX Y x 令 則 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 01 01 iii iii YX YX 01 01 ii iiiii YX eYYYX 誤差 殘差 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 1 2 01 956 1.66 576 57 1.66 1827.12 27.12 1.66 ii i ii x y x YX YX 當(dāng) 18,27.121.66 1857 i XX YY 說(shuō)明？ 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRI

5、CS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 2 0 2 i i X Var nx 2 1 2 1 i Var x 參數(shù)估計(jì)的方差 由于 未知，因此常用 的無(wú)偏估計(jì)殘差方差 來(lái)替代 2 2 2 s 2 22 2 i e s n 2表示估計(jì) 參數(shù)的個(gè)數(shù) 其算術(shù)根稱(chēng)回歸標(biāo)準(zhǔn)誤 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 22 0 2 2 ii i eX SE nnx 2 1 2 1 2 i i e SE nx 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 22 0 2 47.30563816 1.98 2102 10 576 ii i eX SE nnx 2 1 2 14

6、7.3056 0.1 2102 576 i i e SE nx 00 0 0 27.120 13.7 1.98 t SE 11 1 1 1.66 16.6 0.1 t SE 因此 由于自由度為8顯著性水平為0.05的t分布的臨界值 為2.306，因此我們得到估計(jì)的參數(shù)在5%的顯著性 上是統(tǒng)計(jì)顯著的。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 10 P tt H 10 2P ttH 0111 :,:HH 0111 :,:HH 若P值小于給定的顯著性水平，則拒絕原假設(shè)。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 22 2 iiii YYYYYY SST 總平方和 (T

7、otal Sum of Squares) SSE 解釋平方和 (Explained Sum of Squares) SSR 殘差平方和 (Residual Sum of Squares) 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS Jeffrey M. Wooldridge等的解釋。 SST表示Y的總體變異。它分為兩部分，一部分SSE， 這部分可以由模型解釋?zhuān)硪徊糠諷SR，這是模型解 釋不了的部分。 另一種解釋。 William H. Greene和Robert S. Pindyck等 SSE(Error Sum of Squares)殘差平方和 SSR(Re

8、gression Sum of Squares)回歸平方和 注意千萬(wàn)不要混淆。一般軟件都采用前一種說(shuō)法， 有的稱(chēng)解釋平方和為模型平方和，如STATA等。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 1 SSESSR R SSTSST 22 2 22 1 i ii ye R yy 取值范圍01 前例中決定系數(shù)計(jì)算 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 檢驗(yàn)統(tǒng)計(jì)量 原假設(shè)成立時(shí)服從自由度為1，n-2的F分布 給定顯著性水平，查表得臨界值 若，則拒絕原假設(shè) 2FSSE nSSR RU U SSR RSSR Udfdf F SSR Udf 1 1,2FFn 1 1,2Fn 0111 :0:0HH 計(jì)量經(jīng)

9、濟(jì)學(xué) ECONOMETRICS 22 1 2 ii i x y rR y 范圍：-11 前例中相關(guān)系數(shù)計(jì)算 2 0.97100.9854rR 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 0 :0H 2 2 2 1 r n tt n r 2 2tn 2 2ttn 若 ，則拒絕原假設(shè) 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 2 3 64 Kn JBSK 3 3 XX SK nS 4 4 XX K nS 2 2 a JB 偏度 峰度 n是樣本容量，S為樣本標(biāo)準(zhǔn)差 正態(tài)性假定下，有： 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 若模型正確，則殘差應(yīng)服從正態(tài)分布 通過(guò)JB統(tǒng)計(jì)量 或QQ圖(qqnorm)進(jìn)行驗(yàn)證

10、如果 ,1 iii eYYin 真是正態(tài)分布的一個(gè)樣本，那么其分位數(shù)應(yīng)該與正 態(tài)分布的分位數(shù)接近。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS OLS估計(jì)量具有無(wú)偏性、有效性和一致性 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 122 XXYY XX YCY XXXX 02 1 XX YXYXC Y n XX 都是關(guān)于Y的線性函數(shù) 2 2 0 1 1 C CX C XX 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 101122 010110 XXXX EE YX XXXX EE YXEXX 2 0,XXXX XXX 0101 E YEXXE Y 注： 因此 010101 Y

11、XYnXYX 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 2 122 1 11 n i nni ij ij XX VarVar Y XXXX 2 2 2 02 1 11 n i i X VarXCVar Y nn XX 2 012 1 , n i i X Cov XX 01011 0011 010011 2 2 112 , YXXX X CovEEE X XE XX 0111 12 2 2 22 2 2 , 1 , CovCov YX XX CovYYXVar n XX XX X nXXXX X XX 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 0 , , 0, i ij E ij Cov ij

12、,1,2,i jn 滿足高斯馬爾柯夫條件時(shí)，OLS估計(jì)是最優(yōu)線性無(wú)偏的 (Best Linear Unbiased Estimator, BLUE) 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 1 CY * 111 ,aY E 2 *222 1 2 22 2 22222 1 2 VaraCaC CC aCaC CaCCVar * 101 011 2 22 2 0,1 1 1 10 EaE YaX aaX aaX XX C aCaCCa XXXX aXXa XX 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 建立模型的主要目的之一是為了預(yù)測(cè)。 00 01 YX 1)、點(diǎn)預(yù)

13、測(cè) 2 0 2 1 0 1 n i i XX n XX SE Y 2 0 2 1 0 1 1 n i i XX n XX SE e 000 eYY為個(gè)別值預(yù)測(cè)誤差 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 00 012,1/2 n XtSE Y 00 012,1/2 n XtSE e 2)、預(yù)測(cè)的置信區(qū)間 均值預(yù)測(cè)的置信區(qū)間個(gè)別值預(yù)測(cè)的置信區(qū)間 X注：離開(kāi) 越遠(yuǎn)的估計(jì)(或預(yù)測(cè))，其結(jié)果也就越不 可靠。 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS X 0 X 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 2 00 0 1 ii i RMSEYY n 00 0 1 ii i MAEYY n 是預(yù)測(cè)期數(shù) 0 n 2

14、00 0 2 2 00 00 1 11 ii i ii ii YY n U YY nn 值在0，1之間，等于1則說(shuō)明模型預(yù)測(cè)能力最差 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 界面 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS Quick Graph Scatter出現(xiàn)下圖界面，中間 填入變量income exphlth即可，注意順序！ 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 0 20 40 60 80 100 0100

15、200300400500600700 INCOME EXPHLTH 顯示兩者 有很強(qiáng)的 線性關(guān)系 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS exphlth=c(1)+c(2)*income 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 系數(shù) 標(biāo)準(zhǔn)誤 t統(tǒng)計(jì)量 P值 F統(tǒng)計(jì)量 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 22AICl nk n 2lnSCl nknn 2 2 1 1 Rk F Rnk 1 ln 2ln 2 n lSSR n n是調(diào)整后的樣本容量，k是參數(shù)個(gè)數(shù)，簡(jiǎn)單回 歸時(shí)為2 2 1 2 2 1 n ii i n i i ee DW e 計(jì)量經(jīng)濟(jì)學(xué) ECONO

16、METRICS 打開(kāi)殘差序列對(duì)象窗口 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 或這樣查看有關(guān)結(jié)果 eq1.R2 eq1.coefs(i) eq1.RBAR2 eq1.stderrs(i) eq1.dw eq1.tstats(i) eq1.aic eq1.cov(i,j) eq1.F 注：Office07以后的后綴為xlsx 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS OLS estimates using the 51 observations 1-51 Dependent variable: exphlth VARIABLE COEFFICIENT STDERROR T STAT P-VALUE c

17、onst 0.176496 0.467509 0.378 0.70741 income 0.141652 0.00287491 49.272 0.00001 * Mean of dependent variable = 15.0689 Standard deviation of dep. var. = 17.9266 Sum of squared residuals = 317.899 Standard error of residuals = 2.5471 Unadjusted R-squared = 0.980216 Adjusted R-squared = 0.979812 Degree

18、s of freedom = 49 Log-likelihood = -119.028 Akaike information criterion (AIC) = 242.057 Schwarz Bayesian criterion (BIC) = 245.921 Hannan-Quinn criterion (HQC) = 243.533 結(jié)果 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 3.000.50YX (2.67)(4.24) 2 0.67R 回歸標(biāo)準(zhǔn)誤 1.24 create u 11 read D:Econometrics15zdatadata23.

19、txt X1 Y1 X2 Y2 X3 Y3 X4 Y4 equation eq1.ls y1 c x1 equation eq2.ls y2 c x2 equation eq3.ls y3 c x3 equation eq4.ls y4 c x4 eq1.results eq2.results eq3.results eq4.results 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS X1 Y1 468101214 46810 X2 Y2 468101214 3456789 X3 Y3 468101214 681012 X4 Y4 81012141618 681012 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS 計(jì)量經(jīng)濟(jì)學(xué) ECONOMETRICS create mc u 10 matrix(2000,2) m vector(10) v v.fill 9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8 mtos(