第2章一元線性回歸模型

浙江財(cái)經(jīng)大學(xué)倪偉才1第二章一元線性回歸模型回歸分析是計(jì)量經(jīng)濟(jì)學(xué)的基礎(chǔ)內(nèi)容！本章介紹一元線性回歸模型，最小二乘估計(jì)方法及其性質(zhì)，參數(shù)估計(jì)的假設(shè)檢驗(yàn)、預(yù)測(cè)等。浙江財(cái)經(jīng)大學(xué)倪偉才2本章主要內(nèi)容2.1一元線性回歸模型2.2參數(shù)β0、β1的估計(jì)2.3最小二乘估計(jì)的性質(zhì)2.4回歸方程的顯著性檢驗(yàn)2.5殘差分析2.6回歸系數(shù)的區(qū)間估計(jì)2.7預(yù)測(cè)和控制2.8本章小結(jié)與評(píng)注浙江財(cái)經(jīng)大學(xué)倪偉才3線性回歸分析基本特征1、分析方法主要是對(duì)因果關(guān)系的回歸分析，即x是原因，y是結(jié)果2、“線性”的含義“線性”可作兩種解釋：對(duì)變量為線性，對(duì)參數(shù)為線性。一般“線性回歸”一詞總是指對(duì)參數(shù)為線性的一種回歸（即參數(shù)只以它的1次方出現(xiàn)）。浙江財(cái)經(jīng)大學(xué)倪偉才4學(xué)習(xí)一元線性回歸模型理由假設(shè)：y和x是代表一個(gè)總體的兩個(gè)變量，我們的興趣在于用x來(lái)解釋y，或者說(shuō)是研究y如何隨x而變化為什么先學(xué)習(xí)一元線性回歸模型：1、兩個(gè)變量之間線性因果關(guān)系在現(xiàn)實(shí)經(jīng)濟(jì)中比較簡(jiǎn)單。2、雖然許多經(jīng)濟(jì)問(wèn)題涉及到多變量關(guān)系或不是線性的，但多變量關(guān)系與兩變量線性關(guān)系分析方法相似，非線性關(guān)系多數(shù)可轉(zhuǎn)化為線性關(guān)系，因此先討論兩變量線性回歸有方便之處。3、簡(jiǎn)單線性回歸分析的原理和方法，正是所有計(jì)量經(jīng)濟(jì)分析的基本原理和方法，對(duì)理解計(jì)量經(jīng)濟(jì)分析的思想方法，進(jìn)一步學(xué)習(xí)各種復(fù)雜的計(jì)量經(jīng)濟(jì)分析技術(shù)有很大幫助。浙江財(cái)經(jīng)大學(xué)倪偉才5實(shí)際背景在實(shí)際中，經(jīng)常要研究某一現(xiàn)象與影響它的某一最主要因素的統(tǒng)計(jì)思想。例子（1）y大豆的產(chǎn)出，x化肥的用量；（2）y每小時(shí)的工資，x受教育的年數(shù)；（3）

y社區(qū)的犯罪率，x警察的數(shù)目;（4）火災(zāi)損失與火災(zāi)發(fā)生地距最近的消防站的距離;……

浙江財(cái)經(jīng)大學(xué)倪偉才6例題（課本）例2.2

全國(guó)人均消費(fèi)金額記作y(元);

人均國(guó)民收入記為x(元)表2.2 人均國(guó)民收入表浙江財(cái)經(jīng)大學(xué)倪偉才7散點(diǎn)圖(scatter)的重要性例：全國(guó)人均消費(fèi)金額記為y(元)；把人均國(guó)民收入記為x(元)。我們把收集到1980－1998年的19年的樣本數(shù)據(jù)(xi,yi),i=1,2,…,n.數(shù)據(jù)見一元線性模型(消費(fèi)和收入).sav浙江財(cái)經(jīng)大學(xué)倪偉才8SPSS16output浙江財(cái)經(jīng)大學(xué)倪偉才9

一元回歸直線的直觀意義觀察散點(diǎn)圖，變量x,y具有明顯的線性關(guān)系。故經(jīng)過(guò)這些樣本點(diǎn)畫一條適當(dāng)?shù)闹本€。Abetterprocedureistofindthebeststraightlineusingacriterionthat,foragivensetofdata,producesthesamelineregardlessofthepersondoingthefitting.浙江財(cái)經(jīng)大學(xué)倪偉才102.1一元線性回歸模型由于兩個(gè)變量y,x具有明顯的線性關(guān)系，故考慮直線方程y=0+1x（函數(shù)表達(dá)的是確定性關(guān)系，有缺陷?。﹜=0+1x+u,其中u表示除x外，影響y的其它一切因素。將y與x之間的關(guān)系用兩部分來(lái)描述：a.一部分0+1x

，由x的變化引起y變化；b.另一部分u

，除x外的其它一切因素引起y變化。參數(shù)(parameters)0,1;0稱為回歸常數(shù)(截距)（intercept,constant），1稱為回歸斜率(slope)浙江財(cái)經(jīng)大學(xué)倪偉才11回歸的術(shù)語(yǔ)y的各種名稱：因變量(dependentvariable)或被解釋變量(explainedvariable)或回歸子(regressand)或內(nèi)生(endogenous)；X的各種名稱：自變量(independentvariable)或解釋變量(explanatoryvariable)或回歸元(regressor)或外生(exogenous)U的各種名稱：隨機(jī)誤差項(xiàng)或隨機(jī)擾動(dòng)項(xiàng)(stochasticerrorterm,randomdisturbanceterm):表示其它因素的影響，是不可觀測(cè)的隨機(jī)誤差！浙江財(cái)經(jīng)大學(xué)倪偉才12隨機(jī)誤差項(xiàng)的意義隨機(jī)誤差項(xiàng)是從模型中省略下來(lái)的而又集體地影響著Y的全部變量的替代物。顯然的問(wèn)題是：為什么不把這些變量明顯地引進(jìn)到模型中來(lái)，而以隨機(jī)擾動(dòng)項(xiàng)來(lái)替代？理由是多方面的：（1）理論含糊：理論不能完全說(shuō)明影響因變量的所有影響因素。（2）數(shù)據(jù)欠缺：無(wú)法獲得有關(guān)數(shù)據(jù)。（3）核心變量：希望能找到與有較大影響的核心變量的關(guān)系。（4）替代變量：用來(lái)代替不可觀測(cè)變量的替代變量選擇，造成一定誤差。（5）簡(jiǎn)單原則：研究中盡可能使回歸模型簡(jiǎn)單。（6）錯(cuò)誤函數(shù)：回歸式的的選擇是主觀的浙江財(cái)經(jīng)大學(xué)倪偉才13隨機(jī)誤差項(xiàng)各種名稱及含義1：計(jì)量：error2:宏觀經(jīng)濟(jì)學(xué)：shock例:銀行對(duì)房貸的政策，對(duì)溫州和杭州的市場(chǎng)的沖擊不同！3:金融：innovation浙江財(cái)經(jīng)大學(xué)倪偉才14下表表示總體數(shù)據(jù)

X:收入，y:消費(fèi)；目的：條件期望XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191戶數(shù)5657665765總支出32546244570767875068510439661211浙江財(cái)經(jīng)大學(xué)倪偉才15條件期望條件分布(Conditionaldistribution):以X取定值為條件的Y的條件分布條件概率(Conditionalprobability):給定X，Y的概率，記為P(Y|X)。例如，P(Y=55|X=80)=1/5；P(Y=150|X=260)=1/7。條件期望（conditionalExpectation）：給定X的Y的期望值，記為E(Y|X)。例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋70×1/5＋75×1/5＝65浙江財(cái)經(jīng)大學(xué)倪偉才16總體回歸函數(shù)(PRF)總體回歸函數(shù)(PopularRegressionFunction，PRF)E(Y|Xi)=f(Xi)[注意是x的函數(shù)]當(dāng)PRF的函數(shù)形式為線性函數(shù)，則有，E(Y|Xi)=0+1Xi其中0和1為未知而固定的參數(shù)，稱為回歸系數(shù)。0和1也分別稱為截距和斜率系數(shù)。稱為線性總體回歸函數(shù)浙江財(cái)經(jīng)大學(xué)倪偉才17樣本回歸函數(shù)（SRF）由于在大多數(shù)情況下，我們只知道變量值的一個(gè)樣本，要用樣本信息的基礎(chǔ)上估計(jì)PRFX（收入）80100120140160180200220240260Y（支出）55657980102110120135137150樣本1樣本2X（收入）80100120140160180200220240260Y（支出）708094103116130144152165178樣本回歸函數(shù)SRF：

在回歸分析中，我們用SRF估計(jì)PRF。浙江財(cái)經(jīng)大學(xué)倪偉才18不同樣本的回歸線數(shù)據(jù)見：SRF.sav浙江財(cái)經(jīng)大學(xué)倪偉才19SPSS11操作(1)Graphs-Scatter-Overlay(2)Chart-Options-Fitline(3)圓形和三角形的選擇浙江財(cái)經(jīng)大學(xué)倪偉才20誤差項(xiàng)和殘差的關(guān)系XiXPRF:E(Y|Xi)=0+1XiSRF：YE(Y|Xi)SRF是PRF的近似估計(jì)。為了使二者更為接近，即要使浙江財(cái)經(jīng)大學(xué)倪偉才21假定1：回歸模型對(duì)參數(shù)是線性的假定2：在重復(fù)抽樣中X的值是固定的（非隨機(jī)）假定3：干擾項(xiàng)的均值為零。即，E(ui|Xi)=0[練習(xí)！]假定4：同方差性或ui的方差相等。即

Var(ui|Xi)=2假定5：各個(gè)干擾項(xiàng)無(wú)自相關(guān)。即

Cov(ui,uj|Xi,Xj)==0假定6：ui和Xi的協(xié)方差為零。即

Cov(ui,Xi)==0假定7：觀測(cè)次數(shù)必須大于待估計(jì)的參數(shù)個(gè)數(shù)。假定8：解釋變量X的只要有變異性。即一個(gè)樣本中，Xi不能完全相同。假定9：模型沒(méi)有設(shè)定誤差。假定10：沒(méi)有完全的多重共線性，即解釋變量之間沒(méi)有完全的線性關(guān)系。浙江財(cái)經(jīng)大學(xué)倪偉才22課堂練習(xí)Wooldridge《IntroductoryEconometrics》(3rd)Problems2.2浙江財(cái)經(jīng)大學(xué)倪偉才23

Gauss-Markov條件

隨機(jī)誤差的高斯——馬爾柯夫條件：浙江財(cái)經(jīng)大學(xué)倪偉才24一元線性回歸模型的矩陣形式浙江財(cái)經(jīng)大學(xué)倪偉才252.2參數(shù)0，1的估計(jì)一、參數(shù)0，1的估計(jì)方法：普通最小二乘估計(jì)OLSE(ordinaryleastsquareestimation)目的：利用樣本數(shù)據(jù)得到0，1的理想估計(jì)值原則：使n個(gè)樣本點(diǎn)最靠近回歸直線浙江財(cái)經(jīng)大學(xué)倪偉才26例題（課本）例2.2

全國(guó)人均消費(fèi)金額記作y(元);

人均國(guó)民收入記為x(元)表2.2 人均國(guó)民收入表浙江財(cái)經(jīng)大學(xué)倪偉才27例題例：在研究我國(guó)人均消費(fèi)水平的問(wèn)題中，把全國(guó)人均消費(fèi)金額記為y(元)；把人均國(guó)民收入記為x(元)。我們把收集到1980－1998年的19年的樣本數(shù)據(jù)(xi,yi),i=1,2,…,n.數(shù)據(jù)見:一元線性模型(消費(fèi)和收入).sav要使樣本點(diǎn)最靠近回歸直線，考慮觀測(cè)值yi與回歸值（即平均值）E(yi|Xi)=0+1Xi的離差的平方和。思考：為什么不考慮∑(yi-E(yi|xi))，及∑|yi

–E(yi|xi)|[聯(lián)系分位數(shù)回歸checkfunction！]浙江財(cái)經(jīng)大學(xué)倪偉才28散點(diǎn)圖的深化Graphs-interactive-scatterplot-spike-fitline浙江財(cái)經(jīng)大學(xué)倪偉才29SPSS16浙江財(cái)經(jīng)大學(xué)倪偉才30樣本點(diǎn)最靠近回歸直線，就是使離差平方和最小最小二乘法名稱的由來(lái)浙江財(cái)經(jīng)大學(xué)倪偉才31殘差實(shí)際上是y的觀測(cè)值與回歸值的差或者說(shuō)是y的實(shí)際值與回歸值的差浙江財(cái)經(jīng)大學(xué)倪偉才32隨機(jī)誤差項(xiàng)和殘差的關(guān)系請(qǐng)參考Greene5thedition<<EconometricAnalysis>>page20th,FIGURE3.1PopulationandSampleRegression.Spss使用小技巧：如何畫課本24頁(yè)的圖2－3Graphs-interactive-scatterplot-spike-fitline浙江財(cái)經(jīng)大學(xué)倪偉才33GreeneFig.3.1浙江財(cái)經(jīng)大學(xué)倪偉才34最小二乘估計(jì)公式的推導(dǎo)[要非常熟練掌握]利用二元微積分求極值的知識(shí)知：

作為極值問(wèn)題解的必要條件是：在取值時(shí)，Q(0，1)關(guān)于0，1的偏導(dǎo)數(shù)必須為0：以上方程組稱為firstorderconditions(FOC)浙江財(cái)經(jīng)大學(xué)倪偉才35Normalequations:利用克萊姆法則，得出普通最小二乘估計(jì)（OLSE:ordinaryleastsquareestimators）浙江財(cái)經(jīng)大學(xué)倪偉才36問(wèn)題：浙江財(cái)經(jīng)大學(xué)倪偉才37例題（課本）例2.1

表2.1列出了15起火災(zāi)事故的損失及火災(zāi)發(fā)生地與最近的消防站的距離。表2.1 火災(zāi)損失表浙江財(cái)經(jīng)大學(xué)倪偉才38參數(shù)β0、β1的估計(jì)(計(jì)算題！)例2.1回歸方程浙江財(cái)經(jīng)大學(xué)倪偉才39回歸直線經(jīng)過(guò)樣本的均值的上機(jī)驗(yàn)證EXAMPLE2.7(WageandEducation)ForthedatainWAGE1.sav,theaveragehourlywageinthesampleis5.90,roundedtotwodecimalplaces,andtheaverageeducationis12.56.Ifweplugeduc

12.56intotheOLSregressionlinewage=－0.90+0.54educ,wegettheestimateofwage=5.8824,whichequals5.9whenroundedtothefirstdecimalplace.Thereasonthesefiguresdonotexactlyagreeisthatwehaveroundedtheaveragewageandeducation,aswellastheinterceptandslopeestimates.浙江財(cái)經(jīng)大學(xué)倪偉才40OLSE易忽視的問(wèn)題OLS可以解出參數(shù)0,1

的估計(jì)值：但是有一個(gè)問(wèn)題必須要清楚，該估計(jì)值真的能使殘差平方和達(dá)到最小嗎？請(qǐng)閱讀wooldridge一書的第二章附錄，你自然會(huì)明白！浙江財(cái)經(jīng)大學(xué)倪偉才41OLSE易忽視的問(wèn)題

閱讀材料：Wooldridge<<IntroductoryEconometricsAMordenApproach>>page65Appendix浙江財(cái)經(jīng)大學(xué)倪偉才42浙江財(cái)經(jīng)大學(xué)倪偉才43浙江財(cái)經(jīng)大學(xué)倪偉才44SOC浙江財(cái)經(jīng)大學(xué)倪偉才45參數(shù)估計(jì)的本質(zhì)條件1：用OLSE估計(jì)參數(shù)的本質(zhì)條件是FOC2:因此，只要滿足FOC條件，就能估計(jì)出參數(shù)3：從E(u|x)=0這個(gè)條件就能估計(jì)參數(shù)！浙江財(cái)經(jīng)大學(xué)倪偉才46殘差的性質(zhì)：(會(huì)證明！)浙江財(cái)經(jīng)大學(xué)倪偉才47殘差性質(zhì)的注解1:畫正交投影解釋殘差性質(zhì)(2)和(3)。2:通過(guò)上機(jī)驗(yàn)證殘差性質(zhì)(1)-(4)，加深直觀認(rèn)識(shí)！數(shù)據(jù)：一元線性模型(消費(fèi)和收入).sav浙江財(cái)經(jīng)大學(xué)倪偉才48小結(jié)1：一元線性回歸模型的參數(shù)的估計(jì)公式不僅會(huì)推導(dǎo)，而且要記住其結(jié)論！你記住了嗎？2：一元線性回歸模型斜率估計(jì)的3種等價(jià)公式，你會(huì)推導(dǎo)了嗎？3：殘差的性質(zhì)！浙江財(cái)經(jīng)大學(xué)倪偉才49最大似然估計(jì)(MLE)

目的:用最大似然估計(jì)法估計(jì)一元線性回歸模型！

思考：用最大似然估計(jì)需要另外的假設(shè)是什么？問(wèn)題：用MLE估計(jì)得到參數(shù)的估計(jì)值與OLS得到的估計(jì)值是否會(huì)相同？浙江財(cái)經(jīng)大學(xué)倪偉才50MLE浙江財(cái)經(jīng)大學(xué)倪偉才51MLE(會(huì)推導(dǎo)！)y1,y2,…,yn的似然函數(shù)為：對(duì)數(shù)似然函數(shù)為：與最小二乘原理完全相同

在假設(shè)εi～N(0,σ2)時(shí),yi服從如下正態(tài)分布:浙江財(cái)經(jīng)大學(xué)倪偉才522.3最小二乘估計(jì)的性質(zhì)(BLUE)浙江財(cái)經(jīng)大學(xué)倪偉才53線性的含義浙江財(cái)經(jīng)大學(xué)倪偉才54無(wú)偏性浙江財(cái)經(jīng)大學(xué)倪偉才55無(wú)偏性的證明浙江財(cái)經(jīng)大學(xué)倪偉才56無(wú)偏性模擬浙江財(cái)經(jīng)大學(xué)倪偉才57stata一次估計(jì)：drop_allsetobs20setseed12345genx=invnormal(uniform())gentruey=1+1*xgeny=truey+invnormal(uniform())regyx浙江財(cái)經(jīng)大學(xué)倪偉才58stata多次估計(jì)：drop_allsetobs20setseed12345genx=invnormal(uniform())gentruey=1+1*xsavetruthprogramsimulation1.version102.usetruth,clear3.geny=truey+invnormal(uniform())4.regressyx5.endsimulate_b,reps(500):simulationsumhist_b_xpnorm_b_xswilk_b_x浙江財(cái)經(jīng)大學(xué)倪偉才59對(duì)無(wú)偏性的注解并不是所有的估計(jì)值滿足無(wú)偏性(unbiased!)以下內(nèi)容摘自Wooldridge《EconometricAnalysisofCrossSectionandPanelData》P101:5.2.6PotentialPitfallswith2SLSOnethingtorememberisthat,unlikeOLSunderazeroconditionalmeanassumption,IVmethodsareneverunbiasedwhenatleastoneexplanatoryvariableisendogenousinthemodel.Thisisonereasonwerelyonlarge-sampleanalysistojustify2SLS.(consistent!)浙江財(cái)經(jīng)大學(xué)倪偉才60變異和方差的關(guān)系變異:指一個(gè)變量對(duì)其均值的離差平方和。

變異（variation）和方差（variance）差別：變異指一個(gè)變量對(duì)其均值的離差平方和；方差指該平方和除以適當(dāng)?shù)淖杂啥?。方?變異/自由度浙江財(cái)經(jīng)大學(xué)倪偉才61系數(shù)估計(jì)值的方差浙江財(cái)經(jīng)大學(xué)倪偉才62思考題浙江財(cái)經(jīng)大學(xué)倪偉才63閱讀材料：abstractedfromWooldridge,page55th-56th浙江財(cái)經(jīng)大學(xué)倪偉才64con’s浙江財(cái)經(jīng)大學(xué)倪偉才65浙江財(cái)經(jīng)大學(xué)倪偉才66SomeCommentsontheStandardErrorEstimatorsChrisBrooks《introductoryeconometricsforfinance》Box2.4standarderrorestimators浙江財(cái)經(jīng)大學(xué)倪偉才67Con’d Considerwhathappensifissmallorlarge:浙江財(cái)經(jīng)大學(xué)倪偉才68估計(jì)值的協(xié)方差浙江財(cái)經(jīng)大學(xué)倪偉才69估計(jì)值協(xié)方差的注解浙江財(cái)經(jīng)大學(xué)倪偉才70方差、協(xié)方差之間的關(guān)系浙江財(cái)經(jīng)大學(xué)倪偉才71高斯——馬爾柯夫定理[要求會(huì)證明！]浙江財(cái)經(jīng)大學(xué)倪偉才72implicationofBLUEBestLinearUnbiasedEstimators(BLUE).Whatdoesthisacronymstandfor?1:Estimator:?αand?βareestimatorsofthetruevalueofαandβ2:Linear:?αand?βarelinearestimators--thatmeansthattheformulaefor?αand?βarelinearcombinationsoftherandomvariables(inthiscase,y)3:Unbiased:onaverage,theactualvaluesof?αand?βwillbeequaltotheirtruevalues4:Best:meansthattheOLSestimator?βhasminimumvarianceamong theclassoflinearunbiasedestimators.浙江財(cái)經(jīng)大學(xué)倪偉才73證明：浙江財(cái)經(jīng)大學(xué)倪偉才74浙江財(cái)經(jīng)大學(xué)倪偉才75補(bǔ)充練習(xí)(Homework)JamesH.Stock《IntroductiontoEconometrics》(2rd)EX.5.14浙江財(cái)經(jīng)大學(xué)倪偉才762.4回歸方程的顯著性檢驗(yàn)浙江財(cái)經(jīng)大學(xué)倪偉才77Anintroductiontostatisticalinference

Often,financialtheorywillsuggestthatcertaincoefficientsshouldtakeonparticularvalues.Itisthusofinteresttodeterminewhethertherelationshipsexpectedfromfinancialtheoryareupheldbythedatatohandornot.Estimatesofαandβhavebeenobtainedfromthesample,butthesevaluesarenotofanyparticularinterest;thepopulationvaluesthatdescribethetruerelationshipbetweenthevariableswouldbeofmoreinterest,butareneveravailable.Instead,inferencesaremadeconcerningthelikelypopulationvaluesfromtheregressionparametersthathavebeenestimatedfromthesampleofdatatohand.Indoingthis,theaimistodeterminewhetherthedifferencesbetweenthecoefficientestimatesthatareactuallyobtained,andexpectationsarisingfromfinancialtheory,arealongwayfromoneanotherinastatisticalsense. --abstractedfromChrisBrooks《introductoryeconometricsforfinance》浙江財(cái)經(jīng)大學(xué)倪偉才78正態(tài)性假設(shè)的合理性浙江財(cái)經(jīng)大學(xué)倪偉才79正態(tài)性假設(shè)不成立！1:heavytail2:clustervolatility3:leverageeffectWhatdoesthet-distributionlooklike?Itlookssimilartoanormaldistribution,butwithfattertails,andasmallerpeakatthemean.浙江財(cái)經(jīng)大學(xué)倪偉才80正態(tài)性假設(shè)不成立的例子姜近勇教材P40評(píng)注2.4浙江財(cái)經(jīng)大學(xué)倪偉才81

回歸系數(shù)的t檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)就是檢驗(yàn)自變量x對(duì)因變量y影響程度是否顯著。[注意：課本P32有誤！]原假設(shè)H0:1=0對(duì)立假設(shè)H1:1≠0（是雙側(cè)假設(shè)驗(yàn)）如果原假設(shè)成立，y和x之間并不存在真正的線性關(guān)系；拒絕原假設(shè)，y和x之間存在線性關(guān)系。

浙江財(cái)經(jīng)大學(xué)倪偉才82構(gòu)造t統(tǒng)計(jì)量的理由：浙江財(cái)經(jīng)大學(xué)倪偉才83t統(tǒng)計(jì)量的幾點(diǎn)注解1:Asthedegreesoffreedominthetdistributiongetlarge,thetdistributionapproachesthestandardnormaldistribution.Thesearecloseenoughforpracticalpurposes;fordegreesoffreedomgreaterthan120,onecanusethestandardnormalcriticalvalues.浙江財(cái)經(jīng)大學(xué)倪偉才842:RecallthatthetstatisticfortestingH0:β1=0isdefinedbydividingtheestimatebyitsstandarderror:.Thus,t

canindicatestatisticalsignificanceeitherbecause

is“l(fā)arge”orbecause

is“small”.Itisimportantinpracticetodistinguishbetweenthesereasonsforstatisticallysignificanttstatistics.Toomuchfocusonstatisticalsignificancecanleadtothefalseconclusionthatavariableis“important”forexplainingyeventhoughitsestimatedeffectismodest.浙江財(cái)經(jīng)大學(xué)倪偉才85對(duì)t統(tǒng)計(jì)量的理解浙江財(cái)經(jīng)大學(xué)倪偉才86nullhypothesis1:Notethatthereisalwaysanequalityunderthenullhypothesis.So,forexample,β<0.5wouldnotbespecifiedunderthenullhypothesis. 2:Thispriorinformationshouldcomefromthefinancialtheoryoftheproblemunderconsideration,andnotfromanexaminationoftheestimatedvalueofthecoefficient.浙江財(cái)經(jīng)大學(xué)倪偉才87useofterminologyinconnectionwithhypothesistests1:itissaidthatthenullhypothesisiseitherrejectedornotrejected.2:itissaidthatthenullhypothesisiseitherrejectedornotrejected.Itisincorrecttostatethatifthenullhypothesisisnotrejected,itis‘a(chǎn)ccepted’

3:Onereasonwhyitisnotsensibletosaythatthenullhypothesisis‘a(chǎn)ccepted’isthatitisimpossibletoknowwhetherthenullisactuallytrueornot!4:

Inanygivensituation,manynullhypotheseswillnotberejected.Forexample,supposethatH0:β=0.5andH0:β=0.52areseparatelytestedagainsttherelevanttwo-sidedalternativesandneithernullisrejected.Clearlythenitwouldnotmakesensetosaythat‘H0:β=0.5isaccepted’and‘H0:β=0.52isaccepted’,sincethetrue(butunknown)valueofβcannotbeboth0.5and0.52.

浙江財(cái)經(jīng)大學(xué)倪偉才88回歸的標(biāo)準(zhǔn)誤

稱為回歸的標(biāo)準(zhǔn)誤（thestandarderroroftheregressionortherootmeansquarederror(Wooldridge

page58th)Standarderroroftheestimate:Thestandarderroroftheestimatemeasurestheamountbywhichtheactualyvaluesdifferfromtheestimatedvalues

.Itisanestimateofthestandarddeviationoftheerrortermuinthesimplelinearregressionmodel.(《BusinessForecasting》page221)浙江財(cái)經(jīng)大學(xué)倪偉才89（證明可參閱WooldridgeP57(orP62)Theorem2.3）浙江財(cái)經(jīng)大學(xué)倪偉才90Hint浙江財(cái)經(jīng)大學(xué)倪偉才91Example:HowtoCalculatetheParametersandStandardErrorsAssumewehavethefollowingdatacalculatedfromaregressionofyonasinglevariablexandaconstantover22observations.

Determinetheappropriatevaluesofthecoefficientestimatesandtheirstandarderrors.浙江財(cái)經(jīng)大學(xué)倪偉才92Solutions(estimators)浙江財(cái)經(jīng)大學(xué)倪偉才93Solutions(standarderrors)浙江財(cái)經(jīng)大學(xué)倪偉才94回歸結(jié)果的表示(務(wù)必會(huì)表示！)浙江財(cái)經(jīng)大學(xué)倪偉才95什么是P值?(P-value)P值即顯著性概率值SignificanceProbabilityValue.SPSS的輸出結(jié)果用sig.表示。浙江財(cái)經(jīng)大學(xué)倪偉才96P值P值被定義為一個(gè)原假設(shè)可被拒絕的最低顯著水平t值和P值關(guān)系：P｛|t|>|t值|｝=P值，其中t是檢驗(yàn)統(tǒng)計(jì)量，是隨機(jī)變量，此時(shí)是服從自由度為n-2的t分布；t值指t統(tǒng)計(jì)量的樣本值。當(dāng)P值=α?xí)r（通常α取5％），|t值|=t(α/2)P值越小，|t值|越大；P值越大，|t值|越小P值≤α，|t值|≥t(α/2)

，拒絕原假設(shè)H0:1=0P值＞α，|t值|＜t(α/2)

，接受原假設(shè)H0:1=0用P值代替t值的優(yōu)越性：①用P值做檢驗(yàn)不需要查表，只需要直接用P值與顯著性水平α相比。當(dāng)P值≤α?xí)r，拒絕原假設(shè)H0

；當(dāng)P值＞α?xí)r，接受原假設(shè)H0

。而用t值需要查表求臨界值。②用P值做檢驗(yàn)具有可比性，而用t值做檢驗(yàn)與自由度有關(guān)，可比性差③用P值做檢驗(yàn)可以準(zhǔn)確地知道檢驗(yàn)的顯著性，實(shí)際上P值就是犯棄真錯(cuò)誤的真實(shí)概率，也就是檢驗(yàn)的真實(shí)顯著性。浙江財(cái)經(jīng)大學(xué)倪偉才97上機(jī)驗(yàn)證題目見：wooldridge57頁(yè)EX2.4數(shù)據(jù)：bwght.sav,regressbwghtoncigs1:回歸方程[要求能正確寫出回歸方程！]2：預(yù)測(cè)值[利用回歸方程]和殘差[利用預(yù)測(cè)值]3:殘差平方和[transform-compute,reports-reportsummarizesincolumns]，

標(biāo)準(zhǔn)誤Std.ErroroftheEstimate[注意自由度]4:residual:meansquare注意：

Std.ErroroftheEstimate和meansquareofresidual之間的關(guān)系5:std.errorincludinginterceptandslope[重點(diǎn)]6:tstatistic，P值浙江財(cái)經(jīng)大學(xué)倪偉才98統(tǒng)計(jì)意義上的顯著與現(xiàn)實(shí)意義上的顯著

如果我們能夠以5%的置信水平拒絕某個(gè)檢驗(yàn)的零假設(shè)，則稱這個(gè)檢驗(yàn)在統(tǒng)計(jì)上是顯著的。統(tǒng)計(jì)意義上顯著的結(jié)論可能在現(xiàn)實(shí)意義上不重要，注意兩者的不同。

例子：如果我們檢驗(yàn)一批罐頭的重量是否是500克，隨機(jī)樣本數(shù)據(jù)顯示均值是499克，并且顯著地不同于500克的假設(shè)值。則罐頭實(shí)際重量在統(tǒng)計(jì)意義上不同于500克，但是在現(xiàn)實(shí)意義沒(méi)什么不同。浙江財(cái)經(jīng)大學(xué)倪偉才99SST=SSE+SSR總平方和（totalsumofsquares）表示觀測(cè)值yi圍繞其均值的總變異解釋平方和（explainedsumofsquares）表示估計(jì)值圍繞其均值的變異殘差平方和（residualsumofsquares）表示殘差圍繞回歸線的變異SST=SSE+SSR，其中SSE是由解釋變量x引起的，SSR是由殘差（其它因素）引起的。證明：SST=SSE+SSR體會(huì)：若模型不含常數(shù)項(xiàng)，則此等式不成立！浙江財(cái)經(jīng)大學(xué)倪偉才100SSR注解SSRisalsoknownasalossfunction. 浙江財(cái)經(jīng)大學(xué)倪偉才101說(shuō)明y的觀測(cè)值圍繞其均值的總變異可分解為兩部分：一部分來(lái)自回歸線，而另一部分來(lái)自隨機(jī)誤差項(xiàng)，因?yàn)椴⒎撬械膶?shí)際的y觀測(cè)值都落在擬合的直線上XiXPRFSRFYSST=SSE+SSR幾何意義浙江財(cái)經(jīng)大學(xué)倪偉才102(樣本)判定系數(shù)R2(coefficientofdetermination)SST=SSE+SSR，在總平方和SST中，如果解釋平方和SSE所占的比重越大，則線性回歸效果越好，稱回歸直線和樣本觀測(cè)值擬合優(yōu)度（goodnessoffit）較好;如果殘差平方和SSR所占的比重越大，則回歸直線和樣本觀測(cè)值擬合得不理想。判定系數(shù)R2=SSE/SST（或1－SSR/SST）R2

的性質(zhì):(1)非負(fù),(2)0≤R2≤1浙江財(cái)經(jīng)大學(xué)倪偉才103R2其它表達(dá)式浙江財(cái)經(jīng)大學(xué)倪偉才104介紹Rsuqared的等價(jià)定義浙江財(cái)經(jīng)大學(xué)倪偉才105Rsquared計(jì)算浙江財(cái)經(jīng)大學(xué)倪偉才106補(bǔ)充練習(xí)（課堂練習(xí)）JamesH.Stock《IntroductiontoEconometrics》(2rd)EX.4.9浙江財(cái)經(jīng)大學(xué)倪偉才107補(bǔ)充練習(xí)（homework）Greene5thedition<<EconometricAnalysis>>chapter3EX11Threevariables,N,D,andY,allhavezeromeansandunitvariances.AfourthvariableisC=N+D.IntheregressionofConY,theslopeis0.8.IntheregressionofConN,theslopeis0.5.IntheregressionofDonY,theslopeis0.4.WhatisthesumofsquaredresidualsintheregressionofConD?Thereare21observationsandallmomentsarecomputedusing1/(n?1)asthedivisor.浙江財(cái)經(jīng)大學(xué)倪偉才108Hint浙江財(cái)經(jīng)大學(xué)倪偉才109自由度(df)

[務(wù)必要相當(dāng)清楚！]

自由度（numberofdegreeoffreedom）是指樣本觀測(cè)值的總數(shù)（n）減去對(duì)它們的獨(dú)立（線性）約束或限制的個(gè)數(shù)。換句話，它是指觀測(cè)值的總個(gè)數(shù)中獨(dú)立的觀測(cè)值個(gè)數(shù)。浙江財(cái)經(jīng)大學(xué)倪偉才110樣本相關(guān)系數(shù)相關(guān)系數(shù)：表示兩個(gè)隨機(jī)變量之間的相關(guān)程度。定義為：以樣本方差和樣本協(xié)方差估計(jì)x、y的方差和協(xié)方差，樣本相關(guān)系數(shù)為：浙江財(cái)經(jīng)大學(xué)倪偉才111(樣本)相關(guān)系數(shù)性質(zhì)③相關(guān)系數(shù)的平方與判定系數(shù)相等，但二者意義不同④一元線性回歸的回歸系數(shù)＾1的符號(hào)和相關(guān)系數(shù)R的符號(hào)相同。性質(zhì)：①可正可負(fù)，其符號(hào)和分子兩變量的協(xié)變異有關(guān)。②|R|≤1③是指線性關(guān)系，而不是非線性關(guān)系浙江財(cái)經(jīng)大學(xué)倪偉才112相關(guān)系數(shù)的顯著性檢驗(yàn)浙江財(cái)經(jīng)大學(xué)倪偉才113相關(guān)程度的強(qiáng)弱兩變量間相關(guān)程度的強(qiáng)弱分為以下幾個(gè)等級(jí)：當(dāng)|r|≥0.8時(shí)，視為高度相關(guān)；當(dāng)0.5≤|r|＜0.8時(shí)，視為中度相關(guān)；當(dāng)0.3≤|r|＜0.5時(shí)，視為低度相關(guān)；當(dāng)|r|＜0.3時(shí)，表明兩個(gè)變量之間的相關(guān)程度極弱，在實(shí)際應(yīng)用中可視為不相關(guān)。浙江財(cái)經(jīng)大學(xué)倪偉才114相關(guān)系數(shù)顯著性檢驗(yàn)用SPSS軟件做相關(guān)系數(shù)的顯著性檢驗(yàn)浙江財(cái)經(jīng)大學(xué)倪偉才115補(bǔ)充練習(xí)(課堂練習(xí))JamesH.Stock《IntroductiontoEconometrics》(2rd)EX.4.12浙江財(cái)經(jīng)大學(xué)倪偉才116復(fù)習(xí)ttest浙江財(cái)經(jīng)大學(xué)倪偉才117樣本決定系數(shù)R2

能夠說(shuō)明樣本的擬和優(yōu)度。但是我們還需要對(duì)總體做出推斷，檢驗(yàn)總體的線性是否成立。思路：若SSE/SSR比較大，則X對(duì)Y的解釋程度就比較高，可以推測(cè)總體存在線性。但是SSE/SSR樣本不同而不同，對(duì)于給定的樣本，利用SSE/SSR對(duì)總體進(jìn)行推斷，必須進(jìn)行統(tǒng)計(jì)檢驗(yàn)。浙江財(cái)經(jīng)大學(xué)倪偉才118方差分析（analysisofvariance,ANOVA)

[務(wù)必非常清楚此表是如何構(gòu)造的！]ssdfMeanSquareFRegressionSSE1SSE/1[SSE/1]/[SSR/(n-2)]ResidualSSRn-2SSR/(n-2)TotalSSTn-1浙江財(cái)經(jīng)大學(xué)倪偉才119對(duì)F統(tǒng)計(jì)量的注解1：SSE服從卡方分布，SSR也服從卡方分布！2：可以證明SSE和SSR獨(dú)立！3：考慮分子、分母的自由度！因此，服從F分布！浙江財(cái)經(jīng)大學(xué)倪偉才120計(jì)算ANOVA數(shù)據(jù)：bwght.sav,regressbwghtoncigs浙江財(cái)經(jīng)大學(xué)倪偉才121t檢驗(yàn)和F檢驗(yàn)的關(guān)系t檢驗(yàn)是對(duì)回歸系數(shù)進(jìn)行顯著性的檢驗(yàn)，針對(duì)個(gè)別系數(shù)；F檢驗(yàn)是對(duì)回歸方程進(jìn)行顯著性的檢驗(yàn)，針對(duì)整個(gè)回歸方程對(duì)于一元線性回歸，兩種檢驗(yàn)是等價(jià)的；對(duì)于多元線性回歸，兩種檢驗(yàn)是不等價(jià)的浙江財(cái)經(jīng)大學(xué)倪偉才122ttest,Ftest浙江財(cái)經(jīng)大學(xué)倪偉才123三種檢驗(yàn)的關(guān)系對(duì)于一元線性回歸模型，三種是等價(jià)的！請(qǐng)完成課后習(xí)題2.8！根據(jù)習(xí)題2.8的結(jié)論，易得習(xí)題2.11的結(jié)論！浙江財(cái)經(jīng)大學(xué)倪偉才124習(xí)題2.8和習(xí)題2.11浙江財(cái)經(jīng)大學(xué)倪偉才125三種檢驗(yàn)關(guān)系的等價(jià)性數(shù)據(jù)：bwght.sav,regressbwghtoncigs目的：通過(guò)上機(jī)驗(yàn)證三種檢驗(yàn)關(guān)系的等價(jià)性，加深直觀認(rèn)識(shí)等價(jià)性具體體現(xiàn)：1：它們的P值均為：0.0000000166153817026412，

P值完全相同！浙江財(cái)經(jīng)大學(xué)倪偉才126F檢驗(yàn)的注解1:ItcanbeshownthattheFstatisticfortestingexclusionofasinglevariableisequaltothesquareofthecorrespondingtstatistic.2:Sincet2

n-k-1hasanF1,n-k-1distribution,thetwoapproachesleadtoexactlythesameoutcome,providedthatthealternativeistwo-sided.3:Thetstatisticismoreflexiblefortestingasinglehypothesisbecauseitcanbeusedtotestagainstone-sidedalternatives4：SincetstatisticsarealsoeasiertoobtainthanFstatistics,thereisreallynoreasontouseanFstatistictotesthypothesesaboutasingleparameter.(Wooldridgepage146th)浙江財(cái)經(jīng)大學(xué)倪偉才127增加練習(xí)(很重要的題型！)《RegressionAnalysisbyExamples》p76thEX3.5:Thefollowingtableshowstheregressionoutput,withsomenumberserased,whenasimpleregressionmodelrelatingaresponsevariableytoapredictorvariablex1isfittedbasedontwentyobservations.Computethe12missingnumbers.浙江財(cái)經(jīng)大學(xué)倪偉才128SourceSumofSquaresdfMeanSquareF-testRegression1848.76_______________Residuals_______________VariableCoefficientset-testpConstant-23.432512.74____0.0824x1________0.15288.32<0.0001n=__R2=__AdjustedR2

=____＾σ=___浙江財(cái)經(jīng)大學(xué)倪偉才129SourceSumofSquaresdfMeanSquareF-testRegression1848.7611848.7669.22Residuals480.61826.7VariableCoefficientset-testpConstant-23.432512.74-1.8390.0824x11.270.15288.32<0.0001n=20R2=0.79AdjustedR2=0.78^σ=5.17練習(xí)參考答案浙江財(cái)經(jīng)大學(xué)倪偉才130作業(yè)《RegressionAnalysisbyExamples》p76thEX3.6:Thefollowingtableshowstheregressionoutput,withsomenumberserased,whenasimpleregressionmodelrelatingaresponsevariableytoapredictorvariablex1isfittedbasedoneighteenobservations.Computethe12missingnumbers,thencomputeVar(y)andVar(x1).浙江財(cái)經(jīng)大學(xué)倪偉才131SourceSumofSquaresdfMeanSquareF-testRegression____________________Residuals_______________VariableCoefficientset-testpConstant3.43179____0.2650.7941x1________0.1421____<0.0001n=__R2=0.716AdjustedR2=____＾σ=7.342浙江財(cái)經(jīng)大學(xué)倪偉才132OthertestsWaldtestLagrangeMultiplier(LM)testLikelihoodRatio(LR)test浙江財(cái)經(jīng)大學(xué)倪偉才133LMtest參考Wooldridge《EconometricAnalysisofcrosssectionandpaneldata》4.2.4LagrangeMultiplier(Score)testsLM的具體步驟Example4.1WageEquationforMarried,WorkingWomenTBA浙江財(cái)經(jīng)大學(xué)倪偉才134浙江財(cái)經(jīng)大學(xué)倪偉才1352.5殘差分析一個(gè)線性回歸方程通過(guò)了t檢驗(yàn)或F檢驗(yàn)，只是表明變量x和y之間的線性關(guān)系是顯著的，或者說(shuō)線性回歸方程是有效的，但不能保證數(shù)據(jù)擬合得很好，理由是可能由于意外的原因而導(dǎo)致數(shù)據(jù)的不完全可靠，如異常值等。線性回歸擬合時(shí)使用的是最小二乘法。即保證各觀測(cè)點(diǎn)至直線縱向距離的平方和為最小，這就產(chǎn)生了一個(gè)問(wèn)題：如果存在異常點(diǎn)，它們離回歸直線較遠(yuǎn)，相應(yīng)距離的平方就非常大，為了保證平方和為最小，回歸直線不得不強(qiáng)烈的向該點(diǎn)所在方向偏移，顯然，這可能會(huì)導(dǎo)致錯(cuò)誤的分析結(jié)論。因此，有必要進(jìn)行殘差分析。浙江財(cái)經(jīng)大學(xué)倪偉才136殘差分析的內(nèi)容殘差分析主要分析兩大方面：①殘差分布是否是正態(tài)分布？是否是同方差？采用殘差圖及一些相關(guān)的指標(biāo)如標(biāo)準(zhǔn)化殘差，庫(kù)克距離等；②殘差是否相關(guān)？采用DW統(tǒng)計(jì)量進(jìn)行殘差的相關(guān)性檢驗(yàn)（在第四章介紹）浙江財(cái)經(jīng)大學(xué)倪偉才137為什么要找異常點(diǎn)：因?yàn)橛行┯^察值在各個(gè)變量單獨(dú)描述時(shí)處于正常范圍內(nèi)，但幾個(gè)變量聯(lián)合描述則為異常。例如：年齡10歲和體重70公斤單獨(dú)存在時(shí)都不奇怪，但如果同一個(gè)人年齡10歲并且體重70公斤顯然就不正常！

異常點(diǎn)：在y軸方向嚴(yán)重偏離的數(shù)據(jù)點(diǎn)；高杠桿點(diǎn)：在x軸方向嚴(yán)重偏離的數(shù)據(jù)點(diǎn);強(qiáng)影響點(diǎn)：對(duì)統(tǒng)計(jì)推斷影響特別大的點(diǎn)，其中異常點(diǎn)和高杠桿點(diǎn)都有可能形成強(qiáng)影響點(diǎn)。浙江財(cái)經(jīng)大學(xué)倪偉才138殘差性質(zhì)浙江財(cái)經(jīng)大學(xué)倪偉才139杠桿值(leverage)浙江財(cái)經(jīng)大學(xué)倪偉才140殘差方差的證明浙江財(cái)經(jīng)大學(xué)倪偉才141浙江財(cái)經(jīng)大學(xué)倪偉才142浙江財(cái)經(jīng)大學(xué)倪偉才143殘差圖殘差圖：通常指以自變量x為橫軸，以殘差為縱軸的散點(diǎn)圖。（當(dāng)然還有其他的殘差圖，如spssplots）判斷下列殘差圖哪些符合基本的假定？（正常的，異方差，曲線，蛛網(wǎng)現(xiàn)象，異常點(diǎn)，高杠桿點(diǎn)。）浙江財(cái)經(jīng)大學(xué)倪偉才144正常的殘差圖正常的殘差圖：①在殘差應(yīng)在e=0附近隨機(jī)變化，②并且在變化幅度不大的帶狀圖形內(nèi)。浙江財(cái)經(jīng)大學(xué)倪偉才145標(biāo)準(zhǔn)化殘差、學(xué)生化殘差浙江財(cái)經(jīng)大學(xué)倪偉才146練習(xí)：殘差數(shù)據(jù)：火災(zāi)損失表.sav（1）畫火災(zāi)損失的殘差圖（2）由ZRE,SRE判斷是否存在強(qiáng)影響點(diǎn)（3）學(xué)會(huì)scatter-overlay的使用浙江財(cái)經(jīng)大學(xué)倪偉才1472.6回歸系數(shù)的區(qū)間估計(jì)Hypothesistestsareusefulifyouhaveaspecificnullhypothesisinmind.Beingabletoacceptorrejectthisnullhypothesisbasedonthestatisticalevidenceprovidesapowerfultoolforcopingwiththeuncertaintyinherentinusingasampletolearnaboutthepopulation.Yet,therearemanytimesthatnosinglehypothesisaboutaregressioncoefficientisdominant,andinsteadonewouldliketoknowarangeofvaluesofthecoefficientthatareconsistentwiththedata.Thiscallsforconstructingaconfidenceinterval.浙江財(cái)經(jīng)大學(xué)倪偉才148置信區(qū)間和顯著性水平95％confidenceintervalfor1

isanintervalthathasa95％probabilityofcontainingthetruevaluesof1;thatis,in95％ofpossiblesamplesthatmightbedrawn,theconfidenceintervalwillcontainthetrueof15％significancelevel