一元回歸模型優(yōu)秀課件

第二章經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：

一元線(xiàn)性回歸模型

TheClassicalSingleEquationEconometricModel:SimpleLinearRegressionModel

1、變量間的關(guān)系確定性關(guān)系或函數(shù)關(guān)系：研究的是確定性現(xiàn)象非隨機(jī)變量間的關(guān)系。

統(tǒng)計(jì)依賴(lài)或相關(guān)關(guān)系：研究的是非確定性現(xiàn)象隨機(jī)變量間的關(guān)系。§2.1回歸分析概述

(RegressionAnalysis)一、變量間的關(guān)系及回歸分析的基本概念對(duì)變量間統(tǒng)計(jì)依賴(lài)關(guān)系的考察主要是通過(guò)相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來(lái)完成的。相關(guān)分析適用于所有統(tǒng)計(jì)關(guān)系。相關(guān)系數(shù)(correlationcoefficient)正相關(guān)(positivecorrelation)負(fù)相關(guān)(negativecorrelation)不相關(guān)(non-correlation)回歸分析僅對(duì)存在因果關(guān)系而言。2、回歸分析的基本概念回歸分析(regressionanalysis)是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴(lài)關(guān)系的計(jì)算方法和理論。其目的在于通過(guò)后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測(cè)前者的（總體）均值。兩類(lèi)變量；被解釋變量（ExplainedVariable）或應(yīng)變量（DependentVariable）。解釋變量（ExplanatoryVariable）或自變量（IndependentVariable）。關(guān)于變量的術(shù)語(yǔ)ExplainedVariable~ExplanatoryVariableDependentVariable~IndependentVariableEndogenousVariable~ExogenousVariableResponseVariable~ControlVariablePredictedVariable~PredictorVariableRegressand~Regressor回歸分析構(gòu)成計(jì)量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括：根據(jù)樣本觀察值對(duì)經(jīng)濟(jì)計(jì)量模型參數(shù)進(jìn)行估計(jì)，求得回歸方程；對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)；利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測(cè)。由于不確定因素的影響，對(duì)同一收入水平X，不同家庭的消費(fèi)支出不完全相同；但由于調(diào)查的完備性，給定收入水平X的消費(fèi)支出Y的分布是確定的，即以X的給定值為條件的Y的條件分布（Conditionaldistribution）是已知的，例如：P(Y=561|X=800）=1/4。因此，給定收入X的值Xi，可得消費(fèi)支出Y的條件均值（conditionalmean）或條件期望（conditionalexpectation）：E(Y|X=Xi)。該例中：E(Y|X=800)=605描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說(shuō)”也在增加，且Y的條件均值均落在一根正斜率的直線(xiàn)上。05001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費(fèi)支出Y（元）含義：回歸函數(shù)（PRF）說(shuō)明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。函數(shù)形式：可以是線(xiàn)性或非線(xiàn)性的。例2.1.1中，將居民消費(fèi)支出看成是其可支配收入的線(xiàn)性函數(shù)時(shí):為線(xiàn)性函數(shù)。其中，0，1是未知參數(shù)，稱(chēng)為回歸系數(shù)（regressioncoefficients）?？傮w回歸函數(shù)說(shuō)明在給定的收入水平Xi下，該社區(qū)家庭平均的消費(fèi)支出水平。但對(duì)某一個(gè)別的家庭，其消費(fèi)支出可能與該平均水平有偏差。稱(chēng)為觀察值圍繞它的期望值的離差（deviation），是一個(gè)不可觀測(cè)的隨機(jī)變量，又稱(chēng)為隨機(jī)干擾項(xiàng)（stochasticdisturbance）或隨機(jī)誤差項(xiàng)（stochasticerror）。三、隨機(jī)擾動(dòng)項(xiàng)

StochasticDisturbance

例2.1.1中，給定收入水平Xi,個(gè)別家庭的支出可表示為兩部分之和：該收入水平下所有家庭的平均消費(fèi)支出E(Y|Xi)，稱(chēng)為系統(tǒng)性（systematic）或確定性（deterministic)部分；其他隨機(jī)或非確定性（nonsystematic)部分i。

稱(chēng)為總體回歸函數(shù)（PRF）的隨機(jī)設(shè)定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，因此也稱(chēng)為總體回歸模型(PRM)。1、樣本回歸函數(shù)問(wèn)題：能否從一次抽樣中獲得總體的近似信息？如果可以，如何從抽樣中獲得總體的近似信息？在例2.1.1的總體中有如下一個(gè)樣本，能否從該樣本估計(jì)總體回歸函數(shù)？

回答：能

四、樣本回歸函數(shù)

SampleRegressionFunction,SRF

該樣本的散點(diǎn)圖（scatterdiagram)：

畫(huà)一條直線(xiàn)以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，可以該直線(xiàn)近似地代表總體回歸線(xiàn)。該直線(xiàn)稱(chēng)為樣本回歸線(xiàn)（sampleregressionlines）。

樣本回歸線(xiàn)的函數(shù)形式為：稱(chēng)為樣本回歸函數(shù)（sampleregressionfunction，SRF）。

注意：這里將樣本回歸線(xiàn)看成總體回歸線(xiàn)的近似替代則回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)PRF?！?.2一元線(xiàn)性回歸模型的基本假設(shè)

(AssumptionsofSimpleLinearRegressionModel)

一、關(guān)于模型設(shè)定的假設(shè)二、關(guān)于解釋變量的假設(shè)三、關(guān)于隨機(jī)項(xiàng)的假設(shè)說(shuō)明為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型提出若干基本假設(shè)。實(shí)際上這些假設(shè)與所采用的估計(jì)方法緊密相關(guān)。下面的假設(shè)主要是針對(duì)采用普通最小二乘法（OrdinaryLeastSquares,OLS）估計(jì)而提出的。所以，在有些教科書(shū)中稱(chēng)為“TheAssumptionUnderlyingtheMethodofLeastSquares”。在不同的教科書(shū)上關(guān)于基本假設(shè)的陳述略有不同，下面進(jìn)行了重新歸納。2、關(guān)于解釋變量的假設(shè)確定性假設(shè)。Xvaluesarefixedinrepeatedsampling.Moretechnically,Xisassumedtobenonstochastic.

注意：“inrepeatedsampling”的含義是什么？與隨機(jī)項(xiàng)不相關(guān)假設(shè)。ThecovariancesbetweenXiandμiarezero.由確定性假設(shè)可以推斷。觀測(cè)值變化假設(shè)。Xvaluesinagivensamplemustnotallbethesame.樣本方差假設(shè)。隨著樣本容量的無(wú)限增加，解釋變量X的樣本方差趨于一有限常數(shù)。時(shí)間序列數(shù)據(jù)作樣本時(shí)間適用4、隨機(jī)項(xiàng)的正態(tài)性假設(shè)在采用OLS進(jìn)行參數(shù)估計(jì)時(shí)，不需要正態(tài)性假設(shè)。在利用參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷時(shí)，需要假設(shè)隨機(jī)項(xiàng)的概率分布。一般假設(shè)隨機(jī)項(xiàng)服從正態(tài)分布?？梢岳弥行臉O限定理（centrallimittheorem,CLT）進(jìn)行證明。正態(tài)性假設(shè)。Theμ’sfollowthenormaldistribution.5、CLRM和CNLRM以上假設(shè)（正態(tài)性假設(shè)除外）也稱(chēng)為線(xiàn)性回歸模型的經(jīng)典假設(shè)或高斯（Gauss）假設(shè)，滿(mǎn)足該假設(shè)的線(xiàn)性回歸模型，也稱(chēng)為經(jīng)典線(xiàn)性回歸模型（ClassicalLinearRegressionModel,CLRM）。同時(shí)滿(mǎn)足正態(tài)性假設(shè)的線(xiàn)性回歸模型，稱(chēng)為經(jīng)典正態(tài)線(xiàn)性回歸模型（ClassicalNormalLinearRegressionModel,CNLRM）?！?.3一元線(xiàn)性回歸模型的參數(shù)估計(jì)

(EstimationofSimpleLinearRegressionModel)

一、參數(shù)的普通最小二乘估計(jì)（OLS）二、參數(shù)估計(jì)的最大或然法(ML)三、最小二乘估計(jì)量的性質(zhì)四、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)

1、最小二乘原理根據(jù)被解釋變量的所有觀測(cè)值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。

為什么取平方和？一、參數(shù)的普通最小二乘估計(jì)（OLS）2、正規(guī)方程組該關(guān)于參數(shù)估計(jì)量的線(xiàn)性方程組稱(chēng)為正規(guī)方程組（normalequations）。3、參數(shù)估計(jì)量求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)量（ordinaryleastsquaresestimators）及其離差形式：

分布參數(shù)的普通最小二乘估計(jì)量4、“估計(jì)量”（estimator）和“估計(jì)值”

(estimate)的區(qū)別

如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來(lái)的，它是一個(gè)“估計(jì)值”，或者“點(diǎn)估計(jì)”，是參數(shù)估計(jì)量的一個(gè)具體數(shù)值；如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式，那么，則是Yi的函數(shù)，而Yi是隨機(jī)變量，所以參數(shù)估計(jì)也是隨機(jī)變量，在這個(gè)角度上，稱(chēng)之為“估計(jì)量”。

二、參數(shù)估計(jì)的最大似然法(ML)(略）1、概述當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。準(zhǔn)則：線(xiàn)性性(linear)，即它是否是另一隨機(jī)變量的線(xiàn)性函數(shù)；無(wú)偏性(unbiased)，即它的均值或期望值是否等于總體的真實(shí)值；有效性(efficient)，即它是否在所有線(xiàn)性無(wú)偏估計(jì)量中具有最小方差。這三個(gè)準(zhǔn)則也稱(chēng)作估計(jì)量的小樣本性質(zhì)。擁有這類(lèi)性質(zhì)的估計(jì)量稱(chēng)為最佳線(xiàn)性無(wú)偏估計(jì)量（bestlinerunbiasedestimator,BLUE）。三、最小二乘估計(jì)量的性質(zhì)當(dāng)不滿(mǎn)足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本或漸近性質(zhì)(asymptoticproperties)：漸近無(wú)偏性，即樣本容量趨于無(wú)窮大時(shí)，是否它的均值序列趨于總體真值；一致性，即樣本容量趨于無(wú)窮大時(shí)，它是否依概率收斂于總體的真值；漸近有效性，即樣本容量趨于無(wú)窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。四、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)（略）§2.4一元線(xiàn)性回歸模型的統(tǒng)計(jì)檢驗(yàn)

StatisticalTestofSimpleLinearRegressionModel

一、擬合優(yōu)度檢驗(yàn)

二、變量的顯著性檢驗(yàn)

三、參數(shù)的置信區(qū)間

說(shuō)明回歸分析是要通過(guò)樣本所估計(jì)的參數(shù)來(lái)代替總體的真實(shí)參數(shù)，或者說(shuō)是用樣本回歸線(xiàn)代替總體回歸線(xiàn)。盡管從統(tǒng)計(jì)性質(zhì)上已知，如果有足夠多的重復(fù)抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。主要包括擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及參數(shù)的區(qū)間估計(jì)。1、回答一個(gè)問(wèn)題擬合優(yōu)度檢驗(yàn)：對(duì)樣本回歸直線(xiàn)與樣本觀測(cè)值之間擬合程度的檢驗(yàn)。問(wèn)題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程度？一、擬合優(yōu)度檢驗(yàn)

GoodnessofFit,CoefficientofDetermination2、總離差平方和的分解Y的i個(gè)觀測(cè)值與樣本均值的離差由回歸直線(xiàn)解釋的部分

回歸直線(xiàn)不能解釋的部分

離差分解為兩部分之和

對(duì)于所有樣本點(diǎn)，則需考慮離差的平方和：記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）TSS=ESS+RSS

Y的觀測(cè)值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來(lái)自回歸線(xiàn)(ESS)，另一部分則來(lái)自隨機(jī)勢(shì)力(RSS)。

在給定樣本中，TSS不變，如果實(shí)際觀測(cè)點(diǎn)離樣本回歸線(xiàn)越近，則ESS在TSS中占的比重越大，因此

擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS3、可決系數(shù)R2統(tǒng)計(jì)量是一個(gè)非負(fù)的統(tǒng)計(jì)量。取值范圍：[0，1]越接近1，說(shuō)明實(shí)際觀測(cè)點(diǎn)離回歸線(xiàn)越近，擬合優(yōu)度越高。隨著抽樣的不同而不同。為此，對(duì)可決系數(shù)的統(tǒng)計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第3章中進(jìn)行。說(shuō)明在一元線(xiàn)性模型中，變量的顯著性檢驗(yàn)就是判斷X是否對(duì)Y具有顯著的線(xiàn)性性影響。變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)中的假設(shè)檢驗(yàn)。通過(guò)檢驗(yàn)變量的參數(shù)真值是否為零來(lái)實(shí)現(xiàn)顯著性檢驗(yàn)。二、變量的顯著性檢驗(yàn)

Testing

SignificanceofVariable1、假設(shè)檢驗(yàn)（HypothesisTesting）所謂假設(shè)檢驗(yàn)，就是事先對(duì)總體參數(shù)或總體分布形式作出一個(gè)假設(shè)，然后利用樣本信息來(lái)判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原假設(shè)。假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。判斷結(jié)果合理與否，是基于“小概率事件在一次實(shí)驗(yàn)中不易發(fā)生”這一原理的。2、變量的顯著性檢驗(yàn)—t檢驗(yàn)用σ2的估計(jì)量代替，構(gòu)造t統(tǒng)計(jì)量對(duì)總體參數(shù)提出假設(shè)：H0：1=0，H1：10第一步，提出假設(shè)：H0：1=0，H1：10第二步，由樣本計(jì)算t統(tǒng)計(jì)量值；第三步，給定顯著性水平(levelofsignificance)，查t分布表得臨界值(criticalvalue)t/2(n-2)；第四步，比較，判斷：若|t|>t/2(n-2)，則以（1－α）的置信度（confidencecoefficient）拒絕H0

，接受H1

；若|t|

t/2(n-2)，則以（1－α）的置信度不拒絕H0

。例：教材p48，掌握t檢驗(yàn)的完整過(guò)程。3、關(guān)于常數(shù)項(xiàng)的顯著性檢驗(yàn)T檢驗(yàn)同樣可以進(jìn)行。一般不以t檢驗(yàn)決定常數(shù)項(xiàng)是否保留在模型中，而是從經(jīng)濟(jì)意義方面分析回歸線(xiàn)是否應(yīng)該通過(guò)原點(diǎn)。1、概念回歸分析希望通過(guò)樣本得到的參數(shù)估計(jì)量能夠代替總體參數(shù)。假設(shè)檢驗(yàn)可以通過(guò)一次抽樣的結(jié)果檢驗(yàn)總體參數(shù)可能的假設(shè)值的范圍（例如是否為零），但它并沒(méi)有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多“近”。要判斷樣本參數(shù)的估計(jì)值在多大程度上“近似”地替代總體參數(shù)的真值，需要通過(guò)構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來(lái)考察它以多大的可能性（概率）包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。