多元線性回歸分析估計(jì)

多元線性回歸分析估計(jì)1第一頁(yè)，共四十八頁(yè)，編輯于2023年，星期五第2章內(nèi)容回顧1.DefinitionoftheSimpleRegressionModel

簡(jiǎn)單回歸模型的定義2.DerivingtheOrdinaryLeastSquaresEstimates

推導(dǎo)普通最小二乘估計(jì)量3.MechanicsofOLSOLS相關(guān)的代數(shù)性質(zhì)4.UnitesofMeasurementandFunctionalForm

測(cè)量單位和函數(shù)形式5.ExpectedValuesandVariancesoftheOLSestimatorsOLS估計(jì)量的期望值和方差6.RegressionthroughtheOrigin過(guò)原點(diǎn)的回歸2第二頁(yè)，共四十八頁(yè)，編輯于2023年，星期五本章大綱1.為什麼使用多元回歸

MotivationforMultipleRegression2.普通最小二乘法的操作和解釋

MechanicsandInterpretationofOrdinaryLeastSquares

3.OLS估計(jì)量的期望值

TheExpectedValuesoftheOLSEstimators

4.OLS估計(jì)量的方差

TheVarianceoftheOLSEstimators5.OLS的有效性：高斯－馬爾科夫定理

EfficiencyofOLS:TheGauss-MarkovTheorem3第三頁(yè)，共四十八頁(yè)，編輯于2023年，星期五本課大綱1.多元回歸模型的結(jié)構(gòu)2.為什么使用多元回歸3.多元回歸模型中的零值條件期望假定4.多元回歸模型的OLS估計(jì)及代數(shù)性質(zhì)5.解釋多元回歸模型參數(shù)6.簡(jiǎn)單回歸模型與多元回歸模型的比較4第四頁(yè)，共四十八頁(yè)，編輯于2023年，星期五1.多元線性回歸模型結(jié)構(gòu)：5第五頁(yè)，共四十八頁(yè)，編輯于2023年，星期五多元線性回歸模型結(jié)構(gòu)：

含有k個(gè)自變量的模型多元線性回歸模型一般可以寫(xiě)作：x1…xk，k=2,…K，多個(gè)解釋變量。6第六頁(yè)，共四十八頁(yè)，編輯于2023年，星期五多元回歸模型的結(jié)構(gòu)

b0

仍是截距(intercept)

b1到bk仍然都稱為斜率參數(shù)(slopeparameters)u仍是誤差項(xiàng)(或干擾項(xiàng))(errorterm(ordisturbance))：除了x1…xk之外，影響y的其他因素。7第七頁(yè)，共四十八頁(yè)，編輯于2023年，星期五多元回歸模型的結(jié)構(gòu)因變量自變量被解釋變量解釋變量響應(yīng)變量控制變量被預(yù)測(cè)變量預(yù)測(cè)元變量回歸子回歸元8第八頁(yè)，共四十八頁(yè)，編輯于2023年，星期五多元回歸模型的結(jié)構(gòu)線性：參數(shù)線性：對(duì)于回歸模型參數(shù)是線性的。9第九頁(yè)，共四十八頁(yè)，編輯于2023年，星期五2.為什么使用多元回歸模型？10第十頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸？

1.為獲得其它因素不變的效應(yīng)，控制更多的因素在實(shí)證工作中使用簡(jiǎn)單回歸模型,首要的困難在于：要得到在其它因素不變的情況下，x1對(duì)y的影響(ceteris

paribuseffect)，非常困難。在簡(jiǎn)單線性回歸中，是否能夠獲得在其它條件不變情況下，x1對(duì)y的影響(ceteris

paribuseffectsofxony)，完全取決于零值條件期望假設(shè)是否符合現(xiàn)實(shí)。如果影響y的其它因素，與x1不相關(guān)，則改變x1，可以確保u(均值)不變，從而識(shí)別出在其它條件不變情況下x對(duì)y的影響。不幸的是，影響y的其它因素(包含在u中)，往往與x1相關(guān)：改變x1，u(均值)也往往發(fā)生變化，從而使得僅僅利用簡(jiǎn)單回歸模型，無(wú)法識(shí)別出在其它條件不變情況下x1對(duì)y的影響。11第十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸？

1.控制更多的因素一個(gè)策略就是，將與x1相關(guān)的其他因素從誤差項(xiàng)u中取出來(lái)，放在方程里，作為新的解釋變量，這就構(gòu)成多元回歸模型。多元回歸分析可以明確地控制許多其它同時(shí)影響因變量的因素，而不是放在不可觀測(cè)的誤差項(xiàng)中，故多元回歸分析更適合于其它條件不變情況下（ceterisparibus）的特定因素x對(duì)y的影響。多元回歸模型能容許很多解釋變量，而這些變量可以是相關(guān)的。在使用非實(shí)驗(yàn)數(shù)據(jù)時(shí)，多元回歸模型對(duì)推斷y與解釋變量x間的因果關(guān)系很重要。12第十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸？

2.更好地預(yù)測(cè)一個(gè)變量y的變化，不僅與一種因素有關(guān)，可能決定于許多因素。預(yù)測(cè)一個(gè)變量的變化，往往需要盡可能多地知道影響該變量變化的因素。簡(jiǎn)單回歸模型，只包含一個(gè)解釋變量，有時(shí)只能解釋y的變動(dòng)的很小部分。(如，擬合優(yōu)度很低)多元回歸模型由于可以控制更多地揭示變量，因此，可以解釋更多的因變量變動(dòng)。13第十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸？

3.表達(dá)更多的函數(shù)關(guān)系多元回歸模型，可以包含多個(gè)解釋變量，因此，可以利用變量的函數(shù)變換，在模型中表達(dá)多種函數(shù)關(guān)系。因此，多元線性回歸模型，是實(shí)證分析中應(yīng)用最廣泛的分析工具。14第十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸模型？

例1:教育對(duì)工資的影響教育educ對(duì)工資wage的影響一個(gè)簡(jiǎn)單回歸模型:Wage=b0+b1?educ+u然而，上述工資方程中，許多影響工資，同時(shí)又與教育年限相關(guān)的變量，被包含于誤差項(xiàng)u中，如勞動(dòng)力市場(chǎng)經(jīng)驗(yàn)等。一方面，他們影響工資，但又不同于教育，故包含于u中。另一方面，他們又與教育相關(guān)。如教育年限越長(zhǎng)，則參與勞動(dòng)市場(chǎng)的時(shí)間就相對(duì)越短。因此，零值條件期望假定不成立，會(huì)導(dǎo)致OLS估計(jì)量^b1有偏。15第十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期五例1:教育對(duì)工資的影響一個(gè)策略就是，最好能夠?qū)⑦@些與教育相關(guān)的變量找出來(lái)，放在模型中，進(jìn)行控制。一個(gè)多元回歸模型：

Wage=b0+b1?educ+b2?exper+uwage:工資對(duì)數(shù)；educ:教育年限;exper:勞動(dòng)力市場(chǎng)經(jīng)驗(yàn)(年)。在此例中，勞動(dòng)力市場(chǎng)經(jīng)驗(yàn)exper，由于與感興趣變量教育educ相關(guān)，而被從誤差項(xiàng)u中取出。16第十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期五例2：預(yù)測(cè)高考成績(jī)預(yù)測(cè)高考成績(jī)：一個(gè)簡(jiǎn)單模型：成績(jī)=b0+b1?師資

+u一個(gè)學(xué)生的期末成績(jī)不僅決定于師資，還決定于其他多種因素：成績(jī)=b0+b1?師資

+b2?心理+b3?方法+b4?內(nèi)在能力+b5?家庭+b6?早戀+u17第十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期五為什么使用多元回歸？

例3：收入與消費(fèi)假定存在一個(gè)模型：家庭消費(fèi)cons是家庭收入inc的二次方程，則模型可寫(xiě)作：

cons=b0+b1?inc+b2

?inc2+u盡管該模型表述的是消費(fèi)與收入兩個(gè)變量之間的關(guān)系，但是，簡(jiǎn)單回歸方程無(wú)法實(shí)現(xiàn)。這里，邊際消費(fèi)傾向(marginalpropensitytoconsume)可以近似表達(dá)為：

MPC=Δcons/Δinc=b1+2b2?inc

18第十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期五3.零值條件期望假定19第十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期五多元回歸模型中的零值條件期望假定多元回歸的零值條件期望假定：

E(u|x1,x2,…,xk)=0兩層含義：

(1)E(u)=0(2)E(u|x1,x2,…,xk)=E(u),即,cov(u,xj)=0,j=1,…,k注意：在上面例3中，零值條件期望假定可以表述為：E(u|inc,inc2)=E(u|inc)=020第二十頁(yè)，共四十八頁(yè)，編輯于2023年，星期五4.多元回歸模型的OLS估計(jì)與代數(shù)性質(zhì)21第二十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期五4.多元回歸模型的OLS估計(jì)普通最小二乘法(OLS):選擇能最小化殘差平方和的參數(shù)估計(jì)值：22第二十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期五4.多元回歸模型的OLS估計(jì)

如何得到OLS估計(jì)值23第二十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期五4.多元回歸模型的OLS估計(jì)

零值條件期望假定與距條件一階條件也是相關(guān)的總體矩在樣本中的對(duì)應(yīng)。E(u|x1,x2,…,xk)=0E(u)=0Cov(u,xj)=0，j=1…k在估計(jì)之后，得到樣本回歸函數(shù)（SRF），或稱為OLS回歸線：24第二十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期五OLS的代數(shù)性質(zhì)殘差之和與平均值為零OLS殘差與每個(gè)自變量之間的樣本協(xié)方差為零。OLS殘差與因變量擬合值之間的樣本協(xié)方差為零。點(diǎn)總位于OLS樣本回歸線上。25第二十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期五5.解釋多元回歸模型：

其他因素不變；

剔除其他變量的影響；26第二十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期五解釋多元回歸模型估計(jì)一個(gè)兩自變量回歸方程，得到：是當(dāng)x1=0,x2=0時(shí)，y的(平均值)預(yù)測(cè)值(predictedvalue),或擬合值(fittedvalue).

則可以解釋為局部效應(yīng)(partialeffect),或其他因素不變效應(yīng)(ceterisparibus)27第二十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期五解釋多元回歸

可解釋為：當(dāng)x2保持不變，即Δx2=0時(shí)，x1變化所引起的y的變化。相應(yīng)地，可解釋為：當(dāng)x1保持不變，即Δx1=0時(shí)，x2變化所引起的y的變化。28第二十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期五解釋多元回歸對(duì)于所估計(jì)的一個(gè)多元回歸函數(shù)：進(jìn)行差分，得到：保持x2…xk不變，意味著：此時(shí)：故，解釋為在其他解釋因素不變的情況下，x1變化1單位，所引起的y的(平均值)的變化數(shù)量。因此，每一個(gè)^β均可解釋為局部效應(yīng)(partialeffect),或其他情況不變效應(yīng)(ceterisparibuseffect)29第二十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期五解釋多元回歸

教育對(duì)工資的影響估計(jì)教育-經(jīng)驗(yàn)-工資方程：^wage=^b0+^b1?educ+^b2?exper^wage:工資擬合值；educ:教育年限;exper:勞動(dòng)力市場(chǎng)經(jīng)驗(yàn)(年)。差分得到：

Δ^wage=^b0+^b1?Δeduc+^b2?Δexper^b1衡量的就是，在工作經(jīng)驗(yàn)exper不變的情況下，教育每增加1年，工資增加多少元；^b2衡量的是，在教育水平educ不變的情況下，工作經(jīng)驗(yàn)每增加1年，工資增加多少元；30第三十頁(yè)，共四十八頁(yè)，編輯于2023年，星期五關(guān)于多元回歸中的“保持其它因素不變”

(Holdingotherfactorsfixed)多元回歸中，所得到的“其他因素不變的效應(yīng)”，并非是通過(guò)在實(shí)際抽樣中，固定其他因素不變。在教育-經(jīng)驗(yàn)-工資一例中，在獲得教育對(duì)的工資其他條件不變影響時(shí)，在實(shí)際抽樣中，也并非是固定工作經(jīng)驗(yàn)，收集不同教育年限的樣本，來(lái)分析教育年限變化，對(duì)于工資的影響。對(duì)個(gè)體進(jìn)行隨機(jī)抽樣，就可通過(guò)多元回歸分析得到“其他因素不變的效應(yīng)”。多元回歸分析的優(yōu)勢(shì)，在于它使我們能在非實(shí)驗(yàn)環(huán)境中去做自然科學(xué)家在受控實(shí)驗(yàn)中所能做的事情：保持其它因素不變。31第三十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期五一個(gè)“剔除其它變量影響”的解釋

A“PartiallingOut”Interpretation對(duì)于估計(jì)的樣本回歸線可以表示為：？32第三十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期五

一個(gè)“剔除其它變量影響”的解釋

A“PartiallingOut”Interpretation首先，將第一個(gè)自變量x1對(duì)第二個(gè)自變量x2進(jìn)行回歸，得到樣本回歸函數(shù)，根據(jù)xi和擬合值

，得到殘差。殘差表示剔除了x2的影響之后，x1的其他部分。它與x2不相關(guān),樣本均值為0。然后，將y對(duì)進(jìn)行簡(jiǎn)單回歸得到。衡量的是，剔除了其他自變量的影響之后，x1對(duì)于y的凈影響。33第三十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期五“剔除其它變量影響”

“PartiallingOut”上述過(guò)程表明：將y同時(shí)對(duì)x1和x2回歸得出的x1的影響，與先將x1對(duì)x2回歸得到殘差，再將y對(duì)此殘差回歸得到的x1的影響相同。同時(shí)說(shuō)明，在多元回歸模型中，x1的系數(shù)衡量的是，x1中與其他自變量不相關(guān)的部分，與y的相關(guān)關(guān)系。即，在多元回歸模型中，所估計(jì)的是，在其他自變量對(duì)于x1的影響“被剔除(partialledout)”后，x1對(duì)y的影響。34第三十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期五“剔除其它變量影響”

“PartiallingOut”在一個(gè)含有k個(gè)解釋變量的一般模型中，仍然可以寫(xiě)成(3.22)式(證明見(jiàn)本章附錄3A.2):殘差是來(lái)自x1對(duì)x2…,xk的回歸。因此，度量的是，在排除x2…,xk等變量的影響之后，x1對(duì)y的影響。35第三十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期五證明(3.22)式：36第三十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期五例子:剔除其他變量的影(partiallingout)

A.多元回歸的系數(shù)lwage=5.5027096+.07778197*educ+.0197768*exper37第三十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期五B.剔除其他變量的影響后簡(jiǎn)單回歸的系數(shù)

(1)剔除工作經(jīng)驗(yàn)exper對(duì)教育educ的影響(1)educ對(duì)exper進(jìn)行回歸，求殘差educ_uhat38第三十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期五B.剔除其他變量的影響后簡(jiǎn)單回歸的系數(shù)

(2)用lwage回歸教育殘差educ_uhat(2)lwage對(duì)殘差educ_uhat回歸，依然得到回歸系數(shù)^β1=.07778197!與多元回歸完全相同！39第三十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期五6.簡(jiǎn)單回歸和多元回歸估計(jì)值比較40第四十頁(yè)，共四十八頁(yè)，編輯于2023年，星期五用同一個(gè)樣本：估計(jì)一個(gè)最簡(jiǎn)單的線性回歸模型，得到：估計(jì)一個(gè)最簡(jiǎn)單的多元線性回歸模型，得到：存在一個(gè)簡(jiǎn)單關(guān)系：是x2對(duì)x1進(jìn)行簡(jiǎn)單回歸所得到的斜率系數(shù)估計(jì)值。證明上式41第四十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期五42第四十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期五一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2對(duì)于y沒(méi)有局部效應(yīng)(partialeffect)在(2)種情況下，x2與x1在樣本中不相關(guān)。43第四十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期五用同一個(gè)樣本：估計(jì)一個(gè)最簡(jiǎn)單的線性回歸模型，得到：估計(jì)一個(gè)最簡(jiǎn)單的多元線性回歸模型，得到：存在一個(gè)關(guān)系：是x2,…,xk分別對(duì)x1進(jìn)行簡(jiǎn)單回歸所得到的斜率系數(shù)估計(jì)值。44第四十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期五一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2,…,xk對(duì)于y均沒(méi)有局部效應(yīng)(partialeffect)在(2)種情況下，x2,…,xk中每一個(gè)均與x1不相關(guān)。45第四十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期五例子：簡(jiǎn)單回歸與多元回歸(1)多元回歸：lwage=b0+b1