計量-第4講多元線性回歸模型

第4講

多元線性回歸模型1含有k個自變量的線性模型，可以寫作：Y

=

0

+

1X1

+

2X2

+

.

.

.

kXk

+

u含有多個解釋變量：X1…Xk,0

：截距1…k：斜率參數(shù)、待估計參數(shù)、回歸系數(shù)u：誤差項(或干擾項)，除了X1…Xk之外，影響Y的其他因素(沒有觀察到的因素,不可觀測因素)線性：對于回歸模型參數(shù)是線性的2多元線性回歸模型結(jié)構(gòu)3為什么要使用多元回歸模型1、為獲得其它因素不變的效應(yīng)，控制的因素一元回歸中易出現(xiàn)遺漏變量偏差在簡單線性回歸中，是否能夠獲得在其它條件不變情況下，X1對Y的影響，取決于零值條件期望假設(shè)是否符合現(xiàn)實如果X與遺漏變量相關(guān)，且遺漏變量是因變量Y的一個決定因素，則將發(fā)生遺漏變量偏差Y

0

1

X

u1

1Y

u

?X

XX341、為獲得其它因素不變的效應(yīng)，控制

的因素一個策略就是，將與X1相關(guān)的其他因素從誤差項u中取出來，放在方程里，作為新的解釋變量，這就構(gòu)成多元回歸模型。多元回歸分析可以明確地控制許多其它同時影響因變量的因素，而不是放在不可觀測的誤差項u中，故多元回歸分析更適合于其它條件不變情況下（ceterisparibus）的特定因素X1對Y的影響。多元回歸模型能容許很多解釋變量，而這些變量可以是相關(guān)的(只要不是完全相關(guān)—共線)。在使用非實驗數(shù)據(jù)時，多元回歸模型對推斷Y與解釋變量X間的因果關(guān)系很重要。56例1:

教育對工資的影響教育educ對工資wage的影響一個簡單回歸模型:Wage=

β0

+

β1

?

educ

+u然而，上述工資方程中，許多影響工資，同時又與教育年限相關(guān)的變量，被包含于誤差項u中，如勞動力市場經(jīng)驗，能力等。一方面，他們影響工資，又不同于教育，由于沒有觀測信息，故包含于u中。另一方面，他們又與教育相關(guān)。如教育年限越長，則參與勞動市場的時間就相對越短；能力越強，教育程度較高。因此，零值條件期望假定不成立，會導(dǎo)致OLS估計量有偏。一個策略就是，最好能夠?qū)⑦@些與教育相關(guān)的變量找出來，放在模型中，進行控制。一個多元回歸模型：Wage=

β0

+

β1

?

educ

+

β2

?

exper+

uwage:

工資對數(shù)；educ:

教育年限;

exper:

勞動力市場經(jīng)驗(年)。在此例中，勞動力市場經(jīng)驗exper，由于與感變量教育educ相關(guān)，而被從誤差項u中取出。例1:

教育對工資的影響72、更好地解釋Y的變動一個變量Y的變化，不僅與一種因素有關(guān)，可能決定于許多因素一個變量的變化，往往需要盡可能多地知道影響該變量變化的所有因素。簡單回歸模型，只包含一個解釋變量，有時只能解釋Y的變動的很小部分。(如，擬合優(yōu)度很低)多元回歸模型由于可以控制

地解釋變量，因此，可以解釋 的因變量變動。8例2：

高考成績高考成績：一個簡單模型：成績=0

+1

?師資+u一個學(xué)生的期末成績不僅決定于師資，還決定于其他多種因素：成績=0

+1

?師資+2

?心理+3

?方法+4

?家庭教育+5

?早戀+u93、表達

的函數(shù)關(guān)系一個因素Y與其他因素X1,X2…Xk

之間，可能存在不同形式的函數(shù)關(guān)系。多元回歸模型，可以包含多個解釋變量，因此，可以利用變量的多種函數(shù)變換，在模型中表達多種函數(shù)關(guān)系。1011例3：收入與消費假定存在一個模型：家庭消費cons是家庭收入inc的二次方程，則模型可寫作：cons

=

β0

+

β1

?

inc

+

β2

?

inc2

+u盡管該模型表述的是消費與收入兩個變量之間的關(guān)系，但是，簡單回歸方程無法實現(xiàn)。這里，邊際消費傾向可以近似表達為：MPC

=Δcons/Δinc

=

β1

+

2

β2

?inc121.

模型的建立及其假定條件回歸模型及回歸方程01

101

1(1)Y

0

1

X1

(3)Y

?

?

X(4)Y?

?

?

X(2

E

｜

)

0

多元線性回歸分析要解決的問題仍然是：估計參數(shù)、檢驗參數(shù)及回歸方程、

和經(jīng)濟分析。是對總的n次獨立樣本觀測值，代入總體回歸模型得：體

X1,X

2

,ki

i1i

2i設(shè)

X

,

X

,

X

;Y

,

i

1,2,nYi

0

1

X1i

2

X

2i

k

Xki

ui2

0

1

12

2

222k k

2

k

Xk1

u1Y1

0

1

X11

2

X

21

Y

X

X

X

u

k

Xkn

unYn

0

1

X13

2

X

2n

14模型的假定假定1：多元回歸的零值條件期望假定,

Xk

0E

u

|

X1,

X

2

,兩層含義：E(2)E

u

|

X1,

X

2

Cov

u,

X

j

0,

j

1,

2,1516注：在上例1-3中，零值條件期望假定可以表述為：E(u|edu,exper)=

0=〉Cov(u,edu)=0,Cov(u,exper)=0,E(u|師資,心理,方法,家庭教育,早戀)=0=〉Cov(u,師資)=0,…Cov(u,早戀)=0,E(u|inc,inc2)=

E(u|inc)=0=〉Cov(u,inc)=0多元回歸的零值條件期望假定模型的假定假定2

隨機誤差Var

ui

Ei方差，即：假定3

隨機誤差項不相關(guān)，即：Cov

ui

,

u

j

i17假定4

解釋變量之間不存在完全的線性關(guān)系，即不存在下式所表達的關(guān)系：0

1

X1

2X

2

1

Xk

0當(dāng)解釋變量之間存在完全多重共線性或完全線性相關(guān)時，無法獲得所有參數(shù)的唯一估計值，也不能對參數(shù)進行假設(shè)檢驗?zāi)Ｐ偷募俣?8自變量完全線性相關(guān)的例子：競選支出對競選結(jié)果的影響假定每次 都有兩位候選人，令voteA為候選人A的得票率，expendA為候選人A的競選支出，expendB為候選人B的競選支出，令totexpend為競選總支出，設(shè)定模型如下：voteA

0

1expendA

2expendB

3totexpend

utotexpend

expendA

expendB19201voteA

0

0

1expendA

2expe

0

(1

3

)expendA

(2

3

)expendB

uvo?teA(1.4261)(0.01

3

0.038332

3

0.03613假定5

隨機誤差項服從正態(tài)分布，即：模型的假定201

1i2

2iiu

~

N

0,

2

iY

~

N

(k

ki

X

X

X

,

)21222.

最小二乘法(1)多元線性回歸模型的參數(shù)估計設(shè)多元樣本回歸模型iYi

?

?

X

?

X

?

X

u?0

1

1i

2

2i

k

kik目標(biāo)：估計

?

,

?

,

?

,

,

?0

1

2當(dāng)多元回歸模型滿足經(jīng)典假設(shè)時，使用OLS方法進行估計23構(gòu)造一個函數(shù)，使殘差平方和最小

2222

2i???

?

Xi

iQ(?

,

?

,

,

)

k

ki

?

Xu

Y

Y0

1

k

i

Yi

?

?

X0

1

1i24滿足下列線性代數(shù)方程組2i

2i02i

2i

?

X

)(

X

)

0ki

ki

1i1?

?

X??

?

X?Y

?

X

?

X

i

0

1

1i

2i

2i

?

X

)(

X

)

0ki

ki

ki＝2

（i?Q

0,即：i0

1

1iY

?

Xki

ki

?

X

)(1)

0i0

1

1iY

?

Xk?QQQ?

＝2

（＝2

（K+1個一階條件252011i22i

1i20

?

X

X1

1i

2i22i

ki???1i

?

X

?

XX

?

Xk ki

X1i

X1iYikin?

kki

?

XX

?

Xki

iX

X

X

YX

Y0 1

1i

2

2ik

ki

i?

X?

X26001i01

1i2i

2i0????????u

X

0

i

1i)(

X

)

0

?1

1i2i

2i

?

X

?

X???1

1i2i

2iki

ki1

1i2i

2iki

kiiu

0i

?

ki

kiki

i

kiki

kiX

X

)

0

X

?

?

X

XX

X

?

X)(

X

)

0

u?

X

0（Yi（Yi（Y

(Yi

Y?

)

0

Y

Y?ii

0

1

1i

2

2i2

2???0

1

1i

2i

2i

ki

ki

?

X

X

)

0

X

X

X

)

0

?

X

Y

?

?

X0

1

1kkik

k

?

Xn?

X

)

0（Yi（Yi

1

(Y

n?

?

X

－?

X

－27OLS的代數(shù)性質(zhì)28例：需求量與價格和收入之間的關(guān)系需求量Y（公斤）價格X1

（元）收入X2（元）Y158X119X2156Y248X128X2253Y363X137X2360Y468X146X2470Y573X157X2578Y698X165X2684Y798X174X2791Y878X186X2882Y9108X193X29100Y1088X1105X210120SourceSSdfMSNumberofobs=10F(

2,7)=26.45Model3046.8187321523.40936Prob

>F=0.0005Residual403.181273757.5973246R-squared=0.8831Adj

R-squared=0.8497Total34509383.333333Root

MSE=7.5893yCoef.Std.Err.tP>|t|[95%Conf.Interval]price-8.3553422.290749-3.650.008-13.7721-2.938581inc.180072.19972740.900.397-.2922082.6523522_cons113.834328.165574.040.00547.23333180.4353.29reg

y

price

inc(28.17)

(2.29)

(0.20)iY?

113.8343

8.3553

price

0.18incypriceinc406080100406080100051005106080100120608010012031lwageCoef.Std.

Err.tP>|t|[95%

Conf.Interval]educ.0979356.007622412.850.000.0829613.1129099exper.0103469.00155516.650.000.0072919.013402_cons.2168544.1085952.000.046.0035183.4301904SourceSSdfMSNumber

of

obs=526F(

2,

523)=86.86Model36.9850396218.4925198Prob

>

F=0.0000Residual111.344712523.212896199R-squared=0.2493Adj

R-squared=0.2465Total148.329751525.28253286Root

MSE=.46141.

reg

lwage

educexperlwa?ge

0.2169

0.0979educ

0.0103exper(0.1086)

(0.0076)

(0.0016)log(wage)yearsofeducationyearspotentialexperience02402401020010200204060020406033(2)

如何解釋多元回歸模型解釋多元回歸模型其他因素不變估計一個兩自變量回歸方程，得到：值(predicted

value),或擬合值(fitted

value).對上式進行差分：Y?

?

X1

1

2Y?

?

?

X

?

X0

1

1

2

2?

是當(dāng)X1=0,X2=0時，Y的(平均值)0?

,?

則可以解釋為局部效應(yīng)(partial

effect),或其1

2他因素不變效應(yīng)(ceteris

paribus)34352

21可解釋為：當(dāng)X

保持不變，即ΔX=0時，X

變化所引起的Y的變化。Y?

1相應(yīng)地，可解釋為：當(dāng)X1保持不變，即ΔX1=0時，X2變化所引起的Y的變化。Y?

21?2?36對于所估計的一個多元回歸函數(shù)：此時：111單位，所引起的Y的(平均值)的變化數(shù)量。故，?

解釋為在其他解釋因素不變的情況下，X

變化應(yīng)1

1

2

2Y?

?

X

保持X2…Xk不變，意味著：X

2

0,.2

2Y?

?

?

X

0

1

1進行差分，得到：Y?

1i每一個?均可解釋為局部效應(yīng)，或其他自變量不變效37例：教育對工資的影響估計教育-經(jīng)驗-工資方程，得到：wa?ge

?

?

educ

?

exper0

1

2差分得到：wa?ge

?

edu1

2?

衡量的就是，在工作經(jīng)驗exper不變的情況下，1教育每增加1年，工資增加多少元；

?2

衡量的是，在教育水平educ不變的情況下，工作經(jīng)驗每增加1年，工資增加多少元；例：教育對工資的影響也可以 兩個變量同時變化時對因變量的影響：lnwa?ge

0.284

0.092educ

0.0041exper

0.022tenure保持educ不變，工作經(jīng)歷和任現(xiàn)職時間都增長一年對工資的總影響是：lnwa?ge

0.0041exper

0.022tenure

0.0041

0.022

0.0261即：保持educ不變，工作經(jīng)歷和任現(xiàn)職時間都增長一年，工資增長2.61%。3839對多元回歸“保持其他因素不變”的解釋A.多元回歸的系數(shù)lwageCoef.Std.

Err.tP>|t|[95%Conf.Interval]educ.0979356.007622412.850.000.0829613.1129099exper.0103469.00155516.650.000.0072919.013402_cons.2168544.1085952.000.046.0035183.4301904SourceSSdfMSNumberof

obs=526F(

2,523)=86.86Model36.9850396218.4925198Prob

>F=0.0000Residual111.344712523.212896199R-squared=0.2493Adj

R-squared=0.2465Total148.329751525.28253286Root

MSE=.46141.40reg

lwage

educ

experlwa?ge

0.2168544

0.0979356educ

0.0103469exper41B.

剔除其他變量的影響后簡單回歸的系數(shù)(1)剔除工作經(jīng)驗exper對教育educ的影響.

predict

educ_e,reducCoef.Std.

Err.tP>|t|[95%

Conf.Interval]exper-.0611132.0085035-7.190.000-.0778184-.044408_cons13.60271.185024273.520.00013.2392313.96619R-squared=0.0897Adj

R-squared=0.0880Root

MSE=2.6444SourceSSdfMSModel361.1829511361.182951Residual3664.246715246.99283723Total4025.429665257.66748506Numberof

obs=526F(

1,Prob

>524)F==51.650.0000.

reg

educ

exper42殘差educ_e是educ與exper不相關(guān)的部分殘差educ_e是educ排除了exper的影響之后的部分(2)用lwage回歸教育殘差educ_eB.

剔除其他變量的影響后簡單回歸的系數(shù)lwageCoef.Std.

Err.tP>|t|[95%

Conf.

Interval]educ_e.0979356.007677812.760.000.0828526

.1130186_cons1.623268.020264580.100.0001.583459

1.663078SourceModelSS

df

MS35.1451699

1

35.1451699Number

of

obs

=

526F(

1, 524)

=

162.71Prob

>

F

=

0.0000Residual113.184582524.21600111R-squared=0.2369Adj

R-squared=0.2355Total148.329751525.28253286Root

MSE=.46476.

reg

lwage

educ_e4344上述過程表明：將Y同時對X1和X2回歸得出的X1的影響，與先將X1對X2回歸得到殘差r?1

，再將Y對此殘差r?1

回歸,得到的X1的影響相同。同時說明，在多元回歸模型中，X1的系數(shù)衡量的是，X1中與其他自變量不相關(guān)的部分，對Y的影響。即，在多元回歸模型中，所估計的是，在其他自變量對于X1的影響“被剔除”后，X1對Y的影響。45對于估計的樣本回歸線Y?

?

?

X

?

X0

1

1

2

2可以表示為：是X1對X2進行回歸所得到的殘差。1?r?1ir?

21??n

nir

Y

)

/i1

1i

i1

1i

(

46對于一個含有k個解釋變量的一般模型，得到：是X1對X2…,Xk進行回歸所得到的殘差。因此，2k度量的是，在排除X

…,X

等變量對于X1的影響之后，X1對Y的影響。r11?1??1i

iri1

i

(2

2Y?

?

?

X

0

1

1仍然可以寫成下面形式:證明：(1)

Y?

?

?

X

?

Xi

0

1

1i

2

2i(2)

X?1i

a?0

a?2

X

2i

r?1i

)u?i

X?1iu?i

r?1iu?i

r?i1u?i

0????

a?k

Xkir?1i

X1iX1i

X?1i

X?1i

r?1i

X1iu?i

(

X?1ik

kii

i

0

1

1i2

2ik

ki

?

X(a)

u?i

Yi

Y

Y

?

X

X

X212??

???1i

i1

1i)

0?

?(3)(4)(5)????(6)?2

2ik

ki1

1i1i

ir(Y

Xr

Yr

?

X

X

X

)

(

Xr

Y

r

0

r?1i

(Yi

0

1

1i

r?1i

[Yi

1

1i

r?1i

)]

r?i1

(Yi

?

r?

)

0?

1i

i

1

1i

1i147?i1?1i

i

(ir簡單回歸和多元回歸估計值的比較Y

0

1

X1Y?

?

?

X

?

X0

1

1

2

2通常1

?1148在兩個特殊情況下，Y對X1的一元回歸所得到的回歸估計值1，等于Y對X1和X2做OLS回歸所得到的X1的偏回歸估計值?2、樣本中X1與X2不相關(guān)21、樣本中X2對Y的局部效應(yīng)為零，即?

0例：通常母親所在單位所有制性質(zhì)不會影響

的工資水平，也不影響

的受教育水平X2對X1和Y的相關(guān)性都很小的情況下，一元回歸和多元回歸估計值會很接近：.

corr

eduyear(obs=3106)muniteduyearmuniteduyear1.0000munit-0.07571.0000munitlninc1.00000.0280

1.0000munitlninc49lnincCoef.Std.Err.tP>|t|[95%

Conf.Interval]eduyear.1280644.003958432.350.000.1203029.1358258_cons5.635275.0329592170.980.0005.5706515.699899SourceSSdfMSNumberof

obs=3106F(

1,3104)=1046.66Model802.7514771802.751477Prob

>F=0.0000Residual2380.649443104.766961805R-squared=0.2522Adj

R-squared=0.2519Total3183.4009231051.02524989Root

MSE=.87576.

reg

lninc

eduyear50lni?nc

5.635

0.12806eduyeareduyear.1293464.003958832.670.000.1215843.1371086munit.0028149.0006584.280.000.0015248.004105_cons5.537031.0400951138.100.0005.4584165.615647R-squared=0.2566Adj

R-squared=0.2561Root

MSE=.87333SourceSSdfMSModel816.7115392408.355769Residual2366.689383103.762710081Total3183.4009231051.02524989Numberof

obs=3106F(

2,Prob

>3103)F==535.400.0000lninc

Coef. Std.

Err.

t

P>|t| [95%

Conf.Interval]lni?nc

5.635

0.1293eduyear

0.0028munit51lnincfamily~peduyearlninc1.0000familypop-0.01621.00000.3654eduyear0.5025-0.05541.00000.00000.0020.

pwcorr

lnincfamilypoplnincfamilypopeduyear521.0000-0.0162

1.00000.5025 -0.0554

1.0000eduyear,

sigeduyear.

pwcorr

lninc

familypop

eduyearlninc

family~p例：家庭規(guī)模對個人的工資收入和受教育年限影響都較小53lnincCoef.Std.

Err.tP>|t|[95%

Conf.Interval]eduyear.1282791.003962132.380.000.1205105.1360477familypop.0031989.0042720.75

0.454-.0051772.0115751_cons5.621368.0375007149.900.0005.5478395.694897SourceSSdfMSModel804.6913392402.345669Residual2380.332823104.7668598Total3185.0241631061.02544242Numberof

obs=3107F(

2,3104)=524.67Prob

>F=0.0000R-squared=0.2526Adj

R-squared=0.2522Root

MSE=.87571.

reg

lninc

eduyearfamilypoplnincCoef.Std.

Err.tP>|t|[95%

Conf.Interval]eduyear.1281147.003955732.390.000.1203586.1358708_cons5.634798.0329314171.110.0005.5702295.699368SourceSSdfMSModel804.2613341804.261334Residual2380.762823105.766751312Total3185.0241631061.02544242Numberof

obs=3107F(

1,3105)=1048.92Prob

>F=0.0000R-squared=0.2525Adj

R-squared=0.2523Root

MSE=.87564.

reg

lninc

eduyear如：父親的受教育水平會影響

的受教育水平，但通常不會影響 的收入水平1.0000eduyearfedu1.00000.4732eduyearfedu.

pwcorr

eduyear

fedu另外一種情況，雖然X1與X2線性相關(guān)，但X2對Y的影響很小，此時一元的回歸系數(shù)與多元的回歸系數(shù)相差不會很大。5455lnincCoef.Std.

Err.tP>|t|[95%

Conf.

Interval]eduyear.1274798.004075431.280.000.1194889

.1354707_cons5.642552.0340419165.750.0005.575804

5.709301R-squared=0.2512Adj

R-squared=0.2510Root

MSE=.8687SourceSSdfMSModel738.386691738.38669Residual2200.517072916.754635485Total2938.9037629171.007509Numberof

obs=2918F(

1,Prob

>2916)F==978.470.0000.

reg

lninc

eduyearlni?nc

5.64

0.1275eduyearlnincCoef.Std.

Err.tP>|t|[95%Conf.Interval]eduyear.1209458.004619926.180.000.1118872.1300044fedu.0269397.00901412.990.003.0092652.0446143_cons5.60681.0360379155.580.0005.5361485.677472SourceSSdfMSNumberof

obs=2918F(

2,2915)=495.03Model745.1087622372.554381Prob

>F=0.0000Residual2193.7952915.752588337R-squared=0.2535Adj

R-squared=0.2530Total2938.9037629171.007509Root

MSE=.86752.

reg

lninc

eduyear

fedu56lni?nc

5.61

0.1209eduyear

0.027

fedulni?nc

5.64

0.1275eduyear樣本中X1與X2相關(guān)程度和相關(guān)方向，決定了一元和多元回歸中1的回歸估計值的偏差程度和方向第三種情況：X2既影響X1，也影響Y，此時一元和多元回歸的估計值會出現(xiàn)較大偏差，偏差程度視其相關(guān)程度而定。57lwa?ge

5.97

0.0598educ58lwa?ge

5.658

0.0391educ

0.00586IQlwa?ge

5.97

0.0598educ591.000060educexper1.0000-0.4556educexper.

corr

educ

exper(obs=935)lwageCoef.Std.

Err.tP>|t|[95%

Conf.

Interval]educ.077782.006576911.830.000.0648748

.0906892exper.0197768.00330255.990.000.0132956

.026258_cons5.50271.11203749.120.0005.282836

5.722584SourceSSdfMSNumberof

obs=935F(

2,932)=70.16Model21.6776613210.8388306Prob

>F=0.0000Residual143.978622932.1544835R-squared=0.1309Adj

R-squared=0.1290Total165.656283934.177362188Root

MSE=.39304.

reg

lwage

edu

exper61lwa?ge

5.503

0.07778educ

0.01978experlwa?ge

5.97

0.0598educ簡單回歸和多元回歸估計值比較用同一個樣本：估計一個最簡單的線性回歸模型，得到：估計一個最簡單的多元線性回歸模型，得到：是x2對x1進行簡單回歸所得到的斜率系數(shù)估計值。證明上式1Y

00

1

1

2

2Y?

?

?

X

?

X存在一個簡單關(guān)系：~

?

?

~1

1

2

212162簡單回歸和多元回歸估計值比較Yi

0

1

X1iY?

?

?

X

?

Xi

0

1

1i

2

2i11

01?0?

??

??1

1i2

2i1i

u?i

)

X

)(

?(

X

X

)

(3)

i

ii

0

1

1i

2

2i

i1i1i

11i

1(03)

Y

Y

u?

?

X

?

X

u?(1)

X

X(2)

(

X1i(

X

X

)2(

X

X1

)(Yi

Y

)

(

X1i

X1

)Yi(

X

X

)2(

X

X

)21i

1

1211i1?

?212

?