多元回歸分析估計ppt課件

1、多元回歸分析：估計（1） Multiple Regression Analysis: Estimation(1)y = b0 + b1x1 + b2x2 + . . . bkxk + u1本章大綱n使用多元回歸的動因n普通最小二乘法的操作和解釋n估計量的期望值nOLS估計量的方差nOLS的有效性：高斯馬爾可夫定理2課堂大綱n使用多元回歸的動因 n普通最小二乘法的操作和解釋n假定MLR.1 MLR.4 nOLS估計值的無偏性3動因：優(yōu)點n經(jīng)驗研究中使用簡單回歸模型的主要缺陷是：它很難得到在其它條件不變的情況下，x對y的影響。n多元回歸分析更適合于其它條件不變情況下的分析，因為多元回歸分析允許我們

2、明確地控制其它許多也同時影響因變量的因素。n多元回歸模型能容納很多可能相關(guān)的解釋變量，所以在簡單回歸分析可能誤導的情況下，可以寄希望于多元回歸模型來推斷因果關(guān)系。4動因：優(yōu)點n在實證工作中使用簡單回歸模型的主要缺陷是：要得到在其它條件不變的情況下， x對y的影響非常困難。n在其它條件不變情況假定下我們估計出的x對y的影響值是否可信依賴，完全取決于條件均值零值假設(shè)是否現(xiàn)實。n如果影響y的其它因素與x不相關(guān)，則改變x可以保證u不變，從而x對y的影響可以被識別出來。5動因：優(yōu)點n可以解釋更多的因變量變動。n它可以表現(xiàn)更一般的函數(shù)形式。n多元回歸模型是實證分析中最廣泛使用的工具。6動因：一個例子n考慮

3、一個簡單版本的解釋教育對小時工資影響的工資方程。 exper：在勞動力市場上的經(jīng)歷，用年衡量n在這個例子中，“在勞動力市場上的經(jīng)歷”被明確地從誤差項中提出。012expwageeducerubbb7動因：一個例子n考慮一個模型：家庭消費是家庭收入的二次方程。 Cons = b0 + b1 inc+b2 inc2 +un現(xiàn)在，邊際消費傾向可以近似為MPC= b1 +2b2 8含有k個自變量的模型n一般的多元線性回歸模型可以寫為01 122kkyxxxubbbb9類似于簡單回歸模型nb0仍是截距nb1到bk都稱為斜率參數(shù)nu仍是誤差項（或干擾項）n仍需作零條件期望的假設(shè)，所以現(xiàn)在假設(shè) E(u|x1

4、,x2, ,xk) = 0n仍然最小化殘差平方和，所以得到k+1個一階條件10如何得到OLS估計值n普通最小二乘法選擇能最小化殘差平方和的估計值，2122110minniikkiiixxxybbbb11如何得到OLS估計值niikkiiixxxy1221100bbbbniikkiiiixxxyx12211010bbbbniikkiiiixxxyx12211020bbbbniikkiiiikxxxyx1221100bbbbk+1個一階條件：12n在估計之后，我們得到OLS回歸線，或稱為樣本回歸方程（SRF）n得到OLS回歸式之后，對每次觀測都得到一個擬合值或預測值，對觀測點i，其擬合值就是n第i

5、個觀測的殘差為：ikkiixxybbb.110如何得到OLS估計值ikkiiixxxybbbb22110iiiyyu13OLS擬合值和殘差的性質(zhì)n殘差項的均值為零n每個自變量和OLS協(xié)殘差之間的樣本協(xié)方差為零。n點 總位于OLS回歸線上。12( , )kx xxykkixxxybbbb221100 iu00iikiyuxu14對多元回歸的解釋n由可知n所以，保持 不變意味著： 即，每一個j都有一個偏效應(yīng)(partial effect)，或其他情況不變(ceteris paribus)的解釋。kxx ,., 2kkxxxybbbb.2211011xybkkxxxybbb.221115例子：大學G

6、PA的決定因素n兩個解釋變量的回歸 pcolGPA:大學成績預測值hsGPA : 高中成績績 ACT :成績測驗分數(shù)(achievement test score)pcolGPA = 1.29 + 0.453hsGPA+0.0094ACTn一個解釋變量的回歸pcolGPA = 2.4 +0.0271ACTnACT的系數(shù)大三倍。n如果這兩個回歸都是對的，它們可以被認為是兩個不同實驗的結(jié)果。16“保持其它因素不變”的含義n多元回歸分析的優(yōu)勢在于它使我們能在非實驗環(huán)境中去做自然科學家在受控實驗中所能做的事情：保持其它因素不變。17對“排除其它變量影響”的解釋n考慮回歸線n 的一種表達式為：n 是由以

7、下回歸得出的殘差：1b22110 xxyibbb1ir211111()/nniiiiir yrb12201irxx18“排除其它變量影響”（續(xù)）n上述方程意味著：將y同時對x1和x2回歸得出的x1的影響與先將x1對x2回歸得到殘差，再將y對此殘差回歸得到的x1的影響相同。n 這意味著只有x1中與x2不相關(guān)的部分與y有關(guān)，所以在x2被“排除影響”之后，我們再估計x1對y的影響。19“排除其它變量影響”（一般情況）n在一個含有k個解釋變量的一般模型中， 仍然可以寫成 但殘差 來自x1對x2 , xk的回歸。n于是 度量的是，在排除x2 , xk等變量的影響之后， x1對y的影響。1b1b21111

8、1()/nniiiiir yrb1r20比較簡單回歸和多元回歸估計值n比較簡單回歸模型和多元回歸模型n一般來說， ，除非： 或 樣本中x1和x2不相關(guān)。110 xybb22110 xxybbb 11bb 02b21比較簡單回歸和多元回歸估計值n這是因為存在一個簡單的關(guān)系n這里， 是x2對x1的簡單回歸得到的斜率系數(shù)。1211bbb1221212112211212112221111121111122211122110)()()()()()()()( ),()( bbbbbbbbbbbbxxxxxxxxxxxxxxxxyyxxxxxxyyuxxy由此得，所以因為23簡單回歸和多元回歸估計值的比較1

9、1, 0,1,., 0,1,.,1.jjkjkk-jjjkjjkjkxxx ,.,xx 令為用全部解釋變量回歸的OLS估計量。令 為用除 外的解釋變量回歸的OLS估計量。令 為 向回歸中 的斜率系數(shù)。那么24簡單回歸和多元回歸估計值的比較n在k個自變量的情況下，簡單回歸和多元回歸只有在以下條件下才能得到對x1相同的估計（1）對從x2到xk的OLS系數(shù)都為零（2） x1與x2 , xk中的每一個都不相關(guān)。25擬合優(yōu)度n每一個觀察值可被視為由解釋部分和未解釋部分構(gòu)成：n定義：nSST= SSE + SSR總平方和SSTsquares of sum total 2 yyi解釋平方和SSEsquare

10、s of sum explained 2yyi殘差平方和 SSRsquares of sum residual2iu26擬合優(yōu)度（續(xù)）我們怎樣衡量我們的樣本回歸線擬合樣本數(shù)據(jù)有多好呢？可以計算總平方和（SST）中被模型解釋的部分，稱此為回歸R2w R2 = SSE/SST = 1 SSR/SST27擬合優(yōu)度（續(xù)）我們也可以認為R2等于實際的yi與估計的 之間相關(guān)系數(shù)的平方iy 2222yyyyyyyyRiiii28更多關(guān)于R2n當回歸中加入另外的解釋變量時，R2通常會上升。n例外：如果這個新解釋變量與原有的解釋變量完全共線，那么OLS不能使用。n此代數(shù)事實成立，因為當模型加入更多回歸元時，殘差

11、平方和絕不會增加。29更多關(guān)于R2n考慮從一個解釋變量開始，然后加入第二個。nOLS性質(zhì)：最小化殘差平方和。n如果OLS恰好使第二個解釋變量系數(shù)取零，那么不管回歸是否加入此解釋變量，SSR相同。n如果OLS使此解釋變量取任何非零系數(shù)，那么加入此變量之后，SSR降低了。n實際操作中，被估計系數(shù)精確取零是極其罕見的，所以，當加入一個新解釋變量后，一般來說，SSR會降低。30OLS估計量的期望值n我們現(xiàn)在轉(zhuǎn)向OLS的統(tǒng)計特性，而我們知道OLS是估計潛在的總體模型參數(shù)的。n統(tǒng)計性質(zhì)是估計量在隨機抽樣不斷重復時的性質(zhì)。我們并不關(guān)心在某一特定樣本中估計量如何。 31假定 MLR.1（線性于參數(shù)）n總體模型

12、可寫成y= b0+ b1x1+ b2x2+ +bkxk+u其中， b1, b2 , bk 是我們所關(guān)心的未知參數(shù)(常數(shù))，而u則是無法觀測的隨機誤差或隨機干擾。n上述方程規(guī)范地表述了總體模型或真實模型。由于因變量y與自變量都可以為任意函數(shù)，所以上式是靈活多變的。32假定 MLR.2（隨機抽樣性）n我們有一個包含n次觀測的隨機樣本 (xi1, xi2, xik; yi): i=1,n，它來自假定MLR。1中的總體模型。n有時我們將模型寫為 yi= b0+ b1xi1+ b2xi2+ +bkxik+uin其中，i 表示觀測次數(shù)，j=1,k代表第j個回歸元(變量序號)33假定MLR.3 （不存在完全

13、共線性）n在樣本(因而在總體)中，沒有一個自變量是常數(shù)，自變量之間也不存在嚴格的線性關(guān)系。n如果方程中一個自變量是其它自變量的一個線性組合時，我們說此模型遇到完全共線性(perfect collinearity)問題，此時不能用OLS估計參數(shù)。34假定MLR.3 n完全共線性的例子：y= b0+ b1x1+ b2x2+ b3x3+u， x2 = 3x3y= b0+ b1log(inc)+ b2log(inc2 )+uy= b0+ b1x1+ b2x2+ b3x3+ b4x4+u，x1 +x2 +x3+ x4 =1n當y= b0+ b1x1+ b2x2+ b3x3+u , n 0Corr(x1,

14、 x2) 0偏誤為正偏誤為負b2 0偏誤為負偏誤為正50遺漏變量偏誤n但是，通常我們不能觀測到b2 ，而且，當一個重要變量被缺省時，主要原因也是因為該變量無法觀測，換句話說，我們無法準確知道Corr(x1, x2)的符號。怎么辦呢？n我們將依靠經(jīng)濟理論和直覺來幫助我們對相應(yīng)符號做出較好的估計。51例3.6：小時工資方程n假定模型 log(wage) = b0+b1educ + b2abil +u，在估計時遺漏了abil。 b1的偏誤方向如何？n因為一般來說ability對y有正的局部效應(yīng)，并且ability和education years正相關(guān)，所以我們預期b1上偏。526n 20.186R

15、educwage083. 0584. 0)(log52更一般的情形n從技術(shù)上講，要推出多元回歸下缺省一個變量時各個變量的偏誤方向更加困難。n注意：注意：若有一個對y有局部效應(yīng)的變量被缺省，且該變量至少和一個解釋變量相關(guān)，那么所有所有系數(shù)的OLS估計量都有偏。53更一般的情形n假設(shè)總體模型 滿足假定MLR.1MLR.4。但我們遺漏了變量x3，并估計了模型 假設(shè)X2和X3無關(guān)， X1和X3相關(guān)。 是1的一個有偏估計量，但 是否有偏？uxxxy3322110bbbbuxxy22110bbb1b2b54更一般的情形n此時，我們通常假設(shè)X1和X2無關(guān)。n當X1和X2無關(guān)時，可以證明：niiniiixxx

16、xxE12111311311bbb55更一般的情形0112233model10112233model2011221323221(,)0,(,)0trueyxxxuyxxxyxxcorr xxcorr xxbbbbbbbbbbbbbb若。很容易想到是的一個有偏估計量。而是有偏的嗎？56更一般的情形312301 122113122321213111,. 000 xxxxxxcorr(x ,x )corr(x ,x )bbb bbb bb的確。這是因為如果我們將 向 和 回歸，我們有如下關(guān)系成立：當，即使，也有。因此，是 的一個有偏估計量。57OLS估計量的方差現(xiàn)在我們知道估計值的樣本分布是以真實參

17、數(shù)為中心的。我們還想知道這一分布的分散狀況。在一個新增假設(shè)下，度量這個方差就容易多了：58假定MLR.5（同方差性）(Homoskedasticity)同方差性假定：Var(u|x1, x2, xk) = s2 .意思是，不管解釋變量出現(xiàn)怎樣的組合，誤差項u的條件方差都是一樣的。如果這個假定不成立，我們說模型存在異方差性。59OLS估計量的方差（續(xù)）n用x表示(x1, x2,xk)n假定Var(u|x) = s2，也就意味著Var(y| x) = s2n假定MLR.1-5共同被稱為高斯馬爾可夫假定高斯馬爾可夫假定(Gauss-Markov assumptions) 60定理 3.2（OLS斜率

18、估計量的抽樣方差）n給定高斯-馬爾可夫假定 222221RxxRxxSSTRSSTVarjjjijjjjj回歸所得到的向所有其它是其中，sb61對定理3.2的解釋n定理3.2顯示：估計斜率系數(shù)的方差受到三個因素的影響：n誤差項的方差n總的樣本變異n解釋變量之間的線性相關(guān)關(guān)系62對定理3.2的解釋（1）：誤差項方差n更大的s2意味著更大的OLS估計量方差。n更大的s2意味著方程中的“噪音”越多。n這使得得到自變量對因變量的準確局部效應(yīng)變得更加困難。n引入更多的解釋變量可以減小方差。但這樣做不僅不一定可能，而且也不一定總令人滿意。ns2 不依賴于樣本大小63對定理3.2的解釋（2）：總的樣本變異n

19、更大的SSTj意味著更小的估計量方差，反之亦然。n其它條件不變情況下， x的樣本方差越大越好。n增加樣本方差的一種方法是增加樣本容量。n參數(shù)方差的這一組成部分依賴于樣本容量。64對定理3.2的解釋（3）：多重共線性n更大的Rj2意味著更大的估計量方差。n如果Rj2較大，就說明其它解釋變量解釋可以解釋較大部分的該變量。n當Rj2非常接近1時， xj與其它解釋變量高度相關(guān)，被稱為多重共線性。n嚴重的多重共線性意味著被估計參數(shù)的方差將非常大。65對定理3.2的解釋（3）：多重共線性（續(xù)）n多重共線性是一個數(shù)據(jù)問題n可以通過適當?shù)牡厣釛壞承┳兞浚蚴占鄶?shù)據(jù)等方法來降低。n注意：雖然某些自變量之間可

20、能高度相關(guān)，但與模型中其它參數(shù)的估計程度無關(guān)。66總結(jié)本堂課重要的幾點：n高斯馬爾科夫假定n模型過度設(shè)定和設(shè)定不足的后果n遺漏變量偏差是什么n被估計參數(shù)方差的三個組成部分是什么，以及它們?nèi)绾斡绊懕还烙媴?shù)方差的大小。67多元回歸分析：估計（3）Multiple Regression Analysis: Estimation (3)y = b0 + b1x1 + b2x2 + . . . bkxk + u68本章大綱n使用多元回歸的動因n普通最小二乘法的操作和解釋nOLS估計量的期望nOLS估計量的方差nOLS的有效性：高斯馬爾可夫定理69課堂大綱n誤設(shè)模型中偏誤和方差間的替代關(guān)系n估計誤差項方

21、差n高斯馬爾可夫定理70誤設(shè)模型中的方差n在考慮一個回歸模型中是否該包括一個特定變量的決策中，偏誤和方差之間的消長關(guān)系是重要的。n假定真實模型是 y = b0 + b1x1 + b2x2 +u， 我們有211211)(RSSTVarsb71誤設(shè)模型中的方差n考慮誤設(shè)模型是估計的方差是n 當x1和x2不相關(guān)時 否則 ,110 xybb 121SSTVarsb )(11bbVarVar )(11bbVarVar72舍棄x2的后果R12=0R120b2=0兩個對b1的估計都是無偏的，方差相同兩個對b1的估計量都是無偏的，舍棄x2使得方差更小b20舍棄x2導致對b1的估計量有偏，但方差和從完整模型得到

22、的估計相同舍棄x2導致對b1的估計量有偏，但其方差變小73誤設(shè)模型中的方差n如果 ，一些計量經(jīng)濟學家建議，將因漏掉x2而導致的偏誤的可能大小與方差的降低相比較以決定漏掉該變量是否重要。n現(xiàn)在，我們更喜歡包含x2 ，因為隨著樣本容量的擴大， 增加x2導致的多重共線性變得不那么重要，但舍棄x2導致的遺漏變量誤偏卻不一定有任何變化模式。20b74不同情形下估計量的期望和方差估計量期望估計量方差估計量期望估計量方差估計量期望估計量方差模型設(shè)定不足時模型過度設(shè)定時模型設(shè)定正確時75估計誤差項方差我們希望構(gòu)造一個s2 的無偏估計量如果我們知道 u，通過計算 u 2的樣本平均可以構(gòu)造一個s2的無偏估計量我們

23、觀察不到誤差項 ui ，所以我們不知道誤差項方差s2。76估計誤差項方差我們能觀察到的是殘差項i 。我們可以用殘差項構(gòu)造一個誤差項方差的估計n df = n (k + 1), or df = n k 1n df (自由度，degrees of freedom)df=觀察點個數(shù)被估參數(shù)個數(shù)dfSSRknui122s77估計誤差項方差n上式中除以n-k-1是因為殘差平方和的期望值是(n-k-1)s2. n為什么自由度是n-k-1 n因為推導OLS估計時，加入了k+1個限制條件。也就是說，給定n-k-1個殘差，剩余的k+1個殘差是知道的，因此自由度是n-k-1 。78n定理3.3（ s2的無偏估計）在高斯馬爾可夫假定 MLR.1-5下，我們有n定義術(shù)語： s2 正的平方根稱為