第七章 多元線性回歸模型

第七章多元線性回歸模型多元回歸模型旨在探求下列問題：如何估計多元回歸模型？多元回歸模型的估計過程與雙變量模型有何不同?對多元回歸模型的假設過程與雙變量模型有何不同？多元回歸有沒有一些在雙變量模型中未曾遇到過的特性7.1多元線性回歸模型Y=B+BX+BX+...+BX+u'?=E（y/X2ixX3）+ukki '?（7-1）i2i,3i,...kii可以具體表示為：Y=B+BX+BX+...+BX+uY2=B.+B22X212+B33X3312...+BXk；+u2Yp+Yp+B2X2n+BX3n+...+BXkn+如果令ry}y2...ry}y2...,p=邛）p2...,X=.Y‘pnkr1X21...X31x22... x：.........X2nX%Xkn\rp1.,K27...KVn7則多元回歸模型可以用矩陣表示為Y—X'+u(為什么 放到后面，回憶線性代數(shù)的知識。)與一元回歸模型情形相同，多元回歸分析也是條件回歸分析，是在給定解釋變量的值的條件下，得到Y(jié)的均值E(Yi)。E(Y.)式表明任何一個Y值可以表示成為兩部分之和：系統(tǒng)成分或決定成分(1+ 22^33i+?.?+ kki)，也就是Y.的均值E(Yi)0非系統(tǒng)成分ui，是由除X2、X3...、Xk以外因素決定的。B2、B3、....、Bk稱為偏回歸系數(shù)。B2度量了在X3、X4...Xk保持不變的情況下，X2每變動一單位，Y的均值E(Y)的改變量。B3度量了在X2、X4…Xk_保持不變的情況下，X3每變動一單位，Y的均值E(Y)的改變量。多元回歸的特殊性質(zhì)：在一元回歸模型情形下，由于僅有一個解釋變量，無須擔心模型中出現(xiàn)其他變量。在多元回歸中，要知道Y平均值的變動有多大比例“直接”來源于X2的變動，多大比例“直接”來源于X3...Xk的變動。一個簡單的例子：E(Yi)=15-1.2X2.+0.8X3i令X3取值為10(若取其他常數(shù)也一樣)，代入上式，得E(Yi)=15-1.2X2i+0.8(10)=(15+8)-1.2X2i=23-1.2X,2i這里斜率B2=-1.2表示當X3為常數(shù)時，X2每增加一個單位，Y的平均值將減少1.2個單位。同樣地，如果X2為常數(shù)(比如X2=5)，得到E(Yi)=15-1.2(5)+0.8X3i=9+0.8X,.3i這里斜率B3=0.8，表示當X2為常量時，X3每增加1個單位，Y的平均值將增加0.8個單位。7.2多元回歸參數(shù)的估計(以二元為例)7.2.1二元普通最小二乘估計量(7-4)Y=出與+回歸模型(7半相戒的樣本回歸模型. 1 22i33ii(7-4)i其中，e為殘差項，簡稱殘差，b是總體回歸方程系數(shù)B的估計量。b1=B1的估計量；b2=B2的估計量；b3=B3的估計量樣本數(shù)學方程：^1+吼+b3X3i (7-5)第5章中已解釋過，OLS原則是選擇未知參數(shù)值使得殘差平方和(RSS)盡可能小。首先場型鄧重/bX+bX)ii1 22i33i (7-6)同時將兩邊平方再求和，得

RSS=!ei2=!(YiRSS=!ei2=!(Yi-Yi)2=!(Yi-b1-b2X-2i3iY最小二乘法就是使RSS(Yi的真實值與估計值之差的平方和)最小化。對式(7-7)分別對bl，b2求偏導，并令所求偏導為零，得到：?！阤i2/瀝1=2!(Yi-bl-b2X-b3X)(-1) =06!ei2/瀝3=2!(Yi-b1-b2X-b3X)(-X)=02i3i得到下面的正規(guī)方程：Y6!ei2/瀝3=2!(Yi-b1-b2X-b3X)(-X)=02i3i得到下面的正規(guī)方程：Y=b1+b2X+b3X(7-8)^YrX=bl￡X+b2￡X2+b3￡XX^YX=bl!X+b3ZX2+b2EXXi3i 3i 3i 2i3i(7-9)(7-10)通?？捎扇齻€方程求解三個未知數(shù)，運用克萊姆法則，得到:b1=Y-b2X-b3XTOC\o"1-5"\h\z2i 3ib2=(!》氣)(！七)-(!y七)(！七氣)'(!X2)(!X2)-(!XXL3'2i3i 2i3i(!yx)(!X2)-(!yx)(!xx)D3= i3i 2i i2i 2i3i(!x；.)(!xp-(!x^xj注：小寫字母表示各值與其均值的離差。例如，乂=Yi我

7.2.2OLS估計量的方差與標準差得到截距及偏回歸系數(shù)的OLS估計量之后，可以推導出這些估計量方差及標準差。(回憶：如何理解估計量是隨機變量？)1X2￡"+X2￡x2-2XX￡xxvar(bl)=[_+2i3i 3白23 2i3i]§2' n (￡x；.)(￡x；)-(￡七.氣.)2se(bl)=戶^1TOC\o"1-5"\h\zvar(b2)= ￡% &2(￡x；.)(￡X;)-(￡X2.X3.)2se(b2)=Jvar(b2)var(b3)= ￡x2 52F (￡x2)(￡x2)-(￡xx)22i3i 2i3ise(b3)=Jvar(b3)52是總體誤差項的方差由下式來估計:5]￡5]￡ei2

n-3(n-3)為自由度，因為在估計RSS時，必須先求出b1、b2、b3,也就是說，它們“消耗”了三個自由度。以此類推，在4個解釋變量情形下，自由度為(n-4)?！阤i2J 是殘差平方和(RSS)，即Y的真實值與估計值差的平方和￡ei2=(Yi-Yi)2同時S=5

計算一個簡單的方法計算一個簡單的方法Zei2=zyt2-b2Zyx「bZy尢證*Y=b+bX+bX+e1 22i33ii，可得IAY=^Y+e -■ii，兩邊減去Y-Y=Y-Y+ei i i，因為樣本回歸線經(jīng)過樣本均值點(證明過程見第五章)y=(b+bX+bX)-(b+bX+bX)+e七.'122i33i'122i33i i可得e=y一bx-bxi. 22i33iiZe.2=Zee1=Ze(y-bx-bx)ii22i3.3i=Zey-bZex-bZex)ii2i2i3i3iZeX=0（證明過程見第五章），所以因為Jii（證明過程見第五章），所以=Z(y-bx-bx=Z(y-bx-bx)yi22i33iJj=Zy2-bZyx-bZyxi2i2i3i3i結(jié)論：多元回歸模型在許多方面是一元回歸模型的推廣，只不過估計公式略顯復雜。解釋變量的個數(shù)如果多于三個，那么得到的計算公式將會更復雜。7.2.3多元普通最小二乘估計量的一般式根據(jù)整體回歸模型推X3+U得樣本回歸模型

樣本回歸數(shù)學模型為y^=xb樣本回歸數(shù)學模型為y^=xb，可得殘差矩陣為△ 八e=Y—Y=Y—Xb，殘差平方和為Ze2=ee=(Y-XB)'(Y-XB)二Y'Y-B'XY—Y'XB+B'X'XB二Y'Y-2p'XY+B'X'XB因為右邊每一項都是標量(1*1矩陣)，所以和自身的轉(zhuǎn)置相等，即B'XY=(B'XY)'=Y'XB求Ee2=e'e的最小、值沱e)=_2XY+2X，XB=0~^B~如果矩陣/X'X/。0，即為非奇異矩陣，那么它的逆矩陣(X'X)—1存在，因此人 .一.B=(X'X)—1XY即/X/豐0回憶：X即/X/豐0/X/最小二乘估計量的性質(zhì)線性存在整體回歸模型推XB+uB=(X'X)—1XY=(X'X)—1X，(XB+u)=B+(x'x)—1xu所以 不僅是”的線性組合，還是u的線性組合。

無偏性E(P)=E[P+(X'X)_]X'u]=E(P)+(X'X)1X'E(u)=P最小方差(證明見《計量經(jīng)濟學導論：現(xiàn)代觀點，P105》，伍德里奇)7.3多元線性回歸模型的假定仍在第6章介紹的古典線性回歸模型的框架下用普通最小二乘法(OLS)對參數(shù)進行估計。對模型Y.=B1+B2X2i+B3X3i+*作如下假定：A7.1X2i、X3i與擾動項u不相關因為6￡ei2/因為6￡ei2/瀝2=2￡(Yi-bl-b2X-b3X)(-X)=2￡eX=0i2i/￡ei2/6b=2E(Y-bl=2￡eX=03i2ib2X-b3X-)(X2i3i i3A7.2誤差項零均值假定A7.3同方差假定，即u的方差為一常量:Var(ui)=S2RVar(R)= 2=S2???Rk〃JA7.4無自相關假定cov(ui,uj)=0, i勺A7.5隨項誤差u服從均值為零，方差為S2的正態(tài)分布(用于假設檢驗)。即ui?N(0,S2)★A7.6解釋變量之間不存在線性相關關系，即兩個解釋變量之間無確切的線性關系。假定7.5表明了解釋變量X2與X3之間不存在完全的線性關系，稱為非共線性或非多重共線性(nomulticolliearity)。一般地，非完全共線是指變量X2不能表示為另一變量X3的完全線性函數(shù)。因而如果有：X2i=3+2X3i或X2i=4X3i則這兩個變量之間是共線性的，因為X2、X3之間存在完全的線性關系。例子：如果X2=4X3，則將它代入式(7-1)E(Yi)=B1+B2(4X3i)+B3X3i (7-2)=B1+(4B2+B3)X3i=B1+AX3i式中，A=4B2+B3 (7-3)模型(7-2)是一個雙變量模型，而非三變量模型。即使能夠?qū)δＰ?7-2)估計，也無法從估計的A值得到B2、B3的值。因為方程(7號)是有兩個未知數(shù)的方程，而求B2和B3的估計值需要兩個(獨立)的方程。結(jié)論：在存在完全共線性的情況下，不能估計偏回歸系數(shù)B2和B3的值；即不能估計解釋變量X2和X3各自對因變量Y的影響。雖然在實際中，很少有完全共線性的情況，但是高度完全共線性或近似完全共線性的情況還是很多的。7.4擬合優(yōu)度：多元判定系數(shù)日2多元判定系數(shù)(MultipleCoefficientofDetermination),度量了X2和X3一起對應變量丫變動的解釋程度(解釋比例)，用符號R2表示。與雙變量模型類似，存在如下恒等式：

￡(Y-Y)2=Z(1^-Y)2+Z(Y-Y)2i ii ii一 一人 一一即￡七2=￡y「+￡e2TSS=ESS+RSS其中，￡y2TOC\o"1-5"\h\zTSS=總離差平方和， i一人￡y2ESS=回歸平方和， i￡e2RSS=殘差平方和， i同樣地，R2與雙變量模型類似，R同樣地，R2=ESS"TSSR2=l-釜￡y2iR2是回歸平方和與總離差平方和的比值；與雙變量模型惟一不同的是現(xiàn)在的ESS值多一個解釋變量有關。調(diào)整后的R調(diào)整后的R2：R2隨著解釋變量的增加，R2值就越大。如果模型中有5個解釋變量(包括截距)，貝JESS的自由度為4,如果模型有10個解釋變量，則ESS的自由度為9,但是R2的計算公式并未考慮不同模型中自由度的不同。因此需要擬合優(yōu)度的度量指標能根據(jù)模型中解釋變量的個數(shù)進行調(diào)整。提出調(diào)整后的R2：R2=1-(*史由于TSS(1)n-k由于TSS(1)1寸_￡y—y 廠自由度為(n-1)，因為必須滿足方程^ i，即在確定條

件下，（同）個》是可以變動的，只需要使得最后的y滿足方程。（2 ）自由度是（n—k）,因為RSS（一匕）者［丁，+b阱.％+必須滿足?以ii 1 2 2i kki個方程，如K=3,即前面我們得到的b1=Y-b2X-b3XTOC\o"1-5"\h\z2i 3i(￡八)(Ex2)-(￡八)(￡xx)b2= i2i 3i i3i 2i3i(XX2)(XX2)-(XX2_X3_)2b3=(XyXXx2)-(xyx/x工2七.)'(Xx2)(Xx2)-(X；x)2""2i3i 2i3i（3）"S自由度是（k-i）（即模型中偏斜率的個數(shù)），因為

ESS=b2X2,+...+須滿足（廠1）個方程。R_[.RSS/(n-k)2一TSS/(n-1)=1-RSS(n-1)-TSS(n-k)因為1=R2+雄得R2R2=1-1-R2)(n-1)(n-k)r2有如下性質(zhì)：(1)若K>1,則2MR2。即隨著模型中解釋變量的增加， 2越來越小于R2,這似乎是對增加解釋變量的懲”R(2)雖然R2總為正，但 2可能為負。7.5多元回歸的假設檢驗對聯(lián)合假設的檢驗如果斜率系數(shù)b2和b3各自均在統(tǒng)計上是顯著的，也即每個部分斜率系數(shù)均顯著不為零。但是是否下面的零假設成立？H0：B2=B3=0這個零假設成為聯(lián)合假設(jointhypothesis)，即B2>B3聯(lián)合或同時為零(而不是各自的或單獨的為零)。這個假設表明兩個解釋變量一起對應變量丫無影響；即X2與X3對Y無任何影響，等同于：H0：R2=0也即，兩個解釋變量對應變量變化的解釋比例為零(回憶R2的定義)。兩個零假設是等價的。對這兩個中任何一個假設進行檢驗稱為對估計的總體回歸線的顯著性檢驗，即檢驗Y是否與X2和X3線性相關。問題：既然B2、83各自均顯著不為零，那么它們一定也應該聯(lián)合或集體顯著不為零，即能拒絕上述零假設嗎？在實踐中的一些多元回歸模型中，一個或多個解釋變量各自對應變量沒有影響，但集體卻對應變量有影響，或者沒有影響。這意味著t檢驗雖然對于檢驗單個回歸系數(shù)的統(tǒng)計顯著性是有效的，但是對聯(lián)合假設卻是無效的?？捎梅讲罘治?analysis