3多元線性回歸與最小二乘估計(jì)

1、1.3多元線性回歸與最小二乘估計(jì)1 .假定條件、最小二乘估計(jì)量和咼斯一馬爾可夫定理多元線性回歸模型:(1.1)yt = b + ：lXtl + ：2Xt2 + + 卞 iXt k -1 + Ut,其中yt是被解釋變量（因變量），為j是解釋變量（自變量），ut是隨機(jī)誤差項(xiàng)，：i, i = 0, 1, k - 1是回歸參數(shù)（通常未知）。對(duì)經(jīng)濟(jì)問(wèn)題的實(shí)際意義：yt與xt j存在線性關(guān)系，xt j, j = 0, 1,-,1,是yt的重要解釋變量。ut代表眾多影響yt變化的微小因素。使yt的變化偏離了 E（ yt） = 一：。+二血+ Sxt2 +亠 1Xt k -1 決定的k維空間平面。當(dāng)給定一個(gè)樣

2、本（yt, xt1, xt2 ,xt k -1）, t = 1,2, T時(shí)，上述模型表示為y1 =：0+：1X11+ ：2X12+ +l-k-y2 =：0+I；-1X21+I：-2X22+ +1X1 k -1 +:k- 1X2 k -1 +U1,U2,經(jīng)濟(jì)意義 代數(shù)意義 幾何意義xt j是yt的重要解釋變量。 yt與Xt j存在線性關(guān)系。yt表示一個(gè)多維平面。-yT =10 + L1X T 1 + l：-2X T 2+ +此時(shí)yt與x t i已知，-j與Ut未知。yj1Vc1:k- 1X T k -1 +(1.2)(T 1)X11X21X1jX2jXT1XTj也11+uJU2s1仃冰）-A亠(

3、kx|).Ut 一XT kX1 k Jx2 k J(1.3)(1.4)為保證得到最優(yōu)估計(jì)量, 假定隨機(jī)誤差項(xiàng) 為有限值，即1.4 ）應(yīng)滿足如下假定條件?；貧w模型（Ut是非自相關(guān)的，每一誤差項(xiàng)都滿足均值為零，方差-2相同且01E(u) = 0 =-2 2Var (u) = E( i? ? ) = r I =二1000101假定 解釋變量與誤差項(xiàng)相互獨(dú)立，即E(X u) = 0假定解釋變量之間線性無(wú)關(guān)。rk（ X X） = rk（ X） = k其中rk（）表示矩陣的秩。假定解釋變量是非隨機(jī)的，且當(dāng)T t R時(shí)_1T X X t Q其中Q是一個(gè)有限值的非退化矩陣。最小二乘（OLS）法的原理是求殘差（

4、誤差項(xiàng)的估計(jì)值）平方和最小。代數(shù)上是求極值 問(wèn)題。minS= (Y - X ?) (Y- X ?) = yy - ?X Y - Y X ? + ?X X ?=Y Y - 2 ?X Y +?X X ?(1.5)因?yàn)閅 X ?是一個(gè)標(biāo)量，所以有 Y X ? = ?X Y。(1.5)的一階條件為：=-2X Y + 2X X ?= 0(1.6)j ?化簡(jiǎn)得X Y = X X ?因?yàn)?X X)是一個(gè)非退化矩陣(見(jiàn)假定)，所以有?= (X X )-1 X Y( 1.7)因?yàn)閄的元素是非隨機(jī)的，(X X) -1X是一個(gè)常數(shù)矩陣，則？是丫的線性組合，為線性估計(jì)量。求出？，估計(jì)的回歸模型寫為Y = X ?+ I

5、?(1.9)其中？= ( ?o可？k)是1的估計(jì)值列向量，i?= (Y - X ?)稱為殘差列向量。因?yàn)? = Y - X ?= Y - X (X X)-1X Y = I - X (X X)-1 X Y(1.10)所以I?也是Y的線性組合。?的期望和方差是E( ?) = E( X X )-1 X Y = E( X X)-1X (X 1 + u)=:+ (X X )-1 X E( u) = :(1.11)Var( ?) = E( ? - ) ( ? - ) = E(X X)-1 X u u X (X X)-1-1 2 -1 2 -1=E( X X) X 二 I X (X X)=二(X X)(1.

6、12)高斯一馬爾可夫定理：若前述假定條件成立，OLS估計(jì)量是 最佳線性無(wú)偏估計(jì)量。?具有無(wú)偏性。？具有最小方差特性。？具有一致性，漸近無(wú)偏性和漸近有效性。2. 殘差的方差2s = ? ?/ (T - k)(1.13)s 2是匚匚的無(wú)偏估計(jì)量，E(s 2 ) =；-o ?的估計(jì)的方差協(xié)方差矩陣是Var ( ?) = s (X X)-1(1.14)3. 多重確定系數(shù)(多重可決系數(shù))Y = X ? + i?= Y+ ?(1.15)總平方和表1.1方差分析表方差來(lái)源平方和自由度均方回歸SSR=Y?Y?-Ty 2k-1MSR = SSR/ (k-1)誤差SSE= ? UT-kMSE = SSE/ (T-

7、k)總和2SST= Y Y - T y 2T-1H0： ?1= ?2 =氏-1 = 0；H1： -j不全為零T22SST=、y(yt -刃=Y Y - Ty ,(1.16)其中y是yt的樣本平均數(shù)，定義為 y=（、：肆）仃。回歸平方和為SSR=、：4（?t y）2 = Y?*-Ty2其中y的定義同上。殘差平方和為T2T 2SSE = yt 一？）八y?t = ? ?則有如下關(guān)系存在，SST= SSR+ SSEr2 = SSR_-Ty2=SST 一 YY - Ty2顯然有0 _R 2 t.丄 拒絕H o&i的置信區(qū)間(1) 全部；的聯(lián)合置信區(qū)間接受F = -( - ?) (X X) ( - ?)

8、 / s2、F - .(k, T-k)(1.27)k( - ?) (X X ) (1-?) _s2 k F :. (k, T-k)，它是一個(gè) k維橢球。(1.28)(2) 單個(gè)-i的置信區(qū)間Pi = ? Vj 卅 s t玫Q y(1.29)9. 預(yù)測(cè)(1) 點(diǎn)預(yù)測(cè)C = (1XT+1 1XT+1 2 XT+1 k-1 )(1.30)則T + 1期被解釋變量yT+1的點(diǎn)預(yù)測(cè)式是，?T 1= C ? = ? 0 + ? 1 XT+1 1 + + ? k-1 XT+1 k-1(1.31)(2) E(yT+1)的置信區(qū)間預(yù)測(cè)首先求點(diǎn)預(yù)測(cè)式C ?的抽樣分布E( yT 1) = E( C ?) =(1.3

9、2)Var( ?t J = Var(C ?) = E(C ?- c ) (c ?- c)=EC (?-J C ( ?- ：) = C E( ?- J ( ?-) C (1.33)=C Var( ?) C = C；/(x X )-1C = ； C (X X )-1 C因?yàn)?？服從多元正態(tài)分布，所以C ?也是一個(gè)多元正態(tài)分布變量，即yT 1= c ? 、n(C. , -c(x x)-1c )構(gòu)成t分布統(tǒng)計(jì)量如下_ %卑一E(?T4i)_C?Cpt =1= jt(T-k)s C (X X) JCS(C(X X)C置信區(qū)間C ?_t：/2 (1, T-2 C(XX) JC(3) 單個(gè)yT+i的置信區(qū)間預(yù)

10、測(cè)yT+1值與點(diǎn)預(yù)測(cè)值y?T 1有以下關(guān)系yT+i =?T .1+ UT+1其中UT+1是隨機(jī)誤差項(xiàng)。因?yàn)镋( yT+i) = E( ?t 1+ ut+i) = C :Var( yT+i) = Var( ? 1) + Var(uT+i)=二2 C (X X)-1 C + 匚22 -1=二(C (X X) C + 1)因?yàn)?？服從多元正態(tài)分布，所以yT+i也是一個(gè)多元正態(tài)分布變量，即yT+i、N (C -, ?C (X X ) -1C + 1)與上相仿，單個(gè)yT+i的置信區(qū)間是C ? t：/2 (T-k) S . C (X X ) J C 1計(jì)算舉例：(見(jiàn)計(jì)量經(jīng)濟(jì)分析第 19-27頁(yè)，熟悉矩陣運(yùn)算

11、)10. 預(yù)測(cè)的評(píng)價(jià)指標(biāo)注意，以下6個(gè)公式中的et表示的是預(yù)測(cè)誤差，不是殘差。可以在樣本內(nèi)、外預(yù)測(cè)(1) 預(yù)測(cè)誤差。預(yù)測(cè)誤差定義為et = %- yt, t = T+1, T+2,是對(duì)單點(diǎn)預(yù)測(cè)誤差大小的測(cè)量。(2) 相對(duì)誤差 PE (Percentage Error)。yt ytPE = t 匚，t = T+1, T+2,yt是對(duì)單點(diǎn)預(yù)測(cè)相對(duì)誤差大小的測(cè)量。(3) 誤差均方根 rms error (Root Mea n Squared Error)rms error = 送(M -yt)2通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)效果進(jìn)行綜合評(píng)價(jià)。(1.34)(1.35)(1.36)(1.37)(1.38)(1.

12、39)(1.40)(4) 絕對(duì)誤差平均 MAE (Mean Absolute Error)1 TMAE = y?t ytT t丄通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的絕對(duì)誤差進(jìn)行綜合評(píng)價(jià)。(5) 相對(duì)誤差絕對(duì)值平均MAPE (Mean Absolute Percentage Error)MAPE =?t -ytyt綜合運(yùn)用以上4種方法，通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的相對(duì)誤差進(jìn)行綜合評(píng)價(jià)。以上6個(gè)式子中，？t表示預(yù)測(cè)值，yt表示實(shí)際值。Theil的取值范圍是0,1。顯然在預(yù) 測(cè)區(qū)間內(nèi)，當(dāng)y?與yt完全相等時(shí)，Theil = 0 ;當(dāng)預(yù)測(cè)結(jié)果最差時(shí)，Theil = 1。公式中的累加 范圍是用1至T表示的，當(dāng)然也可以用

13、于樣本外預(yù)測(cè)評(píng)價(jià)。11 建模過(guò)程中應(yīng)注意的問(wèn)題(1) 研究經(jīng)濟(jì)變量之間的關(guān)系要剔除物價(jià)變動(dòng)因素。以上圖為例，按當(dāng)年價(jià)格計(jì)算，我國(guó)1992年的GDP是1980年的5.9倍，而按固定價(jià)格計(jì)算，我國(guó)1992年的GDP是1980年的2.8倍。另外從圖中還可看出，1980-1992期間按名義價(jià)格計(jì)算的 GDP曲線一直是上升的， 而按不變價(jià)格(1980年價(jià)格)計(jì)算的 GDP曲線在1989年出現(xiàn)一次下降。可見(jiàn)研究經(jīng)濟(jì)變 量應(yīng)該剔除物價(jià)變動(dòng)因素。(2) 依照經(jīng)濟(jì)理論以及對(duì)具體經(jīng)濟(jì)問(wèn)題的深入分析初步確定解釋變量。例：我國(guó)糧食產(chǎn)量 =f (耕地面積、農(nóng)機(jī)總動(dòng)力、施用化肥量、農(nóng)業(yè)人口等)。但根據(jù)我國(guó)目前情況，“耕地

14、面積”不是“糧食產(chǎn)量”的重要解釋變量。糧食產(chǎn)量的提高主要來(lái)自 科技含量的提高。例：關(guān)于某市的食用油消費(fèi)量，文革前常駐人口肯定是重要解釋變量?，F(xiàn)在則不同，消費(fèi)水平是重要解釋變量，因?yàn)槭秤糜凸?yīng)方式已改變。(3) 當(dāng)引用現(xiàn)成數(shù)據(jù)時(shí)，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。例：“農(nóng)業(yè)人口”要區(qū)別是“從事農(nóng)業(yè)勞動(dòng)的人口” 還是相對(duì)于城市人口的 “農(nóng)業(yè)人口”。 例：2002年起我國(guó)將執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、畐V、漁服務(wù)業(yè)從 原第三產(chǎn)業(yè)劃歸第一產(chǎn)業(yè)。通過(guò)散點(diǎn)圖，相關(guān)系數(shù)，確定解釋變量與被解釋變量的具體函數(shù)關(guān)系。(線性、非線性、無(wú)關(guān)系)(5)謹(jǐn)慎對(duì)待離群值(outlier )。離群值可

15、能是正常值也可能是異常值。不能把建立模型 簡(jiǎn)單化為一個(gè)純數(shù)學(xué)過(guò)程，目的是尋找經(jīng)濟(jì)規(guī)律。年INV (投資)IMPORT (進(jìn)口)19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.2000(6) 過(guò)原點(diǎn)回歸模型與非過(guò)原點(diǎn)回歸模型相比有如下不同點(diǎn)。以一元線性過(guò)原點(diǎn)模型, yt = -1 xt + ut，為例，v U? = 0不一定成立。原因是

16、正規(guī)方程只有一個(gè)(不是兩個(gè))-：C i?2)=2 二(yt - ?i xt) (- xt) = 0，即a ?txt = 0,而沒(méi)有a Ut = 0。所以殘差和等于零不一定成立?？蓻Q系數(shù)R 2有時(shí)會(huì)得負(fù)值！原因是有時(shí)會(huì)有 SSESST。為維持 SSE+SSR=SST，迫使SSR t& = a, p( t t& = a(10) 對(duì)于多元回歸模型，當(dāng)解釋變量的量綱不相同時(shí)，不能在估計(jì)的回歸系數(shù)之間比 較大小。若要在多元回歸模型中比較解釋變量的相對(duì)重要性，應(yīng)該對(duì)回歸系數(shù)作如下變換(1.41)?* =? =1,1其中s(xt)和s(yt)分別表示xt和yt的樣本標(biāo)準(zhǔn)差。？j *可用來(lái)直接比較大小。以二元

17、模型為例，標(biāo)準(zhǔn)化的回歸模型表示如下(標(biāo)準(zhǔn)化后不存在截距項(xiàng))滬零即j* =3, i = 1,2,s(yt)yt -y _ s(yt):1* xt1x1 + 2* xt2J. + utS(Xt1)S(Xt2)兩側(cè)同乘s(yt),得(yt-y) _：1*s(xt1)(xt1 -x1) + -2*s(xt2)(xt2 -x2) + + UtS(yt)所以有既是(1.41)式。(11) 利用回歸模型預(yù)測(cè)時(shí)，解釋變量的值最好不要離開(kāi)樣本范圍太遠(yuǎn)。原因是根據(jù)預(yù)測(cè)公式離樣本平均值越遠(yuǎn)，預(yù)測(cè)誤差越大。以一元回歸模型為例；y - n (-0 + -1 xf,(XF x)2:二(xt -x)2從公式看，當(dāng)Xf =x

18、時(shí)，？f的分布方差最小，即預(yù)測(cè)區(qū)間最小，預(yù)測(cè)精度最高。而預(yù)測(cè)點(diǎn) xf越遠(yuǎn)離x , y的分布方差越大，即預(yù)測(cè)區(qū)間越大，預(yù)測(cè)精度越差。有時(shí)，樣本以外變量的關(guān)系不清楚。當(dāng)樣本外變量的關(guān)系與樣本內(nèi)變量的關(guān)系完全不 同時(shí)，在樣本外預(yù)測(cè)就會(huì)發(fā)生錯(cuò)誤。圖3.10給出青銅硬度與錫含量的關(guān)系曲線。若以錫含量為0-16%為樣本，求得的關(guān)系近似是線性的。當(dāng)把預(yù)測(cè)點(diǎn)選在錫含量為16%之外時(shí)，顯然這種預(yù)測(cè)會(huì)發(fā)生嚴(yán)重錯(cuò)誤。因?yàn)殄a含量超過(guò)16%之后，青銅的硬度急劇下降，不再遵從錫含量為0-16%時(shí)的關(guān)系。暢含量(12) 回歸模型的估計(jì)結(jié)果應(yīng)與經(jīng)濟(jì)理論或常識(shí)相一致。如邊際消費(fèi)傾向估計(jì)結(jié)果為1.5,則模型很難被接受。(13)

19、殘差項(xiàng)應(yīng)非自相關(guān)(用 DW檢驗(yàn)，亦可判斷虛假回歸)。否則說(shuō)明仍有重要解釋 變量被遺漏在模型之外。選用的模型形式不妥。(14) 通過(guò)對(duì)變量取對(duì)數(shù)消除異方差。(15) 避免多重共線性。(16) 解釋變量應(yīng)具有外生性，與誤差項(xiàng)不相關(guān)。(17) 應(yīng)具有高度概括性。若模型的各種檢驗(yàn)及預(yù)測(cè)能力大致相同，應(yīng)選擇解釋變量較 少的一個(gè)。(18) 模型的結(jié)構(gòu)穩(wěn)定性要強(qiáng)，超樣本特性要好。(19) 世界是變化的，應(yīng)該隨時(shí)間的推移及時(shí)修改模型。建模案例1：全國(guó)味精需求量的計(jì)量經(jīng)濟(jì)模型(見(jiàn)預(yù)測(cè)1987年第2期)1. 依據(jù)經(jīng)濟(jì)理論選擇影響味精需求量變化的因素依據(jù)經(jīng)濟(jì)理論一種商品的需求量主要取決于四個(gè)因素，即商品價(jià)格，代用品

20、價(jià)格， 消費(fèi)者收入水平，消費(fèi)者偏好。模型為：商品需求量 =f(商品價(jià)格，代用品價(jià)格，收入水平，消費(fèi)者偏好)對(duì)于特定商品味精，當(dāng)建立模型時(shí)要對(duì)上述四個(gè)因素能否作為重要解釋變量逐一鑒別。商品價(jià)格：味精是一種生活常用品， 當(dāng)時(shí)又是一種價(jià)格較高的調(diào)味品。初步判斷價(jià)格會(huì)對(duì)需求量產(chǎn)生影響。所以確定價(jià)格作為一個(gè)重要解釋變量。代用品價(jià)格：味精是一種獨(dú)特的調(diào)味品，目前尚沒(méi)有替代商品。 所以不考慮代用品價(jià)格這一因素。消費(fèi)者收入：顯然消費(fèi)者收入應(yīng)該是一個(gè)較重要的解釋變量。偏好：由于因偏好不食味精或大量食用味精的情形很少見(jiàn)，所以每人用量只會(huì)在小范圍內(nèi)波動(dòng)，所以不把偏好作為重要解釋變量，而歸并入隨機(jī)誤差項(xiàng)。分析結(jié)果，針

21、對(duì)味精需求量只考慮兩個(gè)重要解釋變量，商品價(jià)格和消費(fèi)者收入水平。味精需求量=f （商品價(jià)格，收入水平）2. 選擇恰當(dāng)?shù)淖兞浚纫紤]代表性，也要考慮可能性）用銷售量代替需求量。因需求量不易度量，味精是自由銷售商品，不存在囤積現(xiàn)象，所以銷售量可較好地代表需求量。味精商品價(jià)格即銷售價(jià)格 。用人均消費(fèi)水平代替收入水平。因?yàn)橄M(fèi)水平與味精銷售量關(guān)系更密切。消費(fèi)水平數(shù)據(jù)在統(tǒng)計(jì)年鑒上便于查找（收入水平的資料不全）。味精銷售量=f （銷售價(jià)格，人均消費(fèi)水 平）用平均價(jià)格作為銷售價(jià)格的代表變量 。不同地區(qū)和不同品牌的味精價(jià)格是不一樣的，應(yīng)取平均價(jià)格（加權(quán)平均最好）。取不變價(jià)格的人均消費(fèi)水平：消費(fèi)水平都是用當(dāng)年價(jià)

22、格計(jì)算的，應(yīng)用物價(jià)指數(shù)進(jìn)行修正。 味精銷售量=f （平均銷售價(jià)格，不變價(jià)格的消費(fèi)水平）3. 收集樣本數(shù)據(jù)（抽樣調(diào)查，引用數(shù)據(jù)）從中國(guó)統(tǒng)計(jì)年鑒和有關(guān)部門收集樣本數(shù)據(jù)（1972-1982, T = 11。數(shù)據(jù)見(jiàn)下頁(yè)。）。定義銷售量為yt （噸），平均銷售價(jià)格為 （元/公斤）,不變價(jià)格的消費(fèi)水平為 X2 （元）。相關(guān)系 數(shù)表如下：平均銷售價(jià)格（x1t）不變價(jià)格的消費(fèi)水平（x2t）-0.36710.97716000060000YY50000-*50000_-40000-*40000_-30000-30000_-20000 -X20000 - *-10000 -10000 _X1X20 -0 _1111

23、i11.011.211.411.611.812.012.2味精銷售量（yt）注：臨界值 r 0.05 （9） = 0.60。4. 確定模型形式并估計(jì)參數(shù)? = -144680.9 + 6313.4 x1t + 690.4 x2t（1）2（-3.92）（2.17）（15.32）R2 = 0.97, DW = 1.8, h.05（8）= 2.3回歸系數(shù)6313.4無(wú)顯著性（x1t與x2t應(yīng)該是負(fù)相關(guān)，回歸系數(shù)估計(jì)值卻為正，可見(jiàn)該估計(jì) 值不可信）。剔除不顯著變量x1t,再次回歸，? = -65373.6 + 642.4 x2t（2）2（-10.32）（13.8）R2 = 0.95, DW = 1.5

24、, b.05（9）= 2.26問(wèn)題：?1= 6313.4，為什么檢驗(yàn)結(jié)果是-1 = 0?量綱的變化對(duì)回歸結(jié)果會(huì)造成影響嗎？建模案例2：用回歸方法估計(jì)純耕地面積（見(jiàn)數(shù)理統(tǒng)計(jì)與管理1986年第6期）目前對(duì)土地的調(diào)查大多采用航空攝影，從照片上把各類資源圖斑轉(zhuǎn)繪到1:10000的地形圖上，然后再?gòu)牡匦螆D上測(cè)繪圖斑面積。在處理如何獲得實(shí)際耕地面積時(shí)，關(guān)鍵技術(shù)難題是如何將耕地圖斑中包含的田埂、土坎、空隙地、寬度小于2米的路、溝、渠等面積從圖斑中分離出來(lái)。因?yàn)樗鼈冊(cè)诤娇請(qǐng)D片上的分 辨率很低，無(wú)法直接勾繪，測(cè)算。設(shè)一個(gè)毛耕地圖斑面積用 S表示，其中不能耕種的面積（扣除面積）用AS表示，則扣除系數(shù)，yi= S / S =（扣除面積）/ （毛耕地圖斑面積）。對(duì)于每一個(gè)圖斑，知道精確的扣除系數(shù) yi，