03多元線性回歸模型

1、實(shí)用標(biāo)準(zhǔn)文案1.3 多元線性回歸與最小二乘估計(jì)1 假定條件、最小二乘估計(jì)量和高斯一馬爾可夫定理 多元線性回歸模型：(1.1)yt =0 + ixti +2為2 + + k- ixt k-i + u.其中yt是被解釋變量（因變量），xtj是解釋變量（自變量），ut是隨機(jī)誤差項(xiàng)，i, i = 0, 1,， k - 1是回歸參數(shù)（通常未知）。對(duì)經(jīng)濟(jì)問(wèn)題的實(shí)際意義：yt與xt j存在線性關(guān)系，xt j , j = 0, 1,，k - 1, 是yt 的重要解釋變量。ut代表眾多影響yt變化的微小因素。使 yt的變化偏離了 E（ yt） = o +1& + 2xt2 + k- 1 xt k -1決定的k維

2、空間平面。當(dāng)給定個(gè)樣本（yt, xt1,Xt2 ,，Xt k -1 ),t = 1,2,T時(shí)，上述模型表示為y 1=0 +1x11+2X12 + +k-1X1 k -1 +u1,經(jīng)濟(jì)意義xt j是yt的重要解釋變量。2=0 +1x21+2X22 + +k-1 X2 k -1+u2,代數(shù)意義yt與xt j存在線性關(guān)系。幾何意義:yt表示個(gè)多維平面。y1 T=0 +1X T1 + 2x T 2 +k- 1 X T k -1+ uT,(1.2)此時(shí)yt與xt i已知，j與ut未知。y11X11X1jX1k 10u1y21x21X2jX2k 11u2yT(T 1)1Xt1XTjXtk 1(T k)k

3、1(k 1)uT (T 1)(1.3)Y=X+ u5(1.4)為保證得到最優(yōu)估計(jì)量，回歸模型（1.4 ）應(yīng)滿足如下假定條件。2相同且假定 隨機(jī)誤差項(xiàng)ut是非自相關(guān)的，每一誤差項(xiàng)都滿足均值為零，方差 為有限值，即0100E(u) = 0 =,Var (u) = E( ? ?)=2I =2 000001假定 解釋變量與誤差項(xiàng)相互獨(dú)立，即E（ X u） = 0假定解釋變量之間線性無(wú)關(guān)。rk（ X X） = rk（ X） = k其中rk（）表示矩陣的秩。假定 解釋變量是非隨機(jī)的，且當(dāng)T t R時(shí)T 1X X t Q其中Q是一個(gè)有限值的非退化矩陣。最小二乘（OLS）法的原理是求殘差（誤差項(xiàng)的估計(jì)值）平方

4、和最小。代數(shù)上是求極值 問(wèn)題。精彩文檔X(1.5)因?yàn)閅 X ?是一個(gè)標(biāo)量，所以有 Y X ? = ? X Yo(1.5)的一階條件為:化簡(jiǎn)得S = - 2X Y + 2X X ? = 0(1.6)因?yàn)?X X)是一個(gè)非退化矩陣(見假定)，所以有?= (X X)-1 X Y(1.7 )因?yàn)閄的元素是非隨機(jī)的，估計(jì)量。求出？，估計(jì)的回歸模型寫為(X X)-1x是一個(gè)常數(shù)矩陣，則?是Y的線性組合,為線性Y = X?+ U?(1.9)其中?= ( ?o ?1為k 1)是的估計(jì)值列向量,?= ( Y -X ?)稱為殘差列向量。因I?= Y - X ? = Y - X (X X)-1XY = IX (X

5、 X)-1 X YX?mi nS = ( Y - X?)( Y - X ?) = Y Y- ?XY - Y X ? + ?X (1.10)所以I?也是Y的線性組合。？的期望和方差是E( ?) = E( X X)-1 X Y = E( X X)-1X ( X + u)(1.11)-1+ (X X) X E(u)=Var( ?) = E()(? - )= E( X X) -1X u u X ( X X)-1=E(X X)-1X 2I(1.12)高斯一馬爾可夫定理：若前述假定條件成立，X (XX)-1=(X X)-1OLS估計(jì)量是最佳線性無(wú)偏估計(jì)量。？具有無(wú)偏性。？具有最小方差特性。？具有一致性，漸

6、近無(wú)偏性和漸近有效性。2. 殘差的方差k)2s=I?I?/(T(1.13)s 2是的無(wú)偏估計(jì)量，E(s 2 ) =。 ?的估計(jì)的方差協(xié)方差矩陣是Var(XX)-1(1.15)(1.16)(1.14)3. 多重確定系數(shù)（多重可決系數(shù)）Y = X ?+?=Y?+?總平方和SST=T1(yt y)2= Y Y- Ty2,其中y是yt的樣本平均數(shù)，定義為T11yt)/T。回歸平方和為SSRy)2 F( k-1, T-k),拒絕HdoF檢驗(yàn)示意圖t檢驗(yàn)示意圖7. t檢驗(yàn)Ho:j _ 0, ( j _ 1,2,k-1), H 1 ：j o8 .i的置信區(qū)間(1)全部i的聯(lián)合置信區(qū)間接受1()(XX)F (

7、k, T-k)t_以)_?旳(九?j ,s2(XX) 1j 1t (T-k)(1.26)判別規(guī)則：若tt k接受Ho;若t tk拒絕H 0o(1.27)?) (XX )(S2 k F(k, T-k),它是一個(gè)k維橢球。(1.28)(2) 單個(gè)i的置信區(qū)間(1.29)點(diǎn)預(yù)測(cè)C= (1Xt+1 1Xt+1 2 Xt+1 k-1)(1.30)期被解釋變量yT+i的點(diǎn)預(yù)測(cè)式是,?T 1 = C ?= ? 0 +? 1 X T+1 1 + +? k-1 x T+1 k-1(1.31)E(yT+i)的置信區(qū)間預(yù)測(cè)(2)首先求點(diǎn)預(yù)測(cè)式 C?的抽樣分布E( ?t 1) = E(C?) = CVar(T 1)

8、= Var( C?)=E( C?- C)(C?- C )E C( ?-)C ( ?-)=C E(?-) ( ?-) C C Var(? )C=C 2(XX)-1C =2 C (X X )-1C(1.32)(1.33)因?yàn)?？服從多元正態(tài)分布，所以 C?也是一個(gè)多元正態(tài)分布變量，即?t 1=C? N(C ,2C(X X ) -1C)(1.34)構(gòu)成t分布統(tǒng)計(jì)量如下t =_?t 1_e(?t 1) = C C sJc(XX)叱s. C(XX) 1C(T-k)(1.35)置信區(qū)間C ? t /2 (1, T-k) s、. C(XX) 1C(1.36) 單個(gè)yT+1的置信區(qū)間預(yù)測(cè)yT+1值與點(diǎn)預(yù)測(cè)值?T

9、 1有以下關(guān)系yT+1 =?t 1 + ut+1(1.37)其中Ut+1是隨機(jī)誤差項(xiàng)。因?yàn)镋( yT+1)= E( ?T 1 + Ut+1) = CVar(yT+1) = Var( ?t 1) + Var(Ut+1)=2(1.38)2 C ( X X)-1C +(C(XX)-1C1)(1.39)因?yàn)?？服從多元正態(tài)分布，所以yT+1也是一個(gè)多元正態(tài)分布變量，即N ( C ,2C ( X X ) -1C + 1)yT+1與上相仿，單個(gè)yT+1的置信區(qū)間是t /2(T- k),C(XX) 1C 1(1.40)計(jì)算舉例:(見計(jì)量經(jīng)濟(jì)分析第 19-27頁(yè)，熟悉矩陣運(yùn)算)10.預(yù)測(cè)的評(píng)價(jià)指標(biāo)注意，以下6個(gè)

10、公式中的et表示的是預(yù)測(cè)誤差，不是殘差?？梢栽跇颖緝?nèi)、外預(yù)測(cè)。(1) 預(yù)測(cè)誤差。預(yù)測(cè)誤差定義為et = ?- yt, t = T+1, T+2,是對(duì)單點(diǎn)預(yù)測(cè)誤差大小的測(cè)量。(2) 相對(duì)誤差 PE (Percentage Error) 。PE = ?t yt , t = T+1, T+2,yt是對(duì)單點(diǎn)預(yù)測(cè)相對(duì)誤差大小的測(cè)量。(3) 誤差均方根 rms error (Root Mean Squared Error)rms error = ,；(?t yt)研究經(jīng)濟(jì)變量之間的關(guān)系要剔除物價(jià)變動(dòng)因素。以上圖為例，按當(dāng)年價(jià)格計(jì)算，我國(guó)1992年的GDP是 1980年的5.9倍，而按固定價(jià)格計(jì)算， 我國(guó)1

11、992年的GDP是 1980年的 2.8倍。另外從圖中還可看出，1980-1992期間按名義價(jià)格計(jì)算的 GDP曲線一直是上升的，而按不變價(jià)格(1980年價(jià)格)計(jì)算的 GDP曲線在1989年出現(xiàn)一次下降?？梢娧芯拷?jīng)濟(jì)變量 應(yīng)該剔除物價(jià)變動(dòng)因素。 依照經(jīng)濟(jì)理論以及對(duì)具體經(jīng)濟(jì)問(wèn)題的深入分析初步確定解釋變量。. T t 1通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)效果進(jìn)行綜合評(píng)價(jià)。(4) 絕對(duì)誤差平均 MAEMea n Absolute Error)ytMAE=通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的絕對(duì)誤差進(jìn)行綜合評(píng)價(jià)。(5) 相對(duì)誤差絕對(duì)值平均MAPE(Mea n Absolute Perce ntage Error)MAPE=T

12、t 11 T綜合運(yùn)用以上4種方法，通過(guò)若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的相對(duì)誤差進(jìn)行綜合評(píng)價(jià)。以上6個(gè)式子中，？t表示預(yù)測(cè)值，yt表示實(shí)際值。Theil的取值范圍是0,1。顯然在 預(yù)測(cè)區(qū)間內(nèi)，當(dāng) ?t與yt完全相等時(shí)，Theil = 0 ;當(dāng)預(yù)測(cè)結(jié)果最差時(shí)， Theil = 1。公式中 的累加范圍是用1至T表示的，當(dāng)然也可以用于樣本外預(yù)測(cè)評(píng)價(jià)。11 建模過(guò)程中應(yīng)注意的問(wèn)題例：我國(guó)糧食產(chǎn)量 =f （耕地面積、農(nóng)機(jī)總動(dòng)力、施用化肥量、農(nóng)業(yè)人口等）。但根據(jù)我國(guó)目前情況，“耕地面積”不是“糧食產(chǎn)量”的重要解釋變量。糧食產(chǎn)量的提高主要來(lái)自 科技含量的提高。例：關(guān)于某市的食用油消費(fèi)量，文革前常駐人口肯定是重要解釋變量。

13、現(xiàn)在則不同，消費(fèi)水平是重要解釋變量，因?yàn)槭秤糜凸?yīng)方式已改變。（3）當(dāng)引用現(xiàn)成數(shù)據(jù)時(shí)，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。例：“農(nóng)業(yè)人口”要區(qū)別是“從事農(nóng)業(yè)勞動(dòng)的人口” 還是相對(duì)于城市人口的 “農(nóng)業(yè)人口” 例：2002年起我國(guó)將執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、畐V、漁服務(wù)業(yè)從 原第三產(chǎn)業(yè)劃歸第一產(chǎn)業(yè)。（4）通過(guò)散點(diǎn)圖，相關(guān)系數(shù)，確定解釋變量與被解釋變量的具體函數(shù)關(guān)系。（線性、非線性、無(wú)關(guān)系）（5）謹(jǐn)慎對(duì)待離群值（outlier ）。離群值可能是正常值也可能是異常值。不能把建立模 型簡(jiǎn)單化為一個(gè)純數(shù)學(xué)過(guò)程，目的是尋找經(jīng)濟(jì)規(guī)律。年INV （投資）IMPORT（進(jìn)口）19912.5

14、6200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.2000（6）過(guò)原點(diǎn)回歸模型與非過(guò)原點(diǎn)回歸模型相比有如下不同點(diǎn)。以一元線性過(guò)原點(diǎn)模型,yt = i xt + ut，為例， * = 0不一定成立。原因是正規(guī)方程只有一個(gè)（不是兩個(gè)）(yt -ixt)(-xt) = o ,i?tXt = 0 ,而沒有?t = 0。所以殘差和等于零不一定成立?？蓻Q系數(shù)R

15、2有時(shí)會(huì)得負(fù)值！原因是有時(shí)會(huì)有 SSESST為維持 SSE+SSR=SST迫使SSRt) =, P( t t )=s(xtj)s(yt)(10) 對(duì)于多元回歸模型，當(dāng)解釋變量的量綱不相同時(shí)，不能在估計(jì)的回歸系數(shù)之間比 較大小。若要在多元回歸模型中比較解釋變量的相對(duì)重要性，應(yīng)該對(duì)回歸系數(shù)作如下變換1,2,k-1(1.41)其中s(xt)和s(yt)分別表示xt和yt的樣本標(biāo)準(zhǔn)差。勺*可用來(lái)直接比較大小。以二元模型為例，標(biāo)準(zhǔn)化的回歸模型表示如下(標(biāo)準(zhǔn)化后不存在截距項(xiàng))，yt y= 1* xt1 X1 + 2* & e + + Uts(yt)s(xt1)s(xt2)兩側(cè)同乘s(yt)，得s(yt)s

16、( yt),(yt-y) =1*- (Xt1 - x1) +2*- (Xt2-x2) + + Ut S(yt)s(Xt1 )S(Xt2 )所以有&)=j,即 j* = j , i = 1,2,s(xtj)s(yt)既是(1.41) 式。(11) 利用回歸模型預(yù)測(cè)時(shí)，解釋變量的值最好不要離開樣本范圍太遠(yuǎn)。原因是根據(jù)預(yù)測(cè)公式離樣本平均值越遠(yuǎn)，預(yù)測(cè)誤差越大。以一元回歸模型為例；y n(0+1 xf,(i+ 丄+空篤)T(Xt X)從公式看，當(dāng)XF = X時(shí)，？F的分布方差最小，即預(yù)測(cè)區(qū)間最小，預(yù)測(cè)精度最高。而預(yù)測(cè)點(diǎn) XF越遠(yuǎn)離X，?F的分布方差越大，即預(yù)測(cè)區(qū)間越大，預(yù)測(cè)精度越差。有時(shí)，樣本以外變量的

17、關(guān)系不清楚。當(dāng)樣本外變量的關(guān)系與樣本內(nèi)變量的關(guān)系完全不同時(shí)，在樣本外預(yù)測(cè)就會(huì)發(fā)生錯(cuò)誤。圖3.10給出青銅硬度與錫含量的關(guān)系曲線。若以錫含量為0-16%為樣本，求得的關(guān)系近似是線性的。當(dāng)把預(yù)測(cè)點(diǎn)選在錫含量為16%之外時(shí)，顯然這種預(yù)測(cè)會(huì)發(fā)生嚴(yán)重錯(cuò)誤。因?yàn)殄a含量超過(guò) 量為0-16%時(shí)的關(guān)系。16%之后，青銅的硬度急劇下降，不再遵從錫含圖3.10青銅硬度與錫含量的關(guān)系12(12) 回歸模型的估計(jì)結(jié)果應(yīng)與經(jīng)濟(jì)理論或常識(shí)相一致。如邊際消費(fèi)傾向估計(jì)結(jié)果為 1.5，則模型很難被接受。(13) 殘差項(xiàng)應(yīng)非自相關(guān)(用DW檢驗(yàn)，亦可判斷虛假回歸)。否則說(shuō)明仍有重要解釋變量被遺漏在模型之外。選用的模型形式不妥。(14

18、) 通過(guò)對(duì)變量取對(duì)數(shù)消除異方差。(15) 避免多重共線性。(16) 解釋變量應(yīng)具有外生性，與誤差項(xiàng)不相關(guān)。(17) 應(yīng)具有高度概括性。若模型的各種檢驗(yàn)及預(yù)測(cè)能力大致相同，應(yīng)選擇解釋變量較 少的一個(gè)。(18) 模型的結(jié)構(gòu)穩(wěn)定性要強(qiáng)，超樣本特性要好。(19) 世界是變化的，應(yīng)該隨時(shí)間的推移及時(shí)修改模型。建模案例1：全國(guó)味精需求量的計(jì)量經(jīng)濟(jì)模型(見預(yù)測(cè)1987年第2期)1 依據(jù)經(jīng)濟(jì)理論選擇影響味精需求量變化的因素依據(jù)經(jīng)濟(jì)理論一種商品的需求量主要取決于四個(gè)因素，即商品價(jià)格，代用品價(jià)格， 消費(fèi)者收入水平，消費(fèi)者偏好。模型為：商品需求量=f（商品價(jià)格，代用品價(jià)格，收入水平，消費(fèi)者偏好）對(duì)于特定商品味精，當(dāng)

19、建立模型時(shí)要對(duì)上述四個(gè)因素能否作為重要解釋變量逐一鑒別。商品價(jià)格:味精是一種生活常用品，當(dāng)時(shí)又是一種價(jià)格較高的調(diào)味品。初步判斷價(jià)格會(huì)對(duì)需求量產(chǎn)生影響。所以確定價(jià)格作為一個(gè)重要解釋變量。代用品價(jià)格：味精是一種獨(dú)特的調(diào)味品，目前尚沒有替代商品。 所以不考慮代用品價(jià)格這一因素。消費(fèi)者收入：顯然消費(fèi)者收入應(yīng)該是一個(gè)較重要的解釋變量。偏好：由于因偏好不食味精或大量食用味精的情形很少見，所以每人用量只會(huì)在小范圍內(nèi)波動(dòng)，所以不把偏好作為重要解釋變量，而歸并入隨機(jī)誤差項(xiàng)。分析結(jié)果，針對(duì)味精需求量只考慮兩個(gè)重要解釋變量，商品價(jià)格和消費(fèi)者收入水平。味精需求量=f（商品價(jià)格，收入水平）2 選擇恰當(dāng)?shù)淖兞浚纫紤]代

20、表性，也要考慮可能性）用銷售量代替需求量。因需求量不易度量，味精是自由銷售商品，不存在囤積現(xiàn)象，所以銷售量可較好地代表需求量。味精商品價(jià)格即銷售價(jià)格 。用人均消費(fèi)水平代替收入水平。因?yàn)橄M(fèi)水平與味精銷售量關(guān)系更密切。消費(fèi)水平數(shù)據(jù)在統(tǒng)計(jì)年鑒上便于查找（收入水平的資料不全）。味精銷售量=f（銷售價(jià)格，人均消費(fèi)水平）用平均價(jià)格作為銷售價(jià)格的代表變量。不同地區(qū)和不同品牌的味精價(jià)格是不一樣的，應(yīng)取平均價(jià)格（加權(quán)平均最好）。取不變價(jià)格的人均消費(fèi)水平：消費(fèi)水平都是用當(dāng)年價(jià)格計(jì)算的，應(yīng)用物價(jià)指數(shù)進(jìn)行修正。 味精銷售量=f（平均銷售價(jià)格，不變價(jià)格的消費(fèi)水平）3 收集樣本數(shù)據(jù)（抽樣調(diào)查，引用數(shù)據(jù)）60000500

21、00400003000020000100000YX111.011.211.411.611.812.012.2從中國(guó)統(tǒng)計(jì)年鑒和有關(guān)部門收集樣本數(shù)據(jù) （1972-1982, T= 11。數(shù)據(jù)見下頁(yè)。）。定義 銷售量為yt （噸），平均銷售價(jià)格為 X1 （元/公斤），不變價(jià)格的消費(fèi)水平為 X2 （元）。相 關(guān)系數(shù)表如下：平均銷售價(jià)格（X1t）不變價(jià)格的消費(fèi)水平（x2t）味精銷售量-0.36710.9771（屮）注：臨界值 ro.05 (9) = 0.606000050000400003000020000X210000100120140160 18004 確定模型形式并估計(jì)參數(shù)?= -144680.9

22、 + 6313.4 xlt + 690.4 x2（ 1）（-3.92）（2.17）（15.32）R = 0.97,DV= 1.8,to.05 = 2.3回歸系數(shù)6313.4無(wú)顯著性（x1t與x2t應(yīng)該是負(fù)相關(guān)，回歸系數(shù)估計(jì)值卻為正，可見該估計(jì)值不可信）。剔除不顯著變量 x1t，再次回歸，? = -65373.6 + 642.4X2t（ 2）（-10.32） （13.8）R2 = 0.95,DW= 1.5,to.05（9）= 2.26問(wèn)題：?1= 6313.4，為什么檢驗(yàn)結(jié)果是1 = 0？量綱的變化對(duì)回歸結(jié)果會(huì)造成影響嗎？建模案例2：用回歸方法估計(jì)純耕地面積（見數(shù)理統(tǒng)計(jì)與管理1986年第6期）目前對(duì)土地的調(diào)查大多采用航空攝影，從照片上把各類資源圖斑轉(zhuǎn)繪到1:10000的地形圖上，然后再?gòu)牡匦螆D上測(cè)繪圖斑面積。在處理如何獲得實(shí)際耕地面積時(shí)，關(guān)鍵技術(shù)難題是如何將耕地圖斑中包含的田埂、土坎、空隙地、寬度小于2米的路、溝、渠等面積從圖斑中分離出來(lái)。因?yàn)樗鼈冊(cè)诤娇請(qǐng)D片上的分 辨率很低，無(wú)法直接勾繪，測(cè)算。設(shè)一個(gè)毛耕地圖斑面積用 S表示，其中不能耕種的面積（扣除面積）用S表示，則扣除系數(shù)，yi = S / S =（扣除面積）/ （毛耕地圖斑面積）。對(duì)于每一個(gè)圖斑，知道精確的扣除系數(shù) yi,就很容易根據(jù)毛耕地圖斑面積 S計(jì)算出純耕 地面積。現(xiàn)在用回歸分析方法， 尋找影