計(jì)量經(jīng)濟(jì)學(xué)3.13.2

1、1第三章第三章:多元回歸分析多元回歸分析2本章主要內(nèi)容本章主要內(nèi)容 3.1 k 3.1 k變量線性回歸模型變量線性回歸模型 3.2 3.2 參數(shù)參數(shù) 的的估計(jì)估計(jì)和統(tǒng)計(jì)性質(zhì)和統(tǒng)計(jì)性質(zhì) 3.3 3.3 樣本決定系數(shù)與偏相關(guān)系數(shù)樣本決定系數(shù)與偏相關(guān)系數(shù) 3.4 3.4 回歸系數(shù)和回歸方程的顯著性檢驗(yàn)回歸系數(shù)和回歸方程的顯著性檢驗(yàn) 3.5 3.5 預(yù)測(cè)預(yù)測(cè) 3.1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 三、偏回歸系數(shù)的含義三、偏回歸系數(shù)的含義 一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型

2、多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式一般表現(xiàn)形式：其中:k為解釋變量的數(shù)目，j稱(chēng)為回歸參數(shù)回歸參數(shù)（regression coefficient）。 習(xí)慣上：把常數(shù)項(xiàng)常數(shù)項(xiàng)看成為一虛變量虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。這樣： 模型中解釋變量的數(shù)目為（模型中解釋變量的數(shù)目為（k+1+1） kiuxxxyikikiii, 2 , 1,33221 隨機(jī)表達(dá)形式隨機(jī)表達(dá)形式: 非隨機(jī)表達(dá)式非隨機(jī)表達(dá)式:kikiikiiiixxxxxxye 3322121),|( 方程表示：方程表示：各變量各變量x x值固定時(shí)值固定時(shí)y y的平均響應(yīng)的平均響應(yīng)。 j j也被

3、稱(chēng)為也被稱(chēng)為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變，表示在其他解釋變量保持不變的情況下，量保持不變的情況下，xj每變化每變化1個(gè)單位時(shí)，個(gè)單位時(shí)，y的均值的均值e(y)的變化的變化; 或者說(shuō)或者說(shuō) j j給出了給出了xj的單位變化對(duì)的單位變化對(duì)y均值的均值的“直直接接”或或“凈凈”（不含其他變量）影響。（不含其他變量）影響。 1. 總體回歸函數(shù)總體回歸函數(shù) kiuxxxyikikiii, 2 , 1,33221多元線性回歸函數(shù)的矩陣表示多元線性回歸函數(shù)的矩陣表示kiuxxxyprfikikiii, 2 , 1,:33221 總體回歸函數(shù)總體回歸函數(shù)prf給出的是給定解釋變量給出的是給定解釋變量

4、x2 xk 的值的值時(shí)，時(shí)，y的期望值：的期望值：e ( y | x2，x3，xk )。 假定有假定有n組觀測(cè)值，則可寫(xiě)成矩陣形式（組觀測(cè)值，則可寫(xiě)成矩陣形式（n個(gè)方程，個(gè)方程，k+1個(gè)參數(shù)構(gòu)成）：個(gè)參數(shù)構(gòu)成）：nnknkknnnuuuxxxxxxxxxyyy212121332312222121111uxy或： 為隨機(jī)擾動(dòng)項(xiàng)列向量為待估計(jì)參數(shù)列向量為數(shù)據(jù)矩陣。為因變量觀測(cè)值列向量uxy中，在uxy 矩陣矩陣x的每一列表示一個(gè)解釋變量的的每一列表示一個(gè)解釋變量的n個(gè)觀個(gè)觀測(cè)值向量，截距項(xiàng)對(duì)應(yīng)的觀測(cè)值為測(cè)值向量，截距項(xiàng)對(duì)應(yīng)的觀測(cè)值為1。 2.樣本回歸函數(shù)樣本回歸函數(shù)：用來(lái)估計(jì)總體回歸函數(shù)：用來(lái)估計(jì)

5、總體回歸函數(shù)kikiiiixxxy22110其隨機(jī)表示式隨機(jī)表示式: ikikiiiiexxxy22110 ei稱(chēng)為稱(chēng)為殘差殘差或或剩余項(xiàng)剩余項(xiàng)(residuals)，可看成，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng) i的近似替代。的近似替代。 樣本回歸函數(shù)樣本回歸函數(shù)的矩陣表達(dá)矩陣表達(dá): xy或exy其中：k10neee21e二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 假設(shè)假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各，解釋變量是非隨機(jī)的或固定的，且各x之間互不相關(guān)（無(wú)多重共線性）。之間互不相關(guān)（無(wú)多重共線性）。 0)(ie 0u),cov( :iiknxxx含

6、義為固定變量為非隨機(jī)樣本矩陣二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 假設(shè)假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及序，隨機(jī)誤差項(xiàng)具有零均值、同方差及序列不相關(guān)性列不相關(guān)性0)(ie22)()(iievar0)(),(jijiecovnjiji, 2 , 1, ，其消費(fèi)波動(dòng)程度相同例如：收入不同的家庭相同。但是被解釋變量的方差同，含義：解釋變量取值不同方差說(shuō)明同方差說(shuō)明無(wú)自相關(guān)同方差，不相關(guān)ninijiinyyyyuuuujiuuniuiu,)var(,)var(),(0),cov( ), 2 , 1()var()var(212212221二、多元線性回歸模型的基本假定二、多元

7、線性回歸模型的基本假定 假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)解釋變量與隨機(jī)項(xiàng)不相關(guān) 0),(ijixcov將x 對(duì)y的影響和隨機(jī)項(xiàng)的影響區(qū)分開(kāi)kj,2 , 1 12定是否成立回歸結(jié)果由檢驗(yàn)來(lái)看假估計(jì)，直接用實(shí)際操作，不驗(yàn)證假設(shè)成立古典假定下說(shuō)明：)3()2() 1 (), 0(21olsolsnun假設(shè)4，隨機(jī)項(xiàng)滿(mǎn)足正態(tài)分布隨機(jī)項(xiàng)滿(mǎn)足正態(tài)分布 13古典假定古典假定5假定假定5：無(wú)多重共線性，即假定各解釋變量無(wú)多重共線性，即假定各解釋變量之間不存在線性關(guān)系之間不存在線性關(guān)系存在），（行列式10xxxxkxxrankxx ）（滿(mǎn)秩：方陣 14古典假定古典假定 6假定假定6： 模型設(shè)定沒(méi)有偏誤模型設(shè)定沒(méi)有

8、偏誤 所有上述都是建立在假設(shè)所有上述都是建立在假設(shè)6的基礎(chǔ)上的基礎(chǔ)上，即回歸模型的設(shè)定是正確的。即回歸模型的設(shè)定是正確的。 三、偏回歸系數(shù)的含義三、偏回歸系數(shù)的含義 j j也被稱(chēng)為也被稱(chēng)為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解，表示在其他解釋變量保持不變的情況下，釋變量保持不變的情況下，xj每變化每變化1個(gè)單個(gè)單位時(shí)，位時(shí)，y的均值的均值e(y)的變化的變化; iiiiuxxy33221 y x3= 3度量了在保持度量了在保持 x2 不變的條件下，不變的條件下， x3 改變一個(gè)單位改變一個(gè)單位y的平均改變量的平均改變量。 y x2= 2度量了在保持度量了在保持x3 不變的條件下，不變的條件下， x

9、2 改變一個(gè)單位改變一個(gè)單位y的平均改變量。的平均改變量。二、偏回歸系數(shù)的含義二、偏回歸系數(shù)的含義 j也被稱(chēng)為也被稱(chēng)為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變量保持不變的情，表示在其他解釋變量保持不變的情況下，況下，xj每變化每變化1個(gè)單位時(shí)，個(gè)單位時(shí)，y的均值的均值e(y)的變化的變化;在其他變量不在其他變量不變的情況下，變的情況下，xj 對(duì)對(duì)y均值的均值的直接或凈影響直接或凈影響。3.2 多元線性回歸模型的估計(jì)多元線性回歸模型的估計(jì) 估計(jì)方法：ols一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) 二、參數(shù)估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的性質(zhì) 三、回歸方程的數(shù)學(xué)性質(zhì)三、回歸方程的數(shù)學(xué)性質(zhì)四、隨機(jī)誤差項(xiàng)的

10、估計(jì)量四、隨機(jī)誤差項(xiàng)的估計(jì)量五、樣本容量問(wèn)題五、樣本容量問(wèn)題18 的最小二乘估計(jì)的最小二乘估計(jì)樣本回歸超平面樣本回歸平面樣本回歸直線例如：、殘差向量：、樣本回歸超平面：）（比較總體模型：、樣本回歸模型：）一、樣本回歸模型（和問(wèn)題：估計(jì)4433221332212121 32 1xxxyxxyxyyyuxyuxyuxysrmk( (一一)ols)ols估計(jì)量估計(jì)量 （1）iiiiuxxy33221樣本回歸函數(shù)： ols就是要選擇未知參數(shù)，使得殘差就是要選擇未知參數(shù)，使得殘差(rss)平平方和最小，即方和最小，即min. rss = min. = min. 2iu233221)(iiixxy一、普通

11、最小二乘估計(jì)一、普通最小二乘估計(jì) =2 ( y - 1- 2x2 - 3x3)(-1) = 0 rss 1=2 ( y - 1- 2x2 - 3x3)(-x2) = 0 rss 2 =2 ( y - 1- 2x2 - 3x3)(-x3) = 0 rss 3對(duì)未知參數(shù)求微分對(duì)未知參數(shù)求微分( (一一)ols)ols估計(jì)量（估計(jì)量（2 2）整理方程：整理方程：n1 + 2 x2 + 3 x3 = y 2 x2 + 2 x32 + 3 x2x3 = x2y 1 x3 + 2 x2x3 + 3 x32 = x3y ( (一一)ols)ols估計(jì)量（估計(jì)量（3 3）33221xxy3=(yx3)(x22

12、) - (yx2)(x2x3)(x22)(x32) - (x2x3)22=(yx2)(x32) - (yx3)(x2x3)(x22)(x32) - (x2x3)2解正規(guī)方程組得解正規(guī)方程組得( (一一)ols)ols估計(jì)量（估計(jì)量（4 4） 關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組可以正規(guī)方程組可以推廣為推廣為： kiikikikiiiiikikiiiiiikikiiikikiixyxxxxxyxxxxxyxxxxyxxx)()()()(221102222110112211022110 解該（k+1）個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值, , ,jjk 012 。24二、樣本

13、回歸方程的特性二、樣本回歸方程的特性1011;,2 , 1,1),(,11221122111211xyuuxxynuxxyxkjxnxxxxxynyxyxykkniiikkiiniijjknii，計(jì)算得，進(jìn)行證明：其中值點(diǎn)。即，：樣本回歸超平面過(guò)均性質(zhì)25二、樣本回歸方程的特性二、樣本回歸方程的特性2yxxxynxxyyykkniikkii122211221計(jì)算得，進(jìn)行證明：性質(zhì)26二、樣本回歸方程的特性二、樣本回歸方程的特性3uyyuyuxuxuyxyuy0)(03正交與向量幾何意義：向量證明：性質(zhì)yuyyu 4.殘差的均值等于殘差的均值等于0，即，即0u5.殘差和諸殘差和諸xs不相關(guān)，即不

14、相關(guān)，即0sxu 三、參數(shù)估計(jì)量的性質(zhì)三、參數(shù)估計(jì)量的性質(zhì) 在滿(mǎn)足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通普通最小二乘估計(jì)最小二乘估計(jì)仍具有： 線性性線性性、無(wú)偏性無(wú)偏性、有效性有效性。 同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無(wú)偏性、漸近有效性、一致性漸近無(wú)偏性、漸近有效性、一致性。29四、四、2 2的估計(jì)的估計(jì)隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的方差 的無(wú)偏估計(jì)的無(wú)偏估計(jì) 隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的無(wú)偏估計(jì)量，的方差的無(wú)偏估計(jì)量，可以寫(xiě)為可以寫(xiě)為：（k k為解釋變量的個(gè)數(shù)為解釋變量的個(gè)數(shù)）1122knkneiee3ii32ii2222xyxyyeiiiu簡(jiǎn)單的算法：簡(jiǎn)單的算法：223223

15、223232222323221)(21)var(iiiiiiiixxxxxxxxxxxxn22322322232)()var(iiiiixxxxx22322322223)()var(iiiiixxxxxolsols估計(jì)量的方差和標(biāo)準(zhǔn)誤差估計(jì)量的方差和標(biāo)準(zhǔn)誤差 五、樣本容量問(wèn)題五、樣本容量問(wèn)題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1因?yàn)橐驗(yàn)?，無(wú)多重共線性

16、要求：秩(x)=k+1 2 2、滿(mǎn)足基本要求的樣本容量、滿(mǎn)足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度從統(tǒng)計(jì)檢驗(yàn)的角度： n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)當(dāng)n 30或者至少或者至少n 3(k+1)時(shí)，才能說(shuō)滿(mǎn)時(shí)，才能說(shuō)滿(mǎn)足模型估計(jì)的基本要求。足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明得到理論上的證明實(shí)例實(shí)例 例例3.2.2 在例2.5.1中，已建立了中國(guó)居中國(guó)居民人均消費(fèi)民人均消費(fèi)一元線性模型。這里我們?cè)倏紤]建立多元線性模型。解釋變量：解釋變量：人均gdp：gdpp 前期消費(fèi)：consp(-1)估計(jì)區(qū)間估計(jì)區(qū)間

17、：19792000年eviews軟件估計(jì)結(jié)果 ls / dependent variable is cons sample(adjusted): 1979 2000 included observations: 22 after adjusting endpoints variable coefficient std. error t-statistic prob. c 120.7000 36.51036 3.305912 0.0037 gdpp 0.221327 0.060969 3.630145 0.0018 consp(-1) 0.451507 0.170308 2.651125 0.0158 r-squared 0.995403 mean dependent var 928.494