計量經濟學多元線性回歸課件

1、計量經濟學多元線性回歸1內容回顧 什么是回歸？ 什么是計量模型？什么是自變量、因變量？ 如何估計參數？有哪些基本方法？各自原理是什么？ 估計出來的參數具有哪些基本性質？如何對其進行檢驗？ 如何判斷模型估計的總體效果？ 如何運用模型進行預測？如何進行區(qū)間預測？ 如何創(chuàng)建wf？如何錄入數據？如何估計？計量經濟學多元線性回歸2問題的提出* 現實生活中引起被解釋變量變化的因素并非僅只一個解釋變量，可能有很多個解釋變量。例如，產出往往受各種投入要素資本、勞動、技術等的影響；銷售額往往受價格和公司對廣告費的投入的影響等。* 所以在一元線性模型的基礎上，提出多元線性模型解釋變量個數=2計量經濟學多元線性回歸

2、3 第一節(jié)第一節(jié) 多元線性回歸模型多元線性回歸模型 第二節(jié)第二節(jié) 多元線性回歸模型的參數估計多元線性回歸模型的參數估計 第三節(jié)第三節(jié) 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 第四節(jié)第四節(jié) 多元線性回歸模型的其他函數多元線性回歸模型的其他函數形式形式計量經濟學多元線性回歸44.1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 計量經濟學多元線性回歸5 一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現在線性回歸模型中的解釋變量有多個。 一般表現形式一般表現形式：

3、ikikiiixxxy 22110i=1,2,n其中:k為解釋變量的數目，j稱為回歸參數回歸參數（regression coefficient）。是因變量對自變量偏導數。 習慣上習慣上：把常數項常數項看成為一虛變量虛變量的系數，該虛變量的樣本觀測值始終取1。這樣： 模型中解釋變量的數目為（模型中解釋變量的數目為（k+1+1） 計量經濟學多元線性回歸6取 n 個觀察值，i = 1,2, , n，得 n 個方程ikikiiixxxy 22110nknkjnjnnnkkjjkkjjxxxxyxxxxyxxxxy1221102222221210211121211101計量經濟學多元線性回歸7 方程表示

4、：方程表示：各變量各變量x x值固定時值固定時y y的平均響應的平均響應。 j也被稱為也被稱為偏回歸系數偏回歸系數，表示在其他解釋變，表示在其他解釋變量保持不變的情況下，量保持不變的情況下，xj每變化每變化1個單位時，個單位時，y的均值的均值e(y)的變化的變化; 或者說或者說j給出了給出了xj的單位變化對的單位變化對y均值的均值的“直直接接”或或“凈凈”（不含其他變量）影響。（不含其他變量）影響。計量經濟學多元線性回歸8總體回歸模型總體回歸模型n個隨機方程的個隨機方程的矩陣表達式矩陣表達式為為 xy其中其中)1(212221212111111knknnnkkxxxxxxxxxx1)1(210

5、kk121nn121nnyyyy計量經濟學多元線性回歸9樣本回歸函數樣本回歸函數：用來估計總體回歸函數：用來估計總體回歸函數kikiiiixxxy22110其其隨機表示式隨機表示式: : ikikiiiiexxxy22110 ei稱為稱為殘差殘差或或剩余項剩余項(residuals)，可看成是總，可看成是總體回歸函數中隨機擾動項體回歸函數中隨機擾動項 i的近似替代。的近似替代。 樣本回歸函數樣本回歸函數的的矩陣表達矩陣表達: : xy其中：其中：k10neee21e計量經濟學多元線性回歸10二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 假設1，解釋變量是非隨機的或固定的，且各x

6、之間互不相關（無多重共線性）。 假設2，隨機誤差項具有零均值、同方差及不序列相關性0)(ie22)()(iievar0)(),(jijiecovnjiji, 2 , 1, 假設3，解釋變量與隨機項不相關 0),(ijixcov假設4，隨機項滿足正態(tài)分布 ), 0(2nikj,2 , 1 計量經濟學多元線性回歸11維恩圖12345計量經濟學多元線性回歸12上述假設的上述假設的矩陣符號表示矩陣符號表示 式：式： 假設1，n(k+1)矩陣x是非隨機的，且x的秩=k+1，即x滿秩。 假設2， 0)()()(11nneeeennee11)( 21121nnnei22211100)var(),cov(),

7、cov()var(nnn假設3，e(x )=0，即 0)()()(11ikiiiiikiiiiexexexxe計量經濟學多元線性回歸13第二節(jié)第二節(jié) 多元線性回歸模型的估計多元線性回歸模型的估計 估計方法：ols一、普通最小二乘估計一、普通最小二乘估計 二、參數估計量的性質二、參數估計量的性質三、樣本容量問題三、樣本容量問題四、多元線性回歸模型的參數估計實例四、多元線性回歸模型的參數估計實例 計量經濟學多元線性回歸14一、普通最小二乘估計一、普通最小二乘估計對于隨機抽取的n組觀測值kjnixyjii, 2 , 1 , 0, 2 , 1),(如果樣本函數樣本函數的參數估計值已經得到，則有： ki

8、kiiiixxxy22110i=1,2n根據最小二乘原理最小二乘原理，參數估計值應該是下列方程組的解 0000210qqqqk其中2112)(niiiniiyyeq2122110)(nikikiiixxxy計量經濟學多元線性回歸152210222211022110)()(ixbixbbiyiyiyieqixbixbbiyiuixbixbbiyiyixixbixixbixbbqiyixixixbixbixbbqiyixbixbbnbq22222112021212211101221100000計量經濟學多元線性回歸16于是得到關于待估參數估計值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiik

9、ikiiiiiikikiiikikiixyxxxxxyxxxxxyxxxxyxxx)()()()(221102222110112211022110 解該（k+1）個方程組成的線性代數方程組，即可得到(k+1)個待估參數的估計值, , ,jjk 012 。計量經濟學多元線性回歸17正規(guī)方程組正規(guī)方程組的矩陣形式矩陣形式nknkknkkiikikikiiiikiiyyyxxxxxxxxxxxxxxxxn212111211102112111111即yxx)x(由于xx滿秩，故有 yxxx1)(計量經濟學多元線性回歸18bxyuxbyyx-x)(xbbx)xy)(x1(對上述方程兩邊同乘觀察值距陣 x

10、 的轉置距陣x注：關注教材p73頁推導過程計量經濟學多元線性回歸19 * *最大似然估計最大似然估計 對于多元線性回歸模型ikikiiixxxy 22110易知),(2xinyi y的隨機抽取的n組樣本觀測值的聯合概率)()(21)(212122222211022)2(1)2(1),(),(xyxyeeyyyplnxxxynnnkikiiin即為變量y的或然函數或然函數 計量經濟學多元線性回歸20對數或然函數為)()(21)2()( 2*xyxynlnllnl對對數或然函數求極大值，也就是對 )()(xyxy求極小值。 因此，參數的最大或然估計最大或然估計為為yxxx1)(結果與參數的普通最小

11、二乘估計相同結果與參數的普通最小二乘估計相同計量經濟學多元線性回歸21* *矩估計矩估計（moment method, mm） ols估計是通過得到一個關于參數估計值的正正規(guī)方程組規(guī)方程組yxx)x(并對它進行求解而完成的。 該該正規(guī)方程組正規(guī)方程組 可以從另外一種思路來導: xyxxxyxxx(yx)求期望 :0xyx)(e計量經濟學多元線性回歸220xyx)(e稱為原總體回歸方程的一組矩條件矩條件，表明了原總體回歸方程所具有的內在特征。 0)1x(yxn由此得到正規(guī)方程組正規(guī)方程組 yxxx解此正規(guī)方程組即得參數的mm估計量。 易知mm估計量與與ols、ml估計量等價。計量經濟學多元線性回

12、歸23矩方法矩方法是是工具變量方法工具變量方法(instrumental variables,iv)和和廣義矩估計方法廣義矩估計方法(generalized moment method, gmm)的基礎的基礎 在在矩方法矩方法中關鍵是利用了中關鍵是利用了 e(x )=0 如果某個解釋變量與隨機項相關，只要能找到1個工具變量，仍然可以構成一組矩條件。這就是iv（工具變量在這里可以理解為替代變量）。 如果存在k+1個變量與隨機項不相關，可以構成一組包含k+1方程的矩條件。這就是gmm。計量經濟學多元線性回歸24例：例：某公司的企業(yè)管理費主要取決于兩種重點產品的產量，試估計企業(yè)管理費線性回歸模型。計

13、量經濟學多元線性回歸25可求得 ：于是 64142165141153153813xy5 . 25 . 10 . 85 . 10 . 15 . 40 . 85 . 47 .26)(10976201298125815515251551xxyxxx5 . 15 . 2410976205 . 25 . 10 . 85 . 10 . 15 . 40 . 85 . 47 .26)(1yxxx計量經濟學多元線性回歸26回歸模型為：215 . 15 . 24xxy5 . 15 .10610810976205 . 15 . 245381353813yxyyxyyyeerss3693. 15 . 275. 0)(

14、866. 0175. 0)(47493. 47 .2675. 0)(75. 025 . 112221110002cscscsknee：參數估計的樣本標準差隨機擾動項的方差：計量經濟學多元線性回歸27計量經濟學多元線性回歸28 二、參數估計量的性質二、參數估計量的性質 在滿足基本假設的情況下，其結構參數 的普通最小二乘估計、最大或然估計最大或然估計及矩估計矩估計仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時，隨著樣本容量增加，參數估計量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性。 1、線性性、線性性 cyyxxx1)(其中,c=(xx)-1 x 為一僅與固定

15、的x有關的行向量 計量經濟學多元線性回歸29 2、無偏性、無偏性 xxxxxxxyxxx11)()()()()()(1eeee這里利用了假設: e(x )=0 3、有效性（最小方差性）、有效性（最小方差性） 計量經濟學多元線性回歸30其中利用了 yxxx1)(xxxxxxx11)()()(和i2)(e計量經濟學多元線性回歸31 三、樣本容量問題三、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數目（

16、包括常數項）的數目（包括常數項）,即 n k+1因為，無多重共線性要求：秩(x)=k+1計量經濟學多元線性回歸32 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度從統(tǒng)計檢驗的角度： n30 時，z檢驗才能應用(大樣本使用）； n-k8時, t分布較為穩(wěn)定 一般經驗認為一般經驗認為: 當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質只有在大樣本下才能模型的良好性質只有在大樣本下才能得到理論上的證明得到理論上的證明計量經濟學多元線性回歸33 四、多元線性回歸模型的參數估計實例四、多元線性回歸模型的參數估計實例 例例 前章已建立了中國居民人均

17、消費中國居民人均消費一元線性模型。這里我們再考慮建立多元線性模型。解釋變量：解釋變量：人均gdp：gdpp 前期消費：consp(-1)估計區(qū)間估計區(qū)間：19792000年計量經濟學多元線性回歸34eviews軟件估計結果 ls / dependent variable is cons sample(adjusted): 1979 2000 included observations: 22 after adjusting endpoints variable coefficient std. error t-statistic prob. c 120.7000 36.51036 3.3059

18、12 0.0037 gdpp 0.221327 0.060969 3.630145 0.0018 consp(-1) 0.451507 0.170308 2.651125 0.0158 r-squared 0.995403 mean dependent var 928.4946 adjusted r-squared 0.994920 s.d. dependent var 372.6424 s.e. of regression 26.56078 akaike info criterion 6.684995 sum squared resid 13404.02 schwarz criterion

19、6.833774 log likelihood -101.7516 f-statistic 2057.271 durbin-watson stat 1.278500 prob(f-statistic) 0.000000 計量經濟學多元線性回歸35第三節(jié) 多元線性模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗 tss = (yi - y)2 = (yi2 - 2 y yi + y 2 ) = yi2 - ny 2 = yy - ny 2 ess = (yi - y)2 - e2 = (yy - ny 2 ) - (yy - bxy) = bxy - n y 2222)(1tssessyyyyyxbnnyiye

20、er2校正樣本決定系數：？r2 = 1 - ( 1 - r2 ) （n - 1)(n - k -1)計量經濟學多元線性回歸36 可決系數可決系數tssrsstssessr12該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：問題： 在應用過程中發(fā)現，如果在模型中增加一個解釋變量， r2往往增大（why?) 這就給人一個錯覺一個錯覺：要使得模型擬合得好，只要使得模型擬合得好，只要增加解釋變量即可要增加解釋變量即可。 但是，現實情況往往是，由增加解釋變量個數引起的r2的增大與擬合好壞無關，r2需調整需調整。計量經濟學多元線性回歸37 調整的可決系數調整的可決系數（adjusted coefficie

21、nt of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調整的思路是:將殘差平方將殘差平方和與總離差平方和分別除以各自的自由度，以剔和與總離差平方和分別除以各自的自由度，以剔除變量個數對擬合優(yōu)度的影響除變量個數對擬合優(yōu)度的影響:) 1/() 1/(12ntssknrssr其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。計量經濟學多元線性回歸38 *赤池信息準則和施瓦茨準則赤池信息準則和施瓦茨準則 為了比較所含解釋變量個數不同的多元回歸模型的擬合優(yōu)度，常用的標準還有: 赤池信息準則赤池信息準則（akaike information

22、criterion, aic）nknaic) 1(2lnee施瓦茨準則施瓦茨準則（schwarz criterion，sc） nnknaclnlnee 這兩準則均要求這兩準則均要求僅當所增加的解釋變量能夠減少僅當所增加的解釋變量能夠減少aicaic值或值或acac值時才在原模型中增加該解釋變量值時才在原模型中增加該解釋變量。 計量經濟學多元線性回歸39 二、相關系數檢驗 樣本決定系數與樣本相關系數是兩個不同的概念。樣本決定系數是對變量 y 與 x 作回歸分析得出的，它是判定回歸方程與樣本觀察值擬合優(yōu)度的一個數量指標。 樣本相關系數是對變量 y 與 x 作相關分析得出的，它是判定 y 與 x 線

23、性相關密切程度的一個數量指標。 樣本決定系數與樣本相關系數在計算上是一致的。2rr-1 r +1計量經濟學多元線性回歸40 三、總體回歸方程的顯著性檢驗（f檢驗）h0：b0= b1 = = bk= 0；h1: bi 不全為 0；) 1,) 1,() 1/(/) 1/(/2knkffknkfknknknrsskessf（分布表，得臨界值，查給定顯著性水平y(tǒng)xbyyyyxb離差名稱平方和自由度回歸平方和剩余平方和總體平方和2yyxbnyxbyy2yyynkn - k -1n -1k - 自變量的個數n - 樣本個數計量經濟學多元線性回歸41f統(tǒng)計量與r2的關系221) 1() 1(/ )(/) 1/()(/) 1/(/rrkknkkntssesstsstssessknesstsskessknrsskessf計量經濟學多元線性回歸42 四、估計參數的顯著性檢驗（t 檢驗） t 檢驗是檢驗自變量 xi 對因變量 y 線性作用是否顯著的一種統(tǒng)計檢驗。h0：bi = 0；h1: bi 0；t ( n - k -1 )s(bi)tbi比較|t | 與 t的大小2|t | t 拒絕 h02 1-接受域 -t/2 o t/2 t計量經濟學多元線性回歸43例：例：某公司的企業(yè)管理費主要取決于兩種重點產品的產量，試估計企業(yè)管理費線性回歸模型。計量經濟學多元線性回歸44