stata中級計量經濟學課件多元線性模型：設定和估計

1、經典線性模型：設定和估計2022-2-241主要內容 經典線性回歸模型 假設 設定 估計 數據問題：多重共線性、缺失、異常值 線性估計的軟件操作 主要基于鮑姆第四章內容和Greene第2，3，4章的部分內容。2022-2-2421.1 經典線性回歸模型多元線性回歸可以表示多元線性回歸可以表示“其他條件不變時，自變量對因變量的偏效其他條件不變時，自變量對因變量的偏效應應”，通用形式為：通用形式為： 例如: 對某商品的需求和收入、價格有關; 工資方程里年齡和教育效應 影響經濟增長的因素：資本、勞動力、人力資本、區(qū)位因素、基礎設施等 我們我們假設樣本中每一個觀測值都是由如下過程生成的：假設樣本中每一

2、個觀測值都是由如下過程生成的：121122,KKKiyf x xxxxx是未知待估參數， 是無法觀測的滿足一定限制條件的誤差項。1122iiiiKKiyxxxiiy的觀測值為一個確定性部分與一個隨機性部分 之和。擾動項（誤差項） 隨機擾動項因“擾動”了原本穩(wěn)定的關系而得名： 無法包含所有可能產生影響的因素，被忽略的以誤差項表示； 測量誤差，如資本存量、受教育程度； 經濟理論有定義，現實無可觀測的對應，如永久收入。 2022-2-244例：工資與受教育程度2022-2-245 一個簡單的回歸模型可以表示為：，表示其他因素不變時教育對收入的影響。一般隨著年紀的增加，收入提高。加入年紀的影響：和表示

3、呢？許多事實表明，收入增長的速度在后期比初期要慢，再擴展什為么意思：12221232312earningseducationearnings=education=0earningseducationageearningseduc 、和表示什么意思呢？多元線性回歸的一個關鍵特點，是能夠容許我們進行在概數據中觀測不到的上試驗念進行。234234ationageage矩陣標注*11112111221222221211 = =KKnnnnKnKKKyxxxyxxxyxxxyxxX :;kiixkxXxxxX注，約定的表示方法：表示一個變量;表示一個 列 向量;表示一個矩陣表示第 個變量表示第i個觀測形

4、成的列向量，也就是說表示的一行。1,2,iiiiiyinyx 類似的，用，表示模型對應的單獨觀測值。的觀測值為一個確定性部分和一個隨機性部分 之和。y = X +用矩陣形式可將線性回歸表示為：經典線性模型的假定（CLM）線性：線性： y=X+ ，或對某單個觀測 滿秩（可識別）滿秩（可識別）：不存在任何自變量之間的完全線性關系，否則參數是不可識別的。零條件期望（嚴格外生性）零條件期望（嚴格外生性）：Ei |X=0。樣本中第i次觀測到的干擾的期望值，不是任何一次觀測到的自變量的函數。也就是說自變量不能為預測干擾項提供信息。并且Ei =EXEi |X=0.球形干擾：同方差和無自相關正態(tài)性：干擾項服從

5、均值為0和方差為常數的正態(tài)分布，2022-2-247iiiyx 2var| ,|0,iijcovij XX2|0,N XI注：除非特殊情況確定不含截距，否則X的第一列都是1.回歸模型的線性形式注意，線性注意，線性是指 參數和干擾項進入方程的形式, 而不是指變量之間的關系。Ey|x = 1 f1() + 2 f2() + + K fK(). fk() 可以是數據的任何函數.例如: 簡單線性模型:二次多項式模型：對數線性 常彈性 模型：半對數模型：超越對數模型：2120kkk0101kkklklkkly=Xyxxlnylnxlnyxt; ylnxlnylnx1/2lnx lnx*例：超越對數模型2

6、022-2-249 111|ln0211|ln0,exp lnlnln,ln1,1,.,1ln/lnln1 +/lnlnln2KkkKKkkkKKklkkly= g xxxxyfxxyffxxfxxx xxx0超越對數函數通常認為是對未知函數的二階近似。首先，將函數寫成，基于一個簡單變換,將原函數變化為將上述函數在點處進行二階泰勒展開，于是：0111lnln 1lnlnlnln2KKKkkklklkkllyxxxx x0這個函數及其導數在處是常數，因此可以整理=，成線性回歸模型可以解釋為對某種未知函數關系的一種近似。 00000000yf xxyf xf xfxxxf xx fxfxxx根據泰

7、勒級數近似方法，將在 處進行一階泰勒展開：例：工資方程 其中，WAGE=工資率；S=接受教育年限，TENURE=當前工作崗位的持續(xù)年限，EXPER=勞動經驗（即當前與以往的工作總年限）。該方程滿足線性形式，y=log(WAGE)。因變量取對數形式，稱為“半對數形式”，該方程是通過下述的工資率水平與自變量的非非線性關系得到的： 半對數形式的回歸系數解釋成百分比的變化而非水平變化，如1 =0.05表示增加1年的教育大約能提高5%的工資水平。 對數形式的變換相當于數量的百分比變化2022-2-24100123logiiiiiWAGESTENUREEXPER 0123expexpexpexpexpii

8、iWAGESTENUREEXPER滿秩 矩陣X列滿秩, 即X的列線性獨立，并且最少有K個觀測值。 下面的模型中存在一種精確的線性關系，違背了該假設，參數無法估計。2022-2-241112342233441234 Cnonlabor incomesalarytotal incometotal incomesalarynonlabor incomeaaaaCnonlabor incomesalarytotal income 其中，令為任意數。模型可以重新表示為： 例：完全共線性：例：完全共線性：An Unidentified (But Valid)Theory of Art Appreciati

9、onEnhanced Monet Area Effect Model: Height and Width EffectsLog(Price) = + 1 log Area + 2 log Aspect Ratio + 3 log Height + 4 Signature + (Aspect Ratio = Height/Width). This is a perfectly respectable theory of art prices. However, it is not possible to learn about the parameters from data on prices

10、, areas, aspect ratios, heights and signatures.log Height=1/2*(log Area + log Aspect Ratio )零條件均值：嚴格外生性2022-2-2413 121.|0=02.=. iijijijijKiEEE xE xEE xEXx0y | XX即自變量與誤差項正交。于是有：干擾項是從某個總體中完全隨機的抽取的，回歸函數所涉及的不可觀測因素都和可觀測因素系統(tǒng)的不相關。經典回歸模型的圖示2022-2-24141.2 模型的估計：最小二乘法 線性模型的未知參數是我們要估計的對象。注意總體參數（、）和樣本估計值（b、e）的區(qū)

11、別。2022-2-2415; ,iiiiiiiiiiiiiiiyeyyeyx bx bx x bxbx b干擾項：對任意的 值，我們用殘差來估計 ：根據定義：總體量 是未知參數，希望用來估計它們：選擇一個向量使得擬合線接近數據點。誤差項殘差項總體回歸樣本回歸*OLS估計量的正規(guī)方程 最小二乘估計量最小化殘差平方和 2022-2-2416022000110000min:2 (1 1)/ (K 1) (-2)(nK)(n 1) = (-2)(Kn)(n 1) = K 1nniiiiieyFOC bx b(y-Xb )(y-Xb )(y-Xb )(y-Xb )X(y-Xb ) = 0b =-1 1

12、1 K 1 K 1 .: =OLSbXy = XXbbXXXyb注意：標量對向量的導數是向量令 為解稱為估計量。這里注意估計量是個隨機變量。如果解釋變量只包含一個常數項呢？如果解釋變量只包含一個常數項呢？*矩方法估計量矩法估計量是由矩條件定義的，矩條件被假定對總體矩是成立的，當用不可觀測總體矩的樣本對應形式代替總體矩時，就能得到參數的可行估計量。零條件均值意味著：每個解釋變量和誤差項都不相關。見鮑姆P65.2022-2-2417交叉矩陣*2022-2-241822111121111212212112122122121112112.=.nnniiiiiiiiKiiiiiKnnnniiiiiiii

13、KiiiiiKinnniiKiiiKiiiKiKiiKixx xx xxx xx xx xxx xx xxx xx xx xxx xx xXX = 21211212111. =. = . 1.iKiiniiiiKikiiniiikniiiniiixxxxxxKKxxxyyKxXy =x xx例子：工資方程的估計2022-2-2419數據來自Wooldridge，wage10123log wageeducexpertenureub1b2b3b0=X XbX y1.3 OLS估計的代數特征 1.殘差和等于0。 2.每個自變量和殘差之間的樣本協(xié)方差為0. 3.總是經過均值點。 4.回歸擬合值的均值等

14、于實際數據的均值。這一結論來自第一條。2022-2-242010niie110 nni iiieEixx0或理解為正交條件的樣本形式。 yykk:01XXbXy = -X y-Xb = -Xe = 0Xxx eX根據一階條件（正規(guī)方程組）：因此，對 的每一列，都有。如果 的第一列都是 ，那么：e,nyy = Xb+i y = i Xb+i exb除以 得2022-2-2421+ =0,0,iiiiiiiyeyeeex b模型預測的值 擬合值 低于真實值；模型預測的值 擬合值 高于真實值；1.4* 分塊回歸2022-2-2422回歸模型回歸模型: y = X1 1 + X2 2 + (總體） =

15、 X1b1 + X2b2 + e (樣本)221FrischWaughLovell112yXXyXXXb定理：在向量 對兩組變量和的線性最小二乘回歸中，將對做回歸并得到殘差，然后將的每一列對做回歸并得到一組殘差，將前者所得殘差對后者所得殘差集再做回歸，就可以得到子向量系數 。這個過程被稱為剔除(partialing out)或凈化(netting out)X1 的影響，因此多元回歸中的系數通常又稱為偏回歸系數(partial regression coefficients)。應用：時間序列數據的“detrending” 汽油消費數據X = 1, year, PG, Y, y = G . 完整回

16、歸系數： 去趨勢后回歸系數：2022-2-2423“Detrend the data” means compute the residuals from the regressions of the variables on a constant and a time trend. 1.5 擬合優(yōu)度:中心化的R22022-2-2424 將每個觀測值解釋部分和未解釋部分直觀上講，若 到其均值的離差比殘差可以更多的解釋 的離差，則回歸的擬合程度看起來就越好。iiiiiiyyeyy = yy + exy222 (SST) (SSR) (SSE) SST SSR SSE，總平方和，回歸平方和，殘差平方

17、和則有：iiiyyyye度量y的變異中能由x的變異加以解釋的比例，介于01之間。2212111 niiniieSSRSSERSSTSSTyy* 非中心化的R2 當自變量中不包含常數時，R2 可能為負值，相關的另一概念為非中心化的R2 。2022-2-242521ucR e ey y ,0y y = y +ey +e = y y +e ey ebX e因為調整R方2022-2-2426222*2*21zyzyzRRRrrXXXXyz表示控制變量 后 和 之間的偏相關系數222212122/11111/1/1,1 /()12niiniiRRenKnKnRRnnKyynRRnnK 0e ey M y

18、而調整包含了對添加變量引起自由度變化的懲罰增加變量時如果平方和下降不夠快，可能下降一定小于因為例：R方和調整R方2022-2-2427201234lwageageageeducationkids22599.45810.041625.0844281110.0410.03194285 RR方差分析表 SS：平方和 Residual SS:殘差平方和，n-K個自由度，K包含常數項 Total SS：總平方和，n-1個自由度 Model SS：回歸平方和，K-1個自由度 df：自由度 MS：均方。等于平方和除以自由度2022-2-2428R方和模型比較 R2 是對y和x線性關系的一種度量，難以擬合非線

19、性的關系； R2 =0.99就好嗎？非穩(wěn)定時間序列往往存在“偽回歸” 不同模型比較的因變量要統(tǒng)一。如對數-水平值的選擇。Y的變異和lnY的變異不是一碼事。 只有在一個包含常數項的線性方程中使用最小二乘法， R2 才能理解為x的變異解釋了多少y的變異。2022-2-2429系數估計值與系數 有時候也線性回歸也以系數進行報告，表示當自變量變化一個標準差時因變量變動多少個標準差。 系數絕對值的大小可以表示變量的影響力。2022-2-2430*=/, *z,/iyyxyyys表示 變換或標準化1.6 OLS估計量的有限樣本特征估計值和估計量的區(qū)別估計量的特征 抽樣分布“有限樣本特征” 是與 “漸進”

20、或 “大樣本” 特征對應的。有限樣本性質是指對于任意給定樣本容量n都成立的估計量分布特征OLS估計量的有限樣本特征 (a)無偏性無偏性。E(b|X)=，OLS估計量是一個線性無偏估計量 (b)方差的表達式： (Gauss-Markov定理) OLS估計量是有效有效的線性無偏估計量（BLUE），換言之，對于任意的y的線性函數構成的無偏估計量c，都存在矩陣形式的關系式:var(c|X) var(b|X)2022-2-243212varb|XX X證明：無偏性*2022-2-2433 =+| -1-1-1-1Xb =X XX yX XXX + X XX Xb | XX XX Xbb | X真 實 參

21、 數抽 樣 誤 差以為 條 件 取 條 件 期 望 ：根 據 期 望 迭 代 定 律 可 以 得 到 無 條 件 期 望 ：EEEEE對這個結論的解釋是，對任意觀測集X，最小二乘估計量的期望值都是 ，因此當我們將其在X的所有可能值上進行平均時，它的無條件均值仍是 。最小二乘估計的抽樣分布：OLS估計量的無偏性2022-2-2434N=100，b=0.5我們從一個標準正態(tài)分布抽取兩個樣本，分別包含了對wi 和xi 的10000個隨機抽樣。然后生成一組i =0.5 wi , 和yi =0.5+0.5xi + i ,并把它作為總體。我們從這個總體中抽取500個各包含100個觀測值的隨機樣本，并對每個

22、樣本計算最小二乘斜率系數。0204060Frequency.3.4.5.6.7bRep #5001.6.1 遺漏變量問題模型誤設主要包括遺漏變量或冗余變量。假設一個正確的模型為: y = X1 1 + X2 2 + 如果我們錯誤的只是 y 對 X1 進行了回歸 b1 = (X1 X1)-1X1 y = (X1 X1)-1X1 (X1 1 + X2 2 + ) = 1 + (X1 X1)-1X1 X2 2 + (X1 X1)-1X1 Eb1 = 1 + (X1 X1)-1X1 X2 2除非除非X1 X2=0或或 2=0，否則b1就有偏誤。 正交回歸：如果多遠回歸中的變量不相關（即正交），那么多元

23、回歸系數與正交回歸：如果多遠回歸中的變量不相關（即正交），那么多元回歸系數與逐個進行簡單回歸的系數相同。逐個進行簡單回歸的系數相同。2022-2-2435注意：偏誤的方向，取決于 2和X2的每一列對X1回歸所得系數.這個偏誤不會隨著抽樣增加或樣本容量變大而消失。應用：遺漏變量問題2022-2-2436根據微觀經濟知識，需求函數可以表示為: log(Quantity) = 0+1log(Price) + 2Iog(Income) + 如果 Quantity 只對 Price 回歸，忘記了Income 變量. 結果會怎樣?The U.S. Gasoline Market, 52 Yearly Ob

24、servations, 1953-2004-12.8-12.6-12.4-12.2-12Log Gasoline Consumption33.544.55lnPGlnG=-13.36+0.299lnPGSimple Regression of lnG on a Constant and lnPG遺漏變量 在時間序列里, 1 0 CovPrice,Income 0 in time series data.因此，短回歸會高估價格系數，甚至超過了0改變了符號。112CovPrice,IncomeEb = +VarPrice1.6.2 冗余變量正確的模型是y = X1 1 + 而錯誤的估計了 y =

25、X1 1 + X2 2 + 首先，包含冗余變量不會引起偏差。因為如果 2 = 0, 那么 Eb1.2 = 1. 其次，可以證明，包含冗余變量將提高提高估計的方差，也就是說估計將更加不準確，尤其是冗余變量與解釋變量相關性較強時。2022-2-2438OLS估計量的方差*2022-2-2439 擾動項的假設: i 零均值并且與其他任何 j 都不相關; Vari|X = 2. i 的方差不依賴于樣本中的任何數據. 22varvar| =|=|=EEE -1-1-1-1-1-1-1b|Xb |Xb- b-XXXXX XXXXXX X X XXXXXI X XXXX212222n0.00.0Var|.0

26、0000. XI221varniibxx|X當只有常數和一個解釋變量時 注意：x的變異越大方差越小。高斯高斯-馬爾可夫馬爾可夫定理定理*2022-2-2440高斯高斯-馬爾可夫定理：在回歸元矩陣為馬爾可夫定理：在回歸元矩陣為X的經典線性回歸中，的經典線性回歸中，OLS估計量估計量b是是的最小方差線性無偏估計量。對任意一個的最小方差線性無偏估計量。對任意一個常數向量常數向量w，經典回歸模型中，經典回歸模型中w 的最小方差線性無偏估的最小方差線性無偏估計也都是計也都是wb.方差最小，我們稱方差最小，我們稱b是是有效估計。有效估計。1.6.3 最小二乘估計方差2022-2-244122,Root M

27、SEsnKsse e均方誤差就是 的平方根121/212 . b|XX XX X估計量 的標準誤，就是這個矩陣的第k個主對角元素的平方根kkkkEstVarsbse bs附：s2 無偏性的證明* Hayashi（2000），P.21 Greene，ed6,PP51,4.62022-2-2442例: Mroz 已婚婦女工資方程2022-2-2443協(xié)方差矩陣201234lwageageageeducationkids2ss*方差估計：bootstrap法方法：1. 使用整個樣本估計: - b2. 重復 R 次:從樣本容量為n的樣本中有放回抽取n次,得到一個新樣本，估計 得到 b(r). 3. 估

28、計系數方差 V = (1/R)r b(r) - bb(r) - b2022-2-2444應用：工資方程2022-2-24451.7 OLS估計量的大樣本特征* 1. 一致性。b是經典回歸模型中 的一致估計量（consistent estimator)。 證明見Greene，P65-66. 2.漸進正態(tài)分布2022-2-2446plimb 2211120plim,1/,/.nidQnNnnnK X XbQX XQe e如果服從均值為 ，方差為的獨立分布，假設存在則實踐中，用估計用估計1.8 區(qū)間估計2022-2-244712222222221/21/2CLMOLS,/Pr1kkkkkkkkkkk

29、kkkkknKkkkbkkbNbkbNSzSsbSbts SnKsnKbtsbtsb | XX X從前面的內容知道，在條件下估計量服從：對于第 個系數，有：，對其標準化有：在未知的情況下，用估計的替換，得到：因此，置信區(qū)間構造為：1.9 多重共線性問題 高斯馬爾科夫定理指出，在所有線性無偏估計量中，最小二乘估計量具有最小的方差。但并不保證其在任何絕對意義上都有較小方差。 系數bk的方差可以表示為（Greene,P59)： 其他條件不變，xk與其他變量相關程度越高(R2 )，其系數方差越大； 其他條件不變，xk的變動程度越大，方差越?。?其他條件不變，總體回歸擬合的越好（2越小），估計方差越小。

30、2022-2-24482kn22kikki 122kkVarb | = 1 R(xx )RxRX表示對所有其他變量回歸所得。如果有一個自變量可以表示為其他自變量的線性組合，則存在完全如果有一個自變量可以表示為其他自變量的線性組合，則存在完全共線共線性性.Stata可以自動識別完全共線性，主要問題來自近似共線性。可以自動識別完全共線性，主要問題來自近似共線性。高度相關產生的問題 數據的微小變化導致參數估計值的大幅波動 盡管系數具有聯合顯著性且回歸的R2 值較高，但系數標準差較大，顯著性水平較低 系數可能具有“錯誤的”符號或不合理的大小。2022-2-2449多重共線性的判斷 1. 簡單相關系數：

31、0.8以上就有一些問題了； 2.回歸的F值大但系數t值都不顯著。 3.方差膨脹因子： 一般認為超過5就存在一定問題。 4.XX的條件數：矩陣最大特征根和最小特征根之比的平方根。大大條件數意味著小的X的變化能引起估計系數大大變動。超過20一般就有問題了。2022-2-24502.1/ 1kVIFR例（E.4.6）：朗利數據2022-2-2451例：朗利數據2022-2-2452僅僅是否包含最后一個年度觀測值，估計結果差異巨大！方差膨脹因子01234+EmployYearPriceGNPArmed對多重共線性的處理 1.增加樣本信息；2.刪除變量（潛在遺漏偏物）； 3.包含所有變量回歸，疑問變量是

32、否顯著，如顯著保留，如不顯著，丟棄； 4.主成分，對系數經濟含義2022-2-2453應用：電影票房2022-2-24542022-2-24551.10 異常值* 在樣本較小的情況下，異常值會對估計系數產生較大影響。 異常值的識別：標準化殘差和學生化殘差2022-2-2456 2/ 1Studentized112iiiiiiiiiiiiiiiesVar eehee ihnKh e exX Xx標準化殘差 standized residual ：學生化殘差 residual ：其中，如果學生化殘差或標準化殘差超過 ，認為是可能的異常值。應用：莫奈名畫的拍賣價格-4-2024246810Log A

33、reaLog PriceFitted valuesFIGURE 4.9 Log Price vs. Log Area for Monet Paintings.2022-2-2457估計命令返回的數值2022-2-2458use wage1.dta,clearregress lwage educ exper tenureereturn list*注意e(sample),當觀測值包含在估計樣本中時，e(sample)函數為1，否則為0.如果有缺省值，樣本統(tǒng)計（如均值）可能與估計樣本不同。Summarize x if e(sample)1.11 報告回歸結果 學術論文有一定的規(guī)范，尤其是多個回歸結果

34、，表格的安排。 estimates table estout命令2022-2-2459例子：波士頓房價模型2022-2-2460VariableModel1Model2Model3Model4rooms0.369-0.8210.2550.02010.1830.0185rooms20.08890.014ldist0.237-0.157-0.1340.02550.05050.0431stratio-0.0775-0.05250.00660.0059lnox-1.22-0.9540.1350.117_cons7.6211.313.611.10.1270.5840.3040.318r2_a0.3990

35、.50.4240.581rmse0.3170.2890.3110.265N506506506506* p0.05, * p0.01, * p legend label collabels(none) varlabels(_cons Constant). estout *, cells(b(star fmt(%7.3f) se(par) stats(r2_a N, fmt(%7.3f %5.0g) labels(R-squared) /2022-2-2461* p0.05, * p0.01, * p legend label collabels(none) varlabels(_cons Con

36、stant). estout *, cells(b(star fmt(%7.3f) se(par) stats(r2_a N, fmt(%7.3f %5.0g) labels(R-squared) /附錄：OLS推導2022-2-2462 00000000000-12min/220=/=2SSSS bbe e = (y -Xb )(y -Xb )by y2y Xbb X XbbbX yX XbbX Xb X ybX XX ybb bX X展開得:滿足最小二乘正規(guī)方程組：二階條件：可以證明其為正定矩陣。附錄：高斯-馬爾可夫定理的證明2022-2-2463附錄：LS的方差（1.7 多重共線性）12

37、22122n2ii 12i: = + + Variance of c c .Varc = * * * = .* * R R = 1 - , (zz)* * 1R(zz Xz|XyXzbX XX zzXzzzM zzzzzX zzzz模型的方差是逆矩陣右下角的元素其中對回歸的殘差向量此回歸的為于是 z|Xz|Xn2i 1221n22ii 1) . ,Varc = 1R(zz)Xz|XzM z因此文獻選讀 N. Gregory Mankiw; David Romer; David N. Weil, 1992，A Contribution to the Empirics of Economic Gr

38、owth, The Quarterly Journal of Economics, Vol. 107, No. 2. (May, 1992), pp. 407-437.2022-2-2465附錄：不同數據類型的Stata估計命令數據類型數據類型估計命令估計命令Linearregress,cnreg,areg,treatreg,ivregress,qreg,boxcox,frontier,mvreg,sureg,reg3,xtreg,xtgls,xtrc,xtpcse,xtregar,xtmixed,xtivreg,xthtaylor,xtabond,xtfrontierNonlinear LSnlBinarylogit,logistic,probit,cloglog,glogit,slogit,hetprob,scobit,ivprobit,heckprob,xtlogit,xtprobit,xtcloglogMultinomialmlogit,clogit,asclogit,nlogit,ologit,rol