第7講線性回歸的后續(xù)估計命令

1、第7講 回歸診斷regress postestimation Postestimation tools for regress(回歸的后續(xù)估計工具) 常用的后續(xù)估計命令：命令描述dfbetaDFBETA影響統(tǒng)計量estat hettest異方差檢驗estat imtest信息矩陣檢驗estat ovtest對于遺漏變量的拉姆齊回歸設(shè)定誤差檢驗 estat szroeter對于異方差的Szroeter秩檢驗estat vif自變量的方差膨脹因子 estat esize2和2效應(yīng)大小 標(biāo)準(zhǔn)的后續(xù)估計命令：CommandDescriptioncontrast估計的對比和ANOVA-style的聯(lián)合檢

2、驗 estat ic赤池與施瓦茨的貝葉斯信息準(zhǔn)則(AIC and BIC) estat summarize估計樣本的概要統(tǒng)計 estat vce估計量的方差-協(xié)方差矩陣(VCE) estat (svy)postestimation statistics for survey data estimatescataloging estimation resultsforecast動態(tài)預(yù)測和模擬hausmanHausman的設(shè)定檢驗lincom系數(shù)的線性組合的點估計、標(biāo)準(zhǔn)誤差、檢驗和推斷 linktest模型設(shè)定的link檢驗lrtest似然比檢驗margins邊際均值、預(yù)測性邊際、邊際效應(yīng)和平均邊

3、際效應(yīng) marginsplotgraph the results from margins (profile plots, interaction plots, etc.)nlcom系數(shù)的非線性組合的點估計、標(biāo)準(zhǔn)誤差、檢驗和推斷predict預(yù)測、殘差、影響統(tǒng)計量和其他診斷工具predictnl廣義預(yù)測的點估計、標(biāo)準(zhǔn)誤差、檢驗和推斷 pwcompare估計的兩兩比較 suest似不相關(guān)估計 test簡單和復(fù)合線性假設(shè)的Wald檢驗 testnl非線性假設(shè)的Wald檢驗 predict的命令語句predict type newvar if in , statisticpredict選項stati

4、stic 描述xb 計算線性預(yù)測值，默認(rèn)選項residuals 計算殘差score 計算得分，在線性回歸中等于殘差rstandard 計算標(biāo)準(zhǔn)化的殘差rstudent 計算學(xué)生化殘差(Studentized (jackknifed) cooksd 計算Cook的D影響統(tǒng)計量leverage 或 hat 計算杠桿(投影矩陣(帽矩陣)的對角元素) pr(a,b) 計算Pr(yj |a < yj< b)e(a,b) 計算E(yj | a < yj< b)ystar(a,b) 計算E(yj*),yj*= maxa,min(yj,b)，如果yja， yj*=a；如果yjb， yj

5、*=b。否則 yj*=xjb+uj，這意味著 yj*是截尾的。dfbeta(varname) 計算變量varname的DFBETA值，當(dāng)包括和排除第j個觀測值，回歸系數(shù)之間的差。所說的差通過系數(shù)的估計標(biāo)準(zhǔn)誤差來標(biāo)度。變量varname必須包含在此前擬合模型的回歸元中。 stdp 計算線性擬合(prediction)的標(biāo)準(zhǔn)誤差，也稱為擬合值的標(biāo)準(zhǔn)誤差。可認(rèn)為是針對觀測值的協(xié)變量模式的預(yù)測期望值或均值的標(biāo)準(zhǔn)誤差。stdf 計算預(yù)測(forecast)的標(biāo)準(zhǔn)誤差，通常稱為未來或預(yù)測值(forecast value)的標(biāo)準(zhǔn)誤差，它是針對1個觀測值的點預(yù)測的標(biāo)準(zhǔn)誤差。通過構(gòu)造，由stdf得到的標(biāo)準(zhǔn)誤差總

6、是比由stdp得到的更大。stdr 計算殘差標(biāo)準(zhǔn)誤covratio 計算COVRATIO值,對于第j個觀測值影響的測量。它是基于考慮對于估計的方差協(xié)方差矩陣影響。dfits 計算DFITS值，并試圖得到杠桿作用對殘差平方的散點圖信息的概要統(tǒng)計。welsch 計算Welsch距離，它是dfits的一個變化。predict newvar(,xb) (預(yù)測y值)predict newvar,cooksd (Cook的D影響統(tǒng)計量)predict newvar,resid (殘差)predict newvar,rstandard (標(biāo)準(zhǔn)化殘差)predict newvar,stdf (個別值預(yù)測標(biāo)準(zhǔn)誤

7、，也稱為容許(最大容忍的)標(biāo)準(zhǔn)誤。個別值預(yù)測的標(biāo)準(zhǔn)誤比均值預(yù)測的標(biāo)準(zhǔn)誤多一個(hat_sigma)predict newvar,stdp (均值預(yù)測標(biāo)準(zhǔn)誤，也稱為置信標(biāo)準(zhǔn)誤)predict newvar,stdr (殘差標(biāo)準(zhǔn)誤)predict newvar,welsch (Welsch氏距離影響統(tǒng)計量)Terminology術(shù)語（略）擬合值與殘差例1：擬合值和殘差回歸分析之后，命令predict可以得到擬合值、殘差和其他統(tǒng)計量。help predict得到詳細清單。繼續(xù)第6講線性回歸分析的例1，擬合模型：mpg= 0+1weight+2foreign+use auto,clearregress

8、 mpg weight foreignpredict pmpg (生成擬合值)predict resid, resid (生成殘差)summarize pmpg mpg residlist make mpg pmpg resid in 1/10twoway scatter resid pmpg,yline(0) (殘差對擬合值的散點圖，后面有專門命令rvfplot)regress mpg weight if foreignpredict pmpg1 if e(sample) (子樣本擬合模型得到的擬合值)predict pmpg2 (用全部觀測值得到的樣本之外的擬合值)例2：Out-of-sa

9、mple predictions (forecasts) (這里是截面樣本)use newautos, clearpredict pmpglist, divider 補充知識：Prediction standard errors（P18761877）stdp計算線性預(yù)測的標(biāo)準(zhǔn)誤差，其平方項是varyj=s2hj ，它是由估計系數(shù)向量b的不確定性引起的預(yù)測誤差根據(jù)模型，yj 的真實值由yj=Xjb+j=yj+j給定，因此varyj=varyj+varj=s2hj+s2，這是stdf的平方項?？梢钥吹剑瑂tdf是預(yù)測誤差和殘差誤差的總和。y的估計方差(回歸的均方誤)s2，s2hj+s21-hj=s

10、2分解成預(yù)測方差s2hj和殘差方差s21-hj，而后者就是stdr的平方項。例3：standard error of the forecastuse newautos, clear (重復(fù)例2的操作)predict pmpg (重復(fù)例2的操作)predict se_pmpg, stdflist, separator(1)（因此，mpg大約95%的置信區(qū)間就是pmpg±2·se_pmpg）例4：投影矩陣(帽矩陣)的對角元素投影矩陣的對角元素，是解釋變量空間距離的度量。用于檢測單個觀測值的影響。use auto, clearregress mpg weight foreignp

11、redict xdist, hatsummarize xdist, detail (大約5%的樣本的xdist值超過0.08，0.08可認(rèn)為是臨界值)list make mpg foreign weight if xdist>.08,divider參看lvr2plot關(guān)于杠桿作用對殘差平方的散點圖(leverage-versus-squared-residual plot)補充知識：Standardized and Studentized residuals（P1879）例5：標(biāo)準(zhǔn)化和學(xué)生化殘差(在識別異常值上，學(xué)生化殘差要優(yōu)于標(biāo)準(zhǔn)化殘差。學(xué)生化殘差可以解釋為t統(tǒng)計量，用于檢驗虛擬變量的

12、顯著性。虛擬變量在特定觀測值等于1，其余為0。)use auto, clearregress price weight foreign#c.mpgpredict esta if e(sample), rstandardpredict estu if e(sample), rstudentlvr2plot ,mlabel(make) (我們發(fā)現(xiàn)，VW Diesel(大眾)具有最高的杠桿，但殘差卻很小。進一步觀察VW Diesel的標(biāo)準(zhǔn)化和學(xué)生化殘差)list make price esta estu if make="VW Diesel"補充知識：DFITS, Cooks D

13、istance和Welsch Distance (P1880)DFITS，Cook的D影響統(tǒng)計量和Welsch距離是三個工具，試圖得到杠桿作用對殘差平方的散點圖信息的概要統(tǒng)計。也就是說，目的是創(chuàng)建一個由殘差大小異常值hi大小杠桿作用影響的指標(biāo)。例6：DFITS influence measure接前面的例5，predict e if e(sample), residpredict dfits, dfits（模型有k = 5個自變量(包括常數(shù)項)，n = 74個觀測值；遵循2k/n 臨界值）list make price e dfits if abs(dfits) > 2*sqrt(5/7

14、4), dividerpredict cooksd if e(sample), cooksd （計算Cooks distance）list make price e cooksd if cooksd > 4/74, divider （臨界值4/n）predict wd, welsch (計算Welsch distance)list make price e wd if abs(wd) > 3*sqrt(5), divider （臨界值3k）補充知識：COVRATIO (P1882)COVRATIO測量第i個觀測值的影響，通過考慮對于估計的方差協(xié)方差矩陣影響。它是在有和沒有第i個觀測

15、值的情況下，協(xié)方差矩陣的影響因素的比率。例7: COVRATIO influence measure接前面的例5，predict covr, covratiolist make price e covr if abs(covr-1) >= 3*5/74, divider （臨界值3k/n）DFBETA influence statistics （略 P1883-1885）Tests for violation of assumptions我們引入了一些回歸診斷命令旨在檢驗?zāi)承┻`背經(jīng)典線性回歸假設(shè)的情況。estat ovtest提供了遺漏變量的Ramsey檢驗。estat hettest提

16、供了異方差檢驗。estat szroeter提供了異方差秩檢驗，這是一種對estat hettest計算的score檢驗的替代。最后，estat imtest計算信息矩陣檢驗，包含對異方差，偏度和峰度的正交分解檢驗。Cameron和Trivedi (2010, 第3章)討論了大部分檢驗，并提供了更多的例子。例10：estat ovtest，estat hettest，estat szroeter和estat imtestuse auto, clearregress price weight foreign#c.mpgestat ovtestestat hettestestat szroeter

17、, rhsestat imtest結(jié)論：我們發(fā)現(xiàn)了遺漏變量、異方差和非正態(tài)偏度(skewness)的證據(jù)。例11：estat vif 方差膨脹因子（Variance Inflation Factor，VIF）：容忍度的倒數(shù)，VIF越大，顯示共線性越嚴(yán)重。經(jīng)驗判斷方法表明：當(dāng)0VIF10，不存在多重共線性；當(dāng)10VIF100，存在較強的多重共線性；當(dāng)VIF100，存在嚴(yán)重多重共線性。判斷多重共線性的證據(jù)：1. 最大的VIF大于10 (一個更保守的閾值是30)；2. 全部VIF的均值顯著大于1。use auto,clearregress price mpg rep78 trunk headroom

18、 length turn displ gear_ratioestat vif例12：estat vif, with strong evidence of multicollinearityuse bodyfat,clearregress bodyfat tricep thigh midarmestat vif例13: estat vif, with strong evidence of collinearity with the constant termuse extreme_collin,clearregress y one x zestat vifestat vif, uncentere

19、d例2：殘差對擬合值(預(yù)測值)的散點圖(檢驗異方差)use auto,clearregress price weight foreign#c.mpg (等同于 i.foreign mpg foreign#c.mpg三個變量)rvfplot,yline(0) (在一個良好擬合的模型中，殘差對擬合值的散點圖不應(yīng)該有既定的模式。任何模式都表明違背了最小二乘法的基本假設(shè)。這張圖暗示兩個問題：第一，殘差呈現(xiàn)曲線形狀，表明price不是線性的；第二，異方差。例3：殘差對自變量的散點圖 (一個簡單的方法用來查找模型是否違背了回歸假設(shè)。如果假設(shè)正確，圖形中就不應(yīng)該出現(xiàn)任何帶有趨勢性的模式)use auto,c

20、learregress price weight foreign#c.mpgrvpplot mpg, yline(0) (任何帶有趨勢性的模式都表示出現(xiàn)了問題。這里我們發(fā)現(xiàn)，隨著mpg的遞增，殘差遞減)例4：杠桿作用對殘差平方的散點圖(查找異常值)use auto,clearregress price weight foreign#c.mpglvr2plot(水平線之上的點有高于平均水平的杠桿；垂直線右側(cè)的點有高于平均水平的殘差。在圖形頂部的點具有高杠桿和低于平均水平的殘差。在圖形右側(cè)的點具有低杠桿和高于平均水平的殘差) (杠桿作用告訴我們，一個觀測案例有多大潛力對回歸造成影響。自變量的異常值

21、會導(dǎo)致一個觀測案例具有很大的杠桿作用。殘差平方較大則表明一個觀測案例的因變量與回歸模型預(yù)測值極為不同。)lvr2plot, mlabel(make) (給異常值加標(biāo)簽)例5：偏回歸杠桿圖(識別異常值)use auto,clearregress price weight foreign#c.mpgavplot mpg, mlabel(make) (此圖表明我們的模型存在異常值)例：局部殘差圖(檢查模型的函數(shù)形式假設(shè)，是一種非線性檢驗)use auto1,clearregress price mpg weight (mpg系數(shù)不顯著)cprplot mpg, mspline msopts(bands(13)regress price mpg c.mpg#c.mpg weight (mpg和平方項的系數(shù)顯著，這表明mpg的影響是非線性的)cprplot mpg, mspline msopts(bands(13)例：增強的局部殘差圖(非線性檢驗)use auto,clearregress price weight foreign#c.mpgacprplot mpg, mspline msopts(bands(13)例：殘差的正態(tài)性檢驗kdensity - produces kernel density plot with normal distribution overlayed.pno