stata學(xué)習(xí)筆記

1、經(jīng)濟數(shù)據(jù)的特點與類型。1、橫截面數(shù)據(jù)：多個經(jīng)濟個體的變量在同一時間點上的取值，如2012年中國各省的GDP2、時間數(shù)列數(shù)據(jù)：指的是某個經(jīng)濟個體的變量在不同時點上的取值，如1978-2012年山東省每年的GDP3、面板數(shù)據(jù)：多個經(jīng)濟個體的變量在不同時點上的取值，如1978-2012年中國各省的GDP小樣本OLS（最小二乘法）：單一方程線性回歸最常見方法條件：解釋變量與擾動項正交、擾動項無自相關(guān)、同方差。擬合優(yōu)度：衡量線性回歸模型對樣本數(shù)據(jù)的擬合程度（R2），越高說明模型擬合程度越好。單系數(shù)T檢驗：對回歸方程擾動項的具體概率進行假設(shè)顯著性水平進行檢驗F檢驗：整個回歸方程是否顯著STATA操作簡介：

2、如果數(shù)據(jù)中包含1949-10-01或1949/10/01的時間變量，導(dǎo)入stata后可能會被視為字符串，因此對于日度數(shù)據(jù)，可以使用命令gen newvar=date(varname,YMD),將其轉(zhuǎn)換為整數(shù)日期變量，其中YMD說明原始數(shù)據(jù)的格式為年月日，如果原始數(shù)據(jù)的格式為月日年則使用MDY；對于月度數(shù)據(jù)則gen newvar=monthly(varname,YM)。.describe：數(shù)據(jù)的概貌 .drop keep：刪除和保留.su：統(tǒng)計特征 Pwcorr：變量之間相關(guān)系數(shù)Star（.05）：5%顯著性水平 gen:產(chǎn)生g intc=log（tc）：取自然對數(shù). reg：OLS回歸.Vce

3、：協(xié)方差矩陣 reg。，noc表示在進行回歸時不要常數(shù)項大樣本OLS：只要求解釋變量與同期的擾動項正交即可Robust：穩(wěn)健標準誤，如果存在異方差，則應(yīng)使用穩(wěn)健標準誤最大似然估計法：如果回歸方程存在非線性，則使用最大似然估計法（MLE）或非線性最小二乘法（NLS）三類在大樣本下漸進等價的統(tǒng)計檢驗：Wald test LR（似然比檢驗） LM操作步驟如下：sysuse auto（調(diào)用數(shù)據(jù)集）Hist mpg，normal（畫變量mpg的直方圖，并與正態(tài)密度比較）直方圖顯示，變量mpg的分布于正態(tài)分布有一定差距。變量可以取對數(shù)解決非正態(tài)分布的問題。異方差與GLS（廣義最小二乘法）異方差的檢驗：看殘

4、差圖、懷特檢驗（white test）、BP檢驗（Breusch and Pagan）異方差的處理：1、OLS+穩(wěn)健標準誤（最好的） 2、廣義最小二乘法（GLS） 3、加權(quán)最小二乘法（WLS）實例操作：1、 使用數(shù)據(jù)：use nerlove.dta,clear2、 reg intc inq inpl inpk inpf（進行回歸）3、 畫殘差圖：rvfplot上圖可以發(fā)現(xiàn)當擬合值較小時，擾動項方差較大，繼續(xù)考察殘差與解釋變量inq的散點圖：rvpplot inq，結(jié)果與上圖幾乎一致，可能存在異方差，即擾動項的方差隨著觀測值而變。4、 完成回歸后，進行懷特檢驗：estat imtest，whit

5、e P值顯著，認為存在異方差6、完成回歸后，進行BP檢驗：estat hettest,iid estat hottest,rhs iid estat hottest inq,iid三種形式的檢驗都強烈拒絕同方差的原假設(shè)，存在異方差（這里只放一個形式的檢驗結(jié)果）7、 處理異方差自相關(guān) ：擾動項之間自相關(guān)自相關(guān)的例子：1、時間序列數(shù)據(jù)中通常具有某種連續(xù)性和持久性，如相鄰兩年的GDP增長率；2、截面數(shù)據(jù)中相鄰的觀測單位之間可能存在溢出效應(yīng)，如相鄰地區(qū)的農(nóng)業(yè)產(chǎn)量收到類似天氣變化的影響；3、對數(shù)據(jù)的人為處理如數(shù)據(jù)中包含移動平均數(shù)等；4、如果模型設(shè)定中遺漏了某個自相關(guān)的解釋變量并被納入到擾動項中，則會引起

6、擾動項的自相關(guān)。自相關(guān)的檢驗：1、畫圖（不推薦）2、BG檢驗estat bgodfrey 3、BOX-Pierce Q檢驗 4、DW檢驗 estat dwatson. 檢驗都要在OLS做完后才能做。自相關(guān)的處理：1、使用OLS+異方差自相關(guān)穩(wěn)健的標準誤；2、OLS+聚類穩(wěn)健的標準誤；3、使用可行廣義最小二乘法（FGLS）；4、修改模型設(shè)定自相關(guān)處理實例：1、使用數(shù)據(jù) icecream 然后進行回歸 BG檢驗顯著 拒絕了原假設(shè)無自相關(guān)，則認為存在自相關(guān)Q檢驗（略）、DW檢驗如下DW=1.02 距離2很遠 可以認為存在自相關(guān)。由以上的檢驗可以看出擾動項之間存在自相關(guān)，因此OLS提供的標準誤是不準確

7、的，應(yīng)使用異方差自相關(guān)穩(wěn)健標準誤，由于樣本為30個，n四分之一=2.34，故取NEWey-West估計量的滯后值為P=3，結(jié)果如下：上圖顯示標準誤與OLS標準誤無多大區(qū)別，因此將滯后階數(shù)增加為6，從上圖可以看到無論截斷參數(shù)是3還是6，標準誤都變化不大，比較穩(wěn)健。此外，前面提到自相關(guān)存在可能是因為模型設(shè)定不正確，因此考慮在解釋變量中加入temp的滯后值，然后再進行OLS回歸：然后使用BG檢驗是否存在自相關(guān)：結(jié)果顯示無自相關(guān)，而后DW值也改進為1.58，因此修改模型后擾動項基本不再存在自相關(guān)。模型設(shè)定與數(shù)據(jù)問題遺漏變量：被解釋變量可能被加入到擾動項中解決方式：加入盡可能多的控制變量；使用代理變量；

8、工具變量法；使用面板數(shù)據(jù)；隨機試驗或自然實驗。其中代理變量應(yīng)滿足兩個條件：多余性，僅通過影響遺漏變量而作用于被解釋變量；剩余獨立性，遺漏變量中不受代理變量影響的剩余部分與所有解釋變量均不相關(guān)。多重共線性：某一解釋變量可以由其他解釋變量線性表出，即存在多重共線性。檢測：先回歸，然后estat vif VIF低于10即不存在多重共線性。工具變量，2SLS與GMM工具變量的適用條件：OLS成立的最重要條件是解釋變量與擾動項不相關(guān)，如出現(xiàn)相關(guān)可以使用工具變量法來解決。其中在計量經(jīng)濟學(xué)中，將所有與擾動項相關(guān)的解釋變量成為內(nèi)生變量，一個有效的工具變量應(yīng)滿足一下兩個條件：1、工具變量與內(nèi)生解釋變量相關(guān)；2、

9、工具變量與擾動項不相關(guān)。過程：傳統(tǒng)的工具變量法一般通過二階段最小二乘法（2SLS或TSLS）來實現(xiàn)：1、用內(nèi)生解釋變量對工具變量進行回歸，得到擬合值Pt（Pt實際上是內(nèi)生變量中的外生部分，而另一部分是與擾動項相關(guān)）；2、用被解釋變量對第一階段的擬合值Pt進行回歸。工具變量的檢測：1、不可識別檢驗；2、弱工具變量檢驗；3、過度識別檢驗（estat overid）。豪斯曼檢驗：原假設(shè)為所有解釋變量均為外生變量，若拒絕假設(shè)的話應(yīng)該使用工具變量法，若接受的話使用OLS。豪斯曼過程：reg X1 x2Estimates store ols(存儲OLS的結(jié)果)Ivregress 2sls y x1(x2=

10、z1 z2)(假設(shè)懷疑X2為內(nèi)生變量)Estimates store iv(存儲2SLS結(jié)果)Hausman iv ols,constant sigmamore(根據(jù)存儲的結(jié)果進行豪斯曼檢驗)若存在異方差的問題，則可以使用杜賓-吳-豪斯曼檢驗。它在異方差的情況下也適用。在球形擾動項的假定下，2SLS最有效，但如果擾動項存在異方差或自相關(guān)，則存在GMM廣義矩估計這一更有效的方法：首先使用2SLS得到殘差，然后GMM，但是在實際操作中使用迭代法。GMM的命令：ivregress gmm y x1(x2=z1 z2) 兩步最優(yōu)GMMivregress gmm y x1 (x2=z1 z2)，igmm

11、 迭代GMMestat overid 過度識別檢驗工具變量法的STATA命令和實例：Use grilic.dta,clearSum然后考察智商和受教育年限的相關(guān)關(guān)系（本文研究的是工資與受教育年限的關(guān)系）具有較強的正相關(guān)關(guān)系。然后作為一個參照系，進行OLS回歸并使用穩(wěn)健標準誤。教育投資率10.26%，顯然過高，可能是遺漏了變量能力，使得能力對工資的貢獻也被納入教育的貢獻。因此使用iq作為能力的代理變量，再進行OLS回歸，可以發(fā)現(xiàn)加入iq作為能力的代理變量后，教育投資回報率降低了一些，但還是過高。（如下圖）使用iq來度量能力存在測量誤差，因此iq為內(nèi)生變量，考慮使用med kww mrt age作

12、為iq的工具變量，進行2SLS回歸 ,并使用穩(wěn)健標準誤。受教育年限回報上升，而iq竟然是負相關(guān)，因此不可信，使用工具變量法需要驗證其工具變量的有效性因此進行過度識別來檢驗所有工具變量是否外生。上圖顯示有些工具變量不合格，與擾動項相關(guān)。懷疑mrt和age不滿足外生性，因此僅適用med和kww作為iq的工具變量，再次進行2SLS回歸，同時顯示第一階段的回歸結(jié)果。如上圖，第一部分回歸是使用內(nèi)生解釋變量對工具變量進行回歸，第二部分用被解釋變量對第一階段回歸的擬合值進行回歸。上圖中教育回報率較為合理，而且iq系數(shù)也為整數(shù)，再次進行過度識別檢驗。結(jié)果沒有拒絕外生的原假設(shè)。接下來繼續(xù)考察作為工具變量的第二個

13、條件，即工具變量與內(nèi)生變量的相關(guān)性，由第一階段的回歸看出，med和kww對iq有較好的解釋力，但為穩(wěn)健起見，還是使用對弱工具變量更不敏感的有限信息最大似然法（LIML）。以上結(jié)果與2SLS非常接近，側(cè)面驗證了不存在弱工具變量。還有，使用工具變量法的前提是存在內(nèi)生解釋變量，因此進行豪斯曼檢驗。結(jié)果顯示拒絕了原假設(shè)，因此存在iq為內(nèi)生變量，又因為傳統(tǒng)的豪斯曼檢驗在異方差的情況下不成立，下面進行異方差穩(wěn)健的DWH檢驗：DWH的P值小于0.05，故可以認為iq為內(nèi)生解釋變量。另外如果存在異方差，則GMM比2SLS更有效，因此進行最優(yōu)GMM估計：上圖顯示兩步最優(yōu)GMM與2SLS很接近，再進行過度識別檢驗

14、結(jié)果接受原假設(shè)，說明所有工具變量外生。然后再做迭代GMM：下圖顯示與兩步GMM系數(shù)估計值相差不大。如果希望將以上各估計值級標準誤弄在同一張表中：qui reg lw s expr tenure rns smsa,r. est sto ols_no_iq. qui reg lw iq s expr tenure rns smsa,r. est sto ols_with_iq. qui ivregress 2sls lw s expr tenure rns smsa (iq=med kww),r. est sto tsls. qui ivregress liml lw s expr tenure

15、rns smsa (iq=med kww),r. est sto liml. qui ivregress gmm lw s expr tenure tns smsa (iq=med kww). qui ivregress gmm lw s expr tenure rns smsa (iq=med kww). est sto gmm. qui ivregress gmm lw s expr tenure rns smsa (iq=med kww),igmm. est sto igmm. estimates table ols_no_iq ols_with_iq tsls liml gmm igm

16、m,b se其中，選項b表示顯示回歸系數(shù)，se表示顯示標準誤差如果希望用一顆星表示10%顯著性水平等等：如果想像論文一樣顯示，則如下表：se表示在括弧中顯示標準誤差，p表示顯示P值，r2表示顯示R的平方，mtitle顯示使用模型名字，二值選擇模型離散選擇模型、定性反應(yīng)模型或被解釋變量取非負整數(shù)時，都不適宜使用OLS回歸。1、 二值選擇模型：只有兩種選擇，是否。Probit y x1 x2 x3,r (probit模型)Logit y x1 x2 x3,or vce（cluster clustvar） （logit模型）其中，r代表使用穩(wěn)健標準誤，or顯示幾率比而不是系數(shù)，vce表示使用以clu

17、stvar為聚類變量的聚類穩(wěn)健標準誤。Stata舉例：美國婦女就業(yè)與否的二值選擇模型。然后使用logit進行估計：結(jié)果顯示所有系數(shù)的聯(lián)合顯著性很高，繼續(xù)使用穩(wěn)健標準誤進行l(wèi)ogit回歸：對比以上兩個表格顯示標準誤相差不大，因此不用擔心模型設(shè)定問題。二值選擇模型中的異方差問題：hetprob y x1 x2 x3,het(varlist)，如果接受原假設(shè)則為同方差。此外，二值選擇模型中一般都沒有擾動項的存在。二值選擇模型中的異方差問題可以進行似然比檢驗（LR）：hetprob y x1 x2 x3,het(varlist)(這是在異方差情況下進行Probit估計的stata命令，het（varl

18、ist）制定對擾動項方差有影響的所有變量，如het（age married children）)，LR檢驗原假設(shè)為同方差。多值選擇模型個體面臨的選擇有時是多值的，因此可能需要使用到多項probit或多項logit，或者在有某項條件時需要用到條件logit，還有在不隨方案而變的多項logit模型和解釋變量隨方案而變的條件logit模型混合的logit模型。舉例來說，問卷調(diào)查將受訪者職業(yè)分為五類（OCC），解釋變量為是否白人、受教育年限、工齡，解釋變量都依賴于個體而不依賴于方案，因此使用多項logit或多項probit回歸：進行多項logit回歸：上述結(jié)果說明白人更不可能選擇服務(wù)業(yè)或工匠；是否白人

19、對選擇藍領(lǐng)或白領(lǐng)沒顯著影響。排序與計數(shù)模型1、 泊松回歸：被解釋變量只能取非負整數(shù)，即0,1,2.，這時常用泊松回歸。Poisson y x1 x2 x3,r irrPoisson y x1 x2 x3,r exposure(x1)Poisson y x1 x2 x3,r offset(x1)其中，r為穩(wěn)健標準誤，irr為顯示發(fā)生率比，exposure表示把inx1作為解釋變量并使其系數(shù)為1，offset表示將x1作為解釋變量并使其系數(shù)為1.2、 負二項回歸：泊松回歸的局限是泊松分布的期望與方差一定相等，但如果被解釋變量的方差明顯大于期望，即存在過度分散，這時候可以使用負二項回歸。Nbreg

20、y x1 x2 x3,r exposure(x1)Nbreg y x1 x2 x3,r dispersion(constant) offset(x1)其中dispersion（constant）表示使用NB1模型。3、 零膨脹泊松回歸與負二項回歸：如計數(shù)數(shù)據(jù)中包含大量0值，則可以使用零膨脹泊松回歸或零膨脹負二項回歸。如果vuong統(tǒng)計量很大為正數(shù)，則應(yīng)該使用零膨脹泊松回歸，如果統(tǒng)計量很小為負數(shù)，則使用零膨脹負二項回歸。Zip y x1 x2 x3,inflate(varlist) vuong(零膨脹泊松回歸)Zinb y x1 x2 x3,inflate(varlist) vuong(零膨脹負

21、二項回歸)，其中inflate(varlist)不可缺少列出所有變量。如果研究者只關(guān)注參數(shù)的估計值，則泊松回歸。Stata舉例：被解釋變量narr86（1986年被逮捕的次數(shù)），被解釋變量為計數(shù)數(shù)據(jù)，盡管如此，還是使用OLS回歸進行觀察：R的平方為0.07，但大多數(shù)解釋變量都顯著，下面進行泊松回歸，并使用穩(wěn)健標準誤：（nolog）表示不顯示迭代記錄。上倆圖可以看出雖然OLS和泊松的系數(shù)相差很大，但兩者并不具有可比性，為方便比較，計算泊松回歸的平均邊際效應(yīng)：可以看出，泊松模型的平均邊際效應(yīng)與OLS的回歸系數(shù)很接近，為便于解釋系數(shù)，下面計算發(fā)生率比：可以看出黑人被逮捕次數(shù)比白人多93.6%。此外使

22、用泊松回歸的前提之一是被解釋變量的期望與方差相等，因此考察被解釋變量的統(tǒng)計特征：結(jié)果顯示樣本方差幾乎是樣本均值的兩倍，為放松此假定進行負二項回歸（NB2）：上圖中alpha的置信區(qū)間為，因此可在5%的顯著性水平下拒絕過度分散參數(shù)alpha=0的原假設(shè)，也因此應(yīng)使用負二項回歸。短面板面板數(shù)據(jù)指的是一段時間內(nèi)跟蹤同一組個體數(shù)據(jù)，它既有橫截面的維度又有時間維度。其中，如果每個時期在樣本中的個體完全一樣，則稱為平衡面板數(shù)據(jù)，反之為非平衡面板數(shù)據(jù)。固定效應(yīng)還是隨機效應(yīng)：當不存在異方差的時候，使用hausman檢驗，如果假設(shè)成立，則使用隨機效應(yīng)，如果拒絕假設(shè)，則使用固定效應(yīng)。 而當存在異方差時候，使用輔助

23、回歸然后聚類穩(wěn)健標準誤來檢驗，如果接受假設(shè)，則使用隨機效應(yīng)模型。短面板的stata命令及實例：Xtset panelvar timevar（xt說明數(shù)據(jù)為面板數(shù)據(jù)，panelvar取值必須為整數(shù)且不重復(fù)，相當于進行編號，timevar為時間變量，假如panelvar為字串符，如國家，則使用encode country，gen（cntry）Xtdes 顯示面板的結(jié)構(gòu)，是否為平衡面板Xtsum 顯示組內(nèi)，組間與整體的統(tǒng)計指標Xttab varname 顯示組內(nèi)，組間與整體的分布頻率，tab指的是tabulate交通死亡率：首先設(shè)定state與year為面板變量及時間變量。上圖顯示這是一個平衡的面板

24、數(shù)據(jù)（每個時期在樣本中的個體完全一樣)，然后顯示數(shù)據(jù)集的結(jié)構(gòu):n=48，T=7，n大而T小，說明這是一個短面板，然后作為參照系，首先進行混合回歸：reg y x1 x2 x3，vce（cluster id）其中id用來確定每個個體的變量，vce（cluster state）表示使用以state為聚類變量的聚類穩(wěn)健標準誤由于每個州的情況不一樣，可能存在不隨時間變化的遺漏變量，故考慮使用固定效應(yīng)：Xtreg y x1 x2 x3，fe rLSDV法的stata命令為：reg y x1 x2 x3 i.id，r其中r為使用聚類穩(wěn)健標準誤，vce（cluster id）也能達到這種效果，id表示用來確

25、定個體的變量，i.id表示根據(jù)變量id而生成的虛擬變量。首先使用組內(nèi)估計量：在選擇隨機還是固定時：使用hausman檢驗：xtreg y x1 x2 x3，fe（固定效應(yīng)估計） Estimates store fe（存貯） Xtreg y x1 x2 x3，re（隨機效應(yīng)估計） Estimates store re（存儲） Hausman fe re，constant sigmamore（豪斯曼檢驗）長面板與動態(tài)面板在長面板中，T可能會比較大，因此可能存在組間異方差，組內(nèi)自相關(guān)或組間同期相關(guān)的問題，主要有兩種處理方式：1、使用OLS即LSDV來估計系數(shù)，只對標準誤差進行矯正（即面板矯正誤差）；

26、3、對異方差或自相關(guān)的具體形式進行假設(shè)，然后使用可行廣義最小二乘法FGLS進行估計。1、 矯正標準誤差即使擾動項存在組間異方差或組間同期相關(guān)等，LSDV也依然有效，此時，只要使用組間異方差、組間同期方差穩(wěn)健的標準誤差即可，即面板校正標準誤差PCSE：Xtpvse y x1 x2 x3,hetonly，其中hetonly表示存在組間異方差，但不存在組間同期相關(guān)；舉例：inc為被解釋變量，由于n=10，T=30，因此是一個長面板。為了考慮時間效應(yīng)，生成時間趨勢變量t，然后用LSDV法估計雙向固定效應(yīng)模型（作為對比先不考慮異方差等）下圖可以看出有些州虛擬變量顯著，即存在固定效應(yīng)，而時間效應(yīng)則不太顯著

27、，p值為0.19.然后下表未考慮組間異方差等，因此使用面板校正標準誤進行估計（下下圖）命令xtpcse與命令reg的估計系數(shù)完全一樣，只是標準誤不同。2、 僅解決組內(nèi)自相關(guān)的FGLS：xtpcse y x1 x2，corr（ar1）。無論是使用prais-winsten還是OLS方法都在組間異方差與組間同期相關(guān)的情況下成立。繼續(xù)使用以上數(shù)據(jù)，考慮組內(nèi)自相關(guān)的情形，但要求各組的自回歸系數(shù)相同3、 組間異方差的檢驗：如果拒絕假設(shè)，則存在組間異方差。Ssc install xttest3（下載安裝命令）Quietly xtreg lnc lnp i.state t，r fexttest3Quietl

28、y xtgls lnc lnp i.state tXttest34、 組內(nèi)自相關(guān)檢驗：如果拒絕假設(shè)，則存在組內(nèi)自相關(guān)Net install st0039Xtserial y x1 x2 x3,output5、 組間同期相關(guān)的檢驗：如果拒絕假設(shè)，即存在組間同期相關(guān)。Ssc install xtest2Quietly xreg inc inp inpmin iny t,feXttest2非線性面板對于面板數(shù)據(jù)，如果被解釋變量為虛擬變量、計數(shù)變量、受限變量等，則為非線性面板。1、 如果被解釋變量為虛擬變量，則稱為面板二值選擇模型。一般采用混合、固定或隨機效應(yīng)模型?；旌匣貧w：如果不存在個體效應(yīng)，則使用

29、混合回歸Probit y x1 x2 x3,vce(cluster id) 混合probit回歸Logit y x1 x2 x3,vce(cluster id) 混合logit回歸 其中Id為確定面板單位的變量隨即效應(yīng)模型：Xtprobit x1 x2 x3,Xtlogit y x1 x2 x3，再次輸出結(jié)果中，包含了對原假設(shè)的LR檢驗結(jié)果，如拒絕則使用隨機，接受則使用混合固定效應(yīng)模型：xtlogit y x1 x2 x3,feStata實例：被解釋變量為是否起義uprising，由于面板probit無固定效應(yīng)模型，因此使用面板logit模型。首先進行固定效應(yīng)面板logit估計：如下圖所示，第二行有一個朝代未發(fā)生企業(yè)，因此在估計固定效應(yīng)時應(yīng)被去掉。然后進行混合回歸logit模型，為保持與固定效應(yīng)樣本一樣，在混合回歸中也去掉了dyn=2的朝代：為了在固定和混合進行選擇，使用豪斯曼檢驗，但豪斯曼不允許在混合回歸使用選擇項vce（cluester dyn），因此重新進行混合回歸：quietly logit uprising age pop temp sfamine sfamine1 sfamine2 sfamine3 relief relief1 relie