離散計數(shù)數(shù)據(jù)模型

1、離散計數(shù)數(shù)據(jù)模型離散計數(shù)數(shù)據(jù)模型(ModelsForCountData)( 1) 離散計數(shù)數(shù)據(jù)模型的經(jīng)濟背景在接觸離散計數(shù)數(shù)據(jù)模型之前，我們可以先考慮一個跟勞動力市場有關(guān)的例子我們知道，每個人在進入勞力市場以前肯定都有一定的教育背景和職業(yè)經(jīng)歷。這些東西構(gòu)成了一定的人力資本，個人憑借它得到工作機會。但是，一個很有意思的現(xiàn)象是，有的人終其一生都只為一個雇主工作，而有的人卻經(jīng)常炒自己上司的“魷魚”。究竟是哪些因素在決定雇員跳槽頻率方面起著重要作用呢,有些經(jīng)濟學(xué)家據(jù)此將一定時間內(nèi)雇員工作更換的次數(shù)作為跳槽頻率的測度，試圖通過實證分析來解決這類問題。這就引出了我們即將討論的計數(shù)數(shù)據(jù)模型。通常計數(shù)數(shù)據(jù)模型

2、的形式可以表示如下:k,N,f(X),X,R,N,0,1,2,.這其中N代表被解釋變量，通常為正整數(shù)，N和X之間的關(guān)系由經(jīng)濟理論決定。該模型假定，通過調(diào)查我們能夠得到一組代表被解釋變量的數(shù)字，(如0，2，4, 3)以及相應(yīng)的解釋變量的觀察值。建立模型的目的主要有兩點：(1) 檢驗從數(shù)據(jù)中可以觀察到的行為模式是否與理論預(yù)期相符;(2)將N和X之間的內(nèi)在聯(lián)系用數(shù)量化的方式表現(xiàn)出來。從理論上講，多元線性方程的參數(shù)估計方法也可以被應(yīng)用來分析計數(shù)數(shù)據(jù)模型問題。但是我們很容易就能夠看到，計數(shù)數(shù)據(jù)中零元素和絕對值較小的數(shù)據(jù)出現(xiàn)得較為頻繁，而且離散特征十分明顯，利用這些特點，也許可以找到更合適的估計方法。七十

3、年代末以來，許多學(xué)者在計數(shù)數(shù)據(jù)模型的處理方法方面作出了較大貢獻，這其中包括:Gilbert(1979)，他提出了泊松回歸模型，Hausman,Hall和Griliches(1984)，他們提出了負(fù)二項回歸模型和Panel方法，Gourier，Monfort和Trogonon(1984)，他們提出了仿最大似然法，等等。這其中，最先提出的泊松方法在研究計數(shù)數(shù)據(jù)模型問題中應(yīng)用得非常廣泛。( 2) 泊松回歸模型(Poissonregressionmodel)泊松回歸模型假定，被解釋變量(在上例中即指一定時間內(nèi)的工作更換次數(shù))y服從i參數(shù)為的泊松分布，其中同解釋變量x存在某種關(guān)系。該模型的初始方程、/,

4、為,iiiy,iie,iProb(Y,y),y,0,1,2,iiiy!i1最常用的關(guān)于,的方程是對數(shù)線性模型，即iln,'x.ii根據(jù)泊松分布的性質(zhì)，我們很容易就可以得到,'xi,Eyx,Varyx,e(1)iiiii于是，,Eyx,ii,.i,xi這樣在得出參數(shù),的估計值以后，我們可以很輕松地算出,，以及y的期望值。ii方程(1)是一個非線性模型，可以用兩階段最小二乘法估計其參數(shù)，不過更簡單的方法是最大似然估計法。對數(shù)似然函數(shù)為nlnL,，y,'x,lny!.,iiii,1i對數(shù)似然函數(shù)最大化的一階條件為:n,lnL,(y,)x,0,iii,1iHessian矩陣行如

5、:2n,lnL,xx'.,iii,',1i由此可見，對數(shù)似然函數(shù)的Hessian矩陣對任下x和,的取值是負(fù)定的。(即LnL在穩(wěn)定點有極大值，穩(wěn)定點指滿足一階條件的,。)我們可以利用Newton迭代法迅速地得到方程的參數(shù)估計值。,得出以后，第i個樣本的被解釋變量的預(yù)測值可以由,exp(,x)給出，ii2?,x'Vx預(yù)測值的方差為，其中V是參數(shù)的漸近協(xié)方差矩陣的估計值。，iii1、假設(shè)檢驗可以用三種標(biāo)準(zhǔn)的檢驗方法來檢驗泊松回歸模型的假設(shè)。(1)Wald統(tǒng)計量1,W,'V,.2221,其中為受到限制的解釋變量的參數(shù)，。V,asyvar(,'),222(2)LR

6、統(tǒng)計量(最大似然比)2n?,Pi,LR,2ln,?P,1i,restrictedi,式中的分母描述的是受到限制后的方程的解釋變量的似然概率。(3)LM統(tǒng)計量(拉格朗日乘子),1nnn，2?LM,x'(y,)xx'(y,)x(y,),iiiiiiiiii,1,1,1iii，,1,i'G(G'G)G'i:e(y,)的乘積，i為每項為1的式中G的每一行等于X的每一行同相應(yīng)的,iii列向量。2這三個統(tǒng)計量都服從分布，自由度為受限變量的個數(shù)。如果統(tǒng)計值大于臨界值，,則拒絕原假設(shè)。2、擬合優(yōu)度由于泊松模型的條件均值非線性，且回歸方程存在異方差，所以它不能產(chǎn)生類似于線

7、2性方程中的R統(tǒng)計量。不過學(xué)者提出了若干個替代性的指標(biāo)，用以衡量該模型的擬合優(yōu)度。2，n,y,ii,?,i,1,i，21.(1)R,p2n，y,yi,yi,1,，該統(tǒng)計量通過把泊松模型同只有一種觀察值的模型相比較的方法，考察該模型的擬合優(yōu)度。但是這個統(tǒng)計量有時為負(fù)，而且會隨變量的減少而變小。nn2?G,d,2yln(y/,)(2),iiii,11ii該統(tǒng)計量為各樣本觀察值的偏差(deviance)之和。如果擬合達到完美狀態(tài)，則該統(tǒng)計量為零。3n，yi?yy,log()(),iii?,1i,，i，2R(3),1dny，iylog(),i,y,1i，這個統(tǒng)計量具有較好的性質(zhì)。如果我們用表示對數(shù)似然

8、函數(shù)，其中為的l(,y),yiiii:l(,y)估計值，則泊松模型得出的對數(shù)似然函數(shù)為，只有一種觀察值的模型的函數(shù)為ii，理想模型的函數(shù)為。于是有l(wèi)(y,y)l(y,y)iii?ly,lyy(,)(,),2iiR,.dlyy,lyy(,)(,)iii分子和分母都衡量了模型在只有一種觀察值的模型基礎(chǔ)上的改進，分母為改進的最大空間。所以該統(tǒng)計量的數(shù)值在0到1之間。?ly(,),2ii(4)R,1,.LRIlyy(,)i2這是人們后來發(fā)展的“仿R'統(tǒng)計量。( 3) 泊松回歸模型的擴展1、截斷或者歸并數(shù)據(jù)問題。在受限被解釋變量問題中，我們已經(jīng)學(xué)過了截斷和歸并問題的處理方法。泊松模型中被解釋變量

9、出現(xiàn)截斷和歸并現(xiàn)象時，也可以用類似的方法解決。(1) 歸并問題:,jie,iP,Prob(y,j),ify,0,1,2,iiij!P,Prob(y,3),1,Prob(y,3)ify,3,iiii,1,Prob(y,0)，prob(y,1)，Prob(y,2).iii根據(jù)概率分布重新寫出似然函數(shù)，可以通過迭代法得到參數(shù)估計值。(2) 截斷問題:,jipe,yiiProb(y),y,0,1,2,ii,i1,Py!(1,e)0i同樣依據(jù)概率分布重新寫出似然函數(shù)，通過迭代法可以得到參數(shù)估計值。42、不平均分布檢驗(Overdispersion)我們知道泊松模型假定被解釋變量的均值等于方差，這是一個非

10、常強的假設(shè)，許多學(xué)者對此提出質(zhì)疑，并且發(fā)展了一些新的方法放松這一假設(shè)。我們首先介紹如何檢驗這個假設(shè)條件是否成立。(1) 基于回歸的檢驗方法零假設(shè):H:Vary,Ey,0ii備擇假設(shè):H:Vary,Ey，,g(Ey)1iii2,()y,yiii構(gòu)造統(tǒng)計量,z,i,2i這里的,是由泊松模型得出的被解釋變量的預(yù)測值。用簡單的t檢驗可以判別是否Hi0成立。這個方法由Cameron和Trivedi在1990年提出，文章發(fā)表在JounalofEconometrics上，有興趣的同學(xué)可以自行查看。(2) 拉格朗日乘子檢驗法拉格朗日乘子檢驗法的基本思想也是放松泊松模型中均值等于方程的假設(shè)。我們知道，泊松分布是

11、負(fù)二項分布的一種特殊情況，也即是說，當(dāng)我們對負(fù)二項分布的某個參數(shù)加以一定的限制條件后，就能夠得到泊松分布。在一般情況下，如果一個模型是在對另一個替代模型的參數(shù)加以限制的條件下得到的，那么我們就可以得到LM統(tǒng)計量。且n2?,?w(y)y,iiii,1iLM,n22?2w,ii,1i?權(quán)重的值取決于替代模型的分布函數(shù)。對負(fù)二項分布模型來說，這個權(quán)重為1。所以在wi這種情況下，LM統(tǒng)計量的形式要簡單的多：1/2LM,n(e'e,y)/(2,',)這個統(tǒng)計量的優(yōu)點在于，我們只要利用泊松模型的估計結(jié)果，就可以很容易地把它計算出來。有時，我們會發(fā)現(xiàn)上述兩個統(tǒng)計量的檢驗結(jié)果不一致。具體原因比

12、較復(fù)雜，第一種檢驗方法的備擇假設(shè)形式比較特殊也是其中的一個因素。3、負(fù)二項分布模型(NegativeBinomialRegressionModel)5由于泊松模型存在必須假定被解釋變量的均值等于方差的缺陷，人們提出了許多替代該模型的方法。其中應(yīng)用得最多的是負(fù)二項分布模型。我們首先通過引入無法觀察的隨機影響來使泊松模型一般化。logy,'x，,log,，logu,iiiii式中的隨機干擾項既可以反應(yīng)經(jīng)典回歸方程中的隨機誤差，也可以反應(yīng)宏觀數(shù)據(jù)中,i常常出現(xiàn)的由跨截面數(shù)據(jù)引起的異方差。于是被解釋變量的條件分布為uy,iiieu(),iifyu(),.iiy!i被解釋變量的分布為uy,iii

13、,e(u),iif(yx),g(u)du.iiii,0y!i為了數(shù)學(xué)上的方便，我們假定服從Gamm分布，且。于u,exp(,)Eexp(,),1iii是，,u,1ig(u),eu.ii,()于是，被解釋變量的分布為:,uy,iii,()euu,1iii(),fyxeuduiiii,0!,(,)yi,，(y)y,iii,r(1,r),wherer,iii,，,，,(y1)()ii這個分布是負(fù)二項分布的一種形式。其條件均值為，條件方差為。,(1，(1/,),),iii(該模型由Cameron和Trivedi在1986年提出。)由概率密度我們可以求得最大似然函數(shù)，,0再通過迭代法求出參數(shù)估計。對于這

14、個假設(shè)可以用Wald統(tǒng)計量或者似然比進行檢驗。4、零變換泊松模型(HurdleandZero-AlteredPossionModels)在某些情況下，被解釋變量為零值的產(chǎn)生過程與它取正值的過程差異很大。于是就有人提出了零變換泊松模型來描述這個事實。Mullahey(1986)最先提出了一個Hurdle模型，用白努利分布來描述被解釋變量分別為零值和正值的概率。這一模型后來的形式如下:,Prob(y,0),ei6,ji(1,e)e,iProb(y,j),j,1,2,.i,ij!(1,e)該方程改變了被解釋變量取零值的概率，但是所有取值的概率之和保持為一。Mullahey(1986)，Lambert

15、(1992)等人還分析了在hurdle模型的一種擴展情況，即假定被解釋變量的零值產(chǎn)生于兩個區(qū)域(regime)中的一個。在一個區(qū)域里，被解釋變量總是零，而另一個區(qū)域里，被解釋變量的取值符合泊松過程，既可能產(chǎn)生零，也可能產(chǎn)生其他數(shù)值。如Lambert對給定時間段內(nèi)生產(chǎn)的次品數(shù)量建立的模型，在生產(chǎn)過程得到控制的情形下，次品產(chǎn)出為零，而生產(chǎn)過程不受控制時，產(chǎn)生的次品數(shù)量服從泊松分布，既可能為零，也可能不為零。模型形式如下:Proby,0,Probregime1，Proby,0regime2Probregime2,iiProby,j,Proby,jregime2Probregime2,j,1,2ii如果我們用z表示白努利分布的兩種情況，事件發(fā)生在區(qū)域1時令z=0,發(fā)生在區(qū)域2*時令z=1,并用y表示區(qū)域2內(nèi)被解釋變量服從的泊松過程，則所有觀察值都可以表示為,。于是這個分離模型可