極大似然估計

極大似然估計極大似然估計是非線性模型中非常重要的一種估計方法。最小二乘法是極大似然估計在線性模型中的特例。似然函數(shù)假設(shè)隨機變量xt的概率密度函數(shù)為f(xt)，其參數(shù)用θ=(1,2,…,k)表示，則對于一組固定的參數(shù)θ來說，xt的每一個值都與一定的概率相聯(lián)系。即給定參數(shù)θ，隨機變量xt的概率密度函數(shù)為f(xt)。相反若參數(shù)θ未知，當(dāng)?shù)玫接^測值xt后，把概率密度函數(shù)看作給定xt的參數(shù)θ的函數(shù)，這即是似然函數(shù)。L(θ|xt)=f(xt|θ)似然函數(shù)L(θ|xt)與概率密度函數(shù)f(xt|θ)的表達形式相同。所不同的是在f(xt|θ)中參數(shù)θ是已知的，xt是未知的；而在L(θ|xt)中xt是已知的觀測值，參數(shù)θ是未知的。對于n個獨立的觀測值x=(x1,x2,…,xn)，其聯(lián)合概率密度函數(shù)為其對應(yīng)的似然函數(shù)為：經(jīng)常使用的是對數(shù)似然函數(shù)，即對L(θ|xt)取自然對數(shù)：LnL(θ|xt)=log[f(xt|θ)]例STYLEREF1\s1.SEQ例\*ARABIC\s11正態(tài)分布隨機變量的似然函數(shù)設(shè)一組隨機變量xi,（i=1,2,…,n）是相互獨立的，且服從正態(tài)分布N(,2)。存在N個獨立的觀測值x=(x1,x2,…,xn)。xi的似然函數(shù)為=其中，表示標(biāo)準(zhǔn)正態(tài)分布的概率密度函數(shù)，xi的對數(shù)似然函數(shù)為：其中，(x1,x2,…,xn)的聯(lián)合似然函數(shù)為=例STYLEREF1\s1.SEQ例\*ARABIC\s12泊松分布的對數(shù)似然函數(shù)假設(shè)每5分鐘到達商店的顧客的數(shù)目服從Poisson分布，有N個樣本觀測值(x1,x2,…,xN)。每個隨機變量的概率密度函數(shù)，即似然函數(shù)為：其對數(shù)似然函數(shù)為由于每個觀測值都是獨立的，因此這N個觀測值的對數(shù)似然函數(shù)為例STYLEREF1\s1.SEQ例\*ARABIC\s13指數(shù)分布隨機變量的似然函數(shù)極大似然估計極大似然估計的原理極大似然估計是指使得似然函數(shù)極大化的參數(shù)估計方法，即估計那些使得樣本(x1,x2,…,xn)）出現(xiàn)的概率最大的參數(shù)。例STYLEREF1\s1.SEQ例\*ARABIC\s14正態(tài)分布的ML估計對于n個相互獨立的隨機變量x=(x1,x2,…,xn)，xi~N(,2)（i=1,2,…,n）。根據(jù)前面推導(dǎo)的(x1,x2,…,xn)的聯(lián)合似然函數(shù)：兩個一階條件分別為可以求出未知參數(shù)的估計量分別為，例STYLEREF1\s1.SEQ例\*ARABIC\s15泊松分布的ML估計。未知參數(shù)要使得觀測到這N個值得概率最大，即令上述對數(shù)似然函數(shù)對的偏導(dǎo)數(shù)等于0。例STYLEREF1\s1.SEQ例\*ARABIC\s16指數(shù)分布的ML估計。例STYLEREF1\s1.SEQ例\*ARABIC\s17線性回歸模型的ML估計。設(shè)回歸模型為y=xβ+u，uiNIID(0,2)。由yiN(xiβ,2)，得yi的似然函數(shù)是yi的對數(shù)似然函數(shù)為若yi是相互獨立的，則(y1,y2,…,yn)的對數(shù)似然函數(shù)為極大化似然函數(shù)，兩個一階條件為解上述方程可得；。另外一種常見的方便推導(dǎo)方法是利用集中對數(shù)似然函數(shù)（concentratedlog-likelihood）。由對數(shù)似然函數(shù)的第二個一階條件可得：。將其帶入對數(shù)似然函數(shù)便得到了集中對數(shù)似然函數(shù)根據(jù)一階條件可得ML估計量。實際上，最大化極大似然函數(shù)等價于最小化殘差平方和。因此，在誤差項服從正態(tài)分布的假定下，β的極大似然估計量與LS估計量完全相同。ML方法與LS方法對回歸方差的估計量不同，ML估計量是有偏的。但后面將會看到，當(dāng)誤差項服不服從正態(tài)分布時，β的ML估計量與LS估計量是不一樣的，ML估計量比LS估計量漸進有效。ML估計量的統(tǒng)計特征ML估計方法的盛行在于其估計量的優(yōu)良的大樣本（或漸進）特征。在一定的正則條件下，ML估計量具有如下特征（正則條件及詳細(xì)證明請參見Greene（2000））。設(shè)DGP的真實參數(shù)值為θ0，ML估計量為。具有如下特征。一致性：漸進正態(tài)性：，其中，漸進有效性：的方差達到Cramer-Rao下界。Cramer-Rao下界：如果yi的概率密度函數(shù)滿足正則條件，那么，所有一致漸進正態(tài)估計量的方差下限為不變性：如果函數(shù)f，如果f連續(xù)且連續(xù)可微，那么f(θ0)的ML估計量為f()。似然函數(shù)的導(dǎo)數(shù)矩對于隨機變量yi，其概率密度函數(shù)為f(y,)。在一定的正則條件下，似然函數(shù)的導(dǎo)數(shù)具有如下特征。，都是隨機變量的隨機抽樣。這意味著，如果樣本是獨立抽樣的，那么gi與gj不相關(guān)，Hi與Hj也不相關(guān)。似然函數(shù)的一階導(dǎo)數(shù)稱為梯度向量（Gradientvector）：也稱為得分向量（scorevector）。對于N個觀測值、K個參數(shù)，則gi為k1向量。將gi構(gòu)成的矩陣G=[g1’,g2’,..,gn’]’（Nk）稱為梯度向量的貢獻矩陣。梯度向量g的每個元素為矩陣似然函數(shù)的二階導(dǎo)數(shù)稱為海賽矩陣（HessianMatrix）：對于N個觀測值、K個參數(shù)，則H為kk向量。將Hi（kk）稱為海塞矩陣的貢獻矩陣。海賽矩陣H的每個元素為所有矩陣Hi的和。比如，在線性回歸模型中，包含k個參數(shù)，加上標(biāo)準(zhǔn)差，共k+1個參數(shù)。矩陣G的前k列的第i行第j列元素為最后一列的元素為方差矩陣的估計方法由漸進公式，可以將帶入上式作為的方差估計量，即信息矩陣的逆，。在線性回歸模型中，因此，ML估計量的協(xié)方差矩陣為將和的估計量帶入可得到方差估計量。顯然，是不相關(guān)的。這表明，對于參數(shù)的推斷與的估計無關(guān)；同樣地，對于參數(shù)的推斷與的估計無關(guān)。但實踐中，非線性模型的二階導(dǎo)數(shù)的形式不容易明確地解出。因此，這種方法用的比較少。第二種方法是：，即直接將帶入二階導(dǎo)數(shù)，而不是求二階導(dǎo)數(shù)的期望?？梢宰C明，這等價于在樣本均值點求二階導(dǎo)數(shù)的期望。與第一種方法相類似，這種方法面臨著二階導(dǎo)數(shù)求解的難題。在線性模型中，估計量的方差為：由導(dǎo)數(shù)矩的第三個特征，估計量的協(xié)方差矩陣等于一階導(dǎo)數(shù)的協(xié)方差矩陣的逆。由一階導(dǎo)數(shù)，其方差估計量為：因此，ML估計量的方差估計量為：其中，（1×K），（N×K）。這種估計量稱為BHHH估計量或OPG估計量（outerproductofgradients）。這種方法的最大優(yōu)點是計算方便。上述三種方法是漸進等價的，但在小樣本情況下，三種方法的估計結(jié)果可能會出現(xiàn)很大差異，得到不同的統(tǒng)計推斷結(jié)論。擬極大似然估計如果一個方程設(shè)定錯誤，但ML估計量仍然具有一致性，將這種情形下的ML估計量稱之為擬極大似然估計量（QMLE）。比如，如果線性模型中的誤差項服從正態(tài)分布，則ML估計等價于OLS估計。我們知道，OLS估計量的一致性與分布沒有關(guān)系，因此ML估計也具有一致性。即使誤差項的真實分布不是正態(tài)分布，ML估計仍然具有一致性。這時，我們將ML估計量稱為QML估計量。三種漸進等價的檢驗方法似然比檢驗（LikelihoodRatio，簡寫為LR）、沃爾德檢驗（Wald）和拉格朗日乘子檢驗（LagrangeMultiplier，簡寫為LM）是三種被廣泛應(yīng)用的檢驗。對于原假設(shè)H0：，LR檢驗、Wald檢驗和LM檢驗采用了不同的思路。如下圖所示。圖STYLEREF1\s1.SEQ圖\*ARABIC\s11LR、LM、Wald檢驗示意圖似然比檢驗令LnLU=LnL()為無約束時的極大似然函數(shù)值，LnLR=LnL()為帶約束的極大似然函數(shù)值。令表無約束的似然函數(shù)估計量，令表示受約束的似然函數(shù)估計量。如果原假設(shè)H0：成立，那么LnLU應(yīng)該近似等于LnLR，即（LnLU–LnLR）應(yīng)該比較小。如果（LnLU–LnLR）比較高，就要拒絕原假設(shè)。LR檢驗統(tǒng)計量為如果原假設(shè)成立，那么LR~2(J)。J表示未知參數(shù)縮減的個數(shù)，即約束條件的個數(shù)，也是中方程的個數(shù)。我們來看似然比統(tǒng)計量的另一種簡單的計算方法。在正態(tài)分布的線性模型中，無約束模型的集中對數(shù)似然函數(shù)為同樣地，受約束模型的集中對數(shù)似然函數(shù)為因此，似然比統(tǒng)計量又可以寫為Wald檢驗因為極大似然估計量具有一致性，因此如果原假設(shè)成立，那么應(yīng)該近似等于q。如果顯著不等于q，就要拒絕原假設(shè)。Wald統(tǒng)計量為如果原假設(shè)成立，W~2(J)，J表示未知參數(shù)縮減的個數(shù)。拉格朗日乘子檢驗如果成立，那么應(yīng)該距離真實參數(shù)θ比較近。而在似然函數(shù)在真實參數(shù)處的斜率為0，因此原假設(shè)成立的時候，似然函數(shù)在處的斜率也應(yīng)該近似為0。LM檢驗就是基于受約束的似然函數(shù)在的斜率進行的檢驗。LM統(tǒng)計量為如果原假設(shè)成立，LM~2(J)，J表示未知參數(shù)縮減的個數(shù)。我們來看LM統(tǒng)計量的另一種簡單計算方法。在正態(tài)分布的線性模型中，根據(jù)一階條件及方差估計量，，將受約束模型中的殘差項帶入上兩式，再將結(jié)果代入LM統(tǒng)計量中，可得其中，表示受約束模型的殘差項對所有的解釋變量進行回歸得到的擬合優(yōu)度。LM統(tǒng)計量也可以通過公式LM=nRi2進行計算。其中n為樣本量，Ri2為用1對似然函數(shù)在處的導(dǎo)數(shù)回歸得到的擬合優(yōu)度。這三種檢驗是漸進等價的，但在小樣本情況下可能得到不同的推斷。而三種檢驗的小樣本特征并沒有特別的規(guī)律。因此，人們一般根據(jù)計算上的方便性來選擇采用哪一種形式的檢驗方法。如上所述，LR檢驗需要同時計算帶約束方程的似然函數(shù)和不帶約束的方程的似然函數(shù)。Wald檢驗只需要計算無約束的似然函數(shù)，而LM檢驗只需要計算帶約束的似然函數(shù)。例STYLEREF1\s1.SEQ例\*ARABIC\s18消費模型的ML估計（數(shù)據(jù)文件：usmacro.dta）設(shè)消費模型為yt=β0+β1xt+ut，假定ut~N(0,2)，那么yt=N(β0+β1xt,2)。利用ML方法估計上述模型，并根據(jù)得分向量計算協(xié)方差矩陣上述模型的ML估計Stata程序如下（程序文件：mylogl.ado）。---------------------------------mylogl.ado--programdefinemyloglversion9.2argslnfb1xsigmatempvarresquietlygendouble`res'=$ML_y1-`b1x'quietlyreplace`lnf'=-ln(`sigma')-0.5*`res'^2/`sigma'^2end---------------------------------mylogl.ado--.mlmodellfmylogl(b1:realcons=realdpi)(sigma:).mlmaximize得分向量可通過如下命令提?。?mlscoresc_*根據(jù)BHHH公式，協(xié)方差矩陣可利用得分向量直接計算出來?；蛘咭部梢酝ㄟ^technique(bhhh)直接計算出來。.mlmaximize,technique(bhhh)利用似然比、LM和Wald檢驗方法分別檢驗如下約束是否成立：H1：β1=0；H2：β1=0.7；似然比檢驗：.regressrealconsrealdpi.eststoreA.regressrealcons.regressB.lrtestAB,statsdirLM檢驗：.regressrealcons.predictres,residual.regressresrealdpi.scalarlm=e(r2)*e(N).scalarcrit=invchi2tail(2,0.05).scalarlistlmcritWald檢驗.testrealdpi=0（3）觀察估計量的協(xié)方差矩陣.matrixliste(V)非線性回歸模型的ML估計對于一般的回歸模型g(yiθ)=f(xi;β)+ui，u~N(0,2)（1）參數(shù)(θ;β)仍然可以通過LS方法估計，即最小化（2）但得到的估計量不具有一致性。這種情況下，ML估計是更好的估計方法。由ui的概率分布可以得到y(tǒng)i的概率密度為(3)其中，表示由ui到y(tǒng)i轉(zhuǎn)換的雅克比矩陣行列式，表示為顯然，當(dāng)被解釋變量為y時，。yi的對數(shù)似然函數(shù)為(4)觀測值(y1,…,yn)的似然函數(shù)為(5)其對數(shù)似然函數(shù)為(6)顯然，當(dāng)被解釋變量為y時，即當(dāng)時，利用一階條件極大化上式得到，由第三個一階條件可以推出：（7）將（7）代入（6）式得到集中對數(shù)似然函數(shù)(8B)極大似然函數(shù)關(guān)于參數(shù)是非線性的，利用數(shù)值最優(yōu)化方法進行估計。例STYLEREF1\s1.SEQ例\*ARABIC\s19利用ML方法估計非線性消費函數(shù)（數(shù)據(jù)文件：usmacro.dta）例S