極大似然估計和廣義矩估計

第四講極大似然估計

和廣義矩估計MaximumLikelihoodestimateandGeneralizedMethodofMoments2/3/2023第一節(jié)極大似然估計法第二節(jié)似然比檢驗、沃爾德檢驗和拉格朗日乘數(shù)檢驗第三節(jié)廣義矩(GMM)估計2/3/2023普通最小二乘法(OLS)是計量經(jīng)濟學中使用頻率最高的估計方法。建模者越來越多使用廣義矩估計和極大似然估計、貝葉斯估計等。極大似然估計(MLE)和廣義矩估計(GMM)已成為計量經(jīng)濟學中重要的估計方法，其中極大似然估計的使用頻率僅次于LS。極大似然估計法和廣義矩估計法適用于大樣本條件下參數(shù)的估計，在大樣本條件下它們具有優(yōu)良的性質。2/3/2023第一節(jié)極大似然估計法

極大似然估計(MLE)的應用雖然沒有OLS廣泛，但它是一個具有更強理論性質的點估計方法，它以極大似然原理為基礎，通過(對數(shù))似然函數(shù)估計總體參數(shù)。極大似然估計量是一致的、漸近正態(tài)的，而且在所有具有這些性質的估計量中又是有效的。其缺陷：要假設變量的分布，如正態(tài)分布。對一些特殊類型的計量經(jīng)濟模型，如后面將介紹的Logit和Probit模型，OLS不再適用，常采用極大似然估計。

2/3/2023一、極大似然法的思路極大似然估計的出發(fā)點是已知被觀測現(xiàn)象的分布，但不知道其參數(shù)。極大似然法用使得觀測值(樣本)最高概率的那些參數(shù)的值來估計該分布的參數(shù)，從而提供一種用于估計一個分布的參數(shù)的方法。例4.1設有一枚不均衡的硬幣，我們關心的是在每次拋擲該硬幣出現(xiàn)正面的概率p。拋擲該硬幣N次，假設得到N1次正面，N－N1

次反面。由于每次拋硬幣都是相互獨立的，根據(jù)二項分布，得到這樣一個樣本的概率為：2/3/2023上式可看作是未知參數(shù)p的函數(shù)，被稱為似然函數(shù)。對p的極大似然估計意味著選擇使似然函數(shù)達到最大的p值，從而得到p的極大似然估計量。實際計算中，極大化似然函數(shù)的對數(shù)往往比較方便，這給出對數(shù)似然函數(shù)上式達到極大的一階條件是解之得到p的極大似然估計量2/3/2023

二、極大似然原理未知

觀測值隨機變量Y的概率密度函數(shù)，隨機樣本似然函數(shù)對數(shù)似然函數(shù)更方便、更容易極大似然估計的思想：的極大似然估計是使得產(chǎn)生樣本的最高概率的那個值，(使得觀測到該樣本可能性最大的那個)；即的極大似然估計是使似然函數(shù)達到最大的值。記為

總體有離散型和連續(xù)型兩種，離散型總體通過分布列來構造似然函數(shù)，而連續(xù)型總體通過密度函數(shù)來構造似然函數(shù).似然方程Score向量，梯度向量2/3/2023離散型隨機變量極大似然原理若總體為離散型分布，分布列樣本取到觀察值的概率，亦即事件發(fā)生的概率為：其中是待估參數(shù)向量；似然函數(shù)為

這一概率隨的取值而變化，它是的函數(shù)。極大似然估計就是在的可能取值范圍內尋找使似然函數(shù)達到最大的那個作為參數(shù)的估計值，即求，使得一般通過微分的方法求得，即令得到，有時也可通過迭代法來求，具體的計算方法根據(jù)隨機變量的分布來確定。2/3/2023連續(xù)型隨機變量極大似然原理若總體為連續(xù)型分布，密度函數(shù)為，形式已知，其中待估參數(shù)向量為。樣本的聯(lián)合概率密度為似然函數(shù)對數(shù)似然極大似然估計就是使得下式成立的具體求法：由解出極大值點，因函數(shù)ln單增,故常常由求解。對數(shù)似然函數(shù)的一階導數(shù)向量稱為score向量或梯度向量。似然方程即2/3/2023三、極大似然估計量的性質極大似然估計量的優(yōu)勢在于其大樣本性質(漸近性質)。參數(shù)向量的極大似然估計量

參數(shù)向量的真值如果極大似然函數(shù)被正確設定，可以證明，在較弱的正則條件下，極大似然估計量具有以下漸近性質：

(1)一致性：是的一致估計量，即

(2)漸近正態(tài)性：

即近似服從正態(tài)分布，其中V是漸近方差—協(xié)方差矩陣

(3)漸近有效性：是漸近有效的且達到所有一致漸近正態(tài)估計量的Cramèr-Rao下界，即在所有一致漸近正態(tài)估計量中具有最小方差。

(4)不變性：設是任一連續(xù)可微的函數(shù)，則的極大似然估計為2/3/2023極大似然估計量的漸近協(xié)方差矩陣極大似然估計的漸近方差—協(xié)方差矩陣由對數(shù)似然函數(shù)決定.信息矩陣(InformationMatrix)Fisher可以證明：在適當?shù)恼齽t條件下，極大似然估計量的漸近方差—協(xié)方差矩陣等于Fisher信息矩陣的逆矩陣，即上式很少用！因信息陣為復雜的非線性函數(shù)，期望總是未知的。實際中用漸近方差—協(xié)方差的估計梯度向量海賽矩陣2/3/2023四、線性回歸模型的極大似然估計線性回歸模型是計量經(jīng)濟學應用最廣泛的模型，因此討論線性回歸模型的極大似然估計是非常必要的。在隨機誤差項服從正態(tài)分布的假設下分別討論一元線性回歸模型和多元線性回歸模型的極大似然估計。非線性模型的極大似然估計，將在第五章中介紹。注意:

比較線性回歸模型回歸系數(shù)的OLS和MLE的區(qū)別。2/3/2023一元線性回歸模型的極大似然估計一元線性回歸模型：假設隨機擾動項即隨機擾動項具有0均值、同方差、不相關和服從正態(tài)分布，密度函數(shù)似然函數(shù)對數(shù)似然函數(shù)似然方程2/3/2023極大似然估計的極大似然估計是一個有偏估計；但它是漸近無偏的。MLE的線性回歸模型的殘差平方和等于OLS的殘差平方和2/3/2023多元線性回歸模型的極大似然估計一般多元線性回歸模型矩陣形式：對隨機擾動項作出如下假設：則的密度函數(shù)為：的密度函數(shù)為似然函數(shù)為：對數(shù)似然函數(shù)為：2/3/2023使對數(shù)似然函數(shù)達到極大的一階條件為(正規(guī)方程組)

解得:

因此，在隨機擾動項滿足標準假設條件的情況下，的極大似然估計與普通最小二乘估計相同，的ML估計與OLS估計則不同。是無偏的，而是有偏的，但漸近無偏。對數(shù)似然函數(shù)的極大值：

2/3/2023為了得到的無偏估計量的Cramèr-Rao下界，需要先計算信息陣

Cramèr-Rao下界2/3/2023注意：達到了Cramèr-Rao下界。在正態(tài)性的假設下，回歸系數(shù)的OLS和ML估計是最小方差無偏估計量(MVU)，這表明,它們在所有無偏估計量而不僅僅是線性無偏估計量中方差最小。在大多數(shù)情況下，無法由似然方程解得極大似然估計的顯式解，(盡管知道它是存在的)而只能借助迭代方法求得數(shù)值解。非線性回歸模型的極大似然估計(ch5)離散或受限因變量模型的極大似然估計(ch10)2/3/2023

例4.2以消費函數(shù)為例，說明極大似然估計法的估計過程。根據(jù)經(jīng)濟理論，消費和收入與價格密切相關，因此建立以我國國內生產(chǎn)總值gdp和消費價格指數(shù)p為解釋變量，國內總消費tc為被解釋變量的消費方程。數(shù)據(jù)區(qū)間為1988—2007年。消費方程設定為：其中服從正態(tài)分布。普通最小二乘估計的結果為：

極大似然估計的結果為：對于線性回歸模型，用極大似然估計得到的系數(shù)估計值與用最小二乘法估計得到的結果完全相同。2/3/2023五、極大似然估計的計算方法除少數(shù)情況外(如正態(tài)線性回歸模型)，大多數(shù)時候無法由似然方程得到參數(shù)極大似然估計的顯示表達式。只能借助迭代方法得到其數(shù)值解。1.一階導數(shù)方法

Gauss-Newton/BHHH法(擬牛頓型)Marquardt法(擬牛頓型)2.二階導數(shù)方法

Newton-Raphson法(牛頓型)

Goldfeld-Quandt法

DFP法(擬牛頓型)BFGS法(擬牛頓型)2/3/2023第二節(jié)似然比檢驗、沃爾德檢驗

和拉格朗日乘數(shù)檢驗似然比檢驗(LikelihoodRatioTest,LR)

瓦爾德檢驗(WaldTest,W)

拉格朗日乘數(shù)檢驗(LagrangeMultiplierTest,LM)

是三種基于極大似然法的大樣本檢驗方法。2/3/2023在第二章中介紹的F檢驗適用于檢驗經(jīng)典線性回歸(CLR)模型的線性約束條件且具有嵌套關系。如果施加于模型的約束是非線性的，模型存在參數(shù)非線性，F(xiàn)檢驗就不再適用，通常需要采用LR、W和LM三個檢驗方法。這三個檢驗方法是漸近等價的，都漸近地服從自由度為約束條件個數(shù)的分布。但它們的小樣本性質卻各不相同，除個別特殊情況外它們的小樣本性質是未知的。2/3/2023一、三種檢驗的基本原理(自看)三個檢驗統(tǒng)計量基于三個不同的原理,用下圖來解釋。2/3/2023圖中，對數(shù)似然函數(shù)lnL由上面的那條曲線表示，它是要估計的參數(shù)的函數(shù)。無約束極大似然估計是使lnL達到極大的值。假設要檢驗的約束條件是在這個約束下，lnL的極大值為，稱為有約束極大似然估計。從圖上看，這個點是函數(shù)與橫軸的交點。2/3/2023

1.LR檢驗(對數(shù)似然函數(shù)角度進行比較)

如果約束條件為真，則施加該約束條件后lnL的極大值lnLR

不應當顯著小于lnL的無約束極大值。因此，LR檢驗基于lnL-lnLR是否顯著異于0，若這個差顯著異于0，拒絕原假設.2.W檢驗(從約束條件的角度比較)

如果約束條件為真，則不應顯著異于0，其中是的無約束極大似然估計值。W檢驗基于若它顯著異于0，則拒絕原假設。

3.LM檢驗(從對數(shù)似然函數(shù)的斜率的角度比較)

對數(shù)似然函數(shù)在A點達到極大，在這點關于的斜率為0。如果約束條件為真，則lnL在B點的斜率應近似為0。LM檢驗基于對數(shù)似然函數(shù)在約束極大似然估計處的斜率,若該斜率顯著異于0，則拒絕原假設。2/3/2023二、似然比（LR）檢驗設為待估計參數(shù)向量，原假設規(guī)定施加于這些參數(shù)上的約束。分別為的無約束和有約束極大似然估計。似然比為其值位于0和1之間，因為兩個似然都是正的，并且約束似然不會大于無約束似然函數(shù)值(局部最大不可能大于全局最大)。如果過于小，則懷疑原假設的正確性。LR檢驗的檢驗統(tǒng)計量是在大樣本情況下近似服從自由度為q的卡方分布。(q是約束條件造成的參數(shù)個數(shù)減少的數(shù)目)缺點：既要進行約束回歸，又要進行無約束回歸。(對數(shù)似然函數(shù)角度進行比較)2/3/2023復雜模型中，有約束和無約束估計中可能有一個很難計算。有兩個可供選擇的方法，即沃爾德檢驗和拉格朗日乘數(shù)檢驗。這兩個檢驗只需要估計約束或無約束參數(shù)中的一個。設的無約束極大似然估計為，要檢驗的原假設為：若約束條件成立，則若顯著不為0，則拒絕原假設。W檢驗就是遵循這個思路構建的。W統(tǒng)計量是從約束條件的角度大樣本時，W近似服從自由度為q的卡方分布。注意：W統(tǒng)計量只需要估計無約束模型。三、沃爾德（W）檢驗2/3/2023四、拉格朗日乘數(shù)(LM)檢驗拉格朗日乘數(shù)(LM)檢驗，亦稱score檢驗。該檢驗只需估計約束模型，無需估計無約束模型。假設要在約束條件下極大化對數(shù)似然函數(shù)，令表示拉格朗日乘數(shù)向量，并定義拉格朗日函數(shù)約束最大化問題就是求解方程組若約束成立，則加上它們不會造成對數(shù)似然函數(shù)極大值的顯著差異。這意味著在一階條件下，第二項應該很小，特別是應該很小，可以通過檢驗2/3/2023直接檢驗拉格朗日乘數(shù)向量比較困難，其等價而簡單一些的方法:對數(shù)似然函數(shù)的導數(shù)在約束估計值處有如果約束條件成立，則應有。即在約束估計值處對數(shù)似然的導數(shù)應該近似為0。對數(shù)似然的一階導數(shù)向量是Score向量。由于LM檢驗基于該向量，因而也被稱為Score檢驗，但大多數(shù)文獻中還是稱之為拉格朗日乘數(shù)檢驗。LM檢驗統(tǒng)計量是2/3/2023實際應用中，LM統(tǒng)計量有一個很簡單的公式其中是通過一個輔助回歸計算得到的非中心可決系數(shù)輔助回歸：用元素均為1的列向量為因變量，對數(shù)似然函數(shù)在約束估計值處的導數(shù)為自變量進行線性回歸,得到的非中心。非中心的含義是，在計算總平方和TSS時，因變量不減去其均值，即用這種方法計算LM統(tǒng)計量非常容易，但對于小樣本不可靠，犯第一類錯誤的可能性很大。Davidson和MacKinnon(1983)提出了計算LM統(tǒng)計量的另一種方法，該方法克服了上述方法的缺點，而保持了其計算簡便的優(yōu)點，盡管計算中需要執(zhí)行他們所稱的雙長度回歸(double-lengthregression,DLR)。2/3/2023五、實踐中三種檢驗法的選擇問題

面臨具有相同漸近性質的幾種統(tǒng)計量時，通常根據(jù)其小樣本性質進行選擇。由于這三個檢驗的小樣本性質未知，所以實踐中，通常都是根據(jù)計算的難易來選擇。計算LR統(tǒng)計量，需要計算約束和無約束估計，如果二者都容易計算，則LR檢驗是三種檢驗中最具吸引力的.計算W統(tǒng)計量只需要無約束估計。如果約束估計的計算比較困難，而無約束估計容易計算，則W統(tǒng)計量應成為首選。計算LM統(tǒng)計量只需約束估計。如果約束估計值的計算比較容易，而無約束估計值的計算困難，則LM統(tǒng)計量應成為最為可取。在計算方面的考慮不是問題的情況下，應選擇LR檢驗.2/3/2023第三節(jié)廣義矩(GMM)估計

OLS法和ML估計法等方法都有本身的局限性。

OLS法必須在遵循經(jīng)典假設的條件下才具有優(yōu)良的性質,在違背基本假設(異方差和序列相關)時,OLS估計不再是BLUE。應用ML估計需要對隨機誤差項的分布做出某種假設。廣義矩估計(GMM)不需假定隨機誤差項的具體分布，且允許隨機誤差項存在異方差和自相關。

OLS估計、ML估計和IV估計等都是GMM的特例。當不存在異方差和自相關時，2SLS是一致、漸近正態(tài)、有效估計；若存在異方差或自相關，GMM是最有效的。2/3/2023一、矩估計法矩估計法(MethodofMoments)是GMM法的基礎，GMM是MM估計的推廣，類似于GLS和OLS的關系。(一)矩估計原理總體的原點矩：樣本的原點矩：總體分布的參數(shù)是總體原點矩的函數(shù)。大數(shù)定律：樣本k階原點矩收斂到其總體k階原點矩(依概率)

Slutsky定理：樣本k階原點矩的函數(shù)收斂到其總體k階原點矩的相應函數(shù)。(依概率)一般地，總體的各階原點矩都有其樣本原點矩的對應物。很自然的想法：用樣本原點矩作為總體原點矩的估計，從而得到總體未知參數(shù)的估計！--矩估計2/3/2023例4.3

未知，是來自X的隨機樣本，試用矩估計法求參數(shù)的估計量。解：總體的1階和2階原點矩樣本一階和二階原點矩分別為：矩估計：總體矩等于樣本矩，所以矩條件2/3/2023(二)OLS和ML估計與矩估計經(jīng)典線性回歸模型OLS估計量的一個重要假設條件是：解釋變量與擾動項無關(解釋變量外生)，即

總體這組矩條件的樣本對應物

由上述矩條件解得矩估計。這些矩條件正好是OLS估計的正規(guī)方程，因此OLS估計是矩估計。2/3/2023極大似然估計是通過對數(shù)似然的導數(shù)等于0得到的。矩條件樣本對應物極大似然估計也是矩估計。2/3/2023二、廣義矩法在矩估計中，矩條件的個數(shù)恰好等于要估計參數(shù)的數(shù)目，即方程個數(shù)等于未知參數(shù)的個數(shù)，所以存在未知參數(shù)的唯一解。如果矩條件的個數(shù)大于未知參數(shù)的個數(shù)，則不能解得唯一解，就引出了廣義矩法(GMM)。廣義矩估計直接從模型所施加的矩條件來估計模型，這些矩條件有時是線性的，但多數(shù)情況下是非線性的。GMM也可以看作是IV在非線性模型中的推廣，以解決非線性模型的內生性問題。2/3/2023矩條件的一般形式為：其中其中m表示有L個元素的向量函數(shù)，未知參數(shù);

為模型中全部變量，如為解釋變量，為工具變量.矩條件的樣本對應物恰好識別：矩條件的個數(shù)等于未知參數(shù)的個數(shù)(唯一解)過度識別：矩條件的個數(shù)大于未知參數(shù)的個數(shù)(無唯一解)不可識別：矩條件的個數(shù)小于未知參數(shù)的個數(shù)(無解)若m是的非線性函數(shù)，則可能得不到解析解(顯式解)；2/3/2023(一)廣義矩估計方法概要矩條件的個數(shù)大于參數(shù)的個數(shù)()，則不能通過設定

的樣本矩來確定參數(shù)的估計。(沒有唯一解)為了充分利用L個矩條件的信息，有必要對可能的種不同的估計進行加權平均。借助最優(yōu)化的思想，選擇使得樣本矩向量盡可能接近于0的的作為其估計量。這就是廣義矩估計的思路。具體的做法:將下面加權平方和(距離函數(shù))作為目標函數(shù)，

加權平方和求使得該目標函數(shù)達到最小的的值，就得到GMM估計量.

為任意的正定矩陣，稱為權矩陣，假設二次型性質2/3/2023權矩陣可能依賴于數(shù)據(jù)，但不是的函數(shù)。權矩陣在某種意義上反映了諸矩條件在距離函數(shù)中所占的權重(重要性)。矩條件個數(shù)大于參數(shù)個數(shù)情況下參數(shù)的估計問題化為如下的最小化問題：求解此最優(yōu)化問題，得到的估計量就是廣義矩估計(GMM)。在一般情況下無法得到它的解析解，常采用數(shù)值解法求解得到GMM估計量。在某些弱正則條件下，GMM估計量是一致、漸近正態(tài)估計量(可以證明)。不一定是方差最小的(有效的)。GMM的假設條件(正則條件)：略。2/3/2023不同的權矩陣會得到不同的一致估計量，其漸近協(xié)方差矩陣不同。OLS是GMM的特例;GLS和TSLS是其特例；ML也是GMM的特例。要想得到有效的GMM估計，即估計的協(xié)方差矩陣最小，必須選擇合適的權矩陣