第四章 極大似然估計(jì)和廣義矩估計(jì)

第四章極大似然估計(jì)和廣義矩估計(jì)第一頁，共七十八頁，編輯于2023年，星期五第一節(jié)極大似然估計(jì)法第二節(jié)似然比檢驗(yàn)、沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)第三節(jié)廣義矩（GMM）估計(jì)第二頁，共七十八頁，編輯于2023年，星期五

除普通最小二乘法（OLS）外，極大似然估計(jì)（MLE）和廣義矩估計(jì)（GMM）也是計(jì)量經(jīng)濟(jì)學(xué)中重要的估計(jì)方法。極大似然估計(jì)法和廣義矩估計(jì)法適用于大樣本條件下參數(shù)的估計(jì)，它們?cè)诖髽颖緱l件下顯示了優(yōu)良的性質(zhì)。本章主要介紹極大似然法和廣義矩方法以及基于極大似然估計(jì)的似然比（LR）檢驗(yàn)、沃爾德（W）檢驗(yàn)和拉格朗日乘數(shù)（LM）檢驗(yàn)。

第三頁，共七十八頁，編輯于2023年，星期五第一節(jié)極大似然估計(jì)法

極大似然估計(jì)法（MaximumLikelihoodmethodML）的應(yīng)用雖然沒有普通最小二乘法廣泛，但它是一個(gè)具有更強(qiáng)理論性質(zhì)的點(diǎn)估計(jì)方法，它以極大似然原理為基礎(chǔ)，通過概率密度函數(shù)或者分布律來估計(jì)總體參數(shù)。對(duì)于一些特殊類型的計(jì)量經(jīng)濟(jì)模型，如我們后面將介紹的Logit和Probit模型，最小二乘法不再適用，極大似然法成為首選的估計(jì)方法。

第四頁，共七十八頁，編輯于2023年，星期五一、極大似然法的思路極大似然估計(jì)的出發(fā)點(diǎn)是已知被觀測現(xiàn)象的分布，但不知道其參數(shù)。極大似然法用得到觀測值（樣本）最高概率的那些參數(shù)的值來估計(jì)該分布的參數(shù)，從而提供一種用于估計(jì)刻畫一個(gè)分布的一組參數(shù)的方法。第五頁，共七十八頁，編輯于2023年，星期五例4.1設(shè)有一枚不均衡的硬幣，我們關(guān)心的是在每次拋擲該硬幣出現(xiàn)正面的概率p。拋擲該硬幣N次，假設(shè)得到N1次正面，N－N1次反面。由于每次拋硬幣都是相互獨(dú)立的，根據(jù)二項(xiàng)分布，得到這樣一個(gè)樣本的概率為：上式中的表達(dá)式可看作是未知參數(shù)p的函數(shù)，被稱為似然函數(shù)（Likelihoodfunction）。對(duì)p的極大似然估計(jì)意味著我們選擇使似然函數(shù)達(dá)到最大的p值，從而得到p的極大似然估計(jì)量。第六頁，共七十八頁，編輯于2023年，星期五實(shí)際計(jì)算中，極大化似然函數(shù)的對(duì)數(shù)往往比較方便，這給出對(duì)數(shù)似然函數(shù)解之，得到p的極大似然估計(jì)量上式達(dá)到極大的一階條件是第七頁，共七十八頁，編輯于2023年，星期五

二、極大似然原理下面我們以一般化的數(shù)學(xué)語言來描述極大似然估計(jì)法的基本原理和參數(shù)估計(jì)過程。極大似然法的思路是，設(shè)是隨機(jī)變量X的密度函數(shù)，其中是該分布的未知參數(shù)，若有一隨機(jī)樣本，則的極大似然估計(jì)值是具有產(chǎn)生該觀測樣本的最高概率的那個(gè)值，或者換句話說，的極大似然估計(jì)值是使密度函數(shù)達(dá)到最大的值。由于總體有離散型和連續(xù)型兩種分布，離散型分布通過分布律來構(gòu)造似然函數(shù)，而連續(xù)型分布通過概率密度函數(shù)來構(gòu)造似然函數(shù)，因此二者有區(qū)別，下面分別討論。第八頁，共七十八頁，編輯于2023年，星期五離散型隨機(jī)變量極大似然原理若總體為離散型分布，容易求得從樣本取到觀察值的概率，亦即事件發(fā)生的概率為：其中，是待估參數(shù)向量。這一概率隨的取值而變化，它是的函數(shù)，稱為樣本的似然函數(shù)。第九頁，共七十八頁，編輯于2023年，星期五極大似然估計(jì)法就是在取值的可能范圍內(nèi)挑選使似然函數(shù),達(dá)到最大的參數(shù)值作為參數(shù)的估計(jì)值，即求，使得一般通過微分的方法求得，即令得到，有時(shí)候也可通過迭代法來求，具體的計(jì)算方法根據(jù)隨機(jī)變量的分布來確定這樣得到的稱為參數(shù)的極大似然估計(jì)值，而相應(yīng)的統(tǒng)計(jì)量通常記為，稱為參數(shù)的極大似然估計(jì)量。第十頁，共七十八頁，編輯于2023年，星期五連續(xù)型隨機(jī)變量極大似然原理若總體為連續(xù)型分布，其概率密度函數(shù)為密度函數(shù)的形式已知。其中，是待估參數(shù)向量。設(shè)是來自總體的隨機(jī)樣本，則的聯(lián)合概率密度為

設(shè)是相應(yīng)于樣本的一組樣本值，則隨機(jī)點(diǎn)（）落在點(diǎn)（）的鄰域內(nèi)的概率可近似地表示為其值隨的取值而變化。第十一頁，共七十八頁，編輯于2023年，星期五

與離散型的情況一樣，我們?nèi)〉墓烙?jì)值使

取到極大值，但不隨而變，故只需考慮函數(shù)

的極大值，這里稱為樣本的似然函數(shù)。若則稱為的極大似然估計(jì)量，記為。

第十二頁，共七十八頁，編輯于2023年，星期五通常情況下，關(guān)于可微，這時(shí)可從方程

解得。因?yàn)榕c在同一點(diǎn)處取到極值，的極大似然估計(jì)值通常從方程解得，式中稱為對(duì)數(shù)似然函數(shù)。為了后面內(nèi)容表述方便起見，我們將對(duì)數(shù)似然函數(shù)的一階導(dǎo)數(shù)向量表示為稱為score向量或梯度向量，的極大似然估計(jì)通過求解得到，因此稱為似然方程。第十三頁，共七十八頁，編輯于2023年，星期五三、極大似然估計(jì)量的性質(zhì)極大似然估計(jì)量（MLE）的優(yōu)勢(shì)在于它們的大樣本性質(zhì)（漸近性質(zhì)）。為介紹這些漸近性質(zhì)，我們用表示參數(shù)向量的極大似然估計(jì)量（MLE），表示參數(shù)向量的真值。如果極大似然函數(shù)被正確設(shè)定，可以證明，在弱正則條件下，極大似然估計(jì)量具有以下漸近性質(zhì)：第十四頁，共七十八頁，編輯于2023年，星期五（1）一致性：是的一致估計(jì)量，即，（2）漸近有效性：是漸近有效的且達(dá)到所有一致估計(jì)量的Cramèr-Rao下界，即在所有一致漸近正態(tài)估計(jì)量（consistentasymptoticallynormalestimators）中具有最小方差。（3）漸近正態(tài)性：

即漸近地服從正態(tài)分布，其中V是漸近協(xié)方差矩陣第十五頁，共七十八頁，編輯于2023年，星期五協(xié)方差矩陣V由對(duì)數(shù)似然函數(shù)的形狀決定。為了說明這一點(diǎn)，我們引入信息矩陣（InformationMatrix）的概念，信息矩陣定義為在適當(dāng)?shù)恼齽t條件下，可以證明，極大似然估計(jì)量的漸近協(xié)方差矩陣等于信息矩陣的逆矩陣，即第十六頁，共七十八頁，編輯于2023年，星期五四、線性回歸模型的極大似然估計(jì)

線性回歸模型是計(jì)量經(jīng)濟(jì)學(xué)應(yīng)用最為廣泛的模型，因此討論線性模型的極大似然估計(jì)是非常必要的。下面我們?cè)陔S機(jī)擾動(dòng)項(xiàng)服從正態(tài)分布的假設(shè)下分別討論雙變量線性回歸模型和多元線性回歸模型的極大似然估計(jì)。非線性模型的極大似然估計(jì)，將在第五章中介紹。

第十七頁，共七十八頁，編輯于2023年，星期五雙變量線性回歸模型的極大似然估計(jì)雙變量線性回歸模型：其中，為待估參數(shù)，為隨機(jī)擾動(dòng)項(xiàng)。對(duì)隨機(jī)擾動(dòng)項(xiàng)作出如下假設(shè)：即隨機(jī)擾動(dòng)項(xiàng)具有0均值、同方差、不相關(guān)和服從正態(tài)分布的性質(zhì)。第十八頁，共七十八頁，編輯于2023年，星期五因此，的概率密度函數(shù)為：根據(jù)以上假設(shè)可知：由于獨(dú)立同分布，因此，聯(lián)合概率密度函數(shù)，即似然函數(shù)為：第十九頁，共七十八頁，編輯于2023年，星期五對(duì)數(shù)似然函數(shù)為：令：得：第二十頁，共七十八頁，編輯于2023年，星期五不難看出，前兩式與用普通最小二乘法得出的正規(guī)方程相同，故我們有但最后一式表明，的極大似然估計(jì)量與最小二乘估計(jì)量不同，我們記得，最小二乘估計(jì)量

是一個(gè)無偏估計(jì)量。而

第二十一頁，共七十八頁，編輯于2023年，星期五這表明，是一個(gè)有偏估計(jì)量

不難看出，當(dāng)樣本容量趨向無窮時(shí)，因而是一個(gè)漸近無偏估計(jì)量。第二十二頁，共七十八頁，編輯于2023年，星期五多元線性回歸模型的極大似然估計(jì)下面我們來討論一般形式的線性回歸模型的極大似然估計(jì)，并以矩陣形式表示：對(duì)隨機(jī)擾動(dòng)項(xiàng)作出如下假設(shè)：根據(jù)以上假設(shè)，我們有：

因此，的概率密度函數(shù)為：第二十三頁，共七十八頁，編輯于2023年，星期五由于獨(dú)立同分布，因此，聯(lián)合概率密度函數(shù)，即似然函數(shù)為：對(duì)數(shù)似然函數(shù)為：對(duì)于殘差平方和有：這里最后一個(gè)等號(hào)成立是因?yàn)榈诙兄兴懈黜?xiàng)都是標(biāo)量，且中間兩項(xiàng)互為轉(zhuǎn)置矩陣，因而相等。第二十四頁，共七十八頁，編輯于2023年，星期五RSS對(duì)微分，得到：這里用到了矩陣微分的以下兩條規(guī)則：（1）（2），第二個(gè)等號(hào)成立的條件是A為對(duì)稱矩陣。在（4.19）式中，a是，A是。第二十五頁，共七十八頁，編輯于2023年，星期五由（4.19）式的結(jié)果，使對(duì)數(shù)似然函數(shù)（4.17）達(dá)到極大的一階條件為解此二正規(guī)方程，得:第二十六頁，共七十八頁，編輯于2023年，星期五

因此，在隨機(jī)擾動(dòng)項(xiàng)滿足標(biāo)準(zhǔn)假設(shè)條件的情況下，的極大似然估計(jì)量與普通最小二乘估計(jì)量相同，方差的ML估計(jì)量與OLS估計(jì)量則不同。

是無偏的，而是有偏的，但在大樣本下漸近無偏。第二十七頁，共七十八頁，編輯于2023年，星期五

將這些極大似然估計(jì)量代入(4.17)，就得到lnL的極大值：

為了得到的無偏估計(jì)量的Cramèr-Rao下界，需要先計(jì)算信息矩陣

第二十八頁，共七十八頁，編輯于2023年，星期五

信息矩陣是按分塊對(duì)角的，這是擾動(dòng)項(xiàng)為正態(tài)分布的回歸模型的一個(gè)重要性質(zhì)，意味著Cramèr-Rao下界為：

值得注意的是，達(dá)到了Cramèr-Rao下界。在正態(tài)性的假設(shè)下，是最小方差無偏估計(jì)量（MVU），這表明，在所有無偏估計(jì)量而不僅僅是線性無偏估計(jì)量中方差最小。

通過對(duì)矩陣中各項(xiàng)二階偏導(dǎo)數(shù)的計(jì)算，我們得到第二十九頁，共七十八頁，編輯于2023年，星期五

例4.2以簡單的消費(fèi)函數(shù)為例，說明極大似然估計(jì)法的估計(jì)過程。

根據(jù)經(jīng)濟(jì)理論，消費(fèi)和收入與價(jià)格密切相關(guān)，因此建立以國內(nèi)生產(chǎn)總值GDP和消費(fèi)價(jià)格指數(shù)p為解釋變量，國內(nèi)總消費(fèi)TC為被解釋變量的消費(fèi)方程。數(shù)據(jù)區(qū)間為1988—2007年。消費(fèi)方程設(shè)定為：

其中服從正態(tài)分布。第三十頁，共七十八頁，編輯于2023年，星期五普通最小二乘估計(jì)的結(jié)果為：

極大似然估計(jì)的EViews結(jié)果為：可見，對(duì)于線性方程，用極大似然估計(jì)得到的系數(shù)估計(jì)值與用最小二乘法估計(jì)得到的結(jié)果完全相同。第三十一頁，共七十八頁，編輯于2023年，星期五第二節(jié)似然比檢驗(yàn)、沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)

似然比檢驗(yàn)（LikelihoodRatioTest,LR）瓦爾德檢驗(yàn)（WaldTest,W）拉格朗日乘數(shù)檢驗(yàn)（LagrangeMultiplierTest,LM）是三種基于極大似然法的大樣本檢驗(yàn)方法。第三十二頁，共七十八頁，編輯于2023年，星期五

我們?cè)诘诙轮薪榻B的F檢驗(yàn)適用于檢驗(yàn)CLR模型的線性約束條件。如果施加于模型的約束是非線性的，模型存在參數(shù)非線性，或者擾動(dòng)項(xiàng)的分布不是正態(tài)的，在這些情況下，F(xiàn)檢驗(yàn)就不再適用，通常需要采用LR、W和LM這三個(gè)檢驗(yàn)方法中的一個(gè)來檢驗(yàn)約束條件是否成立。這三個(gè)檢驗(yàn)方法是漸近等價(jià)的，與這些檢驗(yàn)相聯(lián)系的統(tǒng)計(jì)量的小樣本分布是未知的，但它們每一個(gè)都漸近地服從自由度為約束條件個(gè)數(shù)的分布第三十三頁，共七十八頁，編輯于2023年，星期五一、三種檢驗(yàn)的基本原理

這三個(gè)檢驗(yàn)統(tǒng)計(jì)量基于三個(gè)不同的原理，我們用下圖來解釋之。第三十四頁，共七十八頁，編輯于2023年，星期五圖中，對(duì)數(shù)似然函數(shù)（）由上面的那條曲線表示，它是要估計(jì)的參數(shù)的函數(shù)。是使達(dá)到極大的值。假設(shè)要檢驗(yàn)的約束條件是，這一條件在這個(gè)值得到滿足，從圖上看，這個(gè)點(diǎn)是函數(shù)與橫軸的交點(diǎn)。

下面對(duì)這三個(gè)檢驗(yàn)所依據(jù)的原理作出解釋。第三十五頁，共七十八頁，編輯于2023年，星期五

1.LR檢驗(yàn)如果約束條件為真，則在施加約束條件的情況下，的極大值不應(yīng)當(dāng)顯著小于的無約束極大值。因此，LR檢驗(yàn)要檢驗(yàn)的是（-）是否顯著異于0。

2.W檢驗(yàn)如果約束條件為真，則不應(yīng)當(dāng)顯著異于0，其中是的無約束極大似然估計(jì)值。因此，W檢驗(yàn)要檢驗(yàn)的是是否顯著異于0。第三十六頁，共七十八頁，編輯于2023年，星期五

3.LM檢驗(yàn)對(duì)數(shù)似然函數(shù)在A點(diǎn)達(dá)到極大，在這點(diǎn)關(guān)于的斜率為0。如果約束條件為真，則在B點(diǎn)的斜率不應(yīng)當(dāng)顯著異于0。LM檢驗(yàn)要檢驗(yàn)的是用約束估計(jì)值計(jì)算的的斜率是否顯著異于0。第三十七頁，共七十八頁，編輯于2023年，星期五二、似然比（LR）檢驗(yàn)

設(shè)為待估計(jì)參數(shù)向量，原假設(shè)規(guī)定施加于這些參數(shù)上的約束，為的無約束極大似然估計(jì)量，為約束極大似然估計(jì)量。如果和分別是用這兩個(gè)估計(jì)值計(jì)算的似然函數(shù)值，則似然比（LikelihoodRatio）為：第三十八頁，共七十八頁，編輯于2023年，星期五

此函數(shù)的值位于0和1之間，因?yàn)閮蓚€(gè)似然都是正的，并且不會(huì)大于（約束最優(yōu)不可能超過無約束最優(yōu)）。如果過于小，則有理由懷疑約束條件的正確性。

LR檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量是，該統(tǒng)計(jì)量在大樣本情況下服從自由度為約束條件個(gè)數(shù)的分布。第三十九頁，共七十八頁，編輯于2023年，星期五三、沃爾德（W）檢驗(yàn)在實(shí)踐中似然比檢驗(yàn)的短處是需要估計(jì)約束和無約束參數(shù)向量，也就是說，既要進(jìn)行約束回歸，又要進(jìn)行無約束回歸。在復(fù)雜模型中，其中的一個(gè)估計(jì)值可能很難計(jì)算。幸運(yùn)的是，有兩個(gè)可供選擇的方法，即沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)，可以解決這個(gè)問題。這兩個(gè)檢驗(yàn)只需要估計(jì)約束和無約束參數(shù)向量中的一個(gè)。第四十頁，共七十八頁，編輯于2023年，星期五設(shè)是在無約束情況下得到的參數(shù)估計(jì)值向量，要檢驗(yàn)的原假設(shè)為：若約束條件成立，則至少應(yīng)該近似地滿足它們。如果原假設(shè)是錯(cuò)的，則應(yīng)該比單由抽樣變差所解釋的情況要更遠(yuǎn)離0。W檢驗(yàn)就是遵循這個(gè)思路構(gòu)建的。

W統(tǒng)計(jì)量是

成立和大樣本的情況下，W服從自由度為約束條件個(gè)數(shù)的分布。第四十一頁，共七十八頁，編輯于2023年，星期五要注意的是，W統(tǒng)計(jì)量僅需要無約束模型的計(jì)算，但仍需要計(jì)算協(xié)方差矩陣，其估計(jì)值由下式給出：

其中和分別表示估計(jì)和漸近。是一個(gè)矩陣，J是約束條件的個(gè)數(shù)，K是待估計(jì)參數(shù)的個(gè)數(shù)，它的第j行是第j個(gè)約束關(guān)于的第k個(gè)元素的導(dǎo)數(shù)。第四十二頁，共七十八頁，編輯于2023年，星期五四、拉格朗日乘數(shù)（LM）檢驗(yàn)第三個(gè)檢驗(yàn)是拉格朗日乘數(shù)（LM）檢驗(yàn)，亦稱score檢驗(yàn)。該檢驗(yàn)基于約束模型，無需估計(jì)無約束模型。假設(shè)我們要在施加一組約束條件的情況下極大化對(duì)數(shù)似然函數(shù)，令表示拉格朗日乘數(shù)向量，并定義拉格朗日函數(shù)第四十三頁，共七十八頁，編輯于2023年，星期五約束最大化問題的解就是下式的根：

其中是矩陣的轉(zhuǎn)置。若約束成立，則加上它們不會(huì)造成對(duì)數(shù)似然函數(shù)極大值的顯著差異。這意味著在一階條件下，第二項(xiàng)應(yīng)該很小，特別是應(yīng)該很小。我們可以直接檢驗(yàn)之，即檢驗(yàn)，這導(dǎo)致拉格朗日乘數(shù)檢驗(yàn)（LM檢驗(yàn)）。第四十四頁，共七十八頁，編輯于2023年，星期五直接檢驗(yàn)拉格朗日乘數(shù)向量比較困難，有另一個(gè)等價(jià)而簡單一些的方法。在約束估計(jì)值處計(jì)算的對(duì)數(shù)似然函數(shù)的導(dǎo)數(shù)是第四十五頁，共七十八頁，編輯于2023年，星期五

如果約束條件成立，至少在抽樣變差的范圍內(nèi)成立，則應(yīng)有。也就是說，在約束估計(jì)值處計(jì)算的對(duì)數(shù)似然的導(dǎo)數(shù)應(yīng)該近似為0。應(yīng)該記得，對(duì)數(shù)似然的一階導(dǎo)數(shù)向量是Score向量。由于我們的檢驗(yàn)基于這個(gè)向量，因而被稱為Score檢驗(yàn)，但大多數(shù)文獻(xiàn)中還是稱之為拉格朗日乘數(shù)檢驗(yàn)。第四十六頁，共七十八頁，編輯于2023年，星期五一階導(dǎo)數(shù)向量的方差是信息矩陣，我們用它來計(jì)算極大似然估計(jì)量的漸近協(xié)方差矩陣。

LM檢驗(yàn)統(tǒng)計(jì)量是在原假設(shè)下，LM統(tǒng)計(jì)量漸近服從自由度為約束條件個(gè)數(shù)的分布。第四十七頁，共七十八頁，編輯于2023年，星期五

實(shí)際應(yīng)用中，LM統(tǒng)計(jì)量有一個(gè)很簡單的公式：

其中N是觀測值數(shù)目，是用一個(gè)元素均為1的列向量對(duì)在約束估計(jì)值處計(jì)算的對(duì)數(shù)似然函數(shù)的諸導(dǎo)數(shù)（即Score向量）進(jìn)行線性回歸得到的非中心。非中心的含義是，在計(jì)算總平方和TSS時(shí)，因變量不減去其均值，即。第四十八頁，共七十八頁，編輯于2023年，星期五

用這種方法計(jì)算LM統(tǒng)計(jì)量非常容易，但對(duì)于小樣本來說不可靠，犯第一類錯(cuò)誤的可能性很大。

Davidson和MacKinnon（1983）提出了計(jì)算LM統(tǒng)計(jì)量的另一種方法，該方法克服了上述方法的缺點(diǎn)，而保持了其計(jì)算簡便的優(yōu)點(diǎn)，盡管計(jì)算中需要執(zhí)行他們所稱的雙長度回歸（double-lengthregression,DLR）。第四十九頁，共七十八頁，編輯于2023年，星期五五、實(shí)踐中三種檢驗(yàn)法的選擇問題

當(dāng)面臨具有相同漸近性質(zhì)的幾種統(tǒng)計(jì)量時(shí)，計(jì)量經(jīng)濟(jì)學(xué)家通常根據(jù)它們的小樣本性質(zhì)來進(jìn)行選擇。然而實(shí)踐中在LR、W和LM的選擇上，計(jì)算成本往往起著關(guān)鍵作用。計(jì)算LR統(tǒng)計(jì)量，的約束和無約束估計(jì)值都要計(jì)算，如果二者都不難計(jì)算，則LR檢驗(yàn)是三種檢驗(yàn)中最具吸引力的。第五十頁，共七十八頁，編輯于2023年，星期五計(jì)算W統(tǒng)計(jì)量僅需要無約束估計(jì)值。如果約束估計(jì)值的計(jì)算比較困難，而無約束估計(jì)值計(jì)算不困難，如約束條件是非線性的情況，則W統(tǒng)計(jì)量應(yīng)成為首選。計(jì)算LM統(tǒng)計(jì)量僅需約束估計(jì)值。如果約束估計(jì)值的計(jì)算比較容易，而無約束估計(jì)值的計(jì)算困難，例如施加約束后使非線性模型轉(zhuǎn)換成線性模型的情況，則LM統(tǒng)計(jì)量應(yīng)成為首選。在計(jì)算方面的考慮不是問題的情況下，應(yīng)選擇LR檢驗(yàn)。第五十一頁，共七十八頁，編輯于2023年，星期五*第三節(jié)廣義矩（GMM）估計(jì)前面討論的普通最小二乘法和極大似然估計(jì)法等方法都有本身的局限性。普通最小二乘法必須在遵循經(jīng)典假設(shè)的條件下才具有優(yōu)良的性質(zhì)，在異方差和序列相關(guān)等違背基本假設(shè)的情況下，普通最小二乘法將不再是最佳線性無偏估計(jì)量；應(yīng)用極大似然估計(jì)法的前提是對(duì)隨機(jī)擾動(dòng)項(xiàng)的分布必須做出某種假設(shè)，如正態(tài)分布。第五十二頁，共七十八頁，編輯于2023年，星期五而廣義矩估計(jì)可以不考慮隨機(jī)擾動(dòng)項(xiàng)的準(zhǔn)確分布信息，且允許隨機(jī)擾動(dòng)項(xiàng)存在異方差和自相關(guān)等違背經(jīng)典假設(shè)的情況，在很多方面具有獨(dú)特的優(yōu)勢(shì)。GMM是一種大樣本估計(jì)方法，在大樣本情況下GMM估計(jì)量漸近有效。普通最小二乘法、極大似然估計(jì)和工具變量法等許多估計(jì)方法都可以看作是廣義矩估計(jì)的特例。第五十三頁，共七十八頁，編輯于2023年，星期五一、矩估計(jì)法矩估計(jì)法（MethodofMoments）是GMM法的基礎(chǔ)。（一）矩估計(jì)原理一般來說，樣本統(tǒng)計(jì)量中每一個(gè)都有它的總體對(duì)應(yīng)物，例如，樣本均值對(duì)應(yīng)總體期望值，樣本方差對(duì)應(yīng)總體方差。因此一個(gè)很自然的想法是用諸樣本“矩”作為總體參數(shù)的估計(jì)量。第五十四頁，共七十八頁，編輯于2023年，星期五

設(shè)為隨機(jī)變量，是來自的樣本，連續(xù)型隨機(jī)變量和離散型隨機(jī)變量的前k階矩分別定義為：其中，為連續(xù)型隨機(jī)變量的概率密度函數(shù)，為離散型隨機(jī)變量的分布函數(shù)，是參數(shù)向量，。總體矩是的函數(shù)。第五十五頁，共七十八頁，編輯于2023年，星期五

設(shè)函數(shù)關(guān)系如下

這是一個(gè)包含k個(gè)未知參數(shù)的方程組。第五十六頁，共七十八頁，編輯于2023年，星期五可以從上述方程組解出，得到第五十七頁，共七十八頁，編輯于2023年，星期五樣本矩依概率收斂于相應(yīng)的總體矩，樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)，因此，可用樣本矩作為相應(yīng)的總體矩的估計(jì)量，而以樣本矩的連續(xù)函數(shù)作為相應(yīng)的總體矩的連續(xù)函數(shù)的估計(jì)量。以分別代替上式中的，得到的估計(jì)量

這種估計(jì)方法稱為矩估計(jì)法。第五十八頁，共七十八頁，編輯于2023年，星期五例4.3：，未知，是來自的樣本觀測值，試用矩估計(jì)法求參數(shù)的估計(jì)量。解：樣本一階和二階原點(diǎn)矩分別為：，

因?yàn)榫毓烙?jì)認(rèn)為樣本矩等于總體矩，所以總體矩的估計(jì)量為：第五十九頁，共七十八頁，編輯于2023年，星期五對(duì)于正態(tài)總體，分別為總體的均值和方差，均值和方差與總體一階二階原點(diǎn)矩有如下關(guān)系：

所以根據(jù)矩估計(jì)，正態(tài)總體的均值和方差的估計(jì)量為：第六十頁，共七十八頁，編輯于2023年，星期五（二）OLS和LM估計(jì)量的矩估計(jì)考慮經(jīng)典線性回歸模型的OLS估計(jì)量，該模型的一個(gè)重要假設(shè)條件是解釋變量與擾動(dòng)項(xiàng)無關(guān)，即這組矩條件的樣本對(duì)應(yīng)物是

的估計(jì)量是滿足這些矩條件的。不難看出，這些矩條件正好是OLS估計(jì)量的正規(guī)方程，因此我們看到，OLS估計(jì)量是矩估計(jì)量。第六十一頁，共七十八頁，編輯于2023年，星期五極大似然估計(jì)量是通過對(duì)數(shù)似然的導(dǎo)數(shù)等于0得到的，對(duì)于滿足正則條件的密度，有：其中f（.）為概率密度函數(shù)，是參數(shù)向量。我們通過令上式的樣本對(duì)應(yīng)物等于0來求極大似然估計(jì)量：

可見，極大似然估計(jì)量也可以通過一組矩條件用矩估計(jì)法導(dǎo)出。第六十二頁，共七十八頁，編輯于2023年，星期五二、廣義矩法在矩估計(jì)中，矩條件的個(gè)數(shù)恰好等于要估計(jì)參數(shù)的數(shù)目，即方程個(gè)數(shù)等于未知參數(shù)的個(gè)數(shù)，所以存在未知參數(shù)的唯一解。如果矩條件的數(shù)目大于參數(shù)的個(gè)數(shù)，就引出了廣義矩法（GeneralizedMethodofMoments，GMM）第六十三頁，共七十八頁，編輯于2023年，星期五廣義矩法直接從模型所施加的矩條件來估計(jì)模型，這些矩條件有時(shí)是線性的，但多數(shù)情況下是非線性的。我們?cè)谇懊婢毓烙?jì)法的介紹中討論了構(gòu)建OLS和LM估計(jì)量的矩條件。

下面我們給出矩條件的一般定義。第六十四頁，共七十八頁，編輯于2023年，星期五矩條件的一般形式為：為了表述的方便，將上式寫成第六十五頁，共七十八頁，編輯于2023年，星期五其中表示有R個(gè)元素的向量函數(shù)，為K維未知參數(shù)向量，，和為模型中全部變量，如為解釋變量向量，為工具變量向量。為了估計(jì)，我們考慮上式的樣本對(duì)應(yīng)物第六十六頁，共七十八頁，編輯于2023年，星期五如果矩條件的個(gè)數(shù)R等于未知參數(shù)的個(gè)數(shù)K，則有可能令的R個(gè)元素等于0，解出的唯一解，得到一個(gè)一致估計(jì)量；若是的非線性函數(shù)，則可能得不到解析解；如果矩條件的個(gè)數(shù)小于參數(shù)的個(gè)數(shù)，則參數(shù)向量不可識(shí)別；如果矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)，即，我們無法通過令

等于0求得唯一解，因?yàn)榉匠虜?shù)目多于變量個(gè)數(shù)。第六十七頁，共七十八頁，編輯于2023年，星期五（一）廣義矩估計(jì)方法概要

在矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)（），如工具變量的個(gè)數(shù)多于原解釋變量的數(shù)目的情況下，我們不能通過設(shè)定來唯一確定參數(shù)向量的估計(jì)量，為了充分利用個(gè)矩條件的信息，我們只能轉(zhuǎn)而借助最優(yōu)化方法的思路，選擇使得樣本矩向量從總體上盡可能接近于0的的估計(jì)量。這就是廣義矩估計(jì)方法的思路。具體的做法是將下面的加權(quán)平方和（亦稱為距離函數(shù)）第六十八頁，共七十八頁，編輯于2023年，星期五作為目標(biāo)函數(shù)，求出使該目標(biāo)函數(shù)達(dá)到最小的的值，就得到GMM估計(jì)量。上式中，為任意正定矩陣，稱為權(quán)矩陣，假設(shè)它收斂于一個(gè)常數(shù)矩陣W，即，權(quán)矩陣可能依賴于數(shù)據(jù)，但不是的函數(shù)。權(quán)矩陣在某種意義上反映了諸矩條件在距離函數(shù)中所占的權(quán)重，因此可以考慮將它設(shè)定為一個(gè)對(duì)角矩陣，其對(duì)角線元素是各個(gè)矩的方差的倒數(shù)。第六十九頁，共七十八頁，編輯于2023年，星期五至此，我們將矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)情況下參數(shù)的估計(jì)問題化為如下的最小化問題：求解此最優(yōu)化問題，得到的估計(jì)量就是廣義矩估計(jì)量（GMM）估計(jì)量。盡管一般情況下我們無法得到它的解析解，但可以證明，在某些弱正則條件下，GMM估計(jì)量是一