極大似然估計(jì)和廣義矩估計(jì).ppt

第四章 極大似然估計(jì)和廣義矩 估計(jì),（Maximum Likelihood method and Generalized Method of Moments ）,第一節(jié) 極大似然估計(jì)法 第二節(jié)似然比檢驗(yàn)、沃爾德檢驗(yàn)和拉格 朗日乘數(shù)檢驗(yàn) 第三節(jié)廣義矩（GMM）估計(jì) 小結(jié),除普通最小二乘法（OLS）外，極大似然估計(jì)（MLE）和廣義矩估計(jì)（GMM）也是計(jì)量經(jīng)濟(jì)學(xué)中重要的估計(jì)方法。 極大似然估計(jì)法和廣義矩估計(jì)法適用于大樣本條件下參數(shù)的估計(jì)，它們?cè)诖髽颖緱l件下顯示了優(yōu)良的性質(zhì)。 本章主要介紹極大似然法和廣義矩方法以及基于極大似然估計(jì)的似然比（LR）檢驗(yàn)、沃爾德（W）檢驗(yàn)和拉格朗日乘數(shù)（LM）檢驗(yàn)。,第一節(jié) 極大似然估計(jì)法 極大似然估計(jì)法（Maximum Likelihood method，ML）的應(yīng)用雖然沒(méi)有普通最小二乘法廣泛，但它是一個(gè)具有更強(qiáng)理論性質(zhì)的點(diǎn)估計(jì)方法，它以極大似然原理為基礎(chǔ)，通過(guò)概率密度函數(shù)或者分布律來(lái)估計(jì)總體參數(shù)。 極大似然估計(jì)的出發(fā)點(diǎn)是已知被觀測(cè)現(xiàn)象的分布，但不知道其參數(shù)。極大似然法用得到觀測(cè)值（樣本）最高概率的那些參數(shù)的值來(lái)估計(jì)該分布的參數(shù)，從而提供一種用于估計(jì)刻畫(huà)一個(gè)分布的一組參數(shù)的方法。,一、極大似然法的思路 設(shè)有一枚不均衡的硬幣，我們關(guān)心的是在每次拋擲該硬幣出現(xiàn)正面的概率p。拋擲該硬幣N次，假設(shè)得到 次正面， 次反面。由于每次拋硬幣都是相互獨(dú)立的，根據(jù)二項(xiàng)分布，得到這樣一個(gè)樣本的概率為： 上式中的表達(dá)式可看作是未知參數(shù)p的函數(shù)，被稱(chēng)為似然函數(shù)（Likelihood function）。對(duì)p的極大似然估計(jì)意味著我們選擇使似然函數(shù)達(dá)到最大的p值，從而得到p的極大似然估計(jì)量。,實(shí)際計(jì)算中，極大化似然函數(shù)的對(duì)數(shù)往往比較方便，這給出對(duì)數(shù)似然函數(shù) 上式達(dá)到極大的一階條件是 解之，得到p的極大似然估計(jì)量,二、極大似然原理 極大似然法的思路是，設(shè) 是隨機(jī)變量X的密度函數(shù)，其中 是該分布的未知參數(shù)，若有一隨機(jī)樣本 ，則 的極大似然估計(jì)值是具有產(chǎn)生該觀測(cè)樣本的最高概率的那個(gè) 值，或者換句話說(shuō)，的極大似然估計(jì)值是使密度函數(shù) 達(dá)到最大的值。 由于總體有離散型和連續(xù)型兩種分布，離散型分布通過(guò)分布律來(lái)構(gòu)造似然函數(shù)，而連續(xù)型分布通過(guò)概率密度函數(shù)來(lái)構(gòu)造似然函數(shù)，因此二者有區(qū)別，下面分別討論。,（一）離散型隨機(jī)變量極大似然原理 若總體為離散型分布，容易求得從樣本 取到觀察值 的概率，亦即事件發(fā)生的概率 為： 其中， 是待估參數(shù)向量。 這一概率隨 的取值而變化，它是 的函數(shù)， 稱(chēng)為樣本的似然函數(shù)。 極大似然估計(jì)法就是在 取值的可能范圍內(nèi)挑選使似然函數(shù) 達(dá)到最大的參數(shù)值 作為參數(shù) 的估計(jì)值，即求 ，使得,一般通過(guò)微分的方法求得 ，即，令 得到，有時(shí)候也可通過(guò)迭代法來(lái)求 ，具體的計(jì)算方法根據(jù)隨機(jī)變量的分布來(lái)確定。 這樣得到的 稱(chēng)為參數(shù) 的極大似然估計(jì)值 ，而相應(yīng)的統(tǒng)計(jì)量通常記為 ，稱(chēng)為參數(shù) 的極大似然估計(jì)量。,（二）連續(xù)型隨機(jī)變量極大似然原理 與離散型的情況一樣，我們?nèi)?的估計(jì)值 使 取到極大值，但 不隨 而變，故只需考慮函數(shù) 的極大值，這里 稱(chēng)為樣本的似然函數(shù)。 若 則 稱(chēng)為 的極大似然估計(jì)量，記為 。,通常情況下， 關(guān)于 可微，這時(shí) 可從方程 解得。因?yàn)?與 在同一點(diǎn)處取到 極值，的極大似然估計(jì)值 通常從方程 解得，式中 稱(chēng)為對(duì)數(shù)似然函數(shù)。 為了后面內(nèi)容表述方便起見(jiàn)，我們將對(duì)數(shù)似然函數(shù) 的一階導(dǎo)數(shù)向量表示為 ， 稱(chēng)為score向量或梯度向量， 的極大似然估計(jì)量 通過(guò)求解得到， 因此 稱(chēng)為似然方程。,三、極大似然估計(jì)量的性質(zhì) 極大似然估計(jì)量（MLE）的優(yōu)勢(shì)在于它們的大樣本性質(zhì)（漸近性質(zhì)）。 為介紹這些漸近性質(zhì)，我們用表示參數(shù)向量的極大似然估計(jì)量（MLE），表示參數(shù)向量的真值。 如果極大似然函數(shù)被正確設(shè)定，可以證明，在弱正則條件下，極大似然估計(jì)量具有以下漸近性質(zhì)：,（1）一致性： 是 的一致估計(jì)量，即， （2） 漸近有效性： 是漸近有效的且達(dá)到所有一致估計(jì)量的Cramr-Rao下界，即在所有一致漸近正態(tài)估計(jì)量（consistent asymptotically normal estimators ）中具有最小方差。 （3） 漸近正態(tài)性： 即漸近地服從正態(tài)分布，其中V是漸近協(xié)方差矩陣,協(xié)方差矩陣V由對(duì)數(shù)似然函數(shù)的形狀決定。為了說(shuō)明這一點(diǎn)，我們引入信息矩陣（Information Matrix）的概念，信息矩陣定義為 在適當(dāng)?shù)恼齽t條件下，可以證明，極大似然估計(jì)量的漸近協(xié)方差矩陣等于信息矩陣的逆矩陣，即,四、線性回歸模型的極大似然估計(jì) 線性回歸模型是計(jì)量經(jīng)濟(jì)學(xué)應(yīng)用最為廣泛的模型，因 此討論線性模型的極大似然估計(jì)是非常必要的。 下面我們?cè)陔S機(jī)擾動(dòng)項(xiàng)服從正態(tài)分布的假設(shè)下分別討 論雙變量線性回歸模型和多元線性回歸模型的極大似 然估計(jì)。非線性模型的極大似然估計(jì)，將在第五章中 介紹。,（一）雙變量線性回歸模型的極大似然估計(jì) 雙變量線性回歸模型： 其中， 為待估參數(shù)，為隨機(jī)擾動(dòng)項(xiàng)。對(duì)隨機(jī)擾動(dòng)項(xiàng)作出如下假設(shè)： 即隨機(jī)擾動(dòng)項(xiàng)具有0均值、同方差、不相關(guān)和服從正態(tài)分布的性質(zhì)。,根據(jù)以上假設(shè)可知： 因此，的概率密度函數(shù)為： 由于獨(dú)立同分布，因此，聯(lián)合概率密度函數(shù)，即似 然函數(shù)為：,對(duì)數(shù)似然函數(shù)為： 令： ， ， 得，,不難看出，前兩式與用普通最小二乘法得出的正規(guī)方 程相同，故我們有 但最后一式表明，的極大似然估計(jì)量與最小二乘估計(jì) 量不同，我們記得，最小二乘估計(jì)量 是一個(gè)無(wú)偏估計(jì)量。而 ，,這表明 ， 是一個(gè)有偏估計(jì)量 不難看出，當(dāng)樣本容量趨向無(wú)窮時(shí)， 因而 是一個(gè)漸近無(wú)偏估計(jì)量。,（二）多元線性回歸模型的極大似然估計(jì) 下面我們來(lái)討論一般形式的線性回歸模型的極大似然估計(jì)，并以矩陣形式表示： 對(duì)隨機(jī)擾動(dòng)項(xiàng)作出如下假設(shè)： 根據(jù)以上假設(shè)，我們有： 因此，的概率密度函數(shù)為：,上面有點(diǎn)問(wèn)題，把單個(gè)標(biāo)量和整體向量混淆了，看的時(shí)候注意點(diǎn),可以參考多元線性回歸講義PPT.,由于獨(dú)立同分布，因此，聯(lián)合概率密度函數(shù)，即似然函數(shù)為： 對(duì)數(shù)似然函數(shù)為： 注意到（4.17）中右端第二項(xiàng)的分子就是殘差平方和，我們有：,這里最后一個(gè)等號(hào)成立是因?yàn)榈诙兄兴懈黜?xiàng)都是標(biāo)量，且中間兩項(xiàng)互為轉(zhuǎn)置矩陣，因而相等 RSS對(duì)微分，得到： 這里用到了矩陣微分的以下兩條規(guī)則： （1） （2） ，第二個(gè)等號(hào)成立的條件是A為對(duì)稱(chēng)矩陣。,在（4.19）式中，a是 ，A是 。 由（4.19）式的結(jié)果，使對(duì)數(shù)似然函數(shù)（4.17）達(dá)到極大的一階條件為 解此二正規(guī)方程，得:,因此，在隨機(jī)擾動(dòng)項(xiàng)滿(mǎn)足標(biāo)準(zhǔn)假設(shè)條件的情況下，的極大似然估計(jì)量與普通最小二乘估計(jì)量相同，方差 的ML估計(jì)量與OLS估計(jì)量則不同。 是無(wú)偏的，而 是有偏的，但在大樣本下漸近無(wú)偏,將這些極大似然估計(jì)量代入(4.17)，就得到的極大值： 為了得到 的無(wú)偏估計(jì)量的Cramr-Rao下界，需要先計(jì)算信息矩陣,信息矩陣是按 分塊對(duì)角的，這是擾動(dòng)項(xiàng)為正態(tài)分布的回歸模型的一個(gè)重要性質(zhì)，意味著Cramr-Rao下界為： 值得注意的是， 達(dá)到了Cramr-Rao下界。在正態(tài)性的假設(shè)下， 是最小方差無(wú)偏估計(jì)量（MVU），這表明， 在所有無(wú)偏估計(jì)量而不僅僅是線性無(wú)偏估計(jì)量中方差最小。假設(shè)多一些（CLR模型加上正態(tài)性），得到的也多一些（MVU而不僅僅是BLUE）。,例4.2 以簡(jiǎn)單的消費(fèi)函數(shù)為例，說(shuō)明極大似然估計(jì)法的估計(jì)過(guò)程。 根據(jù)經(jīng)濟(jì)理論，消費(fèi)和收入與價(jià)格密切相關(guān)，因此建立以國(guó)內(nèi)生產(chǎn)總值gdp和消費(fèi)價(jià)格指數(shù)p 為解釋變量，國(guó)內(nèi)總消費(fèi)tc為被解釋變量的消費(fèi)方程。數(shù)據(jù)區(qū)間為19882007年。 消費(fèi)方程設(shè)定為： 其中 服從正態(tài)分布。,普通最小二乘估計(jì)的結(jié)果為： 極大似然估計(jì)的EViews結(jié)果為： 可見(jiàn)，對(duì)于線性方程，用極大似然估計(jì)得到的系數(shù)估計(jì)值與用最小 二乘法估計(jì)得到的結(jié)果完全相同。,第二節(jié) 似然比檢驗(yàn)、沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn),似然比檢驗(yàn)（Likelihood Ratio Test, LR） 瓦爾德檢驗(yàn)（Wald Test, W） 拉格朗日乘數(shù)檢驗(yàn)（Lagrange Multiplier Test, LM） 是三種基于極大似然法的大樣本檢驗(yàn)方法。,我們?cè)诘诙轮薪榻B的F檢驗(yàn)適用于檢驗(yàn)CLR模型的線性約束條件。 如果施加于模型的約束是非線性的，模型存在參數(shù)非線性，或者擾動(dòng)項(xiàng)的分布不是正態(tài)的，在這些情況下，F(xiàn)檢驗(yàn)就不再適用，通常需要采用LR、 W和LM這三個(gè)檢驗(yàn)方法中的一個(gè)來(lái)檢驗(yàn)約束條件是否成立。 這三個(gè)檢驗(yàn)方法是漸近等價(jià)的，與這些檢驗(yàn)相聯(lián)系的統(tǒng)計(jì)量的小樣本分布是未知的，但它們每一個(gè)都漸近地服從自由度為約束條件個(gè)數(shù)的 分布,一、三種檢驗(yàn)的基本原理,這三個(gè)檢驗(yàn)統(tǒng)計(jì)量基于三個(gè)不同的原理，我們用下圖來(lái)解釋之。,圖中，對(duì)數(shù)似然函數(shù)（ ）由上面的那條曲線表示，它是要估計(jì)的參數(shù) 的函數(shù)。 是使 達(dá)到極大的 值。假設(shè)要檢驗(yàn)的約束條件是， 這一條件在 這個(gè)值得到滿(mǎn)足，從圖上看，這個(gè)點(diǎn)是函數(shù) 與橫軸 的交點(diǎn)。 下面對(duì)這三個(gè)檢驗(yàn)所依據(jù)的原理作出解釋。,1. LR檢驗(yàn) 如果約束條件為真，則在施加約束條件的情況下， 的極大值 不應(yīng)當(dāng)顯著小于 的無(wú)約束極大值 。因此，LR檢驗(yàn)要檢驗(yàn)的是（ - ）是否顯著異于0。 2. W檢驗(yàn) 如果約束條件 為真，則 不應(yīng)當(dāng)顯著異于0，其中 是 的無(wú)約束極大似然估計(jì)值。因此，W檢驗(yàn)要檢驗(yàn)的是 是否顯著異于0。,3. LM檢驗(yàn) 對(duì)數(shù)似然函數(shù) 在A點(diǎn)達(dá)到極大，在這點(diǎn) 關(guān)于 的斜率為0。如果約束條件為真，則 在B點(diǎn)的斜率不應(yīng)當(dāng)顯著異于0。LM檢驗(yàn)要檢驗(yàn)的是用約束估計(jì)值 計(jì)算的 的斜率是否顯著異于0。,二、似然比（LR）檢驗(yàn),設(shè) 為待估計(jì)參數(shù)向量，原假設(shè) 規(guī)定施加于這些參數(shù)上的約束，為 的無(wú)約束極大似然估計(jì)量，為約束極大似然估計(jì)量。如果 和 分別是用這兩個(gè)估計(jì)值計(jì)算的似然函數(shù)值，則似然比 （Likelihood Ratio）為：,此函數(shù)的值位于0和1之間，因?yàn)閮蓚€(gè)似然都是正的，并且 不會(huì)大于 （約束最優(yōu)不可能超過(guò)無(wú)約束最優(yōu)）。如果 過(guò)于小，則有理由懷疑約束條件的正確性。 LR檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量是 ，該統(tǒng)計(jì)量在大樣本情況下服從自由度為約束條件個(gè)數(shù)的 分布。,三、沃爾德（W）檢驗(yàn),在實(shí)踐中似然比檢驗(yàn)的短處是需要估計(jì)約束和無(wú)約束參數(shù)向量，也就是說(shuō)，既要進(jìn)行約束回歸，又要進(jìn)行無(wú)約束回歸。在復(fù)雜模型中，其中的一個(gè)估計(jì)值可能很難計(jì)算。幸運(yùn)的是，有兩個(gè)可供選擇的方法，即沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)，可以解決這個(gè)問(wèn)題。這兩個(gè)檢驗(yàn)只需要估計(jì)約束和無(wú)約束參數(shù)向量中的一個(gè)。,設(shè) 是在無(wú)約束情況下得到的參數(shù)估計(jì)值向量，要檢驗(yàn)的原假設(shè)為： 若約束條件成立，則至少 應(yīng)該近似地滿(mǎn)足它們。如果原假設(shè)是錯(cuò)的，則 應(yīng)該比單由抽樣變差所解釋的情況要更遠(yuǎn)離0。W檢驗(yàn)就是遵循這個(gè)思路構(gòu)建的。 W統(tǒng)計(jì)量是 成立和大樣本的情況下，W服從自由度為約束條件個(gè)數(shù)的 分布。,要注意的是，W統(tǒng)計(jì)量?jī)H需要無(wú)約束模型的計(jì)算，但仍需要計(jì)算協(xié)方差矩陣，其估計(jì)值由下式給出： 其中 和 分別表示估計(jì)和漸近。是一個(gè) 矩陣，J是約束條件的個(gè)數(shù)，K是待估計(jì)參數(shù)的個(gè)數(shù)，它的第j行是第j個(gè)約束關(guān)于 的第k個(gè)元素的導(dǎo)數(shù)。,四、拉格朗日乘數(shù)（LM）檢驗(yàn),第三個(gè)檢驗(yàn)是拉格朗日乘數(shù)（LM）檢驗(yàn)，亦稱(chēng)score檢驗(yàn)。該檢驗(yàn)基于約束模型，無(wú)需估計(jì)無(wú)約束模型。 假設(shè)我們要在施加一組約束條件 的情況下極大化對(duì)數(shù)似然函數(shù)，令 表示拉格朗日乘數(shù)向量，并定義拉格朗日函數(shù),約束最大化問(wèn)題的解就是下式的根： 其中 是矩陣 的轉(zhuǎn)置。 若約束成立，則加上它們不會(huì)造成對(duì)數(shù)似然函數(shù)極大值的顯著差異。這意味著在一階條件下，第二項(xiàng)應(yīng)該很小，特別是 應(yīng)該很小。我們可以直接檢驗(yàn)之，即檢驗(yàn) ，這導(dǎo)致拉格朗日乘數(shù)檢驗(yàn)（LM檢驗(yàn)）。,直接檢驗(yàn)拉格朗日乘數(shù)向量 比較困難，有另一個(gè)等價(jià)而簡(jiǎn)單一些的方法。在約束估計(jì)值處計(jì)算的對(duì)數(shù)似然函數(shù)的導(dǎo)數(shù)是,如果約束條件成立，至少在抽樣變差的范圍內(nèi)成立，則應(yīng)有， 也就是說(shuō)，在約束估計(jì)值處計(jì)算的對(duì)數(shù)似然的導(dǎo)數(shù)應(yīng)該近似為0。應(yīng)該記得，對(duì)數(shù)似然的一階導(dǎo)數(shù)向量是Score向量 。由于我們的檢驗(yàn)基于這個(gè)向量，因而被稱(chēng)為Score檢驗(yàn)，但大多數(shù)文獻(xiàn)中還是稱(chēng)之為拉格朗日乘數(shù)檢驗(yàn)。,一階導(dǎo)數(shù)向量的方差是信息矩陣 ，我們用它來(lái)計(jì)算極大似然估計(jì)量的漸近協(xié)方差矩陣。 LM檢驗(yàn)統(tǒng)計(jì)量是 在原假設(shè)下，LM統(tǒng)計(jì)量漸近服從自由度為約束條件個(gè)數(shù)的 分布。,實(shí)際應(yīng)用中，LM統(tǒng)計(jì)量有一個(gè)很簡(jiǎn)單的公式： 其中N是觀測(cè)值數(shù)目， 是用一個(gè)元素均為1的列 向量對(duì)在約束估計(jì)值 處計(jì)算的對(duì)數(shù)似然函數(shù)的諸導(dǎo)數(shù)（即Score向量）進(jìn)行線性回歸得到的非中心 。 非中心 的含義是，在計(jì)算總平方和TSS時(shí)，因變量不減去其均值，即 。,用這種方法計(jì)算LM統(tǒng)計(jì)量非常容易，但對(duì)于小樣本來(lái)說(shuō)不可靠，犯第一類(lèi)錯(cuò)誤的可能性很大。 Davidson和MacKinnon（1983）提出了計(jì)算LM統(tǒng)計(jì)量的另一種方法，該方法克服了上述方法的缺點(diǎn)，而保持了其計(jì)算簡(jiǎn)便的優(yōu)點(diǎn)，盡管計(jì)算中需要執(zhí)行他們所稱(chēng)的雙長(zhǎng)度回歸（double-length regression, DLR）。,五、實(shí)踐中三種檢驗(yàn)法的選擇問(wèn)題,當(dāng)面臨具有相同漸近性質(zhì)的幾種統(tǒng)計(jì)量時(shí)，計(jì)量經(jīng)濟(jì)學(xué)家通常根據(jù)它們的小樣本性質(zhì)來(lái)進(jìn)行選擇。然而實(shí)踐中在LR、W和LM的選擇上，計(jì)算成本往往起著關(guān)鍵作用。 計(jì)算LR統(tǒng)計(jì)量， 的約束和無(wú)約束估計(jì)值都要計(jì)算，如果二者都不難計(jì)算，則LR檢驗(yàn)是三種檢驗(yàn)中最具吸引力的。,計(jì)算W統(tǒng)計(jì)量?jī)H需要無(wú)約束估計(jì)值。如果約束估計(jì)值的計(jì)算比較困難，而無(wú)約束估計(jì)值計(jì)算不困難，如約束條件是非線性的情況，則W統(tǒng)計(jì)量應(yīng)成為首選。 計(jì)算LM 統(tǒng)計(jì)量?jī)H需約束估計(jì)值。如果約束估計(jì)值的計(jì)算比較容易，而無(wú)約束估計(jì)值的計(jì)算困難，例如施加約束后使非線性模型轉(zhuǎn)換成線性模型的情況，則LM統(tǒng)計(jì)量應(yīng)成為首選。 在計(jì)算方面的考慮不是問(wèn)題的情況下，應(yīng)選擇LR檢驗(yàn)。,*第三節(jié) 廣義矩（GMM）估計(jì),前面討論的普通最小二乘法和極大似然估計(jì)法等方法都有本身的局限性。 普通最小二乘法必須在遵循經(jīng)典假設(shè)的條件下才具有優(yōu)良的性質(zhì)，在異方差和序列相關(guān)等違背基本假設(shè)的情況下，普通最小二乘法將不再是最佳線性無(wú)偏估計(jì)量； 應(yīng)用極大似然估計(jì)法的前提是對(duì)隨機(jī)擾動(dòng)項(xiàng)的分布必須做出某種假設(shè)，如正態(tài)分布。,而廣義矩估計(jì)可以不考慮隨機(jī)擾動(dòng)項(xiàng)的準(zhǔn)確分布信息，且允許隨機(jī)擾動(dòng)項(xiàng)存在異方差和自相關(guān)等違背經(jīng)典假設(shè)的情況，在很多方面具有獨(dú)特的優(yōu)勢(shì)。 GMM是一種大樣本估計(jì)方法，在大樣本情況下GMM估計(jì)量漸近有效。普通最小二乘法、極大似然估計(jì)和工具變量法等許多估計(jì)方法都可以看作是廣義矩估計(jì)的特例。,一、矩估計(jì)法,矩估計(jì)法（Method of Moments）是GMM法的基礎(chǔ)。 （一）矩估計(jì)原理 一般來(lái)說(shuō)，樣本統(tǒng)計(jì)量中每一個(gè)都有它的總體對(duì)應(yīng)物，例如，樣本均值對(duì)應(yīng)總體期望值，樣本方差對(duì)應(yīng)總體方差。因此一個(gè)很自然的想法是用諸樣本“矩”作為總體參數(shù)的估計(jì)量。,設(shè) 為隨機(jī)變量， 是來(lái)自 的樣本，連續(xù)型隨機(jī)變量和離散型隨機(jī)變量 的前k階矩分別定義為： 其中， 為連續(xù)型隨機(jī)變量 的概率密度函數(shù)， 為離散型隨機(jī)變量 的分布函數(shù)，是參數(shù)向量， ?？傮w矩是 的函數(shù)。,設(shè)函數(shù)關(guān)系如下 這是一個(gè)包含 k個(gè)未知參數(shù) 的方 程組。,可以從上述方程組解出 ，得到,樣本矩 依概率收斂于相應(yīng)的總體矩 ，樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)，因此，可用樣本矩 作為相應(yīng)的總體矩的估計(jì)量，而以樣本矩的連續(xù)函數(shù)作為相應(yīng)的總體矩的連續(xù)函數(shù)的估計(jì)量。以 分別代替上式中的 ，得到 的估計(jì)量 這種估計(jì)方法稱(chēng)為矩估計(jì)法。,例4.3： ， 未知， 是來(lái)自 的樣本觀測(cè)值，試用矩估計(jì)法求參數(shù) 的估計(jì)量 。 解：樣本一階和二階原點(diǎn)矩分別為： ， 因?yàn)榫毓烙?jì)認(rèn)為樣本矩等于總體矩，所以總體矩的估計(jì)量為：,對(duì)于正態(tài)總體， 分別為總體的均值和方差，均值和方差與總體一階二階原點(diǎn)矩有如下關(guān)系： 所以根據(jù)矩估計(jì)，正態(tài)總體的均值 和方差 的估計(jì)量為：,（二）OLS和LM估計(jì)量的矩估計(jì),考慮經(jīng)典線性回歸模型的OLS估計(jì)量，該模型的一個(gè)重要假設(shè)條件是解釋變量與擾動(dòng)項(xiàng)無(wú)關(guān)，即 這組矩條件的樣本對(duì)應(yīng)物是 的估計(jì)量是滿(mǎn)足這些矩條件的 。不難看出，這些矩條件正好是OLS估計(jì)量的正規(guī)方程，因此我們看到，OLS估計(jì)量是矩估計(jì)量。,極大似然估計(jì)量是通過(guò)對(duì)數(shù)似然的導(dǎo)數(shù)等于0得到的，對(duì)于滿(mǎn)足正則條件的密度，有： 其中f（.）為概率密度函數(shù)，是參數(shù)向量。 我們通過(guò)令上式的樣本對(duì)應(yīng)物等于0來(lái)求極大似然估計(jì)量： 可見(jiàn)，極大似然估計(jì)量也可以通過(guò)一組矩條件用矩估計(jì)法導(dǎo)出。,二、廣義矩法,在矩估計(jì)中，矩條件的個(gè)數(shù)恰好等于要估計(jì)參數(shù)的數(shù)目，即方程個(gè)數(shù)等于未知參數(shù)的個(gè)數(shù)，所以存在未知參數(shù)的唯一解。 如果矩條件的數(shù)目大于參數(shù)的個(gè)數(shù)，就引出了廣義矩法 （Generalized Method of Moments，GMM）,廣義矩法直接從模型所施加的矩條件來(lái)估計(jì)模型，這些矩條件有時(shí)是線性的，但多數(shù)情況下是非線性的。我們?cè)谇懊婢毓烙?jì)法的介紹中討論了構(gòu)建OLS和LM估計(jì)量的矩條件。 下面我們給出矩條件的一般定義。,矩條件的一般形式為： 為了表述的方便，將上式寫(xiě)成,其中 表示有R個(gè)元素的向量函數(shù)，為K維未知參數(shù)向量， ， 和 為模型中全部變量，如 為解釋變量向量，為工具變量向量。 為了估計(jì) ，我們考慮上式的樣本對(duì)應(yīng)物,如果矩條件的個(gè)數(shù)R等于未知參數(shù)的個(gè)數(shù)K，則有可能令 的R個(gè)元素等于0，解出 的唯一解，得到一個(gè)一致估計(jì)量； 若 是 的非線性函數(shù)，則可能得不到解析解；如果矩條件的個(gè)數(shù)小于參數(shù)的個(gè)數(shù)，則參數(shù)向量 不可識(shí)別；如果矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)，即 ，我們無(wú)法通過(guò)令 等于0求得的唯一解，因?yàn)榉匠虜?shù)目多于變量個(gè)數(shù),（一）廣義矩估計(jì)方法概要,在矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)（ ），如工具變量的個(gè)數(shù)多于原解釋變量的數(shù)目的情況下，我們不能通過(guò)設(shè)定 來(lái)唯一確定參數(shù)向量 的估計(jì)量，為了充分利用 個(gè)矩條件的信息，我們只能轉(zhuǎn)而借助最優(yōu)化方法的思路，選擇使得樣本矩向量從總體上盡可能接近于0的 的估計(jì)量。 這就是廣義矩估計(jì)方法的思路。具體的做法是將下面的加權(quán)平方和（亦稱(chēng)為距離函數(shù)）,作為目標(biāo)函數(shù)，求出使該目標(biāo)函數(shù)達(dá)到最小的 的值 ，就得到GMM估計(jì)量。 上式中，為任意正定矩陣，稱(chēng)為權(quán)矩陣，假設(shè)它收斂于一個(gè)常數(shù)矩陣W，即， 權(quán)矩陣可能依賴(lài)于數(shù)據(jù)，但不是 的函數(shù)。權(quán)矩陣在某種意義上反映了諸矩條件在距離函數(shù)中所占的權(quán)重，因此可以考慮將它設(shè)定為一個(gè)對(duì)角矩陣，其對(duì)角線元素是各個(gè)矩的方差的倒數(shù)。,至此，我們將矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)情況下參數(shù)的估計(jì)問(wèn)題化為如下的最小化問(wèn)題： 求解此最優(yōu)化問(wèn)題，得到的估計(jì)量就是廣義矩估計(jì)量（GMM）估計(jì)量 。 盡管一般情況下我們無(wú)法得到它的解析解，但可以證明，在某些弱正則條件下，GMM估計(jì)量是一致和漸近正態(tài)估計(jì)量。實(shí)踐中通常采用數(shù)值解法求解上式中的最小化問(wèn)題得到GMM估計(jì)量。,不