《最大似然估計》PPT課件.ppt

1、非經(jīng)典計量經(jīng)濟(jì)學(xué)模型估計方法,第一節(jié) 最大似然估計,計量模型估計方法說明,計量經(jīng)濟(jì)學(xué)模型(參數(shù)模型、均值回歸模型、基于樣本信息）的3類估計方法 LS、ML、GMM 經(jīng)典模型的估計LS 非經(jīng)典模型的估計ML、GMM 綜合樣本信息和先驗信息的貝葉斯估計 分位數(shù)回歸模型，Quantile Regression ,QREG 非參數(shù)模型的權(quán)函數(shù)估計、級數(shù)估計等,主要內(nèi)容,一、最大似然原理 二、線性模型的最大似然估計 三、非線性模型的最大似然估計 四、異方差和序列相關(guān)的最大似然估計 五、最大似然估計下的Wald、LM和LR檢驗,一、最大似然原理,內(nèi)在機(jī)理：當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)

2、估計量應(yīng)該使得從模型中抽取該n組樣本觀測值的概率最大。該方法更本質(zhì)地揭示了通過樣本估計母體參數(shù)的內(nèi)在機(jī)理。 在微觀計量模型尤其適用。 似然函數(shù)：將樣本觀測值聯(lián)合概率函數(shù)稱為樣本觀測值的似然函數(shù)。 極大似然法：通過似然函數(shù)極大化以求得總體參數(shù)估計量的方法被稱為極大似然法。,工作原理：在已經(jīng)取得樣本觀測值的情況下，使似然函數(shù)取最大值的總體分布參數(shù)所代表的總體具有最大的概率取得這些樣本觀測值，該總體參數(shù)即是所要求的參數(shù)。 最小二乘法：最合理的參數(shù)估計量是使得模型能最好的擬合樣本數(shù)據(jù)； 以正態(tài)分布的總體為例，每個總體都有自己的分布參數(shù)期望和方差，如果已經(jīng)得到n組樣本觀測值，在可供選擇總體中，哪個最可能

3、產(chǎn)生這組樣本數(shù)據(jù)？取得n組樣本觀測值的聯(lián)合概率，然后選擇參數(shù)使其最大，和該參數(shù)匹配的即為總體。,二、線性模型的最大似然估計,1、一元線性模型的最大似然估計,Yi的分布,Yi的概率密度函數(shù),Y的所有樣本觀測值的聯(lián)合概率似然函數(shù),隨機(jī)抽取n組樣本觀測值Yi 。,為什么是這個形式?,對數(shù)似然函數(shù),對數(shù)似然函數(shù)極大化的一階條件,結(jié)構(gòu)參數(shù)的ML估計量,判斷L*為海塞矩陣負(fù)定，所以有極大值，一階條件為：,分布參數(shù)的ML估計量,注意： ML估計必須已知Y的分布。 只有在正態(tài)分布時，ML和OLS的結(jié)構(gòu)參數(shù)估計結(jié)果相同。 如果Y不服從正態(tài)分布，不能采用OLS。例如：選擇性樣本模型、計數(shù)數(shù)據(jù)模型等。在微觀計量領(lǐng)域

4、有重要應(yīng)用。,2、多元線性模型的最大似然估計,i=1,2,n,結(jié)構(gòu)參數(shù)估計結(jié)果與OLS估計相同,分布參數(shù)估計結(jié)果與OLS不同,3、最大似然估計量的性質(zhì),4、信息矩陣,三、非線性模型的最大似然估計,1、簡單非線性模型的最大似然估計,i=1,2,n,Y和X是分離的,面臨NLS（非線性最小二乘估計）同樣的過程，得到相同的估計結(jié)果。,2. 一般非線性模型的ML估計,以上是一般非線性模型的完整描述。,隨機(jī)項滿足經(jīng)典假設(shè),模型參數(shù)的一種估計方法是最小二乘法，即最小化,模型參數(shù)的另一種估計方法是最大似然法。得到廣泛應(yīng)用。,最大似然估計,雅可比行列式,第i個觀測點的似然函數(shù)=雅可比行列式密度函數(shù),總體的對數(shù)似

5、然函數(shù)為：,樣本的對數(shù)似然函數(shù)為：,很明顯若沒有雅可比行列式項，參數(shù)的非線性最小二乘估計將是最大似然估計；但是，如果雅可比行列式包括，最小二乘法不是最大似然法。,最大化對數(shù)似然函數(shù)的一階條件為：,3、說明,非線性模型最大似然估計的性質(zhì) 結(jié)構(gòu)參數(shù)的最大對數(shù)似然估計是漸近無偏、一致估計且漸近地服從正態(tài)分布； 分布參數(shù)的最大對數(shù)似然估計是漸近無偏和一致估計。 非線性模型的最大對數(shù)似然估計一般不等價于非線性最小二乘估計，而是一個加權(quán)非線性最小二乘估計。 在特殊情況下，雅克比行列式為1，最大對數(shù)似然估計才等 價于非線性最小二乘估計，條件如下：,四、異方差和序列相關(guān)的最大似然估計,1、思路,經(jīng)典模型異方差

6、問題或者序列相關(guān)問題的處理方法： 一類是變換模型，使之成為不再具有異方差性或者序列相關(guān)性的模型，然后采用OLS進(jìn)行估計，例如WLS、GLS等； 一類是修正OLS估計量的標(biāo)準(zhǔn)差，糾正模型具有異方差性或者序列相關(guān)性時OLS估計量的非有效性，使得繼而進(jìn)行的統(tǒng)計推斷（例如顯著性檢驗、參數(shù)的置信區(qū)間估計等）仍然有效，例如White修正、Newey-West修正方法等。,非線性ML方法 將異方差問題或者序列相關(guān)問題看成一類非線性問題，采用ML估計，比較簡單，可以同時得到結(jié)構(gòu)參數(shù)估計量和反映異方差或者序列相關(guān)特征的分布參數(shù)估計量。,2、異方差的最大似然估計,被解釋變量樣本的對數(shù)似然函數(shù)為：,對異方差的結(jié)構(gòu)給

7、出假定，可以對模型的參數(shù)和的參數(shù)進(jìn)行最大似然估計。,3、例題,OLS,ML,注： 線性模型，截面樣本，一般存在異方差。 時間序列也有可能有異方差，常見金融時間序列。 采用非線性最大似然法估計，可以得到關(guān)于異方差結(jié)構(gòu)的估計結(jié)果。 在某些情況下，得到異方差結(jié)構(gòu)的估計結(jié)果比模型參數(shù)估計量更重要。這就是異方差性的非線性方法的意義所在。,4、序列相關(guān)的最大似然估計,首先假定模型隨機(jī)誤差項的序列相關(guān)結(jié)構(gòu)。一般以AR(1)、MA(1)、ARMA(1,1)為常見。 求出隨機(jī)誤差項對被解釋變量的偏導(dǎo)數(shù)表達(dá)式，即得到雅克比式。 構(gòu)造最大似然函數(shù)。 同時得到模型參數(shù)和隨機(jī)誤差項的序列相關(guān)結(jié)構(gòu)的估計結(jié)果。,假定模型隨

8、機(jī)誤差項的序列相關(guān)結(jié)構(gòu)為AR(1),按照非線性模型ML顯示：,此時，n變?yōu)門，且有,所以，對數(shù)似然函數(shù)為：,中心化對數(shù)似然函數(shù)：,模型隨機(jī)誤差項的序列相關(guān)結(jié)構(gòu)為MA(1)、ARMA(1,1)的估計方法步驟相同，見教材。,5、例題,五、最大似然估計下的Wald、LM和LR檢驗,1、說明,在采用最小二乘估計的經(jīng)典模型的檢驗中，常用的檢驗統(tǒng)計量是基于殘差平方和構(gòu)造的，例如F統(tǒng)計量、t統(tǒng)計量等。 在采用最大似然估計的非經(jīng)典模型的檢驗中，常用的檢驗統(tǒng)計量是基于最大似然函數(shù)值構(gòu)造的，例如Wald統(tǒng)計量、LR統(tǒng)計量、LM統(tǒng)計量等。 三類檢驗在大樣本下漸進(jìn)等價。,1、沃爾德檢驗（Wald Test） 通過研究 的無約束估計量與有約束的距離來檢驗，如果原假設(shè)正確，二者差值不應(yīng)該很大。,2、似然比檢驗（WLR） 通常來說，無約束的似然函數(shù)最大值 比有約束的似然函數(shù)最大值 更大，如果原假設(shè)正確，差值不應(yīng)該很大。,3、拉格朗日乘子檢驗（LM）,注： Wald僅利用無約束估計的信息，LM檢驗僅利用有約束估計的信息，而LR檢驗同時利用有約束與無約束信息。 這三類檢驗在大樣本情況下是等價的，小樣本下性質(zhì)不同。 在正態(tài)分布與線性假設(shè)的情況下，可以證明統(tǒng)計量WALDLRLM。 在不對模型的具體概率分布做出假設(shè)的情況下，LR、LM檢驗無法進(jìn)行，但是Wald檢驗仍可以進(jìn)行。 L