廣義矩估計(jì)法

1、廣義矩估計(jì)一、背景我們前面學(xué)了 OLS估計(jì)、工具變量估計(jì)方法，前面這幾種方法都有重要假 設(shè)就是需要知道分布才能估計(jì)，但是往往現(xiàn)實(shí)理論我們無(wú)法得到關(guān)于分布的信 息，因此矩估計(jì)方法應(yīng)運(yùn)而生。矩估計(jì)方法的基本思想是利用樣本矩的信息組成 方程組來(lái)求總體矩，以此得到漸進(jìn)性質(zhì)下的一致性估計(jì)量。那么在構(gòu)成方程組求 解的過(guò)程中涉及識(shí)別問(wèn)題和解決。本章詳細(xì)介紹矩估計(jì)方法。矩估計(jì)方法實(shí)際應(yīng) 用非常廣泛，應(yīng)注意將矩估計(jì)與OLS估計(jì)、工具變量估計(jì)和極大似然估計(jì)方法 結(jié)合對(duì)比進(jìn)行應(yīng)用。二、知識(shí)要點(diǎn)1，應(yīng)用背景矩估計(jì)存在的問(wèn)題（識(shí)別）矩正交方程和矩條件矩估計(jì)的屬性三、要點(diǎn)細(xì)綱1、應(yīng)用背景其基本思想是：在隨機(jī)抽樣中，樣本統(tǒng)

2、計(jì)量（在一個(gè)嚴(yán)格意義上，一個(gè)統(tǒng) 計(jì)量是觀察的n維隨機(jī)向量即子樣X(jué) = J1，X2 ,., Xn）的一個(gè)（波雷爾可測(cè)） 函數(shù)，且要求它不包含任何未知參數(shù)）將依概率收斂于某個(gè)常數(shù)。這個(gè)常數(shù)又是 分布中未知參數(shù)的一個(gè)函數(shù)。即在不知道分布的情況下，利用樣本矩構(gòu)造方程（包 含總體的未知參數(shù)），利用這些方程求得總體的未知參數(shù)?；径x統(tǒng)計(jì)量 吸全1三X為子樣的V階矩（V階原點(diǎn)矩）；n i=1統(tǒng)計(jì)量bv=- w q 一 x為子樣的v階中心矩。n i=1子樣矩的均值與方差EX = i V（X）=E（X_pi）2=Ek2L全。2EXk =ak E（X-i/ = ik我們用到或時(shí)假定它是存在的?；咀龇ㄔO(shè)：母體X

3、的可能分布族為 （兀。）,0 G）,其中屬于參數(shù)空間的 o =（91,e2,.,ejt）是待估計(jì)的未知參數(shù)。假定母體分布的儲(chǔ)介矩存在，則母體 分布的V階矩 6,。2,f 尸dF（x,0） lv k00是。=的函數(shù)。對(duì)于子樣X(jué) =（X,X2，.,X），其u階子樣矩是1 n v陽(yáng)= X，1 v k n=l現(xiàn)在用于樣矩作為母體矩的估計(jì)，即令:Oy四-E Xv =l,2,.,k（1）（1）式確定了包含化個(gè)未知參數(shù)0 = 41，。2，.，叫）的*個(gè)方程式。求解（I）式就可以得到=，1，。2，*）的一組解。二因?yàn)榘仁请S機(jī)變量，故解得的也是隨機(jī)變量。將,我，分別作為1，2,，阮的估 計(jì)稱為矩方法的估計(jì)，這種

4、求估計(jì)量的方法稱為矩方法。2、矩估計(jì)存在的問(wèn)題（識(shí)別）當(dāng)我們選擇的樣本矩方程多于、等于或少于我們所要估計(jì)的參數(shù)時(shí)，是否 存在唯一解？如果無(wú)解，我們應(yīng)該采用什么技術(shù)進(jìn)行處理？設(shè)為模型向量，為工具變量。考慮R個(gè)矩條件這里0是K x 1向量,)=0()是R維向量函數(shù)?？紤]相應(yīng)的樣本矩條件: f (的，m , 0 ) = 0.T t=l什么時(shí)候可以利用R個(gè)樣本矩條件估計(jì)K個(gè)參數(shù)?(1) R K這時(shí)方程組中方程的個(gè)數(shù)多于參數(shù)的個(gè)數(shù)，此為過(guò)度識(shí)別問(wèn)題,這時(shí)我們對(duì)矩條件的權(quán)重進(jìn)行修正，即采用最優(yōu)GMM估計(jì)方法?？紤]GMM的目標(biāo)函數(shù)q) =采用平方形式：qt = gT，yj1) I吟 / = arg imn如

5、何選擇吟？根據(jù)大數(shù)定理：T oo.和中心極限定理：gr(0)E(/O) T T 8.廳.gT(0)TN(0,S)方差較小的矩就賦予較小的權(quán)重，即plimWpt =Wopt = S-1Tts 1如不存在自相關(guān)，貝I：5 = VarQf.gT(0 ) = T.Var(gT(0 )問(wèn)題就是最小化：=T Var(1 T Rf (嗎，)t=l)意味著我們選用的最優(yōu)權(quán)重矩陣為:z t、1冷宙而wfpt =3,矩正交方程和矩條件本節(jié)介紹實(shí)際操作中如何建立矩條件方程組?？紤]一個(gè)變量七，我們不知道分布，但是知道n =Ey),我們得到總體 的矩條件：日)=0或者，。危)=0這里fyt= yt -kto( )1由于

6、我們不能計(jì)算ELf定義樣本矩條件： TOC o 1-5 h z HYPERLINK l bookmark69 o Current Document St 3)=亍 Z /(也 M)= Z()7 四)=(1)1 t=l1 t=l根據(jù)大數(shù)定理，有： HYPERLINK l bookmark72 o Current Document gr(P)TEf G)對(duì)于8.(2)1 T1 T那么米用矩估計(jì)量盛M = E可以證明：&mm = _ 。TTT t=l實(shí)際操作中采用兩階段GMM估計(jì)和迭代GMM估計(jì)。(1 )兩階段GMM估計(jì)選擇一個(gè)最初的估計(jì)權(quán)重wq, %廣/或廣知1,找到參數(shù)的一致性估計(jì)量：%)= a

7、rgmingT/wayr(。)，接著估計(jì)最優(yōu)權(quán)Wpt = S 最后作最優(yōu) GMM 估計(jì)：&GMM = argmin (0) gT(0)(2 )迭代GMM估計(jì)選擇一個(gè)最初的估計(jì)權(quán)重),計(jì)算矩條件得到的參數(shù)函數(shù) 條)，再找一 個(gè)新的權(quán)重咐，進(jìn)行迭代運(yùn)算直到&()和咐收斂。4,矩估計(jì)的屬性1、矩估計(jì)量是一個(gè)大樣本估計(jì)量。2、當(dāng)T沒(méi)有關(guān)于分布的假設(shè)條件；矩估計(jì)量是漸進(jìn)有效的；很多估計(jì)量可以作為GMM的估計(jì)量，應(yīng)用很廣泛；矩估計(jì)量是一個(gè)非線性的估計(jì)量: E: f Q * DI四、習(xí)題1、闡述矩估計(jì)的應(yīng)用背景。2、簡(jiǎn)要闡述矩估計(jì)的識(shí)別問(wèn)題。3、簡(jiǎn)要闡述兩階段矩估計(jì)和迭代矩估計(jì)的思想和做法。4、簡(jiǎn)要闡述矩估

8、計(jì)和OLS估計(jì)和IV估計(jì)之間的關(guān)系。極大似然估計(jì)一、背景極大似然估計(jì)法(ML)是不同于最小二乘法的另一種參數(shù)估計(jì)方法，其應(yīng) 用雖然沒(méi)有最小二乘普遍，但在計(jì)量經(jīng)濟(jì)學(xué)中占有絕對(duì)重要的地位，因?yàn)闃O大似 然原理比最小二乘原理更本質(zhì)的揭示了通過(guò)樣本估計(jì)母體參數(shù)的內(nèi)在機(jī)理。計(jì)量 經(jīng)濟(jì)學(xué)理論的發(fā)展更多的是以極大似然估計(jì)原理為基礎(chǔ)的，一些特殊的計(jì)量經(jīng)濟(jì) 模型只有用極大似然的方法才能進(jìn)行估計(jì)。本部分我們就極大似然估計(jì)的基本原 理以及性質(zhì)進(jìn)行學(xué)習(xí)。二、知識(shí)要點(diǎn)1，極大似然函數(shù)正則條件與克拉美-勞下界極大似然估計(jì)的性質(zhì)4，BHHH三、要點(diǎn)細(xì)綱1、極大似然函數(shù)及其估計(jì)的基本原理從總體中經(jīng)過(guò)N次隨機(jī)抽取得到樣本容量為N

9、的樣本觀測(cè)值，在任一次隨 機(jī)抽取中，樣本觀測(cè)值都以一定的概率出現(xiàn)，各樣本的抽取是獨(dú)立的，因此容易 得到樣本的聯(lián)合密度函數(shù)。若只知道總體服從某種分布，但不知道其分布的參數(shù)， 在可供選擇的總體中，我們選擇使得產(chǎn)生N個(gè)樣本的聯(lián)合概率最大的總體。樣 本觀測(cè)值聯(lián)合概率函數(shù)就稱為似然函數(shù)。設(shè)總體的概率密度函數(shù)為f，其類型是已知的，但含有未知參數(shù)，觀測(cè)值X，X.,X的聯(lián)合密度函數(shù)為：L(x, )=寸f (x )。它就稱為樣本的似然函12Nii=1 數(shù)，包含有未知參數(shù)。極大似然估計(jì)的原理就是尋找參數(shù)估計(jì)量，使得似然函數(shù)達(dá)到最大，就 稱為極大似然估計(jì)量。通過(guò)取對(duì)數(shù)以及一階條件可以求得該參數(shù)估計(jì)值?？梢宰C明對(duì)于多

10、元線性回歸模型，在古典假設(shè)條件成立的條件下，極大似然 估計(jì)得到的參數(shù)估計(jì)量與最小二乘估計(jì)得到的參數(shù)估計(jì)量是一樣的。2、正則條件設(shè)（%, %,., x）是來(lái)自于密度函數(shù)為f （x, m的單元（或多元）總體，密度函 數(shù)f （x,。）遵從下列正則條件：R1.對(duì)幾乎所有的x和所有的0，ln f （x ,9）關(guān)于9的前三階導(dǎo)數(shù)是有限的。（這樣就確保了某些Taylor級(jí)數(shù)近似的存在和/ n L導(dǎo)數(shù)的有限方差）；R2.滿足獲得ln f （x ,0）一階二階導(dǎo)數(shù)期望所需的條件； iR3.對(duì)于所有0的取值，仞1n f x；0）小于一個(gè)具有有限期望的函數(shù)（這點(diǎn)30 30 30 j k l使我們能夠?qū)aylor級(jí)

11、數(shù)進(jìn)行舍去項(xiàng)數(shù)）。在這些正則條件，我們有下列關(guān)于f （x ,0）的基本性質(zhì)：iD1. ln f （x ,0）, g =3ln小，0）和H =32lnf （x，0）（，= 1,2,.,n）是30i3030t隨機(jī)變量的全部隨機(jī)樣本；D2. Eg= E m當(dāng),0）= 0，一階導(dǎo)數(shù)的期望為零；D3. Var g = -EH = -E竺MR，二階導(dǎo)數(shù)矩陣期望的負(fù)值等于 ii 3030t ）一階導(dǎo)數(shù)的方差。了解正則條件，記住D2、D3的性質(zhì)。3、克拉美勞下界若x的密度函數(shù)滿足一定的正則條件，參數(shù)0的一個(gè)無(wú)偏估計(jì)量的方差總是 大于等于1 (0)-1 =C-E一3 2 InL (0)30 27eZ r ir3

12、0這就是克拉美-勞下界，或稱為信息矩陣。對(duì)g (0)的任一無(wú)偏估計(jì)，g = g (氣,七 x)，Var(g) 岑器，這是g(0)無(wú)偏估計(jì)的方差下界，但不一定是下確界。若g(0)的方差正好達(dá)到不等式的右端，則g(0)為g(0 )的最小方差估計(jì)。4、極大似然估計(jì)的性質(zhì)若似然函數(shù)f (x, e)滿足正則條件，極大似然估計(jì)量有下列漸進(jìn)性質(zhì)：mi、一致性：plime=e、,一 一， m2、漸進(jìn)正態(tài)：e-a N1(e)，I(e)= ea 2 in LaeaerM3、漸進(jìn)有效：0是漸進(jìn)有效的，且達(dá)到一致估計(jì)量的克拉美-勞下界:AsyVar e = E合2ln L (e) |1deaer(a ln L (e)

13、Y a in l (e) E1M4、不變性：若0是0的ML估計(jì)，C(o )是連續(xù)函數(shù)，則Y = C(o )的ML 估計(jì)是c ()。這四個(gè)性質(zhì)特別是最后兩個(gè)性質(zhì)，估計(jì)量達(dá)到了最小方差，即ML估計(jì)量 是有效估計(jì)量。同時(shí)若要估計(jì)參數(shù)的函數(shù)，無(wú)需重新估計(jì)模型，為估計(jì)參數(shù)函數(shù) 提供了便利。但在小樣本的條件下，ML估計(jì)并不一定是最佳的。5、BHHH簡(jiǎn)單的說(shuō)它是用來(lái)估計(jì)最大似然估計(jì)量的漸近方差，也就是方差的克拉美- 勞下界，是一種依靠計(jì)算機(jī)的算法，因此此內(nèi)容只是作為了解。當(dāng)對(duì)數(shù)似然函數(shù) 的二階微分期望值的形式是已知的，那么可以在0處估計(jì)MLE的方差。I(0)-1 三Ea 2 InL (0川-1a0a0 J由于對(duì)數(shù)似然函數(shù)的二階微分幾乎總是復(fù)雜的非線性函數(shù)，其確切的期望值 是未知的，那么可以考慮如下兩個(gè)可選估計(jì)量:(1)計(jì)算對(duì)數(shù)似然函數(shù)的二階微分矩陣而不是其期望值簡(jiǎn)單得到漸近方差:合2lnL WI 2 決所J它的缺點(diǎn)仍然在于計(jì)算二階微分矩陣的復(fù)雜性，計(jì)算機(jī)編程難以實(shí)現(xiàn)。(2)由于在正則條件下我們有性質(zhì)二階導(dǎo)數(shù)矩陣期望的負(fù)值等于一階導(dǎo)數(shù) 的方差，因此我們有：弋 g;.g;. T=g Gj1，3-i=1一 一 G = Lg1，g