計量經(jīng)濟學-中-（7）非線性似然估計.ppt

1、高斯-馬爾科夫定理,在滿足基本假定的前提下，對于線性回歸模型，普通最小二乘法得到的參數(shù)估計量，具有BLUE 性質(zhì)（最小方差線性無偏估計量）,第10章 非線性估計與極大似然估計,10.1 非線性估計 10.2 極大似然估計法 10.3 ARCH模型與GARCH模型,10.1 非線性估計 前面討論的單方程回歸模型中，它們都是關(guān)于參數(shù)線性的。通常利用普通LS法、加權(quán)LS法等估計這些參數(shù)。下面將參數(shù)線性模型拓寬到本質(zhì)上非線性的情形，如模型 這些模型無法變換為線性模型，因此線性LS不再適用。但誤差平方和最小化原則仍然可以施行，所得到的參數(shù)估計，我們稱為非線性LS估計?？紤]一般 模型,其中f是k個自變量X

2、1,X2,Xk和p個參數(shù)1,2,p的非線性函數(shù)。如果具有Y與X1,X2,Xk的T個觀測，利用誤差平方和最小化可得參數(shù)的非線性LS估計： 1、非線性估計的計算方法 求解參數(shù)的非線性LS估計，要比線性模型的LS估計復(fù)雜的多，通常采用數(shù)值解法。以下三種方法較常見： 直接查找法： 是指對不同的參數(shù)值比較誤差平方和S函數(shù)的值，使S最小的那組值就是參數(shù)的估計值。這種方法適用于所有參數(shù)僅有若干取值的情形。,直接優(yōu)化法 誤差平方和S關(guān)于各參數(shù)求偏導，得到相應(yīng)的正規(guī)方程 通過求解正規(guī)方程組，獲得參數(shù)估計。 由于正規(guī)方程關(guān)于參數(shù)是非線性的，通常采用數(shù)值解法如梯度法(參數(shù)從初始數(shù)值集朝使函數(shù)值下降最快的方向逼近，亦

3、稱最速下降法),循環(huán)線性化法 是指將非線性方程在某個參數(shù)的初始數(shù)值集附近線性化，然后用普通LS法得到參數(shù)的新數(shù)值集；再把非線性方程在新的數(shù)值集附近重新線性化，用普通LS法得到參數(shù)更新的數(shù)值集，如此循環(huán)反復(fù)直至數(shù)值集變化很小(即數(shù)值集收斂)，作為參數(shù)的最終取值。 其中利用了關(guān)于以參數(shù)為變元函數(shù)的一階泰勒級數(shù)展開式,上式可變形為 這是關(guān)于參數(shù)的線性模型，用普通LS法可以得到參數(shù)的LS解，作為參數(shù)新的數(shù)值集，替換(10.1)式的初始數(shù)值集。如此循環(huán)下去直至 這里為指定的一個正數(shù)，如0.01。,2、非線性回歸方程的評價 由于非線性回歸方程的殘差 不再服從正態(tài)分布，因此殘差平方和也不再服從2分布，原來線

4、性模型中的F分布、t分布不在適用了。但擬合優(yōu)度R2仍然是有用的 3、非線性回歸方程的預(yù)測 一旦得到了非線性方程的估計，就可以用它來預(yù)測。因此Y的點預(yù)測為,但由于YT+1不再服從正態(tài)分布，因此其預(yù)測區(qū)間無法類似于第8章那樣給出。但通過參數(shù)服從正態(tài)分布的假定，利用蒙特卡羅模擬方法，可以得到Y(jié)T+1的一個近似預(yù)測區(qū)間。下面說明模型 的預(yù)測區(qū)間產(chǎn)生辦法。 確定蒙特卡羅模擬方程 其中0,1,2是最后一次循環(huán)線性回歸參數(shù)的數(shù)值解，利用殘差平方和及參數(shù)估計的標準差構(gòu)造相應(yīng)的正態(tài)隨機變量與0,1,2，它們均值都等于0，標準差為對應(yīng)值。,產(chǎn)生與0,1,2的正態(tài)隨機數(shù)，由上式可以計算YT+1的預(yù)測值。 重復(fù)第二步

5、100至200次，獲得YT+1的預(yù)測值的樣本標準差，從而得到Y(jié)T+1的近似預(yù)測區(qū)間。,10.2 極大似然估計法 參數(shù)極大似然估計，在一般情況下具有一致性和漸近有效性這兩個優(yōu)良性質(zhì)。 1、極大似然估計法 現(xiàn)在先從最簡單的一元線性模型闡明極大似然估計法,Yi的密度函數(shù)為 則似然函數(shù)是密度函數(shù)在所有N個觀測取值的乘積，即 極大似然估計的目標是尋找最可能生成樣本觀測Y1,YN的參數(shù),2的值，即使對數(shù)似然函數(shù)logL最大的參數(shù)值。,對數(shù)似然函數(shù)關(guān)于參數(shù)求偏導可得 解出參數(shù),2的值，就得到了對應(yīng)參數(shù)的極大似然估計。不難發(fā)現(xiàn)方程組中含,的前兩個方程與普通LS估計是一樣的。 2的極大似然估計為,對一般非線性模

6、型 服從N(0,2)，其對數(shù)似然函數(shù)定義為 類似于一元線性模型可以求出參數(shù)的極大似然估計，只是在許多情況下只能得到數(shù)值解，但總有 有趣的是可以得到各個參數(shù)估計方差的近似值,2、似然比檢驗 下面用極大似然比檢驗?zāi)Ｐ椭幸恍﹨?shù)=0的原假設(shè)。用L(UR)表示沒有限制條件時對數(shù)似然函數(shù)的最大值，L(R)表示有限制條件時對數(shù)似然函數(shù)的最大值，顯然有L(UR) L(R)，若原假設(shè)成立，兩者應(yīng)十分接近。 稱為似然比。通常更多地考慮兩者的差，即統(tǒng)計量 其中m為限制條件個數(shù)。如果統(tǒng)計量大于臨界值，就認為兩者存在較大的差異，即原假設(shè)不成立，這些參數(shù)不為0。,3、一個應(yīng)用：Box-Cox模型 考慮下面的Box-Co

7、x模型 當參數(shù)=1時，模型化為線性模型 當趨于0時，有 所以 對X作類似處理， Box-Cox模型化為對數(shù)線性模型,實際上Box-Cox模型是廣義的非線性模型，參數(shù)當然也不是隨意指定，通常可通過極大似然法獲得。下面先考慮Y的似然函數(shù) 兩邊對yi求導數(shù)可得,所以Y的對數(shù)似然函數(shù)為 從這個對數(shù)似然函數(shù)最大化，可以求得的數(shù)值解。 如果 ，Yg是Y值N個觀測的幾何平均；對Y的原始觀測進行如下數(shù)據(jù)變換Y*=Y/Yg，那么 線性模型=1： 對數(shù)線性模型=0： 顯然,這樣兩者的對數(shù)似然函數(shù)形式(第一項都為0)就完全一致了，,的極大似然估計不僅形式一致且等價于LS估計。這從另一個側(cè)面表明最小誤差平方和的參數(shù)估

8、計準則，具有很好的性質(zhì)。對于非線性模型來說，由于R2最大等價于誤差平方和最小，擬合優(yōu)度R2仍是評價一個模型好壞的標準。,4、拉格朗日乘數(shù) (LM)檢驗法 利用F分布對參數(shù)進行聯(lián)合檢驗，這一方法也稱為Wald檢驗法(其范圍更廣)。它從無限制條件模型開始，檢驗給模型加上限制條件(某些參數(shù)=0)是否減弱了回歸模型的解釋能力。而LM檢驗法，卻是從限制條件出發(fā)，檢驗如果向無條件限制方向變化是否能顯著提高模型的解釋能力。LM檢驗法也以極大似然函數(shù)為基礎(chǔ)。,LM檢驗法是最大化以下目標函數(shù) 由極大化的一階偏導條件可得 稱為拉格朗日乘數(shù)。 若限制條件是有效的，加入它們將不導致目標函數(shù)最大化值的顯著不同，即值將很

9、小， 因而有 統(tǒng)計量為,LM檢驗法可以很容易地用于考慮是否在回歸模型中加入另外解釋變量的情形。假如已經(jīng)估計了有條件模型 下面考慮對另外q個變量全部或部分加入的無條件模型。對q個變量中每一個系數(shù)都等于0的原假設(shè)，LM檢驗法首先計算有條件模型的殘差 ，然后將殘差對無條件模型中的K個解釋變量(k-q+q)進行回歸： 如果加入的q個解釋變量能夠增強回歸方程的解釋能力，那么(10.3)式擬合優(yōu)度 就應(yīng)在較高的水平，有統(tǒng)計量,如果LM超出臨界值，那么就拒絕有條件模型。 第6章異方差的White檢驗可以看作是LM檢驗法的特例。,5、Wald檢驗、似然比檢驗和LM檢驗的比較 它們是三個最普遍使用的檢驗過程。下

10、面以一元線性模型為例，說明三者間的關(guān)系。 Wald檢驗統(tǒng)計量為 對于一元線性模型q=1，k=2， Wald檢驗簡化為 這里有條件模型 ，LS估計 所以,LM統(tǒng)計量 有條件模型 的殘差 殘差對解釋變量X回歸： 因此 所以LM統(tǒng)計量為,似然比檢驗統(tǒng)計量 對極大對數(shù)似然函數(shù)，有 有條件模型 殘差 因此 而無條件模型 有,所以 因此 三種檢驗是漸近等價的，即如果樣本容量充分大，它們得出同樣的檢驗結(jié)果。但是在一般情況下，三個檢驗的確是不同的，可能會給出不同甚至相互矛盾的結(jié)果。對于線性模型，在相同樣本情況下，Wald統(tǒng)計量總是最大的，而LM統(tǒng)計量總是最小的。因此LM檢驗拒絕有條件模型，其它兩種檢驗也必然拒

11、絕。,10.3 ARCH與GARCH模型 在第6章異方差問題的討論中，我們考慮了誤差項方差直接隨一個或多個自變量變化的情形，通過修正能夠得到更有效的參數(shù)估計。這里將進一步討論誤差項的方差隨著時間變化，依賴于過去誤差大小的問題。 ARCH模型(自回歸條件異方差) 假定誤差項的方差滿足 注意表達式中含有平方，與自回歸明顯不同。該式表明方差由兩部分組成，一個常數(shù)項，另一項稱為ARCH項。ARCH項是前一時刻的誤差項的平方，因而t存在著以t-1為條件的異方差。,下面以二元線性模型為例。 (10.4)和(10.5)就構(gòu)成了一個ARCH模型。 (10.5)式更一般的形式 這里誤差項滯后p期，記為ARCH(p)。 GARCH模型(廣義自回歸條件異方差) 如果(10.5)式中又出現(xiàn)了誤差項方差的滯后項(相當于第9章的幾何滯后模型)，那么稱模型為GARCH模型(廣義自回歸條件異方差模型)。,下面也以二元線性模型為例。 (10.6)和(10.7)就構(gòu)成了一個GAR