異方差的解決方法

1、5.4 異方差性問題的解決方法異方差性問題的解決方法一、對原模型進行變換一、對原模型進行變換設原模型為iiiyxu(5.4.1) 其中ui具有異方差性(其余假定都滿足)。假定現(xiàn)在已知 (5.4.2)其中k2為常數(shù)?，F(xiàn)在的問題是經(jīng)典假定遭到了破壞的情況下，如何求出參數(shù)、的最佳線性無偏估計量? 22()()iiuiV uk f x解決這個問題的基本想法是對原模型(5.4.1)作適當?shù)淖儞Q，使變換后的隨機項不再具有異方差，從而可用OLS法求出參數(shù)的最佳線性無偏估計量。用 去除(5.4.1)式兩端，則得到新的模型： ( )if x)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 記

2、)(,)(,)(1,)(*2*1*xfuuxfxxxfxxfyyiiiiiiiiiii(5.4.4) 則模型(5.4.3)變?yōu)閡xxyiiii*2*1*(5.4.5) (5.4.5)中的參數(shù)和即原模型中的參數(shù)，但是隨機項 已經(jīng)沒有異方差性了。因為：*iu2*2()( )()()( )( )( )iiiiiiiuV uk f xV uVkf xf xf x因此，對模型(5.4.5)應用OLS法，即可得出參數(shù)、的最佳線性無偏估計量，問題得以解決。例例5.4.1 設模型(5.4.1)中ui的異方差結構為 (這是一種最常見的異方差結構)，求、的最佳線性無偏估計量。xkiiu222在本例中 ， ，用 x

3、i 去除(5.4.1)式各項，得xxfii2)(xxfii)(xuxxyiiiii改寫成*iiiyxu其中xuuxxxyyiiiiiiii*,1,由于變換后的模型中的隨機項 已沒有異方差，應用OLS法得和的最佳線性無偏估計量：ui*2iiix yx *yx二、加權最小二乘法二、加權最小二乘法(WLS)在OLS法中，其基本原則是使殘差平方和)(22xyiii(5.4.6) 達到最小，這是對滿足經(jīng)典回歸假定而言，也就是在等方差的情況下進行的。當隨機項具有異方差時，用 作為i2的權數(shù)是合理的。 211( )iiuV u現(xiàn)在我們可以用權數(shù)將普通最小二乘法修正為：使加權殘差平方和)(12222xyiii

4、iiuu(5.4.7) 達到最小。這就是加權最小二乘法。下面我們說明，這種加權最小二乘法同樣可以消除異方差性的影響。設異方差是xi的函數(shù)22( )iuik f x(5.4.8) 將(5.4.8)代入(5.4.7)得加權最小二乘法，要求)()(12222xyxfkiiiiiu(5.4.9) 達到最小?，F(xiàn)在對原模型(5.4.1)作變換：)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 對(5.4.3)應用普通最小二乘法，要求殘差平方和：)()(1)()()()(222xyxfxfxfxfyxfiiiiiiiii(5.4.10) 最小。顯然，能使(5.4.10)達到最小的 也一定能

5、使(5.4.9)式達到最小，因為二者只差一個常數(shù)因子。即兩種方法得到的結果相同。兩種方法實質上是一回事。對原模型進行變換的方法實際上是加權最小二乘法當 時的特例，也可以看作是加權最小二乘法的直接應用。 、112k三、廣義最小二乘法三、廣義最小二乘法 ( GLS )廣義最小二乘法是處理廣義線性模型的一種估計方法。廣義線性模型是指線性模型 (5.4.11)并且有YXU2( )0()uE UE UU(5.4.12) 其中 為未知常數(shù)，是一個已知的nn階正定對稱矩陣：2u111212122212nnn nnnnn (5.4.13) 其它基本假定不變，稱之為廣義線性模型。若將換成In，則模型(5.4.1

6、1)就變成一般古典線性模型。由于為正定對稱矩陣，必存在一個(nn)階非奇異矩陣P，使得nP PI (5.4.14) 且有1P P(5.4.15) 利用矩陣P對原模型進行變換，用P左乘(5.4.11)得，PYPXPU (5.4.16) 令PUUPXXPYY*(5.4.17) 則(5.4.16)變?yōu)?YXU(5.4.18) 此時IPUUPEPUPUEUUEnu2*)()() (5.4.19) 可見，變換后的模型(5.4.18)，已滿足全部基本假定，可以對模型(5.4.18)應用普通最小二乘法，求得的廣義最小二乘估計量為YXXX*1*)(5.4.20) 將(5.4.17)代入(5.4.20)YXXX

7、PYPXPXPXPYPXPXPX11111)()()()( )()( (5.4.20) (5.4.20)(或(5.4.20)稱為廣義最小二乘估計式。這種將原模型(5.4.11)進行適當變換，變?yōu)槟Ｐ?5.4.18)，然后對新模型(5.4.18)應用普通最小二乘法，求得參數(shù)估計量，稱作對原模型的廣義最小二乘法，記作GLS。當 = In時，1()X XX Y(5.4.21) 此時廣義最小二乘法就是普通最小二乘法。參數(shù)的協(xié)方差矩陣)( )()()()(112121*2XXPXPXXXCOVVuuu(5.4.22) *2*111() ()111() ()11()()111uYXYXnknkPYPXPY

8、PXnkYXYXnknk (5.4.23) 其中為廣義最小二乘估計量所對應的模型(5.4.11)的樣本殘差。四、廣義最小二乘法的應用之一四、廣義最小二乘法的應用之一 異方差問題的處理異方差問題的處理 設模型YXU(5.4.24) 或 ),(), , 2 , 1(21xxxXniuXykiiiiiii假定隨機項存在異方差，即22)(uiuEi (5.4.25) 其余條件皆滿足基本假定，此時u的方差協(xié)方差矩陣具有對角形式：22221)(uuunUUE(5.4.26) 因為是對角陣，所以 是1222111121uuun(5.4.27) 于是uuunP11121(5.4.28) 便有1PPIPPn且且

9、(5.4.29) 作變換*YPYXPXUPU(5.4.30) 則模型(5.4.24)變?yōu)?YXU(5.4.31) 此時U*已無異方差，可以應用OLS法，得到YXXX111)()()(11XXCOVV (5.4.32) (5.4.33) 以上結果中，都要用到，而的計算需要知道 ，因而Park、Glejser檢驗所得到的方差結構信息對應用廣義最小二乘法處理異方差問題至關重要。2ui上述結果，可以看作是我們把廣義最小二乘估計量中的 換成了 得出的結果。換句話說，是把異方差問題作為廣義線性模型的特例來處理的。這實際上也是加權最小二乘估計的一種表達形式。因為對模型(5.4.31)應用OLS法是使11)(

10、)(*XYXY(5.4.34) 達到最小。將原數(shù)值(5.4.30) 代入(5.4.34)便有)()()()()()(1*XYXYPXPYPXPYXYXY把 的表達式(5.4.27)代入(5.4.35)可簡寫成 1niiiuiXy122)(5.4.36) 這便是加權最小二乘法。從而說明了，加權最小二乘法可以看作是廣義最小二乘法的特例。例例5.4.2 我們?nèi)岳美?.3.1中表5.3.1給出的數(shù)據(jù)。（見課本129-132）帕克檢驗已給出xiui056229. 32000105444. 0本例在Eviews中可直接應用加權最小二乘法（WLS 法），將參數(shù)估計出來，只需定義一個權數(shù)： GENR W1=

11、1/(X1.5281145)然后在方程的對話框的Options欄中選Weighted LS項，并在Weight 項中輸入權數(shù)即可。計算結果如圖5.4.1所示。 五、五、權函數(shù)的一個權函數(shù)的一個可行的可行的GLS估計量估計量在GLS處理異方差的關鍵是找到權函數(shù)hi，如果用估計值 代替hi 就可應用WLS得到參數(shù)的估計量，被稱為可行的可行的GLS估計量。估計量。對于模型 hiuyxxxkk22110(5.3.18) )exp()/(221102xxxkkXuV假定方差具有函數(shù)形式(5.3.19) 式中 x1，x2，xk為(5.3.18)的自變量，j為未知參數(shù)。記 )exp()(22110 xxxkkxh在(5.3.19)條件下，可以寫成vxxxukk)exp(1111022(5.3.20) 其中 ，(5.3.20)兩邊取對數(shù)1)/(XvE(5.3.21) exxxukk221102)ln(其中e=lnv,v的均值為1,e的均值為0且與x無關。u2135u2中的代替用).(2再對(5.3.21)應用OLS，得到估計值xxxukk)(n l221102便得到)()exp(221102xhxxx