穩(wěn)健回歸(M估計)

穩(wěn)健回歸(M估計)方法簡介浙江大學唐啟義估計的穩(wěn)健性(Robustness)概念指的是在估計過程中產(chǎn)生的估計量對模型誤差的不敏感性。因此穩(wěn)健估計是在比較寬的資料范圍內(nèi)產(chǎn)生的優(yōu)良估計。如在獨立同分布正態(tài)誤差的線性模型中，最小二乘估計(LSE)是有效無偏估計。然而當誤差是非正態(tài)分布時，LSE不一定是最有效的。但誤差分布事先不一定知道，故有必要考慮穩(wěn)健回歸的問題。穩(wěn)健回歸(RobustRegression)估計，如誤差為正態(tài)時，它比LSE稍差一點，但誤差非正態(tài)時，它比LSE要好得多。這種對誤差項分布的穩(wěn)健特性，常能有效排除異常值干擾°DPS提供了穩(wěn)健回歸中常用的最大似然型的M估計。一般回歸模型:Y=丈xB+e,i=1,…,ni ijj ij=1這里0［，…,0為未知回歸系數(shù)，e1??,e…獨立同分布，均值為0。最小二乘法是找1p 1n卩，…，卩1p使表達式邋轄卩，…，卩1p使表達式邋轄-pj=12xbj達到最小作為代價函數(shù),ijjj即邋驏-桫i=12pjxb jjijjjj=1min這樣做會往往使得那些遠離數(shù)據(jù)群體的數(shù)據(jù)(很可能是異常值)對殘差平方和影響比其他數(shù)據(jù)大得多。這是因為最小二乘估計為了達到極小化殘差平方和的目的，必須遷就遠端的數(shù)據(jù)所以異常值對于參數(shù)估計相當敏感(如圖1)。M估計穩(wěn)健回歸的基本思想是采用迭代加權最小二乘估計回歸系數(shù)，根據(jù)回歸殘差的大小確定各點的權w.,以達到穩(wěn)健的目的，其優(yōu)化的目標函數(shù)是：urn2pjurn2pjxb jjijjjj=1min為減少“異常點”作用，我們可以對不同的點施加不同的權重，即對殘差小的點給予較大的權重，而對殘差較大的點給予較小的權重，根據(jù)殘差大小確定權重，并據(jù)此建立加權的最小二乘估計，反復迭代以改進權重系數(shù)，直至權重系數(shù)之改變小于一定的允許誤差(tolerance)。其參數(shù)片可采用迭代加權最小二乘方法求解。構造權重，許多學者提出了許多方法，因此得到的穩(wěn)健回歸估計大同小異。DPS提供了10種不同的定義權重的公式，供用戶選用。在以下公式中，都用到一個“標準化”的殘差指標1.ui，u=e/s=0.6745?iiAndrew's法e/med(差指標1.ui，u=e/s=0.6745?iiAndrew's法e/med(leimed(e)b，med()為中位數(shù)，s為殘差尺度。i2.Biweight法3.Cauchy法I1111扌1sin(lu1t i/cI)/lu/ciu/c=0u/cl>\u/c,￡i，式中c一般取1.339。0lu/cI2)2i如果lu/c

如果lu/ci1，式中c一般4.685。1( )，式中c一般2.385。(1+(u/c)2)i4.Fair4.Fair法/ ，式中c一般1.4。(1+(u/c))2i5．Hampel法￡aw=|i 5．Hampel法￡aw=|i 11a/a/luiluI?((club/(c-b))i1這里a,b,c都是參數(shù)，0<a<b<c?！鉧=2,b=4,c=8.6.Huber法lua<luI

b<luIc<iui如果lulul如果如果lulul如果u￡ii111c/1th ich，式中c一般取1.345。hch7.Logistic法1TAN(lu/7.Logistic法1TAN(lu/c1)/(lu/cii如果如果uiui0，式中c一般1.205。08.Median法11/0.00001t11/0.00001t1/luI1t i如果luI=如果0。。109.Taiworth9.Taiworth法如果如果luI￡如果luc，式中ch一般取2.795。hc10.Welsch法

w=e-0.5（ui/c）2，式中c一般取2.985。iDPS提供了上述介紹的Andrews，Biweight，Cauchy，F(xiàn)air，Hampel，Huber，LogisticMedian,Taiworth和Welsch等10種權重定義方法供用戶選用，并提供了不加權的普通最小二乘（OLS），以便用戶根據(jù)其擬合圖形進行診斷。DPS分析的數(shù)據(jù)格式和多元線性回歸分析相同，即：自變量在左邊，最右邊一列是因變量（下圖的左邊）。用鼠標選中數(shù)據(jù)后，執(zhí)行菜單下的“多元分析”-“回歸分析”-“回歸分析”f“穩(wěn)健回歸（M估計）”功能，即可出現(xiàn)如下圖所示的工作界面（下圖的右邊）。點擊返回”按鈕即將當前方法的結果返回到電子工作表中（圖2）。BEJ3D45140^100Bi亙B44059返回60彬號JExl?SWBHMtt計D.JD550.0342104.50130.0001擬含值28,020827.5B1D29.5677— 『一, i州s計）\岀勤費科X.”丨75.0927pHD.0OD1L00020,99961,8312-2.0967惑值曲8320BEJ3D45140^100Bi亙B44059返回60彬號JExl?SWBHMtt計D.JD550.0342104.50130.0001擬含值28,020827.5B1D29.5677— 『一, i州s計）\岀勤費科X.”丨75.0927pHD.0OD1L00020,99961,8312-2.0967惑值曲8320碇穗億回歸加權擬倉結果血決1曲法）色回歸菜數(shù)64JbOiFlbl66F=10904.0I￡df（lu17）70S2J\J犠性回歸X$錮歸X蠱更丫；沁*/融回掃標準誤22-93713-5725p=0.00011"42LL?肆盤IT 兒嫌3.0G2 33.t?73.4530 36.52703/635(1 34.Z070IfiHO36-31104.051a3B.3B3QG?碇T q民657￡34?0 i仏T"DkWljflL_<T.sii5G059 5氐注TU不抑？常本辦】SKtSltiaS.235130■⑸4,07504■避7.L35Q加1權方法「不加權(OLS)廠Andrewsjjiaaii-ajapiwei