CY非參數(shù)回歸介紹

1、非參數(shù)回歸簡介一、參數(shù)回歸與非參數(shù)回歸的特點無論是線性回歸還是非線性回歸，其回歸函數(shù)形式都是已知的，只是其中參數(shù)待定，所以可稱為參數(shù)回歸。參數(shù)回歸的最大優(yōu)點是回歸結(jié)果可以外延，但其缺點也不可忽視，就是回歸形式一旦固定，就比較呆板，往往擬合效果較差。另一類回歸，非參數(shù)回歸，則與參數(shù)回歸正好相反。它的回歸函數(shù)形式是不確定的，其結(jié)果外延困難，但擬合效果卻比較好。參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點比較：參數(shù)回歸：優(yōu)點： (1).模型形式簡單明確，僅由一些參數(shù)表達(dá)(eg: y=a+bx+e, a,b為待估參數(shù)) (2).在經(jīng)濟中，模型的參數(shù)一般都具有明確的經(jīng)濟含義 (3).當(dāng)模型參數(shù)假設(shè)成立，統(tǒng)計推斷的精度較

2、高，能經(jīng)受實際檢驗 (4).模型能夠進(jìn)行外推運算 (5).模型可以用于小樣本的統(tǒng)計推斷缺點： (1).回歸函數(shù)的形式預(yù)先假定 (2).模型限制較多：一般要求樣本滿足某種分布要求，隨機誤差滿足正態(tài)假設(shè)，解釋變量間獨立，解釋變量與隨機誤差不相關(guān)，等 (3).需要對模型的參數(shù)進(jìn)行嚴(yán)格的檢驗推斷，步驟較多 (4).模型泛化能力弱，缺乏穩(wěn)健性，當(dāng)模型假設(shè)不成立，擬合效果不好，需要修正或者甚至更換模型非參數(shù)回歸：優(yōu)點； (1).回歸函數(shù)形式自由，受約束少，對數(shù)據(jù)的分布一般不做任何要求 (2).適應(yīng)能力強，穩(wěn)健性高，回歸模型完全由數(shù)據(jù)驅(qū)動 (3).模型的精度高(4).對于非線性、非齊次問題，有非常好的效果缺

3、點： (1).不能進(jìn)行外推運算 (2).估計的收斂速度慢 (3).一般只有在大樣本的情況下才能得到很好的效果，而小樣本的效果較差 (4).高維詛咒, 光滑參數(shù)的選取一般較復(fù)雜二、非參數(shù)回歸的方法簡介非參數(shù)回歸方法樣條光滑正交回歸核回歸：N-W估計、P-C估計、G-M估計局部多項式回歸：線性、多項式 光滑樣條：光滑樣條、B樣條近鄰回歸：k-NN、k近鄰核、對稱近鄰正交級數(shù)光滑局部回歸Fourier級數(shù)光滑wavelet光滑處理高維的非參數(shù)方法：多元局部回歸、薄片樣條、可加模型、投影尋蹤、回歸樹、張量積等?；貧w模型：設(shè)Y為被解釋變量，X為解釋變量，當(dāng)X為維隨機變量時，為的相互獨立觀測樣本。非參數(shù)回

4、歸模型如下： （1）其中為相互獨立同分布隨機變量，滿足期望，方差。是未知的函數(shù),目標(biāo)是要把估計出來。易知，。權(quán)函數(shù)方法非參數(shù)回歸的基本方法有核函數(shù)法，最近鄰函數(shù)法，局部多項式方法、樣條函數(shù)法，小波函數(shù)法。這些方法盡管起源不一樣，數(shù)學(xué)形式相距甚遠(yuǎn)，但都可以視為關(guān)于Yi的線性組合的某種權(quán)函數(shù)。也就是說，回歸函數(shù)的估計總可以表為下述形式： （2）其中Wi(X)稱為權(quán)函數(shù)。這個表達(dá)式表明，總是Yi的線性組合，一個Yi對應(yīng)一個Wi。不過Wi與Xi倒沒有對應(yīng)關(guān)系，Wi如何生成，也許不僅與Xi有關(guān)，而且可能與全體的Xi或部分的Xi有關(guān)，要視具體函數(shù)而定，所以Wi(X)寫得更細(xì)一點應(yīng)該是Wi(x；X1，,Xn

5、)。這個權(quán)函數(shù)形式實際也包括了線性回歸。如果，則，也是Yi的線性組合。在一般實際問題中，權(quán)函數(shù)都滿足下述條件：（3） 下面我們結(jié)合具體回歸函數(shù)看權(quán)函數(shù)的具體形式。 1核函數(shù)法（N-W估計） 選定Rd空間上的核函數(shù)K，一般取概率密度。令 （4）顯然。此時回歸函數(shù)就是 （5）核函數(shù)估計的基本性質(zhì)：定理1.設(shè)模型（1）中的的N-W核函數(shù)估計為（2）式，且滿足以下條件： (A1) (A2) (A3) (A4) 則對每一,的連續(xù)點，以及，有2.近鄰權(quán)函數(shù)估計 近鄰權(quán)估計不同于核估計的構(gòu)建，核估計是在某固定鄰域內(nèi)所對應(yīng)的解釋變量的局部加權(quán)平均，估計的好壞主要在于核函數(shù)及光滑參數(shù)的選取。由核估計的定義知道，

6、核估計的邊界點的偏差將大于內(nèi)點處的偏差。也就是說，核估計存在邊界效應(yīng)問題。而近鄰權(quán)估計是用最靠近的個觀察值所對應(yīng)的個解釋變量的加權(quán)平均值。由核函數(shù)的選擇不同，分為近鄰均勻權(quán)估計與近鄰核權(quán)估計。非參數(shù)模型（1）的近鄰均勻權(quán)估計為 其中令，為正整數(shù)，.顯然決定了權(quán)的大小及參加平均的的多少，實際上類似于N-W估計中的光滑參數(shù)，較大時，會提高近鄰均勻權(quán)估計的光滑度。3.局部多項式估計局部多項式估計使用局部廣義最小二乘的思想，依靠局部多項式逼近.設(shè)在處的階導(dǎo)數(shù)存在，為鄰域內(nèi)的任一點，則的Taylor展開式為 （6）因此,可以視為待估參數(shù)，令，則（6）式可寫為 （7）這里為的觀測樣本。 。由WLSE解上式

7、得.于是在（6），（7）中：當(dāng)取遍的樣本點時，可以得到整個曲線的估計。LPE估計的主要優(yōu)點為：可以同時用于當(dāng)X為隨機或者固定設(shè)計的形式，并同時給出所有階的估計。更重要的是不必修正邊界。不難發(fā)現(xiàn)，N-W回歸估計（*）是（7）局部多項式估計的特例。事實上，當(dāng)時，若令，則 此時即為N-W估計（亦稱局部常數(shù)估計），同理可考察。對于樣條光滑估計、傅里葉級數(shù)光滑估計、小波估計等估計方法由于時間原因這里不做介紹了。 光滑參數(shù)的選取光滑參數(shù)（即窗寬）過小，隨機誤差所產(chǎn)生的噪音得不到排除，是沒有意義的估計，過大，會得到過分光滑的曲線，因此對窗寬的選擇是衡量核估計精度的重要因素。關(guān)于窗寬的選擇有三種方法：直接插入

8、法、交錯鑒定法、懲罰函數(shù)法，其中交錯鑒定法是選擇窗寬的一個常用方法，其基本思路是最小化下面的“交叉核實”目標(biāo)函數(shù)： （8）其中，是剔除后由余下個樣本數(shù)據(jù)估計出來的核回歸估計量,是一個權(quán)函數(shù)。最優(yōu)窗寬的交叉核實估計量定義為最小化上面的目標(biāo)函數(shù)，即： 一般情況下，實際中根據(jù)經(jīng)驗選取窗寬的時候也比較多。 三、非參數(shù)回歸的現(xiàn)實應(yīng)用例子: 數(shù)據(jù)選用1998年1月至2012年3月的居民消費價格指數(shù)（CPI）和貨幣供應(yīng)量M0，數(shù)據(jù)來源自中國人民銀行網(wǎng)站及中經(jīng)網(wǎng)。模型中因變量為CPI,解釋變量為M0,我們先用線性回歸模型進(jìn)行估計, 再用非參數(shù)回歸方法中的局部多項式估計方法, 對上面的各個模型的估計結(jié)果進(jìn)行比較

9、以確定最合適的模型。以下結(jié)果均使用R軟件編程實現(xiàn)。線性回歸的結(jié)果如下: Estimate Std. Error t value Pr(>|t|) (Intercept) 9.847e+01 3.756e-01 262.19 <2e-16 *m0 1.375e-04 1.391e-05 9.89 <2e-16 *Multiple R-squared: 0.3666, Adjusted R-squared: 0.3628圖1 CPI與M0線性回歸結(jié)果從圖1我們可以看出，雖然我們能得到CPI與M0之間的直線關(guān)系，但是直觀上看很多點距離直線的距離較大，也就是估計的誤差比較大。用這種一

10、元回歸得到的預(yù)測也不一定準(zhǔn)確。 圖2為標(biāo)準(zhǔn)差的Q-Q圖，可以看出殘差并不是服從正態(tài)分布。用線性回歸模型做兩者關(guān)系的擬合并不理想。圖2 線性回歸殘差Q-Q圖局部多項式回歸擬合結(jié)果如下:圖 3 局部多項式擬合結(jié)果圖4為窗寬h放大四倍后的圖形：圖4 窗寬放大四倍后的擬合結(jié)果從圖3，圖4可以看出用非參數(shù)方法得到的擬合圖像精確度較高，經(jīng)計算，求得參數(shù)回歸估計的MSE為4.259762，而非參數(shù)回歸估計的MSE僅為 ，也支持上述結(jié)論。四、結(jié)論從上述工作中我們可以看出LPE回歸的擬合值與觀測值基本一致，估計精度高。從圖3中我們可以看出通貨膨脹率與貨幣供應(yīng)量并不完全是正相關(guān)關(guān)系。我們可以看到在M0達(dá)到3000

11、0億前，CPI基本上是隨著M0的增加而成上漲趨勢，而從M0達(dá)到30000億起，也就是2008年年初起至2009年8月，CPI出現(xiàn)了較大幅度的下降，這與金融危機的影響是密不可分的。從09年9月至11年6月，CPI緩慢上漲。11年7月至今隨著國家控制物價的力度越來越大，CPI并沒有隨著M0的進(jìn)一步擴大而上漲而是逐漸回歸到較低的數(shù)值。參考文獻(xiàn)：【1】葉阿忠.非參數(shù)和半?yún)?shù)計量經(jīng)濟模型理論M. 北京；科學(xué)出版社，2008【2】李竹渝等.經(jīng)濟、金融計量學(xué)中的非參數(shù)估計技術(shù)M. 北京；科學(xué)出版社，2007【3】古佳.非參數(shù)回歸模型的研究與應(yīng)用J.附1：R程序library(KernSmooth)m0=sc

12、an('m0.txt')cpi=scan('cpi.txt')plot(m0,cpi)#非參數(shù)局部多項式回歸擬合（LPE）h=dpill(m0,cpi)#直接插入法選取光滑參數(shù)fit=locpoly(m0,cpi,bandwidth=h,gridsize=171)lines(fit,lwd=2)附2:時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后199801 11030.616100.08200110 14989.3305100.16200507 22160.118

13、101.63199802 10296.50999.884200111 15135.983799.747200508 22293.866101.2199803 10258.63100.85200112 15253.074399.523200509 22442.61100.88199804 10205.35699.844200201 14221.094998.945200510 22698.538101.23199805 10447.60599.15200202 15683.1618100.16200511 23055.167101.46199806 10368.68898.797200203 1

14、5715.294999.277200512 23446.373101.41199807 10583.91298.511200204 15841.284298.752200601 24911.758102.03199808 10625.43598.642200205 15970.176398.863200602 23101.952101.09199809 10615.40898.748200206 15997.122399.15200603 23748.377100.78199810 10853.06698.738200207 16137.530998.942200604 24158.19610

15、1.25199811 10894.02998.729200208 16387.659599.2200605 24476.1101.41199812 10875.65898.702200209 16356.576499.464200606 24696.853101.42199901 10108.0898.629200210 16578.047399.196200607 24843.404100.84199902 12086.57498.702200211 16769.802799.403200608 25263.582101.25199903 11413.50798.346200212 1680

16、0.894399.45200609 25868.679101.48199904 11255.26197.932200301 18110.1679100.37200610 25918.623101.41199905 11394.66797.922200302 16886.7783100.42200611 26283.338102199906 11598.4297.97200303 17322.5477100.96200612 26457.035102.61199907 11806.4898.502200304 17405.5582101.04200701 23675.85102.41199908

17、 11938.58798.721200305 17865.2775100.64200702 28970.672102.8199909 12352.97499.444200306 17936.9459100.21200703 27686.437103.3199910 12566.7199.262200307 18213.9422100.35200704 27853.641103.03199911 12748.27399.054200308 18361.0716100.77200705 27860.915103.4199912 13069.40898.737200309 18450.222101.

18、19200706 28244.034104.34200001 13592.00299.669200310 18895.2498101.83200707 28564.425105.49200002 13206.454100.73200311 18936.7625103.16200708 29071.581106.5200003 13333.61499.927200312 19220.2693103.05200709 29232.385106.19200004 13697.14699.812200401 19016.9701103.2200710 29417.531106.49200005 136

19、81.525100.17200402 18720.95102.36200711 29873.711106.91200006 13839.494100.54200403 19540.3513103.02200712 29696.337106.34200007 13864.055100.38200404 19849.9649103.85200801 30961.047107.35200008 13992.514100.29200405 19872.4305104.35200802 30789.461108.72200009 13997.998100.24200406 20081.6101104.9

20、1200803 30727.567108.28200010 14060.2999.909200407 20334.8653105.13200804 30879.039108.53200011 14191.725101.29200408 20369.3334105.15200805 31413.153107.72200012 14233.659101.27200409 20682.5801105.24200806 31680.03107.07200101 14423.472101.1200410 20797.8943104.35200807 32054.87106.23200102 14067.

21、226100.09200411 20770.8298102.96200808 32235.759104.94200103 14497.584100.9200412 20917.3587102.22200809 31972.61104.6200104 14619.014101.69200501 20471.4284101.95200810 32529.677103.97200105 14579.293101.71200502 21344.9725104.15200811 32596.774102.33200106 14808.631101.37200503 21507.9477102.71200

22、812 33547.559101.09200107 14810.496101.37200504 21646.2809101.86200901 34568.38101.2200108 15001.575100.94200505 21707.8191101.79200902 33438.60398.387200109 15179.048100.1200506 21977.9898101.5200903 34055.20398.807時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后時間M0供應(yīng)量(億元)季節(jié)調(diào)整后cpi季節(jié)調(diào)整后200904 34397.18298.519201004 39843.845102.84201104 45713.582105.35200905 3490