一元非參數(shù)回歸(非參數(shù)統(tǒng)計(jì))課件

第9章一元非參數(shù)回歸1第9章一元非參數(shù)回歸1參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點(diǎn)比較：參數(shù)回歸：優(yōu)點(diǎn)：(1).模型形式簡(jiǎn)單明確，僅由一些參數(shù)表達(dá)(2).在經(jīng)濟(jì)中，模型的參數(shù)具有一般都具有明確的經(jīng)濟(jì)含義

(3).當(dāng)模型參數(shù)假設(shè)成立，統(tǒng)計(jì)推斷的精度較高，能經(jīng)受實(shí)際檢驗(yàn)(4).模型能夠進(jìn)行外推運(yùn)算(5).模型可以用于小樣本的統(tǒng)計(jì)推斷缺點(diǎn)：(1).回歸函數(shù)的形式預(yù)先假定

(2).模型限制較多：一般要求樣本滿足某種分布要求，隨機(jī)誤差滿足

正態(tài)假設(shè)，解釋變量間獨(dú)立，解釋變量與隨機(jī)誤差不相關(guān)，等(3)需要對(duì)模型的參數(shù)進(jìn)行嚴(yán)格的檢驗(yàn)推斷，步驟較多

(4).模型泛化能力弱，缺乏穩(wěn)健性，當(dāng)模型假設(shè)不成立，擬合效果

不好，需要修正或者甚至更換模型參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點(diǎn)比較：參數(shù)回歸：優(yōu)點(diǎn)：(1).模非參數(shù)回歸：優(yōu)點(diǎn)：(1)回歸函數(shù)形式自由，受約束少，對(duì)數(shù)據(jù)的分布一般不做任何要求(2)適應(yīng)能力強(qiáng)，穩(wěn)健性高，回歸模型完全由數(shù)據(jù)驅(qū)動(dòng)(3)模型的精度高;(4)對(duì)于非線性、非齊次問(wèn)題，有非常好的效果缺點(diǎn)：(1)不能進(jìn)行外推運(yùn)算,(2)估計(jì)的收斂速度慢(3)一般只有在大樣本的情況下才能得到很好的效果，

而小樣本的效果較差(4)高維詛咒,光滑參數(shù)的選取一般較復(fù)雜非參數(shù)回歸：優(yōu)點(diǎn)：(1)回歸函數(shù)形式自由，受約束少，對(duì)數(shù)據(jù)的非參數(shù)回歸方法樣條光滑正交回歸核回歸：N-W估計(jì)、P-C估計(jì)、G-M估計(jì)（9.1）局部多項(xiàng)式回歸：線性、多項(xiàng)式（9.2）光滑樣條：光滑樣條、B樣條近鄰回歸：k-NN、k近鄰核、對(duì)稱近鄰（9.4）正交級(jí)數(shù)光滑（9.5）穩(wěn)健回歸：LOWESS、L光滑、R光滑、M光滑----------（9.3）局部回歸Fourier級(jí)數(shù)光滑wavelet光滑處理高維的非參數(shù)方法：多元局部回歸、薄片樣條、

可加模型、投影尋蹤、

回歸樹(shù)、張量積，等4非參數(shù)回歸樣條光滑正交回歸核回歸：N-W估計(jì)、P-C估計(jì)、G核函數(shù)K：函數(shù)K(.)滿足:常見(jiàn)的核函數(shù)：Parzen核：Gaussian核：Epanechnikov核：tricube核：為示性函數(shù)5核函數(shù)K：函數(shù)K(.)滿足:常見(jiàn)的核函數(shù)：Parzen核回歸模型：(1)模型為隨機(jī)設(shè)計(jì)模型,樣本觀測(cè)(Xi,Yi)~iid(2)模型為固定設(shè)計(jì)模型Xi為R中n個(gè)試驗(yàn)點(diǎn)列,i=1,2,…,nYi為固定Xi的n次獨(dú)立觀測(cè)，i=1,2,…,nm(x)為為一未知函數(shù)，用一些方法來(lái)擬合定義：線性光滑(linearsmoother)6回歸模型：(1)模型為隨機(jī)設(shè)計(jì)模型,樣本觀測(cè)(Xi,光滑參數(shù)的選取風(fēng)險(xiǎn)(均方誤差)

(meansquarederror,MSE)理想的情況是希望選擇合適的光滑參數(shù)h，使得通過(guò)樣本數(shù)據(jù)擬合的回歸曲線能夠最好的逼近真實(shí)的回歸曲線(即達(dá)到風(fēng)險(xiǎn)最小)，這里真實(shí)回歸函數(shù)m(x)一般是未知的。

可能會(huì)想到用平均殘差平方和來(lái)估計(jì)風(fēng)險(xiǎn)R(h)但是這并不是一個(gè)好的估計(jì)，會(huì)導(dǎo)致過(guò)擬合（欠光滑），原因在于兩次利用了數(shù)據(jù)，一次估計(jì)函數(shù)，一次估計(jì)風(fēng)險(xiǎn)。我們選擇的函數(shù)估計(jì)就是使得殘差平方和達(dá)到最小，因此它傾向于低估了風(fēng)險(xiǎn)。是

的估計(jì)，h是光滑參數(shù)，稱為帶寬或窗寬7光滑參數(shù)的選取風(fēng)險(xiǎn)(均方誤差)(meansquared光滑參數(shù)的選取缺一交叉驗(yàn)證方法(leave-one-outcrossvalidation,CV)這里是略去第i個(gè)數(shù)據(jù)點(diǎn)后得到的函數(shù)估計(jì)交叉驗(yàn)證的直觀意義：因此：8光滑參數(shù)的選取缺一交叉驗(yàn)證方法(leave-one-out光滑參數(shù)的選取定理：若那么缺一交叉驗(yàn)證得分

能夠?qū)懗桑哼@里是光滑矩陣L的第i個(gè)對(duì)角線元素廣義交叉驗(yàn)證(generalizedcross-validation,GCV)其中：為有效自由度9光滑參數(shù)的選取定理：若光滑參數(shù)的選取其他標(biāo)準(zhǔn)(1)直接插入法(DirectPlug-In,DPI)相關(guān)文獻(xiàn)可以參考：

WolfgangH?rdle(1994)，AppliedNonparametricRegression，BerlinJeffreyD.Hart(1997),NonparametricSmoothingandLack-of-FitTests，SpringerSeriesinStatistics李竹渝、魯萬(wàn)波、龔金國(guó)(2007)，經(jīng)濟(jì)、金融計(jì)量學(xué)中的非參數(shù)估計(jì)技術(shù)，科學(xué)出版社，北京

吳喜之譯(2008)，現(xiàn)代非參數(shù)統(tǒng)計(jì)，科學(xué)出版社，北京

(2)罰函數(shù)法(penalizingfunction)(3)單邊交叉驗(yàn)證(OneSidedCrossValidation，OSCV)(4)拇指規(guī)則(RuleOfThumb)10光滑參數(shù)的選取其他標(biāo)準(zhǔn)(1)直接插入法(DirectPlu9.1.核回歸（核光滑）模型N-W估計(jì)是一種簡(jiǎn)單的加權(quán)平均估計(jì)，可以寫(xiě)成線性光滑：局部回歸由Nadaraya(1964)和Watson(1964)分別提出，（1）N-W估計(jì)形式：其中：,為核函數(shù)，為帶寬或窗寬119.1.核回歸（核光滑）模型N-W估計(jì)是一種簡(jiǎn)單的加權(quán)平均估局部回歸(2)G-M估計(jì)由GasserandMüller(1979)提出，形式如下:其中寫(xiě)成線性光滑的形式:12局部回歸(2)G-M估計(jì)由GasserandMülle局部回歸核估計(jì)存在邊界效應(yīng)，邊界點(diǎn)的估計(jì)偏差較大,以N-W估計(jì)為例，如下圖13局部回歸核估計(jì)存在邊界效應(yīng)，邊界點(diǎn)的估計(jì)偏差較大,13局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取14局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取1局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取15局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取1局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取可以看到：擬合曲線的光滑度受到光滑參數(shù)h變化的影響16局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取可局部回歸核估計(jì)的漸近方差核漸近偏差核估計(jì)漸近偏差漸近方差N-W估計(jì)

G-M估計(jì)

其中，h為光滑參數(shù)，f為X的密度函數(shù)，且17局部回歸核估計(jì)的漸近方差核漸近偏差核估計(jì)漸近偏差漸近方差N-局部回歸

9.2.局部多項(xiàng)式回歸多項(xiàng)式的回歸模型其中可由最小二乘法估計(jì),即局部多項(xiàng)式回歸：對(duì)m(x)在u處進(jìn)行p階泰勒展開(kāi)，略去p階高階無(wú)窮小量，得到m(x)在u處的一個(gè)p階多項(xiàng)式近似，即此時(shí)，x應(yīng)該靠近u，且18局部回歸9.2.局部多項(xiàng)式回歸多項(xiàng)式的回歸模型其中局部回歸通過(guò)最小二乘來(lái)估計(jì)系數(shù)注意：是在x的一個(gè)鄰域內(nèi)進(jìn)行多項(xiàng)式估計(jì)，因此，最小二乘應(yīng)該與x的鄰域有關(guān)局部加權(quán)平方和：使上述問(wèn)題最小化，可以得到系數(shù)的局部多項(xiàng)式的最小二乘估計(jì)可以很容易得到，取p=0時(shí)為局部常數(shù)估計(jì)，即N-W核估計(jì)取p=1，為局部線性估計(jì)19局部回歸通過(guò)最小二乘來(lái)估計(jì)系數(shù)注意：是在x的一個(gè)鄰域內(nèi)進(jìn)行多局部回歸寫(xiě)成矩陣形式：使上式最小化，可以得到系數(shù)的估計(jì)其中20局部回歸寫(xiě)成矩陣形式：使上式最小化，可以得到系數(shù)的估計(jì)其中2局部回歸得到加權(quán)最小二乘估計(jì)當(dāng)p=1時(shí)（局部線性估計(jì)）的漸近偏差和漸近方差其中可以看到局部線性回歸的漸近方差和N-W估計(jì)相同，而漸近偏差卻比N-W回歸小，說(shuō)明局部線性多項(xiàng)式可以減少邊界效應(yīng)，局部線性估計(jì)由于N-W估計(jì)21局部回歸得到加權(quán)最小二乘估計(jì)當(dāng)p=1時(shí)（局部線性估計(jì)）的漸近局部回歸局部多項(xiàng)式光滑可以很好的減少邊界效應(yīng)22局部回歸局部多項(xiàng)式光滑可以很好的減少邊界效應(yīng)22局部回歸檢驗(yàn)函數(shù)(Doppler函數(shù))23局部回歸檢驗(yàn)函數(shù)(Doppler函數(shù))23局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)24局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tri局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)25局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tri局部回歸9.4.近鄰光滑(1)k-NN回歸(k-nearestneighborregression)其中={i:xi是離x最近的k個(gè)觀測(cè)值之一}K-NN估計(jì)的漸近偏差和漸近方差：對(duì)于隨機(jī)設(shè)計(jì)模型，近鄰估計(jì)寫(xiě)成線性光滑器的形式權(quán)函數(shù)：26局部回歸9.4.近鄰光滑(1)k-NN回歸(k-neare局部回歸(1)k-NN回歸(k-nearestneighborregression)27局部回歸(1)k-NN回歸(k-nearestneigh局部回歸(1)k-NN回歸(k-nearestneighborregression)28局部回歸(1)k-NN回歸(k-nearestneigh局部回歸(2)k-近鄰核回歸K近鄰核估計(jì)的權(quán)重其中R為xi中離x最近的第k個(gè)距離，K為核函數(shù)漸近偏差和漸近方差：29局部回歸(2)k-近鄰核回歸K近鄰核估計(jì)的權(quán)重其中R為xi局部回歸(2)k-近鄰核回歸30局部回歸(2)k-近鄰核回歸30局部回歸(2)k-近鄰核回歸31局部回歸(2)k-近鄰核回歸31局部回歸9.3.穩(wěn)健光滑(1)局部加權(quán)描點(diǎn)光滑(LocallyWeightedScatterplotSmoothing,LOWESS)Step1:在x的鄰域內(nèi)，用一個(gè)多項(xiàng)式進(jìn)行擬合，求出系數(shù){βj}其中wi(x,k)為k-NN權(quán)Step2:根據(jù)殘差計(jì)算尺度估計(jì)，定義穩(wěn)健權(quán)重Step3:用新的權(quán)重

重復(fù)Step1、Step2，直到第N次結(jié)束32局部回歸9.3.穩(wěn)健光滑(1)局部加權(quán)描點(diǎn)光滑(Local(1)局部加權(quán)描點(diǎn)光滑(LOWESS)局部回歸33(1)局部加權(quán)描點(diǎn)光滑(LOWESS)局部回歸33(1)局部加權(quán)描點(diǎn)光滑(LOWESS)局部回歸34(1)局部加權(quán)描點(diǎn)光滑(LOWESS)局部回歸349.5正交光滑1.正交多項(xiàng)式回歸回歸函數(shù)其中是正交基函數(shù)，如Laguerre,Legendre正交多項(xiàng)式正交基滿足系數(shù)系數(shù)估計(jì)如359.5正交光滑1.正交多項(xiàng)式回歸回歸函數(shù)其中正交光滑回歸函數(shù)估計(jì)寫(xiě)成線性光滑器：36正交光滑回歸函數(shù)估計(jì)寫(xiě)成線性光滑器：36Legendre正交多項(xiàng)式正交光滑37Legendre正交多項(xiàng)式正交光滑37第9章一元非參數(shù)回歸38第9章一元非參數(shù)回歸1參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點(diǎn)比較：參數(shù)回歸：優(yōu)點(diǎn)：(1).模型形式簡(jiǎn)單明確，僅由一些參數(shù)表達(dá)(2).在經(jīng)濟(jì)中，模型的參數(shù)具有一般都具有明確的經(jīng)濟(jì)含義

(3).當(dāng)模型參數(shù)假設(shè)成立，統(tǒng)計(jì)推斷的精度較高，能經(jīng)受實(shí)際檢驗(yàn)(4).模型能夠進(jìn)行外推運(yùn)算(5).模型可以用于小樣本的統(tǒng)計(jì)推斷缺點(diǎn)：(1).回歸函數(shù)的形式預(yù)先假定

(2).模型限制較多：一般要求樣本滿足某種分布要求，隨機(jī)誤差滿足

正態(tài)假設(shè)，解釋變量間獨(dú)立，解釋變量與隨機(jī)誤差不相關(guān)，等(3)需要對(duì)模型的參數(shù)進(jìn)行嚴(yán)格的檢驗(yàn)推斷，步驟較多

(4).模型泛化能力弱，缺乏穩(wěn)健性，當(dāng)模型假設(shè)不成立，擬合效果

不好，需要修正或者甚至更換模型參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點(diǎn)比較：參數(shù)回歸：優(yōu)點(diǎn)：(1).模非參數(shù)回歸：優(yōu)點(diǎn)：(1)回歸函數(shù)形式自由，受約束少，對(duì)數(shù)據(jù)的分布一般不做任何要求(2)適應(yīng)能力強(qiáng)，穩(wěn)健性高，回歸模型完全由數(shù)據(jù)驅(qū)動(dòng)(3)模型的精度高;(4)對(duì)于非線性、非齊次問(wèn)題，有非常好的效果缺點(diǎn)：(1)不能進(jìn)行外推運(yùn)算,(2)估計(jì)的收斂速度慢(3)一般只有在大樣本的情況下才能得到很好的效果，

而小樣本的效果較差(4)高維詛咒,光滑參數(shù)的選取一般較復(fù)雜非參數(shù)回歸：優(yōu)點(diǎn)：(1)回歸函數(shù)形式自由，受約束少，對(duì)數(shù)據(jù)的非參數(shù)回歸方法樣條光滑正交回歸核回歸：N-W估計(jì)、P-C估計(jì)、G-M估計(jì)（9.1）局部多項(xiàng)式回歸：線性、多項(xiàng)式（9.2）光滑樣條：光滑樣條、B樣條近鄰回歸：k-NN、k近鄰核、對(duì)稱近鄰（9.4）正交級(jí)數(shù)光滑（9.5）穩(wěn)健回歸：LOWESS、L光滑、R光滑、M光滑----------（9.3）局部回歸Fourier級(jí)數(shù)光滑wavelet光滑處理高維的非參數(shù)方法：多元局部回歸、薄片樣條、

可加模型、投影尋蹤、

回歸樹(shù)、張量積，等41非參數(shù)回歸樣條光滑正交回歸核回歸：N-W估計(jì)、P-C估計(jì)、G核函數(shù)K：函數(shù)K(.)滿足:常見(jiàn)的核函數(shù)：Parzen核：Gaussian核：Epanechnikov核：tricube核：為示性函數(shù)42核函數(shù)K：函數(shù)K(.)滿足:常見(jiàn)的核函數(shù)：Parzen核回歸模型：(1)模型為隨機(jī)設(shè)計(jì)模型,樣本觀測(cè)(Xi,Yi)~iid(2)模型為固定設(shè)計(jì)模型Xi為R中n個(gè)試驗(yàn)點(diǎn)列,i=1,2,…,nYi為固定Xi的n次獨(dú)立觀測(cè)，i=1,2,…,nm(x)為為一未知函數(shù)，用一些方法來(lái)擬合定義：線性光滑(linearsmoother)43回歸模型：(1)模型為隨機(jī)設(shè)計(jì)模型,樣本觀測(cè)(Xi,光滑參數(shù)的選取風(fēng)險(xiǎn)(均方誤差)

(meansquarederror,MSE)理想的情況是希望選擇合適的光滑參數(shù)h，使得通過(guò)樣本數(shù)據(jù)擬合的回歸曲線能夠最好的逼近真實(shí)的回歸曲線(即達(dá)到風(fēng)險(xiǎn)最小)，這里真實(shí)回歸函數(shù)m(x)一般是未知的。

可能會(huì)想到用平均殘差平方和來(lái)估計(jì)風(fēng)險(xiǎn)R(h)但是這并不是一個(gè)好的估計(jì)，會(huì)導(dǎo)致過(guò)擬合（欠光滑），原因在于兩次利用了數(shù)據(jù)，一次估計(jì)函數(shù)，一次估計(jì)風(fēng)險(xiǎn)。我們選擇的函數(shù)估計(jì)就是使得殘差平方和達(dá)到最小，因此它傾向于低估了風(fēng)險(xiǎn)。是

的估計(jì)，h是光滑參數(shù)，稱為帶寬或窗寬44光滑參數(shù)的選取風(fēng)險(xiǎn)(均方誤差)(meansquared光滑參數(shù)的選取缺一交叉驗(yàn)證方法(leave-one-outcrossvalidation,CV)這里是略去第i個(gè)數(shù)據(jù)點(diǎn)后得到的函數(shù)估計(jì)交叉驗(yàn)證的直觀意義：因此：45光滑參數(shù)的選取缺一交叉驗(yàn)證方法(leave-one-out光滑參數(shù)的選取定理：若那么缺一交叉驗(yàn)證得分

能夠?qū)懗桑哼@里是光滑矩陣L的第i個(gè)對(duì)角線元素廣義交叉驗(yàn)證(generalizedcross-validation,GCV)其中：為有效自由度46光滑參數(shù)的選取定理：若光滑參數(shù)的選取其他標(biāo)準(zhǔn)(1)直接插入法(DirectPlug-In,DPI)相關(guān)文獻(xiàn)可以參考：

WolfgangH?rdle(1994)，AppliedNonparametricRegression，BerlinJeffreyD.Hart(1997),NonparametricSmoothingandLack-of-FitTests，SpringerSeriesinStatistics李竹渝、魯萬(wàn)波、龔金國(guó)(2007)，經(jīng)濟(jì)、金融計(jì)量學(xué)中的非參數(shù)估計(jì)技術(shù)，科學(xué)出版社，北京

吳喜之譯(2008)，現(xiàn)代非參數(shù)統(tǒng)計(jì)，科學(xué)出版社，北京

(2)罰函數(shù)法(penalizingfunction)(3)單邊交叉驗(yàn)證(OneSidedCrossValidation，OSCV)(4)拇指規(guī)則(RuleOfThumb)47光滑參數(shù)的選取其他標(biāo)準(zhǔn)(1)直接插入法(DirectPlu9.1.核回歸（核光滑）模型N-W估計(jì)是一種簡(jiǎn)單的加權(quán)平均估計(jì)，可以寫(xiě)成線性光滑：局部回歸由Nadaraya(1964)和Watson(1964)分別提出，（1）N-W估計(jì)形式：其中：,為核函數(shù)，為帶寬或窗寬489.1.核回歸（核光滑）模型N-W估計(jì)是一種簡(jiǎn)單的加權(quán)平均估局部回歸(2)G-M估計(jì)由GasserandMüller(1979)提出，形式如下:其中寫(xiě)成線性光滑的形式:49局部回歸(2)G-M估計(jì)由GasserandMülle局部回歸核估計(jì)存在邊界效應(yīng)，邊界點(diǎn)的估計(jì)偏差較大,以N-W估計(jì)為例，如下圖50局部回歸核估計(jì)存在邊界效應(yīng)，邊界點(diǎn)的估計(jì)偏差較大,13局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取51局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取1局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取52局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取1局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取可以看到：擬合曲線的光滑度受到光滑參數(shù)h變化的影響53局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取可局部回歸核估計(jì)的漸近方差核漸近偏差核估計(jì)漸近偏差漸近方差N-W估計(jì)

G-M估計(jì)

其中，h為光滑參數(shù)，f為X的密度函數(shù)，且54局部回歸核估計(jì)的漸近方差核漸近偏差核估計(jì)漸近偏差漸近方差N-局部回歸

9.2.局部多項(xiàng)式回歸多項(xiàng)式的回歸模型其中可由最小二乘法估計(jì),即局部多項(xiàng)式回歸：對(duì)m(x)在u處進(jìn)行p階泰勒展開(kāi)，略去p階高階無(wú)窮小量，得到m(x)在u處的一個(gè)p階多項(xiàng)式近似，即此時(shí)，x應(yīng)該靠近u，且55局部回歸9.2.局部多項(xiàng)式回歸多項(xiàng)式的回歸模型其中局部回歸通過(guò)最小二乘來(lái)估計(jì)系數(shù)注意：是在x的一個(gè)鄰域內(nèi)進(jìn)行多項(xiàng)式估計(jì)，因此，最小二乘應(yīng)該與x的鄰域有關(guān)局部加權(quán)平方和：使上述問(wèn)題最小化，可以得到系數(shù)的局部多項(xiàng)式的最小二乘估計(jì)可以很容易得到，取p=0時(shí)為局部常數(shù)估計(jì)，即N-W核估計(jì)取p=1，為局部線性估計(jì)56局部回歸通過(guò)最小二乘來(lái)估計(jì)系數(shù)注意：是在x的一個(gè)鄰域內(nèi)進(jìn)行多局部回歸寫(xiě)成矩陣形式：使上式最小化，可以得到系數(shù)的估計(jì)其中57局部回歸寫(xiě)成矩陣形式：使上式最小化，可以得到系數(shù)的估計(jì)其中2局部回歸得到加權(quán)最小二乘估計(jì)當(dāng)p=1時(shí)（局部線性估計(jì)）的漸近偏差和漸近方差其中可以看到局部線性回歸的漸近方差和N-W估計(jì)相同，而漸近偏差卻比N-W回歸小，說(shuō)明局部線性多項(xiàng)式可以減少邊界效應(yīng)，局部線性估計(jì)由于N-W估計(jì)58局部回歸得到加權(quán)最小二乘估計(jì)當(dāng)p=1時(shí)（局部線性估計(jì)）的漸近局部回歸局部多項(xiàng)式光滑可以很好的減少邊界效應(yīng)59局部回歸局部多項(xiàng)式光滑可以很好的減少邊界效應(yīng)22局部回歸檢驗(yàn)函數(shù)(Doppler函數(shù))60局部回歸檢驗(yàn)函數(shù)(Doppler函數(shù))23局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)61局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tri局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)62局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tri局部回歸9.4.近鄰光滑(1)k-NN回歸(k-nearestneighborregression)其中={i:xi