非全參數(shù)回歸模型與半全參數(shù)回歸模型

1、實(shí)用標(biāo)準(zhǔn)文案文檔文檔第七章非參數(shù)回歸模型與半?yún)?shù)回歸模型第一節(jié)非參數(shù)回歸與權(quán)函數(shù)法、非參數(shù)回歸概念前面介紹的回歸模型，無論是線性回歸還是非線性回歸，其回歸函數(shù)形式都是已知的，只是其中參數(shù)待定，所以可稱為參數(shù)回歸。參數(shù)回歸的最大優(yōu)點(diǎn)是回歸結(jié)果可以外延，但其缺點(diǎn)也不可忽視，就是回歸形式一旦固定，就比較呆板，往往擬合效果較差。另一類回歸，非參數(shù)回歸，則與參數(shù)回歸正好相反。它的回歸函數(shù)形式是不確定的，其結(jié)果外延困難，但擬合效果卻比較好。設(shè)Y是一維觀測(cè)隨機(jī)向量，X是m維隨機(jī)自變量。在第四章我們?cè)M(jìn)過條件期望作回歸函數(shù)，即稱g(X)=E(Y為(7.1.1)為Y對(duì)X的回歸函數(shù)。我們證明了這樣的回歸函數(shù)可使

2、誤差平方和最小，即EY-E(Y|X)2二叫nEY-L(X)2(7.1.2)這里L(fēng)是關(guān)于X的一切函數(shù)類。當(dāng)然，如果限定L是線性函數(shù)類，那么g(X)就是線性回歸函數(shù)了。細(xì)心的讀者會(huì)在這里立即提出一個(gè)問題。既然對(duì)擬合函數(shù)類L(X)沒有任何限制，那么可以使誤差平方和等于0。實(shí)際上，你只要作一條折線(曲面)通過所有觀測(cè)點(diǎn)(Y，X)就可以了是的，對(duì)擬合函數(shù)類不作任何限制是完全沒有意義的。正象世界上沒有絕對(duì)的自由一樣，我們實(shí)際上從來就沒有說放棄對(duì)L(X)的一切限制。在下面要研究的具體非參數(shù)回歸方法，不管是核函數(shù)法，最近鄰法，樣條法，小波法，實(shí)際都有參數(shù)選擇問題(比如窗寬選擇，平滑參數(shù)選擇)。所以我們知道，參

3、數(shù)回歸與非參數(shù)回歸的區(qū)分是相對(duì)的。用一個(gè)多項(xiàng)式去擬合(Y，X)，屬于參數(shù)回歸；用多個(gè)低次多項(xiàng)式去分段擬合(Y，X)，叫樣條回歸，屬于非參數(shù)回歸。二、權(quán)函數(shù)方法非參數(shù)回歸的基本方法有核函數(shù)法，最近鄰函數(shù)法，樣條函數(shù)法，小波函數(shù)法。這些方法盡管起源不一樣，數(shù)學(xué)形式相距甚遠(yuǎn)，但都可以視為關(guān)于Y的線性組合的某種權(quán)函數(shù)。也就是說，回歸函數(shù)g(X)的估計(jì)gn(X)總可以表為下述形式：(7.1.3)gn(X)八Wi(X)Y1其中W（X）稱為權(quán)函數(shù)。這個(gè)表達(dá)式表明，gn（X）總是Y的線性組合，一個(gè)Y對(duì)應(yīng)個(gè)W。不過W與X倒沒有對(duì)應(yīng)關(guān)系，W如何生成，也許不僅與X有關(guān)，而且可能與全體的X或部分的X有關(guān)，要視具體函數(shù)

4、而定，所以諷為寫得更仔細(xì)一點(diǎn)應(yīng)該是諷X;X,，X）。這個(gè)權(quán)函數(shù)形式實(shí)際也包括了線性回歸。如果Y=X沖十務(wù),則Xj愼=X：（XX）XY，也是Y的線性組合。在一般實(shí)際問題中，權(quán)函數(shù)都滿足下述條件:(7.1.4)nWMXX,Xn)-0,Wi(X；X!,Xn)=1i斗如果考慮在第五章介紹的配方回歸與評(píng)估模型曾有類似條件，不妨稱之為配方條件，并稱滿足配方條件的權(quán)函數(shù)為概率權(quán)。下面我們結(jié)合具體回歸函數(shù)看權(quán)函數(shù)的具體形式。1核函數(shù)法選定戌空間上的核函數(shù)K,一般取概率密度。如果取正交多項(xiàng)式則可能不滿足配方條件。然后令Wi(X;Xi,Xn)二K(x-Xinx-X/Z1an丿i=1Ian丿(7.1.5)n顯然vW

5、i=1。此時(shí)回歸函數(shù)就是iX-XinY=g(X)工嘉W(X)Yimn=11i=1anxxY(7.1.6)an2最近鄰函數(shù)法首先引進(jìn)一個(gè)距離函數(shù)，用來衡量R1空間中兩點(diǎn)u=（w,，um）和v=（V1，vm）的n距離”u-vII?？梢赃x歐氏距離|u-：二（Uj-：i）2,也可以選|u-：IFmax|Uj-：jII。為了反映各分量的重要程度，可以引進(jìn)權(quán)因子C,，0,使61圭應(yīng)也滿足配方條件。然后將距離函數(shù)改進(jìn)為22(7.1.7)|u-：II八Ci(Ui-i)i2|u7|=maxG|5|(7.1.8)現(xiàn)在設(shè)有了樣本(Y,X),i=1,，n，并指定空間中之任一點(diǎn)X,我們來估計(jì)回歸函數(shù)在該點(diǎn)的值g(X)。

6、將X，xn按在所選距離意義下與X接近的程度排序：IlXkiX卜：|Xk2XimXknXII(7.1.9)這表示點(diǎn)Xkl與X距離最近，就賦以權(quán)函數(shù)ki；與X距離次近的Xk2就賦予權(quán)函數(shù)k2。，等等。這里的n個(gè)權(quán)函數(shù)ki,kn也滿足配方條件，并且按從大到小排序，即n亠k2亠-kn0,二ki=1y(7.1.10)就是Wki(XX,Xn)二ki,i=1,n(7.1.11)若在IIX-XII,i=1,，n中有相等的，可將這n個(gè)相等的應(yīng)該賦有的權(quán)取平均。比如若前1兩名相等，IX-XI=IXa-Xl,就令W=W2=1(&+k2)。2這樣最近鄰回歸函數(shù)就是nnnY=g(X)八Wi(X;X1,Xn)Yi八kiY

7、八ki(X)Yiimii#(7.1.12)ki盡管是n個(gè)常數(shù)，事先已選好，但到底排列次序如何與X有關(guān)，故可記為ki(X)。三、權(quán)函數(shù)估計(jì)的矩相合性首先解釋矩相合性的概念。如果對(duì)樣本(Y，X)，i=1,n構(gòu)造了權(quán)函數(shù)W=Wn(X)=W(X;X,，X)，有了回歸函數(shù)g(X)的權(quán)函數(shù)估計(jì)gn(X)=送WYi，當(dāng)Y的r階矩存在im(E|Y|rR)時(shí)，若rlimE|gn(X)-g(X)|=0n(7.1.13)則稱這樣的權(quán)函數(shù)為矩相合的權(quán)函數(shù)。在什么樣的條件下構(gòu)造的權(quán)函數(shù)是矩相合的呢？Stone（1977）提出了很一般的，幾乎是充分必要的條件。下面我們考慮其充分性條件，并限于考慮概率權(quán)。定理7.1.1設(shè)概

8、率權(quán)時(shí)滿足下述條件：（i）存在有限常數(shù)c使對(duì)Rm上任何非負(fù)可測(cè)函數(shù)（連續(xù)函數(shù)與分段連續(xù)函數(shù)是最常見的可測(cè)函數(shù)）f,必有E、Wf(XJ0,當(dāng)nfg時(shí)，n-WiI(iXiMl_)i1(7.1.15)PmaxWi01藝勺i(7.1.16)則沏是矩相合的權(quán)函數(shù)。定理?xiàng)l件可以作一些直觀解釋。條件（1）可以作如下理解，因?yàn)闄?quán)函數(shù)是概率權(quán)，必有|W1,i=1,n。于是廣nInnnELWif(XJEEWf(Xj蘭E瓦|f(XJ=Ef(Xi)(i壬丿i二i=1iT（7.1.17）這里取的是C=1。因此條件（1）可以說不叫做一個(gè)條件。條件（2）是說，與X的距離超過一定值的那些X，對(duì)應(yīng)算出來的權(quán)函數(shù)之和很小，也就是

9、說，權(quán)函數(shù)的值主要取決于那些與X鄰近的X的值。這個(gè)條件合理。條件（3）是說，當(dāng)n越來越大時(shí)，各個(gè)權(quán)系數(shù)將越來越小，這也是合理的要求。在證明本定理之前，先證兩個(gè)引理。引理7.1.1設(shè)概率權(quán)函數(shù)W適合定理7.1.1的條件（1）及，又對(duì)某個(gè)r,E|f（X）|r0,存在e0,當(dāng)Hu-vll時(shí),1/r|f(u)-f(v)|W(n/2)。ZWi(X)f(Xi)f(X)蘭;+(2M)壬Wi(X)l(|XiFi42(7.1.19)(2),上式右邊第二項(xiàng)依概率收斂于0且其中M二supf(X)，此處X表示具體取值。由條件X不大于1。依控制收斂定理有l(wèi)imE瓦W(X)I(|X2)=0(7.1.20)故存在n,使當(dāng)n

10、no時(shí)，有十(X)八2(7.1.21)因此當(dāng)nno時(shí)，有E瓦W(X)|f(XJf(X)|r于是對(duì)這種一致連續(xù)的(7.1.22)f,引理得證。證畢對(duì)一般的函數(shù)f，取一個(gè)在R1上連續(xù)，且在一有界域之外為0的函數(shù)，使2Ef(X)血，且Ef(X)f(X)c口，這里n是事先指定的。因?yàn)镋瓦W(X)f(XJf(X)|3r送W(X)|f(XJf(X)|rlim丿llim丿HW(X)|(Xi)f(Xi)|r+E送W(X)|f(X)f(x)|rpEiv(7.1.23)右邊括號(hào)里第r項(xiàng)等于Ef(X)-f(X)；第一項(xiàng)根據(jù)條件(1)不超過rmCEf(X)-f(X)Cv;因?yàn)閒在R上有界且一致連續(xù)，由前面已證結(jié)果知當(dāng)

11、nig時(shí),第二項(xiàng)將趨于0。因此實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案文檔i文檔limEW(X)|f(X)-f(X|r3rJ(C1)(7.1.24)n是任意的，故引理得證。證畢引理7.1.2設(shè)砌為滿足定理7.1.1三個(gè)條件的概率權(quán)，函數(shù)f非負(fù)且Ef(XP:,limEZWf2(X)f(XJ=0g丿n_：i：:(7.1.25)證明定義一組新的概率權(quán)函數(shù)2W；二Wi，由于owW1,故0Wi01-C1i=1i=1(7.1.27)故由控制收斂定理有l(wèi)imEiXW2(X)f(X)=0(7.1.28)綜合兩個(gè)極限式可知本引理成立。下面我們證明定理7.1.1。先設(shè)r=2,則E(Y2)8。令Z=Y_E(Y|X),Zi=Y-E(

12、Y|XJ,f(X)=E(Y|X)(7.1.29)由E(Y)8知E(Z2)8,故2h(X)=E(Z|X)證畢(7.1.30)存在。又E(Z|X)=E(Zi|XJ=0,E(f2(X)：,E(h(X)乞E(Z2):：:(7.1.31)還須注意：f(X)=E(Y|X)(而非E(Y|X)。因此按定義f(Xi)二E(Y|X=x)|x芻而因?yàn)?X，Y)與(X,Y)同分布，有E(Y|X=x)=E(Y|X=x)。故f(Xi)=E(Y|Xi=x)2=E(Yi|Xi)現(xiàn)有g(shù)n(X)-g(X)=EW(X)f(XJ-f(X)+遲W(X)Zii丿i=1(7.1.31)2f(X)|J(7.1.33)注意到當(dāng)X固定為x而X,

13、，X也給定時(shí)，W(x)成為常數(shù),X時(shí)，條件相互獨(dú)立，再注意到而乙，Z在給定Xi,E(Z|X)=0，由上式有eVWi(x)Zii3壬丿EHWi2(x)E(Zi2|Xi)Ii丿(n二Wi2(x)h(Xi)Ili#丿因此式對(duì)一切x都成立，有/w.(X)Z.ii丿2=E瓦Wi(X)h(Xi)(7.1.34)考慮到E(h(為)0,由引理6.4及上式，知limEiHnW(X)Zj=0(7.1.35)合并考慮(7.1.31),(7.1.32)和上式，得limE|gn(X)_g(X)|2=0。這證明了定理當(dāng)r=2nJpC的情況?，F(xiàn)在設(shè)r1,E|Y*。定義截?cái)嗪瘮?shù)YK):1二K當(dāng)Yc-KY(k)=Y當(dāng)|丫任KK

14、當(dāng)|YK(7.1.36)類似地定義Y(K)(只須把上式中的丫都改為Yn1)。因w0,送Wj=1,r二1，有y廣nnZWi(x)|YYi(K)丨江Wi(x)|YYi(K)Ir丿y(7.1.37)記hK(x)=E(|Y-Y(K)|X=x)，則limEhK(X)limE|Y-Y(K)|r=0K.KK_(7.1.38)(K)且E(|Y-Y(M)IrXj)=hM(XJ。由此得EvWi(x)|Yi-Yi(K)|i三因?yàn)榇耸綄?duì)一切蘭EE披W(x)|Y_Y(KTX1,Xx成立，有=ELW(x)hk(xj)2丿Wi(x)|Yi-Yi(K)|=Wi(x)hk(Xi)CE(hk(X)i=1(7.1.39)上式最后一

15、不等式是根據(jù)定理的條件(1)。由(7.1.38)及上式，知當(dāng)K充分大時(shí)，對(duì)n致地成立實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案文檔文檔nE遲Wi(x)|Y丫嚴(yán)2(7.1.40)又當(dāng)時(shí)有E|E(Y|X)-E(Y(K)|X)E|E(Y-Y(k)|X)E|Y_Y(k)0(7.1.41)現(xiàn)有nE|g(X)-gn(X),E|E(Y|X)八Wj(X)|Yj|riA(n3rAE|E(Y|X)E(Y(K)|x)|r+E送Wi(X)|YY；(K)|I丿n-E|E(Y(K)|XxWi(X)Yi(K)|ry(7.1.42)因?yàn)閅K)有界，其二階矩有限，故由已證的r=2的情況，知nlimE|E(Y(K)|X)-Wi(X)Yi(K)|0

16、n匚7(7.1.43)由于|YK)|1有nlimE|E(Y(K)|X)-W(X)Yi(K)|、0n*im(7.1.44)任給0,先找心使當(dāng)KK)時(shí)，對(duì)一切n成立(7.1.40)。又依(7.1.41)，找K，使當(dāng)KK時(shí)有E|E(Y|X)-E(Y(K)|X)|rn。時(shí)有E|gn(x)-g(x)|r：3*(7.1.46)這就證明了權(quán)函數(shù)的矩相合性。證畢關(guān)于權(quán)函數(shù)估計(jì)的收斂性質(zhì)還有更多更深入的討論，如逐點(diǎn)矩相合性，強(qiáng)相合性等，有興趣的讀者可參看有關(guān)專著。這里引述Stone的成果，一是因?yàn)樗腔镜?，可以作為入門的文檔文檔實(shí)用標(biāo)準(zhǔn)文案引子；二是因?yàn)樗且话愕模爬撕斯烙?jì)、最近鄰估計(jì)、樣條估計(jì)、小波估計(jì)

17、等具體形式。算例7.1.3一元非參數(shù)回歸本算例利用核估計(jì)給出一元非參數(shù)回歸。計(jì)算過程如下。一般非參數(shù)回歸模型計(jì)算程序,例7.1.4模型及數(shù)據(jù)結(jié)構(gòu)說明:本項(xiàng)程序計(jì)算一般非參數(shù)回歸模型:Y(i)=g(t(i)+&(i)i=1,2,.,n,0=t=1其中函數(shù)g未知待估.資料準(zhǔn)備要點(diǎn):因變量Y在數(shù)據(jù)第一列,自變量t是1維,例713.D數(shù)據(jù)文件中,n=50要打印原始資料嗎?0=不打印,1=打印(1)打印Y的原始資料1.1881001.8334001.0815002.8680000.6165001.0670001.1852000.8365001.8053001.0848000.4120001.315900

18、1.3626001.3032001.7317000.6220000.4305000.9976001.2857001.6209001.3292001.6057001.6876001.3768001.2510001.1456000.7433000.7286000.865800-0.1718000.9238000.8724001.9899000.0095000.3079000.1726000.2823000.2255001.1262001.3651001.7124000.8644000.8826001.0887001.6519001.5231000.9663001.9857001.8888000.9

19、04900打印X的原始資料0.5381000.0178000.6151000.0270000.5612000.1140000.3434000.8775000.1032000.2211000.9627000.1689000.4536000.5520000.0486000.2632000.1583000.9485000.6167000.1923000.5759000.2183000.0090000.1515000.8343000.6511000.4192000.2293000.4598000.9969000.2201000.7545000.0695000.4201000.3508000.97540

20、00.2535000.4825000.0969000.7902000.1240000.8471000.7857000.5806000.5599000.6383000.0787000.0842000.6237000.149800請(qǐng)決定非參數(shù)回歸的方法:(0)0=固定自變量窗寬的核函數(shù)法.這需要事先將自變量變換為0=t=1.實(shí)用標(biāo)準(zhǔn)文案仁固定自變量資料點(diǎn)數(shù)的平滑法這需要自變量資料等距并順序排列請(qǐng)鍵入核函數(shù)的窗寬選擇h（1/N=h=1,不妨就取h=0.1-0.2）:（0.1）要打印擬合數(shù)據(jù)嗎？0=不打印，仁打印（0）計(jì)算結(jié)束。圖7.1.3.1原始數(shù)據(jù)-擬合數(shù)據(jù)第二節(jié)密度核估計(jì)與回歸函數(shù)核估計(jì)我們?cè)谏?/p>

21、一節(jié)已指出，非參數(shù)回歸可以歸結(jié)為權(quán)函數(shù)方法，權(quán)函數(shù)具體有四種主要形式：核函數(shù)，最近鄰函數(shù)，樣條函數(shù)，小波函數(shù)。在具體計(jì)算方面，一般來說，核函數(shù)方法多用于密度估計(jì)或者需要密度估計(jì)的隨機(jī)樣本回歸，樣條與小波函數(shù)多用于作信噪分離解釋的回歸（當(dāng)然也有用于密度估計(jì)的）。這一節(jié)我們主要介紹密度的核估計(jì)，雖然它本身不屬于非參數(shù)回歸內(nèi)容，但在隨機(jī)樣本回歸方法里要經(jīng)常用到它。最后介紹二元非參數(shù)回歸函數(shù)核估計(jì)問題。本節(jié)第二、三、四段都是本書作者近期發(fā)表的研究成果。、密度核估計(jì)概念與收斂性設(shè)X,，X是從具有未知密度函數(shù)f（x）的總體中抽出的i.i.d.樣本，要依據(jù)這些樣本對(duì)每一x去估計(jì)f（x）的值。當(dāng)然這樣f（x）

22、的估計(jì)也有參數(shù)估計(jì)與非參數(shù)估計(jì)的問題。但是習(xí)慣上，人們說密度估計(jì)時(shí)，都是指不知道密度函數(shù)的具體形式，因而都是指非參數(shù)估計(jì)問題。密度估計(jì)最基本的方法是直方圖估計(jì)。這在初等概率教科書中都有介紹，這里就不說了。但是，它的基本思想?yún)s與核估計(jì)是相通的。下面我們從直方圖估計(jì)導(dǎo)出密度核估計(jì)。文檔實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案(727)文檔(727)文檔作直方圖時(shí)，先用點(diǎn)把直線分成若干小的計(jì)數(shù)區(qū)間，當(dāng)然也。這樣，計(jì)數(shù)區(qū)間的端點(diǎn)與寬度都是固定的。記N為樣本點(diǎn)X,，X.落在第i個(gè)計(jì)數(shù)區(qū)間】ai,ai+i)里的個(gè)數(shù)，則密度函數(shù)f(x)在a,a+i)里的函數(shù)估計(jì)值就取為fn(X)二n(ai1-ai)乞X:：aii,i=1,

23、k(721)這樣的直方圖估計(jì)當(dāng)然是階梯函數(shù)，于是人們想法改進(jìn)它(最有趣的是有人用計(jì)算數(shù)學(xué)里的磨光函數(shù)去把直方圖頂部磨光滑)。不難想象，這種估計(jì)對(duì)計(jì)數(shù)區(qū)間a,a+i)中心部分比較精確，而對(duì)計(jì)數(shù)區(qū)間端點(diǎn)處精度稍差。有人提出，對(duì)每個(gè)x,各作一個(gè)以x為中點(diǎn)的小計(jì)數(shù)區(qū)間x-h,x+h),再對(duì)落在該計(jì)數(shù)區(qū)間的樣本點(diǎn)計(jì)數(shù)，設(shè)為N(x,h)，則密度估計(jì)為fn(X)N(x,h)2nh(722)而是隨x而變，可以自始1當(dāng)一1Exv1K(x)20其他則上述變端點(diǎn)計(jì)數(shù)區(qū)間的密度估計(jì)可寫為1xXn、fn(x)=ZK1nhyIh丿(723)(724)這個(gè)想法與直方圖不同在于它的計(jì)數(shù)區(qū)間端點(diǎn)劃分不是固定的,至終保持x點(diǎn)在計(jì)

24、數(shù)區(qū)間中間。不過此時(shí)計(jì)數(shù)區(qū)間寬度hn一般是固定的。如果引進(jìn)函數(shù)(7.2.5)x為中心窗寬為2h本質(zhì)上與這里也是?一般來說，要求核函后來Parzen(1962)提出，可以將這種矩形核函數(shù)形式放寬限制，只須積分為1(最好還為恒正)即可。這就導(dǎo)出了密度的核估計(jì)。我們也可以從經(jīng)驗(yàn)分布函數(shù)導(dǎo)出密度核估計(jì)。經(jīng)驗(yàn)分布函數(shù)1F；(x)=(X1，,Xn中小于x的個(gè)數(shù))n也是一種計(jì)數(shù)，不過從-R直計(jì)到x為止。我們可以利用它表示一個(gè)以計(jì)數(shù)區(qū)間里的樣本點(diǎn)數(shù)，于是密度估計(jì)為可以看到，本書作者在第六章第五節(jié)第二段里提出的密度的求導(dǎo)插值估計(jì)，相通的。對(duì)核函數(shù)形式放寬了，那么有哪些條件是不能放寬而必須堅(jiān)持的呢?cái)?shù)滿足條件rK(

25、x)蘭0,匚K(x)dx=1咼2supK(x)址，J_K(x)dxlimK(x)x=0實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案文檔文檔文檔實(shí)用標(biāo)準(zhǔn)文案對(duì)于一般概率密度函數(shù)，這些條件是能滿足的，所以可以選一個(gè)概率密度函數(shù)作核函數(shù)。不過，最好還是選一個(gè)有限窗寬的函數(shù)。對(duì)窗寬h的要求，顯然樣本數(shù)越多，窗寬應(yīng)越小，但不能太小，即h是n的函數(shù)，且limh(n)=O,limnh(n)=n，(7.2.8)x,n在上述要求的核函數(shù)及窗寬條件下，密度f(X)的核估計(jì)fn(X)是f(X)的漸近無偏估計(jì)與相合估計(jì)。這是因?yàn)?Efn(Fh(n)h(n)EKh(n)-Ho,X-t、KI0,由條件(7.2.7)，存在充分大的To,使lz

26、|TK(Z)dZ十4(7.2.10)這里M=supf(x)，并且XJoTohim；HK(Z)f(x-hZ)dZ二f(x).K(Z)dZ(7.2.11)于是|Efn(X)-(X)|TOC o 1-5 h zToTo蘭K(Z)f(x-h(n)Z)dZ-LK(Z)f(x)dZ+2j|ZK(Z)dZMToToE蘭LK(Z)f(xh(n)Z)dZf(x)JK(Z)dZ HYPERLINK l bookmark198 o十2(當(dāng)n-;J2(7.2.12)由的任意性，可知lim.-Efn(x)二f(x)。這就說明fn(x)是f(x)的漸近無偏估計(jì)。再利用X,，人的獨(dú)立性，有1Var(fn(x)=n1h2(n

27、)xXh(n)EK-Xh(n)(7.2.13)類似于漸近無偏性的證法可得1一2XX14=02limEIK|=f(x)K(x)dxnh(n)宀(n)丿J(7.2.14)于是limE(fn(x)-f(x)2=limVar(fn(x)+lim(Efn-f(x)2=0nnn_c(7.2.15)這就說明對(duì)一切X，fn(x)均方收斂于f(X)，因此fn(x)f(x)(nr)，這就證明密度核估計(jì)的相合性。、使用正交多項(xiàng)式核的密度及其偏導(dǎo)數(shù)核估計(jì)的收斂速度上一段研究的密度核估計(jì)的收斂性，針對(duì)的是使用概率密度核函數(shù)K,它非負(fù)，積分為1，從而可以肯定保證密度核估計(jì)函數(shù)fn(X)非負(fù)且積分為1。只是它的收斂速度不會(huì)

28、超過4O(n)。為了提高收斂速度，統(tǒng)計(jì)工作者使用正交多項(xiàng)式作理論上的研究，取得不少成果。這里介紹的是本書作者的研究成果，近期發(fā)表在國際數(shù)學(xué)雜志“CommunicationsinStatistics”上。它是直接研究多元密度，并連帶一般偏導(dǎo)數(shù)的核估計(jì)給出收斂速度。記多元密度f(t)的s階混合偏導(dǎo)數(shù)為(t)二,Sp；t)tsf(tt)sCt11CtpP(7216)這里t=(t1,tp),3sp=s,s=0,1,2,o使用多元核函數(shù)作出f(s)(t)的估計(jì)如下：n心了s/(j)、t(j)-1(7217)其中：n1二n一2rp,r2是構(gòu)造核函數(shù)的正交多項(xiàng)式空間維數(shù)，可以任意取定。Ks(u)不僅決定于S

29、,而且決定于S1,SP,且滿足:|Ks(u)C當(dāng)uE(O,Uo)PAD。.Ks(u)=0當(dāng)uDo(7.2.18)其中U0是一正常數(shù)，u=(U1,up)。我們以C表示某一合適常數(shù)，各個(gè)C可不相同。|s(u)還滿足:下douIiSi!Sp!u；pKS(u)du1當(dāng)ii=Si,ip=Sp0否則，但0蘭ii,，ip(7.2.19)這種多元核函數(shù)可以如下構(gòu)造:Ks(u)二心1(5序勺22)Ksp(up)(7220)其中匚爐)=1,，p是普通一元核函數(shù)，滿足:|s(5)KC當(dāng)u(O,uo):KsOi)=o否則(7.2.21)1uol4uiKS(ui)dui當(dāng)丨二Si當(dāng)丨=Si但0-l-r-1(7.2.22

30、)這種核函數(shù)具體構(gòu)造及改進(jìn)我們放到下一段再統(tǒng)一研究。F面研究fn(t)的收斂性。我們假定偏導(dǎo)函數(shù)f(t)局部有界，即存在與對(duì)t的各分量時(shí)，有osupif%)(7.2.23)求偏導(dǎo)次數(shù)，,rp無關(guān)的fs(t),0,+rp=r,使當(dāng)tX，且tX且t+EX定理7.2.1設(shè)f(r)(t),f(t)局部有界，則這里X是t的樣本空間。同理定義f(t)局部有界。曰()表示對(duì)n個(gè)樣本求數(shù)學(xué)期望。(7225證明由Enf,s)(t)-f(s)(t)|=On-(7224)En曾-f(s)2=0nt(1),t(n)的i.i.d.，令uy-trs2r+pf(r)(t)2rpsf(r)(t)ffs(0)(t)?y-1p，

31、注意dy-nPdu，有：n1f(y)dysDo!s(u)f(t：nU)du(7.2.26)再由多元Taylor展式、多項(xiàng)展式及核函數(shù)正交條件得Enfn二f(s)(tr：n.D0Ks(u)iiui1uppf(r)(t)duE*|fiip=f1!(7227)這里0|:p，由f(t)局部有界，核函數(shù)有界，積分域有界，可得(7.2.24)。又Varf(s)t1”D0iWDw2(r_s)2r4ps(0)(t)(7228)Enf,s)(t)-f(t)2=Varf(s)(t)+(s)(s)(f(s)Enfn-f(t)(7.2.29)可知(7.2.25)成立。證畢在s=1時(shí)，由(7.2.16)我們把_，迪都記

32、作了f，把它們排成向量得徙丄。相應(yīng)fn(t)也代表了-tP種核估計(jì)fn(t),fn(p1)(t)。由(7.2.17)知它們的核函數(shù)構(gòu)造不同，滿足的正交條件不同，也把它們排成向量得(1)(t)。由定理(7.2.2)有(1)f(t).：t2戲(t)(1)y+fn(p)(t)ct1(1“f(t)2盤pj(7.2.30)進(jìn)一步有En1(1)(t):f(t)fn(t)-過丿C2(r4茹齊：fs(r)(t)2=0nn(1)(t)-ftCEn譏)占(t)2fs(0)(t)?(7.2.31)設(shè)12S2,由Jensen和Holder不等式有E|2(Var)|E】(7232)于是有6=O(2$r_s)、Enn(S

33、)(t)-代2r+pn丿(7233)(r)sf(t)f5+fs(0)(t)PEnF(t)-號(hào)2：.蘭E叩-響+fn；(t)-fn期125+譏)0)2。IF口1P並蘭PE.2&4)2r十p=0n代(7.2.34)這就證明了使用正交多項(xiàng)式核的密度及其偏導(dǎo)數(shù)核估計(jì)的收斂速度。在本書第十章第四節(jié)要引用這些結(jié)果。、密度核估計(jì)的連續(xù)性及光滑性這一段介紹本書作者提出的一種正交多項(xiàng)式，用它構(gòu)造的一元到多元密度及其偏導(dǎo)數(shù)的核估計(jì)，在樣本抽定時(shí)，保持連續(xù)性，在樣本數(shù)趨于無窮時(shí)可以保持好的收斂速度。密度核估計(jì)是一隨機(jī)函數(shù)，它利用隨機(jī)抽得的歷史樣本X，X構(gòu)造fn(x)，去估計(jì)母體的密度f(X)。它的收斂性是一種大樣本

34、性質(zhì)。對(duì)于一個(gè)具體的核函數(shù)和一個(gè)具體的fn(X)的構(gòu)造，一旦歷史樣本抽定轉(zhuǎn)入統(tǒng)計(jì)計(jì)算，fn(X)就是一個(gè)普通的函數(shù)。這時(shí)我們自然要考慮它的分析性質(zhì)，例如連續(xù)性和光滑性。因此，密度核估計(jì)的連續(xù)性和光滑性是對(duì)任意抽定的歷史樣本而言，它是一種小樣本性質(zhì)。從統(tǒng)計(jì)計(jì)算的角度，僅僅研究大樣本性質(zhì)是不夠的。如果核估計(jì)呈跳躍間斷，得到的參數(shù)估計(jì)將隨當(dāng)前樣本X的連續(xù)變動(dòng)而發(fā)生劇烈跳躍，使其難以進(jìn)入實(shí)用，許多文獻(xiàn)要么忽略了核函數(shù)的構(gòu)造，要么給出的核函數(shù)不滿足連續(xù)性光滑性，Lin(1975)構(gòu)造密度及其(偏)導(dǎo)數(shù)核估計(jì)如下。fn(X)nax-Xian(7235)fn(X)-an2nannKij4(7236)K(u)

35、=30u2-36u9=30(u-0.6)2-1.8(7.2.37)7)=-180+19236=-180；1+15.215丿(7.2.38)顯然這樣的fn（X）與f（X）都不連續(xù)。我們?cè)噲D尋找截?cái)嗪笕匀贿B續(xù)的正交多項(xiàng)式，從而使密度及其（偏）導(dǎo)數(shù)的核估計(jì)連續(xù)，同時(shí)保持較高的收斂速度。我們先考慮一元密度核估計(jì)的連續(xù)性、光滑性、收斂性。以下給出的正交多項(xiàng)式與Lin給出的正交多項(xiàng)式區(qū)別在于連續(xù)性和光滑性，其正交性是一樣的。rr+111(7239)r11r212r-1_uutW丿111Ho(u)=34r+2111rr+12r-1_111(7.2.40)-11123r+12/Juu-uH,u)=utS丿凹丿

36、111rr+12r1-111rIJ(7.2.41)1令H是r階行列式，其第1至r-1行的元素為hj1，第r行元素全為1。將H的第ji+j行換上（u/ut）j得Hb,將H的第二行換上（u/ut）j得H,ut是一常數(shù)。顯然H)(0)=H)(ut)=H(0)=H(ut)=O。再令HoKo(u)=*Hut0當(dāng)0乞uUt否則(7242)當(dāng)0_u_ut否則K,(u)=Hut0k.(7.2.43)則U|1U|U|K0(u)duU|HoduHut1l2ydyi1.ydy14(yl+dyl1r+2H12r-111-1丨+21I3L1r.12r-111l3141r11112r11r+212r111當(dāng)1=0,=0當(dāng)

37、丨式0,但12Er2c當(dāng)丨=rTut=1時(shí)我們畫出它又K)(0)=K)(ut)=0,可見K)是滿足正交性及連續(xù)性的核函數(shù)。在r=3,的圖形(圖723.2)當(dāng)0uut=1時(shí)32K0(u)=6Ou-96u36u=60u(u-1)(7244)同樣容易驗(yàn)證K(u)的正交性及連續(xù)性。uR(u)du=*衛(wèi)當(dāng)丨=1,當(dāng)丨-1，但0乞丨乞r一2Ki(O)=K(ut)=O在這樣的構(gòu)造里，密度核估計(jì)的光滑性通過密度導(dǎo)數(shù)核估計(jì)的連續(xù)性實(shí)現(xiàn)。下面我們?cè)僬f明多元密度核估計(jì)的連續(xù)性、光滑性及收斂性。設(shè)有p元密度f(x),X=(X1,，Xp),對(duì)于其各階混合偏導(dǎo)數(shù)：tf(x)fx；1Xtp，t+tp，我們使用多元核函數(shù)Kt

38、titp(u),u-(u,up)，作出它的估計(jì):fnd,tp,X)二3j)-xan(7245)其中12r4pan二np(7246)同時(shí)要求fn在全空間連續(xù)，即fn(t；t,tp；X)C(RP)(7247)多元核函數(shù)Kt,f；t(u)要滿足:Kg,tp(u)|蘭C當(dāng)u(O,Ut)PADKg.,tp(u)=0否則(7248)ttp!iiD比山22UpKt；ti,tp(u)du二J當(dāng)i=虬，ip=tp0否則，但0G,ip(7249)且心如缶山)C0(Rp)這種多元核函數(shù)構(gòu)造如下:Kt,tp(u)=Kti(uJKt2(U2)Ktp(up)(7.2.50)其中Kti(Ui),i=1-,p是普通一元核函數(shù)

39、，滿足fiK(u*C當(dāng)Ui(0,ut)K(uJ=0否則(7251)1ti!ut0uiKt(ujduj當(dāng)I=ti當(dāng)l=tj,但0乞丨乞r一2(7252)且Ktj(uJC0(R)。這種一元核函數(shù)構(gòu)造如下:1一作行列式H也1r，其中第1至3行元素為hk廠k)，最后一行元素全為1，將其第ti+1行換上ht+=(比/ut)j，得r階行列式H(ui)-111123r+111134r+1H=111ti十1ti十2ti+r111rr+12r1-11！1(7253)-11123r+111134r+2Htu(Ui)=/Ui1阿2-5Jujluj111rr+12r-1-111(7254)再令t!Hti(Ui)當(dāng)0蘭

40、q蘭utKtHu；i+0否則(7.2.55)這樣我們已經(jīng)構(gòu)造了多元密度及其偏導(dǎo)數(shù)的核估計(jì)并驗(yàn)證了它們的連續(xù)性、光滑性及收斂性。四、改進(jìn)多元密度核估計(jì)的交互投影迭代算法本段介紹交互投影算法在改進(jìn)多元密度核估計(jì)非負(fù)性方面的應(yīng)用。多元密度核估計(jì)是1fn(X)：nanC(j)x-x(7.2.56)文檔文檔實(shí)用標(biāo)準(zhǔn)文案這里K()是核函數(shù)，x|j=1,，n,是樣本。如果K()是一個(gè)概率密度函數(shù)，(非負(fù)、積分為1)，貝Ufn(x)的均方誤差的收斂速度不會(huì)超過O(n-4/5)。如果K()是一個(gè)正交多項(xiàng)式，則fn(x)的均方誤差的收斂速度可以任意接近0(n-1)，但這時(shí)fn(x)不再能保證非負(fù)、積分為1。Gaj

41、ek(1986)利用凸集間的交互投影迭代算法來改進(jìn)用正交多項(xiàng)式構(gòu)造的一元密度核估計(jì)。該算法可以將fn(x)改進(jìn)為非負(fù)且積分為1的函數(shù)，同時(shí)保證它的均方誤差收斂速度不變，本段將Gajek的方法用之于多元密度核估計(jì)，并為它重新寫了證明。多元密度核估計(jì)的詳細(xì)構(gòu)造上段已述。下面先敘述屬于Gajek的迭代算法。對(duì)于fn(x)定義加權(quán)的均方誤差式R(fn，f)=RpE(fn-f)2h(X)dX(7.2.57)這里h是一個(gè)非負(fù)的權(quán)函數(shù)。應(yīng)該說R(fn,f)是一個(gè)合適的評(píng)價(jià)標(biāo)準(zhǔn)。迭代算法是：(1)令f：(x)=fn(x)，且置k=0;fn(x)令fnk4F(x)=max(0,f二fnk1(x)而完成迭代;令f

42、nk2(X)=仁仏)(x),再檢查Ck1二Rpfnk1(x)dx。若G+1=1,則令h(x)Rp1/h(t)dt(4)置k=k+2并轉(zhuǎn)向步驟(2)。從幾何直觀上看，步驟(2)就是去掉函數(shù)的負(fù)值而將其改寫為零，此時(shí)可能函數(shù)積分超過1。于是有步驟(3)，就是將函數(shù)整體向下拉一點(diǎn)，以使積分為1。此時(shí)可能又會(huì)有負(fù)值出現(xiàn),于是重復(fù)步驟(2)。如此反復(fù)。Gajek證明了迭代過程收斂。定理7.2.2設(shè)Rp1/h(t)dt:二(7.2.58)R(fn,f)(7259)(1)上述迭代過程收斂，即存在fn(x)，且fn(X)-0,rPfn(x)dx=1。實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案文檔文檔*.(2)在(7257)的加

43、權(quán)均方誤差意義下，fn(x)至少保持fn(X)的收斂速度，即R(fn*,f)ER(fn,f)(7.2.60)在正式證明定理7.2.2之前，我們先敘述三個(gè)引理，定義內(nèi)積:gi,g2*Jrp(gi,g2)h(t)dt(7.2.61)令l2(rP)Rpg2hdt:，(7.2.62)滿足(7.2.62)的全體p元函數(shù)構(gòu)成內(nèi)積空間Lh,由內(nèi)積(7.2.61)導(dǎo)出的距離記作|在L；空間定義FgRpg2hdt：,gO,a.s.(7.2.63)F1Rpg2hdt：,Rpgdt=1(7.2.64)F*=FF1(7.2.65)顯然，所有的F,F+和F1都是凸集。引理7.2.1設(shè)F0uL：，且F0是一凸集，fLh。

44、則f0是fn在F0上的投影當(dāng)且僅當(dāng)-fF0，有fn-f|f-f0*f0-fn2(7.2.66)證略。引理7.2.2令f(x)=max(0,fn(x)(7.2.67)則廣是fn在F+上的投影。文檔文檔實(shí)用標(biāo)準(zhǔn)文案利用引理721，證明是容易的。引理7.2.3令1f(X)二fn(X)rpfn(X)dX-1h(x)Rp1/h(t)dt(7.2.68)則fl(x)是fn(X)在Fl上的投影。利用引理7.2.2，證明也是容易的?，F(xiàn)在我們敘述定理7.2.2的證明：(1)因?yàn)镕*非空，和F1之間的距離為零。由引理7.2.2和引理7.2.3我們知定理7.2.2的迭代算法也就是兩個(gè)凸集間的交互投影。這個(gè)迭代過程一

45、定收斂，設(shè)收斂于fn*(x)，(2)由引理7.2.5-fF*F，有fn-f2-fnf2f一f(7.2.69)在k次迭代后，我們有|fn-fl|fnk-f|2+f|補(bǔ)-f，Ti=1(7.2.70)令kfa并取數(shù)學(xué)期望，由Fubini定理，我們有R(fn，f)R(f；,f)(7.2.71)證畢實(shí)際計(jì)算時(shí)可以取控制精度,在步驟2中Ck+1=1可用G+1-1V替代，因?yàn)?Ck1-1)/Rp1/h(t)dt與X無關(guān)，所以f；(x)有如下形式*afn(x)=max0,fn(X)_、Ih(x)丿(7.2.72)這里常數(shù)八心(Ck1-1)。實(shí)用標(biāo)準(zhǔn)文案算例7.2.4隨機(jī)數(shù)發(fā)生、直方圖顯示與密度核估計(jì)本算例程式

46、有4個(gè)功能：發(fā)生給定密度函數(shù)的隨機(jī)數(shù)；作直方圖(二維或三維)；作餅圖；作密度函數(shù)的核估計(jì)。其中發(fā)生隨機(jī)數(shù)的程序附有常見分布16種，參數(shù)也隨使用者指定。如果還要另外的函數(shù)，也只需改寫一行。作直方圖與餅圖程序是用C語言寫的，彩色顯示，10個(gè)區(qū)間或20個(gè)區(qū)間色彩各不相同，十分絢麗，調(diào)用也十分方便。先發(fā)生偽隨機(jī)數(shù)。16種指定分布的隨機(jī)數(shù)發(fā)生程序最多發(fā)生5000個(gè)隨機(jī)數(shù)請(qǐng)指定需要發(fā)生的隨機(jī)數(shù)的分布函數(shù)代碼1:標(biāo)準(zhǔn)正態(tài)分布N(0,1)2:一般正態(tài)分布N(卩,工)3:卡方分布x24:t分布5:F分布6:對(duì)數(shù)正態(tài)分布7:WEIBULL分布8:指數(shù)分布9:柯西(CHUCHY)分布10：貝塔分布3(2,2)11:

47、均勻連續(xù)分布U(0,1)12:均勻離散分布整數(shù)13:負(fù)二項(xiàng)分布14:幾何分布15:超幾何分布16:泊松分布請(qǐng)輸入需要發(fā)生的隨機(jī)數(shù)個(gè)數(shù)n(x1,x2,.xn),n=?(500)請(qǐng)輸入發(fā)生隨機(jī)數(shù)的種子(任一奇數(shù))NRAN(11)請(qǐng)輸入t分布的自由度(10)要顯示發(fā)生的隨機(jī)數(shù)嗎?0=不顯示,1=要顯示(0)資料存在哪個(gè)文件中?0=不存盤1=C21.D,2=C22.D,3=C23.D,4=C24.D,5=C25.D6=C11.D,7=C12.D,8=C13.D,9=C14.D,10=C15.D正將數(shù)據(jù)文件存盤,請(qǐng)稍侯資料已存盤,計(jì)算結(jié)束。再將剛才發(fā)生的偽隨機(jī)數(shù)用直方圖顯示。實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案文檔

48、文檔0.210O.184O.153O.1310.1050.079O.053O.0266DOO*9&圖7.241F面我們?cè)賹?duì)上述偽隨機(jī)數(shù)出出密度核估計(jì)。密度函數(shù)核估計(jì)計(jì)算程序，例7.2.5請(qǐng)輸入資料長度(觀測(cè)點(diǎn)數(shù)，Ii725.d是500)N:(500)要顯示原始數(shù)據(jù)文件嗎？0=不顯示;1=顯示.(0)請(qǐng)選擇密度估計(jì)的核函數(shù)：(5)1:K(x)=1-|x|,|x|1;2:K(x)=exp(-x*x/2)/sqrt(2*3.1416);3:K(x)=exp(-|x|)/2;4:K(x)=1/(3.1416*(1+x*x);5:K(x)=(1-x*x)*3./4.,|x|1;要想得到光滑的密度核估計(jì)圖

49、像，樣本數(shù)要多一些，比如N=500;窗寬適當(dāng)，比如h=1-5;計(jì)算的核函數(shù)個(gè)數(shù)適當(dāng)，比如M=20-100。通過這些參數(shù)的調(diào)整，一定可以得到比直方圖要好的密度核估計(jì)結(jié)果。窗寬大致相當(dāng)于直方圖里X軸各個(gè)分組條形的寬度，但核估計(jì)分組逐點(diǎn)改變TOC o 1-5 h z請(qǐng)輸入核函數(shù)窗寬h(h須為正數(shù)，最好h1):(1)請(qǐng)輸入您想計(jì)算的密度核估計(jì)點(diǎn)數(shù)M(10=Mv+2,k-v是奇數(shù)。稱函數(shù)WW是一個(gè)(v,k)核，如果00蘭jEk1,JxjWv,k(x)dx=()vv!ja占k(Wv,Q式0j=k(7.2.76)函數(shù)g(t,u)的估計(jì)為ntubnbu)=btbu.aK)/btXXu-)/bu：d(：-)Yi

50、(7.2.77)其中核函數(shù)K的支撐集為】-1,1L(bt,bu)是一對(duì)窗寬。當(dāng)剖分A,，A為矩形時(shí)，計(jì)算可大為簡(jiǎn)化。漸近最佳窗寬選擇的插入方法，根據(jù)的是計(jì)算方均誤差公式MISE(bt,bu)二E(ISE(bt,bu)(7.2.78)其中ISE(bt,bu)二a(t,u)t,u;bt,bu)-g(t,u)乎d(t,u)(7.2.79)這里權(quán)函數(shù)3的引入是為了積分限制，也是為了窗寬選擇，一般假定3是一概率密度函數(shù)，有二階連續(xù)導(dǎo)數(shù)，支撐集為B,BA，入(明0。極小化ISE(bt,bu)得到的窗寬記為(匕,枇丨bu,ISE)極小化MISE(bt,bu)得到的窗寬記為(bt,MISE,bu,MISE)。

51、對(duì)于二元函數(shù)g的偏導(dǎo)數(shù)，我們記g(i,j)(t,u):rg(t,u)cticuj(7.2.80)對(duì)于支撐在-1,1L上的W令12R(W)二4W(x)2dx(7.2.81)假定g有各二階連續(xù)偏導(dǎo)數(shù)，g(2,0)和g(0,2)不完全為0，核函數(shù)K是Lipschitz連續(xù)，bt+bu0,nbtbufg,(nis)。由標(biāo)準(zhǔn)的漸近理論可得MISE(bt,bu)二AMISE(bt,bu)O(bt4b：n廿bj)0(nJ(7282)其中AMISE(btb)=12&)2(132住丄山七廟)n七七壬2R(K)2If(7.2.83)4是漸近MISE。函數(shù)Itt,|uu,Itu,If由下式給定：Itt=A-(t,u

52、)g(2,0)(t,u)2d(t,u)(7.2.84)Iuu二A(t,u)g(0,2)(t,u)2d(t,u)(7.2.85)Itu二.A(t,u)g(2,0)(t,u)d(t,u)(7286)If二A(t,u)f(t,u)d(t,u)(7.2.87)二2R(K)2I3u/4If1/6bt,AMISE令(bt,AMISE，bu,AMISE)表示極小化AMISE(bt,bu)得到的窗寬選擇:i223/41/21/2nJ(K)Itt(IttIuuItu)(7.2.88)bu,AMISW(Itt/Iuu)bt,AMISE(7.2.89)插入方法需要?dú)埐罘讲頱2以及函數(shù)Itt,Iuu,Itu的估計(jì)。如

53、果設(shè)計(jì)密度f未知，If可由下式估得:nI?f=n，(A)2(ti,ui)i4(7.2.90)下面我們介紹插入法窗寬的選擇。我們先再回顧一下窗寬選擇的意義。大家可以想象直方圖，那些長條條的寬度就是窗寬。如果把那些長條條取得特別寬，比如極言之，整個(gè)直方圖就一個(gè)長條條，那就太平滑了，變成了均勻分布。如果把長條條取得特別窄，比如極言之，一個(gè)長條條里至多只含一個(gè)樣本點(diǎn)，那些不含樣本點(diǎn)的長條條的高度就等于0,整個(gè)直方圖就亂起亂落。所以合適的窗寬選擇是有必要的。這里介紹的是(bt,bu)的插入法選擇。我們使用下列偏導(dǎo)數(shù)的核估計(jì)：(2,0)/g(t,U；：t,：u)13uu-nnIi4d(u/)Y(7291)

54、嚴(yán)(tgu)d(u)Yi(7292)這里L(fēng)2,M是核函數(shù)，at,au,3t,3u是窗寬，我們稱為試驗(yàn)窗寬。將？(2,0),c?(0,2)代入Itt,Iuu，Itu的定義式里就可以得到它們的估計(jì)值，記作？t,|Q,?u。選擇試驗(yàn)窗寬的迭代法如下。令A(yù)Bu)=EaMISE(Ott，autu),bu,AMISEtutu)(7.2.93)這里bt,麗匪(5XBu)與bu,麗匪(Gt,Gu嚴(yán)tu)是在btAMBE與bu,amiSE的定義式里以旳2代替c2,以？t,險(xiǎn)，？u代替I?,i?u,i?u而得到的。則獲得(b?,bu)的迭代算法如下：置初值bt(0)=bu0)=4(A)/n扳加=1,2,迭代公式是

55、1111舉)我。)七&匸n%lTcn勺(3)在i*次迭代后停止并且令(侃底)二門同門)1這個(gè)方法有些類似于搜尋固定點(diǎn)來確定窗寬。初值的設(shè)置取n是根據(jù)經(jīng)驗(yàn)，并非必要。11膨脹系數(shù)cn12,dn12是挑選來使?jié)u近最優(yōu)窗寬不依賴于c,d(當(dāng)然要c0,d0)。窗寬bT與1bu)都有n三的收斂速度。實(shí)際演算時(shí)迭代次數(shù)大約是i*在5到9之間。下面我們更具體給出算例。取核函數(shù)2M(x)=K(x)(1x),x:14(7294)L2(x)二(7.2.95)積分域A=(t,u)|0t1,0u1,權(quán)函數(shù)(7296)1窗寬bt,bu有上界一，下界取法則使20.05：t:0.95,0.05：u：0.95其他ntii1-

56、bHtibUi-bu,Ui-bu1(7.2.97覆蓋0.05,0.95X：0.05,)0.95。膨脹系數(shù)里，取c=1.5,d=0.25。插入算法可以用于非矩形的設(shè)計(jì)密度支撐里，不過用于矩形支撐集當(dāng)然更好。令密度f(t,U)二ft(t)fu(u)(7.2.98)設(shè)計(jì)點(diǎn)集(ti,uj),i=1,nt,j=1,nu可由下式給出:ti二F(i-0.5)/m/(7.2.99)uj二Fu(j-0.5)/%?(72100)相應(yīng)的剖分集為Aj=ktg+t/2,(ti+咕)/2】譏u+uj/2,(uj+um)/2】(7.2.101)i=2,nt-1,j=2,nu-1?；貧w函數(shù)可取二元正態(tài):，Z0.5X巾.050

57、:0丿00.05(7.2.102)或者兩個(gè)二元正態(tài)的混合。ti,u的設(shè)計(jì)密度f可取為線性:f(t,u).1H、2丿1019u2010542(-5x6x-1),|xI叮116實(shí)用標(biāo)準(zhǔn)文案實(shí)用標(biāo)準(zhǔn)文案或正態(tài)(72103)f(t,u)(7.2.104)nt與nu大約在10到20之間。有了這些參考消息，就差不多可以發(fā)生資料然后代入插入法迭代公式里計(jì)算了。Herrmann,Ward,Engel及Gasser(1995)稱他們計(jì)算結(jié)杲十分令人滿意:筆者認(rèn)為這樣搞真是把簡(jiǎn)單的問題弄復(fù)雜了。這樣一些資料成功，換一些資料不一定成功。窗寬選擇最重要的還是要憑經(jīng)驗(yàn)與直觀觀察。如果先憑經(jīng)驗(yàn)選窗寬，擬合一次后看圖像，再

58、調(diào)整窗寬，那么把窗寬的自動(dòng)選擇擱置一邊，單純的二元核回歸并不復(fù)雜，可以為成千上萬的普通讀者掌握。手中資料是Y,X(ti,u)o要擬合的模型是(7.2.73):Y=g(ti,u)+，i=1,n,則由(7.2.77)有：c?(t,u)1btbunzi生(72105)K(x)=3(1-x2),|x卜：14(72106)ti：=(t匸ti)/2,u、(uiJ*)/2(7.1.107)大家看，只剩下調(diào)整窗寬問題，簡(jiǎn)單極了。第三節(jié)非參數(shù)回歸模型的樣條擬合一、樣條回歸的基本概念非參數(shù)回歸模型樣條擬合可以考慮多元函數(shù)，幾何形象就是作曲面擬合。不過多元樣條擬合的理論分析與計(jì)算難度要更大一些，AnnalsofSt

59、atistics在前兩年才有過一次較大規(guī)模的討論。我們這里只介紹清楚一元樣條擬合就可以了。一元自變量的取值區(qū)間本來可以從-R到+R,經(jīng)過一個(gè)線性變換，總可以變到0,1。為了理論分析方便，我們限于考慮自變量定義域?yàn)椤?,1的情況。并且按一般有關(guān)文獻(xiàn)慣例，將自變量記作t。文檔文檔文檔實(shí)用標(biāo)準(zhǔn)文案這樣我們要考慮的模型就是Y(t)二g(t)；(t),t0,1(7.3.1)其中g(shù)(t)是一個(gè)光滑曲線，&(t)是白噪聲過程，曰(t)=0,曰(s)(t)=0,(s豐t),日2(t)=/。Y(t)是t=t1,t2,tn,0wtit2v1時(shí)的觀察。我們的目的是根據(jù)資料Y(tj)=Y,j=1,2,n來重構(gòu)函數(shù)g。

60、根據(jù)混雜有白噪聲的觀察資料Y,j=1,n去重構(gòu)光滑函數(shù)g,這在統(tǒng)計(jì)學(xué)中叫非參數(shù)回歸，在數(shù)字信號(hào)處理中則叫信噪分離。使用信噪分離這個(gè)詞能幫助我們清楚理解非參數(shù)回歸的實(shí)質(zhì)。我們假定未知函數(shù)g的m階導(dǎo)數(shù)g(“是平方可積的，記作gW2(m),W2m=g|gC)絕對(duì)連續(xù)，v=0,1,，m1,g(m)L2:0,1,即0g(m)(t)%:：函數(shù)g的估計(jì)記作gn,因?yàn)間n是根據(jù)Y,，來作出的。如果單純考慮極小化1n2S(f(tj)-Yj)(732)njd：怎么樣？這樣的函數(shù)f(t)可以精確通過每一點(diǎn)Y，也可以光滑，還確實(shí)可以是樣條函數(shù)(由分段低次多項(xiàng)式光滑連接而成)?？墒沁@樣的擬合有什么實(shí)際意義呢？噪聲&沒有