多元線性回歸模型的有偏估計(jì)

1、 第二章多元線性回歸模型的有偏估計(jì)模型的參數(shù)估計(jì)依賴于觀測(cè)樣本，樣本是隨機(jī)撤至少Y是隨機(jī)的)，因此估計(jì)量也是隨機(jī)的，不一定恰好等于被估計(jì)參數(shù)的真值。但是我們希望多次估計(jì)的結(jié)果的期望值接近或等于真值，即E(0)=P,E(&2)2這就叫無(wú)偏估計(jì)。無(wú)偏估計(jì)被認(rèn)為是一個(gè)估計(jì)量應(yīng)有的優(yōu)良性質(zhì)。但是在一些場(chǎng)合，滿足無(wú)偏性的估計(jì)量卻不具備其它應(yīng)有的優(yōu)良性，比如說(shuō)穩(wěn)定性、容許性。統(tǒng)計(jì)學(xué)家提出了一些新的估計(jì)方法，它們往往不具備無(wú)偏性，但在特定場(chǎng)合綜合起來(lái)考慮還是解決問(wèn)題較好的。本章就分別介紹這些特定場(chǎng)合下的有偏估計(jì)。第一節(jié)設(shè)計(jì)矩陣列復(fù)共線與嶺回歸一、設(shè)計(jì)矩陣列復(fù)共線的影響上一章最后一節(jié)講的是設(shè)計(jì)矩陣列向量完全線

2、性相關(guān)，IXXl=0的情況。實(shí)際工作中常遇到的是，設(shè)計(jì)矩陣的列向量存在近似線性相關(guān)(稱為復(fù)共線(multicollinearity),IXX0。此時(shí)一般最小二乘方法盡管可以進(jìn)行，但估計(jì)的性質(zhì)變壞，主要是對(duì)觀測(cè)誤差的穩(wěn)定性變差，嚴(yán)重時(shí)估計(jì)量可能變得面目全非。例如我們建立二元線性回歸模型Y=X+X+8(2.1.1)12有關(guān)資料在下面運(yùn)算過(guò)程可以看到。看一看原始資料，它近似滿足Yi=X1i+X2i,應(yīng)該估計(jì)出i1i2i/卩=0,卩=1,卩=1?？墒俏覀冋{(diào)用普通最小二乘回歸程序，運(yùn)算結(jié)果卻是012Y=0.0033+0.4330X+1.566X+8(2.1.2)12對(duì)現(xiàn)有數(shù)據(jù)擬合的還挺好，兩條曲線幾乎成

3、了一條曲線(圖2.1.1.1)，F(xiàn)值為303744，但是代入X1=0,X2=10,預(yù)測(cè)值卻為15.66，這與原模型應(yīng)有的預(yù)測(cè)值10相距甚遠(yuǎn)。嶺回歸與嶺跡圖計(jì)算程序,例2.1.4例214.D數(shù)據(jù)文件中,n=8,M=2要顯示原始資料嗎?0=不顯示,1=顯示2.0100.99001.01001.99001.0200.99004.01002.03001.99005.99002.97003.01008.01003.96004.01007.99004.01003.990010.01005.04004.990011.99006.05005.9900正規(guī)方程系數(shù)矩陣的行列式的值是2.12162請(qǐng)輸入工作參數(shù),

4、0=普通回歸,1=嶺回歸,2=計(jì)算嶺跡(0)現(xiàn)在作線性回歸顯著性檢驗(yàn)，計(jì)算t,F,R統(tǒng)計(jì)量請(qǐng)輸入顯著性水平a,通常取a=0.01,0.05,0.10,a=?(0.05)線性回歸分析計(jì)算結(jié)果樣本總數(shù)8自變量個(gè)數(shù)2回歸方程Y=b0+b1*X1+.+b2*X2Y=.0033+.4330X1+1.5660X2回歸系數(shù)b0,b1,b2,.,b2.0033.43301.5660殘差平方和:.00回歸平方和:93.92誤差方差的估計(jì):.0001標(biāo)準(zhǔn)差=.0098線性回歸顯著性檢驗(yàn)顯著性水平:.050回歸方程整體顯著性F檢驗(yàn),H0:b0=b1=.=b2=0TOC o 1-5 h zF統(tǒng)計(jì)量：303744.50

5、00F臨界值F(2,5)5.786全相關(guān)系數(shù)R:1.0000回歸系數(shù)逐一顯著性t檢驗(yàn),H0:bi=0,i=1,.,2t臨界值t(5)2.015回歸系數(shù)b1-b2的t值：.0106.0382要作回歸預(yù)測(cè)嗎?鍵入0=不預(yù)測(cè),1=要預(yù)測(cè)(1)現(xiàn)在作回歸預(yù)測(cè),請(qǐng)輸入自變量,X1-X2X(1)=0X(2)=10線性回歸預(yù)測(cè):Y的預(yù)測(cè)值=15.6633給定X1-X2=.000010.0000要作回歸預(yù)測(cè)嗎?鍵入0=不預(yù)測(cè),1=要預(yù)測(cè)(0)要打印擬合數(shù)據(jù)嗎?0=不打印,1=打印(1)Y的觀測(cè)值Y的擬合值差2.01002.0136-.00361.99001.9953-.00534.01003.9987.011

6、35.99006.0030-.01308.01007.9977.01237.99007.9881.001910.010010.0001.009911.990012.0035-.0135計(jì)算結(jié)束。下面顯示擬合圖像。圖2.1.1.1原始數(shù)據(jù)擬合數(shù)據(jù)對(duì)此我們可以作如下理論分析。0作為0的估計(jì)是否優(yōu)良，應(yīng)該考察它與B的接近程度,這可以用0的均方誤差(MeanSquareError)來(lái)度量：MSE(0)二E(II0-0112)二E(0-0)，(0-0)我們來(lái)計(jì)算線性模型Y=X0+8,E(8)二0,Va(8)二21n2.1.3)2.1.4)的MSE(0)。由于0-0二(XX)-1XY-0二(XX)-1X(

7、X0+8)-0二(XX)-1Xfe2.1.5)故由公式E(yAy)=(Ey)A(Ey)+trAVar(y)得MSE(0)=E(pp)(pp)=EeX(XX)-2XW=c2tr(X(XX)-2X)c2tr(XX)-2XX)=c2tr(XX)-1rH步，若N(Oq2/”),則因?qū)τ趯?duì)稱矩陣a有(eAe)2注意到Y(jié)pYpaii,j=1u,v=1aeeeejuvijitv3c4i=j=u=UC4i=j,u=u,i豐u0i豐j,或u豐uE(ewee)=ijitUY(aa+a2+aa)iijjijijjiE(eAe)2=3c4Ya2+c4iii=1i,j=1i豐j因此于是2.1.6)2.1.7)2.1.8

8、)2.1.9)2.1.10)2.1.11)2.1.12)2.1.13)2.1.14)2+2Ypa2iji,j=1=c4(trA)2+2trA2aiii=1丿Var(wAw)二E(eAe)2-E(eAe)2二2c4trA2Var(ll0-pII2)=VarLx(XX)-2XeJ=2c4trX(XX)-2XX(XX)-2X=2c4tr(XX)-2由于XX為正定陣，其特征根皆為正數(shù)，設(shè)為入0入芒三入0,則12ptr(XX)-1九i=1i代入(2.1.6)與(2.1.11)得MSE(p)=E(IIp-pII2)Var(IIp-pII2)=2c4丄九21當(dāng)設(shè)計(jì)矩陣x的列向量存在復(fù)共線關(guān)系時(shí)入p0,廠很大

9、就使E(N卩-P|2)與pVar(II0-卩112)都很大。盡管這時(shí)按平均來(lái)說(shuō)，0是卩的無(wú)偏估計(jì)，但具體在每一次計(jì)算,由于均方誤差太大，使得0估計(jì)值偏差很大，以致前面的數(shù)值例子變得面目全非。二、嶺回歸統(tǒng)計(jì)學(xué)界由A.E.Hoerl在1962年提出并和R.W.Kennard在1970年系統(tǒng)發(fā)展的嶺回歸(RidgeRegression)方法，可以顯著改善設(shè)計(jì)矩陣列復(fù)共線時(shí)最小二乘估計(jì)的均方誤差，增強(qiáng)估計(jì)的穩(wěn)定性。這個(gè)方法在計(jì)算數(shù)學(xué)稱為阻尼最小二乘，出現(xiàn)得較早一些。嶺回歸方法主要就是在病態(tài)的(XX)中沿主對(duì)角線人為地加進(jìn)正數(shù)，從而使入p稍大一些。我們知道模型(2.1.4)中0的最小二乘估計(jì)為P0二(X

10、X)-1XY(2.1.15)則0的嶺估計(jì)定義為0(k)二(XX+kI)-1XY,0vkv+s(2.1.16)p從式子直覺(jué)看出，當(dāng)k=0時(shí)，它就是最小二乘估計(jì)；當(dāng)S,0(k)T0。于是就要問(wèn)k究竟取多大值為好?同時(shí)我們也要知道0(k)的統(tǒng)計(jì)性質(zhì)究竟如何。性質(zhì)1.嶺估計(jì)不再是無(wú)偏估計(jì)，即E(0(k)豐0。因?yàn)镋(0(k)二E(XX+kI)-1XY二(XX+kI)-1XX0pp二(XX+kI)-1(XX)-1)-10二I+k(XX)-1-10pp無(wú)偏性一直被認(rèn)為是一個(gè)好的統(tǒng)計(jì)量所必須具有的基本性質(zhì)，但是在現(xiàn)在所討論的問(wèn)題場(chǎng)合，我們只好犧牲無(wú)偏性，以改善估計(jì)的穩(wěn)定性。性質(zhì)2.嶺估計(jì)是線性函數(shù)。記S=X

11、X,Zk=(I+kS-1)-1，則因k0(k)=(S+kI)-1XY=(S+kI)-1SS-1XY=(I+kS-1)-10=Z0(2.1.17)LkL可見(jiàn)0(k)不僅是Y的線性函數(shù)，而且是原來(lái)最小二乘估計(jì)0的線性函數(shù)。L性質(zhì)3.Zk的特征根都在(0,1)內(nèi)。設(shè)有正交陣P與P使九1PSP=A=diag(九,九)1p2.1.18)PZPr=P(I+kS-1)-1Pr=P(I+kS-1)P-1=I+kA-1-11+都在(0，1)內(nèi)。71九+k1KAA(k)九-p九+k九故知兀的特征根分別為-7-,k入+ki性質(zhì)4.嶺估計(jì)是壓縮估計(jì)，即II0(k)11110II。這是因?yàn)橛尚再|(zhì)2、性質(zhì)3，有II0(k

12、)II2=11Z0II2=11PA(k)P0II2=11A(k)P0I|2|P0|2=|0|2k7當(dāng)然，由于,i=1,p并不一定互相相等，這種壓縮一般不是各方向上的均勻壓縮。7+ki性質(zhì)5.嶺估計(jì)的均方誤差較小，即EII0(k)-0II2i=0,i=1,k丿證明(1)因?yàn)閜1,pm是Rm中的標(biāo)準(zhǔn)正交基，合。設(shè)P=Q,pm)，則P為正交陣，PP=E,PC=CC,于是故對(duì)任意buRm,b可表為p,p的線性組1mPAP=A,而b=pC，且bb=CPmx1mxmmx1(1)maxbAb=pAp=X；_X1maxAb=maxCPAPC=maxCTOC o 1-5 h zbb=1CC=1CC=1=max(

13、C2X+C2X)max(X(C2+C2)=XCC=111mm11m1CC=1等號(hào)可在令C=1,C2=C=0時(shí)達(dá)到，即在b=p.方向達(dá)到。12m1(2)因?yàn)閎pO,i=1,k,故bP=(bp,bpk,bpk+1bp=(0,0,bpbp)，而bP=CPP=CE=(C,-CC,-C)，故C1=-=C=0。于是k+1m1kk+1m1kbbbpmaxbAb=max=1)fCC=1,=0,i=1,k丿(=.1點(diǎn)=0maxXCPAPC=max(C2XCC=1k+1k+1(C2+C2)=Xk+1mk+1+C2X)mm等號(hào)可在令ck1=l,其余C.均為0時(shí)達(dá)到。證畢k+1i這個(gè)引理結(jié)論(1)的幾何含意是，二次型

14、bAb在球面bb=1的最大值為A的最大特征根入，且在b=p1方向達(dá)到。結(jié)論(2)的幾何含意是，在球面bb=1上，除去p1方向，在剩余各方向的線性組合中，二次型bAb在b=p2方向達(dá)到最大值入2，再除去p1，p2方向，在剩余各方向的線性組合中，二次型bAb在b=p3方向達(dá)到最大值入3,等等。如圖2.2.2.1所示?，F(xiàn)在回到正題，要給(229)表達(dá)的新的組合變量的變差排序。因?yàn)閄X的特征根為入三入2三三入,pp=1，故由引理，2mjjmaxp(XX)p二九，當(dāng)p=p(2.2.10)pjPj“jj1j1我們稱Xp1=Z1=p11X1+-+p1X為原自變量乙，,X的第一主成分，它的變差為入】。類似地,

15、11111111可得第二主成分乙2，其變差為入2，最后一個(gè)主成分為Z，變差為入。要去掉變差小的，22m就是去掉最小或較小特征根所對(duì)應(yīng)的組合變量。因?yàn)閄X非負(fù)定，其特征根非負(fù)，較小的特征根是接近于0的。不妨設(shè)去掉了m-r個(gè)組合變量，留下了r個(gè)。于是模型(226)成為Y二1%+Z(r)a(r)+8(2.2.11)這里Z(r)=(Z1，-,Z),a(r)=(a，,a)。又記人(r)=diag(入1,A2，入)，則典則形式(2211)1r1r12rnxrrx1的最小二乘解為a=2ZY(2.2.12)(r)(r)(r)而典則形式(2.2.6)的解為a=(a:0)(r)由于Z=XP,故a=P0(Za=X0

16、),于是回到原模型(2.2.1)，令P(r)為P的前r列，得P(r)=Pa=P(r)a(r)我們稱之為0的主成分估計(jì)。實(shí)際計(jì)算過(guò)程可以歸納如下：原模型Y(o)=X(o)0(。)+；中心化Y=Y(o)-Y(o),X=X(o)-X(o)中心化模型Y=X0+計(jì)算相關(guān)陣XzX；.及其特征根入冃2三三入,九二九*12mii=1特征向量p1,p2,pm;取主成分r個(gè)，使(入+入丿/入*三75%；P(r)=(p,p2,pr);Z(r)=XP(r)典則化模型Y=1a+Za+s；(X(r)=A-iZY,A(r)=diag(九,九)；0(r)(r)(r)(r)，1r原中心標(biāo)準(zhǔn)化模型主成分估計(jì)0(r)=Pa。(r)

17、(r)需要指出的是，舍掉的那些近似為o的特征根以及相應(yīng)的主成分，正好反映了原來(lái)自變量的復(fù)共線關(guān)系。因?yàn)槿羧?,則Xp0，這就是pj1Xl+-+pjX=0,是一個(gè)復(fù)共線關(guān)系。體jjj11jmm會(huì)一下嶺回歸與主成分回歸，都在處理復(fù)共線關(guān)系。嶺回歸是沿相關(guān)陣主對(duì)角加一常數(shù)，從而使最小特征根變大，主成分回歸則干脆去掉這些小特征根。一補(bǔ)一瀉，治的是同一疾病。算例2.2.2法國(guó)有關(guān)進(jìn)口總額的經(jīng)濟(jì)分析我們這里選用Malinvand于1966年作出的研究法國(guó)有關(guān)進(jìn)口總額經(jīng)濟(jì)分析的實(shí)例，這個(gè)實(shí)例曾被本書的全書參考書目中文獻(xiàn)8選用。選一個(gè)老實(shí)例的原因是計(jì)算比較復(fù)雜，我們用自編的程序?qū)崿F(xiàn)了主成分回歸的計(jì)算，與原例資

18、料吻合，從而驗(yàn)證我們程序的正確性。有了正確的程序，代入別的資料計(jì)算不是再簡(jiǎn)單不過(guò)的事情嗎?該例資料有11組，分別為法國(guó)自1949年至1959年11個(gè)年份的。資料打印在下面程序執(zhí)行過(guò)程中?？紤]的因變量Y資料列是法國(guó)進(jìn)口總額。自變量有三個(gè)，法國(guó)國(guó)內(nèi)生產(chǎn)總值,存儲(chǔ)量X2,總消費(fèi)量X3?，F(xiàn)在要作模型擬合，先考慮主成分回歸。程序行印出相關(guān)陣的三個(gè)特征根:經(jīng)自動(dòng)按大小排序?yàn)槿氘a(chǎn)1.9992，入2=0.9982，入3=0.0026。選擇保留特征根個(gè)數(shù)為2。于是程序計(jì)算出典則化模型Y=za+的估計(jì)：a1=0.6899，a2=0.1920。它告訴我們，對(duì)于典則化模型資料，回歸方程是Y=0.6899Z+0.192

19、0Z2。這個(gè)結(jié)果在文獻(xiàn)】8里沒(méi)有印出。接著程序回到中心標(biāo)準(zhǔn)化模型Y=XB+計(jì)算出它的主成分估計(jì)：0=0.4806,0=0.2215,0=0.4825。這個(gè)資料是根據(jù)公式1230=pa計(jì)算出來(lái)的，它與文獻(xiàn)8所列的結(jié)果吻合。它告訴我們，對(duì)于中心標(biāo)準(zhǔn)化資(r)(r)料，回歸方程是Y=0.4806X1+0.2215Z2+0.4825X3o接下來(lái)，程序?qū)Φ鋭t化模型Y=Za+進(jìn)行一般最小二乘回歸統(tǒng)計(jì)分析計(jì)算。先打印出典則化模型資料，再打印出計(jì)算分析結(jié)果。注意它的自變量只有兩個(gè)。代表的主成分是Z1=0.7064X10.0430X20.7066X3Z2=0.0350X10.9991X20.0258X3最后，程

20、序行印出典則化模型的擬合效果圖(圖2.2.2.1)。大家看到，擬合效果非常好。下面是計(jì)算過(guò)程。主成分回歸模型計(jì)算程序,例2.2.2.例222.D數(shù)據(jù)文件中,n=11,M=3要顯示原始數(shù)據(jù)嗎?0=不顯示,1=顯示(1)15.9000149.30004.2000108.100016.4000161.20004.1000114.800019.0000171.50003.1000123.200019.1000175.50003.1000126.900018.8000180.80001.1000132.100020.4000190.70002.2000137.700022.7000202.10002.1

21、000146.000026.5000212.40005.6000154.000028.1000226.10005.0000162.300027.6000231.90005.1000164.300026.3000239.0000.7000167.6000相關(guān)陣1.0000.0259.9973相關(guān)陣.02591.0000.0350相關(guān)陣.9973.03501.0000相關(guān)陣的第1個(gè)特征根為:1.9992相關(guān)陣的第2個(gè)特征根為:.9982相關(guān)陣的第3個(gè)特征根為:.0026相關(guān)陣的特征向量.7064.0430.7066相關(guān)陣的特征向量-.0350.9991-.0258相關(guān)陣的特征向量.7070.006

22、5-.7072請(qǐng)輸入要留下的最后一個(gè)特征根的序號(hào)I,I=?(2)打印舍去后的特征根1.9992.9982打印舍去后的特征向量.7064.0430.7066-.0350.9991-.0258典則化模型YZ=Za的主成分估計(jì).6899.1920中心標(biāo)準(zhǔn)化模型YZ=XBeta的主成分估計(jì).4806.2215.4825打印典則化模型數(shù)據(jù)-.4170-.6724.2016-.3822-.5120.1754-.2012-.3526-.0232-.1942-.2827-.0262-.2151-.2035-.4133-.1038-.0600-.2085.0563.1140-.2351.3208.3062.42

23、84.4321.4931.3051.3973.5588.3213.3069.6111-.5255現(xiàn)在作線性回歸顯著性檢驗(yàn),計(jì)算t,F,R統(tǒng)計(jì)量請(qǐng)輸入顯著性水平a,通常取a=0.01,0.05,0.10,a=?(0.05)線性回歸分析計(jì)算結(jié)果樣本總數(shù)11自變量個(gè)數(shù)2回歸方程Y=b0+b1*X1+.+b2*X2Y=.0000+.6899X1+.1919X2.1919回歸系數(shù)b0,b1,b2,.,b2.0000.6899殘差平方和:.01回歸平方和:.99誤差方差的估計(jì):.0011標(biāo)準(zhǔn)差=.0327線性回歸顯著性檢驗(yàn)顯著性水平:.050回歸方程整體顯著性F檢驗(yàn)，H0:b0=b1=.=b2=0TOC

24、o 1-5 h zF統(tǒng)計(jì)量：336.0713F臨界值F(2,8)4.459全相關(guān)系數(shù)R:.9941回歸系數(shù)逐一顯著性t檢驗(yàn),H0:bi=0,i=1,.,2t臨界值t(8)1.8595回歸系數(shù)b1-b2的t值：2.7753.5456要作回歸預(yù)測(cè)嗎?鍵入0=不預(yù)測(cè),1=要預(yù)測(cè)(0)要打印擬合數(shù)據(jù)嗎?0=不打印,1=打印(1)Y的觀測(cè)值Y的擬合值差值-.4170-.4252.0082-.3822-.3196-.0626-.2012-.2477.0465-.1942-.2001.0058-.2151-.2197.0046-.1038-.0814-.0224.0563.0335.0228.3208.29

25、34.0273.4321.3988.0334.3973.4472-.0498.3069.3207-.0139計(jì)算結(jié)束。圖2.2.2.1n原始數(shù)據(jù)T擬合數(shù)據(jù)為了對(duì)比主成分回歸與普通最小二乘回歸，我們?cè)僬{(diào)用例1.2.4的普通多元線性回歸程序?qū)Ψ▏?guó)進(jìn)口總額這11組資料作最小二乘回歸。程序執(zhí)行這里省去，擬合效果圖與圖2.2.2.1幾乎相同，也省去。得到的對(duì)于原始資料的回歸方程是：Y（0）=10.1562-0.0528X（o）+0.5891X+0.2889X（o）123我們看到擬合效果也非常好，那么主成分回歸好在哪里呢？最主要的好處是，主成分回歸舍掉了一個(gè)約等于0的特征數(shù)，也就是去掉了一個(gè)復(fù)共線關(guān)系-.

26、7070X1-0.0065X2+0.7072X30這就使得這個(gè)回歸模型在擬合未來(lái)的資料時(shí)，將表現(xiàn)較好的穩(wěn)定性。其次，在典則化模型Y=za+中，它比原模型少了一個(gè)自變量，這使模型也表現(xiàn)出優(yōu)越性。第三節(jié)增廣相關(guān)陣的特征根回歸上節(jié)主成分回歸就是一種特征根回歸，不過(guò)它是考慮已經(jīng)中心化的設(shè)計(jì)矩陣X的相關(guān)陣XzX的特征根，發(fā)現(xiàn)這樣的特征根小的對(duì)應(yīng)自變量組合的變差也小，予以剔除。這一節(jié)考慮的是增廣相關(guān)陣的特征根，也利用它來(lái)剔除變量。具體辦法與分析過(guò)程下面逐層展開(kāi)。一、增廣相關(guān)陣的特征根與復(fù)共線關(guān)系在線性模型(不設(shè)常數(shù)項(xiàng))Y二ZP+s,E(s)二0,Var=o21(2.3.1)n中，設(shè)響應(yīng)變量Y與自變量X都已

27、中心化、標(biāo)準(zhǔn)化。將Y與X按列合在一起：2.3.2)A=(Y:X)則稱AA為增廣相關(guān)陣:AA=YYYX=1IXYXX丿IXYYXXX丿2.3.3)設(shè)AA的m+1個(gè)特征根為入0,入i，入;pi=0,1,m為對(duì)應(yīng)的特征向量，即存在正01mi交陣P=(p0,P,pm)，使P(AA)P=diag(入0,入，入m)。按分量寫出是P=(P,P,P,P)；i=0,1,，m(2.3.4)ii0i1i2im去掉第一個(gè)分量后的向量記為P=(P,P，P)；i=0,1,m(2.3.5)ii1i2im若對(duì)某個(gè)z,A=0,則由特征根滿足的方程i(AA)P=九P=0(236)iii知，PAAp=0,(Ap)Ap=0,Ap=0

28、。于是iiiiiPY+PX+PX=0(2.3.7)i0i11imm即向量Y，乙，X已被組合成0向量。這需要區(qū)分為兩種情況。1m第一種情況，p.00,此時(shí)Y可表為Xm的線性組合：1Y=(pXHFpX)(2.3.8)Pi11immi0這就是一個(gè)回歸方程，P=-叮，j=】，m(2.3.9)jP而且它是一個(gè)精確解，殘差平方和為0。這當(dāng)然再理想不過(guò)了，所以若算得增廣相關(guān)陣有為0的特征根入則考察它的特征向量的第一個(gè)分量，若不為0則得精確解。第二種情況，p.0=0o此時(shí)(2.3.7)表達(dá)的是自變量之間的嚴(yán)格線性關(guān)系pX+pX=0(2.3.10).11.mm此時(shí)的行列式IXXI=0,相關(guān)陣退化，最小二乘解不唯

29、一，屬于第一章第五節(jié)討論的情況。上面討論的是入.=0。若入嚴(yán)0,則(2.3.7)成為pY+pX+pX沁0(2.3.11).0.11.mm若進(jìn)一步還有pi00,則揭示出自變量列之間一個(gè)復(fù)共線關(guān)系pX+pX沁0(2.3.12)i11imm我們已經(jīng)知道列復(fù)共線造成0的最小二乘估計(jì)極不穩(wěn)定，應(yīng)對(duì)其加以改進(jìn)。下面就來(lái)討論改進(jìn)的辦法。不過(guò)我們最好不要另起爐灶，而要利用剛才算出的增廣相關(guān)陣的特征根與特征向量。二、增廣相關(guān)陣特征根與最小二乘估計(jì)我們首先用增廣相關(guān)陣的特征根與特征向量來(lái)表示模型參數(shù)的最小二乘估計(jì)，然后再圖改進(jìn)。沿用上段記號(hào)，模型的最小二乘估計(jì)可表為：區(qū)(pp/九)iji0i卩=一,j=1,m(2

30、.3.13)j乞(p2/九)z0ii=0這可以證明如下。前已記述，矩陣A=(Y:X)，且P(AA)P=diag(九，九，,九)，01mP=（匕，/，pm），pj=（pj0,J，Pji）o再記2.3.14）2.3.15）YX=（t，,t）1mXX=(x)ij則特征向量與特征值應(yīng)滿足的方程(AA)P=PA可寫為-1tt_pppppp1m0010m00010m00tx*xppppppX111m0111m1=0111m11tx*xppppppXmm1mm0m1mmm0m1mmmm2.3.16）其第二行以后的等式可寫為2.3.17) tp+區(qū)xp二p九,i=1,m,j二0,1，,mij0ikjkjik=

31、1=瓦pp=0,i=1,mjij0除以入j,乘以pj0，再對(duì)j求和得2.3.18)龍呂+Yx乞jjl九ik九j=0jk=1j=0jj=0等式右邊為0是因?yàn)镻為正交陣，行向量組也正交。記0廣*/遲字j=0jj=0jk=1,，m2.3.19)則(2.3.18)是區(qū)x0=t,i=1,mikkik=12.3.20)這正是2.3.21)此式表明0=(0，,0)1m正是正規(guī)方程的解，即是最小二乘解。三、特征根回歸上段已經(jīng)證明，典則模型Y=X0+的最小二乘解是yp.p.0九j=0j/遲營(yíng),j=0ji=1,m可以看出，增廣相關(guān)陣AA的特征根入0,入，入做了分母。如果它們近似為0,則會(huì)使0.01mi的估計(jì)穩(wěn)定性

32、變壞。此時(shí)合理的辦法是去掉它，只對(duì)那些含不近似為0的特征根式子求和，即0*i=乏牛/工凳,jjjji=1,，m*這里記號(hào)E表示去掉了那些特征根近似為0的項(xiàng)。這樣的B*稱為特征根估計(jì)。這樣從算法上看來(lái)，特征根估計(jì)與最小二乘估計(jì)只是求和項(xiàng)數(shù)不一樣。特征根回歸與主成分回歸都是處理設(shè)計(jì)陣復(fù)共線問(wèn)題，都是在舍近似為0的特征根。但是主成分回歸考慮的是相關(guān)陣XX的特征根，特征根回歸考慮的是增廣相關(guān)陣 AA(A=(YX)的特征根。第四節(jié)均勻壓縮估計(jì)前面討論的有偏估計(jì)，都是對(duì)LSE的壓縮，不過(guò)其共同點(diǎn)是對(duì)LSE各分量的壓縮不一樣。Stein提出對(duì)LSE0各分量作均勻壓縮：0(c)=C0(2.4.1)s故稱均勻壓

33、縮估計(jì)，又稱Stein估計(jì)。壓縮的目的是使估計(jì)的均方誤差減少。計(jì)算MSE(0(c)=EIIc00112=tr(Cov(c0)+II(c-1)0I|2S(2.4.2)=c2C2tr(XX)-1+(c-1)2II0|2對(duì)c求導(dǎo)并使等于0，得II0II2c*=(2.4.3)G2才九-1+II0II2ii=1當(dāng)然有MSE(0(c*)MSE(0(1)=MSE(0)(2.4.4)S下面我們要進(jìn)一步仔細(xì)研究，證明對(duì)一切0，上式有嚴(yán)格不等號(hào)成立。這就導(dǎo)致了0的不容許性。本節(jié)主要參考了王松桂的研究歸納結(jié)果。一、簡(jiǎn)單線性模型LSE的不容許性我們先敘述一下容許估計(jì)的定義。我們有一個(gè)待估參數(shù)e，它屬于參數(shù)空間o,對(duì)它

34、有一個(gè)估計(jì)CQ是樣本的函數(shù)，就記為5(x)。D表示所有估計(jì)類，可稱為判決函數(shù)空間。R(eQ)表示估計(jì)c的風(fēng)險(xiǎn)函數(shù)(損失函數(shù))，比如平方損失函數(shù)R(e,5)=Ile-5(x)ii2,正定損失函數(shù)R(e,5)=(e-5)A(e-c)。在回歸問(wèn)題里，可取均方誤差為風(fēng)險(xiǎn)函數(shù)：MSE(0,0)=E(0,0)邙,0)(2.4.5)如果在D中有兩個(gè)估計(jì)51與52(比如一個(gè)是LSE,一個(gè)是Stein估計(jì))，對(duì)于一切eu0，都有2.4.6) R(9,8)R(0,5)12則稱c1處處不比c2差。如果還對(duì)某些e0，上式中有嚴(yán)格不等號(hào)成立，則稱o優(yōu)于&2。如果對(duì)一切e丘0,上式中等號(hào)成立，則稱c1與c2等效。如果不存

35、在優(yōu)于c0的估計(jì)，則稱c0為容許估計(jì)。反過(guò)來(lái)，如果能找到優(yōu)于c的估計(jì)c0,則c1就稱為不容許的。下面我們考慮Stein估計(jì)是否在均方誤差意義下優(yōu)于或不差于最小二乘估計(jì)，即對(duì)一切卩,MSE(B,(c)0為常數(shù)，f(y)二-y|y|22.4.10)為了計(jì)算Bs(c)的均方誤差，我們需要如下兩個(gè)引理。引理2.4.1設(shè)uN(pQ2),O2已知，fx)為一實(shí)函數(shù)，且Ef(u)lg,則E(f(u)二E(u-)f(u)/a22.4.11)證明我們先證明E(u-p)f(u)l存在，為方便計(jì)，設(shè)=0,O2=1。不失一般性，設(shè)f(0)=0,于是f(u)=i0f2)du2.4.12)從而有先考慮If(u)lfuIf

36、(u)ldu02.4.13)EIuf(u)lnluIe-嚴(yán)dufuIff(u)Idu2兀8o2.4.14)2.4.15) 它等于卜ue02duJI廣(u)Idu0u2J+sIf(u)l(J+sue-10u此處利用了Ef(u)l8，同理可證du)du=J*If(u)Ie一2dug02.4.16)J0IuIe一2duJuIf(u)Idu0這就證明了E(u-p)f(u)的存在性。再利用Fubini定理，2.4.17)其中于是e=(u卩)f(u)=y(-卩)e2兀Gs+s=Jf(u)H(u)duH(u)=-s2G2duJuIf(u)Idu02.4.18)S1一J(u|H)e2g2du=e72kgJ2兀

37、0f1_-口)2G-口)2J(u一卩)e_2g2du=.e_2g2,u2時(shí)，E(p-2+2K)-1)0,若取0c2(p-2),上式第二項(xiàng)小于零，于是2.4.35)MSE(0(c)2,O2已知時(shí)，對(duì)一切參數(shù)0,都能找到一個(gè)估計(jì)類(這里就是Stein估計(jì))，它的均方誤差比最小二乘估計(jì)的均方誤差要小，那這個(gè)LSE還能容許嗎?當(dāng)然不容許。這里YN(0Q2I),這其實(shí)是多元正態(tài)分布樣本均值參數(shù)估計(jì)的不容許性。當(dāng)時(shí)提出不容許性概念并發(fā)現(xiàn)這一現(xiàn)象時(shí)，曾引起統(tǒng)計(jì)界大為驚奇?，F(xiàn)在人們當(dāng)然不足為怪了。優(yōu)良性標(biāo)準(zhǔn)多得很，哪能一種估計(jì)占盡風(fēng)騷呢?在實(shí)用上，O2往往未知，若在(2.4.25)中用1p1G2=藝(yy)2

38、=(IIy1|2py2)p-1=1ip-1i=1其中y=Ey/n，代替02,得到i1-(p-2)G2IIyII22.4.36)因?yàn)镮I0II2II0II2所以，Stein估計(jì)也是把0作了壓縮，自然有EE0工0，故它是一種壓縮型有偏估計(jì)。面我們將這段結(jié)果推廣至一般線性回歸模型。二、一般多元線性回歸模型的Stein估計(jì)2.4.37)考慮一般多元線性回歸模型Y=X0+8,8N(0,G21)n為了利用上一段結(jié)果，先將設(shè)計(jì)陣X作奇異值分解X=PAi/2Q：Ai/2=diag(九1/2,九i/2)1p這里P必滿秩，PP=佇，而Q為PXP正交陣，使QXzXQ=A。即Q的列向量為XzX的標(biāo)準(zhǔn)正交化特征向量。于

39、是(2.4.38)可改寫為y=PA1/2Q0+e=P+ex這里a=A1/2Qz0。用P左乘上式，z=Py,得到z=a+E,ENp(0,O2I)此即(2.4.7)的形式。于是，參數(shù)a的Stein估計(jì)為”.cc2、1IIzII2丿ex(c)=S2.4.38)2.4.39)1利用卩=QA2x,可得0的Stein估計(jì)A10(c)=QA-21scc2IIzII2丿、cc22.4.40)此處0=QA2z=(XX)-1xy為模型(2.4.38)的0的LS估計(jì)，當(dāng)O2未知時(shí)，用&2=11yX0I|2/(np)代替02,得到線性回歸模型(2.4.38)的系數(shù)0的Stein估計(jì)2.4.41)0s(c)=1-關(guān)于這

40、個(gè)估計(jì)的性質(zhì)，我們有如下定理。cc2定理2.4.2(1)0s(c)的偏差E(0s(c)卩)=-0%X00+o(c2)cc4(2)0s(c)的均方誤差MSE(0s(c)=c2tr(XX)-1+0麗-0p4+c(np+2)2(0XX0)tr(XX)-1+o(c4)_In-P丿_證明把模型改寫為y=X0+Ou,uN(0,I)于是2.4.42)CCV2卩(c)-卩=卩-卩-節(jié)產(chǎn)卩fXXf=c(XX)-1Xu22uNu(卩+c(XX)-1Xu)n-pg其中g(shù)=0XX0+2a0zxzu+u2upvu,n=i-pv,pv=x(xzX)-1,暫記a=0XX0,XXX將g-1，g-2看作a的函數(shù)，作級(jí)數(shù)展開(kāi)，有

41、2cPXu+c2uPu、X丿1匚2邙Xu+c2uPu=一1+11仁=1+gal1L-12.4.43)將(2.4.43)代入(2.4.42)得=丄+oQ)aCC2卩S(c)-f=C(xX)-1xu-fxXfuNuP+oQ2)2.4.44)對(duì)上式求均值，利用uNux2，E(uNu)=n一p和E(u)=0,即得結(jié)論(1)。n-p將(2.4.43)和(2.4.44)代入(c)卩)(c)卩)，記A=(XX)-1X，得SSC2G4(fs(c)-p)(fs(c)-f)=C2AuuA+(fXXfF(uNu)2一三AuuA+fuA+Auf一AuuXpp+ppXuuA、uNu+oQ4)(fX鄧(px鄧)2丿因?yàn)锳

42、N=0,依定理2.4.1知uNu與Au相互獨(dú)立，利用E(uu)=I,E(uNu)=n-p和E(uNu)2=(n-p)(n-p+2),上式兩邊取均值，得到cC4MSE(f(c)=c2(XX)-1+(fXXf)2c(np+2)、n-P丿-卩卩4+兩邊取tr,即得結(jié)論(2)。-2卩XX卩(XX)-1+o(c4)證畢在MSE(f5(c)的表達(dá)式中，第一項(xiàng)為L(zhǎng)S估計(jì)A=(XX)X-1y的ME。因此，要想MSE(S(C)MSE(f)，只要適當(dāng)?shù)剡x擇c使第二項(xiàng)取負(fù)值就可以了。利用引理2丄2，有這里仃為Xx的最小特征根于是對(duì)MSE(PS(c)的第二項(xiàng)有下面的不等式24pprpp而.pxxppxxpc(n-p+

43、2)、n-P丿-2tr(xx)-iCC4九-1ppp九-i4+pc(n-p+2)、-2tr(xx)-i易見(jiàn)取c滿足2.4.45)2.4.46)oc2(n-p)(九tr(xx)-i-2)n一p+2p時(shí)，有MSE(c)MSE(p)S對(duì)于正交回歸模型，即xzx=Ip,條件(2.4.45)變?yōu)閛c2(n一p)(p一2)n一p+2雖然條件(2445)和(2.4.46)是在O2很小的前提下，從均方誤差的近似表達(dá)式推出的，但是后面我們將會(huì)看到，這兩個(gè)條件(后者在xx=I條件下)對(duì)一切0,O2都是MSE(p(c)MSE(p)的充分條件。S三、雙k型Stein估計(jì)與雙h型嶺估計(jì)繼Stein之后，人們提出了許多形

44、如(c)二(1-c)p,0c1的所謂Stein型估計(jì)，并給出了確定c的公式，以保證在一定條件下，p(c)比p有較小的均方誤差。下面我們只討論其中的一種，稱為雙k類Stein型估計(jì)。稱Stein型估計(jì)p(k1,k2)1k&211pxxp+(1-k)C222.4.47)為0的雙k類Stein型估計(jì)，簡(jiǎn)稱雙k類估計(jì)(Doublek-classestimate)。特別，當(dāng)k2=1時(shí)，就變1i 為（2.4.41）所定義的Stein估計(jì)。若用典則參數(shù)a的LS估計(jì)表示，（2.4.47）就變?yōu)镼d=Qd(k,k)121k&211(k1,k2)defAoc+(1一k)&22其中d(k1,k2)1k&21一1dA

45、d+(1一k)&22de2.4.48)稱為典則參數(shù)a的雙k類估計(jì)?，F(xiàn)在我們求使得MSE（P（沁）MSE（0）對(duì)一切B和o2成立的心,k2的取值范圍。注意到MSE()=MSE(d)，MSE(0)=MSE(d)所以只需研究MSE(d)MSE(d)成(k1,k2)(k1,k2)(k1,k2)立的k2的變化范圍。記g二dAd+(1k)&2，于是2d=(k1,k2)它的分量（為簡(jiǎn)單計(jì)，以下略去下標(biāo)k1，kJ.kG21一g丿的均方誤差為E(dd)2=Eddiidei,p=E(dd)2+k2E(&4d2/g2)一2kE(deiiGe2de一d)iiig因&廠N（di，G2/X.），應(yīng)用引理241得E(d一d

46、)2iiG4d22kG2G2(2G2Xd2+k2E1一1EEi11Ig2丿Xi_gIg2丿G2TiG2(kG2+4g2)d21i-2g2G2T+kE 對(duì)i=1,2,p求和，有MSE(oc)=工E(oc-a)2ii2.4.49)ikI1MSE(oc)MSE(oc)WE(kc2+4c2)c22c262九(1ar入入EEkc4+4c2&2一2c2&2九pg丿p九Ipk(分匕I工九-1pii工pi九-1ic2工I+kE叵誓2+蘭2&2-2c2N-1i1ggiii1iLg1giiiii丿當(dāng)k2Wl時(shí)，g三oA0，所以Eoc2ioca1igoao九p因?yàn)镸SE(0)二c2工九-1，利用&與&2獨(dú)立性，由(

47、2.4.49)得至Iii可見(jiàn)，欲MSE)MSE(0)，一個(gè)充分條件為(九-10i丿2.4.50)kEkc4+4c2&22c2&2九E1pin-p+2容易推得，當(dāng)利用Ec2=c2以及Ec4=E(C2)2=Var(C2)+(Ec2)2=匕c4，n-p0k2(n一p)(九E九-1-2)(2.4.51)1n-p+2pii時(shí)，(2.4.50)成立，即MSE(0)MSE(0)。于是，我們證明了如下定理。定理2.4.5當(dāng)k2Wl,k1滿足(2.4.51)時(shí)，對(duì)一切0和2,雙k類估計(jì)(2.4.47)比LS估計(jì)0有較小的均方誤差，即雙k類估計(jì)(2.4.47)致優(yōu)于LS估計(jì)0。前面已經(jīng)指出，Stein估計(jì)(244

48、1)是雙k類估計(jì)k2=1的特殊情形。于是從定理2.4.5立得如下推論：推論2.4.1當(dāng)c滿足0c0為已知方陣。這個(gè)公式含有兩個(gè)可供選擇的參數(shù)坷,h2,故得“雙h公式”之名。它是由Vinod和Ullah等歸納了許多結(jié)果而提出的。如果嶺參數(shù)是用(2.4.53)確定的，往往稱對(duì)應(yīng)的嶺估計(jì)為雙h類嶺估計(jì)(Doubleh-classridgeestimate)。若取A=I,h1=p,h2=0,(2.4.53)即為Hoerl-Kennard-Baldwin選k公式2.4.54)k=止pp若取A=XZX,h1=p,h2=0,則(2.4.53)即為L(zhǎng)awless-Wang選k公式2.4.55)pd2k=pXX

49、p定理2.4.6在(2.4.53)中，若QAQ為對(duì)角陣，h,h2滿足2(n一p)nl2.4.56)0h01np+2pi2i則對(duì)一切0Q2,雙h類嶺估計(jì)比LS估計(jì)有較小的均方誤差。這里p為(2453)中A的最小特征根。Q的定義同(2.4.38)處。證明考慮0的任一雙h類嶺估計(jì)p(k)=(xX+ki)-1xy這里k由(2.4.53)定義。為符號(hào)簡(jiǎn)潔計(jì)，我們略去了k的下標(biāo)h1和h2。和前面同樣的理由，我們只需研究典則參數(shù)a的對(duì)應(yīng)估計(jì)的均方誤差。將p(k)表為p(k)=Qd(k)這里a(k)為典則參數(shù)a的雙h類嶺估計(jì)02.4.58)k=dWd+hC22由(2.4.57)和(2.4.58)，有d(k)d

50、ii這里g=dWd+(h+h/九)&2。i21ihdece2二dd一一1i,i=1,，pii九gii于是d(k)的均方誤差為iE(d(k)d)2=E(dd)2+iiii1、2igi丿h2(d&亠E九2I1E(didcy2d)iigi因dN(d,c2/九)，對(duì)上式第三項(xiàng)的均值部分應(yīng)用引理2.4.1得iii入y入h2(dCE(d(k)d)2=E(dd)2+亠Eiiii九iI=E(dd)2+hc2Eii1&2、ig丿12C2耳d2i12i2C2九2g.iic21ggi2_耳d2.12ii丿ii22hc2+E無(wú)2ihd2c44c1i+2.4.59)g222i這里n：為w的對(duì)角元。欲E(d(k)d)20

51、,且(2459)的第二項(xiàng)均值部分小于零。假設(shè)h10,h20,則hc2-jAg01g二dWd+(h+h/九)C2wdWd+i21i2.4.60)于是(2.4.60)成立的一個(gè)充分條件為八1八4八d2hc44cii+尢2C2p1g_gEde2丿丿i丿2C2九2i02.4.61)進(jìn)一步還有4八八1ddNd2=giiiddgdWd耳p現(xiàn)在我們將(2.4.59)對(duì)i求和，并利用(2.4.62)，從(2.4.61)知，當(dāng)2.4.62)時(shí)，有等價(jià)地當(dāng)1+2&2乙九2葉G2九2九2MSE(de(k)MSE(de)dWdI九2耳&2九2九2pppii02.4.63)時(shí)，MSE(de(k)MSE(d)。因?yàn)?與&

52、2獨(dú)立，且(np)6262/2，所以，對(duì)上式逐項(xiàng)求均值，并利用E&2=62，知(2.4.63)等價(jià)于2(n一p)n,p(九2X九一22)證畢這就完成了定理的證明。推論2.4.2對(duì)嶺參數(shù)的嶺跡選擇(2.4.54)，當(dāng)2(np)piP(一P+2)九2X九22成立時(shí)，對(duì)一切0,a2,對(duì)應(yīng)的嶺估計(jì)比LS估計(jì)有較小的均方誤差。第五節(jié)有偏估計(jì)的極值意義與幾何意義前面四節(jié)討論了線性回歸模型四種具體的有偏估計(jì)：嶺估計(jì)，主成分估計(jì)，特征根估計(jì)壓縮估計(jì)。進(jìn)一步研究發(fā)現(xiàn)，這四種估計(jì)都可能歸結(jié)到某種極值問(wèn)題的解，都有明確的幾何意義。這一節(jié)就具體分析它們這方面的性質(zhì)。一、橢球面與球面相切的嶺估計(jì)在本章第一節(jié)第二段性質(zhì)4

53、已經(jīng)證明了嶺估計(jì)是壓縮估計(jì)，即110(k)IIMI0II，性質(zhì)5則 說(shuō)嶺估計(jì)的均方誤差較小，即EII0(k)-卩1120,u0時(shí)有2.5.10)故對(duì)入0必有A、A(矩陣正定意義下，即A-A正定)。這說(shuō)明只需在入0處求極小dF值，也就說(shuō)明，盡管可能入0也能滿足=0,但它不可能是目標(biāo)函數(shù)極值解。dp下面分析嶺估計(jì)的幾何意義，這從嶺估計(jì)的等價(jià)極值問(wèn)題而來(lái)。約束條件II卩歸cIIpII二d表示一個(gè)以原點(diǎn)為中心、以d為半徑的球面。目標(biāo)函數(shù)(P-P)S(P-p)則可表示為一族橢球(p一p)S(p-p)=k2(2.5.11)由于cvl,p(k)0逐步擴(kuò)張，直至橢球面與球面相切為止。則切點(diǎn)0即為嶺估計(jì)P(k)

54、。如下圖所示。圖2.5.1.1二、橢球面與超平面相切的主成分估計(jì)與特征根估計(jì)計(jì)算主成分回歸的時(shí)候，先求正交陣P，使PSP=diag(入，入卩),且排序是入三入2三三入。如果是取前r個(gè)主成分，即將入，入置0，可將P剖分為P=(P(P(),將P()pr+1p(r)(p-r)(p-r)置0。于是令新變量Z(r)=ZP(r)，求典則化模型Y=Za+的LSEJ,)，最后還原得P(r)二P&。(r)(r)我們考慮下述極值問(wèn)題的解J(PPys(P-P)minPf卩二0(p-r)a由于0=Pa=(P(、p(、)(r)，代入約束條件得：(r)(p-r)/a(p-r)Pp=p(pa+Pa)二Ia=a=0(p-r)

55、(p-r)(r)(r)(p-r)(p-r)(p-r)(p-r)(p-r)2.5.12)2.5.13)極值問(wèn)題也可以寫為典則形式：(aa)A(aa)mina=0(pr)它的解當(dāng)然是(二(a,0)。于是原極值問(wèn)題的解為主成分估計(jì):(r)P二Pa=Pa(r)(r)(r)主成分回歸的幾何意義又是使橢球族(卩P)s(pp)=k22.5.14)2.5.15)2.5.16)又由于(p-p)S(p-p)=(p-p)PAP(p-p)=(a-a)A(a-a)，于是主成分回歸的下面談增廣矩陣特征根估計(jì)的極值意義與幾何意義。在第三節(jié)里的（2.3.13）,我們已證明了典則化模型Y=X0+中0的LSE可被表為P=一區(qū)(pp/九)/區(qū)(p2/九)i=JEjiji0ii0i=0i=0p/九i0ipiji=0厶(p2/尢)Ji0ii=02.5.17)=一區(qū)bp,j=1,miiji=0這里b=（p/九）蘭（p2/九）。至于入.與p.的來(lái)歷如下：作增廣陣A=（Y:X），求正交陣ii0i0iiiji=0P使P（AA