逐步回歸分析

第6節(jié)逐步回歸分析。逐步回歸分析概述1概念逐步回歸模型是以已知地理數(shù)據(jù)序列為基礎(chǔ)，根據(jù)多元回歸分析法和求解求逆緊湊變換法及雙檢驗法而建立的能夠反映地理要素之間變化關(guān)系的最優(yōu)回歸模型。逐步回歸分析的數(shù)學(xué)模型逐步回歸分析的數(shù)學(xué)模型是指僅包含對因變量Y有顯著影響自變量的多元線性回歸方程。為了利于變換求算和上機計算，將對其變量進(jìn)行重新編號并對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。變量重新編號1新編號數(shù)學(xué)模型令，自變量個數(shù)為k-1，則其數(shù)學(xué)模型為：式中，α=1，2，3，…，nn：樣本個數(shù)其中：的偏回歸平方和為：：為的算術(shù)平均值：的偏回歸系數(shù)：為逆矩陣對角線對應(yīng)元素2回歸數(shù)學(xué)模型新編號的回歸數(shù)學(xué)模型為：標(biāo)準(zhǔn)化數(shù)學(xué)模型標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型是指將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后而建立的回歸數(shù)學(xué)模型，即實質(zhì)上是每個原始數(shù)據(jù)減去平均值后再除以離差平方和的方根。1標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型令j=1，2，3，…，k其中：！為離差平方和的方根注意：它們之間的區(qū)別，即離差平方和，離差平方和的方根，方差，標(biāo)準(zhǔn)差。則回歸數(shù)學(xué)模型為：2標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型的正規(guī)方程組標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型正規(guī)方程組的一般形式為：因為，，所以上述正規(guī)方程組可變?yōu)椋哼@樣，數(shù)據(jù)標(biāo)準(zhǔn)化處理后的估計值0，并令，則可得數(shù)據(jù)標(biāo)準(zhǔn)化處理后的回歸方程數(shù)學(xué)模型的正規(guī)方程組的一般形式為：這樣，數(shù)據(jù)標(biāo)準(zhǔn)化后的估計值應(yīng)為0，并令，則可得：其中:稱為相關(guān)系數(shù)矩陣。解此方程組，即可求出，故可得標(biāo)準(zhǔn)化后的回歸模型為：標(biāo)準(zhǔn)化的回歸模型的矩陣形式：標(biāo)準(zhǔn)化前后回歸模型的關(guān)系1標(biāo)準(zhǔn)化前后的回歸模型1）標(biāo)準(zhǔn)化前后回歸模型為：2）標(biāo)準(zhǔn)化后回歸模型為：2標(biāo)準(zhǔn)化前后的偏回歸系數(shù)標(biāo)準(zhǔn)化前后偏回歸系數(shù)的關(guān)系可從變化過程反演得知：令代入標(biāo)準(zhǔn)化前的回歸模型可得：整理后得：將上式與標(biāo)準(zhǔn)化前的回歸模型作比較，由待定系數(shù)法可知標(biāo)準(zhǔn)化前后回歸模型的偏回歸系數(shù)的關(guān)系為：j=1,2,3,…k-1于是，只要求出，即可求出，今后僅討論標(biāo)準(zhǔn)化后的回歸模型。3標(biāo)準(zhǔn)化后的各種離差平方和求解求逆緊湊變換法逐步回歸分析每引進(jìn)和剔除一個變量都要用到求解求逆緊奏變換法進(jìn)行矩陣變換，最后求出方程組的解和逆矩陣?，F(xiàn)介紹其變換原理和方法步驟。求解求逆緊奏變換法的基本公式由上述介紹可知，標(biāo)準(zhǔn)化后的正規(guī)方程組為：可得增廣矩陣，由經(jīng)高斯消元法變換為，既可求出解和相應(yīng)的逆矩陣。故經(jīng)高斯消元法變換為：=D其變換公式為：說明：公式（1）是好理解的；公式（2）是指求算非主行和非主列的元素，實質(zhì)上就是該元素減去其對應(yīng)的主行與主列元素相乘并除以主元素。舉例，解下列方程組：解：利用上述高斯消元法的（1）（2）公式，解上述方程組的求解求逆變換過程如下：由上述方程組可得高斯求解求逆變換法矩陣形式：當(dāng)=1，主元素為：，根據(jù)高斯求解求逆變換法原理和方法，可得：當(dāng)=2，主元素為：，根據(jù)高斯求解求逆變換法原理和方法，可得：當(dāng)=3，主元素為：，根據(jù)高斯求解求逆變換法原理和方法，可得：X提出問題：由上述高斯削元法變換可知，單位矩陣只是從后k逐列移至前k列，而只是起到形式作用。這樣，若利用計算機程序求解求逆就要多占用k*k個單元，試想能否節(jié)省k*k個單元呢從以上變換可知，如果能將后k列經(jīng)過變換后放置前k列去，這樣k*k個單元即可節(jié)省。如何做呢這要找出后k列變換前后的關(guān)系。若經(jīng)過（-1）次變換得到，則第k+1+列除了第個元素為1，其余均為0，即，第k+1+列各元素值為：若再對變換一次得，則第k+1+列各元素可由高斯消元法的公式（1）（2）變換為為：這就相當(dāng)于第k+1+列的第個元素1除以主元素，其余的元素都除以主元素并變號，于是可將第k+1+列放到對應(yīng)的前列中，這樣單位矩陣就節(jié)省了，上述整個過程就稱為矩陣的求解求逆緊奏變換法。將上述公式合并即得求解求逆緊奏變換法的公式：說明：（1）式為求主行各元素；（2）式為求非主行非主列的各元素；用公式（2）求非主行所有元素，如：。（3）式為求主元素；（4）式為求主列個各元素。舉例：利用求解求逆緊奏變換法解上述方程組：解：當(dāng)=1，主元素為：，根據(jù)求解求逆緊湊變換法原理和方法，可得：當(dāng)=2，主元素為：，根據(jù)求解求逆緊湊變換法原理和方法，可得：當(dāng)=3，主元素為：，根據(jù)求解求逆緊湊變換法原理和方法，可得：X由兩種方法比較可知，其結(jié)果一樣，故求解求逆緊奏變換法可節(jié)省K*K個存儲單元。6.3.2基本性質(zhì)1每作一次變換，就求得一組解和相應(yīng)的逆矩陣；2對作變換得，同變換次序無關(guān)，即與哪個作主元素?zé)o關(guān)；3當(dāng),即，同一主元素作兩次變換可還原；4在矩陣中，具有下列對稱性：6.3.3求解求逆緊奏變換法與回歸分析的關(guān)系由上述分析可知，逐步回歸分析要求解的正規(guī)方程組為：則逐步回歸分析中的求解求逆緊奏變換法的增廣矩陣是：在逐步回歸分析中，每引進(jìn)一個變量或者剔除一個變量，都要對R進(jìn)行一次求解求逆緊奏變換法變換，最后求得，再恒等變換為，所以求解求逆緊奏變換法在逐步回歸分析中十分有用。逐步回歸分析的步驟根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表6–3（）中地理數(shù)據(jù)為例。地理數(shù)據(jù)4--5臺風(fēng)編號7503-90065093546003-56665215217301--33361223597412589621341666152896005254612620962084286513-6736312-3955904-3276007--8296306--2667504--6535901-1876102--1787207-1607123-2807010-2345612--2645622--2166214--2946911--2686001-1856906246第一步求初始相關(guān)系數(shù)矩陣由表6--3中地理數(shù)據(jù)可求得初始相關(guān)系數(shù)矩陣為：第二步逐步優(yōu)選變量該步是指逐步優(yōu)選變量以建立最優(yōu)回歸方程。1選擇第一個變量首先，引入第一個變量以建立一元回歸模型：1）確定F1=F2=5（本例最好為），即引進(jìn)與剔除變量的F檢驗值。2）引進(jìn)變量的原則與方法如何確定先引入哪一個變量呢（1）選擇原則引入原則為偏回歸平方和最大者，也稱為方差貢獻(xiàn)最大者。由前述可知，回歸平方和越大，回歸方程的效果就越好。（2）選擇方法如何選擇偏回歸平方和最大者呢方法有兩鐘，即：一般方法和直接方法。一般方法：一般方法是指從建立后的回歸方程求得，公式為：這樣看來，工作量相當(dāng)大，設(shè)想一下，能否從中直接求得各偏回歸平方和再從中選擇最大者呢回答是肯定的！因為是從中變換得來的，所以，它們之間有數(shù)量聯(lián)系。直接方法：直接方法是指從中直接求得偏回歸平方和最大者。如何從中直接求呢這就要從求解求逆緊湊變換法中找出中的關(guān)系。由上述變換可知：于是，中的偏回歸平方和可得：此式表明，完全可以從中直接求得。于是可拓展到：3）引進(jìn)變量(1)確定引進(jìn)變量，即：求便可確定。運用直接方法即可求算所有偏回歸平方和，并選取者。由于的對角元素均為：所以，最后一列絕對值最大者便為偏回歸平方和最大者。本例為，即：由此可知，故引入的第一個變量為：，即：(2)引進(jìn)變量檢驗方法為F檢驗法，首先，應(yīng)經(jīng)驗性確定臨界值，其大小主要與信度和自由度有關(guān)，所以，不宜太大，否則，引進(jìn)變量較少，不實用。本例K=7，若試選4個變量，則，即：，選為宜。因為F3=＞F1=，所以引進(jìn)的第一個變量為。(3)求算經(jīng)求解求逆緊湊變換法可求得為：4)剔除變量由于剛引進(jìn)第一個變量，故略。2選擇第二個變量1)引進(jìn)變量(1)確定引進(jìn)變量，求算，并求取，j=2，3，4，5，6，7同理可求得：，，，，由此可知(2)引進(jìn)變量檢驗因為F3=>F2=，所以應(yīng)引進(jìn)變量，并對進(jìn)行求解求逆緊湊變換得，如表所示。2）剔除變量由于變量剛剛引進(jìn)，現(xiàn)只需對作檢驗。（1）確定剔除變量，求算，并求取，j=1，6（2）剔除檢驗因為，所以不應(yīng)剔除，繼續(xù)引進(jìn)變量。3選擇第三個變量(1)確定引進(jìn)變量，求算，并求取，j=2，3，4，5，7同理可求得：，，，由此可知(2)引進(jìn)變量檢驗因為，所以,應(yīng)引進(jìn)變量，并對進(jìn)行求解求逆緊湊變換得，如表所示。2）剔除變量由于變量剛剛引進(jìn)，現(xiàn)只需對，作剔除檢驗。（1）確定剔除變量，求算，并求取，j=1，6由此可知，為最小，故對做剔除檢驗。（2）剔除檢驗因為，所以不應(yīng)剔除，繼續(xù)引進(jìn)變量。說明：有兩鐘情況，即：時，不應(yīng)剔除變量，并繼續(xù)引進(jìn)新的變量；時，應(yīng)剔除變量，并對做變換，這時，還要對變量作剔除檢驗，若時，則終止剔除檢驗，繼續(xù)引進(jìn)新的變量；如時，則繼續(xù)做剔除檢驗，直到?jīng)]有不顯著變量存在為止。4選擇第四個變量1)引進(jìn)變量(1)確定引進(jìn)變量，求算，并求取，j=2，3，4，7同理可求得：，，由此可知(2)引進(jìn)變量檢驗因為，所以,應(yīng)引進(jìn)變量，并對進(jìn)行求解求逆緊湊變換得，即：，如表所示。2）剔除變量由于變量剛剛引進(jìn)，現(xiàn)只需對，，作檢驗。（1）確定剔除變量，求算，并求取，j=1，3，5，6。，由此可知，為最小，則先對作剔除檢驗。（2）剔除檢驗因為，所以不應(yīng)剔除變量，繼續(xù)引進(jìn)新的變量。5選擇第五個變量1)引進(jìn)變量(1)確定引進(jìn)變量，求算，并求取，j=2，4，7同理可求得：，由此可知為最大，故確定引進(jìn)變量。(2)引進(jìn)變量檢驗因為F3=＜F2=，所以不應(yīng)引進(jìn)變量，同時表明再無顯著變量可以引進(jìn)，則應(yīng)終止，并即可求出最優(yōu)回歸模型。第三步建立回歸方程，即最優(yōu)回歸方程。1、求算，j=1，3，5，6根據(jù)求解求逆緊湊變換法的基本原理和方法步驟，由可知：2、求算，j=1，3，5，6。(1)求有關(guān)項，，，，(2)求(3)求算故求得逐步回歸分析的最優(yōu)回歸方程為：第五步顯著性檢驗1、求有關(guān)項或者2、求F3、求查表可得：因為F=＞，所以該回歸方程顯著，可以應(yīng)用于地理分析。例2根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表中地理數(shù)據(jù)為例。表地理數(shù)據(jù)序號1401651402302431853393281866534411851435281866536562342537402044508471962432369321856581042193552115722535523812311932671367206232143421316615511958471647232873第一步求初始相關(guān)系數(shù)矩陣由表中地理數(shù)據(jù)可求得初始相關(guān)系數(shù)矩陣為：第二步選擇第一個變量1、確定F1=F2=5，即引進(jìn)與剔除變量的F檢驗值。2、引進(jìn)變量(1)求，即求算所有偏回歸平方和，并選取者。同理可求得：，，由此可知(2)引進(jìn)變量檢驗因為F3=＞F1=5，所以引進(jìn)的第一個變量為z2。(3)求算經(jīng)求解求逆緊湊變換法可求得為：2、剔除變量由于剛引進(jìn)第一個變量，故略。第三步選擇第二個變量1、引進(jìn)變量(1)求算，并求取，j=1，3，4同理可求得：，由此可知(2)引進(jìn)變量檢驗因為F3=＜F2=5，所以再無顯著變量引進(jìn)，故引進(jìn)變工作結(jié)束。2、剔除變量由于未引進(jìn)變量，剔除工作也結(jié)束。第四步建立回歸方程，即最優(yōu)回歸方程。1、求算，j=2由可知：2、求算，j=2(1)求有關(guān)項，(2)求(3)求算故求得逐步回歸分析的最優(yōu)回歸方程為：第五步顯著性檢驗1、求有關(guān)項2、求F3、求查表可得：因為F=＞，所以該回歸方程顯著，可以應(yīng)用于地理分析。為了全面掌握逐步回歸分析的步驟，若設(shè)時，則第三步選擇第二個變量的引進(jìn)變量檢驗中，因為F3=＞F1=，所以引進(jìn)的第二個變量為。這樣就須繼續(xù)進(jìn)行。求由經(jīng)求解求逆緊湊變換法可求得為：現(xiàn)已引進(jìn)、兩個變量，由于剛引進(jìn)，故只須對作剔除檢驗，具體步驟如下：(1)求(2)求因為F3=＞F2=，所以是顯著變量，不應(yīng)剔除。繼續(xù)選擇第三個變量，若還有顯著變量引進(jìn)則繼續(xù)進(jìn)行，具體步驟同上述，若再無有顯著變量引進(jìn)，則結(jié)束，即可建立回歸方程，具體步驟如下：(1)求，j=2，4由(2)求算bj，j=2，4①求有關(guān)項，，②求算，j=2，4③求故求得逐步回歸分析的最優(yōu)回歸方程為：對回歸方程進(jìn)行顯著性檢驗，具體步驟如下：(1)求有關(guān)項(2)求F(3)求查表可得：因為F=＞，所以該回歸方程顯著，可以應(yīng)用于地理分析。逐步回歸分析的實習(xí)指導(dǎo)6.5.1實習(xí)目的1、鞏固逐步回歸分析的基本原理及方法步驟。2、掌握逐步回歸分析程序的使用方法及技巧。3、求取最優(yōu)回歸方程并應(yīng)用于預(yù)測等。4、掌握逐步回歸分析程序的變換應(yīng)用方法。6.5.2實習(xí)內(nèi)容1、標(biāo)識符說明N 樣本個數(shù)M 自變量數(shù)F1、F2 F檢驗的臨界值Q 存放選入l個自變量以后的剩余平方和Q2存放y的剩余標(biāo)準(zhǔn)差估計值L 選入自變量的個數(shù)X(N,M+1) 存放變量Xα1,Xα2,Xα3,…,Xαm+1=y的數(shù)據(jù)(α=1,2,3,…,N)R(M+1,M+1) 存放相關(guān)系數(shù)B(M) 存放回歸系數(shù)b0,b1,b2,…,blT(M) 臨時存貯單元，開始時用以標(biāo)記自變量是否選上，當(dāng)xi未選入時T(I)=0，一旦xi選入，則T(I)存放R－1對角線元素。Z(I) 存放回歸系數(shù)顯著性檢驗的t統(tǒng)計量A(M+1) 存放自變量xi和y的平均數(shù)V(M+1) 存放離差平方和的均方根（i=1,2,3,…,m+1）。 F F檢驗值Sa 剩余標(biāo)準(zhǔn)差yi 原始y值pyi 預(yù)測y值Er 預(yù)測誤差Er% 相對預(yù)測誤差2、程序5REM逐步回歸分析程序10INPUT“樣本數(shù)N，自變量數(shù)M,F檢驗數(shù)F1,F2=”；N,M,F1,F215Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相關(guān)系數(shù)矩陣60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0135FORK=1TON140G1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))145NEXTK150G1=G1/(V(I)*V(J))155R(I,J)=G1160R(J,I)=G1165NEXTJ170NEXTI175FORI=1TOY180R(I,I)=1185U(I)=V(Y)/V(I)190NEXTI195PRINT“RMatrix”200FORI=1TOY202FORJ=1TOI205PRINTR(I,J),208NEXTJ209PRINT210NEXTI213REM選因子和剔除因子的過程215T1=0220L=0225Q=1230T1=T1+1235V1=0240V2=10245FORI=1TOM250T(I)=0255D=R(I,I)260IFD<1E－08THEN315265W=(R(Y,I)/D)*R(I,Y)270IFW>0THEN300275T(I)=D280IF－W>=V2THEN315285V2=－W290I2=I295GOTO315300IFW<=V1THEN315305V1=W310I1=I315NEXTI320IFT1<=2THEN360325F3=(N－L－1)*V2/Q330IFF3>F2THEN360335L=L－1340K=I2345K1=－K350PRINT“Imin=”；K1，“L=”；L355GOTO390360IFL>=MTHEN475362F3=(N－L－2)*V1／(Q－V1)365IFF3<F1THEN475370L=L+1375K=I1380K1=I1385PRINT“Imax=”；K1,“L=”；L387REM求解求逆緊湊變換390FORI=1TOY395FORJ=1TOY400IFI=KTHEN420405IFJ=KTHEN415410R(I,J)=R(I,J)–R(I,K)*R(K,J)/R(K,K)415NEXTJ420NEXTI425FORI=1TOY430IFI=KTHEN445435R(K,I)=R(K,I)/R(K,K)440R(I,K)=－R(I,K)/R(K,K)445NEXTI450R(K,K)=1/R(K,K)453REM求，F(xiàn)比，455Q=R(Y,Y)460F=(N－L－1)*(1－Q)/(L*Q)465Q2=SQR(Q/(N－L－1))*V(Y)470GOTO230475PRINT“*********************”480IFL=0THEN500485PRINT“L=”；L，“F=”；F，“Sigma=”；Q2490GOSUB510495GOTO505500PRINT“YisIndependentWithX”505END507REM求回歸系數(shù)b0和bi510D=0515FORI=1TOM520IFT(I)<>0THEN540525B(I)=0530Z(I)=0535GOTO560540D1=R(I,Y)545B(I)=U(I)*D1550D=D+B(I)*A(I)555Z(I)=D1/SQR(T(I)*Q/(N－L－1))560NEXTI565B(0)=A(Y)－D570PRINT“b0=”，B(0)575PRINT“I”，“bi”，“Ti”580FORI=1TOM585PRINTI,B(I),Z(I)590NEXTI595E1=0600K2=0605PRINT“I”，“Yi”，“Pyi”，“Er”，“Er％”610FORK=1TON615D=B(0)620FORI=1TOM625I