SAS 逐步回歸課件

SAS-逐步回歸

南京醫(yī)科大學流行病與衛(wèi)生統(tǒng)計學系柏建嶺1SAS逐步回歸reg過程reg過程是專門用于回歸分析的SAS過程，可提供絕大多數(shù)常用的線性回歸分析功能；reg過程只是SAS中眾多關于回歸的過程之一，它適用于通常意義上的回歸分析；reg過程可提供多達九種模型選擇方法；可執(zhí)行有關線性假設和多元假設的假設檢驗；可執(zhí)行共線性診斷的功能；可計算預測值、殘差、學生化殘差、可信區(qū)間以及影響度等統(tǒng)計量；reg過程具有統(tǒng)計繪圖功能。2SAS逐步回歸reg過程可包含的語句PROCREG<options>;<label:>MODELdependents=<regressors></options>;BYvariables;FREQvariable;IDvariables;VARvariables;WEIGHTvariable;<label:>MTEST<equation,...,equation></options>;OUTPUT<OUT=SAS-data-set>keyword=names<...keyword=names>;PLOT<yvar*xvar><=symbol><...yvar*xvar><=symbol></options>;PRINT<options><ANOVA><MODELDATA>;<label:>TESTequation,<,...,equation></option>;RUN;3SAS逐步回歸procreg語句procreg語句用于調(diào)用reg過程。其中的語句選項較多，功能復雜；此處的選項將會對同一reg過程步中所有的model語句發(fā)生作用。procreg語句的主要選項及其功能和用法見下表。4SAS逐步回歸procreg語句的主要選項選項功能和用法alpha=為當前過程步中所創(chuàng)建的各種可信區(qū)間指定其置信水平（除某些語句中另外設置了置信水平者外）。須設置為0~1之間的值，默認值為0.05。corr給出有關model語句和var語句中的所有變量的相關矩陣。outest=將參數(shù)估計值以及模型擬合過程的相應統(tǒng)計量（可選）輸出到所指定的數(shù)據(jù)集中。ridge=須設置為一個非負數(shù)所組成的列表（或單個數(shù)值），以列表中的每一個數(shù)值作為嶺常數(shù)K進行嶺回歸分析，并將每一次嶺回歸分析所得的參數(shù)估計值輸出到“outest=”選項所指定的輸出數(shù)據(jù)集中。輸出數(shù)據(jù)集中嶺常數(shù)K存儲在變量“_RIDGE_”下，相應估計值所對應的“_TYPE_”變量值為“RIDGE”。設置此選項時，restrict語句將被忽略。simple將reg過程中所用到的變量的合計值、均數(shù)、方差、標準差以及未校正的離均差平方和等在結果中顯示。tableout將參數(shù)估計值的標準誤、可信區(qū)間、t值（針對參數(shù)為零的檢驗假設）以及相應的P值輸出到“outest=”選項所指定的輸出數(shù)據(jù)集中。5SAS逐步回歸model語句語句形式：

<label:>MODELdependents=<regressors></options>;用來對所要擬合的回歸模型進行定義；“l(fā)abel”項代表所定義模型的標簽，用來對當前model語句所定義的模型進行標識；以等號相連的兩段內(nèi)容為模型表達式，用來定義所要擬合的回歸模型；可設置眾多的選項，其中相當一部分和procreg語句的選項相同，功能也基本相似，只是作用的范圍有所不同。6SAS逐步回歸model語句選項（1）選項功能和用法selection=指定模型選擇的方法，可以是前進法（forward）、后退法（backward）、逐步法（stepwise）等九種方法。best=在模型選擇方法為RSQUARE、ADJRSQ或CP時使用。當模型選擇方法為ADJRSQ或CP時，此選項用來指定最佳模型的最大個數(shù)；當模型選擇方法為RSQUARE時，此選項用來為每一種大小的模型指定其最佳模型的最大個數(shù)。這些最佳模型將在結果中顯示或輸出到“outest=”選項所指定數(shù)據(jù)集中。include=要求在變量篩選時必須將model語句中所列自變量中的前n個包括在模型中，變量篩選過程僅在剩余的自變量中進行。當模型選擇方法為NONE時此選項無效。maxstep=須設置為正整數(shù)。在模型選擇方法為FORWARD、BACKWARD或STEPWISE時，用來指定進行變量篩選的最大步數(shù)。對于FORWARD或BACKWARD方法，此選項的默認值為模型中所包含的自變量個數(shù)，而對于STEPWISE方法，此默認值為上述默認值的三倍。noint要求模型擬合時不包含截距項。slentry=當模型選擇方法為FORWARD或STEPWISE時，用來指定變量的入選標準（變量進入模型所需達到的顯著性水平），對于FORWARD法默認值為0.5，對于STEPWISE法默認值則為0.15。slstay=當模型選擇方法為BACKWARD或STEPWISE時，用來指定變量的剔除標準（模型中的變量剔除出模型所需達到的顯著性水平），對于BACKWARD法默認值為0.1，STEPWISE法默認值則為0.15。7SAS逐步回歸model語句選項（2）選項功能和用法start=須設置為“start=s”的形式（s須為正整數(shù)）。在模型選擇方法為MAXR、MINR或STEPWISE等方法（須進行模型的比較和自變量的替換過程）時，要求最初的模型中包括model語句中的前s個自變量，此時默認值為0。當模型選擇方法為RSQUARE、ADJRSQ或CP等方法時，此選項的功能是要求給出的模型子集中每個模型的自變量個數(shù)應至少為s個，此時默認值為1。對于不在上述方法之列的模型選擇方法，此選項將無效。stop=須設置為“stop=s”的形式（s須為正整數(shù)）。在模型選擇方法為MAXR或MINR方法時，限定最終的模型中最多可包含的自變量個數(shù)為s個。當模型選擇方法為RSQUARE、ADJRSQ或CP等方法時，此選項的功能是要求給出的模型子集中每個模型的自變量個數(shù)應最多為s個。此選項的默認值為model語句中包含的自變量個數(shù)。對于不在上述方法之列的模型選擇方法，此選項將無效。adjrsq對于每一個所選擇的模型計算其自由度校正的R2。aic對于每一個所選擇的模型計算其AIC（Akaike'sinformationcriterion）統(tǒng)計量。b當模型選擇方法為RSQUARE、ADJRSQ或CP等方法時，對于每一個所選擇的模型計算其回歸系數(shù)。bic對于每一個所選擇的模型計算其BIC（Sawa'sBayesianinformationcriterion）統(tǒng)計量。cp對于每一個所選擇的模型計算其Mallow’sCp統(tǒng)計量。stb給出標準化回歸系數(shù)。標準化回歸系數(shù)的計算方法是令回歸系數(shù)除以應變量的樣本標準差和自變量的樣本標準差之比。clb給出參數(shù)估計值的可信區(qū)間。cli給出單個預測值的可信區(qū)間。clm給出每條觀測（即固定了自變量的情況）下應變量期望值（均數(shù)）的可信區(qū)間。partial針對每一個自變量（包括截距項）繪制其對應變量的偏回歸杠桿圖。r進行殘差分析并給出分析結果。8SAS逐步回歸plot語句語句形式：

plot<yvar*xvar><=symbol><...yvar*xvar><=symbol></options>;plot語句用來對指定的變量繪制散點圖；“yvar*xvar<=symbol>”為圖形表達式，用來對所繪制的散點圖進行定義；同一plot語句中可以指定多個圖形表達式，從而同時繪制多個散點圖；用來繪制散點圖的變量，應是model語句或var語句中使用的變量，另外還可使用某些統(tǒng)計量或特定的系統(tǒng)變量（專門針對回歸模型者）。9SAS逐步回歸九種模型

none（全回歸模型）。不對回歸變量進行篩選，建立與全部自變量的全回歸模型。forward（前進法）。前進法以模型中沒有變量開始，對每個自變量，forward計算反映自變量對模型的貢獻的F

統(tǒng)計量。這些F

統(tǒng)計量與model語句中給出的slentry＝水平上的值相比較，如果F

統(tǒng)計量的顯著水平?jīng)]有一個比slentry＝水平上（如果缺省slentry＝這個參數(shù)，則顯著水平假設為0.50）的值大，則forward停止。否則，forward在模型中加入具有最大F

統(tǒng)計量的變量，然后forward再計算這些變量的F統(tǒng)計量直到剩下的變量都在模型的外面，再重復估計過程。變量就這樣一個接一個地進入模型直到剩下的變量沒有一個可以產(chǎn)生顯著的F統(tǒng)計量。一旦一個變量進入了模型，它就不再出去了。10SAS逐步回歸九種模型backward（后退法）后退法以計算含有全部自變量的模型的統(tǒng)計量為開始。然后變量一個接一個地從模型中剔除，直到留在模型中的所有變量產(chǎn)生的F統(tǒng)計量的顯著水平在slstay=水平上（如果缺省slstay=這個參數(shù)，則顯著水平假設為0.10）。在每一步，剔除對模型貢獻最小的變量。stepwise（逐步回歸，向前且向后）逐步方法是向前選擇的修正。對已在模型中的變量，不一定必須一直在模型中，這點與前進法是不同的。stepwise按照前進法選入變量后，還考察模型中所包含的所有變量并剔除使得F統(tǒng)計量的顯著水平不在slstay=水平上的變量。只有在完成檢驗和必要的剔除之后，其他變量才可再進入模型。當模型外的變量沒有一個使F統(tǒng)計量在slentry=水平上顯著且模型中的每個變量在slstay=水平上顯著，或加到模型中的變量是剛剛剔除的變量時候，逐步處理便結束了。11SAS逐步回歸九種模型maxr（最大R2

法）。最大R2

法是占優(yōu)勢的逐步技術，它幾乎與所有可能的回歸一樣好。不像上面三種技術，這個方法不是落在單個模型上，而是試著找出最佳一變量模型、最佳二變量模型等等。

maxr方法先找出一個產(chǎn)生最大R2值的變量，然后再加入另一個次最大R2值的變量，從而形成二變量的模型。形成二變量的模型之后，將模型中的變量與模型外的變量相比較，以決定是否移去一個變量而以另一個能生成更大R2

值的變量來代替。全部比較結束后，便得到了最佳二變量模型。依次往下，便得到最佳三變量模型等等。12SAS逐步回歸九種模型minr（最小R2

增量法）

按給定樣本的R2大小準則選擇最優(yōu)的自變量子集，但不能保證對總體或其他樣本而言是最優(yōu)的。用戶可以規(guī)定出現(xiàn)在子集中自變量的最大和最小個數(shù)及被選擇的每種子集的個數(shù)。R2選擇法總能夠?qū)λ紤]變量的每種變量個數(shù)找到具有最大R2的模型，但需要很多的計算時間。rsquare（R2選擇法）。最小R2增量法非常類似于maxr，只是選擇準則為產(chǎn)生最小R2增量。對模型中一個已知的變量數(shù)，maxr和minr通常產(chǎn)生同樣的“最佳”模型，但是minr在每步中考慮較多的模型。13SAS逐步回歸九種模型adjrsq（調(diào)正R2選擇法）該方法類似于rsquare法，只是對于選擇模型使用的準則為調(diào)正R2統(tǒng)計量。Mallows的Cp統(tǒng)計量Cp統(tǒng)計量是由Mallows提出的作為選擇模型的判別式的變量。Cp是一個誤差平方總和的量度：14SAS逐步回歸bestBest=值——在模型選擇方法為RSQUARE、ADJRSQ或CP時使用。當模型選擇方法為ADJRSQ或CP時，此選項用來指定最佳模型的最大個數(shù)；當模型選擇方法為RSQUARE時，此選項用來為每一種大小的模型指定其最佳模型的最大個數(shù)。這些最佳模型將在結果中顯示或輸出到“outest=”選項所指定數(shù)據(jù)集中。15SAS逐步回歸slentry和slstay

slentry=值——指前進和逐步法中選擇變量進入模型的顯著水平。如果省略，那么stepwise過程便對向前選擇技術置slentry=0.5，對逐步法置slentry＝0.15。slstay=值——指后退與逐步法中變量留在模型里的顯著水平。如果省略，則逐步法用0.15，后退法用0.10。16SAS逐步回歸slentry和slstayforwardbackwardstepwiseslentry0.500.15slstay0.100.1517SAS逐步回歸includestartstopinclude=n——強迫頭n

個因變量總是在模型中。選擇技術由model語句中其他變量來完成。start=s——以含有model語句中頭s個自變量的模型為開始，進行比較、選擇過程。理所當然地，沒有一個被估計的模型含有不足s個的變量。此僅應用于maxr或minr模型。

stop=s——當它找到“最佳”s變量模型之后，stepwise便停止。其中s是stop的值，此僅應用于maxr或minr模型。18SAS逐步回歸testtest語句用于對有關模型參數(shù)的假設進行檢驗，其中的參數(shù)來自test語句前最近的一條model語句所定義的模型。modely=x1x2x3x4;testx1，x2=x3;變量X1的系數(shù)b1等于0變量X2的系數(shù)等于變量X3的系數(shù)19SAS逐步回歸restrictrestrict語句用于對模型參數(shù)的估計設置限定條件。restrictintercept=0X2-X3=0

每增加一個限制條件，模型的自由度就會減少1，此時限制條件的自由度顯示為-1。20SAS逐步回歸SAS語句proc

reg;modely=x1x2x3x4/selection=rsquareadjrsqMSECPAIC;run;21SAS逐步回歸SAS結果22SAS逐步回歸SAS語句proc

reg;modely=x1x2x3x4/selection=rsquarebest=6;run;proc

reg;modely=x1x2x3x4/selection=rsquarebest=4;run;23SAS逐步回歸SAS語句Best=6Best=424SAS逐步回歸SAS語句proc

reg;modely=x1x2x3x4/selection=adjrsqbest=6;run;proc

reg;modely=x1x2x3x4/selection=adjrsqbest=4;run;25SAS逐步回歸SAS結果Best=6Best=426SAS逐步回歸SAS語句proc

reg;modely=x1x2x3x4/selection=stepwiseSLE=0.15SLS=0.14

details;run;27SAS逐步回歸嶺回歸NO.身長(cm)頭圍(cm)體重(g)胎兒受精齡(周)x1x2x3Y113.09.25013218.713.210214321.014.815015419.013.311016522.816.020017626.018.