多元線性回歸與曲線擬合

1、第十章：多元線性回歸與曲線擬合Regression菜單詳解（上）（醫(yī)學(xué)統(tǒng)計(jì)之星：張文彤）回歸分析是處理兩個(gè)及兩個(gè)以上變量間線性依存關(guān)系的統(tǒng)計(jì)方法。在醫(yī)學(xué)領(lǐng)域中，此類問題很普遍，如人頭發(fā)中某種金屬元素的含量與血液中該元素的含量有關(guān)系，人的體表面積與身高、體重有關(guān)系；等等?；貧w分析就是用于說明這種依存變化的數(shù)學(xué)關(guān)系。§ 10.1 Linear過程1. 簡單操作入門調(diào)用此過程可完成二元或多元的線性回歸分析。在多元線性回歸分析中，用戶還可根據(jù)需要，選用不同篩選自變量的方法（如：逐步法、向前法、向后法，等）。例10.1:請分析在數(shù)據(jù)集Fatsurfactant.sav中變量fat對變量spov

2、l的大小有無影響？顯然，在這里spovl是連續(xù)性變量，而fat是分類變量，我們可用用單因素方差分析來解決這個(gè)問題。但此處我們要采用和方差分析等價(jià)的分析方法-回歸分析來解決它?；貧w分析和方差分析都可以被歸入廣義線性模型中，因此他們在模型的定義、計(jì)算方法等許多方面都非常近似，下面大家很快就會看到。這里spovl是模型中的因變量，根據(jù)回歸模型的要求，它必須是正態(tài)分布的變量才可以，我們可以用直方圖來大致看一下，可以看到基本服從正態(tài)，因此不再檢驗(yàn)其正態(tài)性，繼續(xù)往下做。a.10.2 界面詳解在菜單中選擇Regression=>liner,系統(tǒng)彈出線性回歸對話框如下：除了大家熟悉的內(nèi)容以外，里面還出現(xiàn)

3、了一些特色菜，讓我們來一一品嘗。【Dependent框】用于選入回歸分析的應(yīng)變量?！綛lock按鈕組】由Previous和Next兩個(gè)按鈕組成，用于將下面Independent框中選入的自變量分組。由于多元回歸分析中自變量的選入方式有前進(jìn)、后退、逐步等方法，如果對不同的自變量選入的方法不同，則用該按鈕組將自變量分組選入即可。下面的例子會講解其用法。Independent框】用于選入回歸分析的自變量?！綧ethod下拉列表】用于選擇對自變量的選入方法，有Enter（強(qiáng)行進(jìn)入法）、Stepwise（逐步法）、Remove（強(qiáng)制剔除法）、Backward（向后法）、Forward（向前法）五種。該選

4、項(xiàng)對當(dāng)前Independent框中的所有變量均有效?！維electionVariable框】選入一個(gè)篩選變量，并利用右側(cè)的Rules鈕建立一個(gè)選擇條件，這樣，只有滿足該條件的記錄才會進(jìn)入回歸分析。CaseLabels框】選擇一個(gè)變量，他的取值將作為每條記錄的標(biāo)簽。最典型的情況是使用記錄ID號的變量?！網(wǎng)LS闡】可利用該按鈕進(jìn)行權(quán)重最小二乘法的回歸分析。單擊該按鈕會擴(kuò)展當(dāng)前對話框，出現(xiàn)WLSWeight框，在該框內(nèi)選入權(quán)重變量即可。【Statistics鈕】彈出Statistics對話框，用于選擇所需要的描述統(tǒng)計(jì)量。有如下選項(xiàng):oRegressionCoefficients復(fù)選框組：定義回歸系數(shù)

5、的輸出情況，選中Estimates可輸出回歸系數(shù)B及其標(biāo)準(zhǔn)誤，t值和p值，還有標(biāo)準(zhǔn)化的回歸系數(shù)beta;選中Confidenceintervals則輸出每個(gè)回歸系數(shù)的95%T信區(qū)間；選中covariancematrix則會輸出各個(gè)自變量的相關(guān)矩陣和方差、協(xié)方差矩陣。以上選項(xiàng)默認(rèn)只選中Estimates。oResiduals復(fù)選框組：用于選擇輸出殘差診斷的信息，可選的有Durbin-Watson殘差序列相關(guān)性檢驗(yàn)、超出規(guī)定的n倍標(biāo)準(zhǔn)誤的殘差列表。oModelfit復(fù)選框：模型擬合過程中進(jìn)入、退出的變量的列表，以及一些有關(guān)擬合優(yōu)度的檢驗(yàn)：，R,R2和調(diào)整的R2,標(biāo)準(zhǔn)誤及方差分析表。oRsquare

6、dchange復(fù)選框：顯示模型擬合過程中R2、F值和p值的改變情況。oDescriptives復(fù)選框：提供一些變量描述，如有效例數(shù)、均數(shù)、標(biāo)準(zhǔn)差等，同時(shí)還給出一個(gè)自變量間的相關(guān)矩陣。oPartandpartialcorrelations復(fù)選框：顯示自變量間的相關(guān)、部分相關(guān)和偏相關(guān)系數(shù)。oCollinearitydiagnostics復(fù)選框：給出一些用于共線性診斷的統(tǒng)計(jì)量，如特征根(Eigenvalues)、方差膨脹因子(VIF)等。以上各項(xiàng)在默認(rèn)情況下只有Estimates和Modelfit復(fù)選框被選中Plot鈕】彈出Plot對話框，用于選擇需要繪制的回歸分析診斷或預(yù)測圖?？衫L制的有標(biāo)準(zhǔn)化殘差

7、的直方圖和正態(tài)分布圖，應(yīng)變量、預(yù)測值和各自變量殘差間兩兩的散點(diǎn)圖等?！維ave鈕】許多時(shí)候我們需要將回歸分析的結(jié)果存儲起來，然后用得到的殘差、預(yù)測值等做進(jìn)一步的分析，Save鈕就是用來存儲中間結(jié)果的?？梢源鎯Φ挠校侯A(yù)測值系列、殘差系列、距離(Distances)系列、預(yù)測值可信區(qū)間系列、波動統(tǒng)計(jì)量系列。下方的按鈕可以讓我們選擇將這些新變量存儲到一個(gè)新的SPSSt據(jù)文件或XML中。Options鈕】設(shè)置回歸分析的一些選項(xiàng)，有：oSteppingMethodCriteria單選鈕組：設(shè)置納入和排除標(biāo)準(zhǔn)，可按P值或F值來設(shè)置。oIncludeconstantinequation復(fù)選框：用于決定是否在

8、模型中包括常數(shù)項(xiàng)，默認(rèn)選中。oMissingValues單選鈕組：用于選擇對缺失值的處理方式，可以是不分析任一選入的變量有缺失值的記錄(Excludecaseslistwise)而無論該缺失變量最終是否進(jìn)入模型；不分析具體進(jìn)入某變量時(shí)有缺失值的記錄(Excludecasespairwise)；將缺失信用該變量的均數(shù)代替(Replacewithmean)。a.10.2 輸出結(jié)果解釋根據(jù)題目的要求，我們只需要在Dependent框中選入spovl,Independent框中選入fat即可，其他的選項(xiàng)一律不管。單擊OKt,系統(tǒng)很快給出如下結(jié)果：RegressionVmrnblesEiiteie<

9、;IRemovedbVariablesVariablesModelEnteredRemovedMethodfat一EnterAllrequestedvariablesentered.DependentVariable：SPVOL這里的表格是擬合過程中變量進(jìn)入/退出模型的情況記錄，由于我們只引入了一個(gè)自變量，所以只出現(xiàn)了一個(gè)模型1(在多元回歸中就會依次出現(xiàn)多個(gè)回歸模型)，該模型中fat為進(jìn)入的變量，沒有移出的變量，具體的進(jìn)入/退出方法為enter。ModelSuminaiyModelRRSquareAdjustedRSquareStSErroroftheEstimate1578J33431783

10、0a.Predictors:(Constant),fat上表為所擬合模型的情況簡報(bào)，顯示在模型1中相關(guān)系數(shù)R為0.578,而決定系數(shù)R2為0.334,校正的決定系數(shù)為0.307。ANOVAbModelSumofSquaresdfMeanSquareFSig1Regression6.3061830612059002aResidual16.53024,689Total25Predictors;(Constart),fatDependentVariable:BPVOL這是所用模型的檢驗(yàn)結(jié)果，可以看到這就是一個(gè)標(biāo)準(zhǔn)的方差分析表！有興趣的讀者可以自己用方差分析模型做一下，就會發(fā)現(xiàn)出了最左側(cè)的一列名字不太

11、一樣外，其他的各個(gè)參數(shù)值都是相同的。從上表可見所用的回歸模型F值為12.059,P值為0.002,因此我們用的這個(gè)回歸模型是有統(tǒng)計(jì)學(xué)意義的，可以繼續(xù)看下面系數(shù)分別檢驗(yàn)的結(jié)果。庫由于這里我們所用的回歸模型只有一個(gè)自變量，因此模型的檢驗(yàn)就等價(jià)與系數(shù)的檢驗(yàn)，在多元回歸中這兩者是不同的。Coeffltierirs3Standard1zedModelUnstandardiaedCoefficientsCoefficientet日SidErrorBeta1(Const白nt)5.097,42711,923,000fat,700,202,5783473002a.DependentVariable:8PVOL

12、上表給出了包括常數(shù)項(xiàng)在內(nèi)的所有系數(shù)的檢驗(yàn)結(jié)果，用的是t檢驗(yàn)，同時(shí)還會給出標(biāo)化/未標(biāo)化系數(shù)?？梢姵?shù)項(xiàng)和fat都是有統(tǒng)計(jì)學(xué)意義的，上表的內(nèi)容如果翻譯成中文則如下所示：未標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)化系數(shù)模型系數(shù)b系數(shù)標(biāo)準(zhǔn)誤系數(shù)Bt值P值1常數(shù)5.0970.42711.9230.000fat0.7000.2020.5783.4730.00210.1.2復(fù)雜實(shí)例操作分析實(shí)例例10.2:請分析在數(shù)據(jù)集plastic.sav中變量extrusn、additive、glossftopacity對變量tear_res的大小有無影響？已知extrusn對tear_res的大小有影響。顯然，這里是一個(gè)多元回歸，由于除了ext

13、rusn確有影響以外，我們不知道另三個(gè)變量有無影響，因此這里我們將extrusn放在第一個(gè)block,進(jìn)入方法為enter（我們有把握extrusn一定有統(tǒng)計(jì)學(xué)意義）；另三個(gè)變量放在第二個(gè)block,進(jìn)入方法為stepwise（讓軟件自動選擇判斷），操作如下：Analyze=>Regression=>LinerDependent框：選入tear_resIndependent框：選入extrusn；單擊next鈕Independent框：選入additive、gloss和opacity;Method歹!J表框:選擇stepwise單擊OKffl結(jié)果解釋最終的結(jié)果如下：Regressi

14、onVaiiahiesEirteiedRemovetlbModelVariablesEnteredVariablesRemovedMethod1Extrusion0rEnter2AdditiveAmountStepwise(Criteria:Probat)ility*of*F*to-ente.050,Prababiiity-of-F*to*remove*=100),aAJIrequestedvariablesentered.b.DependentVariable:TearResistance上面的表格依次列出了模型的篩選過程，模型1用進(jìn)入法引入了extrusn,然后模型2用stepwise法引

15、入了additive,另兩個(gè)變量因沒有達(dá)到進(jìn)入標(biāo)準(zhǔn)，最終沒有進(jìn)入。上面的表格翻譯出來如下：模型進(jìn)入的變量移出的變量變量篩選方法1extrusn進(jìn)入法2additivestepwise法(標(biāo)準(zhǔn)：進(jìn)入概率小于0.05,移出概率大于0.1)ModelSuimihiiyModelRRSquareAdjustedRSquareStd.ErroroftheEstimate163Sa408375.3752766b,596,538,322Predictors：(Constant),Erusionb.Predictors:(Constant),Extrusion,AdditiveAmount上表是兩個(gè)模型變異系

16、數(shù)的改變情況，從調(diào)整的R可見，從上到下隨著新變量的引入，模型可解釋的變異占總變異的比例越來越大。ANOVACModelSumofSquaresdfMeanSquareFSig.1Regression1.74011.74012,408002aResidual2.5251S140Total4.26G192Regression2.50121.25012,048.001hResidual1.76517.104Total4.26519Predictors:(Constant),ExtrusionPredictors:(Constant),Extrusion,AdditiveAmountDependent

17、Variable:TearResistance上表是所用兩個(gè)模型的檢驗(yàn)結(jié)果，用的方法是方差分析，可見二個(gè)模型都有統(tǒng)計(jì)學(xué)意義。Coefflcieirts3ModelUnstandardizedCoefficientsStandardizedCcefficientstSig.日Std.ErrorBeta1(Constant)5.900.26522,278,000Extrusion590.167.6393.522.0022(Constant5.315.31416,926,000Extrusion590,1446394095,001AdditiveAmount390.1444222.707,015白D

18、eperidentVariable:TearResistance上表仍然為三個(gè)模型中各個(gè)系數(shù)的檢驗(yàn)結(jié)果，用的是t檢驗(yàn)，可見在模型2中所有的系數(shù)都有統(tǒng)計(jì)學(xué)意義，上表的內(nèi)容翻譯如下：未標(biāo)化的系數(shù)標(biāo)化的系數(shù)模型B標(biāo)準(zhǔn)誤Betat值P值1（常數(shù)）5.900.26522.278.000extrusion.590.167.6393.522.0002（常數(shù)）5.315.31416.926.000extrusion.590.144.6394.905.000additive.390.144.4222.707.000ExcludedViiblescModelBetaIntSigPartialCorrelation

19、CollinearityStatisticsTolerance1GlossJ071.93633S.233.744Opacity-,Q62J-.332.744-0009S4AdditiveAmount2707.015,5491.0002Gloss013b.062.952015.624ODatitv-I83b-1142,270-.274,928PredictorsintheModel:(Constant),ExtrusionPredictorsintheModel:(Constant),Extrusion,AdditiveAmount匚DependentVariable：TearResistanc

20、e這是新出現(xiàn)的一個(gè)表格，反映的是沒有進(jìn)入模型的各個(gè)變量的檢驗(yàn)結(jié)果，可見在模型1中，未引入模型的候選變量additive還有統(tǒng)計(jì)學(xué)意義，可能需要引入，而模型2中沒有引入的兩個(gè)變量其P值均大于0.05,無需再進(jìn)行分析了。10.2CurveEstimation過程CurveEstimation過程可以用與擬合各種各樣的曲線，原則上只要兩個(gè)變量間存在某種可以被它所描述的數(shù)量關(guān)系，就可以用該過程來分析。但這里我們要指出，由于曲線擬合非常的復(fù)雜，而該模塊的功能十分有限，因此最好采用將曲線相關(guān)關(guān)系通過變量變換的方式轉(zhuǎn)化為直線回歸的形式來分析，或者采用其他專用的模塊分析。界面詳解CurveEstimation

21、過程中有特色的對話框界面內(nèi)容如下:Independent&Variable：L±iCTimepIncludeconstantirCaseLabels：_J,j二(7PlotmodelsCUI-Models口LinearQuadratic廠CompoundGrowlhLogarithmic廠CubicI-S廠ExponenliaInversePower廠LogisticUpperbound：|FDisplayANOVAtableS卜面我們分別解釋一下它們的具體功能【Dependent框】用于選入曲線擬和中的應(yīng)變量，可選入多個(gè)，如果這樣，則對各個(gè)應(yīng)變量分別擬合模型。Indepen

22、dent單選框組】用于選入曲線擬和中的自變量，有兩種選擇，可以選入普通的自變量，也可以選擇時(shí)間作為自變量，如果這樣做，則所用的數(shù)據(jù)應(yīng)為時(shí)間序列數(shù)據(jù)格式。Models復(fù)選框組】是該對話框的重點(diǎn)，用于選擇所用的曲線模型，可用的有:Linear：擬合直線方程，實(shí)際上與Linear過程的二元直線回歸相同；Quadratic:擬合二次方程Y=b0+b1X+b2X2；Compound擬合復(fù)合曲線模型Y=b0xb1X；Growth：擬合等比級數(shù)曲線模型Y=e(b0+b1X)；Logarithmic:擬合對數(shù)方程Y=b0+b1lnX；Cubic：擬合三次方程Y=b0+b1X+b2X2+b3X3S:擬合S形曲線

23、Y=e(b0+b1/X);Exponential:擬合指數(shù)方程Y=b0eb1X；Inverse:數(shù)據(jù)按Y=b0+b1/X進(jìn)行變換；Power：擬合乘幕曲線模型Y=b0Xb1;Logistic:擬合Logistic曲線模型Y=1/(1/u+b0xb1X),如選擇該線型則要求輸入上界。庫上面的幾種線型和其他的模塊有重復(fù)，如Logistic、Liner等，由于本模塊的功能有限，在重復(fù)的情況下建議用其它專用模塊來分析。Includeconstantinequation復(fù)選框】確定是否在方程中包含常數(shù)項(xiàng)?！綪lotmodels復(fù)選框】要求對模型做圖，包括原始數(shù)值的連線圖和擬合模型的曲線圖。save鈕】彈出SAVE寸話框，用于定義想要存儲的中間結(jié)果，如預(yù)測值、預(yù)測值可信區(qū)間、殘差等?！綝isplayANOVAtable復(fù)選框】要求顯示模型檢驗(yàn)的方差分析表。10.2.2實(shí)例操作例10.3:錫克試驗(yàn)陰性率(%隨著年齡的增長而增高，某地查得兒童年齡(歲)X與錫克試驗(yàn)陰性率Y的資料如下，試擬合曲線。年齡(歲)1234567錫克試驗(yàn)陰性率(%57.176.090.993.096.795.696.2首先對年齡和陰性率作散點(diǎn)圖，發(fā)現(xiàn)兩者有斜率逐漸放緩的曲線趨勢，因此選擇二次曲線模型、三次曲線模型和對數(shù)曲線模型，