線性回歸分析

§8.3線性回歸分析一、回歸分析原理回歸分析實際上就是建立某種數(shù)學模型并做檢驗。假定：一列（或多列）數(shù)據(jù)的變化同另一列數(shù)據(jù)的變化呈某種函數(shù)關系，衡量數(shù)據(jù)聯(lián)系強度的指標，并通過指標檢驗其符合的程度，就稱為回歸分析?；貧w分析包括：一元回歸、多元回歸以及線性回歸和非線性回歸：一元回歸：Y（因變量）取值：y1y2y3…X（自變量）取值：x1x2x3…建立一元線性回歸方程：Y=BX+C（方程中的B為回歸系數(shù)，C為常數(shù)）或者是非線性回歸方程：Y=f(X)多元回歸：Y（因變量）取值：y1y2y3…X1（自變量1）取值:x11x12x13…X2（自變量2）取值:x21x22x23………Xn（自變量n）取值:

xn1xn2xn3…建立多元線性回歸方程：Y=B1X1+B2X2…+BnXn+B0（方程中的Bi為回歸系數(shù)）或者是非線性回歸方程：Y=f（X1X2…Xn）二、回歸分析的概念假定測量數(shù)據(jù)為:因變量自變量1自變量2…自變量ny1x11x21…

xn1y2x12x22…

xn2………ymx1mx2m…

xnm建立因變量與自變量的關系，回歸方程：Y=B1X1+B2X2…+B0納入前：

εj為隨機因素影響，即殘差。納入后：

要求組內(nèi)離差平方和最小。

納入方程的自變量應滿足：①自變量的作用顯著X的變化應引起Y的顯著變化。從而需要對回歸方程做F檢驗：組間離差平方和：組內(nèi)離差平方和：總離差平方和：回歸均方差（組間方差）：殘差均方差（組內(nèi)方差）：計算F值，由F值查表，得到P。討論顯著度水平：<=α自變量作用顯著P

>α自變量作用不顯著將未進入方程的某自變量Xi與Y做方差分析，各水平均值差異顯著，滿足：F>3.84或P<=0.05則該Xi可以進入回歸方程。而已進入回歸方程的Xi與回歸后的Y如果出現(xiàn)：F<2.71,P>0.1則該Xi必須從回歸方程中剔除。②方程中回歸系數(shù)的作用顯著對已進入方程的變量的回歸系數(shù)做T檢驗，該檢驗的零假設是Bi=0，即回歸系數(shù)可以忽略，備擇假設是Bi不為零。T值的計算為：通過查表可以得到P（即：SigT）。若P>0.1的Xi須可以考慮首先從回歸方程中剔除。其中：Bi為偏回歸系數(shù)SEBi為偏回歸系數(shù)的標準誤③欲進入方程的自變量應當與已進入的自變量相關程度足夠低。引進描述相關程度的量：容忍度Tolerance，即變量之間的相關系數(shù)的顯著度水平。若：Tolerance>0.0001表明欲進入方程的自變量與其它自變量的相關程度低，即：xi與xj相關程度低，則xi可以進入回歸方程。三、自變量納入回歸方程的方式SPSSforWin8.0系統(tǒng)提供的自變量納入方程的方式有五種，分別為：①強行介入法Enter（一次性進入）這是一種不檢驗F和Tolerance，一次將全部自變量無條件地納入回歸方程。②強行剔除Remove（一次性剔除）指定某些變量不能進入方程。這種方法通常同別的方法聯(lián)合使用，而不能首先或單獨使用，因為第一次使用或單獨使用將意味著沒有哪個變量進入方程。③逐步進入Stepwise每次選擇符合進入條件的自變量進入方程，進入后立即檢驗，不合格者剔除，直到全部合格自變量進入方程。④反向剔除Backward先強行介入，再逐個剔除不合格變量，直到全合格。⑤正向進入Forward每次選擇符合進入條件的自變量進入方程，逐個選擇，逐個進入，直到全部合格自變量進入方程。四、操作步驟⒈回歸分析命令菜單執(zhí)行：[Statistics][Regression][Linear]選擇因變量到：“Dependent”因變量框內(nèi)選擇若干個自變量移動到：“Independent(s)”自變量框內(nèi)。⒉回歸方法“Method”下拉菜單提供了五種回歸方法供選擇：強行介入法Enter正向進入Forward反向剔除Backward逐步進入Stepwise強行剔除Remove“Block1ofn”可以將回歸步驟分為若干組塊。在指定了一組因變量和自變量后，可以用“Next”按鈕再建立另一個組塊，以便再次指定一組因變量和自變量。在建立了若干組塊以后，執(zhí)行回歸分析命令，將能夠逐一組塊地進行分析。例如：在研究“小麥產(chǎn)量”時，收集了“土壤成分”、“農(nóng)家肥料”、“化肥”、“灌溉”以及“種谷物的產(chǎn)量”等數(shù)據(jù)。假定：“小麥產(chǎn)量”為因變量。要求在回歸方程中先以“土壤成分”、“化肥”和“種谷物的產(chǎn)量”為自變量，然后剔除“種谷物的產(chǎn)量”，再將其它自變量根據(jù)系統(tǒng)的計算來確定是否納入方程。因此可以分成三個組塊來完成：①在第一組塊Block1中使用強行介入法Enter，選“土壤成分”、“化肥”和“種谷物的產(chǎn)量”為自變量。單擊“Next”按鈕。②在第二組塊Block2中使用強行剔除Remove，選擇“種谷物的產(chǎn)量”。再單擊“Next”按鈕。③在第三組塊Block3中使用正向進入Forward，選擇其它自變量。在最后結果中，“土壤成分”、“化肥”將成為自變量無條件進入方程，而“種谷物的產(chǎn)量”將不出現(xiàn)在方程中，其它自變量將根據(jù)其對方程的作用顯著程度決定是否進入方程。“SelectionVariable”為指定抽樣變量以及抽樣規(guī)則。例如：以年份year為抽樣變量，并指定抽樣規(guī)則為1985年以后的樣本，則可以指定“SelectionVariable”為year。在定義抽樣規(guī)則項“DefineSelectionrule”中定義：Greaterthan1985。⒊統(tǒng)計量的計算單擊計算統(tǒng)計按鈕：“Statistics”在計算統(tǒng)計對話窗口中，可以見到如下幾方面的內(nèi)容：⑴回歸系數(shù)的計算RegressionCoefficients：①“Estimates”計算各個自變量的回歸系數(shù)B、相關系數(shù)R、標準誤SEB、標準化回歸系數(shù)Beta、t檢驗的雙側概率以及容忍度Tolerance。②“Confidenceinterval”回歸系數(shù)的95%的置信區(qū)間。③“Covariancematrix”生成協(xié)方差矩陣。⑵統(tǒng)計輸出選項①“Modelfit”模式擬合。計算相關系數(shù)R、可決系數(shù)R2、調(diào)整相關系數(shù)AdjustedR-Square以及計算標準誤Std.ErrorofEstimates。②“Rsquaredchange”可決系數(shù)的變化。當納入的一個自變量的可決系數(shù)顯著大于其它自變量的可決系數(shù)，說明該自變量能夠很好地描述因變量。③“Descriptives”計算描述統(tǒng)計量：平均值、標準差、相關系數(shù)的顯著度水平的檢驗矩陣。④“PartandpartialCorrelate”計算零階以及偏相關系數(shù)。⑤“Collinearitydiagnostics”自變量線性相關檢驗，即容忍度檢驗。⑶殘差及樣本的檢驗①“Durbin-Watson”杜賓-沃特森檢驗對殘差的系列相關檢驗。進一步還計算殘差與自變量值的匯總統(tǒng)計。②“Casewisediagnostic”樣本診斷對符合回歸標準的樣本進行檢驗，并產(chǎn)生樣本診斷表。其中有兩個標準可供選擇：●Outliersoutside(n)Standarddeviations：奇異值(Outlier)的診斷。定義大于n個標準差的樣本觀測值為奇異值。系統(tǒng)默認n=3?！馎llcases：診斷所有的樣本。⒋生成回歸統(tǒng)計圖形單擊統(tǒng)計圖形按鈕“Plots”可以定義作圖變量以及圖形類型。系統(tǒng)將根據(jù)所選擇的變量和圖形類型產(chǎn)生相應的圖形。圖形包括：①散點圖(Scatterplot)在對話窗口變量列表中選擇自變量X和因變量Y建立圖形。圖形中的每個點將是這兩個變量的值決定的。用“Scatternof”的按鈕“Previous”和“Next”可以定義更多的自變量X和因變量Y來產(chǎn)生圖形。圖形對話窗口允許生成最多達9個散點圖。變量列表中的變量分別表示：DEPENDENT：因變量*ZPRED標準化預測值（預測值就是回歸后因變量的取值，區(qū)別于回歸前的觀測值）*ZRESID標準化殘差（預測值與觀測值之差的標準化）*DRESID剔除殘差*ADJPRED調(diào)整預測值*SRESID經(jīng)過t值化的殘差*SDRESID經(jīng)過t值化的剔除殘差②偏回歸圖復選項“Produceallpartialplot”將生成每個自變量的殘差同因變量的殘差圖。③標準化殘差圖復選項“Histogram”標準化殘差的直方圖。復選項“Normalprobabilityplot”正態(tài)概率圖，顯示了標準化殘差的觀測積累概率同期望積累概率的關系。五、保存變量“Save”將把分析產(chǎn)生的結果用新變量保存起來?？梢员４娴男伦兞坑校孩兕A測值項PredictedValuesUnstandardized非標準化預測值變量Standardized標準化預測值變量Adjusted調(diào)整預測值變量S.E.ofmeanpredictions預測值的標準誤變量②距離值項Distances保存有關不同距離計算的變量：Mahalanobis關于Mahalanobis距離變量Cook's關于Cook距離變量Leveragevalues關于中心點杠桿值變量預測區(qū)間項Predictionintervals保存預測區(qū)間有關的變量：Mean預測區(qū)間上下限的平均值變量Individual觀測區(qū)間變量③殘差項Residuals保存有關殘差的變量Unstandardized非標準化殘差變量Standardized標準化殘差變量Studentized學生化殘差變量Deleted剔除殘差變量StandardizedDeleted標準化剔除殘差變量④影響統(tǒng)計項Influencestatistics保存有關影響統(tǒng)計的變量DfBeta(s)產(chǎn)生的變量將反映：剔除一個可能是影響點的觀測值所引起的回歸系數(shù)的變化。當一個觀測值的標準化殘差的絕對值超過3，則該觀測值就是奇異值，回歸運算不應考慮StandardizedDfBeta(s)經(jīng)標準化的DfBeta(s)值。DfFit產(chǎn)生的變量將反映：剔除一個可能是影響點的觀測值所引起的預測值的變化。CovarianceRatio生成一個協(xié)方差率矩陣。該矩陣將是剔除一個可能是影響點的觀測值后的協(xié)方差矩陣與保留全部觀測值的協(xié)方差矩陣之比。⑤Savetonewfile項選項CoefficientsStatistics的作用是生成一個關于回歸系數(shù)的文件。六、選項“Options”選項：⑴SteppingMethodCriteria項本選項是設置變量納入方程或從方程中剔除的判據(jù)的。UseprobabilityofF用F檢驗的顯著度水平SigF。默認值F的Pin<=0.05可以納入回歸方程。F的Pout>=0.1將從回歸方程中剔除。UseFvalue用F檢驗的F值本身為判據(jù)。當Fin值>=3.84，將可以納入回歸方程。當Fout值<=2.71，將從回歸方程中剔除。⑵Includeconstantinequation在回歸方程中是否包含常數(shù)項。⑶Missingvalue項Excludecaseslistwise排除列表中變量含有缺失值的樣本。Excludecasespariwise排除運算變量含有缺失值的樣本。Replacewithmean用平均值代替缺失值參與運算。七、線性回歸分析所產(chǎn)生的結果經(jīng)過線性回歸分析，可以產(chǎn)生的主要結果有：⒈回歸方程

例如：Salnow=1.73408Salbeg+2.98048960Edle