用SPSS作線性回歸分

一、一元線性回歸二、一元線性回歸方程三、回歸關(guān)系的顯著性檢驗(yàn)四、置信區(qū)間五、多元線性回歸六、回歸診斷用SPSS作線性回歸分析

生產(chǎn)實(shí)踐中，常常能找到一個(gè)變量與另外一個(gè)變量之間的關(guān)系：小麥的施肥量與產(chǎn)量、水稻的株高和穗長、冬天的溫度與來年病蟲害的發(fā)生程度等等?；貧w分析就是找出合適的回歸方程，從而用一個(gè)變量來預(yù)測(cè)另一個(gè)變量。一元線性回歸：最簡單的回歸關(guān)系，即一個(gè)變量y在一個(gè)變量x上的回歸關(guān)系，稱x為自變量，y為因變量（或稱響應(yīng)變量、依賴變量）第一節(jié)一元線性回歸如果兩個(gè)變量x，y之間存在線性回歸關(guān)系，則有回歸模型：總體：yi＝+xi+i

a

稱為回歸截距

b

稱為回歸系數(shù)i

稱為隨機(jī)誤差樣本：yi

＝a+bxi+i回歸方程：

＝a+bx第一節(jié)一元線性回歸

回歸參數(shù)的計(jì)算——最小二乘法期望擬合的線性回歸方程與試驗(yàn)資料的誤差最小，擬合的誤差也稱作離回歸平方和或殘差，可以利用數(shù)學(xué)中求極值的方法解出a

和b

而使得誤差平方和為最小。

誤差平方和：第二節(jié)線性回歸方程分別求Q

對(duì)a

和b

的偏導(dǎo)數(shù)，令其等于0：

整理得正規(guī)方程組：第二節(jié)線性回歸方程解正規(guī)方程組：(3)式各項(xiàng)乘：(1)式除以

n

得：(2)-(5)式得：即：于是：于是：線性回歸方程便已求出為：第二節(jié)線性回歸方程對(duì)此統(tǒng)計(jì)假設(shè)有兩種檢驗(yàn)方法：檢驗(yàn)線性回歸關(guān)系是否存在，就是檢驗(yàn)建立回歸模型的樣本是否來自存在回歸關(guān)系的總體，即

H0：

＝0vsHA：

≠0

只有在此檢驗(yàn)結(jié)果為顯著時(shí)，用

a

估計(jì)

，用

b估計(jì)

，用估計(jì)

y

才是有意義的。F檢驗(yàn)法

和t

檢驗(yàn)法注：df1=1，df2=n-2的一尾F值等于df=n-2的兩尾t值的平方第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)

如果在模型

yi＝

+

xi+i中，

＝

0，這就意味著不管

xi為什么值，

yi都不發(fā)生實(shí)質(zhì)性變化；換言之，x和

y

之間沒有顯著的回歸關(guān)系。1.F檢驗(yàn)法利用下圖說明F檢驗(yàn)法的基本原理。

當(dāng)自變量為，對(duì)應(yīng)的因變量的實(shí)測(cè)值為，因變量的預(yù)測(cè)值為。于是的離均差可分解為兩個(gè)部分：離均差

隨機(jī)誤差回歸引起的偏差第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)對(duì)數(shù)據(jù)資料所有點(diǎn)的求和得：

對(duì)于任一個(gè)點(diǎn)有：

兩邊平方得：

證明：上式右邊的中間項(xiàng)為0：即

即第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)誤差平方和回歸平方和的總平方和于是：

的總平方和便分解為兩個(gè)部分：第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)對(duì)所有點(diǎn)求和得：

變異來源自由度平方和均方Ｆ值回歸誤差１n-2UQ

總變異n-1T檢驗(yàn)結(jié)論：若F>F0.05，則存在顯著的線性回歸關(guān)系。利用方差分析表第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)2.t檢驗(yàn)法其中回歸系數(shù)其標(biāo)準(zhǔn)誤:

第三節(jié)回歸關(guān)系的顯著性檢驗(yàn)H0:＝0vsHA：≠0選擇t

統(tǒng)計(jì)量:

研究光照強(qiáng)度與凈光合強(qiáng)度的關(guān)系光照

強(qiáng)度X凈光合

強(qiáng)度Y一級(jí)計(jì)算：30070010001500220030004000500060007000140260300380410492580690740830實(shí)例：回歸系數(shù)b

:回歸截距a:

實(shí)例：變異來源自由度平方和均方Ｆ值回歸誤差１84447841081044478413513295.3211.26總變異9455595F檢驗(yàn)結(jié)論：回歸關(guān)系達(dá)極顯著，可得線性回歸方程

用光照強(qiáng)度估測(cè)凈光合強(qiáng)度是合理的。1、F檢驗(yàn)法實(shí)例：P161實(shí)例：P1612、t

檢驗(yàn)結(jié)論：回歸關(guān)系極顯著，可得線性回歸方程用光照強(qiáng)度來預(yù)測(cè)凈光合強(qiáng)度是合理的。實(shí)例：t檢驗(yàn)第四節(jié)預(yù)測(cè)值的置信區(qū)間因此由x預(yù)測(cè)y時(shí)，y的95%置信區(qū)間為：由x預(yù)測(cè)y時(shí)，y有一定的誤差，其標(biāo)準(zhǔn)誤差為：實(shí)例：由x預(yù)測(cè)y的預(yù)測(cè)區(qū)間第一步：計(jì)算當(dāng)x=2500時(shí)，

y

的點(diǎn)估計(jì)值：第二步：求y的標(biāo)準(zhǔn)誤差：實(shí)例：由X預(yù)測(cè)Y的預(yù)測(cè)區(qū)間第三步：求y的置信區(qū)間：第四步：結(jié)論有95％的把握預(yù)測(cè)當(dāng)樹冠的光照強(qiáng)度為2500時(shí)，凈光合作用的強(qiáng)度在338.95到517.30之間。第五節(jié)多元線性回歸分析一、多元線性回歸分析概述上面討論的只是兩個(gè)變量的回歸問題，其中因變量只與一個(gè)自變量相關(guān)。但在大多數(shù)的實(shí)際問題中，影響因變量的因素不是一個(gè)而是多個(gè)，我們稱這類多自變量的回歸問題為多元回歸分析。這里著重討論簡單而又最一般的線性回歸問題，這是因?yàn)樵S多非線性的情形可以化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全相同，但在計(jì)算上卻要復(fù)雜得多。一、多元線性回歸分析概述多元線性回歸模型多元線性回歸方程第五節(jié)多元線性回歸分析式中β0β1β2

…βm為（偏）回歸系數(shù)式中b0

b1

b2

…

bm為（偏）回歸系數(shù)的估計(jì)值根據(jù)最小二乘法原理，的估計(jì)值應(yīng)該使

二、參數(shù)估計(jì)方法——最小二乘準(zhǔn)則由求極值的必要條件得：第五節(jié)多元線性回歸分析采用矩陣形式：

Y=XB+E二、參數(shù)估計(jì)方法——最小二乘準(zhǔn)則解得：第五節(jié)多元線性回歸分析1、回歸方程的假設(shè)檢驗(yàn)三、假設(shè)檢驗(yàn)原假設(shè)H0：β1＝β2＝…＝βm＝0F統(tǒng)計(jì)量為：回歸平方和：自由度：m誤差平方和：自由度：n-m-1第五節(jié)多元線性回歸分析2、回歸系數(shù)的假設(shè)檢驗(yàn)統(tǒng)計(jì)量為t：其中： C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素

Q

為誤差平方和，自由度：df=n-m-1第五節(jié)多元線性回歸分析原假設(shè)H0

：βi＝01）t檢驗(yàn)2、回歸系數(shù)的假設(shè)檢驗(yàn)統(tǒng)計(jì)量為：其中：Ui為xi對(duì)y的回歸平方和，Q

為誤差平方和C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素自由度：df1

=1

df2=n-m-1第五節(jié)多元線性回歸分析原假設(shè)H0

：βi＝02）F檢驗(yàn)四、回歸模型的選擇由于自變量較多時(shí)，不是每一個(gè)自變量的回歸關(guān)系都顯著，對(duì)回歸不顯著的自變量不能簡單的進(jìn)行剔除。尤其時(shí)自變量之間存在嚴(yán)重的線性關(guān)系時(shí)，自變量之間相互影響，很難對(duì)自變量的去留做出抉擇。為了獲得最優(yōu)回歸方程，就需要對(duì)自變量進(jìn)行篩選。第五節(jié)多元線性回歸分析常用的自變量的篩選方法：第五節(jié)多元線性回歸分析1、向前引入法（Forward）按顯著性程度，逐個(gè)將回歸模型外自變量引入回歸模型，直到?jīng)]有顯著的自變量引入為止。2、向后剔除法（Backward）對(duì)全回歸模型中不顯著的自變量依次剔除，直到回歸模型中剩余自變量都顯著為止。3、逐步篩選法（Stepwise）逐個(gè)引入最顯著的自變量，同時(shí)對(duì)模型中不顯著的自變量進(jìn)行剔除，直到?jīng)]有引入和剔除為止。五、回歸模型的判別準(zhǔn)則1.R2決定系數(shù)

AdjR2矯正的決定系數(shù)

n為觀測(cè)數(shù)，p為含截距的參數(shù)個(gè)數(shù)，i為截距數(shù)決定系數(shù)的值越大，越接近于1模型擬合越好。第五節(jié)多元線性回歸分析五、回歸模型的判別準(zhǔn)則2.PRESS統(tǒng)計(jì)量——預(yù)測(cè)殘差平方和其中ri

為殘差，hi

為杠桿率PERSS統(tǒng)計(jì)量用來比較不同方法所建立的回歸模型的優(yōu)劣，PRESS的值越小，模型越好。第五節(jié)多元線性回歸分析五、回歸模型的判別準(zhǔn)則3.Cp統(tǒng)計(jì)量其中k

為參數(shù)個(gè)數(shù)，n

為觀測(cè)數(shù)

ESS(k)為含k個(gè)參數(shù)的誤差平方和

ESS(T)為全回歸的誤差平方和Cp統(tǒng)計(jì)量的值越小，回歸模型越好。第五節(jié)多元線性回歸分析一、殘差（Residual）分析殘差：指實(shí)測(cè)值和預(yù)測(cè)值之間的差。第六節(jié)回歸診斷標(biāo)準(zhǔn)化殘差：學(xué)生化殘差：學(xué)生化殘差使殘差具有優(yōu)良的可比性殘差圖：以觀測(cè)值(x或y)為橫坐標(biāo)，殘差為縱坐標(biāo)第六節(jié)回歸診斷方差非齊性時(shí)，可用加權(quán)最小二乘法回歸，或者對(duì)因變量的數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q，如：第六節(jié)回歸診斷觀測(cè)值不獨(dú)立時(shí)（共線性）：說明自變量之間存在著一定的相關(guān)性。可能遺漏了某些重要的自變量；可用逐步回歸、偏最小二乘法回歸或嶺回歸等進(jìn)行分析。第六節(jié)回歸診斷異常點(diǎn)的識(shí)別：1.杠桿率hi刻劃第i各觀測(cè)值到中心的遠(yuǎn)近。2.一般把標(biāo)準(zhǔn)化殘差的絕對(duì)值≥2的點(diǎn)認(rèn)為是可疑點(diǎn)，絕對(duì)值≥3的點(diǎn)認(rèn)為是異常點(diǎn)?？紤]是否作為例外值加以剔除或做其它處理。杠桿率較大的數(shù)據(jù)點(diǎn)可以判別為可疑點(diǎn)。第六節(jié)回歸診斷二、貢獻(xiàn)分析貢獻(xiàn)分析：從研究觀測(cè)點(diǎn)對(duì)回歸結(jié)果的影響入手，找出對(duì)回歸結(jié)果影響比較大的觀測(cè)點(diǎn)。若存在對(duì)回歸結(jié)果影響比較大的觀測(cè)點(diǎn)時(shí)，得到的回歸模型無法保證其穩(wěn)定性和應(yīng)用效果。我們希望每個(gè)觀測(cè)點(diǎn)對(duì)回歸結(jié)果都產(chǎn)生一定的影響，個(gè)別觀測(cè)的改變不會(huì)對(duì)回歸模型產(chǎn)生較大的影響。對(duì)強(qiáng)影響點(diǎn)的值進(jìn)行復(fù)驗(yàn)，或增大樣本容量。1、DFFITS統(tǒng)計(jì)量此統(tǒng)計(jì)量衡量一個(gè)觀測(cè)排除與否對(duì)預(yù)測(cè)值的影響第六節(jié)回歸診斷一般當(dāng)時(shí)，該觀測(cè)值應(yīng)作為強(qiáng)影響點(diǎn)加以關(guān)注。2、CooksD統(tǒng)計(jì)量此統(tǒng)計(jì)量衡量一個(gè)觀測(cè)排除與否對(duì)回歸系數(shù)的影響一般當(dāng)|Di|>4/n

時(shí)，該觀測(cè)值應(yīng)作為強(qiáng)影響點(diǎn)加以關(guān)注。第六節(jié)回歸診斷第六節(jié)回歸診斷三、共線性診斷共線性：擬合多元線性回歸時(shí)，自變量之間存在線性或近似線性的關(guān)系。共線性存在時(shí)，可能會(huì)隱藏某些自變量的顯著性，增加擬合模型的方差，產(chǎn)生很不穩(wěn)定的回歸模型。進(jìn)行共線性診斷的方法是基于對(duì)自變量的觀測(cè)數(shù)據(jù)構(gòu)成的矩陣進(jìn)行分析，常用的統(tǒng)計(jì)量有：方差膨脹因子（容許度）和條件指數(shù)。1、方差膨脹因子（VIF）VIF是指回歸系數(shù)的估計(jì)量由于自變量的共線性使得方差增加的一個(gè)相對(duì)度量。一般若VIF>10表明存在很強(qiáng)的共線性。容許度（Tol）：Tol=1/VIF是自變量xi對(duì)模型中其余自變量線性回歸模型的決定系數(shù)R2第六節(jié)回歸診斷若矩陣X’X特征值為，則d1/dj，j＝1,2,…,k就稱為條件指數(shù)2、條件指數(shù)判別存在強(qiáng)共線性時(shí)，dj對(duì)應(yīng)的特征向量的變量間存在近似線性關(guān)系，根據(jù)方差貢獻(xiàn)大于0.5找出有共線性的變量集。條件指數(shù)在10～30間為弱相關(guān)；在30～100間為中等相關(guān)；大于100表明存在強(qiáng)相關(guān)。第六節(jié)回歸診斷第七節(jié)

SPSS的線性回歸操作一元回歸：自變量強(qiáng)行

進(jìn)入的回歸使用SPSS的“Analyze→Regression→linear”模塊分析數(shù)據(jù)文件：例11.6.sav研究假設(shè)：各項(xiàng)貸款余額x是影響不良貸款y的關(guān)鍵因素

因變量被解釋變量Y自變量解釋變量X解釋變量的篩選策略Enter所選變量強(qiáng)行進(jìn)入回歸方程；Stepwise逐步回歸策略；Remove從回歸方程中剔除所選變量；Backward向后篩選策略；Forward向前篩選策略；輸出回歸系數(shù)、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)一元回歸的擬合優(yōu)度R2一元回歸只需要看此項(xiàng)即可擬合優(yōu)度為0.712，模型的總體擬合情況較好SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性檢驗(yàn)的零假設(shè)，認(rèn)為各回歸系數(shù)不同時(shí)為零。非標(biāo)準(zhǔn)化的回歸系數(shù)回歸系數(shù)的標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)化回歸系數(shù)解釋變量“各項(xiàng)貸款余額”的sig值小于顯著性水平a，表明該解釋變量的回歸系數(shù)與零有顯