線性回歸分析

線性回歸分析第1頁(yè)，共70頁(yè)，2023年，2月20日，星期二主要內(nèi)容★1一元線性回歸的基本思路和步驟2多元線性回歸3SPSS的線性回歸操作第2頁(yè)，共70頁(yè)，2023年，2月20日，星期二第一節(jié)

一元線性回歸第3頁(yè)，共70頁(yè)，2023年，2月20日，星期二第4頁(yè)，共70頁(yè)，2023年，2月20日，星期二什么是回歸分析？

(Regression)從樣本數(shù)據(jù)出發(fā)，確定變量的數(shù)學(xué)關(guān)系式；對(duì)關(guān)系式的可信程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)，找到影響某一特定變量顯著因素；根據(jù)變量的取值來預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確程度；第5頁(yè)，共70頁(yè)，2023年，2月20日，星期二回歸分析的一般步驟重點(diǎn)內(nèi)容第6頁(yè)，共70頁(yè)，2023年，2月20日，星期二第7頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元線性回歸涉及一個(gè)自變量的回歸；因變量y與自變量x之間為線性關(guān)系；因變量(dependentvariable)：被預(yù)測(cè)或被解釋的變量，用y表示。自變量(independentvariable)：預(yù)測(cè)或解釋因變量的一個(gè)或多個(gè)變量，用x表示。因變量與自變量之間的關(guān)系用一條線性方程來表示；第8頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元回歸的例子人均收入是否會(huì)顯著影響人均食品消費(fèi)支出；貸款余額是否會(huì)影響到不良貸款；航班正點(diǎn)率是否對(duì)顧客投訴次數(shù)有顯著影響；廣告費(fèi)用支出是否對(duì)銷售額有顯著影響；第9頁(yè)，共70頁(yè)，2023年，2月20日，星期二第10頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型一元線性回歸模型：

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間線性關(guān)系之外的隨機(jī)因素對(duì)y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)第11頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元線性回歸模型

(基本假定)

誤差項(xiàng)ε是期望值為0的隨機(jī)變量，即E(ε)=0。對(duì)于一個(gè)給定的x值，y的期望值為

E(y)=0+

1x對(duì)于所有的x值，ε的方差σ2都相同誤差項(xiàng)協(xié)方差等于零，即εi和εj相互獨(dú)立（i≠j）；誤差項(xiàng)ε是服從正態(tài)分布的隨機(jī)變量。即ε~N(0,σ2)第12頁(yè)，共70頁(yè)，2023年，2月20日，星期二回歸方程

(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程；一元線性回歸方程的形式如下：

E(y)=0+1x方程表示一條直線，也稱為直線回歸方程；0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值；1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值；第13頁(yè)，共70頁(yè)，2023年，2月20日，星期二估計(jì)的回歸方程

(estimatedregressionequation)一元線性回歸中估計(jì)的回歸方程為：用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程；總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)；其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對(duì)于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值。第14頁(yè)，共70頁(yè)，2023年，2月20日，星期二普通最小二乘法估計(jì)

（OLS：OrdinaryLeastSquare)使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小第15頁(yè)，共70頁(yè)，2023年，2月20日，星期二最小二乘估計(jì)

(圖示)

xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾第16頁(yè)，共70頁(yè)，2023年，2月20日，星期二最小二乘法

(

和的計(jì)算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下第17頁(yè)，共70頁(yè)，2023年，2月20日，星期二第18頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元回歸方程

統(tǒng)計(jì)檢驗(yàn)的主要內(nèi)容第19頁(yè)，共70頁(yè)，2023年，2月20日，星期二第20頁(yè)，共70頁(yè)，2023年，2月20日，星期二變差因變量

y取值的波動(dòng)稱為變差變差來源于兩個(gè)方面：由于自變量x的取值不同造成；除x以外的其他因素(如測(cè)量誤差等)的影響；對(duì)一個(gè)具體的觀測(cè)值來說，變差的大小可以通過該實(shí)際觀測(cè)值與其均值之差來表示。第21頁(yè)，共70頁(yè)，2023年，2月20日，星期二變差的分解

(圖示)

xyy{}}第22頁(yè)，共70頁(yè)，2023年，2月20日，星期二離差平方和的分解

(三個(gè)平方和的意義)總平方和(SST)反映因變量的n個(gè)觀察值與其均值的總離差；回歸平方和(SSR)反映自變量x的變化對(duì)因變量y取值變化的影響，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和；殘差平方和(SSE)反映除x以外的其他因素對(duì)y取值的影響，也稱為不可解釋的平方和或剩余平方和；第23頁(yè)，共70頁(yè)，2023年，2月20日，星期二離差平方和的分解

(三個(gè)平方和的關(guān)系)

SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{第24頁(yè)，共70頁(yè)，2023年，2月20日，星期二判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸方程的擬合程度；取值范圍在[0,1]之間；

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差；一元線性回歸中，判定系數(shù)等于y和x相關(guān)系數(shù)的平方，即R2＝(r)2；第25頁(yè)，共70頁(yè)，2023年，2月20日，星期二第26頁(yè)，共70頁(yè)，2023年，2月20日，星期二線性關(guān)系的檢驗(yàn)檢驗(yàn)所有自變量與因變量之間的線性關(guān)系是否顯著；將均方回歸(MSR)同均方殘差(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著；均方回歸：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)K)；均方殘差：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)。第27頁(yè)，共70頁(yè)，2023年，2月20日，星期二線性關(guān)系的檢驗(yàn)

(檢驗(yàn)的步驟)

提出假設(shè)H0：1=0所有回歸系數(shù)與零無顯著差異，y與全體x的線性關(guān)系不顯著計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不能拒絕H0第28頁(yè)，共70頁(yè)，2023年，2月20日，星期二線性關(guān)系的檢驗(yàn)

(sig值檢驗(yàn))Sig值小于顯著性水平a，拒絕零假設(shè)認(rèn)為所有回歸系數(shù)與零存在顯著差異，被解釋變量y與解釋變量x的線性關(guān)系顯著，可以用線性模型描述它們之間的關(guān)系；Sig值大于顯著性水平a，不應(yīng)拒絕零假設(shè)說明用線性模型描述x和y之間的關(guān)系是不恰當(dāng)?shù)?。?9頁(yè)，共70頁(yè)，2023年，2月20日，星期二第30頁(yè)，共70頁(yè)，2023年，2月20日，星期二檢驗(yàn)回歸方程中的每個(gè)解釋變量x與被解釋變量y之間是否存在顯著的線性關(guān)系；確定解釋變量能否保留在線性回歸方程中?；貧w系數(shù)的顯著性檢驗(yàn)第31頁(yè)，共70頁(yè)，2023年，2月20日，星期二回歸系數(shù)的檢驗(yàn)

(樣本統(tǒng)計(jì)量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，服從正態(tài)分布；的分布具有如下性質(zhì)數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計(jì)量se來代替得到的估計(jì)標(biāo)準(zhǔn)差第32頁(yè)，共70頁(yè)，2023年，2月20日，星期二回歸系數(shù)的檢驗(yàn)

(檢驗(yàn)步驟)

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不能拒絕H0Sig值小于a，拒絕H0第33頁(yè)，共70頁(yè)，2023年，2月20日，星期二第34頁(yè)，共70頁(yè)，2023年，2月20日，星期二利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量x

的取值估計(jì)或預(yù)測(cè)因變量y的取值估計(jì)或預(yù)測(cè)的類型點(diǎn)估計(jì)y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y的平均值的置信區(qū)間估計(jì)y的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)第35頁(yè)，共70頁(yè)，2023年，2月20日，星期二第二節(jié)

多元線性回歸第36頁(yè)，共70頁(yè)，2023年，2月20日，星期二多元回歸模型

(multipleregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸；描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型；涉及k個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，，xk

的線性函數(shù)加上誤差項(xiàng)

是y不能被k個(gè)自變量的線性關(guān)系所解釋的變異性第37頁(yè)，共70頁(yè)，2023年，2月20日，星期二多元回歸模型

(基本假定)

誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=0；對(duì)于自變量x1，x2，…，xk的所有值，的方差2都相同；誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立；第38頁(yè)，共70頁(yè)，2023年，2月20日，星期二多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

kxkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值第39頁(yè)，共70頁(yè)，2023年，2月20日，星期二第40頁(yè)，共70頁(yè)，2023年，2月20日，星期二調(diào)整的多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本容量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2第41頁(yè)，共70頁(yè)，2023年，2月20日，星期二第42頁(yè)，共70頁(yè)，2023年，2月20日，星期二線性關(guān)系檢驗(yàn)提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，，k至少有一個(gè)不等于0計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F作出決策：若F>F，拒絕H0第43頁(yè)，共70頁(yè)，2023年，2月20日，星期二第44頁(yè)，共70頁(yè)，2023年，2月20日，星期二回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不能拒絕H0第45頁(yè)，共70頁(yè)，2023年，2月20日，星期二多元回歸分析中的其他問題第46頁(yè)，共70頁(yè)，2023年，2月20日，星期二多重共線性

(multicollinearity)回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)的現(xiàn)象。多重共線性帶來的問題有回歸系數(shù)估計(jì)值的不穩(wěn)定性增強(qiáng)；回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著等。多重共線性檢驗(yàn)的主要方法容忍度方差膨脹因子（VIF）第47頁(yè)，共70頁(yè)，2023年，2月20日，星期二容忍度容忍度Ri是解釋變量xi與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)；容忍度在0~1之間，越接近于0，表示多重共線性越強(qiáng)，越接近于1，表示多重共線性越弱。第48頁(yè)，共70頁(yè)，2023年，2月20日，星期二方差膨脹因子方差膨脹因子是容忍度的倒數(shù)VIFi越大，特別是大于等于10，說明解釋變量xi與方程中其他解釋變量之間有嚴(yán)重的多重共線性；VIFi越接近1，表明解釋變量xi和其他解釋變量之間的多重共線性越弱。第49頁(yè)，共70頁(yè)，2023年，2月20日，星期二變量的篩選問題回歸方程中到底引入多少解釋變量x變量的篩選策略向前篩選策略（Forward）；向后篩選策略（Backward）；逐步篩選策略（Stepwise）。第50頁(yè)，共70頁(yè)，2023年，2月20日，星期二向前篩選策略（Forward）解釋變量x不斷進(jìn)入回歸方程的過程；首先，選擇與y具有最高線性相關(guān)系數(shù)的變量進(jìn)入方程，進(jìn)行回歸方程的各種檢驗(yàn)；然后，在剩余變量中尋找與當(dāng)前解釋變量偏相關(guān)系數(shù)最高且通過檢驗(yàn)的變量進(jìn)入方程；該過程一直重復(fù)，直到用盡所有的自變量。第51頁(yè)，共70頁(yè)，2023年，2月20日，星期二向后篩選策略（Backward）變量不斷剔除出回歸方程的過程；首先，所有自變量全部引入回歸方程，對(duì)回歸方程進(jìn)行檢驗(yàn)；然后，在回歸系數(shù)顯著性不高的變量中，剔除t檢驗(yàn)值最小的自變量，重新檢驗(yàn)新的回歸方程；如果新建回歸方程中所有變量的回歸系數(shù)檢驗(yàn)都顯著，則回歸方程建立結(jié)束。否則重復(fù)第二步，直到再?zèng)]有可剔除的變量。第52頁(yè)，共70頁(yè)，2023年，2月20日，星期二逐步篩選策略（Stepwise）也叫逐步回歸在向前篩選策略的基礎(chǔ)上，結(jié)合向后篩選策略，在每個(gè)變量進(jìn)入方程后再次判斷是否存在應(yīng)該剔除出方程的變量。第53頁(yè)，共70頁(yè)，2023年，2月20日，星期二第三節(jié)

SPSS的線性回歸操作第54頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元回歸：自變量強(qiáng)行

進(jìn)入的回歸使用SPSS的“Analyze→Regression→linear”模塊分析數(shù)據(jù)文件：例11.6.sav第55頁(yè)，共70頁(yè)，2023年，2月20日，星期二研究假設(shè)：各項(xiàng)貸款余額x是影響不良貸款y的關(guān)鍵因素

因變量被解釋變量Y自變量解釋變量X解釋變量的篩選策略Enter所選變量強(qiáng)行進(jìn)入回歸方程；Stepwise逐步回歸策略；Remove從回歸方程中剔除所選變量；Backward向后篩選策略；Forward向前篩選策略；輸出回歸系數(shù)、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)一元回歸的擬合優(yōu)度R2第56頁(yè)，共70頁(yè)，2023年，2月20日，星期二一元回歸只需要看此項(xiàng)即可擬合優(yōu)度為0.712，模型的總體擬合情況較好第57頁(yè)，共70頁(yè)，2023年，2月20日，星期二SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性檢驗(yàn)的零假設(shè)，認(rèn)為各回歸系數(shù)不同時(shí)為零。第58頁(yè)，共70頁(yè)，2023年，2月20日，星期二非標(biāo)準(zhǔn)化的回歸系數(shù)回歸系數(shù)的標(biāo)準(zhǔn)誤差第59頁(yè)，共70頁(yè)，2023年，2月20日，星期二標(biāo)準(zhǔn)化回歸系數(shù)第60頁(yè)，共70頁(yè)，2023年，2月20日，星期二解釋變量“各項(xiàng)貸款余額”的sig值小于顯著性水平a，表明該解釋變量的回歸系數(shù)與零有顯著差異；非標(biāo)準(zhǔn)化回歸方程：標(biāo)準(zhǔn)化回歸方程：第61頁(yè)，共70頁(yè)，2023年，2月20日，星期二