第12章_線性回歸分析

1、第十二章第十二章 線性回歸分析線性回歸分析授課教師：程曉謨授課教師：程曉謨主要內(nèi)容主要內(nèi)容1 一元線性回歸的基本思路和步驟一元線性回歸的基本思路和步驟2 多元線性回歸多元線性回歸3 SPSS的線性回歸操作的線性回歸操作什么是回歸分析？什么是回歸分析？(Regression)n從樣本數(shù)據(jù)出發(fā)，確定變量的；n對關(guān)系式的可信程度進行統(tǒng)計檢驗，找到影響某一特定變量；n根據(jù)變量的取值來另一個特定變量的取值，并給出這種預測或控制的精確程度；回歸分析的一般步驟回歸分析的一般步驟重點內(nèi)容重點內(nèi)容一元線性回歸一元線性回歸n涉及一個自變量的回歸；n因變量y與自變量x之間為線性關(guān)系；：被預測或被解釋的變量，用y表示

2、。：預測或解釋因變量的一個或多個變量，用x表示 。n因變量與自變量之間的關(guān)系用一條線性方程來表示；一元回歸的例子一元回歸的例子是否會顯著影響；是否會影響到；是否對有顯著影響；是否對有顯著影響；一元線性回歸模型一元線性回歸模型n描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型回歸模型n一元線性回歸模型： y = b b0 0 + + b b1 1 x + + y 是 x 的線性函數(shù)(部分)加上誤差項線性部分反映了由于 x 的變化引起的 y 的變化誤差項 是隨機變量l反映了除 x 和 y 之間線性關(guān)系之外的隨機因素對 y 的影響l是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性

3、一元線性回歸模型一元線性回歸模型(基本假定基本假定) n誤差項是期望值為0的隨機變量，即E()=0。n對于一個給定的 x 值，y 的期望值為 E ( y ) =b b 0+ b b 1 xn對于所有的 x 值，的方差2 都相同n誤差項協(xié)方差等于零，即i和j相互獨立（ij）；n誤差項是服從正態(tài)分布的隨機變量，且相互獨立。即N( 0 ,2 )回歸方程回歸方程 (regression equation)如何依賴于 x 的方程稱為回歸方程；回歸方程；n一元線性回歸方程的形式如下： E( y ) = b b0+ b b1 x方程表示一條直線，也稱為直線回歸方程；，是當 x=0 時 y 的期望值；估計的回

4、歸方程估計的回歸方程(estimated regression equation)n一元線性回歸中估計的回歸方程為：n用樣本統(tǒng)計量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計的回歸方程；估計的回歸方程；n總體回歸參數(shù) 和 是未知的，必須利用樣本數(shù)據(jù)去估計；其中： 是估計的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對于一個給定的 x 的值， 是 y 的估計值，也表示 x 每變動一個單位時， y 的平均變動值 。普通最小二乘法估計普通最小二乘法估計（OLS：Ordinary Least Square)n使因變量的觀察值與估計值之間的離差平方和達到最小來求得 和 的方法。即n用最小二乘

5、法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小0b1b最小二乘估計最小二乘估計(圖示圖示) 最小二乘法最小二乘法 ( 和和 的計算公式的計算公式)一元回歸方程一元回歸方程統(tǒng)計檢驗的主要內(nèi)容統(tǒng)計檢驗的主要內(nèi)容變差變差n因變量 y 取值的波動稱為變差n變差來源于兩個方面：由于自變量 x 的取值不同造成；除 x 以外的其他因素(如測量誤差等)的影響；n對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差 來表示。變差的分解變差的分解(圖示圖示) y離差平方和的分解離差平方和的分解 (三個平方和的意義三個平方和的意義)n總平方和總平方和(SST)反映因變量的 n 個

6、觀察值與其均值的；n回歸平方和回歸平方和(SSR)反映自變量 x 的變化對因變量 y 取值變化的影響，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為n殘差平方和殘差平方和(SSE)反映除 x 以外的其他因素對 y 取值的影響，也稱為；離差平方和的分解離差平方和的分解 (三個平方和的關(guān)系三個平方和的關(guān)系) 判定系數(shù)判定系數(shù)R2 (coefficient of determination)線性關(guān)系的檢驗線性關(guān)系的檢驗n檢驗所有自變量所有自變量與因變量之間的線性關(guān)系是否顯著；n將均方回歸 (MSR)同均方殘差 (MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著；均方回歸：回

7、歸平方和SSR除以相應的自由度(自變量的個數(shù)K) ；均方殘差：殘差平方和SSE除以相應的自由度(n-k-1)。線性關(guān)系的檢驗線性關(guān)系的檢驗 (檢驗的步驟檢驗的步驟) n提出假設H0：b1=0 所有回歸系數(shù)與零無顯著差異，y與全體x的線性關(guān)系不顯著線性關(guān)系的檢驗線性關(guān)系的檢驗 (sig值檢驗值檢驗)nSig值小于小于顯著性水平a，拒絕零假設認為所有回歸系數(shù)與零存在顯著差異，被解釋變量y與解釋變量x的線性關(guān)系顯著，可以用線性模型描述它們之間的關(guān)系；nSig值大于大于顯著性水平a，不應拒絕零假設說明用線性模型描述x和y之間的關(guān)系是不恰當?shù)?。n檢驗回歸方程中的x與被解釋變量y之間是否存在顯著的線性關(guān)系

8、；?；貧w系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗回歸系數(shù)的檢驗回歸系數(shù)的檢驗(樣本統(tǒng)計量樣本統(tǒng)計量 的分布的分布)1221()eiissxxnb1221()iixxnb2()1iieyysMSEnk回歸系數(shù)的檢驗回歸系數(shù)的檢驗 (檢驗步驟檢驗步驟) n提出假設H0: b1 = 0 (沒有線性關(guān)系) H1: b1 0 (有線性關(guān)系) n計算檢驗的統(tǒng)計量利用回歸方程進行估計和預測利用回歸方程進行估計和預測n 根據(jù)自變量 x 的取值估計或預測因變量 y的取值n 估計或預測的類型點估計ly 的平均值的點估計ly 的個別值的點估計區(qū)間估計ly 的平均值的置信區(qū)間置信區(qū)間估計ly 的個別值的預測區(qū)間預測區(qū)間估

9、計多元回歸模型多元回歸模型 (multiple regression model)n一個因變量與的回歸；n描述因變量 y 如何依賴于自變量 x1 ， x2 ， xk 和誤差項 的方程，稱為多元回歸模型；n涉及 p 個自變量的多元回歸模型可表示為b0 ，b1，b2 ，bk是參數(shù) 是被稱為誤差項的隨機變量 y 是x1,，x2 ， ，xk 的線性函數(shù)加上誤差項 是y不能被k個自變量的線性關(guān)系所解釋的變異性多元回歸模型多元回歸模型(基本假定基本假定) n誤差項是一個期望值為0的隨機變量，即E()=0；n對于自變量x1，x2，xk的所有值，的方差2都相同；n誤差項是一個服從正態(tài)分布的隨機變量，即N(0,

10、 2)，且相互獨立；多元回歸方程多元回歸方程 (multiple regression equation)n描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，xk的方程n多元線性回歸方程的形式為n E( y ) = b b0+ b b1 x1 + b b2 x2 + b bk xk b1，b2，bk稱為偏回歸系數(shù) bi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均變動值調(diào)整的多重判定系數(shù)調(diào)整的多重判定系數(shù)(adjusted multiple coefficient of determination) n用樣本容量n和自變量的個數(shù)k去修正R2得到 n計算公式為n避

11、免增加自變量而高估 R2n意義與 R2類似n數(shù)值小于R2線性關(guān)系檢驗線性關(guān)系檢驗n提出假設H0：b1b2bk=0 線性關(guān)系不顯著H1：b1，b2，bk至少有一個不等于0n計算檢驗統(tǒng)計量Fn確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F n作出決策：若FF ，拒絕H0回歸系數(shù)的檢驗回歸系數(shù)的檢驗(步驟步驟)n提出假設H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) n計算檢驗的統(tǒng)計量 tn 確定顯著性水平，并進行決策 tt2，拒絕H0； tt2，不能拒絕H0多元回歸分析中的其他問題多元回歸分析中的其

12、他問題多重共線性多重共線性(multicollinearity)n回歸模型中兩個或兩個以上的自變量彼此相關(guān)的現(xiàn)象。n多重共線性帶來的問題有 回歸系數(shù)估計值的不穩(wěn)定性增強；回歸系數(shù)假設檢驗的結(jié)果不顯著等。n多重共線性檢驗的主要方法容忍度方差膨脹因子（VIF）容忍度容忍度n容忍度nRi是解釋變量xi與方程中其他解釋變量間的復相關(guān)系數(shù)；n容忍度在01之間，越接近于0，表示多重共線性越強，越接近于1，表示多重共線性越弱。2Tol1iiR 方差膨脹因子方差膨脹因子n方差膨脹因子是容忍度的倒數(shù)nVIFi越大，特別是大于等于10，說明解釋變量xi與方程中其他解釋變量之間有嚴重的多重共線性；nVIFi越接近1

13、，表明解釋變量xi和其他解釋變量之間的多重共線性越弱。21VIF1iiR變量的篩選問題變量的篩選問題n回歸方程中到底引入多少解釋變量xn變量的篩選策略向前篩選策略（Forward）；向后篩選策略（Backward）；。向前篩選策略（向前篩選策略（Forward）n解釋變量x不斷進入回歸方程的過程；n首先，選擇與y具有最高線性相關(guān)系數(shù)的變量進入方程，進行回歸方程的各種檢驗；n然后，在剩余變量中尋找與當前解釋變量偏相關(guān)系數(shù)最高且通過檢驗的變量進入方程；n該過程一直重復，直到用盡所有的自變量。向后篩選策略（向后篩選策略（Backward）n變量不斷剔除出回歸方程的過程；n首先，所有自變量全部引入回歸

14、方程，對回歸方程進行檢驗；n然后，在回歸系數(shù)顯著性不高的變量中，剔除t檢驗值最小的自變量，重新檢驗新的回歸方程；n如果新建回歸方程中所有變量的回歸系數(shù)檢驗都顯著，則回歸方程建立結(jié)束。n否則重復第二步，直到再沒有可剔除的變量。逐步篩選策略（逐步篩選策略（Stepwise）n也叫逐步回歸n在向前篩選策略的基礎上，結(jié)合向后篩選策略，在每個變量進入方程后再次判斷是否存在應該剔除出方程的變量。一元回歸：自變量強行一元回歸：自變量強行進入的回歸進入的回歸n使用SPSS的“Analyze Regression linear”模塊分析n數(shù)據(jù)文件：例11.6.sav因變量因變量被解釋變量被解釋變量Y自變量自變量

15、解釋變量解釋變量X解釋變量的篩選策略解釋變量的篩選策略Enter 所選變量強行進入所選變量強行進入回歸方程；回歸方程；Stepwise逐步回歸策略；逐步回歸策略； Remove從回歸方程中從回歸方程中剔除所選變量；剔除所選變量；Backward向后篩選策略；向后篩選策略；Forward向前篩選策略；向前篩選策略；輸出回歸系數(shù)、回歸系數(shù)輸出回歸系數(shù)、回歸系數(shù)標準誤差、標準化回歸系數(shù)、標準誤差、標準化回歸系數(shù)、回歸系數(shù)顯著性檢驗回歸系數(shù)顯著性檢驗一元回歸的擬合優(yōu)度一元回歸的擬合優(yōu)度R2一元回歸只需要一元回歸只需要看此項即可看此項即可擬合優(yōu)度為擬合優(yōu)度為0.712，模型的總體擬合，模型的總體擬合情況

16、較好情況較好SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性值小于顯著性水平，拒絕回歸方程顯著性檢驗的零假設，認為各回歸系數(shù)不同時為零。檢驗的零假設，認為各回歸系數(shù)不同時為零。非標準化的回歸系數(shù)非標準化的回歸系數(shù)回歸系數(shù)的標準誤差回歸系數(shù)的標準誤差標準化回歸系數(shù)標準化回歸系數(shù)解釋變量解釋變量“各項貸款余額各項貸款余額”的的sig值小于顯著性水平值小于顯著性水平a，表明該解釋變量的回歸系數(shù)與零有顯著差異；表明該解釋變量的回歸系數(shù)與零有顯著差異；0.8300.038YX +非標準化回歸方程：標準化回歸方程：0.844YX多元回歸：自變量強行多元回歸：自變量強行進入的回歸進入的回歸n使用SPSS的“Analyze Regression linear”模塊分析n數(shù)據(jù)文件：例11.6.sav多元線性回歸模型 01 1223344+yxxxxbbbbb+多重共線性檢驗多重共線性檢驗調(diào)整的多重判定系數(shù)調(diào)整的多重判定系數(shù)多元回歸的擬合優(yōu)度檢驗看這一項，多元回歸的擬合優(yōu)度檢驗看這一項，調(diào)整的多重判定系數(shù)為調(diào)整的多重判定