第十二章-線性回歸分析.ppt

第十二章線性回歸分析,授課教師：楊衛(wèi)華博士,主要內(nèi)容,1一元線性回歸的基本思路和步驟2多元線性回歸3SPSS的線性回歸操作,第一節(jié)一元線性回歸,什么是回歸分析？(Regression),從樣本數(shù)據(jù)出發(fā)，確定變量的數(shù)學(xué)關(guān)系式；對關(guān)系式的可信程度進行統(tǒng)計檢驗，找到影響某一特定變量顯著因素；根據(jù)變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度；,回歸分析的一般步驟,重點內(nèi)容,一元線性回歸,涉及一個自變量的回歸；因變量y與自變量x之間為線性關(guān)系；因變量(dependentvariable)：被預(yù)測或被解釋的變量，用y表示。自變量(independentvariable)：預(yù)測或解釋因變量的一個或多個變量，用x表示。因變量與自變量之間的關(guān)系用一條線性方程來表示；,一元回歸的例子,人均收入是否會顯著影響人均食品消費支出；貸款余額是否會影響到不良貸款；航班正點率是否對顧客投訴次數(shù)有顯著影響；廣告費用支出是否對銷售額有顯著影響；,一元線性回歸模型,描述因變量y如何依賴于自變量x和誤差項的方程稱為回歸模型一元線性回歸模型：y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化引起的y的變化誤差項是隨機變量反映了除x和y之間線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù),一元線性回歸模型(基本假定),誤差項是期望值為0的隨機變量，即E()=0。對于一個給定的x值，y的期望值為E(y)=0+1x對于所有的x值，的方差2都相同誤差項協(xié)方差等于零，即i和j相互獨立（ij）；誤差項是服從正態(tài)分布的隨機變量。即N(0,2),回歸方程(regressionequation),描述y的平均值或期望值如何依賴于x的方程稱為回歸方程；一元線性回歸方程的形式如下：E(y)=0+1x,方程表示一條直線，也稱為直線回歸方程；0是回歸直線在y軸上的截距，是當(dāng)x=0時y的期望值；1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動一個單位時，y的平均變動值；,估計的回歸方程(estimatedregressionequation),一元線性回歸中估計的回歸方程為：,用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程；,總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計；,其中：是估計的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個給定的x的值，是y的估計值，也表示x每變動一個單位時，y的平均變動值。,普通最小二乘法估計（OLS：OrdinaryLeastSquare),使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即,用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小,最小二乘估計(圖示),最小二乘法(和的計算公式),根據(jù)最小二乘法的要求，可得求解和的公式如下,一元回歸方程統(tǒng)計檢驗的主要內(nèi)容,變差,因變量y取值的波動稱為變差變差來源于兩個方面：由于自變量x的取值不同造成；除x以外的其他因素(如測量誤差等)的影響；對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示。,變差的分解(圖示),離差平方和的分解(三個平方和的意義),總平方和(SST)反映因變量的n個觀察值與其均值的總離差；回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和；殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和；,離差平方和的分解(三個平方和的關(guān)系),判定系數(shù)R2(coefficientofdetermination),回歸平方和占總離差平方和的比例,反映回歸方程的擬合程度；取值范圍在0,1之間；R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差；一元線性回歸中，判定系數(shù)等于y和x相關(guān)系數(shù)的平方，即R2(r)2；,線性關(guān)系的檢驗,檢驗所有自變量與因變量之間的線性關(guān)系是否顯著；將均方回歸(MSR)同均方殘差(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著；均方回歸：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)K)；均方殘差：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)。,線性關(guān)系的檢驗(檢驗的步驟),提出假設(shè)H0：1=0所有回歸系數(shù)與零無顯著差異，y與全體x的線性關(guān)系不顯著,計算檢驗統(tǒng)計量F,確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若FF,拒絕H0；若Ft，拒絕H0；tF，拒絕H0,回歸系數(shù)的檢驗(步驟),提出假設(shè)H0：bi=0(自變量xi與因變量y沒有線性關(guān)系)H1：bi0(自變量xi與因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t,確定顯著性水平，并進行決策tt，拒絕H0；tt，不能拒絕H0,多元回歸分析中的其他問題,多重共線性(multicollinearity),回歸模型中兩個或兩個以上的自變量彼此相關(guān)的現(xiàn)象。多重共線性帶來的問題有回歸系數(shù)估計值的不穩(wěn)定性增強；回歸系數(shù)假設(shè)檢驗的結(jié)果不顯著等。多重共線性檢驗的主要方法容忍度方差膨脹因子（VIF）,容忍度,容忍度Ri是解釋變量xi與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)；容忍度在01之間，越接近于0，表示多重共線性越強，越接近于1，表示多重共線性越弱。,方差膨脹因子,方差膨脹因子是容忍度的倒數(shù)VIFi越大，特別是大于等于10，說明解釋變量xi與方程中其他解釋變量之間有嚴(yán)重的多重共線性；VIFi越接近1，表明解釋變量xi和其他解釋變量之間的多重共線性越弱。,變量的篩選問題,回歸方程中到底引入多少解釋變量x變量的篩選策略向前篩選策略（Forward）；向后篩選策略（Backward）；逐步篩選策略（Stepwise）。,向前篩選策略（Forward）,解釋變量x不斷進入回歸方程的過程；首先，選擇與y具有最高線性相關(guān)系數(shù)的變量進入方程，進行回歸方程的各種檢驗；然后，在剩余變量中尋找與當(dāng)前解釋變量偏相關(guān)系數(shù)最高且通過檢驗的變量進入方程；該過程一直重復(fù)，直到用盡所有的自變量。,向后篩選策略（Backward）,變量不斷剔除出回歸方程的過程；首先，所有自變量全部引入回歸方程，對回歸方程進行檢驗；然后，在回歸系數(shù)顯著性不高的變量中，剔除t檢驗值最小的自變量，重新