《回歸分析一》課件

回歸分析(一)回歸分析(一)1什么是回歸分析？

(Regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度回歸一詞是怎么來的?？什么是回歸分析？

(Regression)從一組樣本數(shù)據(jù)出發(fā)2回歸模型

(regressionmodel)回答“變量之間是什么樣的關(guān)系？”方程中運用1個數(shù)值型的因變量(響應(yīng)變量，dependentvariable)被預(yù)測的變量1個或多個數(shù)值型的或分類的自變量(解釋變量，independentvariable)用于預(yù)測的變量3. 主要用于預(yù)測和估計回歸模型

(regressionmodel)回答“變量之間3回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x可以是隨機變量，也可以是非隨機的確定變量相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預(yù)測和控制回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x變量y處于4回歸模型的類型回歸模型的類型5第一節(jié)：一元線性回歸一元線性回歸模型參數(shù)的最小二乘估計回歸直線的擬合優(yōu)度顯著性檢驗第一節(jié)：一元線性回歸一元線性回歸模型6一元線性回歸模型一元線性回歸模型7一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測或用來解釋因變量的一個或多個變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一條線性方程來表示一元線性回歸涉及一個自變量的回歸8一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型可表示為y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)一元線性回歸模型描述因變量y如何依賴于自變量x和誤差9一元線性回歸模型

(基本假定,高斯假設(shè))為保證回歸模型的估計值具有無偏性、有效性、和一致性，需要滿足以下假設(shè)：誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)一元線性回歸模型

(基本假定,高斯假設(shè))為保證回歸模型的估計10

方差非齊性方差非齊性11回歸方程

(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當x=0時y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當x每變動一個單位時，y的平均變動值回歸方程

(regressionequation)描述12估計的回歸方程

(estimatedregressionequation)一元線性回歸中估計的回歸方程為用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計其中：是估計的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個給定的x的值，是y的估計值，也表示x每變動一個單位時，y的平均變動值

估計的回歸方程

(estimatedregression13參數(shù)的最小二乘估計參數(shù)的最小二乘估計14最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小15最小二乘估計

(圖示)xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘估計

(圖示)xy(xn,yn)(x1,y16最小二乘法

(

和的計算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下最小二乘法

(和的計算公式)根據(jù)最小二17估計方程的求法

(例題分析)【例】求不良貸款對貸款余額的回歸方程回歸方程為：y=-0.8295+0.037895x回歸系數(shù)=0.037895表示，貸款余額每增加1億元，不良貸款平均增加0.037895億元

估計方程的求法

(例題分析)【例】求不良貸款對貸款余額的回歸18估計方程的求法

(例題分析)不良貸款對貸款余額回歸方程的圖示估計方程的求法

(例題分析)不良貸款對貸款余額回歸方程的圖示19回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度20變差因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示變差因變量y的取值是不同的，y取值的這種波動稱為變差。21變差的分解

(圖示)xyy{}}變差的分解

(圖示)xyy{}}22離差平方和的分解

(三個平方和的關(guān)系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{離差平方和的分解

(三個平方和的關(guān)系)SST=SSR23離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和離差平方和的分解

(三個平方和的意義)總平方和(SST)24判定系數(shù)r2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝(r)2判定系數(shù)r2

(coefficientofdeter25判定系數(shù)r2

(例題分析)【例】計算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義

判定系數(shù)的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關(guān)系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強的線性關(guān)系判定系數(shù)r2

(例題分析)【例】計算不良貸款對貸款余額回26估計標準誤差

(standarderrorofestimate)實際觀察值與回歸估計值離差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項的標準差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預(yù)測y時預(yù)測誤差的大小

計算公式為注：例題的計算結(jié)果為1.9799估計標準誤差

(standarderrorofesti27顯著性檢驗顯著性檢驗28模型整體線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯著殘差均方(MSE)是σ2(即誤差項的方差)的無偏有效估計量，而當回歸系數(shù)為0時，回歸均方(MSR)才是σ2的無偏有效估計量。因此，將MSR與MSE加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著。如果差別顯著，則說明回歸系數(shù)并不等于零，方程具有較好的線性關(guān)系?；貧w均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)p)殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-p-1)模型整體線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯29模型整體線性關(guān)系的檢驗

(檢驗的步驟)提出假設(shè)H0：1=0線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不能拒絕H0模型整體線性關(guān)系的檢驗

(檢驗的步驟)提出假設(shè)2.30模型整體線性關(guān)系的檢驗

(例題分析)提出假設(shè)H0：1=0不良貸款與貸款余額之間的線性關(guān)系不顯著計算檢驗統(tǒng)計量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F=4.28作出決策：若F>F,拒絕H0，線性關(guān)系顯著模型整體線性關(guān)系的檢驗

(例題分析)提出假設(shè)確定顯著性水31單個回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布單個回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關(guān)系的顯著性檢32回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標準差：由于未知，需用其估計量sy來代替得到的估計的標準差回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)是根據(jù)最小二33回歸系數(shù)的檢驗

(檢驗步驟)提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0回歸系數(shù)的檢驗

(檢驗步驟)提出假設(shè)確定顯著性水平，34回歸系數(shù)的檢驗

(例題分析)對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)提出假設(shè)H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系回歸系數(shù)的檢驗

(例題分析)對例題的回歸系數(shù)進行顯著性檢35用SPSS進行回歸分析用SPSS進行回歸分析36第二節(jié)利用回歸方程進行

估計和預(yù)測點估計區(qū)間估計第二節(jié)利用回歸方程進行

估計和37利用回歸方程進行估計和預(yù)測根據(jù)自變量x的取值估計或預(yù)測因變量y的取值估計或預(yù)測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預(yù)測區(qū)間估計利用回歸方程進行估計和預(yù)測根據(jù)自變量x的取值估計或預(yù)測因38點估計點估計39點估計2.點估計值有y的平均值的點估計y的個別值的點估計在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計值點估計2.點估計值有對于自變量x的一個給定值x0，根40

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得y的平均值的點估計利用估計的回歸方程，對于自變量x41y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計值，就是個別值的點估計比如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得y的個別值的點估計利用估計的回歸方程，對于自變量x的42區(qū)間估計區(qū)間估計43區(qū)間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量

x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計(confidenceintervalestimate)預(yù)測區(qū)間估計(predictionintervalestimate)區(qū)間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤44置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-置信水平下的置信區(qū)間為式中：sy為估計標準誤差置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值45置信區(qū)間估計

(例題分析)

【例】求出貸款余額為100億元時，不良貸款95%的置信區(qū)間解：根據(jù)前面的計算結(jié)果，已知n=25，sy=1.9799，t(25-2)=2.0687置信區(qū)間為當貸款余額為100億元時，不良貸款的平均值在2.1422億元到3.7778億元之間置信區(qū)間估計

(例題分析)【例】求出貸款余額為100億元46預(yù)測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間(predictioninterval)

y0在1-置信水平下的預(yù)測區(qū)間為預(yù)測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值47預(yù)測區(qū)間估計

(例題分析)【例】求出貸款余額為72.8億元的分行，不良貸款95%的預(yù)測區(qū)間

解：根據(jù)前面的計算結(jié)果，已知n=25，sy=1.9799，t(25-2)=2.0687置信區(qū)間為貸款余額為72.8億元的那個分行，其不良貸款的預(yù)測區(qū)間在-2.2467億元到6.1067億元之間預(yù)測區(qū)間估計

(例題分析)【例】求出貸款余額為72.8億元的48影響區(qū)間寬度的因素置信水平(1-)區(qū)間寬度隨置信水平的增大而增大數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預(yù)測的xp與x的差異程度區(qū)間寬度隨xp與x的差異程度的增大而增大影響區(qū)間寬度的因素置信水平(1-)49置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測下限置信下限置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測50用SPSS進行估計和預(yù)測用SPSS進行估計和預(yù)測51用SPSS進行估計和預(yù)測其中：pre_1為預(yù)測(均)值；sep_1為預(yù)測均值的標準差；(lmci_1，umci_1)為置信區(qū)間；(lici_1，uici_1)為預(yù)測區(qū)間用SPSS進行估計和預(yù)測其中：pre_1為預(yù)測(均)值；52第三節(jié)：殘差分析用殘差證實模型的假定用殘差檢測異常值和有影響的觀測值第三節(jié)：殘差分析用殘差證實模型的假定53殘差

(residual)因變量的觀測值與根據(jù)估計的回歸方程求出的預(yù)測值之差，用e表示反映了用估計的回歸方程去預(yù)測而引起的誤差確定有關(guān)誤差項的假定是否成立檢測有影響的觀測值殘差

(residual)因變量的觀測值與根據(jù)估計的回歸方程54用殘差證實模型的假定用殘差證實模型的假定55殘差圖

(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖(適用于多變量回歸分析)標準化殘差圖學(xué)生化殘差圖標準化殘差直方圖正態(tài)概率圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差圖

(residualplot)表示殘差的圖形56殘差圖

(形態(tài)及判別)殘差圖

(形態(tài)及判別)57殘差圖

(例題分析)殘差圖

(例題分析)58標準化殘差

(standardizedresidual)殘差除以它的標準差后得到的數(shù)值。計算公式為

是第i個殘差的標準差，其計算公式為

標準化殘差

(standardizedresidual)59標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立若假定成立，標準化殘差的分布也應(yīng)服從正態(tài)分布(可從直方圖上觀察)在標準化殘差圖中，大約有95%的標準化殘差在-2到+2之間標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否60標準化殘差圖

(例題分析)標準化殘差圖

(例題分析)61標準化殘差直方圖橫軸為標準化殘差，縱軸為其頻數(shù)。判斷其是否服從正態(tài)分布，適用于樣本量較大的情況，否則難以識別。標準化殘差直方圖橫軸為標準化殘差，縱軸為其頻數(shù)。62正態(tài)概率圖是累積誤差的觀測分布與正態(tài)假設(shè)條件下的期望分布的比較，如果實際與假設(shè)條件完全吻合，那么散點將完全落在由原點出發(fā)的參照線上。橫軸為觀測的累積概率，縱軸為期望的累積概率。正態(tài)概率圖是累積誤差的觀測分布與正態(tài)假設(shè)條件下的期望分布的比63Durbin-Watson檢驗

dL和dU值通過查表獲得(根據(jù)自變量數(shù)和樣本量來查)用于檢驗誤差項是否自相關(guān)。查表：當DW<dL時，存在正的自相關(guān)當DW>4-dL時，存在負的自相關(guān)當dU<DW<4-dU時，不存在自相關(guān)。

灰色區(qū)間灰色區(qū)間DW44-dL4-dududL0拒絕原假設(shè)存在正相關(guān)不能拒絕原假設(shè)拒絕原假設(shè)存在負相關(guān)Durbin-Watson檢驗

dL和dU值通過查表獲得64用殘差檢測異常值和

有影響的觀測值用殘差檢測異常值和

有影響的觀測值65異常值

(outlier)如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標準化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型，或可以考慮增加樣本量如果完全是由于隨機因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔出異常值

(outlier)如果某一個點與其他點所呈現(xiàn)的趨勢不66異常值

(識別)異常值也可以通過標準化殘差或?qū)W生化殘差來識別如果某一個觀測值所對應(yīng)的標準化殘差較大，就可以識別為異常值一般情況下，當一個觀測值所對應(yīng)的標準化殘差小于-2或大于+2時，就可以將其視為異常值異常值

(識別)異常值也可以通過標準化殘差或?qū)W生化殘差來識別67有影響的觀測值如果某一個或某一些觀測值對回歸的結(jié)果有強烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值一個有影響的觀測值可能是一個異常值，即有一個的值遠遠偏離了散點圖中的趨勢線對應(yīng)一個遠離自變量平均值的觀測值或者是這二者組合而形成的觀測值，有影響的觀測值如果某一個或某一些觀測值對回歸的結(jié)果有強烈的影68有影響的觀測值

(圖示)不存在影響值的趨勢不存在影響值的趨勢存在影響值的趨勢有影響的觀測值

(圖示)不存在影響值的趨勢不存在影響值的趨勢69杠桿率點

(leveragepoint)如果自變量存在一個極端值，該觀測值則稱為高杠桿率點(highleveragepoint)在一元回歸中，第i個觀測值的杠桿率用hi表示，其計算公式為

如果一個觀測值的杠桿率就可以將該觀測值識別為有高杠桿率的點

一個有高杠桿率的觀測值未必是一個有影響的觀測值，它可能對回歸直線的斜率沒有什么影響SPSS可計算中心化杠桿值，為高杠桿值減去杠桿率點

(leveragepoint)如果自變量存在一個70高杠桿率點

(圖示)高杠桿率點高杠桿率點

(圖示)高杠桿率點71[Plots子對話框]用于選擇需要繪制的回歸分析診斷或預(yù)測圖左側(cè)給出繪圖時可用的中間變量列表。

繪制標準化殘差圖，可供選擇的有直方圖和正態(tài)P-P圖

對每個自變量繪出它與因變量殘差的散布圖,主要用于回歸診斷.[Plots子對話框]用于選擇需要繪制的回歸分析診斷或預(yù)測圖72回歸模型對因變量的原始預(yù)測值.進行標準化后回歸模型的預(yù)測值，此時均數(shù)為0，標準差為1。去掉當前記錄時,當前模型對該記錄的因變量的預(yù)測值?；貧w預(yù)測值的標準差。模型預(yù)測值對因變量觀測值的原始殘差。

進行標準化后的殘差，此時均數(shù)為0，標準差為1。

標準化法采用的是U變換，如果采用t變換，則產(chǎn)生的就是此處的學(xué)生化殘差，亦稱史氏化殘差。去掉當前記錄時，當前模型對該記錄因變量的預(yù)測值對因變量觀測值的原始殘差，通過觀察它可以發(fā)現(xiàn)可疑的強影響點。

上一個預(yù)測值進行t變換后的結(jié)果。

[Save子對話框]用來存儲中間結(jié)果(1/3)回歸模型對因變量的原始預(yù)測值.進行標準化后回歸模型的預(yù)測值，73[Save子對話框]用來存儲中間結(jié)果(2/3)

馬哈拉諾夫距離，表示記錄值離樣本平均值的距離若某條記錄多個自變量出現(xiàn)大的”馬氏”距離，則該記錄可能為離群值。

表示如果將該記錄去除，模型殘差會發(fā)生多大的變化一般而言，Cook's距離大于1，則該記錄可能為離群值或強影響點。杠桿值，用于測量該數(shù)據(jù)點的影響強度若該數(shù)值大于2*P/N(P為變量數(shù)，N為樣本量),則該記錄可能為強影響點。一些專門用于判斷強影響點的統(tǒng)計量。

即DifferenceinBeta的縮寫，表示去除某觀察值后其回歸系數(shù)的變化值。

標準化的DfBeta值，當它大于2/Sqrt(N)時(Sqrt()為平方根函數(shù))，該點可能為強影響點。即Differenceinfitvalue的縮寫，表示去除某觀察值后,其預(yù)測值的變化值。

標準化的DfFit值，當它大于2/Sqrt(P/N)時，該點可能為強影響點。

去除某觀察值之后協(xié)方差陣與含全部觀察值的協(xié)方差陣的比率其絕對值大于3*P/N時，該觀察值可能為強影響點。

一系列用于測量數(shù)據(jù)點與擬合模型距離的指標。

[Save子對話框]用來存儲中間結(jié)果(2/3)馬哈拉諾夫74要求給出均數(shù)的可信區(qū)間或個體參考值范圍的上下界，默認為95%區(qū)間可以自己設(shè)定概率值。將模型信息存入XML文件以便進一步分析.以上選擇默認會在當前數(shù)據(jù)集中建立新變量;Savetonewfile組則可以讓用戶將這些新變量存儲到一個新的SPSS數(shù)據(jù)文件中。

[Save子對話框]用來存儲中間結(jié)果(3/3)要求給出均數(shù)的可信區(qū)間或個體參考值范圍的上下界，默認為95%75用SPSS進行殘差分析用SPSS進行殘差分析76一元回歸分析的練習(xí)家庭人均支出的分析雇員數(shù)據(jù)的分析一元回歸分析的練習(xí)家庭人均支出的分析77結(jié)束結(jié)束78回歸分析(一)回歸分析(一)79什么是回歸分析？

(Regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度回歸一詞是怎么來的?？什么是回歸分析？

(Regression)從一組樣本數(shù)據(jù)出發(fā)80回歸模型

(regressionmodel)回答“變量之間是什么樣的關(guān)系？”方程中運用1個數(shù)值型的因變量(響應(yīng)變量，dependentvariable)被預(yù)測的變量1個或多個數(shù)值型的或分類的自變量(解釋變量，independentvariable)用于預(yù)測的變量3. 主要用于預(yù)測和估計回歸模型

(regressionmodel)回答“變量之間81回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x可以是隨機變量，也可以是非隨機的確定變量相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預(yù)測和控制回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x變量y處于82回歸模型的類型回歸模型的類型83第一節(jié)：一元線性回歸一元線性回歸模型參數(shù)的最小二乘估計回歸直線的擬合優(yōu)度顯著性檢驗第一節(jié)：一元線性回歸一元線性回歸模型84一元線性回歸模型一元線性回歸模型85一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測或用來解釋因變量的一個或多個變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一條線性方程來表示一元線性回歸涉及一個自變量的回歸86一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型可表示為y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)一元線性回歸模型描述因變量y如何依賴于自變量x和誤差87一元線性回歸模型

(基本假定,高斯假設(shè))為保證回歸模型的估計值具有無偏性、有效性、和一致性，需要滿足以下假設(shè)：誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)一元線性回歸模型

(基本假定,高斯假設(shè))為保證回歸模型的估計88

方差非齊性方差非齊性89回歸方程

(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當x=0時y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當x每變動一個單位時，y的平均變動值回歸方程

(regressionequation)描述90估計的回歸方程

(estimatedregressionequation)一元線性回歸中估計的回歸方程為用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計其中：是估計的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個給定的x的值，是y的估計值，也表示x每變動一個單位時，y的平均變動值

估計的回歸方程

(estimatedregression91參數(shù)的最小二乘估計參數(shù)的最小二乘估計92最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小93最小二乘估計

(圖示)xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘估計

(圖示)xy(xn,yn)(x1,y94最小二乘法

(

和的計算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下最小二乘法

(和的計算公式)根據(jù)最小二95估計方程的求法

(例題分析)【例】求不良貸款對貸款余額的回歸方程回歸方程為：y=-0.8295+0.037895x回歸系數(shù)=0.037895表示，貸款余額每增加1億元，不良貸款平均增加0.037895億元

估計方程的求法

(例題分析)【例】求不良貸款對貸款余額的回歸96估計方程的求法

(例題分析)不良貸款對貸款余額回歸方程的圖示估計方程的求法

(例題分析)不良貸款對貸款余額回歸方程的圖示97回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度98變差因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示變差因變量y的取值是不同的，y取值的這種波動稱為變差。99變差的分解

(圖示)xyy{}}變差的分解

(圖示)xyy{}}100離差平方和的分解

(三個平方和的關(guān)系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{離差平方和的分解

(三個平方和的關(guān)系)SST=SSR101離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和離差平方和的分解

(三個平方和的意義)總平方和(SST)102判定系數(shù)r2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝(r)2判定系數(shù)r2

(coefficientofdeter103判定系數(shù)r2

(例題分析)【例】計算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義

判定系數(shù)的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關(guān)系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強的線性關(guān)系判定系數(shù)r2

(例題分析)【例】計算不良貸款對貸款余額回104估計標準誤差

(standarderrorofestimate)實際觀察值與回歸估計值離差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項的標準差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預(yù)測y時預(yù)測誤差的大小

計算公式為注：例題的計算結(jié)果為1.9799估計標準誤差

(standarderrorofesti105顯著性檢驗顯著性檢驗106模型整體線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯著殘差均方(MSE)是σ2(即誤差項的方差)的無偏有效估計量，而當回歸系數(shù)為0時，回歸均方(MSR)才是σ2的無偏有效估計量。因此，將MSR與MSE加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著。如果差別顯著，則說明回歸系數(shù)并不等于零，方程具有較好的線性關(guān)系?；貧w均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)p)殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-p-1)模型整體線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯107模型整體線性關(guān)系的檢驗

(檢驗的步驟)提出假設(shè)H0：1=0線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不能拒絕H0模型整體線性關(guān)系的檢驗

(檢驗的步驟)提出假設(shè)2.108模型整體線性關(guān)系的檢驗

(例題分析)提出假設(shè)H0：1=0不良貸款與貸款余額之間的線性關(guān)系不顯著計算檢驗統(tǒng)計量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F=4.28作出決策：若F>F,拒絕H0，線性關(guān)系顯著模型整體線性關(guān)系的檢驗

(例題分析)提出假設(shè)確定顯著性水109單個回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布單個回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關(guān)系的顯著性檢110回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標準差：由于未知，需用其估計量sy來代替得到的估計的標準差回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)是根據(jù)最小二111回歸系數(shù)的檢驗

(檢驗步驟)提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0回歸系數(shù)的檢驗

(檢驗步驟)提出假設(shè)確定顯著性水平，112回歸系數(shù)的檢驗

(例題分析)對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)提出假設(shè)H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系回歸系數(shù)的檢驗

(例題分析)對例題的回歸系數(shù)進行顯著性檢113用SPSS進行回歸分析用SPSS進行回歸分析114第二節(jié)利用回歸方程進行

估計和預(yù)測點估計區(qū)間估計第二節(jié)利用回歸方程進行

估計和115利用回歸方程進行估計和預(yù)測根據(jù)自變量x的取值估計或預(yù)測因變量y的取值估計或預(yù)測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預(yù)測區(qū)間估計利用回歸方程進行估計和預(yù)測根據(jù)自變量x的取值估計或預(yù)測因116點估計點估計117點估計2.點估計值有y的平均值的點估計y的個別值的點估計在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計值點估計2.點估計值有對于自變量x的一個給定值x0，根118

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得y的平均值的點估計利用估計的回歸方程，對于自變量x119y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計值，就是個別值的點估計比如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得y的個別值的點估計利用估計的回歸方程，對于自變量x的120區(qū)間估計區(qū)間估計121區(qū)間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量

x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計(confidenceintervalestimate)預(yù)測區(qū)間估計(predictionintervalestimate)區(qū)間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤122置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-置信水平下的置信區(qū)間為式中：sy為估計標準誤差置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值123置信區(qū)間估計

(例題分析)

【例】求出貸款余額為100億元時，不良貸款95%的置信區(qū)間解：根據(jù)前面的計算結(jié)果，已知n=25，sy=1.9799，t(25-2)=2.0687置信區(qū)間為當貸款余額為100億元時，不良貸款的平均值在2.1422億元到3.7778億元之間置信區(qū)間估計

(例題分析)【例】求出貸款余額為100億元124預(yù)測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間(predictioninterval)

y0在1-置信水平下的預(yù)測區(qū)間為預(yù)測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值125預(yù)測區(qū)間估計

(例題分析)【例】求出貸款余額為72.8億元的分行，不良貸款95%的預(yù)測區(qū)間

解：根據(jù)前面的計算結(jié)果，已知n=25，sy=1.9799，t(25-2)=2.0687置信區(qū)間為貸款余額為72.8億元的那個分行，其不良貸款的預(yù)測區(qū)間在-2.2467億元到6.1067億元之間預(yù)測區(qū)間估計

(例題分析)【例】求出貸款余額為72.8億元的126影響區(qū)間寬度的因素置信水平(1-)區(qū)間寬度隨置信水平的增大而增大數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預(yù)測的xp與x的差異程度區(qū)間寬度隨xp與x的差異程度的增大而增大影響區(qū)間寬度的因素置信水平(1-)127置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測下限置信下限置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測128用SPSS進行估計和預(yù)測用SPSS進行估計和預(yù)測129用SPSS進行估計和預(yù)測其中：pre_1為預(yù)測(均)值；sep_1為預(yù)測均值的標準差；(lmci_1，umci_1)為置信區(qū)間；(lici_1，uici_1)為預(yù)測區(qū)間用SPSS進行估計和預(yù)測其中：pre_1為預(yù)測(均)值；130第三節(jié)：殘差分析用殘差證實模型的假定用殘差檢測異常值和有影響的觀測值第三節(jié)：殘差分析用殘差證實模型的假定131殘差

(residual)因變量的觀測值與根據(jù)估計的回歸方程求出的預(yù)測值之差，用e表示反映了用估計的回歸方程去預(yù)測而引起的誤差確定有關(guān)誤差項的假定是否成立檢測有影響的觀測值殘差

(residual)因變量的觀測值與根據(jù)估計的回歸方程132用殘差證實模型的假定用殘差證實模型的假定133殘差圖

(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖(適用于多變量回歸分析)標準化殘差圖學(xué)生化殘差圖標準化殘差直方圖正態(tài)概率圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差圖

(residualplot)表示殘差的圖形134殘差圖

(形態(tài)及判別)殘差圖

(形態(tài)及判別)135殘差圖

(例題分析)殘差圖

(例題分析)136標準化殘差

(standardizedresidual)殘差除以它的標準差后得到的數(shù)值。計算公式為

是第i個殘差的標準差，其計算公式為

標準化殘差

(standardizedresidual)137標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立若假定成立，標準化殘差的分布也應(yīng)服從正態(tài)分布(可從直方圖上觀察)在標準化殘差圖中，大約有95%的標準化殘差在-2到+2之間標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否138標準化殘差圖

(例題分析)標準化殘差圖

(例題分析)139標準化殘差直方圖橫軸為標準化殘差，縱軸為其頻數(shù)。判斷其是否服從正態(tài)分布，適用于樣本量較大的情況，否則難以識別。標準化殘差直方圖橫軸為標準化殘差，縱軸為其頻數(shù)。140正態(tài)概率圖是累積誤差的觀測分布與正態(tài)假設(shè)條件下的期望分布的比較，如果實際與假設(shè)條件完全吻合，那么散點將完全落在由原點出發(fā)的參照線上。橫軸為觀測的累積概率，縱軸為期望的累積概率。正態(tài)概率圖是累積誤差的觀測分布與正態(tài)假設(shè)條件下的期望分布的比141Durbin-Watson檢驗

dL和dU值通過查表獲得(根據(jù)自變量數(shù)和樣本量來查)用于檢驗誤差項是否自相關(guān)。查表：當DW<dL時，存在正的自相關(guān)當DW>4-dL時，存在負的自相關(guān)當dU<DW<4-dU時，不存在自相關(guān)。

灰色區(qū)間灰色區(qū)間DW44-dL4-dududL0拒絕原假設(shè)存在正相關(guān)不能拒絕原假設(shè)拒絕原假設(shè)存在負相關(guān)Durbin-Watson檢驗

dL和dU值通過查表獲得142用殘差檢測異常值和

有影響的觀測值用殘差檢測異常