第10章 簡單回歸與相關分析

第10章簡單回歸與相關分析10.1變量間關系的度量10.2一元線性回歸10.3利用回歸方程進行估計和預測10.4殘差分析學習目標1. 相關系數(shù)的分析方法一元線性回歸的基本原理和參數(shù)的最小二乘估計回歸直線的擬合優(yōu)度回歸方程的顯著性檢驗利用回歸方程進行估計和預測子代與父代一樣嗎？Galton被譽為現(xiàn)代回歸和相關技術的創(chuàng)始人。1875年，Galton利用豌豆實驗來確定尺寸的遺傳規(guī)律。他挑選了7組不同尺寸的豌豆，并說服他在英國不同地區(qū)的朋友每一組種植10粒種子，最后把原始的豌豆種子(父代)與新長的豌豆種子(子代)進行尺寸比較當結果被繪制出來之后，他發(fā)現(xiàn)并非每一個子代都與父代一樣，不同的是，尺寸小的豌豆會得到更大的子代，而尺寸大的豌豆卻得到較小的子代。Galton把這一現(xiàn)象叫做“返祖”(趨向于祖先的某種平均類型)，后來又稱之為“向平均回歸”。一個總體中在某一時期具有某一極端特征(低于或高于總體均值)的個體在未來的某一時期將減弱它的極端性(或者是單個個體或者是整個子代)，這一趨勢現(xiàn)在被稱作“回歸效應”。人們發(fā)現(xiàn)它的應用很廣，而不僅限于從一代到下一代豌豆大小問題子代與父代一樣嗎？正如Galton進一步發(fā)現(xiàn)的那樣，平均來說，非常矮小的父輩傾向于有偏高的子代；而非常高大的父輩則傾向于有偏矮的子代。在第一次考試中成績最差的那些學生在第二次考試中傾向于有更好的成績(比較接近所有學生的平均成績)，而第一次考試中成績最好的那些學生在第二次考試中則傾向于有較差的成績(同樣比較接近所有學生的平均成績)。同樣，平均來說，第一年利潤最低的公司第二年不會最差，而第一年利潤最高的公司第二年則不會是最好的如果把父代和子代看作兩個變量，找出這兩個變量的關系，并根據(jù)這種關系建立適當?shù)臄?shù)學模型，就可以根據(jù)父代的數(shù)值預測子代的取值，這就是經(jīng)典的回歸方法要解決的問題。學完本章的內(nèi)容你會對回歸問題有更深入的理解10.1變量間關系的度量10.1.1變量間的關系10.1.2相關關系的描述與測度10.1.3相關系數(shù)的顯著性檢驗怎樣分析變量間的關系？建立回歸模型時，首先需要弄清楚變量之間的關系。分析變量之間的關系需要解決下面的問題變量之間是否存在關系？如果存在，它們之間是什么樣的關系？變量之間的關系強度如何？樣本所反映的變量之間的關系能否代表總體變量之間的關系？相關關系

(correlation)變量間關系不能用函數(shù)關系精確表達（不確定的數(shù)量關系）一個變量的取值不能由另一個變量唯一確定當變量

x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍

xy相關關系

(幾個例子)

相關關系的例子父親身高y與子女身高x之間的關系收入水平y(tǒng)與受教育程度x之間的關系糧食畝產(chǎn)量y與施肥量x1

、降雨量x2

、溫度x3之間的關系商品的消費量y與居民收入x之間的關系商品銷售額y與廣告費支出x之間的關系相關關系

(特點)一個變量的取值不能由另一個變量唯一確定，當變量x取某個值時，變量y的取值可能有幾個。無法用函數(shù)關系描述變量的不確定關系有規(guī)律可循，便兩間存在一定客觀規(guī)律相關與回歸分析正是描述與探索這類變量之間關系及其規(guī)律的統(tǒng)計方法。相關分析對兩個變量之間線性關系的描述與度量，它要解決的問題包括變量之間是否存在關系？如果存在關系，它們之間是什么樣的關系？變量之間的強度如何？樣本所反映的變量之間的關系能否代表總體變量之間的關系？相關關系

(類型)相關關系的描述與測度

(散點圖)散點圖

(scatterdiagram)

不相關

負線性相關

正線性相關

非線性相關

完全負線性相關完全正線性相關

散點圖

(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，其業(yè)務主要是進行基礎設施建設、國家重點項目建設、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的增長，這給銀行業(yè)務的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務的有關數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行2002年的有關業(yè)務數(shù)據(jù)散點圖

(例題分析)散點圖

(例題分析)相關關系的描述與測度

(相關系數(shù))相關系數(shù)

(correlationcoefficient)對變量之間關系密切程度的度量對兩個變量之間線性相關程度的度量稱為簡單相關系數(shù)若相關系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關系數(shù)，記為

若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關系數(shù)，記為r相關系數(shù)

(計算公式)

樣本相關系數(shù)的計算公式或化簡為相關系數(shù)

(取值及其意義)

r

的取值范圍是[-1,1]

|r|=1，為完全相關r=1，為完全正相關r=-1，為完全負正相關

r=0，不存在線性相關關系

-1

r<0，為負相關

0<r

1，為正相關

|r|越趨于1表示關系越密切；|r|越趨于0表示關系越不密切相關系數(shù)

(取值及其意義)

r

具有對稱性，rxy=ryx。

r數(shù)值大小與x和y的原點及尺度無關。

r僅僅是x和y之間線性關系的度量，不能用于描述非線性關系。

r雖然是兩個變量之間線性關系的度量，卻不一定意味著x和y一定有因果關系。相關系數(shù)

(取值及其意義)-1.0+1.00-0.5+0.5完全負相關無線性相關完全正相關負相關程度增加r正相關程度增加相關系數(shù)

(例題分析)

用Excel計算相關系數(shù)相關系數(shù)的顯著性檢驗相關系數(shù)的顯著性檢驗

1. r的抽樣分布隨總體相關系數(shù)和樣本容量的大小而變化當樣本數(shù)據(jù)來自正態(tài)總體時，隨著n的增大，r的抽樣分布趨于正態(tài)分布，尤其是在總體相關系數(shù)

很小或接近0時，趨于正態(tài)分布的趨勢非常明顯。而當

遠離0時，除非n非常大，否則r的抽樣分布呈現(xiàn)一定的偏態(tài)。當

為較大的正值時，r呈現(xiàn)左偏分布；當

為較小的負值時，r呈現(xiàn)右偏分布。只有當

接近于0，而樣本容量n很大時，才能認為r是接近于正態(tài)分布的隨機變量(r的抽樣分布)相關系數(shù)的顯著性檢驗

(檢驗的步驟)1. 檢驗兩個變量之間是否存在線性相關關系等價于對回歸系數(shù)b1的檢驗采用R.A.Fisher提出的t檢驗檢驗的步驟為提出假設：H0：

；H1：

0計算檢驗的統(tǒng)計量：確定顯著性水平，并作出決策若t>t

，拒絕H0

若t<t

，不能拒絕H0相關系數(shù)的顯著性檢驗

(例題分析)

對不良貸款與貸款余額之間的相關系數(shù)進行顯著性檢(

0.05)提出假設：H0：

；H1：

0計算檢驗的統(tǒng)計量3.根據(jù)顯著性水平

＝0.05，查t分布表得t

(n-2)=2.069由于t=7.5344>t

(25-2)=2.069，拒絕H0，不良貸款與貸款余額之間存在著顯著的正線性相關關系相關系數(shù)的顯著性檢驗

(例題分析)各相關系數(shù)檢驗的統(tǒng)計量10.2一元線性回歸10.2.1一元線性回歸模型10.2.2參數(shù)的最小二乘估計10.2.3回歸直線的擬合優(yōu)度10.2.4顯著性檢驗什么是回歸分析？

(Regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關系式對這些關系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關系式，根據(jù)一個或幾個變量的取值來預測或控制另一個特定變量的取值，并給出這種預測或控制的精確程度回歸一詞是怎么來的?？回歸分析與相關分析的區(qū)別相關分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預測因變量的變化相關分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x

可以是隨機變量，也可以是非隨機的確定變量相關分析主要是描述兩個變量之間線性關系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預測和控制

回歸模型的類型一元線性回歸模型一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關系被預測或被解釋的變量稱為因變量(dependentvariable)，用y表示（不良貸款）用來預測或用來解釋因變量的一個或多個變量稱為自變量(independentvariable)，用x表示（貸款余額等）因變量與自變量之間的關系用一個線性方程來表示回歸模型

(regressionmodel)回答“變量之間是什么樣的關系？”方程中運用1個數(shù)值型因變量(響應變量)被預測的變量1個或多個數(shù)值型或分類型自變量(解釋變量)用于預測的變量3. 主要用于預測和估計一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型可表示為

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關系之外的隨機因素對y的影響是不能由x和y之間的線性關系所解釋的變異性

0和

1稱為模型的參數(shù)一元線性回歸模型

e

誤差項e是未包括在模型中而影響y的全部變量的替代物，為什么不把這些變量都引進到模型中來呢？即，為什么不構造一個含有盡可能多個變量的回歸模型？理論的含糊性。即使有決定y的行為理論，但常常是不完全的，影響y的變量不是無所知就是知而不確。數(shù)據(jù)的欠缺。明知被忽略變量中的一些變量，但也不一定能得到關于這些變量的數(shù)量信息。核心變量與周邊變量。影響y的某些變量，合起來的影響太小，把它們一一引入模型是不合算的。一元線性回歸模型

e人類行為的內(nèi)在隨機性。糟糕的替代變量。實際觀測數(shù)據(jù)受到測量誤差的擾亂，誤差項e用來代表測量誤差。節(jié)省原則。在基本上解釋y的行為的基礎上，模型應盡可能簡單。錯誤的函數(shù)形式?？紤]多變量關系時，無法從圖形上想象一個多維散點圖，不容易決定適當?shù)暮瘮?shù)形式。一元線性回歸模型

(基本假定)誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=

0+

1x（重復抽樣中，x是非隨機的）對于所有的x值，ε的方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應的ε與其他x值所對應的ε不相關對于一個特定的x值，它所對應的y值與其他x所對應的y值也不相關回歸方程

(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下

E(y)=

0+

1x方程的圖示是一條直線，也稱為直線回歸方程

0是回歸直線在y軸上的截距，是當x=0時y的期望值

1是直線的斜率，稱為回歸系數(shù)，表示當x每變動一個單位時，y的平均變動值估計的回歸方程

(estimatedregressionequation)一元線性回歸中估計的回歸方程為用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計其中：是估計的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個給定的x的值，是y的估計值，也表示x每變動一個單位時，y的平均變動值

參數(shù)的最小二乘估計最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關系與實際數(shù)據(jù)的誤差比其他任何直線都小可知

0和

1的估計量的抽樣分布

0和

1具有較小的標準差最小二乘估計

(圖示)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘法

(

和的計算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下估計方程的求法

(例題分析)【例】求不良貸款對貸款余額的回歸方程回歸方程為：y=-0.8295

+0.037895

x回歸系數(shù)=0.037895表示，貸款余額每增加1億元，不良貸款平均增加0.037895億元

^估計方程的求法

(例題分析)不良貸款對貸款余額回歸方程的圖示用Excel進行回歸分析第1步：選擇“工具”下拉菜單第2步：選擇“數(shù)據(jù)分析”選項第3步：在分析工具中選擇“回歸”，然后選擇“確定”第4步：當對話框出現(xiàn)時

在“Y值輸入?yún)^(qū)域”設置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域在“X值輸入?yún)^(qū)域”設置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域在“置信度”選項中給出所需的數(shù)值在“輸出選項”中選擇輸出區(qū)域在“殘差”分析選項中選擇所需的選項

用Excel進行回歸分析回歸直線的擬合優(yōu)度變差因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示變差的分解

(圖示)xyy{}}

離差平方和的分解

(三個平方和的關系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R2

1，說明回歸方程擬合的越好；R2

0，說明回歸方程擬合的越差判定系數(shù)等于相關系數(shù)的平方，即R2＝r2判定系數(shù)r2

(例題分析)【例】計算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義

判定系數(shù)的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強的線性關系(r=0.843571).估計標準誤差

(standarderrorofestimate)實際觀察值與回歸估計值離差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項

的標準差

的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預測y時預測誤差的大小

計算公式為注：例題的計算結果為1.9799顯著性檢驗線性關系的檢驗檢驗自變量與因變量之間的線性關系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數(shù)p)殘差均方：殘差平方和SSE除以相應的自由度(n-p-1)線性關系的檢驗

(檢驗的步驟)提出假設H0：

1=0線性關系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平

，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不拒絕H0線性關系的檢驗

(例題分析)提出假設H0：

1=0不良貸款與貸款余額之間的線性關系不顯著計算檢驗統(tǒng)計量F確定顯著性水平

=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F

,拒絕H0，線性關系顯著線性關系的檢驗

(方差分析表)Excel輸出的方差分析表回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關系的顯著性檢驗檢驗x與y之間是否具有線性關系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎是回歸系數(shù)

的抽樣分布回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學期望：標準差：由于

未知，需用其估計量sy來代替得到的估計的標準差回歸系數(shù)的檢驗

(檢驗步驟)提出假設H0:b1=0(沒有線性關系)H1:b1

0(有線性關系)計算檢驗的統(tǒng)計量確定顯著性水平

，并進行決策

t>t

，拒絕H0；t<t

，不拒絕H0回歸系數(shù)的檢驗

(例題分析)

對例題的回歸系數(shù)進行顯著性檢驗(

＝0.05)提出假設H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t

=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關系回歸系數(shù)的檢驗

(例題分析)

P值的應用P=0.000000<

=0.05，拒絕原假設，不良貸款與貸款余額之間有線性關系回歸分析結果的評價用判定系數(shù)回答回歸模型在多大程度上解釋了因變量y取值的差異?？疾礻P于誤差項

的正態(tài)性是否成立？所估計的回歸系數(shù)的符號是否與理論或事先預期的一致，在不良貸款與貸款余額回歸中，回歸系數(shù)為正。如果理論上認為y與x之間的關系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也該如此。10.3利用回歸方程進行估計和預測10.3.1點估計10.3.2區(qū)間估計利用回歸方程進行估計和預測根據(jù)自變量x

的取值估計或預測因變量y的取值估計或預測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預測區(qū)間估計點估計點估計2.點估計值有y的平均值的點估計y的個別值的點估計在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0

，根據(jù)回歸方程得到因變量y的一個估計值

y的平均值的點估計

利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得y的個別值的點估計

利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計值，就是個別值的點估計例如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得區(qū)間估計區(qū)間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量

x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計(confidenceintervalestimate)預測區(qū)間估計(predictionintervalestimate)置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的估計區(qū)間

，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-

置信水平下的置信區(qū)間為式中：se為均方殘差=(MSE)0.5置信區(qū)間估計

(例題分析)

【例】求出貸款余額為100億元時，不良貸款95%置信水平下的置信區(qū)間

解：根據(jù)前面的計算結果，已知n=25，sy=1.9799，t

(25-2)=2.069置信區(qū)間為當貸款余額為100億元時，不良貸款的平均值在2.1141億元到3.8059億元之間預測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間(predictioninterval)

y0在1-

置信水平下的預測區(qū)間為注意！預測區(qū)間估計

(例題分析)【例】求出貸款余額為72.8億元的那個分行，不良貸款95%的預測區(qū)間

解：根據(jù)前面的計算結果，已知n=25，sy=1.9799，t

(25-2)=2.069預測區(qū)間為貸款余額為72.8億元的那個分行，其不良貸款的預測區(qū)間在-2.2766億元到6.1366億元之間影響區(qū)間寬度的因素置信水平(1-

)區(qū)間寬度隨置信水平的增大而增大數(shù)據(jù)的離散程度s區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預測的xp與