第六章相關(guān)分析與線性回歸分析課件

第六章相關(guān)分析與回歸分析1、一元相關(guān)分析2、多元相關(guān)分析3、一元線性回歸分析4、多元線性回歸分析第六章相關(guān)分析與回歸分析1、一元相關(guān)分析第一節(jié)一元相關(guān)分析一、變量之間的兩類關(guān)系確定性關(guān)系（函數(shù)關(guān)系）；非確定性關(guān)系（相關(guān)關(guān)系）；第一節(jié)一元相關(guān)分析函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點(diǎn)落在一條線上

xy函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系xy函數(shù)關(guān)系

(幾個(gè)例子)某種商品的銷售額y與銷售量x之間的關(guān)系可表示為y=px(p為單價(jià))圓的面積S與半徑R之間的關(guān)系可表示為

S=R2

企業(yè)的原材料消耗額y與產(chǎn)量x1

、單位產(chǎn)量消耗x2

、原材料價(jià)格x3之間的關(guān)系可表示為

y=x1x2x3

函數(shù)關(guān)系

(幾個(gè)例子)某種商品的銷售額y與銷售量x之間的關(guān)系相關(guān)關(guān)系

(correlation)變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量

x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)各觀測點(diǎn)分布在直線周圍

xy相關(guān)關(guān)系

(correlation)變量間關(guān)系不能用函數(shù)關(guān)系相關(guān)關(guān)系

(幾個(gè)例子)父親身高y與子女身高x之間的關(guān)系收入水平y(tǒng)與受教育程度x之間的關(guān)系糧食單位面積產(chǎn)量y與施肥量x1

、降雨量x2

、溫度x3之間的關(guān)系商品的消費(fèi)量y與居民收入x之間的關(guān)系商品銷售額y與廣告費(fèi)支出x之間的關(guān)系相關(guān)關(guān)系

(幾個(gè)例子)父親身高y與子女身高x之間的關(guān)系相關(guān)關(guān)系

(類型)相關(guān)關(guān)系線性相關(guān)非線性相關(guān)完全相關(guān)

不相關(guān)正相關(guān)負(fù)相關(guān)正相關(guān)負(fù)相關(guān)相關(guān)關(guān)系

(類型)相關(guān)關(guān)系線性相關(guān)非線性相關(guān)完全相關(guān)不相關(guān)相關(guān)關(guān)系的描述與測度

(散點(diǎn)圖)相關(guān)關(guān)系的描述與測度

(散點(diǎn)圖)相關(guān)分析及其假定相關(guān)分析要解決的問題變量之間是否存在關(guān)系？如果存在關(guān)系，它們之間是什么樣的關(guān)系？變量之間的關(guān)系強(qiáng)度如何？樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？為解決這些問題，在進(jìn)行相關(guān)分析時(shí)，對總體有以下兩個(gè)主要假定兩個(gè)變量之間是線性關(guān)系兩個(gè)變量都是隨機(jī)變量相關(guān)分析及其假定相關(guān)分析要解決的問題散點(diǎn)圖

(scatterdiagram)不相關(guān)負(fù)線性相關(guān)正線性相關(guān)非線性相關(guān)完全負(fù)線性相關(guān)完全正線性相關(guān)散點(diǎn)圖

(scatterdiagram)散點(diǎn)圖

(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進(jìn)行基礎(chǔ)設(shè)施建設(shè)、國家重點(diǎn)項(xiàng)目建設(shè)、固定資產(chǎn)投資等項(xiàng)目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的增長，這給銀行業(yè)務(wù)的發(fā)展帶來較大壓力。為弄清不良貸款形成的原因，管理者希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)進(jìn)行定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)散點(diǎn)圖

(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行第六章相關(guān)分析與線性回歸分析課件散點(diǎn)圖

(不良貸款對其他變量的散點(diǎn)圖)散點(diǎn)圖

(不良貸款對其他變量的散點(diǎn)圖)散點(diǎn)圖

(5個(gè)變量的散點(diǎn)圖矩陣)散點(diǎn)圖

(5個(gè)變量的散點(diǎn)圖矩陣)散點(diǎn)圖

(5個(gè)變量的散點(diǎn)圖矩陣)不良貸款貸款余額累計(jì)應(yīng)收貸款貸款項(xiàng)目個(gè)數(shù)固定自產(chǎn)投資散點(diǎn)圖

(5個(gè)變量的散點(diǎn)圖矩陣)不良貸款貸款余額累計(jì)應(yīng)收貸款SPSS軟件使用說明選項(xiàng)為Graphs－ScatterSPSS軟件使用說明選項(xiàng)為Graphs－Scatter相關(guān)關(guān)系的描述與測度

(相關(guān)系數(shù))相關(guān)關(guān)系的描述與測度

(相關(guān)系數(shù))相關(guān)系數(shù)

(correlationcoefficient)度量變量之間關(guān)系強(qiáng)度的一個(gè)統(tǒng)計(jì)量對兩個(gè)變量之間線性相關(guān)強(qiáng)度的度量稱為簡單相關(guān)系數(shù)若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為若相關(guān)系數(shù)是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，簡稱為相關(guān)系數(shù)，記為r也稱為線性相關(guān)系數(shù)(linearcorrelationcoefficient)或稱為Pearson相關(guān)系數(shù)(Pearson’scorrelationcoefficient)

相關(guān)系數(shù)

(correlationcoefficient)相關(guān)系數(shù)

(計(jì)算公式)

樣本相關(guān)系數(shù)的計(jì)算公式或化簡為相關(guān)系數(shù)

(計(jì)算公式)樣本相關(guān)系數(shù)的計(jì)算公式或化簡為相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r

的取值范圍是[-1,1]

|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負(fù)正相關(guān)

r=0，不存在線性相關(guān)關(guān)系

-1r<0，為負(fù)相關(guān)0<r1，為正相關(guān)|r|越趨于1表示關(guān)系越強(qiáng)；|r|越趨于0表示關(guān)系越弱相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r的取值范圍是[-1,1]相關(guān)系數(shù)的性質(zhì)

(取值及其意義的圖解)-1.0+1.00-0.5+0.5完全負(fù)相關(guān)無線性相關(guān)完全正相關(guān)負(fù)相關(guān)程度增加r正相關(guān)程度增加相關(guān)系數(shù)的性質(zhì)

(取值及其意義的圖解)-1.0+1.00-0相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對稱性。即x與y之間的相關(guān)系數(shù)和y與x之間的相關(guān)系數(shù)相等，即rxy=ryx性質(zhì)3：r數(shù)值大小與x和y原點(diǎn)及尺度無關(guān)，即改變x和y的數(shù)據(jù)原點(diǎn)及計(jì)量尺度，并不改變r(jià)數(shù)值大小性質(zhì)4：僅僅是x與y之間線性關(guān)系的一個(gè)度量，它不能用于描述非線性關(guān)系。這意味著，r=0只表示兩個(gè)變量之間不存在線性相關(guān)關(guān)系，并不說明變量之間沒有任何關(guān)系性質(zhì)5：r雖然是兩個(gè)變量之間線性關(guān)系的一個(gè)度量，卻不一定意味著x與y一定有因果關(guān)系相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對稱性。即x與y之間的相關(guān)系數(shù)和相關(guān)系數(shù)的經(jīng)驗(yàn)解釋

|r|0.8時(shí)，可視為兩個(gè)變量之間高度相關(guān)0.5|r|<0.8時(shí)，可視為中度相關(guān)0.3|r|<0.5時(shí)，視為低度相關(guān)|r|<0.3時(shí)，說明兩個(gè)變量之間的相關(guān)程度極弱，可視為不相關(guān)上述解釋必須建立在對相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)的基礎(chǔ)之上相關(guān)系數(shù)的經(jīng)驗(yàn)解釋|r|0.8時(shí)，可視為兩個(gè)變量之間高度相關(guān)系數(shù)

(例題分析)相關(guān)系數(shù)

(例題分析)相關(guān)系數(shù)的顯著性檢驗(yàn)相關(guān)系數(shù)的顯著性檢驗(yàn)相關(guān)系數(shù)的顯著性檢驗(yàn)

(r

的抽樣分布)1. r的抽樣分布隨總體相關(guān)系數(shù)和樣本容量的大小而變化當(dāng)樣本數(shù)據(jù)來自正態(tài)總體時(shí)，隨著n的增大，r

的抽樣分布趨于正態(tài)分布，尤其是在總體相關(guān)系數(shù)很小或接近0時(shí)，趨于正態(tài)分布的趨勢非常明顯。而當(dāng)遠(yuǎn)離0時(shí)，除非n非常大，否則r的抽樣分布呈現(xiàn)一定的偏態(tài)當(dāng)為較大的正值時(shí)，r呈現(xiàn)左偏分布；當(dāng)為較小的負(fù)值時(shí)，r呈現(xiàn)右偏分布。只有當(dāng)接近于0，而樣本容量n很大時(shí)，才能認(rèn)為r是接近于正態(tài)分布的隨機(jī)變量相關(guān)系數(shù)的顯著性檢驗(yàn)

(r的抽樣分布)1. r的抽樣分相關(guān)系數(shù)的顯著性檢驗(yàn)

(檢驗(yàn)的步驟)1. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系等價(jià)于對回歸系數(shù)b1的檢驗(yàn)采用R.A.Fisher提出的t檢驗(yàn)(假設(shè)數(shù)據(jù)是成對地從正態(tài)分布中取得的)檢驗(yàn)的步驟為提出假設(shè)：H0：；H1：0

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：

確定顯著性水平，并作出決策若t>t，拒絕H0

若t<t，不拒絕H0相關(guān)系數(shù)的顯著性檢驗(yàn)

(檢驗(yàn)的步驟)1. 檢驗(yàn)兩個(gè)變量之間是相關(guān)系數(shù)的顯著性檢驗(yàn)

(例題分析)對不良貸款與貸款余額之間的相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)(0.05)提出假設(shè)：H0：；H1：0計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3.根據(jù)顯著性水平＝0.05，查t分布表得t(n-2)=2.069由于t=7.5344>t(25-2)=2.069，拒絕H0，不良貸款與貸款余額之間存在著顯著的正線性相關(guān)關(guān)系相關(guān)系數(shù)的顯著性檢驗(yàn)

(例題分析)對不良貸款與貸款余額之相關(guān)系數(shù)的顯著性檢驗(yàn)

(例題分析)各相關(guān)系數(shù)檢驗(yàn)的統(tǒng)計(jì)量相關(guān)系數(shù)的顯著性檢驗(yàn)

(例題分析)各相關(guān)系數(shù)檢驗(yàn)的統(tǒng)計(jì)量相關(guān)系數(shù)的顯著性檢驗(yàn)

(需要注意的問題)即使統(tǒng)計(jì)檢驗(yàn)表明相關(guān)系數(shù)在統(tǒng)計(jì)上是顯著的，并不一定意味著兩個(gè)變量之間就存在重要的相關(guān)性因?yàn)樵诖髽颖镜那闆r下，幾乎總是導(dǎo)致相關(guān)系數(shù)顯著比如，r=0.1，在大樣本的情況下，也可能使得r通過檢驗(yàn)，但實(shí)際上，一個(gè)變量取值的差異能由另一個(gè)變量的取值來解釋的比例只有10%，這實(shí)際上很難說明兩個(gè)變量之間就有實(shí)際意義上的顯著關(guān)系相關(guān)系數(shù)的顯著性檢驗(yàn)

(需要注意的問題)即使統(tǒng)計(jì)檢驗(yàn)表明相關(guān)SPSS軟件使用說明選項(xiàng)為Analyze－Correlate－Bivariate

SPSS軟件使用說明選項(xiàng)為Analyze－Correlat相關(guān)系數(shù)的顯著性檢驗(yàn)

(需要注意的問題)即使統(tǒng)計(jì)檢驗(yàn)表明相關(guān)系數(shù)在統(tǒng)計(jì)上是顯著的，并不一定意味著兩個(gè)變量之間就存在重要的相關(guān)性因?yàn)樵诖髽颖镜那闆r下，幾乎總是導(dǎo)致相關(guān)系數(shù)顯著比如，r=0.1，在大樣本的情況下，也可能使得r通過檢驗(yàn)，但實(shí)際上，一個(gè)變量取值的差異能由另一個(gè)變量的取值來解釋的比例只有10%，這實(shí)際上很難說明兩個(gè)變量之間就有實(shí)際意義上的顯著關(guān)系相關(guān)系數(shù)的顯著性檢驗(yàn)

(需要注意的問題)即使統(tǒng)計(jì)檢驗(yàn)表明相關(guān)如果樣本數(shù)據(jù)不是來源與正態(tài)分布，該如何？如果樣本數(shù)據(jù)不是來源與正態(tài)分布，該如何？Spearman秩相關(guān)系數(shù)Pearson線性相關(guān)系數(shù)必須假設(shè)數(shù)據(jù)是成對地從正態(tài)分布中取得的，并且數(shù)據(jù)至少在邏輯范疇內(nèi)必須是等間距的數(shù)據(jù)。如果這兩條件不符合，一種可能就是采用Spearman秩相關(guān)系數(shù)來代替Pearson線性相關(guān)系數(shù)。Spearman秩相關(guān)系數(shù)是一個(gè)非參數(shù)性質(zhì)（與分布無關(guān)）的秩統(tǒng)計(jì)參數(shù)，由Spearman在1904年提出.Spearman秩相關(guān)系數(shù)Pearson線性相關(guān)系Spearman秩相關(guān)系數(shù)

假設(shè)原始的數(shù)據(jù)xi，yi已經(jīng)按從大到小的順序排列，記x’i，y’i為原xi，yi在排列后數(shù)據(jù)所在的位置，則x’i，y’i稱為變量x’i，y’i的秩次，則di=x’i-y’i為xi，yi的秩次之差。取值介于-1~1之間

Spearman秩相關(guān)系數(shù)假設(shè)原始的數(shù)據(jù)xi，yi已經(jīng)按從相關(guān)關(guān)系不等于因果關(guān)系，如何在多個(gè)變量之間找因果關(guān)系？相關(guān)關(guān)系不等于因果關(guān)系，如何在多個(gè)變量之間找因果關(guān)系？

暑假期間雙胞胎兄弟大明和小明參加勤工儉學(xué)，大明在超級市場幫助賣冷飲，小明在游泳池收門票。每天晚上，二人閑聊。昨天大明冷飲賣得多，小明門票也收得多，今天，大明賣得少，小明門票也收得少。一個(gè)月下來，他們發(fā)現(xiàn)，超級市場冷飲銷售量和游泳人數(shù)呈正相關(guān)。是不是愛吃冷飲的人想游泳？或愛游泳的人喜歡冷飲？爸爸是教統(tǒng)計(jì)學(xué)的，將他們11天冷飲銷售量(X1)、游泳人數(shù)(X2)以及當(dāng)天的氣溫(X3)的記錄匯集于下表。案例暑假期間雙胞胎兄弟大明和小明參加勤工儉學(xué)，大明在超級第六章相關(guān)分析與線性回歸分析課件結(jié)論：喜歡游泳的人都愛喝冷飲？Or愛喝冷飲的人都喜歡游泳？結(jié)論：喜歡游泳的人都愛喝冷飲？Or愛喝冷飲的人都喜歡游泳？第六章相關(guān)分析與線性回歸分析課件偏相關(guān)系數(shù)（部分相關(guān)系數(shù)）部分相關(guān)系數(shù)反映校正其它變量后某一變量與另一變量的相關(guān)關(guān)系，校正的意思可以理解為假定其它變量都取值為均數(shù)。即扣除其他變量的影響后，變量Y與X的相關(guān)，稱為Y與X的偏相關(guān)系數(shù)。計(jì)算公式偏相關(guān)系數(shù)（部分相關(guān)系數(shù)）部分相關(guān)系數(shù)反映校正其它變量后衡量偏相關(guān)程度用偏相關(guān)系數(shù)表示：ryx1

x2

為1階偏相關(guān)系數(shù)，即清除了X2

的影響后Y與X1之間的相關(guān)系數(shù)，ryx1

x2

x3

為2階偏相關(guān)系數(shù)，即清除了X2與X3的影響后

Y與X1

之間的相關(guān)系數(shù)，ryx1

x2…xk

為(k-1)階偏相關(guān)系數(shù)，即清除了X2…X3的影響后Y

與X1

之間的相關(guān)系數(shù)，衡量偏相關(guān)程度用偏相關(guān)系數(shù)表示：

暑假期間雙胞胎兄弟大明和小明參加勤工儉學(xué)，大明在超級市場幫助賣冷飲，小明在游泳池收門票。每天晚上，二人閑聊。昨天大明冷飲賣得多，小明門票也收得多，今天，大明賣得少，小明門票也收得少。一個(gè)月下來，他們發(fā)現(xiàn)，超級市場冷飲銷售量和游泳人數(shù)呈正相關(guān)。是不是愛吃冷飲的人想游泳？或愛游泳的人喜歡冷飲？爸爸是教統(tǒng)計(jì)學(xué)的，將他們11天冷飲銷售量(X1)、游泳人數(shù)(X2)以及當(dāng)天的氣溫(X3)的記錄匯集于表13-4。暑假期間雙胞胎兄弟大明和小明參加勤工儉學(xué)，大明在超級第六章相關(guān)分析與線性回歸分析課件游泳人數(shù)殘差冷飲銷售量殘差偏相關(guān)系數(shù)游泳人數(shù)殘差冷飲銷售量殘差偏相關(guān)系數(shù)SPSS軟件使用說明選項(xiàng)為Analyze－Correlate－Partial選擇計(jì)算的那些變量到Variable框中。選擇一個(gè)變量作為控制變量到Controllingfor框中。SPSS軟件使用說明選項(xiàng)為Analyze－Correlat第二節(jié)一元線性回歸一、一元線性回歸模型二、參數(shù)的最小二乘估計(jì)三、回歸直線的擬合優(yōu)度四、顯著性檢驗(yàn)五、回歸分析應(yīng)用第二節(jié)一元線性回歸一、一元線性回歸模型什么是回歸分析？

(regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來預(yù)測或控制另一個(gè)特定變量的取值，并給出這種預(yù)測或控制的精確程度什么是回歸分析？

(regression)從一組樣本數(shù)據(jù)出發(fā)趨向中間高度的回歸回歸這個(gè)術(shù)語是由英國著名統(tǒng)計(jì)學(xué)家FrancisGalton在19世紀(jì)末期研究孩子及其父母的身高時(shí)提出來的。Galton發(fā)現(xiàn)身材高的父母，他們的孩子身材也高。但這些孩子平均起來并不像他們的父母那樣高。對于比較矮的父母情形也類似：他們的孩子比較矮，但這些孩子的平均身高要比他們的父母的平均身高高。Galton把這種孩子的身高向平均值靠近的趨勢稱為一種回歸效應(yīng)，而他發(fā)展的研究兩個(gè)數(shù)值變量的方法稱為回歸分析趨向中間高度的回歸回歸這個(gè)術(shù)語是由英國著名統(tǒng)計(jì)學(xué)家Franc回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機(jī)變量；回歸分析中，因變量y是隨機(jī)變量，自變量x

是非隨機(jī)的確定變量相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測和控制回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x變量y處于回歸模型的類型回歸模型一元回歸多元回歸線性回歸非線性回歸線性回歸非線性回歸回歸模型的類型回歸模型一元回歸多元回歸線性回歸非線性回歸線性一元線性回歸模型一元線性回歸模型一元線性回歸涉及一個(gè)自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測或用來解釋因變量的一個(gè)或多個(gè)變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一個(gè)線性方程來表示一元線性回歸涉及一個(gè)自變量的回歸回歸模型

(regressionmodel)回答“變量之間是什么樣的關(guān)系？”方程中運(yùn)用1個(gè)數(shù)值型因變量(響應(yīng)變量)被預(yù)測的變量1個(gè)或多個(gè)數(shù)值型或分類型自變量(解釋變量)用于預(yù)測的變量3. 主要用于預(yù)測和估計(jì)回歸模型

(regressionmodel)回答“變量之間一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型一元線性回歸模型可表示為

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化而引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)一元線性回歸模型描述因變量y如何依賴于自變量x和誤差一元線性回歸模型

(基本假定)因變量y與自變量x之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(ε)=0。對于一個(gè)給定的x值，y的期望值為E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即ε~N(0,σ2)獨(dú)立性意味著對于一個(gè)特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個(gè)特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)一元線性回歸模型

(基本假定)因變量y與自變量x之間具有線一元線性回歸模型

(基本假定)x=x3時(shí)的E(y)x=x2時(shí)y的分布x=x1時(shí)y的分布x=x2時(shí)的E(y)x3x2x1x=x1時(shí)的E(y)0xyx=x3時(shí)y的分布0+1x一元線性回歸模型

(基本假定)x=x3時(shí)的E(y)x=x2回歸方程

(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值回歸方程

(regressionequation)描述估計(jì)的回歸方程

(estimatedregressionequation)一元線性回歸中估計(jì)的回歸方程為用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值估計(jì)的回歸方程

(estimatedregression參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)最小二乘估計(jì)

(methodofleastsquares)德國科學(xué)家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計(jì)參數(shù)

使因變量的觀察值與估計(jì)值之間的誤差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小最小二乘估計(jì)

(methodofleastsquareKarlGauss的最小化圖xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾KarlGauss的最小化圖xy(xn,yn)(x1最小二乘法

(

和的計(jì)算公式)

根據(jù)最小二乘法，可得求解和的公式如下最小二乘法

(和的計(jì)算公式)根據(jù)最小二用Excel進(jìn)行回歸分析第1步：選擇“工具”下拉菜單第2步：選擇【數(shù)據(jù)分析】選項(xiàng)第3步：在分析工具中選擇【回歸】，選擇【確定】第4步：當(dāng)對話框出現(xiàn)時(shí)

在【Y值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域在【X值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域在【置信度】選項(xiàng)中給出所需的數(shù)值在【輸出選項(xiàng)】中選擇輸出區(qū)域在【殘差】分析選項(xiàng)中選擇所需的選項(xiàng)用Excel進(jìn)行回歸分析第1步：選擇“工具”下拉菜單回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度變差因變量

y的取值是不同的，y取值的這種波動(dòng)稱為變差。變差來源于兩個(gè)方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個(gè)具體的觀測值來說，變差的大小可以通過該實(shí)際觀測值與其均值之差來表示變差因變量y的取值是不同的，y取值的這種波動(dòng)稱為變差。誤差的分解

(圖示)xyy誤差的分解

(圖示)xyy誤差平方和的分解

(三個(gè)平方和的關(guān)系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{誤差平方和的分解

(三個(gè)平方和的關(guān)系)SST=SSR誤差平方和的分解

(三個(gè)平方和的意義)總平方和(SST—totalsumofsquares)反映因變量的n個(gè)觀察值與其均值的總誤差回歸平方和(SSR—sumofsquaresofregression)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE—sumofsquaresoferror)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和誤差平方和的分解

(三個(gè)平方和的意義)總平方和(SST—t判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總誤差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝r2判定系數(shù)R2

(coefficientofdeter判定系數(shù)

(例題分析)【例】計(jì)算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義

判定系數(shù)的實(shí)際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關(guān)系來解釋，或者說，在不良貸款取值的變動(dòng)中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強(qiáng)的線性關(guān)系判定系數(shù)

(例題分析)【例】計(jì)算不良貸款對貸款余額回歸的估計(jì)標(biāo)準(zhǔn)誤差

(standarderrorofestimate)實(shí)際觀察值與回歸估計(jì)值誤差平方和的均方根反映實(shí)際觀察值在回歸直線周圍的分散狀況對誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)，是在排除了x對y的線性影響后，y隨機(jī)波動(dòng)大小的一個(gè)估計(jì)量反映用估計(jì)的回歸方程預(yù)測y時(shí)預(yù)測誤差的大小

計(jì)算公式為注：例題的計(jì)算結(jié)果為1.9799估計(jì)標(biāo)準(zhǔn)誤差

(standarderrorofesti估計(jì)標(biāo)準(zhǔn)誤差的自由度估計(jì)標(biāo)準(zhǔn)誤差的是殘差平方和SSE除以它的自由度后的平方根殘差平方和SSE的自由度之所以是n-2，原因是在計(jì)算SSE時(shí)，必須先求出和，這兩個(gè)估計(jì)值就是附加給SSE的兩個(gè)約束條件，因此在計(jì)算SSE時(shí)，只有n-2個(gè)獨(dú)立的觀測值，而不是n個(gè)一般而言，在有k個(gè)自變量的多元回歸中，自由度則為n-k一般的規(guī)律是：自由度=n-待估參數(shù)的個(gè)數(shù)估計(jì)標(biāo)準(zhǔn)誤差的自由度估計(jì)標(biāo)準(zhǔn)誤差的是殘差平方和SSE除以它的顯著性檢驗(yàn)顯著性檢驗(yàn)線性關(guān)系的檢驗(yàn)檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)k)殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)線性關(guān)系的檢驗(yàn)檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著線性關(guān)系的檢驗(yàn)

(檢驗(yàn)的步驟)提出假設(shè)H0：1=0線性關(guān)系不顯著2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不拒絕H0線性關(guān)系的檢驗(yàn)

(檢驗(yàn)的步驟)提出假設(shè)2.計(jì)算檢驗(yàn)線性關(guān)系的檢驗(yàn)

(例題分析)提出假設(shè)H0：1=0不良貸款與貸款余額之間的線性關(guān)系不顯著計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F,拒絕H0，線性關(guān)系顯著線性關(guān)系的檢驗(yàn)

(例題分析)提出假設(shè)確定顯著性水平=0線性關(guān)系的檢驗(yàn)

(方差分析表)Excel輸出的方差分析表線性關(guān)系的檢驗(yàn)

(方差分析表)Excel輸出的方差分析回歸系數(shù)的檢驗(yàn)在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn)采用t檢驗(yàn)檢驗(yàn)x與y之間是否具有線性關(guān)系，或者說，檢驗(yàn)自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布回歸系數(shù)的檢驗(yàn)在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn)檢回歸系數(shù)的檢驗(yàn)

(樣本統(tǒng)計(jì)量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計(jì)量se來代替得到的估計(jì)的標(biāo)準(zhǔn)差回歸系數(shù)的檢驗(yàn)

(樣本統(tǒng)計(jì)量的分布)是根據(jù)最小二回歸系數(shù)的檢驗(yàn)

(檢驗(yàn)步驟)提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不拒絕H0回歸系數(shù)的檢驗(yàn)

(檢驗(yàn)步驟)提出假設(shè)確定顯著性水平，回歸系數(shù)的檢驗(yàn)

(例題分析)對例題的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(＝0.05)提出假設(shè)H0：b1=0H1：b1

0計(jì)算檢驗(yàn)的統(tǒng)計(jì)量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有顯著的線性關(guān)系回歸系數(shù)的檢驗(yàn)

(例題分析)對例題的回歸系數(shù)進(jìn)行顯著性檢回歸系數(shù)的檢驗(yàn)

(例題分析)P值的應(yīng)用P=0.000000<=0.05，拒絕原假設(shè)，不良貸款與貸款余額之間有顯著的線性關(guān)系回歸系數(shù)的檢驗(yàn)

(例題分析)P值的應(yīng)用P=0.0000回歸分析結(jié)果的評價(jià)建立的模型是否合適？或者說，這個(gè)擬合的模型有多“好”？要回答這些問題，可以從以下幾個(gè)方面入手所估計(jì)的回歸系數(shù)

的符號是否與理論或事先預(yù)期相一致在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)為正值如果理論上認(rèn)為x與y之間的關(guān)系不僅是正的，而且是統(tǒng)計(jì)上顯著的，那么所建立的回歸方程也應(yīng)該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對回歸系數(shù)的t檢驗(yàn)結(jié)果表明二者之間的線性關(guān)系是統(tǒng)計(jì)上顯著的回歸分析結(jié)果的評價(jià)建立的模型是否合適？或者說，這個(gè)擬合的模型回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯(cuò)考察關(guān)于誤差項(xiàng)的正態(tài)性假定是否成立。因?yàn)槲覀冊趯€性關(guān)系進(jìn)行F檢驗(yàn)和回歸系數(shù)進(jìn)行t檢驗(yàn)時(shí)，都要求誤差項(xiàng)服從正態(tài)分布，否則，我們所用的檢驗(yàn)程序?qū)⑹菬o效的。正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖回歸分析結(jié)果的評價(jià)回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)Excel輸出的部分回歸結(jié)果名稱計(jì)算公式AdjustedRSquareIntercept的抽樣標(biāo)準(zhǔn)誤差I(lǐng)ntercept95%的置信區(qū)間斜率95%的置信區(qū)間Excel輸出的部分回歸結(jié)果名稱計(jì)算公式AdjustedR五、利用回歸方程進(jìn)行估計(jì)和預(yù)測根據(jù)自變量x

的取值估計(jì)或預(yù)測因變量y的取值估計(jì)或預(yù)測的類型點(diǎn)估計(jì)y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y的平均值的置信區(qū)間估計(jì)y的個(gè)別值的預(yù)測區(qū)間估計(jì)五、利用回歸方程進(jìn)行估計(jì)和預(yù)測根據(jù)自變量x的取值估計(jì)或預(yù)點(diǎn)估計(jì)點(diǎn)估計(jì)點(diǎn)估計(jì)2.點(diǎn)估計(jì)值有y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)在點(diǎn)估計(jì)條件下，平均值的點(diǎn)估計(jì)和個(gè)別值的的點(diǎn)估計(jì)是一樣的，但在區(qū)間估計(jì)中則不同對于自變量x的一個(gè)給定值x0

，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)值點(diǎn)估計(jì)2.點(diǎn)估計(jì)值有對于自變量x的一個(gè)給定值x0，根

y的平均值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值x0

，求出因變量y

的平均值的一個(gè)估計(jì)值E(y0)，就是平均值的點(diǎn)估計(jì)在前面的例子中，假如我們要估計(jì)貸款余額為100億元時(shí)，所有分行不良貸款的平均值，就是平均值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得y的平均值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對于自變量xy的個(gè)別值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)值，就是個(gè)別值的點(diǎn)估計(jì)例如，如果我們只是想知道貸款余額為72.8億元的那個(gè)分行(這里是編號為10的那個(gè)分行)的不良貸款是多少，則屬于個(gè)別值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得y的個(gè)別值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對于自變量x的區(qū)間估計(jì)點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì)對于自變量

x的一個(gè)給定值x0，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)區(qū)間區(qū)間估計(jì)有兩種類型置信區(qū)間估計(jì)(confidenceintervalestimate)預(yù)測區(qū)間估計(jì)(predictionintervalestimate)區(qū)間估計(jì)點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤置信區(qū)間估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值x0

，求出因變量y

的平均值的估計(jì)區(qū)間，這一估計(jì)區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-置信水平下的置信區(qū)間為式中：se為估計(jì)標(biāo)準(zhǔn)誤差置信區(qū)間估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值置信區(qū)間估計(jì)

(例題分析)【例】求出貸款余額為100億元時(shí)，不良貸款95%置信水平下的置信區(qū)間解：根據(jù)前面的計(jì)算結(jié)果，已知n=25，

se=1.9799，t(25-2)=2.069

置信區(qū)間為當(dāng)貸款余額為100億元時(shí)，不良貸款的平均值在2.1141億元到3.8059億元之間置信區(qū)間估計(jì)

(例題分析)【例】求出貸款余額為100億元預(yù)測區(qū)間估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間(predictioninterval)

y0在1-置信水平下的預(yù)測區(qū)間為注意！預(yù)測區(qū)間估計(jì)利用估計(jì)的回歸方程，對于自變量x的一個(gè)給定值預(yù)測區(qū)間估計(jì)

(例題分析)【例】求出貸款余額為72.8億元的那個(gè)分行，不良貸款95%的預(yù)測區(qū)間解：根據(jù)前面的計(jì)算結(jié)果，已知n=25，

se=1.9799，t(25-2)=2.069

預(yù)測區(qū)間為貸款余額為72.8億元的那個(gè)分行，其不良貸款的預(yù)測區(qū)間在-2.2766億元到6.1366億元之間預(yù)測區(qū)間估計(jì)

(例題分析)【例】求出貸款余額為72.8億元的影響區(qū)間寬度的因素置信水平(1-)區(qū)間寬度隨置信水平的增大而增大數(shù)據(jù)的離散程度s區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預(yù)測的xp與x的差異程度區(qū)間寬度隨xp與x的差異程度的增大而增大影響區(qū)間寬度的因素置信水平(1-)置信區(qū)間和預(yù)測區(qū)間

(例題分析)置信區(qū)間和預(yù)測區(qū)間

(例題分析)置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測下限置信下限置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyxx預(yù)測上限置信上限預(yù)測估計(jì)和預(yù)測需要注意的問題在利用回歸方程進(jìn)行估計(jì)或預(yù)測時(shí)，不要用樣本數(shù)據(jù)之外的x值去預(yù)測相對應(yīng)的y值因?yàn)樵谝辉€性回歸分析中，總是假定因變量y與自變量x之間的關(guān)系用線性模型表達(dá)是正確的。但實(shí)際應(yīng)用中，它們之間的關(guān)系可能是某種曲線此時(shí)我們總是要假定這條曲線只有一小段位于x測量值的范圍之內(nèi)。如果x的取值范圍是在xL和xU之間，那么可以用所求出的利用回歸方程對處于xL和xU之間的值來估計(jì)E(y)和預(yù)測y。如果用xL和xU之間以外的值得出的估計(jì)值和預(yù)測值就會很差估計(jì)和預(yù)測需要注意的問題在利用回歸方程進(jìn)行估計(jì)或預(yù)測時(shí)，不要實(shí)際數(shù)據(jù)是曲線而模型為直線xE(y)xLxUE(y)實(shí)際數(shù)據(jù)是曲線而模型為直線xE(y)xLxUE(y)殘差

(residual)因變量的觀測值與根據(jù)估計(jì)的回歸方程求出的預(yù)測值之差，用e表示反映了用估計(jì)的回歸方程去預(yù)測而引起的誤差可用于確定有關(guān)誤差項(xiàng)的假定是否成立用于檢測有影響的觀測值殘差

(residual)因變量的觀測值與根據(jù)估計(jì)的回歸方程用殘差證實(shí)模型的假定用殘差證實(shí)模型的假定殘差圖

(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差圖

(residualplot)表示殘差的圖形殘差與標(biāo)準(zhǔn)化殘差圖

(例題分析)殘差與標(biāo)準(zhǔn)化殘差圖

(例題分析)殘差圖

(形態(tài)及判別)(a)滿意模式殘差x0(b)非常數(shù)方差殘差x0(c)模型不合適殘差x0殘差圖

(形態(tài)及判別)(a)滿意模式殘差圖

(例題分析)殘差圖

(例題分析)殘差的正態(tài)性假定

(殘差的正態(tài)概率圖)殘差的正態(tài)性假定

(殘差的正態(tài)概率圖)標(biāo)準(zhǔn)化殘差

(standardizedresidual)殘差除以它的標(biāo)準(zhǔn)差也稱為Pearson殘差或半學(xué)生化殘差(semi-studentizedresiduals)計(jì)算公式為注意：Excel給出的標(biāo)準(zhǔn)殘差的計(jì)算公式為這實(shí)際上是學(xué)生化刪除殘差(studentizeddeletedresiduals)標(biāo)準(zhǔn)化殘差

(standardizedresidual)殘標(biāo)準(zhǔn)化殘差圖用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間標(biāo)準(zhǔn)化殘差圖用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否標(biāo)準(zhǔn)化殘差圖

(例題分析)標(biāo)準(zhǔn)化殘差圖

(例題分析)殘差的正態(tài)性假定

(標(biāo)準(zhǔn)化殘差的正態(tài)概率圖)殘差的正態(tài)性假定

(標(biāo)準(zhǔn)化殘差的正態(tài)概率圖)用殘差檢測異常值和

有影響的觀測值用殘差檢測異常值和

有影響的觀測值異常值

(outlier)如果某一個(gè)點(diǎn)與其他點(diǎn)所呈現(xiàn)的趨勢不相吻合，這個(gè)點(diǎn)就有可能是異常點(diǎn)，或稱為野點(diǎn)如果異常值是一個(gè)錯(cuò)誤的數(shù)據(jù)，比如記錄錯(cuò)誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機(jī)因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時(shí)，若一個(gè)異常值是一個(gè)有效的觀測值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔除異常值

(outlier)如果某一個(gè)點(diǎn)與其他點(diǎn)所呈現(xiàn)的趨勢不異常值

(識別)異常值也可以通過標(biāo)準(zhǔn)化殘差來識別如果某一個(gè)觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識別為異常值一般情況下，當(dāng)一個(gè)觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時(shí)，就可以將其視為異常值異常值

(識別)異常值也可以通過標(biāo)準(zhǔn)化殘差來識別有影響的觀測值如果某一個(gè)或某一些觀測值對回歸的結(jié)果有強(qiáng)烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值一個(gè)有影響的觀測值可能是一個(gè)異常值，即有一個(gè)值遠(yuǎn)遠(yuǎn)偏離了散點(diǎn)圖中的趨勢線對應(yīng)一個(gè)遠(yuǎn)離自變量平均值的觀測值或者是這二者組合而形成的觀測值有影響的觀測值如果某一個(gè)或某一些觀測值對回歸的結(jié)果有強(qiáng)烈的影有影響的觀測值

(圖示)不存在影響值的趨勢有影響的觀測值存在影響值的趨勢有影響的觀測值

(圖示)不存在影響值的趨勢有影響的觀測值存在杠桿率點(diǎn)

(ieveragepoint)如果自變量存在一個(gè)極端值，該觀測值則稱為高杠桿率點(diǎn)(highieveragepoint)在一元回歸中，第i個(gè)觀測值的杠桿率用hi表示，其計(jì)算公式為

如果一個(gè)觀測值的杠桿率，就可以將該觀測值識別為有高杠桿率的點(diǎn)

一個(gè)有高杠桿率的觀測值未必是一個(gè)有影響的觀測值，它可能對回歸直線的斜率沒有什么影響杠桿率點(diǎn)

(ieveragepoint)如果自變量存在一個(gè)高杠桿率點(diǎn)

(圖示)高杠桿率點(diǎn)高杠桿率點(diǎn)

(圖示)高杠桿率點(diǎn)第四節(jié)多元線性回歸1、多元線性回歸模型2、回歸方程的擬合優(yōu)度3、顯著性檢驗(yàn)4、利用回歸方程進(jìn)行估計(jì)和預(yù)測6、變量選擇與逐步回歸7、虛擬自變量的回歸第四節(jié)多元線性回歸1、多元線性回歸模型一、多元回歸模型一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及k個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2，，xk

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被k個(gè)自變量的線性關(guān)系所解釋的變異性一、多元回歸模型一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸b0多元回歸模型

(基本假定)誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=0對于自變量x1，x2，…，xk的所有值，的方差2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立多元回歸模型

(基本假定)誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值多元回歸方程

(multipleregressione二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面估計(jì)的多元回的方程用樣本統(tǒng)計(jì)量估計(jì)回歸方程中的參數(shù)

時(shí)得到的方程由最小二乘法求得一般形式為

是估計(jì)值是y

的估計(jì)值估計(jì)的多元回的方程用樣本統(tǒng)計(jì)量參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值二、回歸方程的擬合優(yōu)度1、多重判定系數(shù)2、估計(jì)標(biāo)準(zhǔn)誤差二、回歸方程的擬合優(yōu)度1、多重判定系數(shù)多重判定系數(shù)回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例多重判定系數(shù)回歸平方和占總平方和的比例修正多重判定系數(shù)用樣本量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2修正多重判定系數(shù)用樣本量n和自變量的個(gè)數(shù)k去修正R2得到估計(jì)標(biāo)準(zhǔn)誤差Sy對誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為估計(jì)標(biāo)準(zhǔn)誤差Sy對誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值三、顯著性檢驗(yàn)1、線性關(guān)系檢驗(yàn)2、回歸系數(shù)檢驗(yàn)和推斷三、顯著性檢驗(yàn)1、線性關(guān)系檢驗(yàn)線性關(guān)系檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系線性關(guān)系檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著線性關(guān)系檢驗(yàn)提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0線性關(guān)系檢驗(yàn)提出假設(shè)2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平回歸系數(shù)的檢驗(yàn)線性關(guān)系檢驗(yàn)通過后，對各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過多的第Ⅰ類錯(cuò)誤(棄真錯(cuò)誤)對每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量回歸系數(shù)的檢驗(yàn)線性關(guān)系檢驗(yàn)通過后，對各個(gè)回歸系數(shù)有選擇地進(jìn)行回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不拒絕H0回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)確定顯著性水平，并進(jìn)行決回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在1-置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在1-置信水平下的四、變量選擇與逐步回歸1、變量選擇過程2、向前選擇3、向后剔除4、逐步回歸四、變量選擇與逐步回歸1、變量選擇過程變量選擇過程在建立回歸模型時(shí)，對自變量進(jìn)行篩選選擇自變量的原則是對統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)將一個(gè)或一個(gè)以上的自變量引入到回歸模型中時(shí)，是否使得殘差平方和(SSE)有顯著減少。如果增加一個(gè)自變量使SSE的減少是顯著的，則說明有必要將這個(gè)自變量引入回歸模型，否則，就沒有必要將這個(gè)自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計(jì)量的值作為一個(gè)標(biāo)準(zhǔn)，以此來確定是在模型中增加一個(gè)自變量，還是從模型中剔除一個(gè)自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等變量選擇過程在建立回歸模型時(shí)，對自變量進(jìn)行篩選向前選擇

(forwardselection)從模型中沒有自變量開始對k個(gè)自變量分別擬合對因變量的一元線性回歸模型，共有k個(gè)，然后找出F統(tǒng)計(jì)量的值最高的模型及其自變量，并將其首先引入模型分別擬合引入模型外的k-1個(gè)自變量的線性回歸模型如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計(jì)顯著性為止向前選擇

(forwardselection)從模型中沒向后剔除

(backwardelimination)先對因變量擬合包括所有k個(gè)自變量的回歸模型。然后考察p(p<k)個(gè)去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有k-1個(gè)自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察再去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有k-2個(gè)的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個(gè)自變量不會使SSE顯著減小為止向后剔除

(backwardelimination)先對逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個(gè)自變量后，它會對模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個(gè)自變量。如果在增加了一個(gè)自變量后，前面增加的某個(gè)自變量對模型的貢獻(xiàn)變得不顯著，這個(gè)變量就會被剔除按照以上方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中逐步回歸

(stepwiseregression)將向前逐步回歸

(例題分析—SPSS輸出結(jié)果)VariableEntered/Removeda

modelVariableEnteredVariableRemovedmethod1各項(xiàng)貸款余額x1Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.2固定資產(chǎn)投資額x4Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.

aDependentvariable:不良貸款y逐步回歸

(例題分析—SPSS輸出結(jié)果)Variable逐步回歸

(例題分析—SPSS輸出結(jié)果)ModelsummarymodelRR-SquareAdjustedR-Square

Std.ErroroftheEstimate

1.844a.712.6991.97992.872b.761.7391.8428aPredictors:(Constant),各項(xiàng)貸款余額x1bPredictors:(Constant),各項(xiàng)貸款余額x1,固定資產(chǎn)投資額x4逐步回歸

(例題分析—SPSS輸出結(jié)果)Modelsum逐步回歸

(例題分析—SPSS輸出結(jié)果)

ANOVAc

modelSumofSquaresdfMeanSquareFSig.1RegressResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2RegressResidualTotal237.94174.709312.65022224118.9713.39635.034.000baPredictors:(Constant),各項(xiàng)貸款余額x1bPredictors:(Constant),各項(xiàng)貸款余額x1,固定資產(chǎn)投資額x4cDependentvariable:不良貸款y逐步回歸

(例題分析—SPSS輸出結(jié)果)ANOVAcModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)

貸款余額x1-.830.038.723.0050844-1.1477.534.263.0002(Constant)

貸款余額x1

固定資產(chǎn)投資x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044aDependentvariable:不良貸款yCoefficientsaModelUnstandardizedUnstandardi五、虛擬自變量的回歸1、含有一個(gè)虛擬自變量的回歸2、用虛擬自變量回歸解決方差分析問題五、虛擬自變量的回歸1、含有一個(gè)虛擬自變量的回歸虛擬自變量

(dummyvariable)用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個(gè)水平的虛擬自變量比如，性別(男，女)有兩個(gè)以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)虛擬變量的取值為0，1虛擬自變量

(dummyvariable)用數(shù)字代碼表示的虛擬自變量的回歸回歸模型中使用虛擬自變量時(shí)，稱為虛擬自變量的回歸當(dāng)虛擬自變量只有兩個(gè)水平時(shí)，可在回歸中引入一個(gè)虛擬變量比如，性別(男，女)一般而言，如果定性自變量有k個(gè)水平，需要在回歸模型中引進(jìn)k-1個(gè)虛擬變量虛擬自變量的回歸回歸模型中使用虛擬自變量時(shí)，稱為虛擬自變量的虛擬自變量的回歸

(例題分析)【例】為了研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機(jī)抽取男女學(xué)生各8名，得到他們的市場營銷學(xué)課程的考試成績?nèi)缬冶硖摂M自變量的回歸

(例題分析)【例】為了研究考試成績與性別之虛擬自變量的回歸

(考試成績與性別的散點(diǎn)圖)男女虛擬自變量的回歸

(考試成績與性別的散點(diǎn)圖)男虛擬自變量的回歸

(成績與性別的Mean/SD/1.96*SD箱線圖)虛擬自變量的回歸

(成績與性別的Mean/SD/1.96*S虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時(shí)，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學(xué)生考試成績的期望值女(x=1)：E(y)=0+1—1女學(xué)生考試成績的期望值注意：當(dāng)指定虛擬變量0，1時(shí)0總是代表與虛擬變量值0所對應(yīng)的那個(gè)分類變量水平的平均值1總是代表與虛擬變量值1所對應(yīng)的那個(gè)分類變量水平的平均響應(yīng)與虛擬變量值0所對應(yīng)的那個(gè)分類變量水平的平均值的差值，即平均值的差值

=(0+1)-0=1虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時(shí)，回歸方程表示虛擬自變量的回歸

(例題分析)【例】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機(jī)抽取10名職工，所得數(shù)據(jù)如右表虛擬自變量的回歸

(例題分析)【例】為研究工資水平與工作年限虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時(shí)，回歸方程寫為

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10表示：女性職工的期望月工資收入(0+2)表示：男性職工的期望月工資收入1表示：工作年限每增加1年，男性或女性工資的平均增加值2表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值(0+2)-0=2虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時(shí)，回歸方程寫為用虛擬自變量回歸

解決方差分析問題用虛擬自變量回歸

解決方差分析問題方差分析的回歸方法

(例題分析)引進(jìn)虛擬變量建立回歸方程：E(Y)=0+1x1+2x2+3x30—家電制造業(yè)投訴次數(shù)的平均值

(0+1)—零售業(yè)投訴次數(shù)的平均值

(0+2)—旅游業(yè)投訴次數(shù)的平均值

(0+3)—航空公司投訴次數(shù)的平均值

方差分析的回歸方法

(例題分析)引進(jìn)虛擬變量1、自變量和因變量都是定量變量時(shí)的線性回歸分析：選項(xiàng)：Analyze－Regression－Linear把有關(guān)的自變量選入Independent，把因變量選入Dependent，然后OK即可。如果自變量有多個(gè)（多元回歸模型，選Method:Stepwise

），只要都選入就行。SPSS軟件使用說明

1、自變量和因變量都是定量變量時(shí)的線性回歸分析：SPSS軟件2、自變量中有定性變量（啞元）和定量變量而因變量為定量變量時(shí)的線性回歸分析選項(xiàng)：Analize－Generallinearmodel－Univariate，在Options中選擇ParameterEstimates，再在主對話框中把因變量（s1）選入DependentVariable，把定量自變量選入Covariate，把定性因變量（income）選入Factor中。點(diǎn)擊Model，在SpecifyModel中選Custom，再把兩個(gè)有關(guān)的自變量選入右邊，再在下面BuildingTerm中選Maineffect。然后就Continue-OK。

2、自變量中有定性變量（啞元）和定量變量而因變量為定量變量時(shí)第六章相關(guān)分析與回歸分析1、一元相關(guān)分析2、多元相關(guān)分析3、一元線性回歸分析4、多元線性回歸分析第六章相關(guān)分析與回歸分析1、一元相關(guān)分析第一節(jié)一元相關(guān)分析一、變量之間的兩類關(guān)系確定性關(guān)系（函數(shù)關(guān)系）；非確定性關(guān)系（相關(guān)關(guān)系）；第一節(jié)一元相關(guān)分析函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點(diǎn)落在一條線上

xy函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系xy函數(shù)關(guān)系

(幾個(gè)例子)某種商品的銷售額y與銷售量x之間的關(guān)系可表示為y=px(p為單價(jià))圓的面積S與半徑R之間的關(guān)系可表示為

S=R2

企業(yè)的原材料消耗額y與產(chǎn)量x1

、單位產(chǎn)量消耗x2

、原材料價(jià)格x3之間的關(guān)系可表示為

y=x1x2x3

函數(shù)關(guān)系

(幾個(gè)例子)某種商品的銷售額y與銷售量x之間的關(guān)系相關(guān)關(guān)系

(correlation)變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量

x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)各觀測點(diǎn)分布在直線周圍

xy相關(guān)關(guān)系

(correlation)變量間關(guān)系不能用函數(shù)關(guān)系相關(guān)關(guān)系

(幾個(gè)例子)父親身高y與子女身高x之間的關(guān)系收入水平y(tǒng)與受教育程度x之間的關(guān)系糧食單位面積產(chǎn)量y與施肥量x1

、降雨量x2

、溫度x3之間的關(guān)系商品的消費(fèi)量y與居民收入x之間的關(guān)系商品銷售額y與廣告費(fèi)支出x之間的關(guān)系相關(guān)關(guān)系

(幾個(gè)例子)父親身高y與子女身高x之間的關(guān)系相關(guān)關(guān)系

(類型)相關(guān)關(guān)系線性相關(guān)非線性相關(guān)完全相關(guān)

不相關(guān)正相關(guān)負(fù)相關(guān)正相關(guān)負(fù)相關(guān)相關(guān)關(guān)系

(類型)相關(guān)關(guān)系線性相關(guān)非線性相關(guān)完全相關(guān)不相關(guān)相關(guān)關(guān)系的描述與測度

(散點(diǎn)圖)相關(guān)關(guān)系的描述與測度

(散點(diǎn)圖)相關(guān)分析及其假定相關(guān)分析要解決的問題變量之間是否存在關(guān)系？如果存在關(guān)系，它們之間是什么樣的關(guān)系？變量之間的關(guān)系強(qiáng)度如何？樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？為解決這些問題，在進(jìn)行相關(guān)分析時(shí)，對總體有以下兩個(gè)主要假定兩個(gè)變量之間是線性關(guān)系兩個(gè)變量都是隨機(jī)變量相關(guān)分析及其假定相關(guān)分析要解決的問題散點(diǎn)圖

(scatterdiagram)不相關(guān)負(fù)線性相關(guān)正線性相關(guān)非線性相關(guān)完全負(fù)線性相關(guān)完全正線性相關(guān)散點(diǎn)圖

(scatterdiagram)散點(diǎn)圖

(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進(jìn)行基礎(chǔ)設(shè)施建設(shè)、國家重點(diǎn)項(xiàng)目建設(shè)、固定資產(chǎn)投