第9章一元線性回歸

1、第9章 一元線性回歸9.1 變量間關(guān)系的度量變量間關(guān)系的度量 9.2 一元線性回歸一元線性回歸9.3 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)9.4 殘差分析殘差分析9.1 9.1 變量間關(guān)系的度量變量間關(guān)系的度量一.一.變量間的關(guān)系變量間的關(guān)系二.二.相關(guān)關(guān)系的描述與測(cè)度相關(guān)關(guān)系的描述與測(cè)度三.三.相關(guān)系數(shù)的顯著性檢驗(yàn)相關(guān)系數(shù)的顯著性檢驗(yàn)變量間關(guān)系之函數(shù)關(guān)系1.是一一對(duì)應(yīng)的確定關(guān)系；2.設(shè)有兩個(gè)變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當(dāng)變量 x 取某個(gè)數(shù)值時(shí)， y 依確定的關(guān)系取相應(yīng)的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x

2、 稱為自變量，y 稱為因變量；變量間關(guān)系之相關(guān)關(guān)系(correlation)1.變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)；2.一個(gè)變量的取值不能由另一個(gè)變量唯一確定；3.當(dāng)變量 x 取某個(gè)值時(shí)，變量 y 的取值可能有幾個(gè)；相關(guān)關(guān)系的描述之散點(diǎn)圖(scatter diagram)yyyy-M-d用散點(diǎn)圖描述變量間的關(guān)系(例題分析)【例例9-1】為研究銷售收入與廣告費(fèi)用支出之間的關(guān)系，某醫(yī)藥管理部門隨機(jī)抽取20家藥品生產(chǎn)企業(yè)，得到它們的年銷售收入和廣告費(fèi)用支出(萬元)的數(shù)據(jù)如下。繪制散點(diǎn)圖描述銷售收入與廣告費(fèi)用之間的關(guān)系。 yyyy-M-d散點(diǎn)圖(銷售收入和廣告費(fèi)用的散點(diǎn)圖)相關(guān)關(guān)系的測(cè)度之相關(guān)系數(shù)(co

3、rrelation coefficient)1.對(duì)變量之間關(guān)系密切程度的度量；2.對(duì)兩個(gè)變量之間線性相關(guān)程度的度量稱為簡(jiǎn)單相關(guān)系數(shù)；3.若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為 ；4.若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，記為 r；相關(guān)系數(shù) (計(jì)算公式) 樣本相關(guān)系數(shù)的計(jì)算公式：或展開為：2222nxyxyrnxxnyy 簡(jiǎn)寫的離差平方和22211222111111()1()1()()nnxxiiiiinnyyiiiiinnnxyiiiiiiiiiLxxxxnLyyyynLxxyyx yxyn其中：相關(guān)系數(shù)(取值及其意義)1. r 的取值范圍是 -1,1；2. |r|=

4、1，為完全相關(guān)：ur =1，為完全正相關(guān)ur =-1，為完全負(fù)正相關(guān)3. r = 0，不存在線性線性相關(guān)關(guān)系；4. -1r0，為負(fù)相關(guān)； 0r1，為正相關(guān)；5. |r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切（0.8-0.5-0.3）。相關(guān)系數(shù)的顯著性檢驗(yàn)(檢驗(yàn)的步驟)1.檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系；2.采用R.A.Fisher提出的 t 檢驗(yàn)；3.檢驗(yàn)的步驟為：n提出假設(shè)：H0： ；H1： 0n 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：n 確定顯著性水平，并作出決策； 若P值，不拒絕H022 (2)1ntrt nryyyy-M-d相關(guān)系數(shù)的顯著性檢驗(yàn)(例題分析)【例例9-3】檢驗(yàn)銷售收入與

5、廣告費(fèi)用之間的相關(guān)系數(shù)是否顯著 (0.05)1.提出假設(shè)：H0： ；H1： 02.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：3. 用Excel中的【TDIST】函數(shù)得雙尾P=2.743E-090.05，拒絕H0，銷售收入與廣告費(fèi)用之間的相關(guān)系數(shù)顯著 。20.9306 20210.78910.9306tyyyy-M-d相關(guān)系數(shù)的顯著性檢驗(yàn)(SPSS輸出結(jié)果)9.2 9.2 一元線性回歸一元線性回歸一.一.一元線性回歸模型一元線性回歸模型二.二.參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)三.三.回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度四.四.顯著性檢驗(yàn)顯著性檢驗(yàn)什么是回歸分析？(Regression)1.是分析變量之間關(guān)系的基本方

6、法；2.就是從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式；3.對(duì)該關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著；4.利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確程度。一元線性回歸1.涉及一個(gè)自變量的回歸；2.因變量y與自變量x之間為線性關(guān)系； 被 預(yù) 測(cè) 或 被 解 釋 的 變 量 稱 為 因 變 量(dependent variable)，用y表示； 用來預(yù)測(cè)或用來解釋因變量的一個(gè)或多個(gè)變量稱為自變量(independent variable)，用x表示 ；3.因變量與自變量之間

7、的關(guān)系用一線性方程來表示。一元線性回歸模型1.描述因變量 y 如何依賴于自變量 x 和誤差項(xiàng) 的方程稱為回歸模型；回歸模型；2.一元線性回歸模型可表示為： y = b b + + b b1 1 x + + y 是 x 的線性函數(shù)(部分)加上誤差項(xiàng)； 線性部分反映了由于 x 的變化而引起的 y 的變化； 誤差項(xiàng) 是隨機(jī)變量； 反映了除 x 和 y 之間的線性關(guān)系之外的隨機(jī)因素對(duì) y 的影響 是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性b0 和 b1 稱為模型的參數(shù)；yyyy-M-d一元線性回歸模型(基本假定) 1.因變量y與自變量x之間具有線性關(guān)系；2.在重復(fù)抽樣中，x的取值是確定的，即假

8、定x是非隨機(jī)的，而假定y是隨機(jī)的；3.誤差項(xiàng) 滿足：l正態(tài)性正態(tài)性。 是一個(gè)服從正態(tài)分布的隨機(jī)變量，且期望值為0，即 N(0 , 2 ) 。對(duì)于一個(gè)給定的 x 值，y 的期望值為E(y)=b0+ b1x；l方差齊性方差齊性。對(duì)于所有的 x 值， 的方差一個(gè)特定的值2 ；l獨(dú)立性。獨(dú)立性。獨(dú)立性意味著對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的與其他 x 值所對(duì)應(yīng)的不相關(guān)；對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的 y 值與其他 x 所對(duì)應(yīng)的 y 值也不相關(guān)。回歸方程 (regression equation)1.描述 y 的平均值或期望值如何依賴于 x 的方程稱為回回歸方程；歸方程；2.一元線性回歸方程的形式如

9、下： E( y ) = b b0+ b b1 x估計(jì)的回歸方程(estimated regression equation)統(tǒng)計(jì)量 和 代替參數(shù) 和 估計(jì)的估計(jì)的回歸方程；回歸方程；參數(shù) 和 是其中： 是估計(jì)的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對(duì)于一個(gè)給定的 x 的值， 是 y 的估計(jì)值，也表示 x 每變動(dòng)一個(gè)單位時(shí)， y 的平均變動(dòng)值 。參數(shù)的最小二乘估計(jì)(method of least squares)1. 使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得 和 的方法。即：2. 用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小；0b1b最

10、小二乘估計(jì)(圖示) 最小二乘法 設(shè)點(diǎn)i的觀測(cè)值為(xi , yi)，把xi代入待定的直線有 yi到待定直線的距離為： 則n個(gè)點(diǎn)的鉛直距離平方和為： 為使Q最小，通過分別對(duì) ， 求導(dǎo)，建立方程組后求出 ， 的值。201011(,)()niiiQyxbbbb+0b1b0b1b最小二乘法 (計(jì)算公式)回歸直線的擬合優(yōu)度之變差1.因變量 y 的取值是不同的，y 取值的這種波動(dòng)稱為變差。2.對(duì)一個(gè)具體的觀測(cè)值來說，其變差的大小可以通過該實(shí)際觀測(cè)值與其均值之差 來表示；3.對(duì)于n次觀測(cè)的總變差，可以用這些離差的平方和表示；4.變差來源于兩個(gè)方面：由于自變量 x 的取值不同造成的；除 x 以外的其他因素的影

11、響；y變差的分解(圖示) 離差平方和的分解 (三個(gè)平方和的關(guān)系) 其中：離差平方和的分解 (三個(gè)平方和的意義)1.總平方和總平方和(SST)反映因變量的 n 個(gè)觀察值與其均值的總離差；2.回歸平方和回歸平方和(SSR)反映自變量 x 的變化對(duì)因變量 y 取值變化的影響，或者說，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為可解釋的平方和；3.殘差平方和殘差平方和(SSE)反映除 x 以外的其他因素對(duì) y 取值的影響，也稱為不可解釋的平方和或剩余平方和；判定系數(shù) (coefficient of determination)1. 回歸平方和占總離差平方和的比例：估計(jì)標(biāo)準(zhǔn)誤差(st

12、andard error of estimate)1.實(shí)際觀測(cè)值與回歸估計(jì)值離差平方和的均方根；2.反映實(shí)際觀測(cè)值在回歸直線周圍的分散狀況；3.是對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)，是在排除了x對(duì)y的線性影響后y隨機(jī)波動(dòng)大小的一個(gè)估計(jì)量；4.反映了用估計(jì)的回歸方程預(yù)測(cè)y時(shí)預(yù)測(cè)誤差的大小 ；5.計(jì)算公式為：顯著性檢驗(yàn)之線性關(guān)系檢驗(yàn)1. 檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著；2. 將回歸均方(MSR)同殘差均方(MSE)加以比較，運(yùn)用F檢驗(yàn)來分析二者之間的差別是否顯著； 回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)k) 殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)線性關(guān)系的檢驗(yàn) (

13、F檢驗(yàn)) 1.提出假設(shè) H0：b1=0 線性關(guān)系不顯著顯著性檢驗(yàn)之回歸系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)(樣本統(tǒng)計(jì)量 的分布)是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自己的抽樣分布；的分布具有如下性質(zhì)：分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計(jì)量se來代替，得到 的估計(jì)的標(biāo)準(zhǔn)差：回歸系數(shù)的檢驗(yàn) (t檢驗(yàn)) 1.提出假設(shè) H0: b1 = 0 (沒有線性關(guān)系) H1: b1 0 (有線性關(guān)系) 2.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：用SPSS進(jìn)行回歸分析第第1步步：點(diǎn)擊：點(diǎn)擊【分析】菜單，選擇【回歸 線性】選項(xiàng)，進(jìn)入主對(duì)話框；第第2步：步：在主對(duì)話框中將因變量(本例為銷售收入)選入【因變量】框中，將自變量(本

14、例為廣告費(fèi)用)選入【自變量】框中；第第3步：步：點(diǎn)擊【保存】按鈕，彈出線性回歸：保存窗口； 在【預(yù)測(cè)值】標(biāo)簽下選中【非標(biāo)準(zhǔn)化】，輸出點(diǎn)預(yù)測(cè)值； 在【預(yù)測(cè)區(qū)間】下選中【均值】和【單值】，輸出置信區(qū)間和預(yù)測(cè)區(qū)間； 在【預(yù)測(cè)區(qū)間】中選擇所要求的置信水平，默認(rèn)值95%，一般不用改變； 在【殘差】下選中【非標(biāo)準(zhǔn)化】和【標(biāo)準(zhǔn)化】，輸出殘差和標(biāo)準(zhǔn)化殘差) ； 點(diǎn)擊【繼續(xù)】回到主對(duì)話框，點(diǎn)擊【確定】。yyyy-M-d參數(shù)的最小二乘估計(jì)(SPSS輸出結(jié)果)參數(shù)的最小二乘估計(jì)(SPSS輸出結(jié)果) 參數(shù)估計(jì)結(jié)果： 其中，1221()eniistxxb02211( )()eniixtsnxxb+9.3 9.3 利用回

15、歸方程進(jìn)行預(yù)測(cè)1.根據(jù)自變量 x 的取值估計(jì)或預(yù)測(cè)因變量 y的取值；2.估計(jì)或預(yù)測(cè)的類型：點(diǎn)估計(jì)y 的平均值的點(diǎn)估計(jì)y 的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y 的平均值的置信區(qū)間置信區(qū)間估計(jì)y 的個(gè)別值的預(yù)測(cè)區(qū)間預(yù)測(cè)區(qū)間估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)1.點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，點(diǎn)估計(jì)不能給出估計(jì)的精度，因此需要進(jìn)行區(qū)間估計(jì)；2.對(duì)于自變量 x 的一個(gè)給定值 x0，根據(jù)回歸方程得到因變量 y 的一個(gè)估計(jì)區(qū)間；3.區(qū)間估計(jì)有兩種類型：置信區(qū)間估計(jì)(confidence interval estimate)預(yù)測(cè)區(qū)間估計(jì)(prediction interval estimate)置信區(qū)間估計(jì)1.利用估計(jì)的回歸方程，對(duì)

16、于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值的估計(jì)區(qū)間 ，這一估計(jì)區(qū)間稱為置信區(qū)間置信區(qū)間(confidence interval)；2.在1-置信水平下的置信區(qū)間為：2002211eniixxytsnxx+預(yù)測(cè)區(qū)間估計(jì)1.利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間預(yù)測(cè)區(qū)間(prediction interval) ；2. y0在1-置信水平下的預(yù)測(cè)區(qū)間為：置信區(qū)間、預(yù)測(cè)區(qū)間、回歸方程用SPSS做區(qū)間圖 第1步：點(diǎn)擊【Graphs】【Interactive-Scatterplot】；第2步：點(diǎn)擊【2D

17、Coordine】，將各坐標(biāo)軸變量拖入相應(yīng)坐標(biāo)軸；第3步：點(diǎn)擊【Fit】，在【method】下選擇【Regression】，在【Prediction Lines】下選擇【Mean】和【Individual】，點(diǎn)擊【確定】。yyyy-M-d置信區(qū)間和預(yù)測(cè)區(qū)間9.4 9.4 殘差分析殘差分析一.一.殘差與殘差圖殘差與殘差圖二.二.標(biāo)準(zhǔn)化殘差標(biāo)準(zhǔn)化殘差殘差(residual)1.因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程求出的預(yù)測(cè)值之差，用e表示；2.反映了用估計(jì)的回歸方程去預(yù)測(cè)而引起的誤差； 3.確定有關(guān)誤差項(xiàng)的假定是否成立 ；4.檢測(cè)有影響的觀測(cè)值；殘差圖(異方差判定)yyyy-M-d殘差圖(例題分析)銷售收入與廣告費(fèi)用回歸的殘差圖銷售收入與廣告費(fèi)用回歸的殘差圖標(biāo)準(zhǔn)化殘差(standardized residual)殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值。計(jì)算公式為： 是殘差的標(biāo)準(zhǔn)差的估計(jì)；用來直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立 ： 若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布； 在標(biāo)準(zhǔn)化殘差圖中