統(tǒng)計學(xué)第9章一元線性回歸課件

1、數(shù)據(jù)分析(方法與案例)作者 賈俊平統(tǒng)計學(xué)統(tǒng) 計 學(xué)Statisticsyyyy-M- 不要過于教條地對待研究的結(jié)果， 尤其當(dāng)數(shù)據(jù)的質(zhì)量受到懷疑時。 Damodar N.Gujarati統(tǒng)計名言yyyy-M-第 9 章 一元線性回歸9.1 變量間關(guān)系的度量 9.2 一元線性回歸的估計和檢驗9.3 利用回歸方程進行預(yù)測9.4 用殘差檢驗?zāi)Ｐ偷募俣?regression analysisyyyy-M-學(xué)習(xí)目標(biāo)相關(guān)關(guān)系的分析參數(shù)的最小二乘估計回歸直線的擬合優(yōu)度回歸方程的顯著性檢驗利用回歸方程進行預(yù)測用殘差證實模型的假定用 Excel 和SPSS進行回歸yyyy-M-子代與父代一樣嗎？Galton被譽為

2、現(xiàn)代回歸和相關(guān)技術(shù)的創(chuàng)始人。1875年，Galton利用豌豆實驗來確定尺寸的遺傳規(guī)律。他挑選了7組不同尺寸的豌豆，并說服他在英國不同地區(qū)的朋友每一組種植10粒種子，最后把原始的豌豆種子(父代)與新長的豌豆種子(子代)進行尺寸比較當(dāng)結(jié)果被繪制出來之后，他發(fā)現(xiàn)并非每一個子代都與父代一樣，不同的是，尺寸小的豌豆會得到更大的子代，而尺寸大的豌豆卻得到較小的子代。Galton把這一現(xiàn)象叫做“返祖”(趨向于祖先的某種平均類型)，后來又稱之為“向平均回歸”。一個總體中在某一時期具有某一極端特征(低于或高于總體均值)的個體在未來的某一時期將減弱它的極端性(或者是單個個體或者是整個子代)，這一趨勢現(xiàn)在被稱作“回

3、歸效應(yīng)”。人們發(fā)現(xiàn)它的應(yīng)用很廣，而不僅限于從一代到下一代豌豆大小問題yyyy-M-子代與父代一樣嗎？正如Galton進一步發(fā)現(xiàn)的那樣，平均來說，非常矮小的父輩傾向于有偏高的子代；而非常高大的父輩則傾向于有偏矮的子代。在第一次考試中成績最差的那些學(xué)生在第二次考試中傾向于有更好的成績(比較接近所有學(xué)生的平均成績)，而第一次考試中成績最好的那些學(xué)生在第二次考試中則傾向于有較差的成績(同樣比較接近所有學(xué)生的平均成績)。同樣，平均來說，第一年利潤最低的公司第二年不會最差，而第一年利潤最高的公司第二年則不會是最好的如果把父代和子代看作兩個變量，找出這兩個變量的關(guān)系，并根據(jù)這種關(guān)系建立適當(dāng)?shù)臄?shù)學(xué)模型，就可以

4、根據(jù)父代的數(shù)值預(yù)測子代的取值，這就是經(jīng)典的回歸方法要解決的問題。學(xué)完本章的內(nèi)容你會對回歸問題有更深入的理解 yyyy-M-回歸分析研究什么？研究某些實際問題時往往涉及到多個變量。在這些變量中，有一個變量是研究中特別關(guān)注的，稱為因變量，而其他變量則看成是影響這一變量的因素，稱為自變量假定因變量與自變量之間有某種關(guān)系，并把這種關(guān)系用適當(dāng)?shù)臄?shù)學(xué)模型表達出來，那么，就可以利用這一模型根據(jù)給定的自變量來預(yù)測因變量，這就是回歸要解決的問題在回歸分析中，只涉及一個自變量時稱為一元回歸，涉及多個自變量時則稱為多元回歸。如果因變量與自變量之間是線性關(guān)系，則稱為線性回歸(linear regression)；如果

5、因變量與自變量之間是非線性關(guān)系則稱為非線性回歸(nonlinear regression)yyyy-M- 9.1 變量間的關(guān)系 9.1.1 變量間是什么樣的關(guān)系？ 9.1.2 用散點圖描述相關(guān)關(guān)系 9.1.3 用相關(guān)系數(shù)度量關(guān)系強度第 9 章 一元線性回歸yyyy-M-怎樣分析變量間的關(guān)系？建立回歸模型時，首先需要弄清楚變量之間的關(guān)系。分析變量之間的關(guān)系需要解決下面的問題變量之間是否存在關(guān)系？如果存在，它們之間是什么樣的關(guān)系？變量之間的關(guān)系強度如何？樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？ yyyy-M-9.1.1 變量間是什么樣的關(guān)系？9.1 變量間的關(guān)系yyyy-M-xy函數(shù)

6、關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當(dāng)變量 x 取某個數(shù)值時， y 依確定的關(guān)系取相應(yīng)的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量各觀測點落在一條線上 yyyy-M-相關(guān)關(guān)系(幾個例子)子女的身高與其父母身高的關(guān)系從遺傳學(xué)角度看，父母身高較高時，其子女的身高一般也比較高。但實際情況并不完全是這樣，因為子女的身高并不完全是由父母身高一個因素所決定的，還有其他許多因素的影響一個人的收入水平同他受教育程度的關(guān)系收入水平相同的人，他們受教育的程度也不可能不同，而受教育程度相同的人，他們

7、的收入水平也往往不同。因為收入水平雖然與受教育程度有關(guān)系，但它并不是決定收入的惟一因素，還有職業(yè)、工作年限等諸多因素的影響農(nóng)作物的單位面積產(chǎn)量與降雨量之間的關(guān)系在一定條件下，降雨量越多，單位面積產(chǎn)量就越高。但產(chǎn)量并不是由降雨量一個因素決定的，還有施肥量、溫度、管理水平等其他許多因素的影響yyyy-M-相關(guān)關(guān)系(correlation)一個變量的取值不能由另一個變量唯一確定當(dāng)變量 x 取某個值時，變量 y 的取值對應(yīng)著一個分布各觀測點分布在直線周圍 yxyyyy-M-9.1.2 用散點圖描述相關(guān)關(guān)系9.1 變量間的關(guān)系yyyy-M-完全負線性相關(guān)完全正線性相關(guān)散點圖(scatter diagra

8、m)不相關(guān)負線性相關(guān)正線性相關(guān)非線性相關(guān)yyyy-M-用散點圖描述變量間的關(guān)系(例題分析)【例9-1】為研究銷售收入與廣告費用支出之間的關(guān)系，某醫(yī)藥管理部門隨機抽取20家藥品生產(chǎn)企業(yè)，得到它們的年銷售收入和廣告費用支出(萬元)的數(shù)據(jù)如下。繪制散點圖描述銷售收入與廣告費用之間的關(guān)系 原始數(shù)據(jù)yyyy-M-散點圖(銷售收入和廣告費用的散點圖)yyyy-M-9.1.3 用相關(guān)系數(shù)度量關(guān)系強度9.1 變量間的關(guān)系yyyy-M-相關(guān)系數(shù)(correlation coefficient)度量變量之間線性關(guān)系強度的一個統(tǒng)計量若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為若是根據(jù)樣本數(shù)據(jù)計算的，則

9、稱為樣本相關(guān)系數(shù)，簡稱為相關(guān)系數(shù)，記為 r也稱為Pearson相關(guān)系數(shù) (Pearsons correlation coefficient)樣本相關(guān)系數(shù)的計算公式 計算相關(guān)系數(shù)Excelyyyy-M-相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r 的取值范圍是 -1,1|r|=1，為完全相關(guān)r =1，為完全正相關(guān)r =-1，為完全負正相關(guān)r = 0，不存在線性相關(guān)關(guān)系-1r0，為負相關(guān)0r1，為正相關(guān)|r|越趨于1表示關(guān)系越強；|r|越趨于0表示關(guān)系越弱yyyy-M-相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對稱性。即x與y之間的相關(guān)系數(shù)和y與x之間 的相關(guān)系數(shù)相等，即rxy= ryx性質(zhì)3：r數(shù)值大小與x和y原點及尺度無關(guān)，即

10、改變x和y的 數(shù)據(jù)原點及計量尺度，并不改變r數(shù)值大小性質(zhì)4：僅僅是x與y之間線性關(guān)系的一個度量，它不能用 于描述非線性關(guān)系。這意為著， r=0只表示兩個 變量之間不存在線性相關(guān)關(guān)系，并不說明變量之 間沒有任何關(guān)系性質(zhì)5：r雖然是兩個變量之間線性關(guān)系的一個度量，卻不 一定意味著x與y一定有因果關(guān)系yyyy-M-相關(guān)系數(shù)的經(jīng)驗解釋|r|0.8時，可視為兩個變量之間高度相關(guān)0.5|r|0.8時，可視為中度相關(guān)0.3|r|0.5時，視為低度相關(guān)|r|0.3時，說明兩個變量之間的相關(guān)程度極弱，可視為不相關(guān)上述解釋必須建立在對相關(guān)系數(shù)的顯著性進行檢驗的基礎(chǔ)之上yyyy-M-相關(guān)系數(shù)的顯著性檢驗(檢驗的步驟

11、)1.檢驗兩個變量之間是否存在線性相關(guān)關(guān)系采用R.A.Fisher提出的 t 檢驗檢驗的步驟為提出假設(shè)：H0： ；H1： 0計算檢驗的統(tǒng)計量用Excel中的【TDIST】函數(shù)得雙尾計算P值，并于顯著性水平比較，并作出決策 若P，拒絕H0yyyy-M-相關(guān)系數(shù)的顯著性檢驗(例題分析)【例9-3】檢驗銷售收入與廣告費用之間的相關(guān)系數(shù)是否顯著 (0.05)提出假設(shè)：H0： ；H1： 0計算檢驗的統(tǒng)計量3. 用Excel中的【TDIST】函數(shù)得雙尾P=2.743E-090.05，拒絕H0，銷售收入與廣告費用之間的相關(guān)系數(shù)顯著 yyyy-M-相關(guān)系數(shù)的顯著性檢驗(SPSS輸出結(jié)果)第1步：選擇【Anal

12、yze】【Correlate - Bivariate】第2步：將兩個變量（本例為銷售收入和 廣告費用）分 別選入【Variables】。點擊【OK】yyyy-M- 9.2 一元線性回歸的估計和檢驗 9.2.1 一元線性回歸模型 9.2.2 參數(shù)的最小二乘估計 9.2.3 回歸直線的擬合優(yōu)度 9.2.4 顯著性檢驗第 9 章 一元線性回歸yyyy-M-9.2.1 一元線性回歸模型9.2 一元線性回歸的估計和檢驗yyyy-M-什么是回歸分析？(regression analysis)重點考察考察一個特定的變量(因變量)，而把其他變量(自變量)看作是影響這一變量的因素，并通過適當(dāng)?shù)臄?shù)學(xué)模型將變量間的

13、關(guān)系表達出來利用樣本數(shù)據(jù)建立模型的估計方程對模型進行顯著性檢驗進而通過一個或幾個自變量的取值來估計或預(yù)測因變量的取值yyyy-M-一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependent variable)，用y表示用來預(yù)測或用來解釋因變量的一個或多個變量稱為自變量(independent variable)，用x表示 因變量與自變量之間的關(guān)系用一個線性方程來表示yyyy-M-一元線性回歸模型(linear regression model)描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型一元線性回歸模型可表示為 y

14、= b0 + b1 x + ey 是 x 的線性函數(shù)(部分)加上誤差項線性部分反映了由于 x 的變化而引起的 y 的變化誤差項 是隨機變量反映了除 x 和 y 之間的線性關(guān)系之外的隨機因素對 y 的影響是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性0 和 1 稱為模型的參數(shù)yyyy-M-一元線性回歸模型(基本假定) 因變量x與自變量y之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機的誤差項 滿足正態(tài)性。 是一個服從正態(tài)分布的隨機變量，且期望值為0，即 N(0 , 2 ) 。對于一個給定的 x 值，y 的期望值為E(y)=0+ 1x方差齊性。對于所有的 x 值， 的方差

15、一個特定的值，的方差也都等于 2 都相同。同樣，一個特定的x 值， y 的方差也都等于2獨立性。獨立性意味著對于一個特定的 x 值，它所對應(yīng)的與其他 x 值所對應(yīng)的不相關(guān)；對于一個特定的 x 值，它所對應(yīng)的 y 值與其他 x 所對應(yīng)的 y 值也不相關(guān)yyyy-M-估計的回歸方程(estimated regression equation)總體回歸參數(shù) 和 是未知的，必須利用樣本數(shù)據(jù)去估計用樣本統(tǒng)計量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計的回歸方程一元線性回歸中估計的回歸方程為其中： 是估計的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對于一個給定的 x 的值， 是 y 的估計

16、值，也表示 x 每變動一個單位時， y 的平均變動值 yyyy-M-9.2.2 參數(shù)的最小二乘估計9.2 一元線性回歸的估計和檢驗yyyy-M-參數(shù)的最小二乘估計(method of least squares )德國科學(xué)家Karl Gauss(17771855)提出用最小化圖中垂直方向的誤差平方和來估計參數(shù) 使因變量的觀察值與估計值之間的誤差平方和達到最小來求得 和 的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小yyyy-M-Karl Gauss的最小化圖xy(xn , yn)(x1 , y1)(x2 , y2)(xi , yi)ei = yi-yi

17、yyyy-M-參數(shù)的最小二乘估計 ( 和 的計算公式) 根據(jù)最小二乘法，可得求解 和 的公式如下yyyy-M-參數(shù)的最小二乘估計(例題分析)【例9-4】根據(jù)例9-1的數(shù)據(jù)，求銷售收入與廣告費用的估計的回歸方程 第1步：選擇【工具】下拉菜單，并選擇【數(shù)據(jù)分析】選項第2步：在分析工具中選擇【回歸】 ，選擇【確定】第2步：當(dāng)對話框出現(xiàn)時 在【Y值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域 在【X值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域 在【置信度】選項中給出所需的數(shù)值 在【輸出選項】中選擇輸出區(qū)域 在【殘差】分析選項中選擇所需的選項回歸分析Excelyyyy-M-參數(shù)的最小二乘估計(Excel輸出結(jié)果)【例】求

18、銷售收入與廣告費用的估計回歸方程 ，并解釋回歸系數(shù)的含義yyyy-M-用SPSS進行回歸 第1步：選擇【Analyze】下拉菜單，并選擇【Regression - linear】選項，進入主對話框第2步：在主對話框中將因變量(本例為銷售收入)選入【Dependent】，將自變量(本例為廣告費用)選入【Independent(s)】第3步：點擊【Save】 在【Predicted Values】下選中【Unstandardized】(輸出點預(yù)測值) 在【Prediction interval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間) 在【Confidence Int

19、erval】中選擇所要求的置信水平(隱含值95%，一般不用改變) 在【Residuals】下選中【Unstandardized】和【standardized】(輸出殘差和標(biāo)準(zhǔn)化殘差) 點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSSyyyy-M-參數(shù)的最小二乘估計(SPSS輸出結(jié)果)yyyy-M-參數(shù)的最小二乘估計(例題分析)yyyy-M-9.2.3 回歸直線的擬合優(yōu)度9.2 一元線性回歸的估計和檢驗yyyy-M-變差因變量 y 的取值是不同的，y 取值的這種波動稱為變差。變差來源于兩個方面由于自變量 x 的取值不同造成的除 x 以外的其他因素(如x對y的非線性影響、測量誤差

20、等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差 來表示yyyy-M-誤差分解圖xyyyyyy-M-誤差平方和的分解 (誤差平方和的關(guān)系) SST = SSR + SSE總平方和(SST)回歸平方和(SSR)殘差平方和(SSE)yyyy-M-誤差平方和的分解 (三個平方和的意義)總平方和(SSTtotal sum of squares)反映因變量的 n 個觀察值與其均值的總誤差回歸平方和(SSRsum of squares of regression)反映自變量 x 的變化對因變量 y 取值變化的影響，或者說，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化

21、，也稱為可解釋的平方和殘差平方和(SSEsum of squares of error)反映除 x 以外的其他因素對 y 取值的影響，也稱為不可解釋的平方和或剩余平方和yyyy-M-判定系數(shù)R2 (coefficient of determination)回歸平方和占總誤差平方和的比例反映回歸直線的擬合程度取值范圍在 0 , 1 之間R2 1，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差決定系數(shù)平方根等于相關(guān)系數(shù)輸出結(jié)果Excelyyyy-M-估計標(biāo)準(zhǔn)誤差(standard error of estimate)實際觀察值與回歸估計值誤差平方和的均方根反映實際觀察值在回歸直線周圍的分散

22、狀況對誤差項的標(biāo)準(zhǔn)差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預(yù)測y時預(yù)測誤差的大小 計算公式為輸出結(jié)果Excelyyyy-M-9.2.4 顯著性檢驗9.2 一元線性回歸的估計和檢驗yyyy-M-線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)k) 殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)yyyy-M-線性關(guān)系的檢驗 (檢驗的步驟) 提出假設(shè)H0：1=0 線性關(guān)系不顯著2. 計算檢驗統(tǒng)計量

23、F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2求統(tǒng)計量的P值作出決策：若P，拒絕H0。表明兩個變量之間的線性關(guān)系顯著輸出結(jié)果Excelyyyy-M-回歸系數(shù)的檢驗和推斷在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗采用t檢驗檢驗 x 與 y 之間是否具有線性關(guān)系，或者說，檢驗自變量 x 對因變量 y 的影響是否顯著理論基礎(chǔ)是回歸系數(shù) 的抽樣分布yyyy-M-回歸系數(shù)的檢驗和推斷 (檢驗步驟) 提出假設(shè)H0: b1 = 0 (沒有線性關(guān)系) H1: b1 0 (有線性關(guān)系) 計算檢驗的統(tǒng)計量 確定顯著性水平，計算出統(tǒng)計量的P值，并做出決策P，拒絕H0，表明自變量是影響因變量的一個顯著因素y

24、yyy-M-回歸系數(shù)的檢驗和推斷 (b1和b0的置信區(qū)間) b1在1- 置信水平下的置信區(qū)間為 b0在1- 置信水平下的置信區(qū)間為輸出結(jié)果Excelyyyy-M- 9.3 利用回歸方程進行預(yù)測 9.3.1 平均值的置信區(qū)間 9.3.2 個別值的預(yù)測區(qū)間第 9 章 一元線性回歸yyyy-M-區(qū)間估計對于自變量 x 的一個給定值 x0，根據(jù)回歸方程得到因變量 y 的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計(confidence interval estimate)預(yù)測區(qū)間估計(prediction interval estimate)yyyy-M-9.3.1 平均值的置信區(qū)間9.3 利用回歸方程

25、進行預(yù)測yyyy-M-平均值的置信區(qū)間利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的估計區(qū)間 ，這一估計區(qū)間稱為置信區(qū)間(confidence interval) E(y0) 在1-置信水平下的置信區(qū)間為式中：se為估計標(biāo)準(zhǔn)誤差yyyy-M-個別值的預(yù)測區(qū)間利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間(prediction interval) y0在1-置信水平下的預(yù)測區(qū)間為注意！yyyy-M-置信區(qū)間和預(yù)測區(qū)間xpyxx預(yù)測上限置信上限預(yù)測下限置信下限yyyy-M-用SPSS進行回

26、歸 第1步：選擇【Analyze】下拉菜單，并選擇【Regression - linear】選項，進入主對話框第2步：在主對話框中將因變量(本例為銷售收入)選入【Dependent】，將自變量(本例為廣告費用)選入【Independent(s)】第3步：點擊【Save】 在【Predicted Values】下選中【Unstandardized】(輸出點預(yù)測值) 在【Prediction interval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間) 在【Confidence Interval】中選擇所要求的置信水平(隱含值95%，一般不用改變) 在【Residuals】下選中【Unstandardized】和【standardized】(輸出殘差和標(biāo)準(zhǔn)化殘差) 點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSSyyyy-M-置信區(qū)間和預(yù)測區(qū)間(例題分析)點預(yù)測值置信線預(yù)測線yyyy-M-用SPSS做區(qū)間圖 第1步：點擊【Graphs】【Interactive-Scatterplot】第2步：點擊【2D Coordine】，將各坐標(biāo)軸變量拖入相應(yīng)坐標(biāo)軸第3步：點擊【Fit】，在【method】下選擇【Regression】，在【Prediction Lines】下選擇【Mean】和【Individual】。