第十二章線性回歸

1、第十二章第十二章 線性回歸線性回歸李金德第一節(jié)第一節(jié) 線性回歸模型的建立方法線性回歸模型的建立方法第二節(jié)第二節(jié) 回歸模型的檢驗與評估回歸模型的檢驗與評估第三節(jié)第三節(jié) 回歸方程的應(yīng)用回歸方程的應(yīng)用第一節(jié)第一節(jié) 線性回歸模型的建立方法線性回歸模型的建立方法一、回歸分析與相關(guān)分析的關(guān)系一、回歸分析與相關(guān)分析的關(guān)系1、用一定模型來表述變量相關(guān)關(guān)系相關(guān)關(guān)系的方法稱為回歸分析。2、從廣義上說，相關(guān)分析包括回歸分析。但二者有區(qū)別：回歸分析是以數(shù)學(xué)方式表示變量間的關(guān)系，而相關(guān)分析則是檢驗或度量這些關(guān)系的密切程度，兩者相輔相成。二、回歸分析的內(nèi)容1、建立回歸方程2、檢驗方程的有效性3、利用方程進行預(yù)測三、回歸模

2、型與回歸系數(shù)1.用來表達變量之間規(guī)律的數(shù)學(xué)模型用來表達變量之間規(guī)律的數(shù)學(xué)模型稱為回歸模型。2.回歸模型的分類（1）線性回歸模型線性回歸模型、非線性回歸模型非線性回歸模型（2）簡單回歸模型簡單回歸模型、多重回歸模型多重回歸模型（3）一元線性回歸一元線性回歸是指只有一個自變量的線性回歸（linear regression），對具有線性關(guān)系的兩個變量，回歸的目的首先是找出因變量（一般記為Y）關(guān)于自變量（一般記為X）的定量關(guān)系。3、一元線性回歸方程 回歸方程有兩個：以為自變量預(yù)測因變量時，方程為：以為自變量預(yù)測因變量時，方程為： 以為自變量預(yù)測因變量時，方程為以為自變量預(yù)測因變量時，方程為 ：XYXY

3、aXbYXYXYaYbXbXaY該直線在該直線在Y軸的軸的截距截距該直線的該直線的斜率斜率對應(yīng)于對應(yīng)于X的的Y變量的估計值變量的估計值四、一元線性回歸模型建立方法 例12-1：下表中10對數(shù)據(jù)是為確定某心理量與物理量之間的關(guān)系而做的實驗結(jié)果（表中物理量是取對數(shù)后的值）。假設(shè)兩者呈線性關(guān)系，試以這10對數(shù)據(jù)結(jié)果建立該心理量與物理量的回歸方程。被試ABCDEFGHIJ心理量（X） 1133456789物理量（Y） 0215426257解：將N對數(shù)據(jù)按奇偶順序分為兩組，然后分別代入設(shè)定的回歸方程求和，計算b和a第一組（奇數(shù)組） 1=a+0b 3=a+1b 4=a+4b 6=a+6b 8=a+5b 2

4、2=5a+16b 平均數(shù)方法第二組（偶數(shù)組） 1=a+2b 3=a+5b 5=a+2b 7=a+2b 9=a+7b 25=5a+18bXY5 .14 .0與聯(lián)立，成二元一次方程組：22=5a+16b 25=5a+18b解得a=-0.4,b=1.5,代入設(shè)定的方程答：該心理量與物理量的回歸方程為XY5 .14 .0最小二乘法1、定義：、定義：所謂最小二乘法，就是如果散點圖中每一點沿Y軸方向到直線的距離的平方和最小，就是使誤差的平方和最小，則在所有直線中這條直線的代表性是最好的，它的表達式就是所要求的回歸方程。2.最小二乘法的原理最小二乘法的原理 設(shè)方程 每一點到直線沿Y軸方向的距離平方和為： 求

5、回歸方程就是求當該公式達到最小時a和b的值，而要是公式為最小，只需分別對a和b求偏導(dǎo)數(shù)，并令其等于零。即bXaYNNXbaYYYiiii12120022biiaiiXbaYXbaY 經(jīng)整理，并省略X與Y字母下面的下標，上面兩式分別寫成： 兩邊同除以N，得YXbXaYXbaNX2XbYaXXYYXXb2 例12-2：根據(jù)例12-1中的數(shù)據(jù)，使用最小二乘法求回歸方程。 代入公式 得b=0.81 再代入公式 得a=1.95 則，回歸方程為：XXYYXXb27 , 4, 4 . 3YXXbYaXY81. 095. 1五、回歸系數(shù)與相關(guān)系數(shù)的關(guān)系2)()(XXYYXXbYX2222YYXXXXYYYYX

6、X22XXYYrXYSSr2)()(XXYYXXbYXXYSSr2)()(YYYYXXbXYYXSSrbbYXXYr同理六、線性回歸的基本假設(shè)1、線性關(guān)系假設(shè)2、正態(tài)性假設(shè)3、獨立性假設(shè)4、誤差等分散性假設(shè)第二節(jié) 回歸模型的檢驗與估計一、回歸模型的有效性檢驗一、回歸模型的有效性檢驗1、回歸模型的有效性檢驗，就是對求得的回歸方程進行顯著性檢驗，看是否真實地反映了變量間的線性關(guān)系。2、方法 線性回歸模型的有效性檢驗通常使用方差分析方差分析的思想和方法進行。根據(jù)方差分析的原理，在回歸的方差分析中總變異被分解為自變量的變異和誤差的變異。其分析過程也是從總平方和的分解到自由度的分解，再到均方，最后是進行

7、自變量對誤差影響程度進行比較。 即：總平方和 = 誤差平方和 + 回歸平方和回歸平方和的公式推導(dǎo)如下： TSS所有Y值的總平方和； BSS由回歸直線表示的線性關(guān)系解釋的 那部分離差平方和； eSS回歸直線無法解釋的那個離差平方和。 回歸方程效果的好壞取決于回歸平方和在總平方和中所占的比例，即 tRSSSS例12-3:以例12-1的回歸方程為例，檢驗其方程效果。XY81. 095. 11)1)建立假設(shè)建立假設(shè)H0：方程效果不顯著，即自變量X與因變量Y之間沒有顯著的線性關(guān)系。H1：方程效果顯著，即自變量X與因變量Y之間存在著顯著的線性關(guān)系。2）方差分析）方差分析 求平方和1 .709 .22029

8、122NYYSST755.316 .11616481.02222NXXbSSR345.38755.311 .70eSS 求均方 求F值3）比較與決策）比較與決策 當分子自由度為1，分母自由度為8時， 。因為， F5.32，p2.31，p0.05，關(guān)系顯著。拒絕虛無假設(shè)，接受研究假設(shè)，表明兩個變量之間存在顯著的線性關(guān)系。57. 2315. 081. 00yxbSEbt8210df 31. 2205. 08t三、測定系數(shù)n在回歸方程的方差分析中曾指出，回歸平方和對總平方和的貢獻越大，說明回歸方程越顯著，因而回歸平方和在總平方和中所占的比例是評價回歸效果的一個指標。n這個比例越大回歸效果越好越大回歸

9、效果越好，若這個比例達到1，則表明此時Y的變異完全由X的變異來解釋，沒有誤差。若為0，則說明Y的變異與X無關(guān)，回歸方程無效。的平方叫做測定系數(shù)。比例。所占的歸平方和在總平方和中相關(guān)系數(shù)的平方等于回r2SSSSYYYYrTR222第三節(jié) 回歸方程的應(yīng)用一、用樣本回歸方程進行預(yù)測或估計一、用樣本回歸方程進行預(yù)測或估計 例12-5：下表是20名工作人員的智商和某一次技術(shù)考試成績，根據(jù)這個結(jié)果求出考試成績對智商的回歸方程。如果另有一名工作人員智商為120，試估計一下若讓他也參加技術(shù)考試，將會得多少分？被試12345678910智商（X）899712687119101130115108105考試（Y）5

10、5748760715490736770被試11121314151617181920智商（X）8412197101 9211012811199120考試（Y）538258606780857371901）計算X、Y變量的平均數(shù)2）代入公式計算b，a回歸方程為：當x =120時，代入回歸方程計算，得：107X71Y73.02XXYYXXbYX11. 710773. 071XbYa11. 773. 0,73. 011. 7或XYXY5 .8011. 712073. 0Y二、真值的預(yù)測區(qū)間n預(yù)測是將已知變量值作為自變量代入相應(yīng)的回歸方程而推算出另一個變量的估計值及置信區(qū)間統(tǒng)計方法。預(yù)測的標準誤：預(yù)測的標

11、準誤：XXXXssipYpYNYX2211)0(。為由度分布的臨界值，并且自果為小樣本，則為正態(tài)分布的臨界值；如為；如果為大樣本，則時，變量分布的臨界值為顯著水平為等符號同前；代表預(yù)測點值；式中：2nt,22ttXsYXnpYXpXXXXstYipNYXp22211預(yù)測區(qū)間：預(yù)測區(qū)間：例12-6：當X=97時Y的真值進行估計。 2）計算預(yù)測置信區(qū)間 查查t表，有表，有 ，則置信區(qū)則置信區(qū)間為：間為：1）計算預(yù)測標準誤）計算預(yù)測標準誤XXXXssipYYNYXp221103478201127.610797227. 622NYYsYX6.5101.2t18205.0）（36.7704.505 . 6101. 27 .63，即三、回歸分析與相關(guān)分析的綜合運用1、具體步驟、具體步驟 第一步：第一步：將成對資料繪制散點圖，從散點圖中點子的分布形狀判斷X和Y是否有線性關(guān)系。 第二步：第二步：建立回歸模型。 第三步：第三步：回歸方程顯著性檢驗。 第四步：第四步：計算回歸估計標準誤差。