第九章、簡單回歸分析

1、 1Sir Francis Galton (1822-1911)“the size (heights) of descendants of large peas (tall ancestors ) tend to regress down towards a normal average”它們呈直線關系，但所有的點并非都在直線上；它們間的它們呈直線關系，但所有的點并非都在直線上；它們間的關系并非下列嚴格的函數(shù)關系關系并非下列嚴格的函數(shù)關系根據(jù)散點圖所反映出的兩變量線性趨勢，我們可以假定，根據(jù)散點圖所反映出的兩變量線性趨勢，我們可以假定，相對相對x各個取值相應的各個取值相應的y的總體均數(shù)的總體均

2、數(shù) 位于一條直線上，位于一條直線上， 與與x間在數(shù)量上的依存關系就稱為直線回歸間在數(shù)量上的依存關系就稱為直線回歸 (linear regression)，用以下公式表示，用以下公式表示y的條件總體均數(shù)依賴于的條件總體均數(shù)依賴于x的的數(shù)值變化數(shù)值變化yx|y xx| y x一般情況下回歸方程只能從樣本得到，稱為樣本一般情況下回歸方程只能從樣本得到，稱為樣本回歸方程或經(jīng)驗回歸方程回歸方程或經(jīng)驗回歸方程如果以如果以 表示表示 的一個樣本估計值，即的一個樣本估計值，即x確定時確定時y的樣本均數(shù)，則樣本回歸方程可以表達如下：的樣本均數(shù)，則樣本回歸方程可以表達如下：上式中的上式中的 讀作讀作“y hat”

3、 y|y x yabx y y 因變量，響應變量：因變量，響應變量：尿肌尿肌酐含量酐含量() (dependent variable, response variable) x 自變量，解釋變量：體重自變量，解釋變量：體重() (independent variable, explanatory variable) b 回歸系數(shù)，斜率回歸系數(shù)，斜率() (regression coefficient, slope) a 截距截距() (intercept) yabx 直線回歸假定了一條回直線回歸假定了一條回歸直線，該直線表達了自歸直線，該直線表達了自變量變量X X與對應的因變量與對應的因變量Y

4、 Y的的總體均數(shù)間的數(shù)量關系總體均數(shù)間的數(shù)量關系 ： y|x= + x Y的實際觀察值的實際觀察值 y并不總并不總在該回歸線上，而是與其在該回歸線上，而是與其所對應的總體均數(shù)間所對應的總體均數(shù)間( y|x )存在差別存在差別 ，這部分的差別，這部分的差別稱為殘差稱為殘差 e e，表示，表示y的隨機的隨機抽樣誤差抽樣誤差： y = y|x + e e = + x + e e XY y|x= + x 1e exy回歸直線回歸直線0 由于涉及的自變量只有一個，所以這種線性回歸由于涉及的自變量只有一個，所以這種線性回歸又稱為簡單線性回歸模型又稱為簡單線性回歸模型(simple linear regre

5、ssion model) LINE 假定假定xy線性線性(linear) ：因變量均數(shù)：因變量均數(shù) y|x與自變量與自變量x間呈直線關系間呈直線關系 y|x= + x獨立獨立(independent)：任意觀察值之間彼此獨立：任意觀察值之間彼此獨立正態(tài)正態(tài)(normal)：對于任何給定的：對于任何給定的 x, y 服從正態(tài)分布，均數(shù)服從正態(tài)分布，均數(shù)為為 y|x，標準差為標準差為 y|x方差齊性方差齊性(equal variance)：對于任何：對于任何x值，隨機變量值，隨機變量y的方的方差差 y|x2相等相等 y|x = + xN( y|x, y|x2)根據(jù)一個給定的包含根據(jù)一個給定的包含n

6、對對X和和Y觀測數(shù)據(jù)的樣本，可以建觀測數(shù)據(jù)的樣本，可以建立樣本回歸直線立樣本回歸直線但是并非所有實際測量值但是并非所有實際測量值y都在該回歸線上，即實測值與都在該回歸線上，即實測值與直線估計值間存在誤差直線估計值間存在誤差殘差殘差求解求解a、b實際上就是實際上就是“合理地合理地”找到一條能找到一條能最好最好地代表地代表數(shù)據(jù)點分布趨勢的直線，使估計值盡可能接近觀測值，數(shù)據(jù)點分布趨勢的直線，使估計值盡可能接近觀測值，使得殘差盡量小使得殘差盡量小最小二乘法最小二乘法(least sum of squares)原則：原則：各實測點至直線各實測點至直線的縱向距離的縱向距離(殘差殘差)的平方和最小的平方和

7、最小Y 尿肌酐尿肌酐X 年齡年齡6789101112132.202.502.803.103.50 yabxiiieyy()2iiyy依據(jù)最小二乘法的估計原則，利用微積分中求極值的方依據(jù)最小二乘法的估計原則，利用微積分中求極值的方法可以求得直線的斜率法可以求得直線的斜率(回歸系數(shù)回歸系數(shù))與截距與截距()()()2iiXYXXixxyylblxxaybx散點圖提示散點圖提示間呈現(xiàn)直線關系間呈現(xiàn)直線關系任意不同個體間兩個指標均獨立任意不同個體間兩個指標均獨立根據(jù)醫(yī)學常識，同齡人的尿肌酐含量滿足正態(tài)分布根據(jù)醫(yī)學常識，同齡人的尿肌酐含量滿足正態(tài)分布不同年齡人群的尿肌酐含量離散程度接近？不同年齡人群的尿

8、肌酐含量離散程度接近？代入上述公式得（計算器可直接得到代入上述公式得（計算器可直接得到a與與b）：）：故回歸方程為：故回歸方程為：. . /0 139242421 6617xyxxmmolh kgmmollblaYbXh.1 66170 1392yx. *.*0 1373922 98xxy回歸直線通過樣本均值：回歸直線通過樣本均值：估計值的均值估計值的均值=實測值的均值：實測值的均值：殘差之和為殘差之和為0：( , )xy()10niiiyy( ) E yy求得求得a、b建立樣本直線回歸方程，只是完成了統(tǒng)建立樣本直線回歸方程，只是完成了統(tǒng)計分析中兩變量關系的統(tǒng)計描述計分析中兩變量關系的統(tǒng)計描述

9、研究者還須回答它所來自的總體的直線回歸關系研究者還須回答它所來自的總體的直線回歸關系是否確實存在是否確實存在(b也有抽樣誤差也有抽樣誤差)，即是否對總體，即是否對總體有有 =0?YX我們所見的我們所見的 Y值的變異值的變異Sy2（不考慮（不考慮x的作用）的作用）沿著回歸線看去，沿著回歸線看去， Y的變的變異情況異情況Sy.x2（扣除回（扣除回歸作用后還剩余的）歸作用后還剩余的）XY如上圖中所表示，將各實際值如上圖中所表示，將各實際值y與由回歸方程計算的估計與由回歸方程計算的估計值值y hat之間的差值稱為之間的差值稱為估計誤差估計誤差(即殘差即殘差)如何評價這種估計誤差的大小？如何評價這種估計

10、誤差的大??？類似于之前介紹的反映數(shù)據(jù)變異程度的指標類似于之前介紹的反映數(shù)據(jù)變異程度的指標標準差，標準差，將殘差的標準差將殘差的標準差Sy.x (standard error of estimate)作為估計誤差作為估計誤差大小的反映大小的反映由于由于y hat決定于均數(shù)與回歸系數(shù)，所以自由度為決定于均數(shù)與回歸系數(shù)，所以自由度為n-2，公，公式如下：式如下：它反映了它反映了散點圍繞回歸直線的分散程度散點圍繞回歸直線的分散程度，體現(xiàn)了，體現(xiàn)了回歸直線回歸直線估計誤差的大小估計誤差的大?。蝗绻?；如果回歸模型越好則估計值的標準誤也回歸模型越好則估計值的標準誤也越小越小.()22y xyySn對于某一總

11、體資料，可以從中作抽樣研究，分別計算各對于某一總體資料，可以從中作抽樣研究，分別計算各樣本的回歸系數(shù)樣本的回歸系數(shù)b，則樣本回歸系數(shù)不一定等于總體回歸，則樣本回歸系數(shù)不一定等于總體回歸系數(shù)系數(shù) ；而且不同的樣本回歸系數(shù)間也不一定相同；而且不同的樣本回歸系數(shù)間也不一定相同類似于前面的樣本均數(shù)的標準誤，我們將樣本回歸系數(shù)類似于前面的樣本均數(shù)的標準誤，我們將樣本回歸系數(shù)的標準差稱為回歸系數(shù)的標準誤；用公式表示如下：的標準差稱為回歸系數(shù)的標準誤；用公式表示如下：21.()y xbniiSSxx如果直接計算如果直接計算Sy.x是較為麻煩的，可以考慮使用如下公式，是較為麻煩的，可以考慮使用如下公式，計算較

12、為方便計算較為方便222212yyxxy xyyxxbnxxiiyylb lSlb lSlnxx.()()()以課文以課文9-1數(shù)據(jù)為例，計算過程如下：數(shù)據(jù)為例，計算過程如下：20 139166666421 04618750 0303915142xxyyyyxxbxxblllb lSln.()先先將將數(shù)數(shù)據(jù)據(jù)輸輸入入計計算算器器中中，得得到到，；代代入入上上述述公公式式：在回歸條件滿足的情況下在回歸條件滿足的情況下(LINE假定假定)，使用最小二乘法，使用最小二乘法計算的樣本回歸系數(shù)計算的樣本回歸系數(shù)b滿足正態(tài)分布，記為：滿足正態(tài)分布，記為：滿足正態(tài)分布，就可以作滿足正態(tài)分布，就可以作u轉換；

13、但是由于通常只作一次轉換；但是由于通常只作一次抽樣，回歸系數(shù)的總體標準誤未知，在樣本含量抽樣，回歸系數(shù)的總體標準誤未知，在樣本含量n較小的較小的情況下，只能求得回歸系數(shù)標準誤的估計值情況下，只能求得回歸系數(shù)標準誤的估計值Sb，對其作，對其作t轉換如下：轉換如下：2 ,bbN 2 ()bbbttnSH0：總體回歸系數(shù)為：總體回歸系數(shù)為0( =0) H1：總體回歸系數(shù)不為：總體回歸系數(shù)不為0( 0) =0.05(雙側雙側)將將b與與Sb代入上述公式得：代入上述公式得：故在故在 =0.05的水準上，拒絕的水準上，拒絕H0，認為總體回歸系，認為總體回歸系數(shù)不為數(shù)不為0注意注意tb=tr4 579 6b

14、bbtS.;類似與總體均數(shù)與總體率的可信區(qū)間，總體回歸類似與總體均數(shù)與總體率的可信區(qū)間，總體回歸系數(shù)的可信區(qū)間同樣可以用系數(shù)的可信區(qū)間同樣可以用t分布的曲線下面積規(guī)分布的曲線下面積規(guī)律導出：律導出：上述例題中，回歸系數(shù)的上述例題中，回歸系數(shù)的95%的可信區(qū)間為：的可信區(qū)間為：221/ ,nbCIbtS的的的的為為：0 13922 447 0 03040 0648 0 2136.( .,.)y-y$y-y$XYYy$y-y(x,y)y=a+bx$(y-y)=(y-y)+(y-y)$222222(Y-Y) =(Y-Y)+(Y-Y)=(Y-Y) +(Y-Y) +2(Y-Y)(Y-Y)=(Y-Y) +

15、(Y-Y) SSSS總總SS殘殘SS回回V總總=n-1V回回=1V殘殘=n-2可見不考慮回歸時，可見不考慮回歸時，Y的總變異的總變異SS總，歸結于隨機誤差；總，歸結于隨機誤差；而考慮回歸后，由于回歸的貢獻使得隨機誤差減小為而考慮回歸后，由于回歸的貢獻使得隨機誤差減小為SS殘殘如果兩個變量間的回歸關系的確存在，則變異度減少將如果兩個變量間的回歸關系的確存在，則變異度減少將十分之十分之“顯著顯著”，即，即SS回歸大于回歸大于SS殘，大到何種程度才殘，大到何種程度才認為具有統(tǒng)計學意義？認為具有統(tǒng)計學意義？計算以下統(tǒng)計量：計算以下統(tǒng)計量：對于簡單線性回歸，有對于簡單線性回歸，有tb2=FSS /F=

16、F( =1, =n-2)SS /回回回回回回殘殘殘殘殘殘R2=SS回回/SS總總取值介于取值介于01，表示回歸解釋了因變量變異的比，表示回歸解釋了因變量變異的比例；其值越大表示回歸預測效果越好例；其值越大表示回歸預測效果越好在實際應用中，通常需要用決定系數(shù)反映回歸的在實際應用中，通常需要用決定系數(shù)反映回歸的實際效果實際效果對于簡單線性回歸，有對于簡單線性回歸，有r2=決定系數(shù)決定系數(shù)通過樣本資料得到的回歸直線為：通過樣本資料得到的回歸直線為：其中其中y hat為相應的總體條件均數(shù)為相應的總體條件均數(shù) y|x的估計值，的估計值，會隨樣本而異；為了考慮抽樣誤差的影響，在估會隨樣本而異；為了考慮抽樣

17、誤差的影響，在估計總體參數(shù)計總體參數(shù) y|x時采用區(qū)間估計時采用區(qū)間估計y hat 滿足正態(tài)分布：滿足正態(tài)分布：但是由于通常只有一次抽樣無法得到但是由于通常只有一次抽樣無法得到y(tǒng) hat的總體的總體方差，故只能通過方差，故只能通過t統(tǒng)計量計算其可信區(qū)間：統(tǒng)計量計算其可信區(qū)間： yabx2| ,iiiiy xyyN|2|0 05 2295iiiiiiiy xny xinyyyttCIytSS()./ ,%() Xp231yyy $yyS變變異異程程度度為為$yp hat的變異不僅決定于的變異不僅決定于y的均數(shù)的均數(shù)( )，同時也取決于回歸系數(shù)的作用，同時也取決于回歸系數(shù)的作用( )根據(jù)方差的特性

18、根據(jù)方差的特性:2222222221.()( ) ()( )( )/ ()()()()()pppy xy xpbppxxy xy xpypy xxxxxVar yb xxVar yVar b xxVar yVar ynSnSVar b xxSxxxxlSSxxSxxSnlnl()ppyyb xxy所以對于給定所以對于給定xp時，時，yp的總體均數(shù)的總體均數(shù) yp|xp相應的可信區(qū)間為相應的可信區(qū)間為:可以看出，當可以看出，當xp=x的均數(shù)時，的均數(shù)時，y hat 的標準誤是最小的，的標準誤是最小的，相應的可信區(qū)間是最窄的相應的可信區(qū)間是最窄的而當而當xp偏離其均數(shù)時，偏離其均數(shù)時， yp|xp

19、的可信區(qū)間將變得越來越寬的可信區(qū)間將變得越來越寬2|2211/ ,.()( -)pppyxpny xxxxxytSnl的的可可信信區(qū)區(qū)間間為為22/ ,./pny xytSn將樣本中的每個將樣本中的每個xp代入代入上述公式就可求得相上述公式就可求得相應的應的y的條件均數(shù)的條件均數(shù)( y|x)的可信區(qū)間的可信區(qū)間(confidence interval of conditional mean of y)由于上述可信區(qū)間的由于上述可信區(qū)間的特點，當所有可信區(qū)特點，當所有可信區(qū)間的上下限相連接后間的上下限相連接后就會形成一個弧形的就會形成一個弧形的區(qū)帶，稱為區(qū)帶，稱為 y|x的置信的置信帶帶(con

20、fidence band)例如年齡為例如年齡為12時，其所對應的尿肌酐均值為時，其所對應的尿肌酐均值為3.332(y hat)；總體均值；總體均值 ( y|x)的的95%可信區(qū)間為可信區(qū)間為3.0803.584 mmol/24h總體回歸線置信帶的意義：總體回歸線置信帶的意義：在滿足在滿足LINE假定的假定的情況下，利用最小二乘原則估計的總體回歸線被情況下，利用最小二乘原則估計的總體回歸線被兩條弧線所組成的置信帶所包含，其可信度為兩條弧線所組成的置信帶所包含，其可信度為(1- )在回歸分析中，假設在回歸分析中，假設x取某一數(shù)值時，變量取某一數(shù)值時，變量y的取值圍繞的取值圍繞 + x波動，呈正態(tài)分

21、布，其均數(shù)為波動，呈正態(tài)分布，其均數(shù)為 y|x ，標準差為，標準差為 y|x；(Sy.x是的是的 y|x估計值估計值)因而如果能夠求得因而如果能夠求得 與與 ，就可以利用正態(tài)分布的原理估計，就可以利用正態(tài)分布的原理估計個體值個體值y的預測值范圍的預測值范圍在抽樣研究中，我們得到的是總體回歸線的估計線：在抽樣研究中，我們得到的是總體回歸線的估計線： yhat=a+bx，因此可估計約有，因此可估計約有95%的觀察值在的觀察值在yhat1.96Sy.x內；但是內；但是yhat又是總體均數(shù)又是總體均數(shù) y|x的估計值，會隨樣本而改變，的估計值，會隨樣本而改變，其變異程度如前所述用其變異程度如前所述用S

22、y hat表示表示因此，我們要預測某次實驗中因此，我們要預測某次實驗中x取一定值時，取一定值時，y的相應取值的相應取值范圍，就要同時考慮這兩種誤差范圍，就要同時考慮這兩種誤差XpXpyy.xYSS$的的變變異異既既與與取取某某條條回回歸歸線線有有關關()()；又又與與該該回回歸歸線線中中的的殘殘差差()()有有關關ppyXYS時時 變變異異程程度度為為如上所述，個體值如上所述，個體值y的變異程度因該表達為：的變異程度因該表達為：由前述公式得到其具體計算式如下：由前述公式得到其具體計算式如下：222.ppyy xySSS222222221111.()()()ppy xy xpyy xpy xxx

23、xxpyy xxxSSxxSSxxSnlnlxxSSnl所以根據(jù)正態(tài)分布的理論，在所以根據(jù)正態(tài)分布的理論，在xp時以下范圍內包時以下范圍內包含了含了95%的的yp值：值：20 05 2211./ ,.()ppny xxxxxytSnl與預測值的標準誤與預測值的標準誤S y hat類似的是，個體值的變異度類似的是，個體值的變異度Sy也取也取決于決于xp和和x均值間的距離；如果這個距離越大，則個體值均值間的距離；如果這個距離越大，則個體值的變異程度也相應越大的變異程度也相應越大如果樣本含量很大，則公式根號中的如果樣本含量很大，則公式根號中的1/n將趨近于將趨近于0；同時；同時根號中的第三項由于根號

24、中的第三項由于lxx的增大也將趨近于的增大也將趨近于0，此時個體值，此時個體值的變異程度就近似用的變異程度就近似用Sy.x表達；而在樣本含量很大的情況表達；而在樣本含量很大的情況下下， Sy.x y|x也就是說，如果也就是說，如果n很大，則個體值的變異度就是接近很大，則個體值的變異度就是接近Sy.x；此時此時t0.05/2,n-2也約等于也約等于u0.05/2；以上公式近似為：；以上公式近似為：1 96.py xyS將樣本中的每個將樣本中的每個xp代入代入上述公式就可求得相上述公式就可求得相應的應的y的預測值區(qū)間的預測值區(qū)間(predicted interval for individual

25、y)由于上述預測值區(qū)間由于上述預測值區(qū)間的特點，當所有預測的特點，當所有預測范圍的上下限相連接范圍的上下限相連接后就會形成一個弧形后就會形成一個弧形的區(qū)帶，稱為的區(qū)帶，稱為y預測帶預測帶(prediction band)，根，根據(jù)前述公式，該預測據(jù)前述公式，該預測帶包含置信帶帶包含置信帶例如年齡為例如年齡為12歲時，尿肌酐含量的歲時，尿肌酐含量的95預測值范預測值范圍為：圍為：2.7883.876 mmol/24h個體值個體值y的預測帶的意義：的預測帶的意義：如果兩個變量間回歸如果兩個變量間回歸關系沒有改變的話，在兩條弧線所組成的預測帶關系沒有改變的話，在兩條弧線所組成的預測帶中包含了中包含了

26、1- 的的y值值殘差分析具有深入了解數(shù)據(jù)殘差分析具有深入了解數(shù)據(jù)是否滿足是否滿足LINE假定假定，資料中資料中是否存在異常點是否存在異常點等功效等功效在上圖中，橫坐標為因變量在上圖中，橫坐標為因變量Y，縱坐標為經(jīng)過標，縱坐標為經(jīng)過標準化后的殘差：準化后的殘差：可見幾乎所有數(shù)據(jù)的標準化殘差均分布在可見幾乎所有數(shù)據(jù)的標準化殘差均分布在2以以內，殘差并未隨自變量的而改變內，殘差并未隨自變量的而改變(殘差并未隨著自殘差并未隨著自變量的增大而逐漸增大或減小變量的增大而逐漸增大或減小)；因此該資料滿足；因此該資料滿足線性回歸的條件線性回歸的條件./iy xiy xeeSeS0Residuals方差齊性方差

27、齊性: 殘差隨機分布，與自變量或因變量的殘差隨機分布，與自變量或因變量的預測值都不存在關聯(lián)預測值都不存在關聯(lián).0Residuals提示二者的關系可能不是線性關系，最好使用非提示二者的關系可能不是線性關系，最好使用非線性回歸線性回歸.0Residuals方差不性方差不性:殘差不呈隨機分布，與自變量或因變量殘差不呈隨機分布，與自變量或因變量的預測值存在關聯(lián)的預測值存在關聯(lián).yx or $ $0Residuals大多數(shù)數(shù)據(jù)的殘差在大多數(shù)數(shù)據(jù)的殘差在2個標準差內，數(shù)據(jù)中有一個個標準差內，數(shù)據(jù)中有一個異常值，最好重新考察該值是否有誤異常值，最好重新考察該值是否有誤.yx or $ $yx or $ $y

28、x or $ $作回歸分析要有實際意義，不能把毫無關聯(lián)的兩作回歸分析要有實際意義，不能把毫無關聯(lián)的兩種現(xiàn)象，隨意進行回歸分析；如對兒童身高與小種現(xiàn)象，隨意進行回歸分析；如對兒童身高與小樹的生長數(shù)據(jù)進行回歸分析既無道理也無用途；樹的生長數(shù)據(jù)進行回歸分析既無道理也無用途；另外，即使兩個變量間存在回歸關系時，也不一另外，即使兩個變量間存在回歸關系時，也不一定是因果關系定是因果關系(兄弟間的身高關系兄弟間的身高關系)，必須結合專，必須結合專業(yè)知識作出合理解釋和結論業(yè)知識作出合理解釋和結論 進行回歸分析時，應先繪制散點圖進行回歸分析時，應先繪制散點圖(scatter plot)；若提示有直線趨勢存在時，

29、可作直線回歸分析若提示有直線趨勢存在時，可作直線回歸分析一般說，不滿足線性條件的情形，最好采用非線一般說，不滿足線性條件的情形，最好采用非線性回歸方程的方法進行分析性回歸方程的方法進行分析 繪制散點圖后，若出現(xiàn)一些特大特小的離群值繪制散點圖后，若出現(xiàn)一些特大特小的離群值（異常點），則應及時復核檢查，對由于測定、（異常點），則應及時復核檢查，對由于測定、記錄或計算機錄入的錯誤數(shù)據(jù)，應予以修正；否記錄或計算機錄入的錯誤數(shù)據(jù)，應予以修正；否則，異常點的存在會對回歸方程中的系數(shù)則，異常點的存在會對回歸方程中的系數(shù)a、b的的估計產(chǎn)生較大影響估計產(chǎn)生較大影響 直線回歸分析的資料，一般要求應變量直線回歸分析

30、的資料，一般要求應變量Y是來自是來自正態(tài)總體的隨機變量，自變量正態(tài)總體的隨機變量，自變量X可以是正態(tài)隨機可以是正態(tài)隨機變量（變量（II型回歸），也可以是精確測量和嚴密控型回歸），也可以是精確測量和嚴密控制的值（制的值（I型回歸）；若型回歸）；若Y僅有稍許偏離正態(tài)時，僅有稍許偏離正態(tài)時，一般對回歸方程中參數(shù)的估計影響不大，但可能一般對回歸方程中參數(shù)的估計影響不大，但可能影響到標準差的估計，也會影響假設檢驗時影響到標準差的估計，也會影響假設檢驗時P值值的真實性的真實性 直線回歸的適用范圍一般以自變量取值范圍為限，直線回歸的適用范圍一般以自變量取值范圍為限，在此范圍內求出的估計值稱為內插在此范圍內求出的估計值稱為內插（interpolation）；超過自變量取值范圍所計算）；超過自變量取值范圍所計算的稱為外延（的稱為外延（extrapolat