直線相關(guān)與回歸分析

1、第十章 一元回歸與相關(guān)分析概述：許多問題需要研究多個(gè)變量之間的關(guān)系，例如生物的生長發(fā)育速度就與溫度，營養(yǎng)，濕度等許多因素有關(guān)。相關(guān)關(guān)系：兩變量X，Y均為隨機(jī)變量，任一變量的每一可能值都有另一變量的一個(gè)確定分布與之對(duì)應(yīng)?；貧w關(guān)系：X是非隨機(jī)變量（如施肥）或隨機(jī)變量（如穗長），Y是隨機(jī)變量，對(duì)X的每一確定值xi都有Y的一個(gè)確定分布與之對(duì)應(yīng)。區(qū)別：1.相關(guān)中的兩個(gè)變量地位對(duì)稱，互為因果；回歸中X是自變量，Y是因變量。兩種意義不同，分析的數(shù)學(xué)概念與推導(dǎo)過程不同，但如果使用共同標(biāo)準(zhǔn)即使y的殘差平方和最?。ㄗ钚《朔ǎ傻玫较嗤膮?shù)估計(jì)式。因此主要討論X為非隨機(jī)變量（不包含有隨機(jī)誤差）的情況，所得到的

2、參數(shù)估計(jì)式也可用于X為隨機(jī)變量的情況。2.分析目的不同。回歸分析是建立X與Y之間的數(shù)學(xué)關(guān)系式，用于預(yù)測(cè)；而相關(guān)分析研究X與Y兩個(gè)隨機(jī)變量之間的共同變化規(guī)律，例如當(dāng)X增大時(shí)Y如何變化，以及這種共變關(guān)系的強(qiáng)弱。分類：從兩個(gè)變量間相關(guān)（或回歸）的程度分三種：（1）完全相關(guān)。一個(gè)變量的值確定后，另一個(gè)變量的值可通過公式求出（函數(shù)關(guān)系）；生物學(xué)研究中不太多見。（2）不相關(guān)。變量之間完全沒有任何關(guān)系。一個(gè)變量的值不能提供另一個(gè)變量的任何信息。（3）統(tǒng)計(jì)相關(guān)（不完全相關(guān)）。介于上述兩情況之間。知道一個(gè)變量的值通過某種公式就可以提供另一個(gè)變量的均值的信息。一個(gè)變量的取值不完全決定另一個(gè)變量的取值，但可或多或少

3、地決定它的分布?？蒲兄凶畛Ｓ龅?。研究“一因一果”，即一個(gè)自變量與一個(gè)依變量的回歸分析稱為一元回歸分析； 研究“多因一果”，即多個(gè)自變量與一個(gè)依變量的回歸分析稱為多元回歸分析。 一元回歸分析又分為直線回歸分析與曲線回歸分析兩種；多元回歸分析又分為多元線性回歸分析與多元非線性回歸分析兩種。 對(duì)兩個(gè)變量間的直線關(guān)系進(jìn)行相關(guān)分析稱為直線相關(guān)分析； 研究一個(gè)變量與多個(gè)變量間的線性相關(guān)稱為復(fù)相關(guān)分析；研究其余變量保持不變的情況下兩個(gè)變量間的線性相關(guān)稱為偏相關(guān)分析。 注意：1.相關(guān)與回歸只是一種工具，不是不相干的數(shù)據(jù)拼湊在一起。 2.除X、Y等需研究的因素外，其他的要嚴(yán)格控制一致。（身高與胸圍的關(guān)系要控制體

4、重） 3.對(duì)子一般在5對(duì)以上4.需限制自變量范圍，結(jié)果不能隨意外延。第一節(jié) 一元線性回歸（一）直線回歸方程的建立對(duì)于兩個(gè)相關(guān)變量，一個(gè)變量用x表示，另一個(gè)變量用y表示，如果通過試驗(yàn)或調(diào)查獲得兩個(gè)變量的n對(duì)觀測(cè)值： （x1，y1），（x2，y2），（xn，yn） 為直觀看出x和y間的變化趨勢(shì)，可將每一對(duì)觀測(cè)值在平面直角坐標(biāo)系描點(diǎn)，作出散點(diǎn)圖 例11.1 對(duì)大白鼠從出生第6天起，每三天稱一次體重，直到第18天。數(shù)據(jù)見表11.1。試計(jì)算日齡X與體重Y之間的回歸方程。表11.1 大白鼠6-18日齡的體重序號(hào)12345日齡xi69121518體重yi1116.5222629散點(diǎn)圖對(duì)X、Y之間的關(guān)系有直觀

5、的、整體上的印象，但是否有某種規(guī)律性，是接近一條直線還是一條曲線等，哪一條直線或曲線可以最好地代表X, Y之間的關(guān)系，不能做出判斷。圖11.1 大白鼠日齡體重關(guān)系圖一、 一元正態(tài)線性回歸統(tǒng)計(jì)模型：對(duì)于每個(gè)Y的觀察值yi來說，由于總是帶有隨機(jī)誤差，觀察值就應(yīng)該是在均值的基礎(chǔ)上再加上一個(gè)隨機(jī)誤差，即： （11.2）其中。隨機(jī)誤差服從正態(tài)分布。這是一元正態(tài)線性回歸的統(tǒng)計(jì)模型。二、 參數(shù)和的估計(jì)模型中的和是參數(shù)，一般不知道。由于只能得到有限的觀察數(shù)據(jù)，無法算出準(zhǔn)確的與的值，只能求出估計(jì)值a和b，并得到y(tǒng)i的估計(jì)值為： （11.3）a和b應(yīng)使殘差最小。為了避免使正負(fù)ei互相抵消，定義使殘差平方和達(dá)到最小

6、的直線為回歸線，即令：，且SSe對(duì)a、b的一階偏導(dǎo)數(shù)等于0得： 整理后，得 （11.4）解此方程，得：這種方法稱為最小二乘法 記 ，稱為X的校正平方和； ，稱為Y的總校正平方和； ，稱為校正交叉乘積和，則： （11.7）a叫樣本回歸截距，是回歸直線與y軸交點(diǎn)的縱坐標(biāo)，當(dāng)x=0時(shí)， =a；b叫樣本回歸系數(shù)，表示x 改變一個(gè)單位，y平均改變的數(shù)量；b 的符號(hào)反映了x影響y的性質(zhì)，b的絕對(duì)值大小反映了x 影響y 的程度;叫做回歸估計(jì)值，是當(dāng)x在在其研究范圍內(nèi)取某一個(gè)值時(shí)，y值平均數(shù)x的估計(jì)值回歸方程的基本性質(zhì)： 1 最小2 0 3.直線通過（，） 轉(zhuǎn)化后得到回歸方程的另一種形式(中心化形式)：在實(shí)際

7、計(jì)算時(shí)，可采用以下公式：例11.1 對(duì)大白鼠從出生第6天起，每三天稱一次體重，直到第18天。數(shù)據(jù)見表11.1。試計(jì)算日齡X與體重Y之間的回歸方程。表5.1 大白鼠6-18日齡的體重序號(hào)12345日齡xi69121518體重yi1116.5222629解：把數(shù)據(jù)代入上述公式,得： 即：所求的回歸方程為：y = 2.6996 + 1.5167 x帶有統(tǒng)計(jì)功能的計(jì)算器，只需把數(shù)據(jù)依次輸入，然后按一下鍵就可得到上述結(jié)果。根據(jù)直線回歸方程可作回歸直線，并不是所有的散點(diǎn)都恰好落在回歸直線上，說明用 去估計(jì)y是有偏差的。三、直線回歸的偏離度估計(jì) 偏差平方和的大小表示了實(shí)測(cè)點(diǎn)與回歸直線偏離的程度，因而偏差平方

8、和又稱為離回歸平方和。統(tǒng)計(jì)學(xué)已經(jīng)證明：在直線回歸分析中離回歸平方和的自由度為n-2。于是可求得離回歸均方為： 離回歸均方是模型中2的估計(jì)值。 離回歸均方的平方根叫離回歸標(biāo)準(zhǔn)誤，記為 ，即 Syx的大小表示了回歸直線與實(shí)測(cè)點(diǎn)偏差的程度，即回歸估測(cè)值 與實(shí)際觀測(cè)值y偏差的程度，于是把離回歸標(biāo)準(zhǔn)誤Syx用來表示回歸方程的偏離度。以后將證明： 利用此式先計(jì)算出 ，然后再求Syx 。 四、直線回歸的顯著性檢驗(yàn)x和y變量間即使不存在直線關(guān)系，但由n對(duì)觀測(cè)值（xi，yi）也可以根據(jù)上面的方法求得一個(gè)回歸方程。顯然，這樣的回歸方程所反應(yīng)的兩個(gè)變量間的直線關(guān)系是不真實(shí)的。需要判斷直線回歸方程的真實(shí)性。先探討依變

9、量y的變異，然后再作出統(tǒng)計(jì)推斷。1、 直線回歸的變異來源 的分解圖1） 一元回歸的方差分析（1） 無重復(fù)的情況。y的總校正平方和可進(jìn)行如下的分解：即： SSy = SSe + SSR y的總校正平方和 殘差平方和 回歸平方和自由度： n-1 n-2 1反映了y的總變異程度，稱為y的總平方和，記為SSy； 反映了由于y與x間存在直線關(guān)系所引起的y的變異程度，稱為回歸平方和，記為SSR； 反映了除y與x存在直線關(guān)系以外的原因，包括隨機(jī)誤差所引起的y的變異程度，稱為離回歸平方和或剩余平方和，記為SSe。把y的總校正平方和分解成了殘差平方和與回歸平方和。MSe可作為總體方差s2的估計(jì)量，而MSR可作為

10、回歸效果好壞的評(píng)價(jià)。如果MSR僅由隨機(jī)誤差造成的話，說明回歸失敗，X和Y沒有線性關(guān)系；否則它應(yīng)顯著偏大。因此可用統(tǒng)計(jì)量 （11.10）對(duì)H0: b = 0進(jìn)行檢驗(yàn)。若F < Fa(1, n-2)，則接受H0，否則拒絕。簡(jiǎn)化公式：對(duì)例11.1作方差分析解：由以前計(jì)算結(jié)果： SSy = 210.2，df = 4; SSe = 3.1704, df = 3, SSR = 210.2 3.1704 = 207.03, df = 1 查表得F0.95(1, 3) = 10.13, F0.99(1, 3) = 34.12F > F0.99(1, 3)，拒絕H0，差異極顯著。即應(yīng)認(rèn)為回歸方程有效

11、。（2） 有重復(fù)的情況：設(shè)在每一個(gè)xi取值上對(duì)Y作了m次觀察，結(jié)果記為yi1, yi2, yim, 則線性統(tǒng)計(jì)模型變?yōu)椋? i = 1, 2, n, j = 1, 2, m估計(jì)值仍為：現(xiàn)在y的總校正平方和可分解為：SSy = SSR + SSLOF + SSpe其中SSLOF稱為失擬平方和，SSpe為純誤差平方和，表達(dá)式和自由度分別為：可試證明上述分解中的三個(gè)交叉項(xiàng)均為0。統(tǒng)計(jì)檢驗(yàn)步驟為：I. 令，它服從F(n-2, mn-n) 若F檢驗(yàn)差異顯著，則可能的原因有：（1）除X以外還有其他變量影響Y的取值，而統(tǒng)計(jì)時(shí)沒有加以考慮；（2）模型不當(dāng)，即X與Y之間不是線性關(guān)系；此時(shí)無必要再進(jìn)一步對(duì)MSR作

12、檢驗(yàn)，而應(yīng)想辦法找出原因，并把它消除后重作回歸。若差異不顯著，則把MSLOF和MSpe合并，再對(duì)MSR作檢驗(yàn)：II. ，它服從F(1, mn-2) 若差異顯著，說明回歸是成功的，X, Y間確有線性關(guān)系；若差異仍不顯著，則回歸失敗，其可能的原因?yàn)椋海?）X，Y無線性關(guān)系；（2）誤差過大，掩蓋了X, Y間的線性關(guān)系。如有必要，可設(shè)法減小實(shí)驗(yàn)誤差，或增加重復(fù)數(shù)重做實(shí)驗(yàn)后再重新回歸。二）一元回歸的t檢驗(yàn)由于MSe的自由度為n-2，因此上述兩方差的自由度也均為n-2。有了a和b的方差與均值，我們就可構(gòu)造統(tǒng)計(jì)量對(duì)它們進(jìn)行檢驗(yàn)：H0 : b = 0HA: b ¹ 0 （雙側(cè)檢驗(yàn)）或： HA: b

13、> 0 （或b< 0） （單側(cè)檢驗(yàn)）統(tǒng)計(jì)量： 其中，Sb為回歸系數(shù)標(biāo)準(zhǔn)誤。 當(dāng)H0成立時(shí)，ta t(n-2)，可查相應(yīng)分位數(shù)表進(jìn)行檢驗(yàn)。對(duì)例11.1中的b作t-檢驗(yàn)：H0: b=0解： 查表，t0.995(3) = 5.841 < t， 差異極顯著，應(yīng)拒絕H0，即b ¹ 0，或X與Y有著極顯著的線性關(guān)系。上述統(tǒng)計(jì)量還有一個(gè)用途：進(jìn)行兩個(gè)回歸方程間的比較。即檢驗(yàn)H0: b1 = b2和H0: a1 = a2。如果兩H0均被接受，則可認(rèn)為兩組數(shù)據(jù)是抽自同一總體，從而可將兩回歸方程合并，得到一個(gè)更精確的方程。例11.3 兩組實(shí)驗(yàn)數(shù)據(jù)如下：x1919394969810210

14、5108y16668697173788285x280828587899195y255576062646771是否可從它們得到統(tǒng)一的回歸方程？解：從原始數(shù)據(jù)計(jì)算可得：組別nSxxSyySxyMSeba1898.37574.0257.875336.0294.00.13571.140-38.152787.062.286162.0187.429174.00.10801.074-31.15(1). 首先檢驗(yàn)總體方差是否相等： 查表，F(xiàn)0.975(6, 5) = 6.978 > F, 接受H0，可認(rèn)為兩總體方差相等。計(jì)算公共的總體方差：(2). 檢驗(yàn)回歸系數(shù)b1與b2是否相等：H0: b1 = b2

15、； HA: b1 ¹ b2查表，得t0.975(11) = 2.201 > t, 接受H0，可認(rèn)為兩回歸系數(shù)相等。共同總體回歸系數(shù)的估計(jì)值為：(3). 再檢驗(yàn)a1，a2是否相等：H0: a1 = a2； HA: a1 ¹ a2查表，t0.975(11) = 2.201, 接受H0，可認(rèn)為: a1 = a2。若檢驗(yàn)結(jié)果為a1 ¹ a2，此題即可結(jié)束；但若檢驗(yàn)結(jié)果為a1 = a2，則需把全部原始數(shù)據(jù)放在一起，重新進(jìn)行回歸：Sxx = 902.9333, Sxy = 965.4667, Syy = 1035.7333, = 93.067, = 68.533, b

16、= 1.0693, a = 30.9787從而得到合并的回歸方程?，F(xiàn)在證明t檢驗(yàn)與前述的F檢驗(yàn)是一致的：前已證明：SSe = Syy b × Sxy, SSR = Syy SSe = b × Sxy, 五、點(diǎn)估計(jì)與區(qū)間估計(jì)前邊已經(jīng)證明a和b是和的點(diǎn)估計(jì)；但作為預(yù)測(cè)值僅給出點(diǎn)估計(jì)是不夠的，一般要求給出區(qū)間估計(jì)，即給出置信區(qū)間。和的區(qū)間估計(jì)已經(jīng)證明a和b是和的點(diǎn)估計(jì)，并求出了它們的方差。因此給出置信區(qū)間就很容易了： 的95%置信區(qū)間為： （11.13）同理a的95%置信區(qū)間為： (11.14)這與以前假設(shè)檢驗(yàn)中的置信區(qū)間求法完全一樣。若置信水平為99%，把分位數(shù)相應(yīng)換為t0.9

17、95(n-2)即可。對(duì)例11.1中的a和b給出95%置信區(qū)間。解：從前邊的計(jì)算可知： a = 2.6996, b = 1.5167, Sxx = 90, MSe = 1.0568, n = 5, 查表，得t0.975(3) = 3.182 a的95%置信區(qū)間為： 2.6996 ± 4.3887, 即（-1.6891, 7.0883）b的95%置信區(qū)間為：1.5167 ± 0.3448, 即（1.1719, 1.8615）第二節(jié) 相關(guān)分析直線相關(guān)分析是根據(jù)x、y的實(shí)際觀測(cè)值，計(jì)算表示兩個(gè)相關(guān)變量x、y間線性相關(guān)程度和性質(zhì)的統(tǒng)計(jì)量相關(guān)系數(shù)r并進(jìn)行顯著性檢驗(yàn)。一、 相關(guān)系數(shù)。例：

18、（1）X 7 7 1 6 5 3 8 9 3 1 1 總和50 Y 5 9 6 1 3 1 9 4 6 6 6 總和52 （2）X 9 8 7 9 6 5 3 3 1 1 總和50 Y 9 9 8 6 6 5 4 3 1 1 總和52 （3）X 1 1 3 3 5 6 7 1 8 9 總和50 Y 9 9 8 6 6 5 4 3 1 1 總和52可見：（1）X、Y關(guān)系紊亂（2）X減小、Y也減?。?）X增大、Y減小 作散點(diǎn)圖，如果再以X和Y的平均數(shù)作坐標(biāo)原點(diǎn)，將原散點(diǎn)圖劃分為四個(gè)象限，如果各點(diǎn)均勻分布則 0，落在2、4象限則小于0負(fù)相關(guān)，落在1、3象限則大于0正相關(guān)，為消除變異程度（n-1）和單

19、位的影響，需除以標(biāo)準(zhǔn)差。 根據(jù)以前的推導(dǎo)結(jié)果，有：性質(zhì)： 。當(dāng)時(shí)，從上式可看出SSe = 0，即用可以準(zhǔn)確預(yù)測(cè)y值。此時(shí)若X不是隨機(jī)變量，則Y也不是隨機(jī)變量了。當(dāng)r = 0時(shí)，SSe = Syy，回歸一點(diǎn)作用也沒有，即用X的線性函數(shù)完全不能預(yù)測(cè)Y的變化。但這時(shí)X與Y間還可能存在著非線性的關(guān)系。當(dāng)時(shí)，情況介于上述二者之間隔。X的線性函數(shù)對(duì)預(yù)測(cè)Y的變化有一定作用，但不能準(zhǔn)確預(yù)測(cè)，這說明Y還受其他一些因素，包括隨機(jī)誤差的影響。綜上，r可以作為X，Y間線性關(guān)系強(qiáng)弱的一種指標(biāo)。非常直觀，接近于1就是線性關(guān)系強(qiáng)，接近于0就是線性關(guān)系弱；而其他統(tǒng)計(jì)量都需要查表后才知檢驗(yàn)結(jié)果。二、決定系數(shù)和相關(guān)系數(shù)前面已經(jīng)證

20、明了等式： 從這個(gè)等式：y與x直線回歸效果的好壞取決于回歸平方和 與離回歸平方和 的大小，或者說取決于回歸平方和在y的總平方和 中所占的比例的大小。這個(gè)比例越大，y與x的直線回歸效果就越好，反之則差。 比值 叫 做 x 對(duì) y 的決定系數(shù)，記為 r2，即 決定系數(shù)的大小表示了回歸方程估測(cè)可靠程度的高低，或者說表示了回歸直線擬合度的高低。顯然有0r21。因?yàn)椋憾鳶Pxy/SSx是以x為自變量、y為依變量時(shí)的回歸系數(shù)byx。若把y作為自變量、x作為依變量，則回歸系數(shù) bxy =SPxy/Ssy ，所以決定系數(shù)r2等于y對(duì)x的回歸系數(shù)與x對(duì)y的回歸系數(shù)的乘積。即決定系數(shù)反應(yīng)了x為自變量、y為依變量和

21、y為自變量、x為依變量時(shí)兩個(gè)相關(guān)變量x與y直線相關(guān)的信息，即決定系數(shù)表示了兩個(gè)互為因果關(guān)系的相關(guān)變量間直線相關(guān)的程度。但決定系數(shù)介于0和1之間，不能反應(yīng)直線關(guān)系的性質(zhì)是同向增減或是異向增減。另外，r顯著即一個(gè)顯著的回歸方程并不一定具有實(shí)踐上的預(yù)測(cè)意義 如一個(gè)資料x 、y兩個(gè)變量間的相關(guān)系數(shù)r =0.5，在 df = 24 時(shí) ，r0.01(24) = 0.496，r>r0.01(24)，表明相關(guān)系數(shù)極顯著。而r2=0.25，即x變量或y變量的總變異能夠通過y變量或x變量以直線回歸的關(guān)系來估計(jì)的比重只占25%，其余的 75% 的變異無法借助直線回歸來估計(jì)。 計(jì)算相關(guān)系數(shù)：根據(jù)公式三、相關(guān)系數(shù)的顯著性檢驗(yàn) 在一般情況下r不是正態(tài)分布，直接檢驗(yàn)有困難。但當(dāng)總體相關(guān)系數(shù)= 0時(shí)，r的分布近似于正態(tài)分布，此時(shí)用MSe代替，就可以對(duì)作t檢驗(yàn)。這種檢驗(yàn)與對(duì)回歸系數(shù)b的檢驗(yàn)：是等價(jià)的?？勺C明如下：b的t檢驗(yàn)統(tǒng)計(jì)量為：t = b/Sb。 b=Sxy/Sx