線性相關(guān)與回歸

1、 第十章第十章 線性相關(guān)與回歸線性相關(guān)與回歸( (Linear Correlation & Regression ) )要求：要求： 掌握：掌握：直線相關(guān)的概念、相關(guān)系數(shù)的意義、直線相關(guān)的概念、相關(guān)系數(shù)的意義、相關(guān)系數(shù)假設(shè)檢驗的意義；直線回歸的概念、相關(guān)系數(shù)假設(shè)檢驗的意義；直線回歸的概念、回歸系數(shù)假設(shè)檢驗的意義；相關(guān)與回歸的區(qū)回歸系數(shù)假設(shè)檢驗的意義；相關(guān)與回歸的區(qū)別；直線相關(guān)與回歸的注意事項。別；直線相關(guān)與回歸的注意事項。 了解：了解：相關(guān)系數(shù)及相關(guān)系數(shù)假設(shè)檢驗的計相關(guān)系數(shù)及相關(guān)系數(shù)假設(shè)檢驗的計算方法；回歸方程建立的方法與回歸系數(shù)假算方法；回歸方程建立的方法與回歸系數(shù)假設(shè)檢驗的方法。設(shè)

2、檢驗的方法。 一、線性相關(guān)的基本概念一、線性相關(guān)的基本概念二、線性相關(guān)系數(shù)二、線性相關(guān)系數(shù)三、相關(guān)系數(shù)的顯著性檢驗三、相關(guān)系數(shù)的顯著性檢驗四、進(jìn)行線性相關(guān)分析的注意事項四、進(jìn)行線性相關(guān)分析的注意事項第一節(jié)第一節(jié) 線性相關(guān)（線性相關(guān)（linear correlation) ) 例例 從男青年總體中隨機(jī)抽取從男青年總體中隨機(jī)抽取1111名男青年組成樣本，名男青年組成樣本，分別測量每個男青年的身高和前臂長分別測量每個男青年的身高和前臂長編號編號身高（身高（cmcm）前臂長（前臂長（cmcm）XYXYX X2 2Y Y2 2( (X X) )( (Y Y) )1 1 170170 4747 79907

3、990 2890028900220922092 2 173173 4242 72667266 2992929929176417643 3 160160 4444 70407040 2560025600193619364 4 155155 4141 63556355 2402524025168116815 5 173173 4747 81318131 2992929929220922096 6 188188 5050 94009400 3534435344250025007 7 178178 4747 83668366 3168431684220922098 8 183183 4646 8418

4、8418 3348933489211621169 9 180180 4949 88208820 3240032400240124011010 165165 4343 70957095 2722527225184918491111 166166 4444 31743174 285612856121162116合計合計1891189150050086185861853260813260812281022810一、線性相關(guān)的基本概念一、線性相關(guān)的基本概念 為直觀地判斷兩個變量之間的關(guān)系，可在直角坐標(biāo)系中把每為直觀地判斷兩個變量之間的關(guān)系，可在直角坐標(biāo)系中把每對（對（X Xi i,Y,Yi i）值所代

5、表的點繪出來，形成散點圖。例如）值所代表的點繪出來，形成散點圖。例如1212名男名男青年身高與前臂長資料繪制的散點圖如圖所示：青年身高與前臂長資料繪制的散點圖如圖所示： 身高190180170160150前臂長52504846444240 若一個變量若一個變量X X由小到大（或由大到小），另由小到大（或由大到?。?，另一變量一變量Y Y亦相應(yīng)地由小到大或由大到小，則兩個亦相應(yīng)地由小到大或由大到小，則兩個變量的散點圖呈直線趨勢，我們稱這種現(xiàn)象為變量的散點圖呈直線趨勢，我們稱這種現(xiàn)象為共變，也就是這兩個變量之間有共變，也就是這兩個變量之間有“相關(guān)關(guān)系相關(guān)關(guān)系”。 男青年身高與前臂長散點呈直線趨勢，即

6、男青男青年身高與前臂長散點呈直線趨勢，即男青年身材高，前臂亦長，說明身高與前臂長之間存年身材高，前臂亦長，說明身高與前臂長之間存在線性相關(guān)關(guān)系，我們把這種關(guān)系稱為直線相關(guān)。在線性相關(guān)關(guān)系，我們把這種關(guān)系稱為直線相關(guān)。 線性相關(guān)用于雙變量正態(tài)資料。它的性質(zhì)可由散點圖線性相關(guān)用于雙變量正態(tài)資料。它的性質(zhì)可由散點圖直觀地說明。散點圖中點的分布即線性相關(guān)的性質(zhì)和相關(guān)直觀地說明。散點圖中點的分布即線性相關(guān)的性質(zhì)和相關(guān)之間的密切程度，可分為以下幾種情況：之間的密切程度，可分為以下幾種情況： 1.1.正相關(guān)正相關(guān) 2.2.負(fù)相關(guān)負(fù)相關(guān) 3.3.無相關(guān)無相關(guān) 二、線性相關(guān)系數(shù)二、線性相關(guān)系數(shù) 在分析兩個變量在

7、分析兩個變量X X與與Y Y之間關(guān)系時，常常要了解之間關(guān)系時，常常要了解X X與與Y Y之之間有無相關(guān)關(guān)系，相關(guān)是否密切，是呈正相關(guān)還是負(fù)相間有無相關(guān)關(guān)系，相關(guān)是否密切，是呈正相關(guān)還是負(fù)相關(guān)。相關(guān)系數(shù)就是說明具有直線關(guān)系的兩個變量間相關(guān)關(guān)。相關(guān)系數(shù)就是說明具有直線關(guān)系的兩個變量間相關(guān)密切程度和相關(guān)方向的統(tǒng)計量。密切程度和相關(guān)方向的統(tǒng)計量。 皮爾森皮爾森(Pearson)(Pearson)相關(guān)系數(shù)的計算公式為：相關(guān)系數(shù)的計算公式為： YYXXXYiiXYLLLYYXXYYXXrr.)()()(22 相關(guān)系數(shù)相關(guān)系數(shù)r r沒有測量單位，其數(shù)值為沒有測量單位，其數(shù)值為-1 -1 r 11 相關(guān)系數(shù)的

8、計算方法相關(guān)系數(shù)的計算方法 計算時分別可用下面公式帶入相關(guān)系數(shù)計算時分別可用下面公式帶入相關(guān)系數(shù)r r的計的計算公式中算公式中 NYXXYYYXXNYYYYNXXXX222222 例例 從男青年總體中隨機(jī)抽取從男青年總體中隨機(jī)抽取1111名男青年組成樣本，名男青年組成樣本，分別測量每個男青年的身高和前臂長，身高和前臂長分別測量每個男青年的身高和前臂長，身高和前臂長均以均以cmcm為單位，測量結(jié)果如下表所示，試計算身高與前為單位，測量結(jié)果如下表所示，試計算身高與前臂長之間的相關(guān)系數(shù)。臂長之間的相關(guān)系數(shù)。 編號編號身高（身高（cmcm）前臂長（前臂長（cmcm）XYXYX X2 2Y Y2 2(

9、(X X) )( (Y Y) )1 1 170170 4747 79907990 2890028900220922092 2 173173 4242 72667266 2992929929176417643 3 160160 4444 70407040 2560025600193619364 4 155155 4141 63556355 2402524025168116815 5 173173 4747 81318131 2992929929220922096 6 188188 5050 94009400 3534435344250025007 7 178178 4747 83668366 3

10、168431684220922098 8 183183 4646 84188418 3348933489211621169 9 180180 4949 88208820 3240032400240124011010 165165 4343 70957095 2722527225184918491111 166166 4444 31743174 285612856121162116合計合計1891189150050086185861853260813260812281022810三、相關(guān)系數(shù)的顯著性檢驗 與前面講的其它統(tǒng)計量一樣，根據(jù)樣本資料計與前面講的其它統(tǒng)計量一樣，根據(jù)樣本資料計算出來的相關(guān)

11、系數(shù)同樣存在抽樣誤差。即假設(shè)在算出來的相關(guān)系數(shù)同樣存在抽樣誤差。即假設(shè)在一個一個X X與與Y Y無關(guān)總體中作隨機(jī)抽樣，由于抽樣誤差無關(guān)總體中作隨機(jī)抽樣，由于抽樣誤差的影響，所得的樣本相關(guān)系數(shù)也常常不等于零。的影響，所得的樣本相關(guān)系數(shù)也常常不等于零。 因此要判斷兩個變量因此要判斷兩個變量X X與與Y Y是否真的存在相關(guān)關(guān)是否真的存在相關(guān)關(guān)系，仍需根據(jù)作總體相關(guān)系數(shù)系，仍需根據(jù)作總體相關(guān)系數(shù) 是否為零的假設(shè)檢是否為零的假設(shè)檢驗。驗。 常用的檢驗方法有兩種常用的檢驗方法有兩種: : 1.1.按自由度直接查附表按自由度直接查附表1111的界值表，得到的界值表，得到P P 值。值。2nr10rt2r2

12、n2.2.用假設(shè)檢驗法，計算統(tǒng)計量用假設(shè)檢驗法，計算統(tǒng)計量 ，其公式為：，其公式為： 例例10.110.1所得的所得的 r r 值檢驗?zāi)星嗄晟砀吲c值檢驗?zāi)星嗄晟砀吲c前臂長之間是否存在相關(guān)關(guān)系前臂長之間是否存在相關(guān)關(guān)系? ?四、進(jìn)行線性相關(guān)分析的注意事項四、進(jìn)行線性相關(guān)分析的注意事項 線性相關(guān)表示兩個變量之間的相互關(guān)系是雙向的，分線性相關(guān)表示兩個變量之間的相互關(guān)系是雙向的，分析兩個變量之間到底有無相關(guān)關(guān)系可首先繪制散點圖，析兩個變量之間到底有無相關(guān)關(guān)系可首先繪制散點圖，散點圖呈現(xiàn)出直線趨勢時，再作分析。散點圖呈現(xiàn)出直線趨勢時，再作分析。 相關(guān)分析要求相關(guān)分析要求x x、y y是來自雙變量正態(tài)總體

13、的隨機(jī)變量，是來自雙變量正態(tài)總體的隨機(jī)變量，一個變量的數(shù)值人為選定時不能作相關(guān)。一個變量的數(shù)值人為選定時不能作相關(guān)。四、進(jìn)行線性相關(guān)分析的注意事項四、進(jìn)行線性相關(guān)分析的注意事項 依據(jù)公式計算出的相關(guān)系數(shù)僅是樣本相關(guān)系依據(jù)公式計算出的相關(guān)系數(shù)僅是樣本相關(guān)系數(shù)，它是總體相關(guān)系數(shù)的一個估計值，與總體數(shù)，它是總體相關(guān)系數(shù)的一個估計值，與總體相關(guān)系數(shù)之間存在著抽樣誤差，要判斷兩個事相關(guān)系數(shù)之間存在著抽樣誤差，要判斷兩個事物之間有無相關(guān)及相關(guān)的密切程度，必須作假物之間有無相關(guān)及相關(guān)的密切程度，必須作假設(shè)檢驗。設(shè)檢驗。四、進(jìn)行線性相關(guān)分析的注意事項四、進(jìn)行線性相關(guān)分析的注意事項 相關(guān)分析是用相關(guān)系數(shù)來描述兩

14、個變量間相相關(guān)分析是用相關(guān)系數(shù)來描述兩個變量間相互關(guān)系的密切程度和方向，而兩個事物之間的互關(guān)系的密切程度和方向，而兩個事物之間的關(guān)系既可能是依存因果關(guān)系，也可能僅是相互關(guān)系既可能是依存因果關(guān)系，也可能僅是相互伴隨的數(shù)量關(guān)系。決不可因為兩事物間的相關(guān)伴隨的數(shù)量關(guān)系。決不可因為兩事物間的相關(guān)系數(shù)有統(tǒng)計學(xué)意義，就認(rèn)為兩者之間存在著因系數(shù)有統(tǒng)計學(xué)意義，就認(rèn)為兩者之間存在著因果關(guān)系，要證明兩事物間確實存在因果關(guān)系，果關(guān)系，要證明兩事物間確實存在因果關(guān)系，必須憑借專業(yè)知識加以闡明。必須憑借專業(yè)知識加以闡明。 出現(xiàn)異常值時慎用相關(guān)出現(xiàn)異常值時慎用相關(guān)分層資料盲目合并易出假象分層資料盲目合并易出假象一、線性回

15、歸的基本概念一、線性回歸的基本概念二、線性回歸方程的計算二、線性回歸方程的計算三、線性回歸方程的顯著性檢驗三、線性回歸方程的顯著性檢驗四、進(jìn)行線性回歸分析的注意事項四、進(jìn)行線性回歸分析的注意事項第二節(jié)第二節(jié) 線性回歸（線性回歸（linear regression) )一、線性回歸的基本概念一、線性回歸的基本概念 相關(guān)是分析兩個正態(tài)變量相關(guān)是分析兩個正態(tài)變量X X與與Y Y之間的互相關(guān)系。在之間的互相關(guān)系。在相關(guān)分析中，分不清相關(guān)分析中，分不清X X與與Y Y何者為自變量，何者為因何者為自變量，何者為因變量。現(xiàn)在假設(shè)兩個變量變量?，F(xiàn)在假設(shè)兩個變量X X 、Y Y 中，當(dāng)一個變量中，當(dāng)一個變量X

16、X 改變時，另一個變量改變時，另一個變量 Y Y 也相應(yīng)地改變，當(dāng)這樣的兩也相應(yīng)地改變，當(dāng)這樣的兩個變量之間存在著直線關(guān)系時，不僅可以用相關(guān)系個變量之間存在著直線關(guān)系時，不僅可以用相關(guān)系數(shù)數(shù) r r 表示變量表示變量Y Y與與X X線性關(guān)系的密切程度，也可以線性關(guān)系的密切程度，也可以用一個直線方程來表示用一個直線方程來表示 Y Y 與與 X X 的線性關(guān)系。的線性關(guān)系。根據(jù)大量實測數(shù)據(jù)，尋找出其規(guī)律性，尋求一個直根據(jù)大量實測數(shù)據(jù)，尋找出其規(guī)律性，尋求一個直線方程來線方程來描述兩個變量間依存變化的數(shù)量關(guān)系描述兩個變量間依存變化的數(shù)量關(guān)系，即，即線性回歸關(guān)系，這樣得出的直線方程叫做線性回歸線性回歸

17、關(guān)系，這樣得出的直線方程叫做線性回歸方程方程linear regression equation。a 為回歸直線在 Y 軸上的截距 x 取0時，y 的平均估計值 a 0，表示直線與縱軸的交點在原點的上方 a 0，直線從左下方走向右上方，直線從左下方走向右上方，Y 隨隨 X 增大而增大增大而增大 b0，直線從左上方走向右下方，直線從左上方走向右下方，Y 隨隨 X 增大而減小增大而減小 b=0，表示直線與表示直線與 X 軸平行，軸平行，X 與與Y 無無直線關(guān)系直線關(guān)系b 的統(tǒng)計學(xué)意義是：的統(tǒng)計學(xué)意義是：X 每增加每增加(減減)一個單位，一個單位，Y 平均改變平均改變b個單位個單位 Method o

18、f least square使計算出的回歸直線最能代表實測數(shù)據(jù)所反映出的直線趨勢使計算出的回歸直線最能代表實測數(shù)據(jù)所反映出的直線趨勢二、線性回歸方程的計算二、線性回歸方程的計算 例例10.3 10.3 有人研究了溫度對蛙的心率的影響，得到了有人研究了溫度對蛙的心率的影響，得到了表表10-210-2中所示的資料，試進(jìn)行回歸分析中所示的資料，試進(jìn)行回歸分析。對象對象溫度（溫度（X X） 心率（心率（Y Y） XY XY X X2 2Y Y2 21 1 2 2 5 5 1010 4 4 25252 2 4 4 1111 4444 1616 1211213 3 6 6 1111 6666 3636 1

19、211214 4 8 8 1414 112112 6464 1961965 51010 2222 220220 100100 4844846 61212 2323 276276 144144 5295297 71414 3232 448448 196196102410248 81616 2929 464464 256256 8418419 91818 3232 576576 3243241024102410102020 3434 680680 4004001156115611112222 3333 726726 48448410891089合計合計13213224624636223622202

20、42024661066101.1.根據(jù)表根據(jù)表10-210-2數(shù)據(jù)繪制散點圖，如下圖所示數(shù)據(jù)繪制散點圖，如下圖所示：溫度3020100蛙心律4030201002.2.計算回歸系數(shù)與常數(shù)項計算回歸系數(shù)與常數(shù)項 在本例中: 132X 20242X12X 246Y26610Y 22.363Y 3622XY222()()(132)(246)3622670111.523()132440202411XYXXXYXYlnbXlXn22.3631.523124.087aYbX4.0871.523YX則，回歸方程為3. 3. 作回歸直線作回歸直線溫度3020100蛙心律4030201004.087 1.523Y

21、X三、線性回歸方程的顯著性檢驗三、線性回歸方程的顯著性檢驗 對線性回歸方程要進(jìn)行假設(shè)檢驗，就是要檢驗對線性回歸方程要進(jìn)行假設(shè)檢驗，就是要檢驗b b是否為是否為 =0=0的總體中的一個隨機(jī)樣本。該假的總體中的一個隨機(jī)樣本。該假設(shè)檢驗通常用方差分析或者設(shè)檢驗通常用方差分析或者t t檢驗，兩者的檢檢驗，兩者的檢驗效果等價。驗效果等價。 HH0 0: : 0 0（兩變量之間無直線關(guān)系）（兩變量之間無直線關(guān)系） HH1 1：0 0 0.050.05 bsbt xxxyxyblsxxss.2.)(2) (2.nyysxy2222)()()()(xxyyxxyybllyyxyyyn2對例對例10.310.3

22、的回歸方程用的回歸方程用t t 檢驗進(jìn)行假設(shè)檢驗檢驗進(jìn)行假設(shè)檢驗（1 1）建立假設(shè)檢驗）建立假設(shè)檢驗 =0=0 00 =0.05 =0.05（2 2）計算統(tǒng)計量）計算統(tǒng)計量88.313.139Y Xs3.130.149440bs 1.523 010.220.149tV V =11=112=92=9 （3 3）確定）確定P P值作結(jié)論值作結(jié)論根據(jù)根據(jù) V V =9=9， 0.01/2(9)t3.250, 3.250, P P 0.010.01，拒絕拒絕HH0 0，直線回歸方程的應(yīng)用直線回歸方程的應(yīng)用1. 1. 描述兩個變量之間的數(shù)量依存關(guān)系。描述兩個變量之間的數(shù)量依存關(guān)系。2. 2. 利用回歸方

23、程進(jìn)行預(yù)測利用回歸方程進(jìn)行預(yù)測（1 1）由現(xiàn)在已知的變量值預(yù)測將來未知的變）由現(xiàn)在已知的變量值預(yù)測將來未知的變量值量值 （父母身高預(yù)測子女身高）（父母身高預(yù)測子女身高）（2 2）由易測的變量值估算難測的變量值）由易測的變量值估算難測的變量值 （體重預(yù)測體表面積）（體重預(yù)測體表面積）3. 3. 利用回歸方程進(jìn)行控制利用回歸方程進(jìn)行控制 利用回歸方程進(jìn)行逆估計利用回歸方程進(jìn)行逆估計 四、進(jìn)行線性回歸分析的注意事項四、進(jìn)行線性回歸分析的注意事項 只有將兩個內(nèi)在有聯(lián)系的變量放在一起進(jìn)行回歸分析才是只有將兩個內(nèi)在有聯(lián)系的變量放在一起進(jìn)行回歸分析才是有意義的。有意義的。 作回歸分析時，如果兩個有內(nèi)在聯(lián)系的

24、變量之間存在的是一作回歸分析時，如果兩個有內(nèi)在聯(lián)系的變量之間存在的是一種依存因果的關(guān)系，那么應(yīng)該以種依存因果的關(guān)系，那么應(yīng)該以“因因”的變量為的變量為X X , ,以以“果果”的變量為的變量為Y Y 。如果變量之間并無因果關(guān)系，則應(yīng)以易于測定、。如果變量之間并無因果關(guān)系，則應(yīng)以易于測定、較為穩(wěn)定或變異較小者為較為穩(wěn)定或變異較小者為X X 。 在回歸分析中，因變量是隨機(jī)變量，自變量既可以是隨機(jī)變在回歸分析中，因變量是隨機(jī)變量，自變量既可以是隨機(jī)變量（量（II II型回歸模型，兩個變量應(yīng)該都服從正態(tài)分布），也可型回歸模型，兩個變量應(yīng)該都服從正態(tài)分布），也可以是給定的量（以是給定的量（I I型回歸模

25、型，這時，與每個型回歸模型，這時，與每個X X 取值相對應(yīng)取值相對應(yīng)的變量的變量Y Y必須服從正態(tài)分布），如果數(shù)據(jù)不符合要求，在進(jìn)必須服從正態(tài)分布），如果數(shù)據(jù)不符合要求，在進(jìn)行回歸分析前，必須先進(jìn)行變量的變換。行回歸分析前，必須先進(jìn)行變量的變換。四、進(jìn)行線性回歸分析的注意事項四、進(jìn)行線性回歸分析的注意事項 回歸方程建立后必須作假設(shè)檢驗，只有經(jīng)假回歸方程建立后必須作假設(shè)檢驗，只有經(jīng)假設(shè)檢驗拒絕了無效假設(shè)，回歸方程才有意義。設(shè)檢驗拒絕了無效假設(shè)，回歸方程才有意義。 使用回歸方程計算估計值時，不可把估計的使用回歸方程計算估計值時，不可把估計的范圍擴(kuò)大到建立方程時的自變量的取值范圍之范圍擴(kuò)大到建立方程

26、時的自變量的取值范圍之外。外。 第三節(jié)第三節(jié)線性相關(guān)和回歸的區(qū)別與聯(lián)系線性相關(guān)和回歸的區(qū)別與聯(lián)系 1. 應(yīng)用情況不同應(yīng)用情況不同 說明兩變量依存變化的數(shù)量關(guān)系用回歸說明兩變量依存變化的數(shù)量關(guān)系用回歸 說明兩變量間的相關(guān)關(guān)系用相關(guān)說明兩變量間的相關(guān)關(guān)系用相關(guān)區(qū)別區(qū)別2.資料要求不同資料要求不同回歸：回歸：型回歸型回歸 y是隨機(jī)正態(tài)變量，是隨機(jī)正態(tài)變量， x是一般變量，可以精確測量和控制是一般變量，可以精確測量和控制的變量的變量 型回歸型回歸 雙變量均為隨機(jī)正態(tài)變量，雙變量均為隨機(jī)正態(tài)變量， 可計算兩個回歸方程可計算兩個回歸方程 由由x推推y的回歸方程的回歸方程 由由y推推x的回歸方程的回歸方程相

27、關(guān)：雙變量均為隨機(jī)正態(tài)變量相關(guān)：雙變量均為隨機(jī)正態(tài)變量y.xy.xx.yx.yyab xxab y= =+ += =+ +區(qū)別區(qū)別3.意義：意義： b表示表示X每增（減）一個單位時，每增（減）一個單位時，Y平均平均改變改變b個單位；個單位；r說明具有直線關(guān)系的兩個說明具有直線關(guān)系的兩個變量間關(guān)系的密切程度與相關(guān)方向。變量間關(guān)系的密切程度與相關(guān)方向。4.計算：計算：5.取值范圍：取值范圍： b； 1r1; XYXYXXXX YYllbrlll=區(qū)別區(qū)別1.假設(shè)檢驗等價假設(shè)檢驗等價 對同一樣本，對同一樣本，r和和b的假設(shè)檢驗得到的的假設(shè)檢驗得到的t值是相等的，實際應(yīng)用中常以值是相等的，實際應(yīng)用中常以r的假設(shè)檢驗的假設(shè)檢驗代替代替b的假設(shè)檢驗。的假設(shè)檢驗。2.方向一致方向一致 對一組數(shù)據(jù)，若同時計算對一組數(shù)據(jù)，若同時計算b、r，則它們的正負(fù)號是一致的則它們的正負(fù)號是一致的聯(lián)系聯(lián)系一、線性相關(guān)與回歸的區(qū)別一、線性相關(guān)與回歸的區(qū)別 相關(guān)系數(shù)的計算只適