第十一章多元回歸與相關(guān)

1、第十一章第十一章 多元回歸與相關(guān)多元回歸與相關(guān) 多元線性回歸多元線性回歸多元相關(guān)與偏相關(guān)多元相關(guān)與偏相關(guān) 一元回歸是依變量一元回歸是依變量y在一個(gè)自變量在一個(gè)自變量x上的回歸，它僅僅涉及到兩個(gè)變量的關(guān)上的回歸，它僅僅涉及到兩個(gè)變量的關(guān)系問題。但在許多實(shí)際問題中，影響依系問題。但在許多實(shí)際問題中，影響依變量的因素常常不止一個(gè)。因此，為了變量的因素常常不止一個(gè)。因此，為了研究依變量研究依變量y與多個(gè)自變量與多個(gè)自變量x之間的關(guān)系，之間的關(guān)系，必須在一元回歸的基礎(chǔ)上做相應(yīng)的補(bǔ)充，必須在一元回歸的基礎(chǔ)上做相應(yīng)的補(bǔ)充，進(jìn)一步研究多元回歸的問題。進(jìn)一步研究多元回歸的問題。多元回歸與相關(guān)分析主要解決的問題：

2、多元回歸與相關(guān)分析主要解決的問題：1、建立由多個(gè)自變量描述和預(yù)測依變量的建立由多個(gè)自變量描述和預(yù)測依變量的 多元回多元回 歸方程歸方程。2、在多個(gè)自變量中，選擇對(duì)依變量有顯著在多個(gè)自變量中，選擇對(duì)依變量有顯著 效應(yīng)的自變量，剔除不顯著的自變量，效應(yīng)的自變量，剔除不顯著的自變量， 建立建立最優(yōu)回歸方程最優(yōu)回歸方程。3、計(jì)算某個(gè)自變量在其它自變量固定不變計(jì)算某個(gè)自變量在其它自變量固定不變 時(shí)對(duì)依變量的效應(yīng)，這個(gè)效應(yīng)稱為時(shí)對(duì)依變量的效應(yīng)，這個(gè)效應(yīng)稱為偏回偏回 歸系數(shù)歸系數(shù)。5、計(jì)算各個(gè)自變量的、計(jì)算各個(gè)自變量的標(biāo)準(zhǔn)偏回歸系數(shù)（通徑標(biāo)準(zhǔn)偏回歸系數(shù)（通徑 系數(shù)）系數(shù)），評(píng)定各自變量對(duì)依變量影響的相，評(píng)定

3、各自變量對(duì)依變量影響的相 對(duì)重要程度。對(duì)重要程度。4、計(jì)算多個(gè)自變量綜合起來對(duì)依變量的、計(jì)算多個(gè)自變量綜合起來對(duì)依變量的多元多元 相關(guān)系數(shù)相關(guān)系數(shù)，也可計(jì)算兩變量間在其它變量，也可計(jì)算兩變量間在其它變量 保持不變時(shí)的保持不變時(shí)的偏相關(guān)系數(shù)偏相關(guān)系數(shù)。11 .1 多元回歸方程多元回歸方程 多元回歸是研究一個(gè)依變量在兩個(gè)或兩多元回歸是研究一個(gè)依變量在兩個(gè)或兩個(gè)以上自變量上的回歸，也稱為個(gè)以上自變量上的回歸，也稱為復(fù)回歸復(fù)回歸。 在多元線性回歸分析中，當(dāng)其他自變量在多元線性回歸分析中，當(dāng)其他自變量都保持一定數(shù)量水平時(shí)，各自變量對(duì)依變都保持一定數(shù)量水平時(shí)，各自變量對(duì)依變量的效應(yīng)（影響），稱為量的效應(yīng)（

4、影響），稱為偏回歸系數(shù)偏回歸系數(shù)。 一、多元線性回歸方程一、多元線性回歸方程 假定在假定在M個(gè)隨機(jī)變數(shù)中，有一個(gè)為依變數(shù)個(gè)隨機(jī)變數(shù)中，有一個(gè)為依變數(shù)Y，另外另外m個(gè)（個(gè)（m=M-1）為自變數(shù)）為自變數(shù)x1, x2, , xm, 且且m個(gè)自變數(shù)皆與依變數(shù)成線性關(guān)系，則其回歸方個(gè)自變數(shù)皆與依變數(shù)成線性關(guān)系，則其回歸方程可表示為：程可表示為：.)1(21)1(12mmmmymbyxxxxb系數(shù)，記作的偏回歸對(duì)都保持不變時(shí)，、叫做在mmymmymymmmymmymyxbxbxbaxxbxxbxxbyy)1(1221321231)1(122213211231)()()(其中：mmymmymyxbxbxb

5、ya)1(1221321231.1132231byxxxxbmmy記作的偏回歸系數(shù)，對(duì)都保持不變時(shí)，、叫做在.2231132byxxxxbmmy記作的偏回歸系數(shù)，對(duì)都保持不變時(shí)，、叫做在因此，因此，y對(duì)對(duì)x1 , x2 , , xm 的多元回的多元回歸方程可簡寫為：歸方程可簡寫為：1112221 12 2()()()mmmm myy b xxb xxb xxa bxbxb x 二、正規(guī)方程組的解及其實(shí)例二、正規(guī)方程組的解及其實(shí)例 要使多元回歸方程能夠最好地代表要使多元回歸方程能夠最好地代表y與與x1、x2、xm 在數(shù)量上的互變關(guān)系，根在數(shù)量上的互變關(guān)系，根據(jù)最小平方法原理，應(yīng)使據(jù)最小平方法原理

6、，應(yīng)使2121112221()()()()nnmmmQyyyyb xxb xxbxx最小最小則有，令nmmmmmXbXbXbYQxxXxxXxxXyyY122211222111)(YXXbXXbXXbYXXXbXbXXbYXXXbXXbXbmmmmmmmmm222112222221111212121 根據(jù)求極值的原理，分別對(duì)根據(jù)求極值的原理，分別對(duì)b1，b2，bm求偏導(dǎo)，求偏導(dǎo)，并令之為并令之為0，即可整理得，即可整理得m元線性回歸方程的正規(guī)方程組元線性回歸方程的正規(guī)方程組：2221122121211221122,.;,.,.;,.,mmmmmmyymymSSXSSXSSXSPX XSPX X

7、SPX XSPX Y SPX YSPX Y由于可得如下方程組：mymmmmymmymmSPSSbSPbSPbSPSPbSSbSPbSPSPbSPbSSb22112222121111221111112121222212ymymmmmmmySPbSSSPSPSPSPSSSPbSPSPSSbSP這個(gè)正規(guī)方程組可用矩陣（matrix）表示為 A b K Ab=K b=A-1K若要求解若要求解b，則需先求出系數(shù)矩陣則需先求出系數(shù)矩陣A的逆矩陣的逆矩陣A-1 ， AA-1=I1112121222112mmijmmmmc ccc ccAcccc假 定11,100010001ijjiccAAA AIIIA1m

8、上式中，是階的對(duì)稱矩陣，既有由于是 的逆矩陣，故有：其中 為單位矩陣，即：111111121222122212,ymymmymmmmmAbA KSPbcccSPbcccSPbccc兩邊同乘以可得：即： 【例例11.1】測得小麥每株穗數(shù)（測得小麥每株穗數(shù)（x1）、每）、每穗粒數(shù)（穗粒數(shù)（x2）、千粒重（）、千粒重（x3,）和單株產(chǎn)量）和單株產(chǎn)量（y，克）如下表，試建立其多元回歸方程。，克）如下表，試建立其多元回歸方程。樣樣 本本 x1 x2 x3 y 1 10.5 33.2 36.3 14.7 2 9.2 30.1 36.2 13.5 3 10.7 32.6 37.7 16.5 4 13.9 3

9、1.8 37.2 21.5 5 10.2 32.4 36.4 14.5 6 10.8 33.1 35.0 15.9 7 8.1 33.5 33.4 7.6 8 10.6 34.6 34.5 16.0 9 10.1 30.7 34.1 12.7 10 10.4 31.6 34.9 12.4 11 10.7 33.8 39.2 19.3 12 8.4 31.4 35.1 9.2 13 6.3 33.5 32.0 6.4 14 8.2 31.9 37.2 10.6 15 9.8 32.4 36.5 11.3 2112222332121323123147.9,1499.43486.6,15806.15

10、35.7,19178.59202.1,2962.854796.71,5306.1717375.31,2083.736561.89,7291.1815xxxxxxyyx xx xx xx yx yx yn解：根據(jù)表中的資料算得解：根據(jù)表中的資料算得14個(gè)一級(jí)數(shù)據(jù)：個(gè)一級(jí)數(shù)據(jù)：由一級(jí)數(shù)據(jù)算得由一級(jí)數(shù)據(jù)算得14個(gè)二級(jí)數(shù)據(jù)個(gè)二級(jí)數(shù)據(jù)：1231231213231239.86,32.44,35.7113.47,41.14,20.8046.96,239.89,1.1724.17,2.80,91.025.77,73.52yyyyxxxyssssssssspspspspspsp 于是得正規(guī)方程組于是得正規(guī)方程組

11、52.7396.4680. 217.2477. 580. 280.2017. 102.9117.2417. 114.41321321321bbbbbbbbb上述方程組的系數(shù)矩陣上述方程組的系數(shù)矩陣A、常數(shù)項(xiàng)矩陣、常數(shù)項(xiàng)矩陣K、未知數(shù)未知數(shù)矩陣矩陣b分別分別為：為：12341.41.1724.171.1720.802.8024.172.8046.9691.025.7773.52AKbbbb 111213112132122231222331323313233100010001cccSSSPSPcccSPSSSPcccSPSPSS1. . .A 0 0348470 00045790 0179630

12、00045790 0484720 00312580 0179630 00312580 0307266123. . .bbbb 0 0348470 00045790 01796391 021 84850 00045790 0484720 00312585 770 46780 0179630 00312580 030726673 520 64218610.4271.356421. 044.324678. 086. 98485. 147.13332211axbxbxbya得根據(jù)3213216421.04678.08485.18610.42xxxyxxxy：的三元線性回歸方程為、依故所求 此方程的意義

13、為：此方程的意義為： 當(dāng)穗粒數(shù)當(dāng)穗粒數(shù)x2和千粒重和千粒重x3保持不變時(shí)，每株穗保持不變時(shí)，每株穗數(shù)數(shù)x1每增加每增加1個(gè)，則單株產(chǎn)量增加個(gè)，則單株產(chǎn)量增加1.8485g； 當(dāng)每株穗數(shù)當(dāng)每株穗數(shù)x1和千粒重和千粒重x3保持不變時(shí)，穗粒保持不變時(shí)，穗粒數(shù)數(shù)x2每增加每增加1粒，單株產(chǎn)量增加粒，單株產(chǎn)量增加0.4678g； 當(dāng)每株穗數(shù)當(dāng)每株穗數(shù)x1和穗粒數(shù)和穗粒數(shù)x2保持不變時(shí)，千粒保持不變時(shí)，千粒重重x3每增加每增加1g，單株產(chǎn)量增加，單株產(chǎn)量增加0.6421g。 根據(jù)以上回歸方程，就可以估計(jì)根據(jù)以上回歸方程，就可以估計(jì) 的值。的值。 如當(dāng)?shù)谝粋€(gè)樣本的觀測值如當(dāng)?shù)谝粋€(gè)樣本的觀測值x1=10.5

14、, x2=33.2, x3=36.3時(shí)，時(shí)， y的估計(jì)值為：的估計(jì)值為：)(39.153 .366421. 02 .334678. 05 .108485. 18610.42克y 而而y的實(shí)際觀察值為的實(shí)際觀察值為14.7克，二者的差值即為克，二者的差值即為離回歸部分。離回歸部分。y 離回歸的存在，有以下可能原因離回歸的存在，有以下可能原因：1、除除x1、x2、x3三個(gè)變量外，還有其它變量三個(gè)變量外，還有其它變量 對(duì)對(duì)y 產(chǎn)產(chǎn) 生作用；生作用；2、有隨機(jī)誤差的影響；、有隨機(jī)誤差的影響； 注意：注意：在利用回歸方程進(jìn)行預(yù)測時(shí)，應(yīng)限定自在利用回歸方程進(jìn)行預(yù)測時(shí)，應(yīng)限定自變量的范圍：變量的范圍：x1的

15、區(qū)間的區(qū)間6.3，13.9，x2的區(qū)間的區(qū)間30.1，34.6，x3的區(qū)間的區(qū)間32.0，39.0，不可隨，不可隨意外延。如果擴(kuò)展預(yù)測范圍，需補(bǔ)充觀測資料，重意外延。如果擴(kuò)展預(yù)測范圍，需補(bǔ)充觀測資料，重新建立回歸方程新建立回歸方程。 既然應(yīng)用多元回歸方程進(jìn)行回歸估既然應(yīng)用多元回歸方程進(jìn)行回歸估計(jì)時(shí)，實(shí)際值與估計(jì)值有偏差，因此，計(jì)時(shí)，實(shí)際值與估計(jì)值有偏差，因此，當(dāng)建立起一個(gè)多元線性回歸方程之后，當(dāng)建立起一個(gè)多元線性回歸方程之后，應(yīng)了解它的的估計(jì)標(biāo)準(zhǔn)誤。應(yīng)了解它的的估計(jì)標(biāo)準(zhǔn)誤。三、多元線性回歸方程的估計(jì)標(biāo)準(zhǔn)誤三、多元線性回歸方程的估計(jì)標(biāo)準(zhǔn)誤 多元線性回歸方程的建立只是保證了離回歸平多元線性回歸方程

16、的建立只是保證了離回歸平方和最小，但在給定的方和最小，但在給定的x1、x2、xm下，多元下，多元回歸方程的點(diǎn)估計(jì)值和實(shí)測值仍然是有差異的?；貧w方程的點(diǎn)估計(jì)值和實(shí)測值仍然是有差異的。度度量這種差異大小的統(tǒng)計(jì)量就是回歸方程的估計(jì)標(biāo)準(zhǔn)量這種差異大小的統(tǒng)計(jì)量就是回歸方程的估計(jì)標(biāo)準(zhǔn)誤。誤。其計(jì)算公式如下其計(jì)算公式如下：12/12(1)ymymQsnm/12/1222/12/12/122/121122()();()ymymymyymymymyymmysQQyyyySSUmUmUyybSPb SPb SP其中：稱為多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤或離回歸標(biāo)準(zhǔn)誤；稱為多元離回歸平方和，且為自變量的個(gè)數(shù)為 元回歸平方和

17、；【例例11.2】試計(jì)算表試計(jì)算表11.1資料三元線性回歸方程資料三元線性回歸方程 =-42.8610+1.8485x1+0.4678x2+0.6421x3的的估計(jì)標(biāo)準(zhǔn)誤。估計(jì)標(biāo)準(zhǔn)誤。在在例例11.1中已算出中已算出SSy=239.89, SP1y=91.02, SP2y=5.77, SP3y=73.52由由式式(11.10)得得 Uy123=b1SP1y+b2SP2y+bmSPmy =1.848591.02+0.46785.77+0.642173.52=218.16由由式式(11.9)得：得：Qy.123=SSy-Uy.12m =239.89-218.16=21.73 y /12321.73

18、1.4055153 1yS 這個(gè)這個(gè)1.4055g就是由表就是由表11.1所建所建立的三元回歸方程的估計(jì)標(biāo)準(zhǔn)誤。立的三元回歸方程的估計(jì)標(biāo)準(zhǔn)誤。再由式再由式(11.8)得：得：四、多元線性回歸的假設(shè)測驗(yàn)四、多元線性回歸的假設(shè)測驗(yàn)（一）多元回歸關(guān)系的假設(shè)測驗(yàn)（一）多元回歸關(guān)系的假設(shè)測驗(yàn) 在多元回歸分析中，可將依變量的總變異分解在多元回歸分析中，可將依變量的總變異分解為為多元回歸和離回歸多元回歸和離回歸兩個(gè)部分，各項(xiàng)變異來源的平兩個(gè)部分，各項(xiàng)變異來源的平方和、自由度見下表。方和、自由度見下表。 多元線性回歸的方差分析表多元線性回歸的方差分析表變異原變異原因因DFSSMSF多元回多元回歸歸mUy/12

19、mMS回回MS回回/ MS離離離回歸離回歸n-m-1Qy/12mMS離離總和總和n-1SSy令令b1, b2, , bm所代表的總體回歸系數(shù)為所代表的總體回歸系數(shù)為 1、 2、 m，則有，則有H0： 1 = 2 = = m = 0HA： 1、 2、 m不全等于零。不全等于零。如果如果F F0.05,(m,n-m-1),稱該回歸在稱該回歸在0.05 水平上顯著；水平上顯著；如果如果F F0.01,(m,n-m-1),則稱該回歸在則稱該回歸在0.01水平上顯著水平上顯著;如果如果F F0.05,(m,n-m-1), 稱該回歸不顯著稱該回歸不顯著。 【例例11.3】試對(duì)例試對(duì)例11.1資料做多元回歸

20、關(guān)系的假資料做多元回歸關(guān)系的假設(shè)測驗(yàn)。設(shè)測驗(yàn)。解：由例解：由例11.1已已算得算得Uy/123=218.16, Qy/123=21.73, SSy=239.89 和和 n=15。變異原因變異原因 DF SS MS F F0.01三元回歸三元回歸 3 218.16 72.72 36.72 6.22離回歸離回歸 11 21.73 1.98 總和總和 14 239.89 表表11.3 表表11.1資料三元回歸的假設(shè)測驗(yàn)資料三元回歸的假設(shè)測驗(yàn)F=36.72F0.01=6.22，為極顯著，為極顯著，故否定故否定H0：1=2=3=0， 推斷小麥單株產(chǎn)量依每株穗數(shù)、穗粒推斷小麥單株產(chǎn)量依每株穗數(shù)、穗粒數(shù)和千

21、粒重的三元線性回歸為極顯著。數(shù)和千粒重的三元線性回歸為極顯著。 注意：注意： 1、多元線性回歸顯著并不排除有多元非、多元線性回歸顯著并不排除有多元非線性回歸關(guān)系的存在；線性回歸關(guān)系的存在； 2、多元線性回歸顯著，并不排除其中存、多元線性回歸顯著，并不排除其中存在著與在著與y無線性回歸關(guān)系的自變量的可能性。無線性回歸關(guān)系的自變量的可能性。 正如方差分析中正如方差分析中F F測驗(yàn)顯著，并不代表所測驗(yàn)顯著，并不代表所有處理平均數(shù)的差異都顯著。有處理平均數(shù)的差異都顯著。 多元線性回歸關(guān)系的假設(shè)測驗(yàn)實(shí)質(zhì)上是測多元線性回歸關(guān)系的假設(shè)測驗(yàn)實(shí)質(zhì)上是測定各個(gè)自變量對(duì)定各個(gè)自變量對(duì)y的綜合作用是否有真實(shí)的回歸的綜

22、合作用是否有真實(shí)的回歸關(guān)系。關(guān)系。 如果某些自變量和如果某些自變量和y有極顯著的回歸關(guān)系，有極顯著的回歸關(guān)系，而另一些自變量和而另一些自變量和 y沒有回歸關(guān)系，在測驗(yàn)綜合沒有回歸關(guān)系，在測驗(yàn)綜合作用時(shí)往往不能予以區(qū)分。作用時(shí)往往不能予以區(qū)分。 因此，要評(píng)定各個(gè)自變量對(duì)因此，要評(píng)定各個(gè)自變量對(duì)y是否有真實(shí)的是否有真實(shí)的回歸關(guān)系必須對(duì)各個(gè)偏回歸系數(shù)做假設(shè)測驗(yàn)?；貧w關(guān)系必須對(duì)各個(gè)偏回歸系數(shù)做假設(shè)測驗(yàn)。（二）偏回歸系數(shù)的假設(shè)測驗(yàn)（二）偏回歸系數(shù)的假設(shè)測驗(yàn) 偏回歸系數(shù)假設(shè)測驗(yàn)就是測驗(yàn)各個(gè)偏回偏回歸系數(shù)假設(shè)測驗(yàn)就是測驗(yàn)各個(gè)偏回歸系數(shù)歸系數(shù)bibi是否來自是否來自i=0i=0的總體。的總體。 H H0 0：

23、 i=0 i=0 ； H HA A： i0i0。 可用可用t t測驗(yàn)或測驗(yàn)或F F測驗(yàn)進(jìn)行。測驗(yàn)進(jìn)行。1、 t測驗(yàn)測驗(yàn) 偏回歸系數(shù)偏回歸系數(shù)bi的標(biāo)準(zhǔn)誤為的標(biāo)準(zhǔn)誤為 iimybcssi12 由于由于 服從服從df=n-m-1的的t分布，故在分布，故在H0： i=0 的假設(shè)下，可由的假設(shè)下，可由 測定測定bi是否抽自是否抽自i=0 的總體的總體。biiiSbbiiSbt 【例例11.4】試對(duì)例試對(duì)例11.1資料的資料的b1=1.8485, b2=0.4678, b3=0.6421做做t測驗(yàn)。測驗(yàn)。 在例在例11.2已算得已算得 sy/123=1.4055, c11=0.034847, c22=0

24、.048472， c33=0.0307266/123biyiiSSC61. 22624. 06421. 02464. 00307266. 04055. 151. 13094. 04678. 03094. 0048472. 04055. 104. 72624. 08485. 12624. 0034847. 04055. 1321tStStSbbb查附表查附表3，得，得t0.05,11=2.201, t0.01,11=3.106, b1的的t=7.04t0.01,11為極顯著；為極顯著；b2的的t=1.51t0.05,11為顯著。為顯著。 即每株穗數(shù)（即每株穗數(shù)（x1）和千粒重（）和千粒重（x3）

25、對(duì)產(chǎn)量）對(duì)產(chǎn)量皆有顯著的回歸關(guān)系。皆有顯著的回歸關(guān)系。 對(duì)于對(duì)于b2應(yīng)接受應(yīng)接受H0，否定，否定HA，即每穗粒數(shù)，即每穗粒數(shù)對(duì)產(chǎn)量沒有真實(shí)的回歸關(guān)系。對(duì)產(chǎn)量沒有真實(shí)的回歸關(guān)系。2、F測驗(yàn)測驗(yàn) 在在 多元回歸中，多元回歸中，Uy12m總是隨著總是隨著m的增多而增大，如果取消一個(gè)自變量的增多而增大，如果取消一個(gè)自變量xi，則則Uy12m-1要比要比Uy12m減少減少Upi.iiipcbUi2 Upi就是就是y在在xi上的偏回歸平方和上的偏回歸平方和，也就是由也就是由xi的變異所產(chǎn)生的回歸部分的變異所產(chǎn)生的回歸部分平方和，具有平方和，具有1個(gè)自由度。因此，由個(gè)自由度。因此，由/12(1)ipymUF

26、Qnm可測定可測定bi是否來自是否來自i=0的總體。的總體?！纠?1.5】試對(duì)例試對(duì)例11.1資料的資料的b1=1.8485, b2=0.4678, b3=0.6421做做F測驗(yàn)。測驗(yàn)。由由以上計(jì)算結(jié)果可算得以上計(jì)算結(jié)果可算得 y對(duì)對(duì)x1的偏回歸平方和為的偏回歸平方和為 Up1=b12/c11=1.84852/0.034847=98.06 y對(duì)對(duì)x2的偏回歸平方和為的偏回歸平方和為 Up2=b22/c22=0.46782/0.048472=4.51 y對(duì)對(duì)x3的偏回歸方和為的偏回歸方和為 Up3=b32/c33=0.64212/0.0307266=13.42 表表11.4 例例11.1資料偏

27、回歸系數(shù)的假設(shè)測驗(yàn)資料偏回歸系數(shù)的假設(shè)測驗(yàn) 變異來源DFSSMSFF0.05F0.01因 x 1 的 偏回歸198.0698.0649.53*4.849.65因 x 2 的 偏回歸14.514.512.28 因 x 3 的 偏回歸113.4213.426.78* 離 回 歸1121.731.98 這里有一個(gè)問題值得引起注意這里有一個(gè)問題值得引起注意： 表表11.3中中y因因x1、x2、x3的三元回歸平方和的三元回歸平方和 Uy/123=218.16 而表而表11.4中中y因因x1、x2、x3的偏回歸平方和的偏回歸平方和分別為分別為Up1=98.06, Up2=4.51, Up3=13.42,

28、則則Up1+Up2+Up3=115.99 Upi (rij0) Uy/12m Upi (rij0)（三）自變數(shù)的重要性和取舍（三）自變數(shù)的重要性和取舍 在多元回歸中，各個(gè)自變量對(duì)于在多元回歸中，各個(gè)自變量對(duì)于y的影的影響是不同的。凡是偏回歸平方和最小的必然響是不同的。凡是偏回歸平方和最小的必然是在這些因素中對(duì)是在這些因素中對(duì)y作用最小的一個(gè)。通常作用最小的一個(gè)。通常經(jīng)過偏回歸系數(shù)的假設(shè)測驗(yàn)后，對(duì)于那些不經(jīng)過偏回歸系數(shù)的假設(shè)測驗(yàn)后，對(duì)于那些不顯著的自變量可以顯著的自變量可以舍去舍去 。1. 由于自變量間可能存在著相關(guān)，不能由于自變量間可能存在著相關(guān)，不能一次將所有不顯著的自變量全部舍去。一次將所

29、有不顯著的自變量全部舍去。2. 通常先棄去那個(gè)通常先棄去那個(gè)Upi最小而又不顯著的最小而又不顯著的自變量，然后再作分析。自變量，然后再作分析。 4. 如此重復(fù)進(jìn)行，直至回歸方程中所包含如此重復(fù)進(jìn)行，直至回歸方程中所包含 的自變量都達(dá)顯著時(shí)為止。這時(shí)的多元的自變量都達(dá)顯著時(shí)為止。這時(shí)的多元 回歸方程稱為回歸方程稱為最優(yōu)多元回歸方程。最優(yōu)多元回歸方程。3. 這時(shí)，各自變量對(duì)這時(shí)，各自變量對(duì)y的偏回歸平方和的偏回歸平方和 都都 將有所改變，應(yīng)對(duì)它們重新測驗(yàn)，再棄將有所改變，應(yīng)對(duì)它們重新測驗(yàn)，再棄 去那個(gè)去那個(gè)Upi最小而又不顯著的自變量。最小而又不顯著的自變量。 【例例11.6】試對(duì)表試對(duì)表11.1

30、資料的自變量進(jìn)資料的自變量進(jìn)行取舍，建立最優(yōu)多元線性回歸方程。行取舍，建立最優(yōu)多元線性回歸方程。 由例由例11.4偏回歸系數(shù)的假設(shè)測驗(yàn)知，偏回歸系數(shù)的假設(shè)測驗(yàn)知，x2的偏回歸系數(shù)的偏回歸系數(shù)b2不顯著，將其從多元回歸方不顯著，將其從多元回歸方程中剔除，作二元回歸分析，計(jì)算程中剔除，作二元回歸分析，計(jì)算如下：如下：*,(),( ,)ikiikkkikkjijijkkcbbbikccccci jkcb*1=1.8485-(-0.0004579/0.048472)0.4678 =1.8529c*11=0.034847-(-0.0004579)2/0.048472 =0.034843b*3=0.642

31、1-(0.0031258/0.048472)0.4678 =0.6119c*33=0.0307266-(0.0031258)2/0.048472 =0.030525將將b*1，b*3代入式代入式(11.3)得得 a=13.47-1.85299.86-0.611935.71=-26.65二元回歸方程為二元回歸方程為 =-26.65+1.8529x1+0.6119x3 y 對(duì)對(duì)b*1，b*3進(jìn)行顯著性檢驗(yàn)：進(jìn)行顯著性檢驗(yàn)： Uy/13=b*1X1Y+b*3X3Y =1.852991.02+0.611973.52 =213.64 Qy/13=239.89-213.64=26.25/13/1326.2

32、51.47912yyQSnm這時(shí)因已剔除了一個(gè)自變量，故離回歸這時(shí)因已剔除了一個(gè)自變量，故離回歸平方和的自由度為平方和的自由度為n-(m-1)-1=n-m。11113330.05,120.01,12131.497.(/)./ ././ ., .,bbbbbsbb0 0348430 2761tbs1 8529 0 27616 71s1 4790 0305250 2584tbs0 6119 0 25842 373t2 179 t3 055對(duì)有查附表 ，為極顯著，為顯著。因此所建立的二元回歸方程因此所建立的二元回歸方程 = - 26.65+1.8529x1+0.6119x3為為最優(yōu)回歸方程。最優(yōu)回歸

33、方程。 y 11.2 多元相關(guān)和偏相關(guān)多元相關(guān)和偏相關(guān) 在在M=m+1個(gè)變量中，個(gè)變量中，m個(gè)變量的綜個(gè)變量的綜合與合與1個(gè)變量的相關(guān)，叫做個(gè)變量的相關(guān)，叫做多元相關(guān)或多元相關(guān)或復(fù)相關(guān)復(fù)相關(guān)。而在其余。而在其余M-2個(gè)變量都固定個(gè)變量都固定時(shí)時(shí) ，指定的兩個(gè)變量間的相關(guān)，叫做，指定的兩個(gè)變量間的相關(guān)，叫做偏相關(guān)或凈相關(guān)偏相關(guān)或凈相關(guān)。1、多元相關(guān)系數(shù)、多元相關(guān)系數(shù) y依依x1，x2，xm的多元決定系數(shù)的多元決定系數(shù)或復(fù)決定系數(shù)或復(fù)決定系數(shù)R2y12m定義為定義為:R2y/12m=Uy/12m/SSy 而多元相關(guān)系數(shù)或復(fù)相關(guān)系數(shù)而多元相關(guān)系數(shù)或復(fù)相關(guān)系數(shù)Ry12m則定義為則定義為 即多元相關(guān)系數(shù)

34、為多元回歸平方和與總變異即多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。平方和之比的平方根。 /12/12/121ymymymyyUQRSSSS由于由于0Uy.12m SSy，故故Ry/12m的取值區(qū)間為的取值區(qū)間為0，1。在自由度一定時(shí)，在自由度一定時(shí)，Ry/12m愈近于愈近于1，復(fù)相關(guān)愈密切；，復(fù)相關(guān)愈密切； Ry/12m愈近于愈近于0，愈不密切。，愈不密切。Uy/12m一般總是隨一般總是隨m的增多而加大。因?yàn)榈脑龆喽哟?。因?yàn)槎嘣貧w平方和一定大于任一個(gè)自變量對(duì)多元回歸平方和一定大于任一個(gè)自變量對(duì)y的回歸平方和，故多元相關(guān)系數(shù)一定要的回歸平方和，故多元相關(guān)系數(shù)一定要比任一比任一

35、xi和和y的簡單相關(guān)系數(shù)的絕對(duì)值大。的簡單相關(guān)系數(shù)的絕對(duì)值大。2、偏相關(guān)系數(shù)、偏相關(guān)系數(shù) 在在M個(gè)變量中固定個(gè)變量中固定M-2個(gè)變量，余下的兩個(gè)變量，余下的兩個(gè)變量的線性相關(guān)系數(shù)叫做個(gè)變量的線性相關(guān)系數(shù)叫做偏相關(guān)系數(shù)或凈偏相關(guān)系數(shù)或凈相關(guān)系數(shù)相關(guān)系數(shù)。 它表示在其他各個(gè)變量都保持一定時(shí)，它表示在其他各個(gè)變量都保持一定時(shí)，指定的兩個(gè)變量間相關(guān)的密切程度。指定的兩個(gè)變量間相關(guān)的密切程度。 變量在實(shí)際上都是不固定的，所變量在實(shí)際上都是不固定的，所謂固定是指應(yīng)用統(tǒng)計(jì)方法，消去不固謂固定是指應(yīng)用統(tǒng)計(jì)方法，消去不固定的影響。因此偏相關(guān)系數(shù)定的影響。因此偏相關(guān)系數(shù)rij.就是變就是變量量xi和和xj，當(dāng)它們

36、和其他變量的相關(guān)都，當(dāng)它們和其他變量的相關(guān)都消去后的線性相關(guān)系數(shù)。消去后的線性相關(guān)系數(shù)。 兩個(gè)變量間的簡單相關(guān)系數(shù)不能兩個(gè)變量間的簡單相關(guān)系數(shù)不能正確說明這兩個(gè)變量間的真正關(guān)系。正確說明這兩個(gè)變量間的真正關(guān)系。在多個(gè)變量錯(cuò)綜復(fù)雜的關(guān)系中，偏相在多個(gè)變量錯(cuò)綜復(fù)雜的關(guān)系中，偏相關(guān)系數(shù)可幫助排除假像相關(guān)，找到真關(guān)系數(shù)可幫助排除假像相關(guān)，找到真實(shí)關(guān)系最為密切的變量。實(shí)關(guān)系最為密切的變量。 表示表示x3，x4，xm變量變量都固定時(shí)，都固定時(shí)，x1和和x2的偏相的偏相關(guān)系數(shù)；關(guān)系數(shù)；表示表示x2，x3，x5，xm變量都固定時(shí)，變量都固定時(shí)，x1和和x4的偏相關(guān)系數(shù)。的偏相關(guān)系數(shù)。r1234mr14.23m

37、 偏相關(guān)系數(shù)的取值區(qū)間和簡單相關(guān)系數(shù)一樣，偏相關(guān)系數(shù)的取值區(qū)間和簡單相關(guān)系數(shù)一樣，也是也是-1，1，同時(shí)，同時(shí)rij=rji。若有。若有M個(gè)變量則偏相個(gè)變量則偏相關(guān)系數(shù)共有關(guān)系數(shù)共有M(M-1)/2個(gè)。個(gè)。 關(guān)于偏相關(guān)系數(shù)的計(jì)算關(guān)于偏相關(guān)系數(shù)的計(jì)算： 若僅有若僅有3個(gè)變量，可由簡單相關(guān)系數(shù)直接計(jì)算。個(gè)變量，可由簡單相關(guān)系數(shù)直接計(jì)算。設(shè)有設(shè)有3個(gè)變量個(gè)變量xi，xj和和xk，則消去，則消去xk對(duì)對(duì)xi和和xj的影響的影響后，后，xi和和xj的偏相關(guān)系數(shù)的偏相關(guān)系數(shù): )1)(1 (22jkikjkikijkijrrrrrr 【例例11.8】試計(jì)算表試計(jì)算表11.1資料舍去穗粒數(shù)資料舍去穗粒數(shù)(x

38、2)后，后，單株產(chǎn)量單株產(chǎn)量(y)與每株穗數(shù)與每株穗數(shù)(x1)和千粒重和千粒重(x3)的的偏相偏相關(guān)系數(shù)。關(guān)系數(shù)。1313./(.)./(.)./(.).ijyyrr91 0241 14 239 890 9162r73 5246 96 239 890 6927r24 1741 14 46 960 5499先計(jì)算簡單相關(guān)系數(shù) ，221.33.113.(1)(1)( .).(.)(.)( .).(.)(.)( .)(.)(ijikjkijij kikjkyyyrrrrrrr0 91620 5499 0 6972r0 888610 54992 10 692720 69270 5499 0 9162r0 564310 54992 10 916220 54990 9166 0 6972r10 91162 10將計(jì)算的各 代入.) 0 94969272 當(dāng)變量個(gè)數(shù)當(dāng)變量個(gè)數(shù)M4時(shí)，由相關(guān)矩陣的逆矩陣元素時(shí)，由相關(guān)矩陣的逆矩陣元素計(jì)算偏相關(guān)系數(shù)較