多元回歸分析

1、多元回歸分析第1頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二第一節(jié) 多元線性回歸數(shù)理統(tǒng)計(jì)中討論了兩個(gè)變量之間的回歸問題，解釋變量只與一個(gè)可控變量有關(guān)，然而在許多實(shí)際問題中，影響解釋變量的因素往往不是一個(gè)，我們稱這類回歸問題為多元回歸分析。一、回歸方程的建立設(shè)通過調(diào)查取得n組觀察值這些觀察值可以表示為一個(gè)p元線性函數(shù)第2頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二i=1，2，n為y對 的p元線性回歸方程。用矩陣形式來描述回歸問題。n組數(shù)據(jù)的多元回歸模型可表示為：第3頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二采用最小平方法構(gòu)造函數(shù)所以：第4頁，共24頁，

2、2022年，5月20日，13點(diǎn)33分，星期二整理得：用矩陣表示為：第5頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二于是上式的矩陣形式就化為：例題: 某地區(qū)鄉(xiāng)鎮(zhèn)企業(yè)總產(chǎn)出,從業(yè)勞動(dòng)者人數(shù)和固定資產(chǎn)原值的資料如下:配合回歸直線方程。第6頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二年份總產(chǎn)出（億元）Y從業(yè)勞動(dòng)者人數(shù)x1固定資產(chǎn)原值（億元）x21997199819992000200120022003490.6543.4649.9722.3840.4999.01433.02826.52909.32999.72969.63112.93234.73848.1229.6280.23

3、26.3375.5429.3475.7575.0回歸方程為 第7頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二第8頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二回歸方程為： 例2：衛(wèi)生陶瓷產(chǎn)量與城鎮(zhèn)住宅建筑面積、醫(yī)療衛(wèi)生機(jī)構(gòu)建筑面積、辦公室建筑面積有關(guān)，要求根據(jù)下列資料建立回歸方程。第9頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二序號衛(wèi)生陶瓷產(chǎn)量城鎮(zhèn)住宅建筑面積醫(yī)療衛(wèi)生機(jī)構(gòu)建筑面積辦公建筑面積12345678910111213141516171819204643571045711891014182024222699101716181099101214192

4、12022212833501.41.11.11.01.11.40.80.40.50.91.12.22.22.42.22.32.12.32.42.62.92.83.14.15.04.51.80.60.82.12.14.04.03.64.24.64.04.34.76.0第10頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二二、回歸方程效果的檢驗(yàn)在對一個(gè)具體問題配合出回歸方程以后，需要考慮這個(gè)方程能否在一定程度上揭示諸多變量之間的內(nèi)在規(guī)律，也就是要對回歸方程的效果進(jìn)行檢驗(yàn)?？傠x差平方和可分解成兩部分： 即自由度為p的回歸平方和 反映了可控變量 重要程度；自由度為n-p-1的剩余平方和 的變

5、動(dòng)對y的波動(dòng)，其數(shù)值大小反映了可控變量的它反映了調(diào)查或?qū)嶒?yàn)誤差以及其它未控制的因素對調(diào)查或?qū)嶒?yàn)結(jié)果的影響。第11頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二如果總離差平方和中，回歸平方和所占的比重大，線性回歸效果就越顯著，若剩余平方和等于0，則回歸平面就通過了所有的觀察點(diǎn)；如果剩余平方和所占比重大，線性回歸效果越不好。因變量y與可控變量 的線性關(guān)系如何，主要由系數(shù) 表現(xiàn)出來，若y與所有可控變量均無關(guān)，則必然有 所以，要檢驗(yàn)y與 之間是否存在線性關(guān)系，只要檢驗(yàn) 是否成立即可 若在H0成立的條件下，數(shù)理統(tǒng)計(jì)已經(jīng)證明：第12頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二并且

6、，回歸平方和與剩余平方和互相獨(dú)立，因而檢驗(yàn)回歸方程的統(tǒng)計(jì)量F為：因此，在給定置信度為1-a的前提下，在F分布表中可以查找出 將F值與臨界值比較，若 則拒絕H0，說明回歸方程顯著 .三、回歸參數(shù)的顯著性檢驗(yàn)在回歸方程的顯著性檢驗(yàn)中，只要有一個(gè)可控變量與y之間有線性關(guān)系，H0便不能成立，這顯然不能把每個(gè)自變量 對變量y影響的大小分辨出來。不便于我們y第13頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二進(jìn)行預(yù)報(bào)和控制，這就需要對每個(gè)回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)，很明顯，如果某個(gè)可控變量xi對y作用不顯著，在回歸模型中，它前面的系數(shù)bi就可以取0，因此，檢驗(yàn)自變量xi是否顯著，就相當(dāng)于檢驗(yàn)假設(shè)H0

7、： i=1，2，3，p由于回歸系數(shù)biN為 中主對角線中第i+1個(gè)元素。所以： 在假設(shè)H0成立的前提下，第14頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二就拒絕H0，說明自變量xi對y的影響是顯著的。若ti未達(dá)到顯著標(biāo)準(zhǔn)，可把xi從回歸方程中剔除。注意，每次只能剔除一個(gè)不顯著的次要變量。例3：檢驗(yàn)例1回歸方程和回歸系數(shù)的顯著性。方差分析表平方和自由度回歸628548.0122S回/2=314274.006 剩余2630.8024S剩/4=657.701總計(jì)631178.86取a=0.05 說明回歸方程顯著，認(rèn)為鄉(xiāng)鎮(zhèn)企業(yè)總產(chǎn)出與從業(yè)人數(shù)和固定資產(chǎn)原值有明顯的線性關(guān)系。第15頁，共2

8、4頁，2022年，5月20日，13點(diǎn)33分，星期二自變量X1X2 7.232 5.555由于 所以，應(yīng)拒絕F0，認(rèn)為x1，x2都是回歸方程的重要變量。四、相關(guān)系數(shù)與復(fù)相關(guān)系數(shù)于是，可定義多元回歸分析中的復(fù)相關(guān)系數(shù)：叫相關(guān)指數(shù)或者叫可決系數(shù)。第16頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二復(fù)相關(guān)系數(shù)是用來說明y與 之間相關(guān)關(guān)系密切程度的指標(biāo)。例5：計(jì)算例1中的復(fù)相關(guān)系數(shù)第17頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二當(dāng)然，我們也可對相關(guān)系數(shù)進(jìn)行檢驗(yàn)。相關(guān)系數(shù)的顯著性檢驗(yàn)和回歸方程的顯著性檢驗(yàn)是一致的。建立的F統(tǒng)計(jì)量：在多變量的情況下，變量之間的相關(guān)關(guān)系是很復(fù)雜的，

9、因?yàn)椋我鈨勺兞恐g都可能存在相關(guān)關(guān)系。簡單相關(guān)系數(shù)往往不能正確的說明變量之間的真正關(guān)系。因?yàn)?，此時(shí)所有的變量都在變化。如果需要真正表明這兩個(gè)變量之間的相關(guān)關(guān)系，就必須在除去其它變量影響的情況下，計(jì)算他們的相關(guān)系數(shù)，這就是偏相關(guān)系數(shù)。偏相關(guān)系數(shù)就是在多元回歸分析中，其它變量被固定后的任意兩個(gè)變量之間的相關(guān)關(guān)系。偏相關(guān)系數(shù)可以根據(jù)簡單相關(guān)系數(shù)計(jì)算出來。第18頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二如： 在除去 的影響后它們之間的相關(guān)系數(shù)為 稱為 對 的偏相關(guān)系數(shù).類似的 只有偏相關(guān)系數(shù)才能反映出兩個(gè)變量的本質(zhì)聯(lián)系。而簡單相關(guān)系數(shù)可能由于其他因素的影響而反映的是非本質(zhì)的聯(lián)系，甚至

10、可能是假象。例7：計(jì)算例1中除去固定資產(chǎn)后總產(chǎn)出與勞動(dòng)者人數(shù)的偏相關(guān)系數(shù)第19頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二為了給出偏相關(guān)系數(shù)的表達(dá)式，簡單相關(guān)系數(shù)構(gòu)成的行列式為：則偏相關(guān)系數(shù)為：為上式的代數(shù)余子式。 第20頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二 第二節(jié)：可化為多元線性回歸問題變量之間的內(nèi)在聯(lián)系并非總是線性的，有時(shí)需要選擇適當(dāng)?shù)姆蔷€性函數(shù)。函數(shù)的選擇，沒有標(biāo)準(zhǔn)方法，需要根據(jù)專業(yè)知識、實(shí)際經(jīng)驗(yàn)以及數(shù)據(jù)特點(diǎn)作具體分析，以確定回歸函數(shù)的類型，然而有些函數(shù)，經(jīng)過適當(dāng)?shù)淖儞Q，可轉(zhuǎn)化為多元線性回歸問題。用多元線性回歸的方法求出參數(shù)，然后再進(jìn)行還原即可。(一)

11、多項(xiàng)式函數(shù)（二）多元冪函數(shù)兩邊取對數(shù)后令：第21頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二（三）指數(shù)函數(shù)兩邊取對數(shù)后，令 （四）多元對數(shù)函數(shù)例題；某企業(yè)在15年中每年的年產(chǎn)量y和總成本x資料如下：根據(jù)資料建立y對x，x2，x3的多項(xiàng)式回歸方程。第22頁，共24頁，2022年，5月20日，13點(diǎn)33分，星期二序號總成本（元）產(chǎn)量（件）x x2 x3123456789101112131415100002860019500329005240042400629008630074100100000133900115700154800178720203100100300200400600500700900800100012001100130014001500100009000040000160000360000250000490000810000640000100000014400001210000169000019600002250000100000027000000800000064000000216000000125000000343000000729000000512000000100000000017280000001331000000219700000027440000003