多元線性回歸分析PPT精選文檔

1、1第十四章第十四章 多元線性回歸分析多元線性回歸分析 Multivariate linear regression 2 人的體重體重與身高、胸圍身高、胸圍血壓值血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史狀況、家族史糖尿病人的血糖血糖與胰島素、糖化血紅蛋白、血清總胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂膽固醇、甘油三脂射頻治療儀定向治療腦腫瘤過程中，腦皮質(zhì)的毀損毀損半徑半徑與輻射的溫度、輻射的溫度、 照射的時(shí)間照射的時(shí)間一個(gè)變量的變化直接與另一組變量的變化有關(guān)：一個(gè)變量的變化直接與另一組變量的變化有關(guān)：如：3Multivariate line

2、ar regression概念：概念：多元線性回歸分析多元線性回歸分析也稱復(fù)線性回歸分析復(fù)線性回歸分析（multiple linear regression analysis）,它研究一組自變量如何直接影響一個(gè)因變量。自變量（independent variable）是指獨(dú)立自由變量的變量，用向量X表示；因變量（dependent variable)是指非獨(dú)立的、受其它變量影響的變量，用向量Y表示；由于模型僅涉及一個(gè)因變量，所以多元線性回歸分析也稱單變量線性回歸分析（univariate linear regression analysis）4多元回歸分析數(shù)據(jù)格式多元回歸分析數(shù)據(jù)格式5假定因變

3、量假定因變量Y與與自變量自變量 間存在如下關(guān)系：間存在如下關(guān)系：mmXXXY22110式中， 是常數(shù)項(xiàng)， 稱為偏回歸系數(shù)（partial regression coefficient）。 的含義為在其它自變量保持不變的條件下，自變量 改變一個(gè)單位時(shí)因變量Y 的平均改變量。 為隨機(jī)誤差，又稱殘差（residual），它表示 的變化中不能由自變量 解釋的部分。0m,21m,ii21Ym,iXi21mX,X,X21iX一、多元線性回歸方程模型一、多元線性回歸方程模型6x1x2y22110XbXbbY7應(yīng)用條件：應(yīng)用條件：注意：注意：雖然模型要求因變量是連續(xù)數(shù)值變量，但對(duì)自變量的類型不限。若自變量是分

4、類變量，特別是無序分類變量，要轉(zhuǎn)化為亞變量才能分析。對(duì)于自變量是分類變量的情形，需要用廣義線性回歸模型分析。廣義線性回歸模型分析。8二、多元線性回歸分析的步驟二、多元線性回歸分析的步驟（一）估計(jì)各項(xiàng)參數(shù)，建立多元線性回歸方程模型（二）對(duì)整個(gè)模型進(jìn)行假設(shè)檢驗(yàn)，模型有意義的前提下，再分別對(duì)各偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。（三）計(jì)算相應(yīng)指標(biāo)，對(duì)模型的擬合效果進(jìn)行評(píng)價(jià)。9（一）模型的參數(shù)估計(jì)（一）模型的參數(shù)估計(jì)1027名糖尿病患者的血清總膽固醇（x1）、甘油三酯（x2）、空腹胰島素（x3）、糖化血紅蛋白（x4）、空腹血糖（y）的測(cè)量值列于表中，試建立血糖與其它幾項(xiàng)指標(biāo)關(guān)系的多元線性回歸方程。 例例14.11

5、4.111各變量的離差矩陣各變量的離差矩陣12線性回歸方程模型為：線性回歸方程模型為：131、對(duì)模型的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)2、對(duì)偏回歸系數(shù)的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)和和t 檢驗(yàn)檢驗(yàn)3、標(biāo)準(zhǔn)偏化回歸系數(shù)（二）對(duì)模型及偏回歸系數(shù)的假設(shè)檢驗(yàn)（二）對(duì)模型及偏回歸系數(shù)的假設(shè)檢驗(yàn)141、對(duì)模型的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)15SS回歸=b1l1y+ b2l2y + b3l3y + b4l4y =0.142467.6962+0.351589.8025+0.2706142.4347+0.638284.5570 =133.7107；回歸=m=4 各變量的離差矩陣各變量的離差矩陣16SS總=lyy=222.5519；總=n-1=2

6、6SS剩余= SS總- SS回歸=222.5519-133.7107=88.8412剩余=n-m-1=22 MS回歸= SS回歸/回歸； MS剩余= SS剩余/剩余；F= MS回歸/ MS剩余1、對(duì)模型的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)171、對(duì)模型的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)182、對(duì)偏回歸系數(shù)的假設(shè)檢驗(yàn)F檢驗(yàn)檢驗(yàn)和和t 檢驗(yàn)檢驗(yàn)回歸方程成立只能認(rèn)為總的來說自變量與因變量間存在線性關(guān)系，但是否每一個(gè)自變量都與因變量間存在線性關(guān)系，須對(duì)其偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。 方差分析法 t 檢驗(yàn)法19 偏回歸系數(shù)的假設(shè)檢驗(yàn)-方差分析法方差分析法20 偏回歸系數(shù)的假設(shè)檢驗(yàn)-方差分析法方差分析法21 Parameter Stand

7、ard Standardized Variable DF Estimate Error t Value Pr |t| Estimate 變量 自由度 偏回歸系數(shù) 標(biāo)準(zhǔn)誤 t值 P值 標(biāo)準(zhǔn)化回歸系數(shù) Intercept 22 5.94327 2.82859 2.10 0.0473 0X1 22 0.14245 0.36565 0.39 0.7006 0.07758X2 22 0.35147 0.20420 1.72 0.0993 0.30931 X3 22 -0.27059 0.12139 -2.23 0.0363 -0.33948 X4 22 0.63820 0.24326 2.62 0.01

8、55 0.39774偏回歸系數(shù)的假設(shè)檢驗(yàn) t 檢驗(yàn)檢驗(yàn)22指定指定REG過程進(jìn)行多元線性回歸分析，擬合過程進(jìn)行多元線性回歸分析，擬合y與四個(gè)自變量間的多元線性回歸方程與四個(gè)自變量間的多元線性回歸方程23整個(gè)方程有整個(gè)方程有統(tǒng)計(jì)學(xué)意義統(tǒng)計(jì)學(xué)意義各自變量的參數(shù)估計(jì)各自變量的參數(shù)估計(jì)對(duì)偏回歸系數(shù)對(duì)偏回歸系數(shù)的假設(shè)檢驗(yàn)的假設(shè)檢驗(yàn)24注注意意25YjjYYjjjYYjjjjSSbnlnlbllbb) 1/() 1/( 3、標(biāo)準(zhǔn)化偏回歸系數(shù)26偏回歸系數(shù)偏回歸系數(shù)偏回歸系偏回歸系數(shù)標(biāo)準(zhǔn)誤數(shù)標(biāo)準(zhǔn)誤標(biāo)準(zhǔn)偏回歸系數(shù)標(biāo)準(zhǔn)偏回歸系數(shù)27（三）計(jì)算相應(yīng)指標(biāo)，對(duì)模型的擬合效果進(jìn)行評(píng)價(jià)n評(píng)價(jià)回歸方程回歸效果的優(yōu)劣是回歸分

9、析的重要內(nèi)容之一。常用評(píng)價(jià)指標(biāo)有：常用評(píng)價(jià)指標(biāo)有：n復(fù)相關(guān)系數(shù)、n決定系數(shù)、n校正決定系數(shù)、n剩余標(biāo)準(zhǔn)差等。 281.復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)（R），衡量因變量Y與回歸方程內(nèi)所有自變量線性組合件相關(guān)關(guān)系的密切程度。 0=R=1,沒有負(fù)值。 R的值越接近1，說明相關(guān)關(guān)系越密切；越接近0說明相關(guān)關(guān)系越弱。292.決定系數(shù)30313、剩余標(biāo)準(zhǔn)差324、校正決定系數(shù)33三、逐步回歸分析三、逐步回歸分析34（一）最優(yōu)子集回歸法求出所有自變量可能組合子集的回歸方程的模型（共有2m1個(gè)），按一定準(zhǔn)則選擇最優(yōu)模型，常用的準(zhǔn)則有：校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變

10、量的個(gè)數(shù)；）AIC(Akaikes Information Criterion)準(zhǔn)則；35最優(yōu)子集法的局限性 如果自變量個(gè)數(shù)為4，則所有的回歸有24115個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，所有可能的回歸為 2101 1023個(gè)；.；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，所有可能的回歸為25011015個(gè)。36（二）逐步選擇法（二）逐步選擇法 1. 前進(jìn)法（forward selection）2. 后退法（backward elimination）3. 逐步回歸法（stepwise regression）。它們的共同特點(diǎn)是每一步只引入或剔除一個(gè)自變量。決定其取舍則基于對(duì)偏回歸平方和的F檢驗(yàn)1; 1;) 1(21)(

11、pnpnSSSSSSFjj殘回回37（1）前進(jìn)法）前進(jìn)法 自變量從無到有、從少到多自變量從無到有、從少到多 Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作F 檢驗(yàn)，有意義（P小）則引入。在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F 檢驗(yàn)，。 局限性：后續(xù)變量的引入可能會(huì)使先進(jìn)入方程的自變量變得不重要。38（2）后退法）后退法 先將全部自變量放入方程，然后逐步剔除先將全部自變量放入方程，然后逐步剔除 偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的P值，決定它是否剔除（P大） 。建立新的回歸方程。重復(fù)上述過程。 局限性：自變量高度相關(guān)時(shí)，可能得不出正確的結(jié)果；開始時(shí)剔除的

12、變量即使后來變得有顯著性也不能再進(jìn)入方程 。39（3 3）逐步回歸法）逐步回歸法 雙向篩選：雙向篩選：引入引入有意義的變量（前進(jìn)法），有意義的變量（前進(jìn)法），剔除剔除無意義變無意義變量（后退法）量（后退法） 小樣本檢驗(yàn)水準(zhǔn) a 一般定為0.10或0.15，大樣本把a(bǔ)值定為0.05。 a值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。 4041用逐步回歸法篩選自變量用逐步回歸法篩選自變量進(jìn)入方進(jìn)入方程的自程的自變量變量剔出方剔出方程的自程的自變量變量每一步每一步時(shí)模型時(shí)模型的決定的決定系數(shù)系數(shù)R2C(p)統(tǒng)計(jì)量統(tǒng)計(jì)量42標(biāo)準(zhǔn)化偏回歸系數(shù)標(biāo)準(zhǔn)化偏回歸系數(shù)y=0.35409x2-0.36013x3+0.41334x

13、443第三節(jié)第三節(jié) 多元線性回歸的應(yīng)用及其注意事項(xiàng)多元線性回歸的應(yīng)用及其注意事項(xiàng) 44二、二、 多元線性回歸應(yīng)用時(shí)的注意事項(xiàng)多元線性回歸應(yīng)用時(shí)的注意事項(xiàng) n1樣本含量 n2方程“最優(yōu)”問題 n3關(guān)于逐步回歸 n4多元共線性 n5. 異常值識(shí)別與強(qiáng)影響分析 454647n多元共線性是指在進(jìn)行多元回歸分析時(shí)，自變量間存在較強(qiáng)的線性相關(guān)關(guān)系。共線關(guān)系的存在，可使得估計(jì)系數(shù)方差加大，系數(shù)估計(jì)不穩(wěn)，結(jié)果分析困難。因此在多元回歸分析時(shí)，特別是當(dāng)回歸結(jié)果難以用專業(yè)知識(shí)解釋時(shí)，要進(jìn)行共線性診斷，找出存在共線性且不重要的那些自變量，剔出方程，另行回歸分析。n對(duì)于存在共線性的資料，可以利用共線性診斷有選擇的保留自變量以消除共線性；或者采用嶺回歸嶺回歸、主成分回歸主成分回歸等回歸分析方法以避免共線性指標(biāo)對(duì)結(jié)果的影響。4 4多元共線性多元共線性48 多元共線性的表現(xiàn)多元共線性的表現(xiàn)在實(shí)際應(yīng)用中主要表現(xiàn)為：在實(shí)際應(yīng)用中主要表現(xiàn)為：（1）模型擬合效果很好，但偏回歸系數(shù)幾乎都無統(tǒng)計(jì)學(xué)意義；（2）偏回歸系數(shù)估計(jì)值的方差很大；（3）偏回歸系數(shù)估計(jì)值不穩(wěn)定，隨著樣本含量的增減各偏回歸系數(shù)發(fā)生較大變化或當(dāng)一個(gè)自變量被引入或剔除時(shí)其余變