主成分回歸多重共線性

1、精選優(yōu)質(zhì)文檔-傾情為你奉上實(shí)驗(yàn)八：主成分回歸實(shí)驗(yàn)題目：對(duì)例5.5的Hald水泥問(wèn)題用主成分方法建立模型，并與其他方法的結(jié)果進(jìn)行比較。例5.5如下：本例為回歸經(jīng)典的Hald水泥問(wèn)題。某種水泥在凝固時(shí)放出的熱量y（卡/克，cal/g）與水泥中的四種化學(xué)成分的含量（%）有關(guān)，這四種化學(xué)成分分別是x1鋁酸三鈣（3CaO.Al2O3），x2硅酸三鈣（3CaO.SiO2），x3鐵鋁酸四鈣（4CaO.Al2O3.Fe2O3），x4硅酸三鈣（2CaO.SiO2）?，F(xiàn)觀測(cè)到13組數(shù)據(jù)，如表5-3所示。表5-3x1x2x3x4y72666078.5129155274.31156820104.3113184787.

2、675263395.91155922109.2371176102.7131224472.5254182293.12147426115.9140233483.81166912113.31068812109.4實(shí)驗(yàn)?zāi)康模憾嘀毓簿€性的診斷及解決方法、利用主成分回歸解決多重共線性問(wèn)題。SPSS輸出結(jié)果及答案：一、主成分法：多重共線性診斷：相關(guān)性yx1x2x3x4yPearson 相關(guān)性1.731*.816*-.535-.821*顯著性（雙側(cè)）.005.001.060.001N1313131313x1Pearson 相關(guān)性.731*1.229-.824*-.245顯著性（雙側(cè)）.005.453.001.

3、419N1313131313x2Pearson 相關(guān)性.816*.2291-.139-.973*顯著性（雙側(cè)）.001.453.650.000N1313131313x3Pearson 相關(guān)性-.535-.824*-.1391.030顯著性（雙側(cè)）.060.001.650.924N1313131313x4Pearson 相關(guān)性-.821*-.245-.973*.0301顯著性（雙側(cè)）.001.419.000.924N1313131313*. 在 .01 水平（雙側(cè)）上顯著相關(guān)。由表可知，x1，x2，x4的相關(guān)性都比較大，較接近，所以存在多重共線性主成分回歸：解釋的總方差成份初始特征值提取平方和載

4、入合計(jì)方差的 %累積 %合計(jì)方差的 %累積 %12.23655.89355.8932.23655.89355.89321.57639.40295.2941.57639.40295.2943.1874.66599.959.1874.66599.9594.002.041100.000.002.041100.000提取方法：主成份分析。輸出結(jié)果顯示有四個(gè)特征根，最大的是1=2.236，最小的是4=0.002。方差百分比顯示第一個(gè)主成分Factor1的方差百分比近56%的信息量；前兩個(gè)主成分累計(jì)包含近95.3%的信息量。因此取兩個(gè)主成分就已經(jīng)足夠。由于前兩個(gè)主成分的方差累計(jì)已經(jīng)達(dá)到95.3%，故只保留

5、前兩個(gè)主成分。成份矩陣a成份1234x1.712-.639.292.010x2.843.520-.136.026x3-.589.759.275.011x4-.819-.566-.084.027提取方法：主成分a. 已提取了 4 個(gè)成份。由解釋的總方差表中累計(jì)貢獻(xiàn)性知，f1和f2的累計(jì)貢獻(xiàn)性就在85%95%之間。所以主成分取f1,f2。得到因子得分的數(shù)值，并對(duì)其進(jìn)行處理：sqrt(2.236)* FAD1_1, sqrt(1.576)* FAD2_1可以得出主成分表（f1 f2）。對(duì)f1 f2進(jìn)行普通最小二乘線性回歸系數(shù)a模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)95.423

6、.855111.635.000f19.882.595.98216.610.000f2.125.709.010.176.864a. 因變量: y由系數(shù)表可得，主成分回歸方程為：y=95.423+9.882 f1+0.125 f2分別對(duì)兩個(gè)主成分f1和f2做因變量，以4個(gè)原始自變量為自變量做線性回歸模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)-.643.000.x1.081.000.318.x2.036.000.377.x3-.062.000-.264.x4-.033.000-.366.a. 因變量: f1f1=-0.643+0.081x1+0.036x2-0.062x3-0.0

7、33x4對(duì)f2和x1x2x3x4進(jìn)行回歸模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)-.938.000-.661.000x1-.087.000-.405-.545.000x2.027.000.330.057.000x3.094.000.482.955.000x4-.027.000-.359-.589.000a. 因變量: f2f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4所以還原后的主成分回歸方程為：y=88.+0.x1+0.x2-0.x3-0.x4從主成分法得出的方程中我們可以看出某種水泥在凝固時(shí)放出的熱量與鋁酸三鈣，硅酸三鈣成正比，與鋁

8、酸四鈣和硅酸二鈣成反比，且當(dāng)該水泥放出1單位的熱量時(shí)，需要消耗0.g的鋁酸三鈣和0.g的硅酸三鈣；當(dāng)該水泥吸收1單位的熱量時(shí)，需要消耗0.g的鋁酸四鈣和0.g的硅酸二鈣。二嶺回歸法首先做普通二乘回歸，得到結(jié)果如下：系數(shù)a模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn) 誤差試用版容差VIF1(常量)62.40570.071.891.399x11.551.745.6072.083.071.02638.496x2.510.724.528.705.501.004254.423x3.102.755.043.135.896.02146.868x4-.144.709-.160-.203.844.004

9、282.513由系數(shù)表中的方差擴(kuò)大因子VIF可以初步看出直接建立的線性模型具有嚴(yán)重的共線性，所以我們直接用嶺回歸方法進(jìn)行處理，與再與主成分法進(jìn)行比較。嶺回歸INCLUDE 'C:Program FilesIBMSPSSStatistics19SamplesEnglishRIDGE regression.sps'.RIDGEREG enter x1 x2 x3 x4/dep=y R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K K RSQ x1 x2 x3 x4_ _ _ _ _ _.00000 .98238 . .

10、 . -.05000 .98092 . . -. -.10000 .97829 . . -. -.15000 .97492 . . -. -.20000 .97105 . . -. -.25000 .96676 . . -. -.30000 .96212 . . -. -.35000 .95717 . . -. -.40000 .95195 . . -. -.45000 .94649 . . -. -.50000 .94082 . . -. -.55000 .93497 . . -. -.60000 .92897 . . -. -.65000 .92284 . . -. -.70000 .91

11、660 . . -. -.75000 .91027 . . -. -.80000 .90386 . . -. -.85000 .89740 . . -. -.90000 .89089 . . -. -.95000 .88436 . . -. -.1.0000 .87780 . . -. -.由上述的嶺跡圖可以看出，所有的回歸系數(shù)的嶺跡線的穩(wěn)定性較強(qiáng)，整個(gè)系統(tǒng)呈現(xiàn)比較平穩(wěn)的現(xiàn)象，所以我們可以對(duì)最小二乘有信心，且x1，x2的嶺跡線一直在零的上，對(duì)y產(chǎn)生正影響，而x3，x4系數(shù)的嶺跡線一直小于零，所以對(duì)y產(chǎn)生負(fù)影響。再做嶺回歸：當(dāng)嶺參數(shù)k=0.2時(shí)，4個(gè)自變量的嶺回歸系數(shù)變化幅度較小，此時(shí)逐漸穩(wěn)定，

12、所以我們給定k=0.2，再做嶺回歸Run MATRIX procedure:* Ridge Regression with k = 0.2 *Mult R .RSquare .Adj RSqu .SE 3. ANOVA table df SS MSRegress 2.000 2590.073 1295.037Residual 10.000 125.690 12.569 F value Sig F 103. .-Variables in the Equation- B SE(B) Beta B/SE(B)x1 1. . . 8.x4 -. . -. -10.Constant 101. 2. . 45.- END MATRIX -由上述輸出結(jié)果可以得到嶺回歸建立的方程為：y=101.+1.x1-0.x4從嶺回歸法得出的方程中我們可以看出某種水泥在凝固時(shí)放出的熱量與鋁