主成分回歸多重共線性

1、實(shí)驗(yàn)八：主成分回歸實(shí)驗(yàn)題目：對例的Hald水泥問題用主成分方法建立模型，并與英他方法的結(jié)果進(jìn)行比較。 例如下：本例為回歸經(jīng)典的Hald水泥問題。某種水泥在凝固時(shí)放出的熱量y （卡/克，cal/g） 與水泥中的四種化學(xué)成分的含量（%）有關(guān)，這四種化學(xué)成分分別是X】鋁酸三鈣（），X2硅 酸三鈣（），X3鐵鋁酸四鈣（），X。硅酸三鈣（）?，F(xiàn)觀測到13組數(shù)據(jù)，如表5-3所示。表5-3X1x2x3x4y7266601291552115682011318477526331155922371176131224425418222147426140233411669121068812實(shí)驗(yàn)?zāi)康模憾嘀毓簿€性的診斷及

2、解決方法、利用主成分回歸解決多重共線性問題。SPSS輸出結(jié)果及答案：一.主成分法：多貳共線性診斷：相關(guān)性YX1x2X3x4yPearson相關(guān)性1.73V816 顯著性（雙側(cè)）.005.001.060001N1313131313X1Pearson相關(guān)性731.229 顯著性（雙側(cè)）.005.453.001419N1313131313x2Pearson相關(guān)性816.2291 顯著性（雙側(cè)）.001.453.650.000N1313131313x3Pearson相關(guān)性 1030顯著性（雙側(cè)）.060.001.650924N1313131313x4Pearson相關(guān)性 .0301顯著性（雙側(cè)）.00

3、1.419.000.9241N|13113 |13|1313 |*.在.01水平（雙側(cè)）上顯著相關(guān)。山表可知，xl, x2, x4的相關(guān)性都比較大，較接近，所以存在多重共線 性主成分回歸：解釋的總方差成份初始特征值提収平方和載入合計(jì)方差的累積合計(jì)方差的累積123.187.1874.002.041.002041提取方法：主成份分析。輸出結(jié)果顯示有四個(gè)特征根，最大的是入訐，最小的是X4=o方差百分比顯示 第一個(gè)主成分Factorl的方差百分比近56%的信息量：前兩個(gè)主成分累汁包含近 的信息量。因此取兩個(gè)主成分就已經(jīng)足夠。由于前兩個(gè)主成分的方差累訃已經(jīng)達(dá)到,故只保留前兩個(gè)主成分。成份矩陣。成份123

4、4X1.712.292010X2.843.520026X3.759.275011x4027提取方法：主成分a.已提取r 4個(gè)成份。由解釋的總方差表中累計(jì)貢獻(xiàn)性知，fl和f2的累汁貢獻(xiàn)性就在85%95%之間。所以主成分取fl,f2oFAC1JFAC 空 1FAC3_1FAC4f1298128-1 51586-1 2269195618-1 47-1 90-1.42843-.18936-.67176-.74035-2.142475565-14647 02480-2 326331 13-.44133-1.25598.41484-.82163-.66-1.58.23994-.38616-1.71333.

5、47616.36-.48.64646-.13537.19839-.30134.977.622451.70049-.40045.20586.932.13-1.49284.550951.06422.56100-2.23.69.235091.14035-.07307 1.11644-.351.431 11190-1 456171 97045492281 66-1 83-1.096941.031621.14399.77897-1.641.301.13200.31245-.04686.922811.69.391.16750.34851-.63571.912641.75.44得到因子得分的數(shù)值，并對其進(jìn)行

6、處理：sqrt* FAD1.1, sqrt* FAD2.1可以得出主成分表（flf2） o對fl f2進(jìn)行普通最小二乘線性回歸系數(shù)。模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSigB標(biāo)準(zhǔn)誤差試用版1（常量）.855.000fl.595.982.000f2.125.709.010.176.864a|対變雖:y由系數(shù)表可得，主成分回歸方程為:Ay=+ fl+ f2分別對兩個(gè)主成分fl和f2做因變呈，以4個(gè)原始自變量為自變量做線性回 歸模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSigB標(biāo)準(zhǔn)誤差試用版1（常址）X1x2X3x4.081036.000.000.000.000.000318.377a因變:ft: flfl=卄對f2和xl

7、x2x3x4進(jìn)行回歸模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn)誤差試用版1（常址）.000.000X1.000.000X2.027.000330.000x3.094.000.482.955.000x4.000.000a.因變S：f2f2=所以還原后的主成分回歸方程為：八丫二+從主成分法得出的方程中我們可以看出某種水泥在凝固時(shí)放岀的熱量與鋁酸三鈣，硅 酸三鈣成正比，與鋁酸四鈣和硅酸二鈣成反比，且當(dāng)該水泥放岀1單位的熱量時(shí)，需要消耗 的鋁酸三鈣和的硅酸三鈣；當(dāng)該水泥吸收1單位的熱量時(shí)，需要消耗的鋁酸四鈣和的硅酸二 鈣。二.嶺回歸法首先做普通二乘回歸，得到結(jié)果如下:模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共

8、線性統(tǒng)汁雖B標(biāo)準(zhǔn)誤差試用版容差VIF1（常雖）891.399xl.745.607.071.026x2.510.724528.705.501.004x3.102.755.043135896021x4.709.844.004由系數(shù)表中的方差擴(kuò)大因子VIF可以初步看出直接建立的線性模型具有嚴(yán)重的共線性，所以 我們直接用嶺回歸方法進(jìn)行處理，與再與主成分法進(jìn)行比較。嶺回歸INCLUDE AProgram FilesIBMSPSSStatistics19SamplesEnglishRIDGERIDGEREG enter xl x2 x3 x4/dep二yR-SQUARE AND BETA COEFFICI

9、ENTS FOR ESTIMATEDVALUES OF KKRSQxlx2x3.00000.98238.606512527706043390.05000.98092.465987298422.10000.97829429975299810.15000.97492.403545300180.20000.97105.382726.299130.25000.96676.365601297070.30000.96212351071294335.35000.95717338452.291156.40000.95195327295287687.45000.94649317289.284036.50000.

10、94082.308211280279.55000.93497299900276467.60000.92897.292231272638.6500092284.285109268820.7000091660278460265032.75000.91027.272222261287.80000.90386266349257597.8500089740.260798253968.9000089089255537250406.95000.88436250537246913.87780.245775.243491RIDGE TRACE750000-250000-O.00000.20000.40000.6

11、0000.800001.00000.500000-由上述的嶺跡圖可以看岀，所有的回歸系數(shù)的嶺跡線的穩(wěn)左性較強(qiáng)，整個(gè)系統(tǒng)呈現(xiàn)比較 平穩(wěn)的現(xiàn)象，所以我們可以對最小二乘有信心，且xl, x2的嶺跡線一直在零的上，對y產(chǎn)生 正影響，而x3, x4系數(shù)的嶺跡線一直小于零，所以對y產(chǎn)生負(fù)影響。再做嶺回歸：當(dāng)嶺參數(shù)“時(shí)，4個(gè)自變量的嶺回歸系數(shù)變化幅度較小，此時(shí)逐漸穩(wěn)定，所以我們給宦 k=,再做嶺回歸Run MATRIX procedure:*#*#*# Ridge Regression with k =Mult R2RSquare2Adj RSqu7SEAN OVA tabledfSSRegressResidualMSSigFF value.0000002Variables in the EquationB/SE(B)BSE(B)Betaxl1468176.4894165x4.0515969Constant.0000000END MATRIXR-SQUARE VS. K1.00000-.98000-.96000-94000-.92000-.90000-.88000-.00000.2000040000.60000.800001.00000由上述輸岀結(jié)果可以得到嶺回歸建立的方程為：y=+從嶺回歸法得出的方程中我們可以看出某種水泥在凝固時(shí)放岀的熱量