應(yīng)用回歸分析-課后習(xí)題參考答案

1、應(yīng)用回歸分析第7章課后習(xí)題參考答案第7章嶺回歸思考與練習(xí)參考答案7.1 嶺回歸估計是在什么情況下提出的？答：當(dāng)自變量間存在復(fù)共線性時，|X'XI=0,回歸系數(shù)估計的方差就很大，估計值就很不穩(wěn)定，為解決多重共線性，并使回歸得到合理的結(jié)果，70年代提出了嶺回歸(RidgeRegression,簡記為RR)。7.2 嶺回歸的定義及統(tǒng)計思想是什么？答：嶺回歸法就是以引入偏誤為代價減小參數(shù)估計量的方差的一種回歸方法，其統(tǒng)計思想是對于(X'X)-1為奇異時，給X'X加上一個正常數(shù)矩陣D,那么X'X+D®近奇異的程度就會比X'X接近奇異的程度小得多，從而完成

2、回歸。但是這樣的回歸必定丟失了信息，不滿足blue。但這樣的代價有時是值得的，因為這樣可以獲得與專業(yè)知識相一致的結(jié)果。7.3 選擇嶺參數(shù)k有哪幾種方法？答：最優(yōu)k是依賴于未知參數(shù)和2的，幾種常見的選擇方法是：嶺跡法：選擇k°的點能使各嶺估計基本穩(wěn)定，嶺估計符號合理，回歸系數(shù)沒有不合乎經(jīng)濟(jì)意義的絕對值，且殘差平方和增大不太多；方差擴(kuò)大因子法：c(k)(XXkI)1XX(XXkI)1,其對角線元Cj(k)是嶺估計的方差擴(kuò)大因子。要讓Cjj(k)10；殘差平方和：滿足SSE(k)cSSE成立的最大的k值。7.4 用嶺回歸方法選擇自變量應(yīng)遵循哪些基本原則？答：嶺回歸選擇變量通常的原則是：1

3、.在嶺回歸的計算中，我們通常假定涉及矩陣已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直接比較標(biāo)準(zhǔn)化嶺回歸系數(shù)的大小。我們可以剔除掉標(biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對值很小的自變量；2 .當(dāng)k值較小時，標(biāo)準(zhǔn)化嶺回歸系數(shù)的絕對值并不很小，但是不穩(wěn)定，隨著k的增加迅速趨近于零。像這樣嶺回歸系數(shù)不穩(wěn)定、震動趨于零的自變量，我們也可以予以剔除；3 .去掉標(biāo)準(zhǔn)化嶺回歸系數(shù)很不穩(wěn)定的自變量。如果有若干個嶺回歸系數(shù)不穩(wěn)定，究竟去掉幾個，去掉那幾個，要根據(jù)去掉某個變量后重新進(jìn)行嶺回歸分析的效果來確定。7.5對第5章習(xí)題9的數(shù)據(jù)，逐步回歸的結(jié)果只保留了三個變量x1,x2,x5,用y對這三個自變量作嶺回歸分析？答：附5.9在研究國家

4、財政收入時，我們把財政收入按收入形式分為：各項稅收收入、企業(yè)收入、債務(wù)收入、國家能源交通重點建設(shè)收入、基本建設(shè)貸款歸還收入、國家預(yù)算調(diào)節(jié)基金收入、其他收入等。為了建立國家財政收入回歸模型，我們以財政收入y（億元）為因變量，自變量如下：xi為農(nóng)業(yè)增加值（億元），X2為工業(yè)增加值（億元），x3為建筑業(yè)增加值（億元），x4為人口數(shù)（萬人），x5為社會消費(fèi)總額（億元），x6為受災(zāi)面積（萬公頃）。據(jù)中國統(tǒng)計年鑒獲得19781998年共21個年份的統(tǒng)計數(shù)據(jù)，見表5.4（P167）。解：（1）逐步回歸法CoefficientsaModelUnstandardizedCoefficientsStandardi

5、zedCoefficientstSig.BStd.ErrorBeta1(Constant)715.30990.5747.898.000x5.179.004.99440.739.0002(Constant)1010.840136.0277.431.000x5.308.0481.7066.367.000x1-.405.152-.714-2.665.0163(Constant)865.929103.7258.348.000x5.639.0863.5417.439.000x1-.601.119-1.059-5.057.000x2-.361.086-1.493-4.216.001a.DependentV

6、ariable:y回歸方程為：y=865,9290.601x1-0.361x2+0.639x5但是回歸系數(shù)的解釋不合理。從經(jīng)濟(jì)意義上講，xi（農(nóng)業(yè)增加值）、X2（工業(yè)增加值）的增加應(yīng)該對y（財政收入）有正方向的影響，然而回歸方程中兩個自變量的系數(shù)均為負(fù)值，明顯與實際的經(jīng)濟(jì)意義不相符。同時，三個自變量的VIF值均遠(yuǎn)大于10,說明回歸方程仍然存在較強(qiáng)的多重共線性，逐步回歸的方法并沒有消除自變量之間的多重共線性。(2)嶺回歸法：依題意，對逐步回歸法所保留的三個自變量做嶺回歸分析。程序為：include'C:ProgramFilesSPSSEVALRidgeregression.sps'

7、;.ridgeregdep=y/enterx1x2x5/start=0.0/stop=1/inc=0.01.嶺跡圖如下：,ii«,iRIDGETRACE4.0000003.0000002.0000001.0000000.000000-1.000000-2.0000000.000000.200000.400000.600000.800001.000001.20000Kx1Kx2Kx5Kx1Kx2Kx5K計算結(jié)果為:KX1X2XkOO口?？?,占口3-105933-1492733541407U1OOO98b.Uy81Jb,J29l2y.562109020009gsm9.101819.34

8、1597.45294003000.90402_2301G3.34027C412Gli0400090461250S1633"80391J39050009E43T2636233363713T773606。0。&8-11S2719903331913682690700098393277015331215361151。日0。903732021952341535552206。0口9S35132774435口占9710000963202S772932617S316982110009830428951132469334358812000962792900503232Q6340569.”000

9、962522913453219313373941400098224.29256932062433544216口口。981<Jh293Q/B3193B7一33318716000£>S1642工40431S12C,33109217000.96132.29358031692C.3291301800098099293660315752327J8?1tjnnnMRtlFLl可以看到，變量XI、X2迅速由負(fù)變正，X5迅速減小，在0.01-0.1之間各回歸系數(shù)的嶺估計基本穩(wěn)定，重新做嶺回歸。嶺跡圖如下：先取k=0.08:語法命令如下：include'C:ProgramFiles

10、SPSSEVALRidgeregression.sps'.ridgeregdep=y/enterx1x2x5/k=0.08.運(yùn)行結(jié)果如下：菊"口Rf>grtssi«nwithk=003Tt*tcMultR991a293iRSqtare9337253AdjRSqu明口的史SE360,0955437ANOVAtabledSSMSR即建居300013383651444B11838Raaidufll17.00Q2214160.013024&24F3igF342.E2fB394,OOOOOJOarisbIesintheEquation-HSE(B)BpgB-&#

11、39;SE(B)x1.16。儂301364352821945117306313x207970860046688329415116.3714101x50&415B7002代口口帆222258706287CQilSg冢73834415A2115.46S37050000300633S5437得到回歸方程為：?0.16x10.08x20.06x3738.84再取k=0.01:語法命令如下：include'C:ProgramFilesSPSSEVALRidgeregression.sps'.ridgeregdep=y/enterx1x2x5/k=0.01.運(yùn)行結(jié)果：*RidgeR

12、egressionwithk=0.01*MultR.9931857RSquare.9864179AdjRSqu.9840210SE329.6916494ANOVAtabledfSSMSRegress3.00013420184144733947Residual17.0001847841.9108696.58FvalueSigF411.5487845.0000000VariablesintheEquationBSE(B)BetaB/SE(B)x1.0556780.0615651.0981355.9043751x2.0796395.0218437.32912933.6458814x5.1014400

13、.0108941.56210889.3114792Constant753.3058478121.7381256.00000006.1879205回歸方程為：y=753.30580.05568x10.0796x2+0.1014x5從上表可看出，方程通過F檢驗，R檢驗，經(jīng)查表，所有自變量均通過t檢驗，說明回歸方程通過檢驗。從經(jīng)濟(jì)意義上講，x1（農(nóng)業(yè)增加值）、x2（工業(yè)增加值）x5（社會消費(fèi)總額）的增加應(yīng)該對y（財政收入）有正方向的影響，嶺回歸方程中三個自變量的系數(shù)均為正值，與實際的經(jīng)濟(jì)意義相符。比逐步回歸法得到的方程有合理解釋。主成分回歸對原所有自變量做主成分回歸，結(jié)果如下：TotalVarian

14、ceExplainedComponentInitialEigenvaluesExtractionSumsofSquaredLoadingsTotal%ofVarianceCumulative%Total%ofVarianceCumulative%15.13385.54685.5465.13385.54685.5462.69411.56397.109.69411.56397.1093.1682.80699.915.1682.80699.9154.004.06099.975.004.06099.9755.001.02199.996.001.02199.9966.000.004100.000Extr

15、actionMethod:PrincipalComponentAnalysis.ComponentMatrixaComponent12345x1.991-.124.017-.048.014x2.985-.134.106.003-.012x3.983-.143.112.035.021x4.929.038-.367.009.000x5.990-.123.067.001-.022x6.610.790.069-.001.000ExtractionMethod:PrincipalComponentAnalysis.a.5componentsextracted.由于第一主成分的貢獻(xiàn)率已達(dá)到85%上，故只選

16、取第一主成分，記作Z1:_，_、_1/2Z1=(0.991x1+0.985x2+0.983x3+0.929x4+0.193x5+0.610x6)/5.133作Y與Z1的最小二乘估計，輸出結(jié)果如下:CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)3400.443136.43624.923.000Z11149.09463.348.97218.139.000a.DependentVariable:y根據(jù)上表得到y(tǒng)與第一主成分的線性回歸方程為:?=3400

17、.443+1149.094Z1,將主成分回代為原自變量得最終方程為:?=0.1093*x1+0.0463*x2+0.2912*x3+0.0512*x4+0.0347*x5+0.0444*x6-6313.397各自變量的解釋意義基本合理。7.6對習(xí)題3.12的問題，分別用普通最小二乘法和嶺回歸建立GDP寸第二產(chǎn)業(yè)增加值x2和第三產(chǎn)業(yè)增加值x3的二元線性回歸，解釋所得到的回歸系數(shù)。解：(1)普通最小二乘法：CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant

18、)4352.859679.0656.410.000第二產(chǎn)業(yè)增加值1.438.151.7759.544.000第三產(chǎn)業(yè)增加值.679.244.2262.784.017a.DependentVariable:GDP根據(jù)上表得到y(tǒng)與x2,x3的線性回歸方程為：?=4352.859+1.438x2+0.679x3上式中的回歸系數(shù)得不到合理的解釋.？3的數(shù)值應(yīng)該大于1,實際上，x3的年增長幅度大于x1和x2的年增長幅度，因此合理的？3的數(shù)值應(yīng)大于1。這個問題產(chǎn)生的原因仍然是存在共線性，所以采用嶺回歸來改進(jìn)這個問題。(2)嶺回歸法：程序為：include'C:ProgramFilesSPSSEVA

19、LRidgeregression.sps'.ridgeregdep=GDP/enterx2x3/start=0.0/stop=0.5/inc=0.01.根據(jù)嶺跡圖(如下圖)可知,2(k)和？3(k)很不穩(wěn)定，但其和大體上穩(wěn)定,說明x2和x3存在多重共線性。取MultR.998145,RSquareAdjRSqu.995677,SEk=0.1,SPSS輸出結(jié)果為:.9962942364.837767ANOVAtabledfSSMSRegress2.0001.80E+0109.02E+009Residual12.000671094925592457.7FvalueSigF1613.1407

20、15.000000BSE(B)BetaB/SE(B)x2.907990.021842.48906741.571133x31.393800.035366.46364939.410560Constant6552.3059861278.903452.0000005.123378VariablesintheEquationRIDGETRACE0.8000000.700000x2Kx3K0.6000000.5000000.4000000.3000000.2000000.000000.100000.200000.300000.400000.500000.60000得嶺參數(shù)k=0.1時，嶺回歸方程為y?=6

21、552.306+0.908x2+1.3938x3,得嶺參數(shù)k=0.01時，嶺回歸方程為y?=3980.2+1.091x2+1.227X3,嶺回歸系數(shù)？3=1.227與前面的分析是吻合的，其解釋是當(dāng)?shù)诙a(chǎn)業(yè)增加值x2保持不變時，第三產(chǎn)業(yè)增加值x3每增加1億元GDP增加1.227億元，這個解釋是合理的7.7一家大型商業(yè)銀行有多家分行，近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做定量分析，以便找出控制不良貸款的方法。表7.5(P206)是該銀行所屬25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)(1)計算y與其余4個變量的簡單相關(guān)系數(shù)。(

22、2)建立不良貸款y對4個自變量的線性回歸方程，所得的回歸系數(shù)是否合理?(3)分析回歸模型的共線性。(4)采用后退法和逐步回歸法選擇變量，所得的回歸系數(shù)是否合理？是否還存在共線性？(5)建立不良貸款y對4個變量的嶺回歸。(6)對(4)剔除變量后的回歸方程再做嶺回歸。(7)某研究人員希望做y對各項貸款余額、本年累計應(yīng)收貸款、貸款項目個數(shù)這3個自變量的回歸，你認(rèn)為這樣做可行嗎？如果可行應(yīng)怎么做？分行編號不艮貸款y各項貸敕余額丈1本年累計應(yīng)收貸款x2貸款頊目個數(shù)k3本年固定資產(chǎn)投資x41.0.967.36.8551.9201.11113193169Q93.043173.0771773.740326。6

23、了2101455.07S199.716.61953.26027122.21227.016107.4io71720.2P8.0125185.427.11843.Srso1096.11710559-10.02672.09.114&4.311.0364.?2.11142712T40132.2一11.22376.713.0,S6.01422.814.03.5174.&12726117115.C102263.515634146716.0307S.3&91529.9170214.662421.473.55.91125.31901_024T504134I20.06.8139.4-7.

24、22954.3210115368216a321539_22.01G9S.73.81044.62301.210S&10314&7924.07.2196.215.81639.725.03一21Q2.21281097.1解：首先對數(shù)據(jù)標(biāo)準(zhǔn)化(1)計算y與其余4個變量的簡單相關(guān)系數(shù)計算y與各自變量之間的簡單相關(guān)系數(shù)，SPSSJ出結(jié)果為:CorrelationsZscore:不良貸款Zscore:貸款各項余額Zscore:本年累計應(yīng)收貸款Zscore:項目貸款個數(shù)Zscore:本年固定資產(chǎn)投資額Zscore:不艮貸款PearsonCorrelation1.844*.732*.700*.5

25、19*Sig.(2-tailed).000.000.000.008N2525252525Zscore:各項貸款余額PearsonCorrelation.844*1.679*.848*.780*Sig.(2-tailed).000.000.000.000N2525252525Zscore:本年累計應(yīng)收PearsonCorrelation.732*.679*1.586*.472*貸款Sig.(2-tailed).000.000.002.017N2525252525Zscore:貸款項目個數(shù)PearsonCorrelation.700*.848*.586*1.747*Sig.(2-tailed).0

26、00.000.002.000N2525252525Zscore:本年固定資產(chǎn)PearsonCorrelation.519*.780*.472*.747*1投資額Sig.(2-tailed).008.000.017.000N2525252525Correlationissignificantatthe0.01level(2-tailed).*.Correlationissignificantatthe0.05level(2-tailed).由結(jié)果得到，Y與四個自變量的相關(guān)系數(shù)分別為：0.844,0.732,0.70.519,且都通過了顯著性檢驗，說明y與其余4個變量是顯著線性相關(guān)的。同時也可以看

27、出變量之間也存在一定的線性相關(guān)性。(2)建立不良貸款對4個自變量的線性回歸方程，所得的回歸系數(shù)是否合理？CoefficientsModelUnstandardizedCoefficientsStandardizedCoefficientstSig.CollineartyStatisticsBStd.ErrorBetaToleranceVIF1(Constant)-1.022.782-1.306.206各項貸款余施1.040.010.8913.837.001.1885.331本年累計應(yīng)收貸款x2.148.079.2601.879.075.5291.890貸款項目個收3.015.083.034.1

28、75.863.2613.835本年固定資產(chǎn)投資孤4-.029.015-.325-1.937.067.3602.781a.DependentVariable良貸麹由SPSS俞出(如上表)可知回歸方程為:=0.04x1+0.148x2+0.015x3-0.029x4-1.022從上表可看出，方程的自變量X3、X4、X5未通過t檢驗，說明回歸方程不顯著，而且由實際意義出發(fā)，x4的系數(shù)不能是負(fù)的。所以所得的回歸系數(shù)不合理。（3）分析回歸模型的共線性。解：由上表可知，所有自變量對應(yīng)的VIF全部小于10,所以自變量之間不存在共線性。但進(jìn)行特征根檢驗見下表：CollinearityDiagnostic孑Mo

29、delDimensionEigenvalueConditionIndexVarianceProportions(Constant)x1（各項貸款余額）x2（本年累計應(yīng)收貸款）x3（貸款項目個數(shù)）x4（本年固定資產(chǎn)投資額）114.5381.000.01.00.01.00.002.2034.733.68.03.02.01.093.1575.378.16.00.66.01.134.0668.287.00.025.0365a-DependentVariable:y(不良貸款)由這個表可以看出來，第5行中x1、x3的系數(shù)分別為0.87、0.63,

30、可以說明這兩個變量之間有共線性。（4）采用后退法和逐步回歸法選擇變量，所得的回歸系數(shù)是否合理？是否還存在共線性？解：采用后退法（見下表），所得回歸方程為？=0.041x1+0.149x2-0.029x4-0.972CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.CollinearityStatisticsBStd.ErrorBetaToleranceVIF1(Constant)-1.022.782-1.306.206各項貸款余額x1.040.010.8913.837.001.1885.331本年累

31、計應(yīng)收貸款x2.148.079.2601.879.075.5291.890貸款項目個數(shù)x3.015.083.034.175.863.2613.835本年固定資產(chǎn)投資額x4-.029.015-.325-1.937.067.3602.7812(Constant)-.972.711-1.366.186各項貸款余額x1.041.009.9144.814.000.2683.731本年累計應(yīng)收貸款x2.149.077.2611.938.066.5311.883本年固定資產(chǎn)投資額x4-.029.014-.317-2.006.058.3862.590a.DependentVariable:不良貸款y采用逐步回

32、歸法（見下表），所得回歸方程為？=0.05x1-0.032x4-0.443ModelUnstandardizedCoefficientsStandardizedCoefficientstSig.CollinearityStatisticsBStd.ErrorBetaToleranceVIF1(Constant)-.83。.723：-1.147.263各項貸款余額x1.038.005.8447.534.0001.0001.0002(Constant)-.4431.697-.636.531各項貸款余額x1.050.0071.1206.732.000.3922.551本年固定資產(chǎn)投資額x4-.032

33、.015-.355-2.133.044.3922.551Coefficientsaa-DependentVariable良貸款y所得X4的系數(shù)不合理(為負(fù))，說明存在共線性(5)建立不良貸款y對4個變量的嶺回歸。對y與全部變量做嶺回歸。R-SQUAREANDBETACOEFFICIENTSFORESTIMATEDVALUESOFKKRSQX1X2X3X4.00000.79760.891313.259817.034471-.324924.05000.79088.713636.286611.096624-.233765.10000.78005.609886.295901.126776-.17405

34、6.15000.76940.541193.297596.143378-.131389.20000.75958.491935.295607.153193-.099233.25000.75062.454603.291740.159210-.074110.30000.74237.425131.286912.162925-.053962.35000.73472.401123.281619.165160-.037482.40000.72755.381077.276141.166401-.023792.45000.72077.364000.270641.166949-.012279.50000.71433

35、.349209.265211.167001-.002497.55000.70816.336222.259906.166692.005882.60000.70223.324683.254757.166113.013112.65000.69649.314330.249777.165331.019387.70000.69093.304959.244973.164397.024860.75000.68552.296414.240345.163346.029654.80000.68024.288571.235891.162207.033870.85000.67508.281331.231605.1610

36、00.037587.90000.67003.274614.227480.159743.040874.95000.66508.268353.223510.158448.0437871.0000.66022.262494.219687.157127.046373RIDGETRACE1.000000-o0.800000-o0.600000-oo0Q.KOOgi°o0OOOQOOO0.200000-C.OOOOOO-°°。'0.200000-0ao-0.400000-O.ODMO0.20000OonQ000口°ooooo00O.JO&OOO.fi

37、OODO0.800001.00000Ok1x3K由軟件輸出的嶺跡圖可以看出,變量x4的嶺回歸系數(shù)從負(fù)值變?yōu)檎?。其他的變量都很穩(wěn)定。說明x4變量與其他變量存在多重共線性，所以剔除變量x4再用y與剩下的變量作嶺回歸。所得結(jié)果如下:R-SQUAREANDBETACOEFFICIENTSFORESTIMATEDVALUESOFKKRSQX1X2X3.00000.75964.698331.295891-.065536.02000.75899.647736.300306-.024703.04000.75755.607949.302710.006875.06000.75574.575733.303774.

38、031943.08000.75377.549026.303916.052255.10000.75175.526452.303409.068986.12000.74972.507060.302439.082951.14000.74771.490172.301133.094736.16000.74571.475288.299581.104772.18000.74375.462036.297852.113383.20000.74181.450130.295992.120819剔除x4之后嶺回歸系數(shù)變化幅度減小很多，弁且有下面的圖可以看出k值，基本穩(wěn)定。RIDGETRACE0.600000一0.400

39、0000.2000000.0000000.000000.050000.100000.150000.20000K參照復(fù)決定系數(shù)R2,當(dāng)k=0.4時，R2=0.75755乃然很大，所以可以給定k=0.4,重新作嶺回歸。RunMATRIXprocedure:*RidgeRegressionwithk=0.4*MultR.850373821RSquare.723135635AdjRSqu.683583583SE2.030268037ANOVAtabledfSSMSRegress3.000226.08975.363Residual21.00086.5624.122FvalueSigF18.2831382

40、2.00000456VariablesintheEquationBSE(B)BetaB/SE(B)x1.016739073.003359156.3726273164.983118685x2.156806656.047550034.2752138783.297719120x3.067110931.032703990.1592210052.052071673Constant-.819486727.754456246.000000000-1.086195166ENDMATRIX故作嶺回歸后的方程為y=-0.819486727+0.016739073x1+0.156806656x2+0.067110931x3(6)對(4)剔除變量后的回歸方程再做嶺回歸