R語言與回歸分析

1、R 語言與回歸分析回歸模型是計量里最基礎也最常見的模型之一。究其原因，我想是因為在實際問題中我們并不知道總體分布如何，而且只有一組數(shù)據(jù)，那么試著對數(shù)據(jù)作回歸分析將會是一個不錯的選擇。一、簡單線性回歸簡單的線性回歸涉及到兩個變量：一個是解釋變量，通常稱為X；另一個是被解釋變量，通常稱為y?；貧w會用常見的最小二乘算法擬合線性模型：yi=B0+B1xi+si其中BO和Bl是回歸系數(shù)，表示誤差。在R中，你可以通過函數(shù)lm()去計算他。Lm()用法如下：lm(formula,data,subset,weights,na.action,method=qr,model=TRUE,x=FALSE,y=FALS

2、E,qr=TRUE,singular.ok=TRUE,contrasts=NULL,offset,.)參數(shù)是formula模型公式，例如yx。公式中波浪號()左側(cè)的是響應變量，右側(cè)是預測變量。函數(shù)會估計回歸系數(shù)B0和B1,分別以截距(intercept)和x的系數(shù)表示。有三種方式可以實現(xiàn)最小二乘法的簡單線性回歸，假設數(shù)據(jù)wagel(可以通過names函數(shù)查看數(shù)據(jù)框各項名稱)(1)lm(wage1$wagewage1$educ+wage1$exper)lm(wageeduc+exper,data=wage1)(3)attach(wage1)lm(wageeduc+exper)#不要忘記處理完后用

3、detach()解出關(guān)聯(lián)我們以數(shù)據(jù)wagel為例，可以看到工資與教育水平的線性關(guān)系：運行下列代碼：library(foreign)Alm(wageeduc,data=A)Call:lm(formula=wageeduc,data=A)Coefficients:(Intercept)educ-0.90490.5414當然得到這些數(shù)據(jù)是不夠的，我們必須要有足夠的證據(jù)去證明我們所做的回歸的合理性。那么如何獲取回歸的信息呢？嘗試運行以下代碼：result|t|)(Intercept)-0.904850.68497-1.3210.187educ0.541360.0532510.1672e-16*Sign

4、if.codes:0*0.001*0.010.05.0.11Residualstandarderror:3.378on524degreesoffreedomMultipleR-squared:0.1648,AdjustedR-squared:0.1632F-statistic:103.4on1and524DF,p-value:2.2e-16解讀上述結(jié)果，我們不難看出，單從判決系數(shù)R-squared上看，回歸結(jié)果是不理想的， 但是， 從p值來看， 我們還是可以得到回歸系數(shù)是很顯著地 （注意， 這里的P0.05就可以認為拒絕回歸系數(shù)為0,即回歸變量與被解釋變量無關(guān)的原擇假設，選擇備擇假設）所以說我

5、們的回歸的效果不好但還是可以接受的。當然，這一點也可以通過做散點圖給我們直觀的印象：2gCDOJ4Dg8ooczS3-8Omws0IHi80HB00Omws0IHi80HB0000o800o8Q20O8BQ20O8BQ1012141618educ但是影響薪酬的因素不只是education,可能還有其他的,比如工作經(jīng)驗，工作任期。為了更好地解釋影響薪酬的因素，我們就必須用到多元線性回歸二、多元線性回歸還是使用lm函數(shù)。在公式的右側(cè)指定多個預測變量，用加號(+)連接：lm(yu+v+w)顯然，多元線性回歸是簡單的線性回歸的擴展?？梢杂卸鄠€預測變量，還是用OLS計算多項式的系數(shù)。三變量的回歸等同于這

6、個線性模型：yi=B0+B1ui+B2vi+B3wi+si在R中，簡單線性回歸和多元線性回歸都是用lm函數(shù)。只要在模型公式的右側(cè)增加變量即可。輸出中會有擬合的模型的系數(shù):result1summary(result1)Call:lm(formula=wageeduc+exper+tenure,data=A)Residuals:Min1QMedian3QMax-866.29-249.23-51.07189.622190.01Coefficients:EstimateStd.ErrortvaluePr(|t|)(Intercept)-276.240106.702-2.5890.009778*Sign

7、if.codes:0*0.001*0.01*0.05Residualstandarderror:374.3on931degreesoffreedomMultipleR-squared:0.1459,AdjustedR-squared:0.1431F-statistic:53on3and931DF,p-value:2.2e-16educ74.415exper14.892tenure8.2576.28711.8363.2534.5782.4983.306plot(wageeduc,data=A)A$logwageresult1summary(result1)Call:lm(formula=logw

8、ageeduc+exper+tenure,data=A)Residuals:Min1QMedian3QMax-2.05802-0.29645-0.032650.287881.42809Coefficients:EstimateStd.ErrortvaluePr(|t|)(Intercept)0.2843600.1041902.7290.00656*educ0.0920290.00733012.5552e-16*exper0.0041210.0017232.3910.01714*tenure0.0220670.0030947.1333.29e-12*Signif.codes:0*0.001*0.

9、010.05.0.11Residualstandarderror:0.4409on522degreesoffreedomMultipleR-squared:0.316,AdjustedR-squared:0.3121F-statistic:80.39on3and522DF,p-value:2.2e-16看得出，平穩(wěn)化后的數(shù)據(jù)線性性是更加好的。下面我們來提取回歸分析的各項統(tǒng)計數(shù)據(jù)：一些統(tǒng)計量和參數(shù)都被存儲在lm或者summary中outputv-summary(result1)SSR-deviance(result1)#殘差平方和；(另一種方法：RSquared-output$r.squared

10、)LL-logLik(result1)#對數(shù)似然統(tǒng)計量DegreesOfFreedom-result1$df#自由度Yhat-result1$fitted.values#擬合值向量Resid-result1$residualss-output$sigma#誤差標準差的估計值(假設同方差)CovMatrix-sA2*output$cov#系數(shù)的方差一協(xié)方差矩陣(與vcov(resultl)同)ANOVA-anova(result1)confidentinterval-confint(result1)#回歸系數(shù)的置信區(qū)間,level=0.95effects(result1)#計算正交效應向量(Vectoroforthogonaleffects)三、檢查結(jié)果通過圖形我們可以以一種十分直觀的辦法檢測我們的擬合效果：plot(result1)NormalCVQ通過擴展包car中的函數(shù)來檢測異常