R語言與回歸分析

1、R語言與回歸分析回歸模型是計(jì)量里最基礎(chǔ)也最常見的模型之一。究其原因，我想是因?yàn)樵趯?shí)際問題中我們并不知道總體分布如何，而且只有一組數(shù)據(jù)，那么試著對(duì)數(shù)據(jù)作回歸分析將會(huì)是一個(gè)不錯(cuò)的選擇。一、簡(jiǎn)單線性回歸     簡(jiǎn)單的線性回歸涉及到兩個(gè)變量：一個(gè)是解釋變量，通常稱為x；另一個(gè)是被解釋變量，通常稱為y。回歸會(huì)用常見的最小二乘算法擬合線性模型：yi = 0 + 1xi +i其中0和1是回歸系數(shù)，i表示誤差。在R中，你可以通過函數(shù)lm()去計(jì)算他。Lm()用法如下：lm(formula, data, subset, weights, na.action,  

2、;method = "qr", model = TRUE, x = FALSE, y = FALSE, qr = TRUE,  singular.ok = TRUE, contrasts = NULL, offset, .)       參數(shù)是formula模型公式，例如y x。公式中波浪號(hào)（）左側(cè)的是響應(yīng)變量，右側(cè)是預(yù)測(cè)變量。函數(shù)會(huì)估計(jì)回歸系數(shù)0和1，分別以截距（intercept）和x的系數(shù)表示。      有三種方式可以實(shí)現(xiàn)最小二乘法的簡(jiǎn)單線性回歸，假設(shè)數(shù)據(jù)wage1（可以通過n

3、ames函數(shù)查看數(shù)據(jù)框各項(xiàng)名稱）（1）lm(wage1$wage wage1$educ + wage1$exper)（2）lm (wage educ + exper, data= wage1)（3）attach(wage1)    lm(wageeduc+exper)#不要忘記處理完后用detach（）解出關(guān)聯(lián)         我們以數(shù)據(jù)wage1為例，可以看到工資與教育水平的線性關(guān)系：運(yùn)行下列代碼：library(foreign)A<-read.dta("D:/R/data/WAGE1.dta&q

4、uot;)#導(dǎo)入數(shù)據(jù)lm(wageeduc,data=A)>lm(wageeduc,data=A)Call:lm(formula = wage educ, data = A)Coefficients:(Intercept)         educ -0.9049      0.5414           當(dāng)然得到這些數(shù)據(jù)是不夠的，我們必須要有足夠的證據(jù)去證明我們所做的回歸的合理

5、性。那么如何獲取回歸的信息呢？          嘗試運(yùn)行以下代碼：result<-lm(wageeduc,data=A)summary(result)我們可以得到以下結(jié)果：Call:lm(formula = wage educ, data = A)Residuals:    Min     1Q     Median     3Q   &#

6、160; Max -5.3396   -2.1501    -0.9674     1.1921    16.6085Coefficients:            Estimate   Std.Error    t value  Pr(>|t|)   (Intercep

7、t)   -0.90485   0.68497   -1.321   0.187   educ         0.54136    0.05325 10.167   <2e-16 *-Signif.codes:  0 * 0.001 * 0.01 * 0.05. 0.1 1Residual standarder

8、ror: 3.378 on 524 degrees of freedomMultipleR-squared: 0.1648,     AdjustedR-squared: 0.1632F-statistic: 103.4on 1 and 524 DF,   p-value: < 2.2e-16              解讀上述結(jié)果，我們不難看出，單從判決系數(shù)R-squared上看，回歸結(jié)果是不理想的，但是，從p值來看，我們還是可以得到回歸系數(shù)是很顯著地（注意

9、，這里的P<0.05就可以認(rèn)為拒絕回歸系數(shù)為0，即回歸變量與被解釋變量無關(guān)的原擇假設(shè)，選擇備擇假設(shè)）所以說我們的回歸的效果不好但還是可以接受的。當(dāng)然，這一點(diǎn)也可以通過做散點(diǎn)圖給我們直觀的印象：             但是影響薪酬的因素不只是education，可能還有其他的，比如工作經(jīng)驗(yàn)，工作任期。為了更好地解釋影響薪酬的因素，我們就必須用到多元線性回歸。二、多元線性回歸               還是使用lm函數(shù)。在公式的右側(cè)指定多個(gè)

10、預(yù)測(cè)變量，用加號(hào)（+）連接：> lm(y u + v+ w)                顯然，多元線性回歸是簡(jiǎn)單的線性回歸的擴(kuò)展?？梢杂卸鄠€(gè)預(yù)測(cè)變量，還是用OLS計(jì)算多項(xiàng)式的系數(shù)。三變量的回歸等同于這個(gè)線性模型：yi = 0 + 1ui +2vi + 3wi + i              在R中，簡(jiǎn)單線性回歸和多元線性回歸都是用lm函數(shù)。只要在模型公式的右側(cè)增加變量即可。輸出中會(huì)有擬合的模型的系數(shù)：>result1<-l

11、m(wageeduc+exper+tenure,data=A)>summary(result1)Call:lm(formula = wage educ + exper + tenure, data = A)Residuals:    Min     1Q    Median      3Q    Max -866.29    -249.23  

12、0;-51.07   189.62   2190.01 Coefficients:            Estimate    Std.Error    t value   Pr(>|t|)   (Intercept)    -276.240   106.702

13、   -2.589   0.009778 *educ          74.415      6.287  11.836   <2e-16 *exper         14.892      3.253  4.578&#

14、160;  5.33e-06 *tenure         8.257      2.498  3.306   0.000983 *-Signif.codes:  0 * 0.001 * 0.01 * 0.05. 0.1 1Residual standarderror: 374.3 on 931 degrees of freedomMultipleR-squared: 0.1459,  

15、;   AdjustedR-squared: 0.1431F-statistic:    53 on 3 and 931 DF,   p-value: < 2.2e-16           我們將數(shù)據(jù)稍作平穩(wěn)化處理，將wage換成log（wage），再來看看。>plot(wageeduc,data=A)>A$logwage<-log(A$wage)>result1<-lm(logwageeduc+exper+tenure,dat

16、a=A)>summary(result1)Call:lm(formula =logwage educ + exper + tenure, data = A)Residuals:     Min      1Q    Median      3Q      Max -2.05802     -0.29645

17、60; -0.03265  0.28788   1.42809Coefficients:            Estimate   Std. Error   t value   Pr(>|t|)   (Intercept)   0.284360  0.104190   2.729

18、  0.00656*educ        0.092029   0.007330 12.555  < 2e-16 *exper       0.004121   0.001723  2.391  0.01714 * tenure      0.022067  0.0030

19、94   7.133 3.29e-12 *-Signif.codes:  0 * 0.001 * 0.01 * 0.05. 0.1 1Residual standarderror: 0.4409 on 522 degrees of freedomMultipleR-squared: 0.316,      AdjustedR-squared: 0.3121F-statistic: 80.39on 3 and 522 DF,   p-value: < 2.2e-16             看得出，平穩(wěn)化后的數(shù)據(jù)線性性是更加好的。            下面我們來提取回歸分析的各項(xiàng)統(tǒng)計(jì)數(shù)據(jù)：           一些統(tǒng)計(jì)量和參數(shù)都被存儲(chǔ)在lm或者summary中output <-summary (result1)SSR<- deviance（result1）殘差平方和；（另一種方法：RSquared <- output