《多元統(tǒng)計分析-基于R（第3版）》課件 第5章-多元線性模型

主編：費宇中國人民大學出版社5.1多元正態(tài)分布5.2多元線性模型5.3變量選擇5.4回歸診斷5.5回歸預測第5章多元線性模型2主編：費宇2024/7/315.1.1多元正態(tài)分布的定義5.1多元正態(tài)分布2024/7/313主編：費宇5.1.1多元正態(tài)分布的定義5.1多元正態(tài)分布2024/7/314主編：費宇5.1.2多元正態(tài)分布的性質(zhì)5.1多元正態(tài)分布2024/7/315主編：費宇5.1.2多元正態(tài)分布的性質(zhì)5.1多元正態(tài)分布2024/7/316主編：費宇5.2多元線性模型5.2.1模型定義其中x1,…,xp是非隨機的自變量,y是隨機的因變量,β0是常數(shù)項,β1,…,βp是回歸系數(shù),ε是隨機誤差項.7主編：費宇2024/7/315.2.1.模型定義模型(5.1)的樣本形式其中i=1,…,n,表示有n組觀測值.8主編：費宇2024/7/315.2.1.模型定義模型(5.2)的矩陣形式其中9主編：費宇2024/7/31例5.1(數(shù)據(jù)文件為eg5.1)10主編：費宇表5-1抽樣調(diào)查得到的36個學生的相關成績2024/7/31yx1x2x3x4x5yx1x2x3x4x5858386909076456065608678909288879280768081758075787076738590888582868580807281829088828081868790………………………………928385908580627865608588788482739083878083857883模型（5.3）的參數(shù)的最小二乘估計的最小二乘估計

5.2.2模型的參數(shù)估計和檢驗2024/7/3111主編：費宇1.回歸方程的顯著性檢驗其中是回歸平方和，而

是殘差平方和，拒絕域為

5.2.2模型的參數(shù)估計和檢驗2024/7/3112主編：費宇5.2.2模型的參數(shù)估計和檢驗2024/7/3113主編：費宇例5.1續(xù)1(數(shù)據(jù)文件為eg5.1)14主編：費宇建立y關于x1、x2、x3、x4和x5的線性回歸方程,并對方程和回歸系數(shù)進行顯著性檢驗.2024/7/31yx1x2x3x4x5yx1x2x3x4x5858386909076456065608678909288879280768081758075787076738590888582868580807281829088828081868790………………………………928385908580627865608588788482739083878083857883#例5.1回歸分析：全變量回歸setwd("C:/data")#設定工作路徑d5.1<-read.csv("exam5.1.csv",header=T)#將exam5.1.csv數(shù)據(jù)讀入到d5.1中l(wèi)m.exam<-lm(y~x1+x2+x3+x4+x5,data=d5.1)#建立y關于x1,x2,x3,x4和x5的線性回歸方程,數(shù)據(jù)為d5.1summary(lm.exam)#給出回歸系數(shù)的估計和顯著性檢驗等例5.1續(xù)1(數(shù)據(jù)文件為eg5.1)15主編：費宇R程序為:Call:lm(formula=y~x1+x2+x3+x4+x5,data=d5.1)Residuals:Min1QMedian3QMax-10.0696-1.7983-0.15352.93616.8726

Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)-32.7353415.35701-2.1320.0413*x10.162710.150311.0820.2877x20.227840.138351.6470.1100x30.881160.111087.9337.46e-09***x4-0.051360.15476-0.3320.7423x50.168870.143761.1750.2494回歸分析結果為2024/7/3116主編：費宇---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1

Residualstandarderror:4.021on30degreesoffreedomMultipleR-squared:0.8945,AdjustedR-squared:0.877F-statistic:50.89on5and30DF,p-value:9.359e-14例5.1續(xù)(數(shù)據(jù)文件為eg5.1)2024/7/3117主編：費宇回歸方程的F值為50.89,相應的p值為9.359

10-14,說明回歸方程是顯著的;但t檢驗對應的p值則顯示:常數(shù)項和x3是顯著的,而x1、x2、x4和x5不顯著.最優(yōu)模型一般滿足2個條件（1）模型反映了變量間的真實關系

（2）模型包含的變量盡量少例5.1（續(xù)2）建立y關于x1、x2、x3、x4和x5的線性回歸方程,并對方程和回歸系數(shù)進行顯著性檢驗（逐步回歸建立“最優(yōu)方程”）.

5.3變量選擇2024/7/3118主編：費宇>#例5.1回歸分析：逐步回歸>#假設exam5.1.xls中的數(shù)據(jù)已經(jīng)讀入到d5.1中>lm.exam<-lm(y~x1+x2+x3+x4+x5,data=d5.1)#建立全變量回歸方程>lm.step<-step(lm.exam,direction="both")#進行逐步回歸5.3變量選擇2024/7/3119主編：費宇例5.1(續(xù)2)逐步回歸程序Start:AIC=105.63y~x1+x2+x3+x4+x5

DfSumofSqRSSAIC-x411.78486.83103.76-x1118.95503.99105.01-x5122.31507.36105.25<none>485.05105.63-x2143.85528.90106.74-x311017.441502.49144.335.3變量選擇2024/7/3120主編：費宇例5.1(續(xù))回歸結果Step:AIC=103.76y~x1+x2+x3+x5

DfSumofSqRSSAIC-x1117.91504.73103.06-x5120.57507.40103.25<none>486.83103.76-x2142.99529.81104.80+x411.78485.05105.63-x311112.961599.79144.595.3變量選擇2024/7/3121主編：費宇Step:AIC=103.06y~x2+x3+x5

DfSumofSqRSSAIC-x5117.40522.14102.28<none>504.73103.06+x1117.91486.83103.76+x410.74503.99105.01-x2170.76575.50105.78-x311848.492353.23156.485.3變量選擇2024/7/3122主編：費宇Step:AIC=102.28y~x2+x3

DfSumofSqRSSAIC<none>522.14102.28+x5117.40504.73103.06+x1114.74507.40103.25+x410.25521.89104.26-x2166.64588.78104.60-x311953.302475.43156.305.3變量選擇2024/7/3123主編：費宇Call:lm(formula=y~x2+x3,data=d5.1)Residuals:Min1QMedian3QMax-10.4395-2.5508-0.44592.73677.2345

Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)-18.842907.58902-2.4830.0183*x20.249230.121442.0520.0481*x30.968040.0871311.1111.09e-12***---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1

Residualstandarderror:3.978on33degreesoffreedomMultipleR-squared:0.8865,AdjustedR-squared:0.8796F-statistic:128.8on2and33DF,p-value:2.566e-16回歸模型匯總信息:summary(lm.step)2024/7/3124主編：費宇5.4.1殘差分析和異常點探測

殘差向量e是模型中隨機誤差項

的估計，殘差分析可以診斷模型的基本假定是否成立。

5.4

回歸診斷2024/7/3125主編：費宇例5.2

計算例5.1得到的逐步回歸模型lm.step的普通殘差和標準化殘差,判斷可能存在的異常點,畫出相應的殘差散點圖,并直觀判斷模型的基本假定是否成立.5.4

回歸診斷2024/7/3126主編：費宇#例5.2#假設由例5.1已經(jīng)得到逐步回歸模型lm.stepy.res<-residuals(lm.exam)#計算模型lm.exam的普通殘差y.rst<-rstandard(lm.step)#計算回歸模型lm.step的標準化殘差print(y.rst)#輸出回歸模型lm.step的標準化殘差y.rsty.fit<-predict(lm.step)#計算回歸模型lm.step的預測值plot(y.res~y.fit)#繪制以普通殘差為縱坐標，預測值為橫坐標的散點圖plot(y.rst~y.fit)#繪制以標準化殘差為縱坐標，預測值為橫坐標的散點圖5.4

回歸診斷2024/7/3127主編：費宇分別采用residuals(),rstandard()和rstudent()來計算普通殘差,標準化殘差和學生化殘差.123456-1.226479490.701233481.85465439-0.18487397-0.731575470.14591132789101112-0.651653781.37662024-0.28171298-0.96473838-0.798622470.81284419131415161718-0.48393343-1.176685880.913377160.564389020.658766891.49006874192021222324-2.871217390.527102680.81076269-0.668013511.20184149-1.040201892526272829300.32282704-0.04616114-0.159120010.21602487-0.21306706-0.23026109313233343536-0.24302334-2.03567204-0.33183300-0.073548931.804380090.737029325.4

回歸診斷2024/7/3128主編：費宇回歸模型lm.step的標準化殘差y.rst如下第19號點是異常點2024/7/3129主編：費宇圖5-1例5.2中的普通殘差圖(左)和標準化殘差圖(右)例5.3

通過方差穩(wěn)定變換來更新例5.1得到的逐步回歸模型lm.step,并計算更新后模型的標準化殘差,畫出相應的殘差散點圖,并直觀判斷模型的基本假定是否成立.5.4

回歸診斷2024/7/3130主編：費宇#例5.3#假設由例5.1已經(jīng)得到逐步回歸模型lm.steplm.step_new<-update(lm.step,log(.)~.)#對模型進行對數(shù)變換y.rst<-rstandard(lm.step_new)#計算lm.step_new的標準化殘差y.fit<-predict(lm.step_new)#計算lm.step_new的預測值plot(y.rst~y.fit)#繪制以標準化殘差為縱坐標,預測值為橫坐標的散點圖（見圖5-2）采用對數(shù)變換來解決方差非齊問題2024/7/3131主編：費宇對數(shù)變換后：第19號點是異常點2024/7/3132主編：費宇圖5-2例5.3中的標準化殘差圖lm.exam<-lm(log(y)~x1+x2+x3+x4,data=d5.1[-c(19),])#去掉第19號觀測值再建立全變量回歸方程lm.step<-step(lm.exam,direction="both")#用一切子集回歸法來進行逐步回歸y.rst<-rstandard(lm.step)#計算回歸模型lm.step的標準化殘差y.fit<-predict(lm.step)#計算回歸模型lm.step的預測值plot(y.rst~y.fit)#繪制以標準化殘差為縱坐標，預測值為橫坐標的散點圖去掉19號觀測值再回歸2024/7/3133主編：費宇殘差幾乎全部落在[-2，2]區(qū)域內(nèi)2024/7/3134主編：費宇圖5-3例5.3中的標準化殘差圖:去掉19號觀測值5.4.2回歸診斷：一般的方法殘差分析無法分析模型的影響點,即探測哪些點對模型的推斷有重要影響,本節(jié)給出的回歸診斷方法,可以診斷模型的基本假定是否成立,哪些值是異常點,哪些點是強影響點.在R中,函數(shù)plot()和influence.measures()可以用來繪制診斷圖和計算診斷統(tǒng)計量.5.4

回歸診斷2024/7/3135主編：費宇例5.4對例5.3得到的逐步回歸模型lm.step_new進行回歸診斷分析.5.4回歸診斷2024/7/3136主編：費宇#例5.4#假定由例5.3已經(jīng)獲得模型lm.step_newpar(mfrow=c(2,2))#在一個2×2網(wǎng)格中創(chuàng)建4個繪圖區(qū)plot(lm.step_new)#繪制模型診斷圖influence.measures(lm.step_new)#計算各個觀測值的診斷統(tǒng)計量運行上述程進行序可得回歸診斷圖(圖5-4)和如下36個觀測值對應的診斷統(tǒng)計量的值.第11，19和33號觀測值被診斷為強影響點.2024/7/3137主編：費宇Influencemeasuresoflm(formula=log(y)~x2+x3，data=d5.1)：dfb.1_dfb.x2dfb.x3dffitcov.rcook.dhatinf10.172353-0.052013-1.36e-01-0.291711.0522.82e-020.06622-0.0789410.0622346.53e-030.110451.1604.17e-030.069130.196029-0.049262-1.17e-010.373080.8364.31e-020.0383…110.014319-0.1934602.46e-01-0.270291.3462.49e-020.2065*12-0.0378780.0103993.07e-