第5章 回歸分析

第5章回歸分析5.1一元線性回歸模型5.2多元線性回歸模型5.3多元逐步回歸分析5.4多重線性回歸分析2/22/20231高級管理統(tǒng)計(jì)第六章回歸分析5.1一元線性回歸模型

背景從定量的角度來看，變量之間的關(guān)系可以分為兩類：一類變量之間的關(guān)系是完全確定的，可以用函數(shù)的形式表達(dá)另一類變量之間有關(guān)系，但不能用函數(shù)形式表達(dá)，例如人的體重與身高有關(guān)，一般而言，較高的人體重也重，但同樣身高的人體重卻不完全相同，這樣的變量間關(guān)系在統(tǒng)計(jì)上稱為相關(guān)關(guān)系?；貧w分析是研究變量之間相關(guān)關(guān)系的一種統(tǒng)計(jì)方法。2/22/20232高級管理統(tǒng)計(jì)模型的基本形式設(shè)是的未知線性函數(shù)：。今對在點(diǎn)上進(jìn)行試驗(yàn)，測得函數(shù)的試驗(yàn)值為

由于受隨機(jī)誤差因素的影響，試驗(yàn)結(jié)果為此處為未知參數(shù)。2/22/20233高級管理統(tǒng)計(jì)

隨機(jī)誤差項(xiàng)滿足條件（1）獨(dú)立性：相互獨(dú)立，因而也相互獨(dú)立。（2）無偏性：，因而2/22/20234高級管理統(tǒng)計(jì)（3）等方差性：，因而（4）正態(tài)性：，因而上述四個(gè)條件可簡化為：獨(dú)立同分布2/22/20235高級管理統(tǒng)計(jì)回歸直線的確定

參數(shù)與的估計(jì)應(yīng)使殘差平方和達(dá)到最小，即令2/22/20236高級管理統(tǒng)計(jì)2/22/20237高級管理統(tǒng)計(jì)

此為正規(guī)方程組2/22/20238高級管理統(tǒng)計(jì)參數(shù)的最小二乘估計(jì)其中2/22/20239高級管理統(tǒng)計(jì)

為簡單起見，令2/22/202310高級管理統(tǒng)計(jì)

于是

因此，回歸直線

2/22/202311高級管理統(tǒng)計(jì)回歸方程的統(tǒng)計(jì)性質(zhì)

定理在一元線性回歸模型假設(shè)下，回歸系數(shù)具有以下性質(zhì)

（1）（2）（3）2/22/202312高級管理統(tǒng)計(jì)

證明根據(jù)線性模型的假定，為相互獨(dú)立的正態(tài)變量，且

另一方面，均是的線性函數(shù)，即故均為正態(tài)變量。2/22/202313高級管理統(tǒng)計(jì)求的數(shù)學(xué)期望2/22/202314高級管理統(tǒng)計(jì)2/22/202315高級管理統(tǒng)計(jì)求的方差2/22/202316高級管理統(tǒng)計(jì)2/22/202317高級管理統(tǒng)計(jì)求與的相關(guān)矩2/22/202318高級管理統(tǒng)計(jì)結(jié)論

2/22/202319高級管理統(tǒng)計(jì)

定理在線性模型的假定條件下，（1）；（2）相互獨(dú)立。其中2/22/202320高級管理統(tǒng)計(jì)證明2/22/202321高級管理統(tǒng)計(jì)2/22/202322高級管理統(tǒng)計(jì)對作如下線性變換2/22/202323高級管理統(tǒng)計(jì)此處滿足條件顯然2/22/202324高級管理統(tǒng)計(jì)

從而

由于相互獨(dú)立，都服從正態(tài)分布，所以均服從正態(tài)分布，且2/22/202325高級管理統(tǒng)計(jì)

以上表明相互獨(dú)立同分布，從而

所以并且根據(jù)的獨(dú)立性，知三者相互獨(dú)立。2/22/202326高級管理統(tǒng)計(jì)回歸方程的顯著性檢驗(yàn)在實(shí)際工作中，我們不能斷定因變量與自變量間確有線性關(guān)系，線性模型只是一種假設(shè)，盡管這種假設(shè)不是沒有根據(jù)的，但還是需要對這種線性回歸方程同實(shí)際觀察或試驗(yàn)數(shù)據(jù)擬合的效果進(jìn)行檢驗(yàn)。2/22/202327高級管理統(tǒng)計(jì)T檢驗(yàn)檢驗(yàn)問題檢驗(yàn)統(tǒng)計(jì)量

其中2/22/202328高級管理統(tǒng)計(jì)因?yàn)橄嗷オ?dú)立，并且所以2/22/202329高級管理統(tǒng)計(jì)也就是說，所以拒絕域根據(jù)分布與分布之間的關(guān)系，有因而拒絕域也可以寫為。2/22/202330高級管理統(tǒng)計(jì)相關(guān)系數(shù)檢驗(yàn)二維樣本的相關(guān)系數(shù)定義為2/22/202331高級管理統(tǒng)計(jì)當(dāng)成立時(shí)，應(yīng)該比較小，從而值較小；因此，當(dāng)較大時(shí)，應(yīng)拒絕。拒絕域其中滿足條件2/22/202332高級管理統(tǒng)計(jì)

利用回歸方程作預(yù)測當(dāng)線性系數(shù)經(jīng)過檢驗(yàn)確認(rèn)不等于零，即回歸直線效果是顯著的，此時(shí)，便可以利用所得的回歸直線，給定自變量的值來預(yù)報(bào)因變量的值：給定和置信水平，預(yù)報(bào)隨機(jī)變量的取值范圍。2/22/202333高級管理統(tǒng)計(jì)當(dāng)時(shí)，的估計(jì)值2/22/202334高級管理統(tǒng)計(jì)2/22/202335高級管理統(tǒng)計(jì)而所以，的置信水平為的置信區(qū)間為2/22/202336高級管理統(tǒng)計(jì)國家國民經(jīng)濟(jì)增長率x(%)失業(yè)率y（%）美國3.25.8日本5.62.1法國3.56.1西德4.53.0意大利4.93.9英國1.45.7

例

以下是六個(gè)工業(yè)發(fā)達(dá)國家在1979年的失業(yè)率與國民經(jīng)濟(jì)增長率的數(shù)據(jù)2/22/202337高級管理統(tǒng)計(jì)

(1)研究與之間的關(guān)系；(2)建立關(guān)于的一元線性回歸方程；(3)對所求得的回歸方程作顯著性檢驗(yàn)，在作檢驗(yàn)時(shí)做了什么假定?(取)(4)若一個(gè)工業(yè)發(fā)達(dá)國家的國民經(jīng)濟(jì)增長率為，求其失業(yè)率的預(yù)測值。2/22/202338高級管理統(tǒng)計(jì)2/22/202339高級管理統(tǒng)計(jì)2/22/202340高級管理統(tǒng)計(jì)R計(jì)算程序與計(jì)算結(jié)果x=c(3.2,5.6,3.5,4.5,4.9,1.4)y=c(5.8,2.1,6.1,3.0,3.9,5.7)fit=lm(y~1+x)summary(fit)yhat=predict(fit)yhatplot(y,type="l",lwd=1,xlab="x",ylab="y");text(3.6,5.8,expression(觀察值))lines(yhat,lwd=2.5,col="blue");text(5.3,6,expression(估計(jì)值))2/22/202341高級管理統(tǒng)計(jì)R計(jì)算程序與計(jì)算結(jié)果Call:lm(formula=y~1+x)Residuals:1234560.7742-0.73811.3476-0.84080.4238-0.9666Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)7.94281.33805.9360.00404**x-0.91150.3276-2.7820.04971*---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1Residualstandarderror:1.093on4degreesoffreedomMultipleR-squared:0.6593,AdjustedR-squared:0.5741F-statistic:7.74on1and4DF,p-value:0.049712/22/202342高級管理統(tǒng)計(jì)2/22/202343高級管理統(tǒng)計(jì)2/22/202344高級管理統(tǒng)計(jì)2/22/202345高級管理統(tǒng)計(jì)

可化為一元線性回歸的曲線回歸（1）雙曲線令，則。（2）冪函數(shù)令，則。2/22/202346高級管理統(tǒng)計(jì)（3）指數(shù)函數(shù)若，則令，于是若，則令，同樣有2/22/202347高級管理統(tǒng)計(jì)（4）對數(shù)函數(shù)令，則有。（5）S曲線令，則有。2/22/202348高級管理統(tǒng)計(jì)3.2多元線性回歸模型multivariateregression●多元的含義：多個(gè)解釋變量？多個(gè)因變量（被解釋變量）？例如，血壓與年齡、體重之間的關(guān)系消費(fèi)支出與收入、價(jià)格之間的關(guān)系其他………？●線性的含義：變量的線性組合

2/22/202349高級管理統(tǒng)計(jì)●建模目的①分析變量之間的結(jié)構(gòu)關(guān)系②預(yù)測分析：給定自變量的取值,預(yù)測因變量Y將來取值的大小2/22/202350高級管理統(tǒng)計(jì)●模型結(jié)構(gòu)分析

設(shè)是個(gè)變量的線性函數(shù)現(xiàn)對多元變量

在個(gè)點(diǎn)上進(jìn)行試驗(yàn)，結(jié)果如下2/22/202351高級管理統(tǒng)計(jì)

此處為隨機(jī)誤差項(xiàng)，它滿足條件（1）獨(dú)立性：相互獨(dú)立，因而也相互獨(dú)立。（2）無偏性：，因而2/22/202352高級管理統(tǒng)計(jì)（3）等方差性：，因而（4）正態(tài)性：，因而

上述四個(gè)條件等價(jià)于：2/22/202353高級管理統(tǒng)計(jì)●模型參數(shù)估計(jì)

模型系數(shù)估計(jì)：設(shè)所求回歸方程為其中為參數(shù)的估計(jì)，稱為回歸系數(shù)，它使殘差平方和取最小值2/22/202354高級管理統(tǒng)計(jì)

根據(jù)多元函數(shù)求極值的必要條件，應(yīng)滿足下列線性方程組

2/22/202355高級管理統(tǒng)計(jì)2/22/202356高級管理統(tǒng)計(jì)寫成矩陣形式2/22/202357高級管理統(tǒng)計(jì)記2/22/202358高級管理統(tǒng)計(jì)則2/22/202359高級管理統(tǒng)計(jì)2/22/202360高級管理統(tǒng)計(jì)因此，正規(guī)方程組從而，未知參數(shù)向量的最小二乘估計(jì)量

2/22/202361高級管理統(tǒng)計(jì)●方差的無偏估計(jì)量

并且此處2/22/202362高級管理統(tǒng)計(jì)其中，殘差序列為2/22/202363高級管理統(tǒng)計(jì)●回歸方程優(yōu)劣的評價(jià)模型的擬合程度:回歸系數(shù)是否顯著不等于零2/22/202364高級管理統(tǒng)計(jì)●回歸方程的顯著性檢驗(yàn)檢驗(yàn)問題檢驗(yàn)統(tǒng)計(jì)量2/22/202365高級管理統(tǒng)計(jì)

●模型系數(shù)的顯著性檢驗(yàn)若考慮變量是否對因變量有顯著影響，則檢驗(yàn)問題

檢驗(yàn)統(tǒng)計(jì)量

2/22/202366高級管理統(tǒng)計(jì)

拒絕域判斷：對于給定的顯著水平，若，則拒絕原假設(shè)，即認(rèn)為；若則接受，認(rèn)為2/22/202367高級管理統(tǒng)計(jì)例題考慮我國31個(gè)省市自治區(qū)的城鎮(zhèn)居民人均食品消費(fèi)支出與其人均收入，糧食價(jià)格的依賴關(guān)系回歸模型:人均消費(fèi)支出(Y)=β0+β1糧食價(jià)格(X1)+β2人均收入2/22/202368高級管理統(tǒng)計(jì)多元回歸分析的建模數(shù)據(jù)2/22/202369高級管理統(tǒng)計(jì)變量之間的相關(guān)系數(shù)分析食品支出與糧價(jià)相關(guān)系數(shù)=0.730食品支出與收入相關(guān)系數(shù)=0.9212/22/202370高級管理統(tǒng)計(jì)參數(shù)估計(jì)β0=-87.386,β1=213.423,β2=0.3522/22/202371高級管理統(tǒng)計(jì)回歸方程的表達(dá)式：2/22/202372高級管理統(tǒng)計(jì)

常數(shù)項(xiàng)的經(jīng)濟(jì)涵義不清晰,原因:可能有重要的解釋變量未引入方程中；因此，需再尋找其他解釋變量

2/22/202373高級管理統(tǒng)計(jì)●解釋變量確定的方法：逐步回歸基本思路：先列出所有可能的解釋變量，然后逐一增加或刪除變量，將其引入方程或者將其從方程中剔出2/22/202374高級管理統(tǒng)計(jì)模型擬合檢驗(yàn):F檢驗(yàn)，分析數(shù)據(jù)的擬合程度，它是對模型的整體檢驗(yàn)F值=106.1642/22/202375高級管理統(tǒng)計(jì)殘差分布圖2/22/202376高級管理統(tǒng)計(jì)F檢驗(yàn)的解釋在回歸分析中，觀測數(shù)據(jù)的總波動(dòng)，用每個(gè)觀測值與總平均的差異平方和表示，即2/22/202377高級管理統(tǒng)計(jì)是觀測值與回歸值的離差平方和，反映了誤差的大小，稱為誤差平方和；其取值越小越好；它的自由度=31-3=28是回歸值與總平均離差平方和，它表示x與y的線性關(guān)系引起y的變化；稱為回歸平方和，它的自由度=3-1=22/22/202378高級管理統(tǒng)計(jì)模型的經(jīng)濟(jì)涵義

①在保持收入水平不變的條件下,糧價(jià)上漲1元,則人均食品消費(fèi)支出將增加213.423元②在糧價(jià)保持不變的情況下,收入每增加1元,將有其中的0.352元用于食品消費(fèi)支出2/22/202379高級管理統(tǒng)計(jì)

例題根據(jù)經(jīng)驗(yàn)，在人的身高相等的情況下，血壓的收縮壓Y與體重X1（kg）、年齡X2（歲數(shù)）有關(guān)。現(xiàn)在收集了13個(gè)男子的數(shù)據(jù)，試建立Y關(guān)于X1，X2的回歸方程2/22/202380高級管理統(tǒng)計(jì)序號(hào)X1X2Y176.050120291.520141385.520124482.530126579.030117680.550125774.560123879.050125985.0401321076.5551231182.0401321295.0401551392.5201472/22/202381高級管理統(tǒng)計(jì)R軟件運(yùn)行程序blood<-data.frame(X1=c(76.0,91.5,85.5,82.5,79.0,80.5,74.5,79.0,85.0,76.5,82.0,95.0,92.5),X2=c(50,20,20,30,30,50,60,50,40,55,40,40,20),Y=c(120,141,124,126,117,125,123,125,132,123,132,155,147))lm.sol<-lm(Y~X1+X2,data=blood)summary(lm.sol)2/22/202382高級管理統(tǒng)計(jì)結(jié)果Call:lm(formula=Y~X1+X2,data=blood)Residuals:Min1QMedian3QMax-4.0404-1.01830.46400.69084.3274Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)-62.9633616.99976-3.7040.004083**X12.136560.1753412.1852.53e-07***X20.400220.083214.8100.000713***---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1Residualstandarderror:2.854on10degreesoffreedomF-statistic:87.84on2and10DF,p-value:4.531e-072/22/202383高級管理統(tǒng)計(jì)模型表達(dá)式

Y=-62.96+2.136X1+0.4002X2（-3.704）（12.185）（4.810）2/22/202384高級管理統(tǒng)計(jì)2/22/202385高級管理統(tǒng)計(jì)參數(shù)的區(qū)間估計(jì)source(".R")(lm.sol)EstimateLeftRight(Intercept)-62.9633591-100.8411862-25.0855320X12.13655811.74587092.5272454X20.40021620.21480770.58562462/22/202386高級管理統(tǒng)計(jì)3.3多元逐步回歸

在實(shí)際問題中,人們總是希望從對因變量有影響的諸多變量中選擇一些變量作為自變量,應(yīng)用多元回歸分析的方法建立“最優(yōu)”回歸方程，以便對因變量進(jìn)行預(yù)報(bào)或控制2/22/202387高級管理統(tǒng)計(jì)●所謂“最優(yōu)”回歸方程,主要是指在回歸方程中包含所有對因變量影響顯著的自變量而不包含對影響不顯著的自變量的回歸方程●逐步回歸分析的主要思路是在所考慮的全部自變量中按其對的作用大小,顯著程度大小，或者說貢獻(xiàn)大小,由大到小地逐個(gè)引入回歸方程,而對那些對作用不顯著的變量可能始終不被引人回歸方程2/22/202388高級管理統(tǒng)計(jì)●另外,己被引人回歸方程的變量在引入新變量后也可能失去重要性,而需要從回歸方程中剔除出去。引入一個(gè)變量或者從回歸方程中剔除一個(gè)變量都稱為逐步回歸的一步,每一步都要進(jìn)行檢驗(yàn),以保證在引人新變量前回歸方程中只含有對影響顯著的變量,而不顯著的變量已被剔除2/22/202389高級管理統(tǒng)計(jì)

例題某種水泥在凝固時(shí)放出的熱能Y與水泥的四種化學(xué)成分X1，X2，X3，X4有關(guān)，現(xiàn)測得13組數(shù)據(jù)，希望從中選出主要的變量，建立Y關(guān)于它們的線性回歸方程2/22/202390高級管理統(tǒng)計(jì)序號(hào)X1X2X3X4Y172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.42/22/202391高級管理統(tǒng)計(jì)cement<-data.frame(X1=c(7,1,11,11,7,11,3,1,2,21,1,11,10),X2=c(26,29,56,31,52,55,71,31,54,47,40,66,68),X3=c(6,15,8,8,6,9,17,22,18,4,23,9,8),X4=c(60,52,20,47,33,22,6,44,22,26,34,12,12),Y=c(78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4))lm.sol<-lm(Y~X1+X2+X3+X4,data=cement)summary(lm.sol)2/22/202392高級管理統(tǒng)計(jì)主要結(jié)果Call:lm(formula=Y~X1+X2+X3+X4,data=cement)Residuals:Min1QMedian3QMax-3.1750-1.67090.25081.37833.9254Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)62.405470.07100.8910.3991X11.55110.74482.0830.0708.X20.51020.72380.7050.5009X30.10190.75470.1350.8959X4-0.14410.7091-0.2030.8441---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1Residualstandarderror:2.446on8degreesoffreedomF-statistic:111.5on4and8DF,p-value:4.756e-07

2/22/202393高級管理統(tǒng)計(jì)從上述計(jì)算中可以看出，如果選擇全部變量作回歸方程，效果不好，因?yàn)榛貧w方程的系數(shù)沒有一項(xiàng)通過檢驗(yàn)，下面用函數(shù)step()作逐步回歸2/22/202394高級管理統(tǒng)計(jì)lm.step<-step(lm.sol)Start:AIC=26.94Y~X1+X2+X3+X4DfSumofSqRSSAIC-X310.10947.97324.974-X410.24748.11125.011-X212.97250.83625.728<none>47.86426.944-X1125.95173.81530.576Step:AIC=24.974Y~X1+X2+X4DfSumofSqRSSAIC<none>47.9724.97-X419.9357.9025.42-X2126.7974.7628.74-X11820.91868.8860.632/22/202395高級管理統(tǒng)計(jì)名詞解釋●AIC準(zhǔn)則：赤池信息量準(zhǔn)則（Akaikeinformationcriterion，簡稱AIC）是衡量統(tǒng)計(jì)模型擬合優(yōu)良性的一種標(biāo)準(zhǔn)，是由日本統(tǒng)計(jì)學(xué)家赤池弘次創(chuàng)立和發(fā)展的；赤池信息量準(zhǔn)則建立在熵的概念基礎(chǔ)上，可以權(quán)衡所估計(jì)模型的復(fù)雜度和此模型擬合數(shù)據(jù)的優(yōu)良性AIC=2k-log(L)其中：k是參數(shù)的數(shù)量，L是似然函數(shù)2/22/202396高級管理統(tǒng)計(jì)●從程序運(yùn)行結(jié)果來看，用全部變量作回歸方程時(shí)，AIC的值為26.94，接下來的數(shù)據(jù)表明：如果去掉X3，得到回歸方程AIC的值為24.974，如果去掉X4，AIC的值為25.011，依次類推；由于去掉X3可以使AIC達(dá)到最小，因此去掉X3進(jìn)入下一輪計(jì)算?！裨谙乱惠営?jì)算中，無論去掉那一個(gè)變量，AIC的值均會(huì)升高，因此中止逐步回歸，進(jìn)入回歸建模。2/22/202397高級管理統(tǒng)計(jì)summary(lm.step)Call:lm(formula=Y~X1+X2+X4,data=cement)Residuals:Min1QMedian3QMax-3.0919-1.80160.25621.28183.8982Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)71.648314.14245.0660.000675***X11.45190.117012.4105.78e-07***X20.41610.18562.2420.051687.X4-0.23650.1733-1.3650.205395---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1Residualstandarderror:2.309on9degreesoffreedomF-statistic:166.8on3and9DF,p-value:3.323e-082/22/202398高級管理統(tǒng)計(jì)殘差分布圖

lm.sol<-lm(Y~X1+X2+X4,data=cement)

res<-residuals(lm.sol)

plot(res)2/22/202399高級管理統(tǒng)計(jì)3.4多重線性回歸分析

主要討論多個(gè)因變量與多個(gè)自變量之間的線性函數(shù)關(guān)系，當(dāng)然多個(gè)因變量之間具有相關(guān)性；否則，就是多個(gè)多元線性回歸模型問題2/22/2023100高級管理統(tǒng)計(jì)多對多的問題①發(fā)電量、工業(yè)總產(chǎn)值與鋼材產(chǎn)量、水泥產(chǎn)量和機(jī)械工業(yè)總產(chǎn)值之間的關(guān)系②麥當(dāng)勞、肯德基消費(fèi)與居民收入、價(jià)格等因素之間的關(guān)系③?????2/22/2023101高級管理統(tǒng)計(jì)模型結(jié)構(gòu)因變量：y1,y2,…,ym解釋變量：x1,x2,…,xk函數(shù)關(guān)系2/22/2023102高級管理統(tǒng)計(jì)矩陣形式2/22/2023103高級管理統(tǒng)計(jì)n組觀察值其表達(dá)式為2/22/2023104高級管理統(tǒng)計(jì)2/22/2023105高級管理統(tǒng)計(jì)2/22/2023106高級管理統(tǒng)計(jì)例題數(shù)據(jù)NO