應(yīng)用回歸分析第2章課后習(xí)題參考答案

1、2.1 一元線(xiàn)性回歸模型有哪些基本假定？答：1.解釋變量X1 , X2，X p,是非隨機(jī)變量，觀(guān)測(cè)值Xi1,Xi2,，Xp是常數(shù)。2. 等方差及不相關(guān)的假定條件為EGi) =0,i =1,2，,n廠(chǎng)2-CT ,1 = JcovGi)(i,J =1,2，,n)0,i 工 J這個(gè)條件稱(chēng)為高斯-馬爾柯夫(Gauss-Markov)條件，簡(jiǎn)稱(chēng)G-M條件。在此條 件下，便可以得到關(guān)于回歸系數(shù)的最小二乘估計(jì)及誤差項(xiàng)方差 b2估計(jì)的一些重 要性質(zhì)，如回歸系數(shù)的最小二乘估計(jì)是回歸系數(shù)的最小方差線(xiàn)性無(wú)偏估計(jì)等。3.正態(tài)分布的假定條件為卜N(0,b2),i =1,2，nk,屆相互獨(dú)立在此條件下便可得到關(guān)于回歸系數(shù)

2、的最小二乘估計(jì)及 b2估計(jì)的進(jìn)一步結(jié)果,如它們分別是回歸系數(shù)的最及 b2的最小方差無(wú)偏估計(jì)等，并且可以作回歸的顯著性檢驗(yàn)及區(qū)間估計(jì)。4. 通常為了便于數(shù)學(xué)上的處理，還要求n P,及樣本容量的個(gè)數(shù)要多于解 釋變量的個(gè)數(shù)。在整個(gè)回歸分析中，線(xiàn)性回歸的統(tǒng)計(jì)模型最為重要。一方面是因?yàn)榫€(xiàn)性回歸 的應(yīng)用最廣泛；另一方面是只有在回歸模型為線(xiàn)性的假設(shè)下，才能的到比較深入和一般的結(jié)果；再就是有許多非線(xiàn)性的回歸模型可以通過(guò)適當(dāng)?shù)霓D(zhuǎn)化變?yōu)榫€(xiàn)性回 歸問(wèn)題進(jìn)行處理。因此，線(xiàn)性回歸模型的理論和應(yīng)用是本書(shū)研究的重點(diǎn)。1. 如何根據(jù)樣本(Xi,Xi2,，Xi p；yi)(i =1,2，n)求出p及方差2的估計(jì)；2. 對(duì)回歸方

3、程及回歸系數(shù)的種種假設(shè)進(jìn)行檢驗(yàn)；3. 如何根據(jù)回歸方程進(jìn)行預(yù)測(cè)和控制，以及如何進(jìn)行實(shí)際問(wèn)題的結(jié)構(gòu)分析。2.2考慮過(guò)原點(diǎn)的線(xiàn)性回歸模型% =臥+角，i =1,2,n誤差習(xí)，2,，En仍滿(mǎn)足基本假定。求Pi的最小乘估計(jì)。n答: Q(p1)=送(yi -E(yi)2 二送(yi-陥)2i zii =innn詁%(y_M=%Xiyi+2PZnPiS X2 =0i 二nS xyi解得f?=遲,即？的最小二乘估計(jì)為網(wǎng)Z Xi2n送 XiYiynZ2Xii丄i 42.3證明:Q (兀，3 1)=刀(yi-卩1 Xi)2A AB BBP因?yàn)?Q (尸 0, J)=min Q (P P 而Q (0,1 )非負(fù)且

4、在A A即-2刀(y* B 0- 3i Xi)=0A A又e = % -( 30+31 Xi)=0, 1 )_2R上可導(dǎo)，當(dāng)Q取得最小值時(shí)，卜、 A-2 刀(yi-p0-p1Xi) Xi =0A Ap x0 -1 XicQ有iF0cQ叮0Po.JXix =o,刀 eXi =0（即殘差的期望為0,殘差以變量X的加權(quán)平均值為零） iN(O, 2 )2.4解：參數(shù)8 0, 8 1的最小二乘估計(jì)與最大似然估計(jì)在 i=1,2 ,n的條件下等價(jià)。2 證明：因?yàn)橐?i N（0,b）， =1,2,.n2所以Yi0+p1X1pN（p0+p1X莊）nZ Yi (p0 + p 幾,Xi)2其最大似然函數(shù)為彳 nLn

5、L( p0, PiQ) 知(2心)-22。 i L(%,Z2)=nSE=a2)/2ex p*_P 4的最大似然估計(jì)值。Y,-(P0+Pi%,Xi)2已知使得Ln （L）最大的?0, f?就是P 0,Q=：S （Yi -Y?）Z （Yi -（?0+f?1Xi）2即使得下式最小：11因?yàn)榍『镁褪亲钚《斯烙?jì)的目標(biāo)函數(shù)相同。2所以，在客iN（0Q ）,1 2.n的條件下，參數(shù)P 0,8 1的最小乘估計(jì)與最大似然估計(jì)等價(jià)。2.5.證明Po是卩0的無(wú)偏估計(jì)。證明：若要證明P。是P。的無(wú)偏估計(jì)，則只需證明E( 3。)= 3。 I 反=Lxy / LXXr，宀宀卩1的最小二乘估計(jì)為疋0 = y -卩1X其中

6、Lxy =送(Xi x)(yi乞 xnx-正 yiLxx =送(Xi X)2 =2 Xi2 nX2Xi)2E( r)=E(?yiy -円X)=E( n yn-XZxjiLXX=E-X 嚴(yán)(PoLxx+ PiXi +幽)=E(其中-X寧冬)p0Lxx)+E(-x 寧)PiXiLxx)+E(x)Ei)LxxZ (lXXi y nLoXX応(1-xX-Xy np0(n一2 (Xi X)n Lxx i 二n送(Xi由于y-X)=0,7。pXX廠(chǎng)0n-X 牛一)0必 pf (生一X 牛一Xi) p1(X-T2 (Xi-X)N)Lxx一 i nLxx_Lxx iLXXX n臥XdVXT)(Xi-X)/(x

7、-x)=0又因?yàn)橐辉€(xiàn)性回歸模型為”1=3。+ Sxi ri各si獨(dú)立同分布，其分布為 N(0,b2)所以eL)=0所以xP。z r1E( i# nLxx) + E( U n(節(jié)仏(丄nLxx) + E( i# nLxxy (1 x= E(p0)+E(O) + i4 nXX)Ei)Lxx=P0所以*是3。的無(wú)偏估計(jì)。2.6 解:因?yàn)?nyi,AAPo=yfx,A n p嚴(yán) idXi _XT-yiLxx聯(lián)立式，得到-V - xx： ViLxx 。弄n 1- Xi - XVar(P0)=VarI： (x ) yj y n Lxxn 1 - Xi - XY (丄_x3) Var(yi) i T nL

8、xxn 1 一+(x y n2XiX)Lxx-Xi - X 2 -2x bnLxxn 2因?yàn)長(zhǎng)xx弋(xi-x)n_無(wú)(Xi -X)=0，所以AnVar(P 0)=2y1 -n2+(x)n2無(wú)i =1(xi - X)2Lxxn_藝(Xix) 2 + 2x7nLxxf21 +(X_2 =cnXL XX-+n 2:2(Xi-x)丿2(xL2 zrSST=SSE+SSRn2.7證明平方和分解公式：證明：SST = Z (yyf =Z 山-？)+ (0 -y】2i壬i nnn(?i -y f +門(mén)(yi -yi)(?i -y )+2 (yi -?i) fi丑i三irnnn=Z (:? -y 2 +2

9、(yi -yjY =SSR+SSEi#y2.8驗(yàn)證三種檢驗(yàn)的關(guān)系，即驗(yàn)證:c % 21 + (xiX)-2cr 21 + (Xix)nLxx1nLxx222J(n-2)rSSR/1Lxx?12SSR=SSE/(n-2)SSEc?2=t2證明：（1）因?yàn)閤xn -2，所以xxP LxxjsSE-2SSR(n-2) SSR(n-2)SSRSsTSSESSEsstSST-SSR SSE又因?yàn)镾ST，所以SSTSST(2)J(n -2)rT1 -r2得證。ssR=s (g -y)2 =送(f?0 + f?1Xi-y)2(y + f?(Xi x) V)2 =送(f?(Xi-x)2 = (?jLxxSSR

10、/1SSEZ( n-2)=t22.9 驗(yàn)證(2.63 )式:var() =(crL xx證明：var (e) = varvar (y.) + var (y ) -2cov (yi) + var(p +p0Xi)-2cov (yi，yXi-x)Xi-X(cr121Lxx其中:covyj,(Xi-X)=coVy.，)+ cov y j，Xi-Xyixi-X CoV y.，i=1（Xi-x）LxXyi=OOL XXXicrLxX注：各個(gè)因變量ywyn是獨(dú)立的隨機(jī)變量var( X +Y = var( X)+var(Y 忙 2 cov(X, Y)2.10用第9題證明0-ein-2的無(wú)偏估計(jì)量證明：En-

11、2i=1yiyin-2（e：n-2i=1n-2var(ei)1-1Jxi-x(CTL XX112=C7注：var( X )= E (x?) +E ( X 卩2.11驗(yàn)證rF +n -2SSE (n-2)JSSRy( n_2)所以有碌ISSE 丿證明:L SSRF =SSE .(n -2)2SSR SSR11FrSSTSSR+SSE1+(SSESsr)“(n-2)訂F+n-2以上表達(dá)式說(shuō)明r 2與 F等價(jià)，但我們要分別引入這兩個(gè)統(tǒng)計(jì)量，而不是只 引入其中一個(gè)。理由如下： r 2與 F，n都有關(guān)，且當(dāng)n較小時(shí)，r較大，尤其當(dāng)n趨向于2時(shí)，|r| 趨向于1,說(shuō)明X與y的相關(guān)程度很高；但當(dāng)n趨向于2或

12、等于2時(shí)，可能回歸 方程并不能通過(guò)F的顯著性檢驗(yàn)，即可能X與y都不存在顯著的線(xiàn)性關(guān)系。所以, 僅憑r較大并不能斷定X與y之間有密切的相關(guān)關(guān)系，只有當(dāng)樣本量n較大時(shí)才 可以用樣本相關(guān)系數(shù)r判定兩變量間的相關(guān)程度的強(qiáng)弱。 F檢驗(yàn)檢驗(yàn)是否存在顯著的線(xiàn)性關(guān)系，相關(guān)系數(shù)的顯著性檢驗(yàn)是判斷回歸直線(xiàn)與回歸模型擬合的優(yōu)劣，只有二者結(jié)合起來(lái)，才可以更好的回歸結(jié)果的好壞。2.12如果把自變量觀(guān)測(cè)值都乘以2,回歸參數(shù)的最小二乘法估計(jì) 區(qū)和岡會(huì)發(fā)生 什么變化？如果把自變量觀(guān)測(cè)值都加上 2,回歸參數(shù)的最小二乘估計(jì) 區(qū)和氏會(huì)發(fā) 生什么變化？解：解法(一)：我們知道當(dāng)計(jì)的?0和？分別為Iyi = P0 +p1Xi +Ei

13、, E(yi) = P0 + Ax時(shí)，用最小二乘法估A =y-xAn兀(舌-和X-刃i-1tl當(dāng)xi =2x時(shí)舟二-辛畀/ s尿一巧例一刃 牯idj.lfj Zj 有（二必+珂d1 ? = 一232珂=2a“II MI k卜a7=-Z?#=-25+訥2歹+忒m 3.1於9 一押nS （珂-初仞-刃1-1將帶入得到n2-1當(dāng)xr=Xi時(shí)壯 il?二-工曙二-Z（2 +嗎）二 2+無(wú)i Xa卜、二-ZX二-Oi+2A）=y+2A1AI有（小” +糾將帶入得到h1-刃5-刃I 乂 !-1Z（理-刃 V!.1解法（二）：當(dāng) yio+PiXi+i , E（yi） = p0 + PiX時(shí)，有nnQ(Po，

14、01)=S (yi E(yi)2 =送(yi 00 01X)2i4i 4當(dāng) Xi=2Xi 時(shí) yi = Po +2瞅 +Ei = y. + 盼 E(y； 兀+鳥(niǎo)必nnnQ( Po，P1)=2 (y/ -E(yi)2(y p1X Po 2臥)2 =2：(屮一 Po -眼)2i 1i 4i 4當(dāng)Xi=Xj +2= p0 + P1X. +2P1 +j = yi +2優(yōu)E(y；) = P 0 + fx +2(nnnp)=2 (yjEM)2 =2 (yi+2p1-Pop1Xi2p1)2 =2 (yi_Po 一 p1Xi)2i 1i 4y由最小二乘法可知，離差平方和Q（p0，Pi）=Q（p0，Pi）=Q（

15、p0，PJ時(shí)，其估計(jì)值應(yīng) 當(dāng)有（菇肆。即回歸參數(shù)的最小二乘估計(jì) 氐和岡在自變量觀(guān)測(cè)值變化時(shí)不會(huì)變。NNA2.13如果回歸方程 尸ft +你 相應(yīng)的相關(guān)系數(shù)r很大，貝U用它預(yù)測(cè)時(shí)，預(yù)測(cè)誤差一定較小。這一結(jié)論能成立嗎？對(duì)你的回答說(shuō)明理由。解：這一結(jié)論不成立。因?yàn)橄嚓P(guān)系數(shù)r表示x與y線(xiàn)性關(guān)系的密切程度，而它接 近1的程度與數(shù)據(jù)組數(shù)有關(guān)。n越小，r越接近1。n=2時(shí)，|r|=1。因此僅憑相 關(guān)系數(shù)說(shuō)明x與y?有密切關(guān)系是不正確的。只有在樣本量較大時(shí)，用相關(guān)系數(shù)r判定兩變量之間的相關(guān)程度才可以信服，這樣預(yù)測(cè)的誤差才會(huì)較小。2.14解：（1）散點(diǎn)圖為:4&=J5-4巒1滬nr(2) x與y大致在一條直線(xiàn)上

16、，所以x與y大致呈線(xiàn)性關(guān)系。(3) 得到計(jì)算表：XY(Xi X)2(Yi -Y)2(Xi -X)(Yi -Y)Y?(Y?-Y)2(Y?-Yi)21104100206(-14) 2(-4) 221011001013(-7) 2(3) 2320000200042010027727254044004034142(-6) 2和15100和Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均20?1 = 土 二70, =Y _(?x =20 3咒7 = 1.XXLxx 10所以回歸方程為：V?=f?0 + f?X =-4 +7X2= -w(yV)丄ssE0 n-2

17、i=1=n2E J733O 止 6.1所以， 3(5)因?yàn)榧tN(Po,(6件戸2)nLxx0的置信區(qū)間為進(jìn))xx2紅 N(p1，m)同理，因?yàn)長(zhǎng)xx，所以,1的置信區(qū)間為查表知，ta/2(n-2) =to.o25(3) =3.182A所以，3 0的置信區(qū)間為(-21.21,19.21),AP1的置信區(qū)間為(0.91,13.09 )。(6)決定系數(shù) R2 =SSR = SSR=490SST Lyy600.817(7)計(jì)算得出，方差分析表如下:方差來(lái)源平方和自由度均方F值SSR490149013.364SSE110336.667SST6004查表知，F(xiàn)0.05(1,3)=10.13 ，F(xiàn)值F0.0

18、5(1,3)，故拒絕原假設(shè)，說(shuō)明回歸 方程顯著。t = 2計(jì)算t統(tǒng)計(jì)量：J/Lxx查表知/,2(n-2) 0.025(3) = 3.182說(shuō)明x和丫有顯著的線(xiàn)性關(guān)系。(9)做相關(guān)系數(shù)r的顯著性檢驗(yàn)：因?yàn)镽A Q-7x71021=S： 3.66/330 丁333，所以，tt0.05/2(3)，所以接受原假設(shè),所以，相關(guān)系數(shù)r 7R0.9512=空=空=49?=0.817SSTLyy600(8)做回歸系數(shù)P 1的顯著性檢驗(yàn)因?yàn)椴楸碇?，n-2等于3時(shí)，a二1%勺值為0.959，=5%勺值為0.878。所以，a =5%v|r|v a =1%故x與y有顯著的線(xiàn)性關(guān)系。(10)殘差表為:G.X-DSZ K

19、-I.JDZW wIW序號(hào)xyA y殘差e111064221013-33320200442027-75540346殘差圖為:(11)當(dāng) X0=4.2 時(shí),、 A A其95%勺置信區(qū)間近似為 近似為y2b，即為：（17.1，39.7 ）。2.15 解：（1）畫(huà)散點(diǎn)圖；圖形-舊對(duì)話(huà)框-散點(diǎn)圖，得到散點(diǎn)圖（表 1）如下:5.0-4-Cr21.D-2501250MlftEht5MTEQlOm每極發(fā)的新保單數(shù)目貿(mào)（2）x與y之間是否大致呈線(xiàn)性關(guān)系？ 由上面（1）散點(diǎn)圖可以看出，x與y之間大致呈線(xiàn)性關(guān)系。用最小二乘估計(jì)求出回歸方程；分析-回歸-線(xiàn)性，得到“回歸系數(shù)顯著性檢驗(yàn)表（表 2）如 下:Coeffi

20、cie ntsaModelUn sta ndardizedCoefficie ntsSta ndardizedCoefficie ntstBStd. ErrorBeta1(Co nsta nt).118.355.333每周簽發(fā)的新保單數(shù)目x.004.000.9498.509a. Dependent Variable:每周加班工作時(shí)間y由上表可知:AP0=0.118AP1 =0.004A所以可得回歸方程為：y =0.118+0.004x(4)求回歸標(biāo)準(zhǔn)誤差b ；分析-回歸-線(xiàn)性，得到“方析分析表(表 3)”如下:ANOVAbModelSum of SquaresdfMean SquareFSig

21、.1Regression16.682116.68272.396.000aResidual1.8438.230Total18.5259a. P redictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時(shí)間y由上表可得，SSE=1.843 n=10故回歸標(biāo)準(zhǔn)誤差為:人 2SSE 1.843(yi yi) =n-2 = 10-2=0.23AI A2CT 二 Vb =0.48(5)給出3 0與3 1的置信度為95%勺區(qū)間估計(jì);由表2可以看出，當(dāng)置信度為95%寸,AP0的預(yù)測(cè)區(qū)間為：-0.701 ，0.937P1的預(yù)測(cè)區(qū)間為：0.00

22、3，0.005(6)計(jì)算x與y的決定系數(shù)； 分析-回歸-線(xiàn)性，得到“模型概要表(表 4)”如下:Model SummarybModelRR SquareStd. Error of theAdjusted R Square) Estimate1.949a.900.88848001a. P redictors: (Con sta nt),b. Dependent Variable:,每周簽發(fā)的新保單數(shù)目x每周加班工作時(shí)間y由上表可知，x與y的決定系數(shù)為0.9，可以看到很接近于1,這就說(shuō)明此 模型的擬合度很好。（7）對(duì)回歸方程作方差分析；由“方差分析表（表3）”可得，F(xiàn)-值=72.396，我們知道，

23、當(dāng)原假設(shè)H0： =0成立時(shí)，F(xiàn)服從自由度為（1, n-2）的F分布（見(jiàn) P38）,臨界值 Fa（ 1，n-2）=F0.05（ 1，8）=5.32 因?yàn)?F-值=72.3965.32，所以拒絕原假設(shè)，說(shuō)明回歸方程顯著，即x與y有顯著的線(xiàn)性關(guān)系。（8）做回歸系數(shù)h顯著性的檢驗(yàn)；由“回歸系數(shù)顯著性檢驗(yàn)表（表2）可得，卩1的t檢驗(yàn)統(tǒng)計(jì)量為t=8.509，對(duì)應(yīng)p-值近似為0， pv。，說(shuō)明每周簽發(fā)的新報(bào)單數(shù)目x對(duì)每周加班工作時(shí)間y有顯著的影響。（9）做相關(guān)系數(shù)的顯著性檢驗(yàn)；分析-相關(guān)-雙變量，得到“相關(guān)分析表（表 5）”如下：Correlati ons每周簽發(fā)的新 保單數(shù)目x每周加班工作 時(shí)間y每周簽發(fā)

24、的新保單數(shù)目P ears onCorrelati on1.949*Sig. (2-tailed).000N1010每周加班工作時(shí)間yP ears onCorrelati on.949*1Sig. (2-tailed).000N1010*. Correlation is sig nifica nt at the 0.01 level (2-tailed).由上表可知，相關(guān)系數(shù)為0.949，說(shuō)明x與y顯著線(xiàn)性相關(guān)。 （10）對(duì)回歸方程作殘差圖并作相應(yīng)的分析；1 .Or.e- &-Q.4- .2-DO1.0Normal P-P Plot of Rcgressiorh Standardized Res

25、idualDependent Variable：每周力【田上工作汗r才間yIDIJ20 40-60.0Ob&rved Cum Probqad Enlp 呂zwdlg從上圖可以看出，殘差是圍繞e=0隨即波動(dòng)的，滿(mǎn)足模型的基本假設(shè)。(11)該公司預(yù)計(jì)下一周簽發(fā)新保單xo=iooo張，需要的加班時(shí)間是多少?當(dāng) x0=1000 張時(shí),y。=0.118+0.004 X 1000=4.118 小時(shí)。(12)給出y0的置信水平為95%勺精確預(yù)測(cè)區(qū)間和近似預(yù)測(cè)區(qū)間。(13)給出E ( y0 )置信水平為95%勺區(qū)間估計(jì)。 最后兩問(wèn)一起解答：在計(jì)算回歸之前，把自變量新值x0輸入樣本數(shù)據(jù)中，因變量的相應(yīng)值空缺，然

26、后在Save對(duì)話(huà)框中點(diǎn)選Individul和Mean計(jì)算因變量單個(gè)新值y0和因變量平均值E(y0)的置信區(qū)間。結(jié)果顯示在原始數(shù)據(jù)表中，如下圖所示(由于排版問(wèn)題，中間部分圖省略)：每周讎的新1保鞘目乂每周姬工作時(shí)間yLWUMCIJLICI_1UICI_1S253.52.720513.431221.13291.238442151.0.252531.525342.16577107014.013.49364.414752.755315.1.31455012.01.683afl2.49611.9108S3.269054801.01.39U62.283533.(131859203.03.034323798692.245384.aB?b213&04.54.288023.56413G.2.1993251.5733C101.B335&.M712!2.55巾3.02158892.B814i1.35577164b712155.D13.91169.036443.2324G5715671000-I3.283734.122792.51949iaB?03y0的精確預(yù)測(cè)區(qū)間為：2.5