應用回歸分析課后習題參考答案

1、2.1一元線性回歸模型有哪些基本假定？答：1.解釋變量XX2，上Xp,是非隨機變量，觀測值Xi!,Xi2,上，Xp是常數(shù)。2. 等方差及不相關的假定條件為日叨=0,i =1,2,A ,nk2，i = jcov(ij) h(i, j =1,2A , n)0,i幻這個條件稱為高斯-馬爾柯夫(Gauss-Markov)條件，簡稱G-M條件。在此條 件下，便可以得到關于回歸系數(shù)的最小二乘估計及誤差項方差 二2估計的一些重 要性質，如回歸系數(shù)的最小二乘估計是回歸系數(shù)的最小方差線性無偏估計等。3. 正態(tài)分布的假定條件為廠2(N(0衛(wèi)),i=1,2A,n3, %,A , %相互獨立在此條件下便可得到關于回歸

2、系數(shù)的最小二乘估計及-2估計的進一步結果，如它們分別是回歸系數(shù)的最及 匚2的最小方差無偏估計等，并且可以作回歸的顯著性檢驗及區(qū)間估計。4. 通常為了便于數(shù)學上的處理，還要求n p,及樣本容量的個數(shù)要多于解 釋變量的個數(shù)。在整個回歸分析中，線性回歸的統(tǒng)計模型最為重要。一方面是因為線性回歸的應用最廣泛；另一方面是只有在回歸模型為線性的假設下，才能的到比較深入和一般的結果；再就是有許多非線性的回歸模型可以通過適當?shù)霓D化變?yōu)榫€性回 歸問題進行處理。因此，線性回歸模型的理論和應用是本書研究的重點。1. 如何根據(jù)樣本(Xi,xi2,上，xip; yj(i =1,2,上，n)求出：0, “ ：2,上廠p及方

3、差匚2的估計；2. 對回歸方程及回歸系數(shù)的種種假設進行檢驗；3. 如何根據(jù)回歸方程進行預測和控制，以及如何進行實際問題的結構分析。2.2考慮過原點的線性回歸模型% =1氷 ；i, i =1,2，n誤差；!，；2，上，；n仍滿足基本假定。求的最小二 乘估計。nn答：Q( 1)八( -E(yJ)2 八-譏)2i =1i =i.:Q一(y - -iXi)Xii丄xyi 2 '-a x2i di Jn=0,即 v Xi yii 4n'Xiyii 4n、Xi2i丄n送xw解得,即!？的最小二乘估計為f?2i 4I-l.:.y2.3 證明：Q ( ' 0 ,1)=刀(yi-0-1

4、Xi )2fBP因為 Q (0,1)=min Q (0,1 )-Q:?2:Q而Q ( o,1 )非負且在R上可導,當Q取得最小值時，有0A AA呱即-2 刀(yi- 0- 1 Xi )=0-2刀(yi - ： 0- 1 Xi) Xi =0A Aa A又e = yi -( °0+°1 x )= yi - B 0 -卩1 Xi.” e =o,刀 e x =0(即殘差的期望為0,殘差以變量X的加權平均值為零)2.4解：參數(shù)B 0,B 1的最小二乘估計與最大似然估計在&iN(0,2 )i=1,2，n的條件下等價。2 .證明：因為；i N(* ),i "2.

5、6;2 所以Yi 八 01X1N(： 01X1,1) 其最大似然函數(shù)為nL(：0, r盧2)=二：/i(Yi) =(2=2)/2exp-2' M -(：0 T0,X2Ln山札戸®2)=才1 n( 2心2)-1 n2、 1 、2 J2-id22 imYi -( r 0,Xi)2已知使得Ln (L)最大的氏,翼就是B , P的最大似然估計值。0 1nnQ=E (Yi -YV =遲(Y 偲 +%Xi)2即使得下式最?。?1因為恰好就是最小二乘估計的目標函數(shù)相同。2所以，在；iN(0f ),i胡,2,.n的條件下，參數(shù)b 0,b 1的最小二乘估計與最大似然估計等價2.5.證明：0是：

6、0的無偏估計。證明:若要證明：0是：0的無偏估計，則只需證明E( ：0)= ：0。X-M = Lxy / Lxx因為：0，：1的最小二乘估計為y 一 -x其中Lxy八(Xi -x)(yi y)二為 Xiyi nxy 二為 Xi yiXi 二 yinLxx八(Xi X)2 二亠 Xi22-nx=112XiXi)2E( 0)=E(一 ?x %y 一 ?-X ) = E(門 i 4-X'Xj -x yi )=E y n-x£)yiLxx=E_ XjXxLxx-L-XiJ=E(其中(-i生n_ Xi -XxLxx)+E( v(丄一 X) -XiLxx)+E( v n(呂Lxx)Xi

7、_X) '0Lxx(丄-x”) ,(n-n LnLxx產(chǎn)、(Xi X)Lxx iT遲(Xi由于y-X)=0,所以 7 n Lxx = 0Lxx-XXi)'-( (Xi -X)Xi)Lxx i 呂Lxx：i(XLxx i d(Xi-X)(Xi-X) 一 _)=1(X - x) =0yi ='o-Xi；又因為一元線性回歸模型為各r獨立同分布,其分布為 N(0f2)所以E(；i)=0所以LXX、.(卡XX)：-XiX3)：0=e( e(o) -4(n_xLxx-'o所以:o是:o的無偏估計。八* yi2.6解：因為 n v,育yx,y Lxx yi聯(lián)立式，得到1 y

8、x八(x nL )y1i - XVar(:)二Var( x 0y n'xx)yn 1 Xi - X八(X*)Var(yi)i 胡 n Lxxn=xA &xL)LxxnLxx因為Lxx±(Xi-X)，沙十。xxi生，所以1 嘰。)監(jiān)(X)2y(XiX)2x'(X x)i=1LxxnLxx21 (X)_ n Lxx2(Xi x)丿(X)2.7證明平方和分解公式：SST=SSE+SSR一nn證明：sst=e(yyf =x (%-?)+(? -y2i =1i dnnn八?i -y 2 2、yi -?i)(?i -y ' yi -？)2i 1i di dnn八

9、V-、2、yi _?) 2 =SSR SSEi =1i =12.8驗證三種檢驗的關系，即驗證:(1) (n- 2)rtJ -r2；7(2)SSR/1Lxx 弭2SSE/(n»SSR 二：證明：(1)因為Lxx 和二SSEn -2，所以(n - 2)SSR(n-2)SSRssTSSEn-2SSESSESST2又因為rSSRSST,所以1 _rSST - SSR SSE(n -2)rSSTSST故(2)/-r2得證。SSR八(y?. -y)i呂n(彳？Xji生-y)2 八-x)-y)2n=送(f?(Xi _x)2 =l?2Lxxi 4l SSR/1F =SSE/(n -2)2.9 驗證(

10、2.63 )r式:var (e)=仁丄.xi-xnL xx證明：var (e) = var(y.-y.)= var (y.) - var (y.)-2cov (y.,y.)A.var (y.)var (0 °+A.p x.)1 x.-2cov (y.,y +- -2- 2a沁21 +(Xi-X)2b 21 + (xr x)nLxxInLxx1(Xi-x)-丄nLxx-02其中： covye Xix12= cov y j ,y covyi，（Xi-X）1 丿= cov(Xi-X)yi yiXX1 n ) -y，' y- x covin v i i22 xr x 2 十CJL x

11、x一 2、+ *i-X)nLxx注：各個因變量yi, y2 y是獨立的隨機變量var(X Y)二 var(X) var(Y)_2cov(X,Y)2.10用第9題證明A2CJ2'巳曰n-2 是二2的無偏估計量證明：E(Jn z n - 2 i =1Eyyi丄Jn - 2 i =1丄Jn - 2 i =1var ein-2 id2送1-幺二xlCTn Lxx(n - 2 b n-22=ff注：var(X)= E(x2)E(X )2 _ F2.11 驗證 r F n 2證明:SSRF 二 SSE(n -2)SSE_ (n-2)二 *(n_2)所以有 SSL FSSE2_SSR_ SSR _1

12、_1_ Fr 二苛二 SSR SSE = 1 SSE .（n-2）= F n-2/SSR i J /f 丿以上表達式說明r 2與 F等價，但我們要分別引入這兩個統(tǒng)計量，而不是只 引入其中一個。理由如下： r 2與 F，n都有關，且當n較小時，r較大，尤其當n趨向于2時，|r| 趨向于1，說明x與y的相關程度很高；但當n趨向于2或等于2時，可能回歸 方程并不能通過F的顯著性檢驗，即可能x與y都不存在顯著的線性關系。所以, 僅憑r較大并不能斷定x與y之間有密切的相關關系，只有當樣本量n較大時才 可以用樣本相關系數(shù)r判定兩變量間的相關程度的強弱。 F檢驗檢驗是否存在顯著的線性關系，相關系數(shù)的顯著性檢

13、驗是判斷回歸直線與回歸模型擬合的優(yōu)劣，只有二者結合起來，才可以更好的回歸結果的好壞。2.12如果把自變量觀測值都乘以2,回歸參數(shù)的最小二乘法估計 氏和岡會發(fā)生 什么變化？如果把自變量觀測值都加上 2,回歸參數(shù)的最小二乘估計 區(qū)和氏會發(fā) 生什么變化？解：解法（一）：我們知道當一必；i，E（yi）=時，用最小二乘法估1邑s刃-i-iA =山計的?和？分別為U當x： = 2xi時有錯誤!未找到引用源壬二一232丙=2x科1-1尹=丄士丈壬5+兀點）=戸+死直 « i-L沖 i-l將帶入得到爐y稲n£（年刃5刃2-1-竊i-1當Xj =2 Xj時 源。輕 2-1錯誤!未找到引用有錯

14、誤!未找到引用源。 錯誤!未找到引用源 將帶入得到雋=y-An另（陽-耳3 -刃 U1另（獰-初3-1解法（二）：當%=札+咕+遇，E（yJ=Po+0iX時，有nnQ（氏，片）二（y -E（yJ）2 =遲札眼）2i=1i =1當 x=2Xi 時 yi = ：0 2 ：iXj ；i 二 yi ix E（y）= ：o，2 ixinnnQ（B°,跆二遲（y-E（yy （yi+RiXi02毗=遲（y九 _Bix）2ii 4i當 Xi"=Xi +2y= Bo +加 +2當 +Bi = yi +21E（y；） = + 盼 +2為當nnnQ（ , J 八 A -E（yJ）2 八（yi 2

15、 r-一：。-一：必 - 2 J 八卜。_非）2i Ai Airh由最小二乘法可知,離差平方和Q（ :0 , :1）=Q（ :0 , :1） =Q（ :0, :1）時,其估計值應 當有錯誤!未找到引用源。即回歸參數(shù)的最小二乘估計 氐和網(wǎng)在自變量觀測值變化時不會變。2.13如果回歸方程錯誤!未找到引用源。相應的相關系數(shù)r很大，則用它預測時, 預測誤差一定較小。這一結論能成立嗎？對你的回答說明理由。解：這一結論不成立。因為相關系數(shù) r表示x與錯誤!未找到引用源。線性關系 的密切程度，而它接近1的程度與數(shù)據(jù)組數(shù)有關。n越小，r越接近1。n=2時, |r|=1。因此僅憑相關系數(shù)說明x與?有密切關系是不

16、正確的。只有在樣本量較 大時，用相關系數(shù)r判定兩變量之間的相關程度才可以信服， 這樣預測的誤差才 會較小。2.14解：（1）散點圖為：（2） x與y大致在一條直線上，所以x與y大致呈線性關系(3)得:到計算表：XY2(Xi -X)2(Yi -Y)(Xi -X)(Yi -Y)Y?&-Y)2(Y?-Yi)21104100206（-14）2（-4）2210Ifl-1aa1001013（-7）2（3）2320000200042010027727254044004034142(-6) 2和15100和Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均201

17、 n 2磴 Wn2sse 二空3所以回歸方程為：W = %十國X = -1 + 7X A2CF(4)J、330 6.1所以， 3時：N(00,+學聲2)0的置信區(qū)間為匕(x2；7丹k 21 : N(_1,)xx同理，因為Lxx，所以，查表知,GL辭給磁(班3陸AP1的置信區(qū)間為=20-3 7 - -1.xx0(5) 因為n LxxAA.所以，卩0的置信區(qū)間為(-21.21,19.21 ),卩1的置信區(qū)間為(0.91,13.09 )。2 SSR SSR 490(6) 決疋系數(shù)R20.817SST Lyy 600(7) 計算得出，方差分析表如下：方差來源平方和自由度均方F值SSR490149013

18、.364SSE110336.667SST6004查表知，F(xiàn)0.05(1,3)=10.13 , F值>F0.05(1,3)，故拒絕原假設，說明回歸 方程顯著。1的顯著性檢驗(8) 做回歸系數(shù)B計算t統(tǒng)計量：查表知，n -2)說明x和Y有顯著的線性關系(9)做相關系數(shù)r的顯著性檢驗：因為:2所以，相關系數(shù)R : 0.951=鮎曲=3.182。1匚7帀213.66 £/330 履3所以，t>t0.05/2(3)，所以接受原假設,只2嚴Si?SST Lyy 600因為查表知，n-2等于3時 =1%勺值為0.959 =5%勺值為0.878。所以，a =5%v|r|v 口 =故x與y

19、有顯著的線性關系。(10) 殘差表為:序號xyA y殘差e111064221013-33320200442027-75540346殘差圖為:(11) 當 X0=4.2 時苦A A其95%勺置信區(qū)間可近似為 近似為y±2口，即為：(17.1，392.15 解：(1) 畫散點圖；散點圖，得到散點圖(表 1)如下:圖形一舊對話框-fi X-7 5C-I1（2） x與y之間是否大致呈線性關系？ 由上面（1）散點圖可以看出，x與y之間大致呈線性關系。用最小二乘估計求出回歸方程；分析一回歸一線性，得到“回歸系數(shù)顯著性檢驗表（表 2）如 下:Coefficie ntsaModelUn sta nd

20、ardized Coefficie ntsSta ndardizedCoefficie ntstBStd. ErrorBeta1(Co nsta nt).118.355.333每周簽發(fā)的新保單數(shù)目x.004.000.9498.509a. Dependent Variable:每周加班工作時間y由上表可知:AAnJWulETii喘1.D-0=0.1181=0.004所以可得回歸方程為：y =0.118+0.004x（4）求回歸標準誤差二；分析一回歸一線性，得到“方析分析表（表 3）”如下:ANOVAbModelSum ofSquaresdfMean SquareFSig.1Regressi on

21、16.682116.68272.396.000aResidual1.8438.230Total18.5259a. Predictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時間y2=n -2v(yLyi)SSE 1.843=n - 2 =10 -2 =0.23=0.48由上表可得，SSE=1.843 n=10故回歸標準誤差為:P P(5)給出0與1的置信度為95%勺區(qū)間估計; 由表2可以看出，當置信度為95%寸，AP0的預測區(qū)間為：-0.701 , 0.937 1的預測區(qū)間為：0.003 , 0.005(6)計算x與y的決定

22、系數(shù)；分析一回歸一線性，得到“模型概要表(表 4)”如下:Model SummarybModelRR SquareAdjusted R SquareStd. Error of theEstimate1.949a.900.888.4800a. Predictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時間y由上表可知，x與y的決定系數(shù)為0.9，可以看到很接近于1,這就說明此 模型的擬合度很好。(7)對回歸方程作方差分析；由“方差分析表(表3)”可得，F(xiàn)-值=72.396，, B我們知道，當原假設H0： 1=0成立時，F(xiàn)服從自由

23、度為(1, n-2)的F分布(見 P38 )，臨界值 Fa ( 1，n-2) =F0.05 (1，8) =5.32因為 F-值=72.396>5.32 ,所以拒絕原假設，說明回歸方程顯著，即x與y有顯著的線性關系。（8）做回歸系數(shù)：1顯著性的檢驗；由“回歸系數(shù)顯著性檢驗表（表 2）”可得，A1的t檢驗統(tǒng)計量為t=8.509，對應p-值近似為0， pc， 說明每周簽發(fā)的新報單數(shù)目x對每周加班工作時間y有顯著的影響（9）做相關系數(shù)的顯著性檢驗；分析一相關一雙變量，得到“相關分析表（表 5）”如下:Correlati ons每周簽發(fā)的新保單數(shù)目x每周加班工作 時間y每周簽發(fā)的新保單數(shù)目xPea

24、rs onCorrelati on1.949*Sig. (2-tailed).000N1010每周加班工作時間yPears onCorrelati on.949*1Sig. (2-tailed).000N1010*. Correlation is significant at the 0.01 level (2-tailed).由上表可知，相關系數(shù)為0.949，說明x與y顯著線性相關。 （10）對回歸方程作殘差圖并作相應的分析；Normal P-P 尸lot of Regression Standardized ResidualDependent Variable:毎周加閔士-r1 作時問*U

25、.U0.2CJ.4口用.日1 .OObs rved Cu m ProbqEd E30 pfiMdlll從上圖可以看出，殘差是圍繞e=0隨即波動的，滿足模型的基本假設。(11) 該公司預計下一周簽發(fā)新保單 xo=iooo張，需要的加班時間是多少？當 x0=1000 張時,yo =0.118+0.004 X 1000=4.118 小時。(12) 給出y0的置信水平為95%勺精確預測區(qū)間和近似預測區(qū)間。(13) 給出E ( y0 )置信水平為95%勺區(qū)間估計。最后兩問一起解答：在計算回歸之前，把自變量新值x0輸入樣本數(shù)據(jù)中，因變量的相應值空 缺，然后在Save對話框中點選Individul 和Mean計算因變量單個新值y。和因 變量平均值E( y0)的置信區(qū)間。結果顯示在原始數(shù)據(jù)表中，如下圖所示(由于排版問題，中間部分圖省略)：y°的精確預測區(qū)間為：2.519 , 4.887E ( y° )的區(qū)間估計為：3.284, 4.123而y°的近似預測區(qū)間則根據(jù)y°-2二手動計算，結