應用回歸分析 整理課后習題參考答案

1、第二章一元線性回歸分析思考與練習參考答案2.1一元線性回歸有哪些基本假定？答：假設1、解釋變量X是確定性變量，丫是隨機變量;假設2、隨機誤差項具有零均值、同方差和不序列相關性:E( e)=0Var ( i)= 2i=1,2,ni=1,2,nCov( E j)=0假設3、隨機誤差項i 工 j i,j= 1,2,n與解釋變量X之間不相關：Cov(Xi, i)=0i=1,2,n假設4、&服從零均值、同方差、零協(xié)方差的正態(tài)分布iN(0, 2)i=1,2,n2.2考慮過原點的線性回歸模型Yi= 0Xi+i=1,2,n誤差& (i=1,2,),n仍滿足基本假定。求 的最小二乘估計精選解:ni 1?1n(Y

2、i?1Xi)Xi 0n(Yi ?1Xi)2i 1得:n(X iYi)i 1n2(Xi )i 12.3證明(2.27 式),ei =0eiXi=0 oQ證明：n(Y 丫?)2(丫(?0?XJ)2其中：Y? ? ?Xie Y Y?Q 0Q 門? 0 1V 仏 + 肚I； )A； = 0(?)11即:e =0eXi=02.4回歸方程E (Y)=少+ 0X的參數(shù)少，0的最小二乘估計與最大似然估計在什么條件下等價？給出證明答：由于 jN(O, 2)i=1,2,ni)精選所以 Yi= 0 + 0X + N ( 0+ 0Xi ,2 )最大似然函數(shù):L( o,1,2)LnL( o, i1 nn2 、 n/2i

3、 i fi(Yi)(2) exp 2Yi2 i 1 n2 n212)In(22) 2Yi ( 01222 i 12(01 0,Xi) 0,Xi)2使得Ln (L)最大的?0 , ?1就是0, 0的最大似然估計值。同時發(fā)現(xiàn)使得Ln (L)最大就是使得下式最小，nnQ(Yi Y?)2 (Y (?0?Xi)211上式恰好就是最小二乘估計的目標函數(shù)相同。值得注意的是：最大似然估 計是在N(0, 2)的假設下求得，最小二乘估計則不要求分布假設。所以在iN(0, 2 )的條件下，參數(shù)0, 0的最小二乘估計與最大似然估 計等價。2.5證明是0的無偏估計。證明：E(X + XYi)i 1 Lxx1 nE(Y

4、?1X) E Yin i 12.6證明Var(證明:Var( GE 0 (i 1 nE 01(-nX jYiL xxE 0 (-n-XXii 1 nX2Xi Xi 1LxxX)iX)( 0LxxLxx1XiX)E(i)-)22X2r)xxVar(丄i 1 nXixx(丄i 1 nX )2Var( 01XiLxx(-)2 2Xi 1 nbXi X Xi XxxnLxx)2X2臺2xx2.7證明平方和分解公式:SST=SSE+SSR證明：SSTYiYiYi)2YiYii 1Yii 1Yi)2SSRSSE2.8驗證三種檢驗的關系，即驗證:(1) t (n 2)rSSR/1”1 r2 F SSE/(n

5、2)L ?2xx 1?2t2證明：(1)?xxyy Lxx(2)SSR(?i1.?2 Lxxy)2SSR/1SSE/(n 2)SSE(Lxx( n 2)SSE (n2)、SSESST j r2(?0i 1?2g_xx22.9 驗證(2.63)式:證明:?1Xiy)2(y?(人x)y)2n(?(Xi x)2?2Lxxi 1t2Var(ei )(XiL XXvar(e) var(yj :?) var(yi) var( ?xj 21 (xi X)2, nLxx(Xi x)22Lxx1 1 nvar(yj var(?2cov( y, y2丄n(XiLxx2cov( yi,：?) ?(Xi x) x)2

6、精選Cov(yi, y ?1(Xi1 n其中：Cov(yi,yi)n i 11 2 X X)2nLxxX)(XiCov(yi, y) Cov(yi, ?1(Xi n (Xi X)、 n比)i 1 Lxx(Xi X)2) 2LxxX)Cov( y ,(-nX)2.10用第9題證明2的無偏估計量證明:E( ?2)1n 2 i 1nvar(e)1nE(yi1 n 2 i 丄(n 2) 2 n 2nE(e2)n 2 i 12口 1 XL】2?)2n 2 i 1 nLxx2.14為了調查某廣告對銷售收入的影響， 某商店記錄了 5個月的銷售收入y （萬 元）和廣告費用x （萬元），數(shù)據見表2.6,要求用手

7、工計算：表2.6月份12345X12345Y1010202040（1）畫散點圖（略）（2）X與丫是否大致呈線性關系?答：從散點圖看，X與丫大致呈線性關系（3）用最小二乘法估計求出回歸方程。計算表X丫(Xi X)22 (Yi Y)(Xi X)(Yi Y)Y?(Y? 丫)2& Yi)21104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2和15100和 Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均2017C? X 20 3 71.?xyxx10

8、 7,?0 Y1 L回歸方程為:Y? ?0? X1 7X(4)求回歸標準誤差先求SSR (Qe)見計算表。所以 Qe110.n 2: 36.055.AVV*第二早3.3證明?2 SSE n p1隨機誤差項的方差2的無偏估計。證明:1 1Q ?SSE -n p 1n p 1nnn2 2E( e ) D(e)(1 hH)i 1i 1i 11 nE( ?2)- e( e2)2n p 1 i 1(ee)-n1p 1 i 1n2 2(1 hH) (ni 1n2hn)(n p 1)i 13.4 一個回歸方程的復相關系數(shù)R=0.99，樣本決定系數(shù)氏=0.9801，我們能判斷這個回歸方程就很理想嗎?答：不能斷

9、定這個回歸方程理想。因為：1. 在樣本容量較少，變量個數(shù)較大時，決定系數(shù)的值容易接近1，而此時可能F檢驗或者關于回歸系數(shù)的t檢驗，所建立的回歸方 程都沒能通過。2. 樣本決定系數(shù)和復相關系數(shù)接近于1只能說明 Y與自變量X1,X2,Xp整體上的線性關系成立，而不能判斷回歸方程和每 個自變量是顯著的，還需進行 F檢驗和t檢驗。3. 在應用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得 R2往往增大，因此增加解釋變量(尤其是不顯著的解釋變量)個數(shù)引起的R2的增大與擬合好壞無關。3.7驗證 ？n 其中：Ljj (Xij Xj)2i 1證明：多元線性回歸方程模型的一

10、般形式為:y01X12X2LpXp其經驗回歸方程式為?0?2X2L?pXp又？ y ?為?2X2 L?pXp故？ y ?(% N) ?區(qū)X2)L?p(XpXp)，中心化后，則有? y? (x1X1)2(X2X2) L?p(XpXp)，左右同時除以Lyy.(Yi7)2，n令 Ljj(Xj Xj)2,i 1,2,L ,n，j 1,2,L ,pi 1? y樣本數(shù)據標準化的公式為1,2,L ,p則上式可以記為YiX1Xi 2 LXp?1X1X2 L則有?j ?,j1,2,L,pLyy3.11研究貨運總量y （萬噸）與工業(yè)總產值x1 （億元）、農業(yè)總產值 x2 （億元）、居民非商品支出x3 （億元）的關

11、系。數(shù)據見表3.9 （略）。（1）計算出y，x1，x2，x3的相關系數(shù)矩陣。SPSS輸出如下：相關系數(shù)表yx1x2x3yPears on Correlati on1.556.731*.724*Sig. (2-tailed).095.016.018N10101010x1Pears on Correlati on.5561.113.398Sig. (2-tailed).095.756.254N10101010x2Pears on Correlati on.731*.1131.547Sig. (2-tailed).016.756.101N10101010x3Pears on Correlati on

12、.724*.398.5471Sig. (2-tailed).018.254.101N10101010.Correlation is significant at the 0.05 level (2-tailed).1.000 0.556 0.731 0.7240.556 1.000 0.113 0.398 則相關系數(shù)矩陣為：r 0.731 0.113 1.000 0.5470.724 0.398 0.547 1.000(2) 求出y與x1，x2, x3的三元回歸方程。ModelUn sta ndardized Coefficie ntsStan dardized Coefficie ntstS

13、ig.BStd. ErrorBeta1(Co nsta nt)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284Coe fficientsaa. Depe ndent Variable: y對數(shù)據利用SPSS故線性回歸，得到回歸方程為?348.38 3.754x1 7.101x2 12.447 x3（3）對所求的方程作擬合優(yōu)度檢驗。Model Summ aryModelRR SquareAdjusted R SquareStd. E rror

14、 of the Estimate1.898 a.806.70823.44188a. Predictors: (Constant), x3, x1, x2由上表可知，調整后的決定系數(shù)為 0.708，說明回歸方程對樣本觀測值的擬合程度較好。（4）對回歸方程作顯著性檢驗；方差分析表bModel平方和自由度均方FSig.1回歸13655.37034551.7908.283.015a殘差3297.1306549.522總和16952.5009a. Predictors: (Con sta nt), x3, x1, x2b. Depe ndent Variable: y原假設：Ho: 1230F統(tǒng)計量服從

15、自由度為（3，6）的F分布，給定顯著性水平=0.05，查表得 F0.05（3.6）4.76 ,由方查分析表得，F(xiàn)值=8.2834.76，p值=0.015， 拒絕原假設H。，由方差分析表可以得到F 8.283,P 0.015 0.05，說明在置信水平為95%F，回歸方程顯著。(5) 對每一個回歸系數(shù)作顯著性檢驗;回歸系數(shù)表aModelUn sta ndardized Coefficie ntsStan dardized Coefficie ntstSig.BStd. ErrorBeta1(Co nsta nt)-348.280176.459-1.974.096x13.7541.933.3851.

16、942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284a. Depe ndent Variable: y做t檢驗：設原假設為Ho： i 0 ,ti統(tǒng)計量服從自由度為n-p-1 = 6的t分布，給定顯著性水平0.05，查 得單側檢驗臨界值為1.943 , X啲t值=1.9421.943。拒絕原假設。由上表可得，在顯著性水平 0.05時，只有X2的P直 E(D 1 e D-1 ) D 1E( e )D-1 D 1 2WD-12| ,故新的模型具有同方差性，故可以用廣義最小二乘法估計該模型，得?w (X X ) 1X y (X D 1

17、D 1X) 1X D 1 D 1y (X WX) 1X Wy原式得證。4.7有同學認為當數(shù)據存在異方差時，加權最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴重，兩者之間的差異就越大。你是否同意這位同學的觀點？說明原因。答：不同意。當回歸模型存在異方差時，加權最小二乘估計( WLS )只是普通 最小二乘估計(OLS)的改進，這種改進可能是細微的，不能理解為 WLS 一定 會得到與OLS截然不同的方程來，或者大幅度的改進。實際上可以構造這樣的 數(shù)據，回歸模型存在很強的異方差，但 WLS 與 OLS 的結果一樣。加權最小二 乘法不會消除異方差，只是消除異方差的不良影響，從而對

18、模型進行一點改進。 第五章5.4 試述前進法的思想方法。答： 前進法的基本思想方法是：首先因變量 Y 對全部的自變量 x1,x2,.,xm 建立 m 個一元線性回歸方程 , 并計算 F 檢驗值，選擇偏回歸平方和顯著的變量（ F 值 最大且大于臨界值）進入回歸方程。每一步只引入一個變量，同時建立m1 個二元線性回歸方程， 計算它們的 F 檢驗值，選擇偏回歸平方和顯著的兩變量變量 （F 值最大且大于臨界值）進入回歸方程。在確定引入的兩個自變量以后，再引 入一個變量，建立m 2個三元線性回歸方程，計算它們的 F檢驗值，選擇偏回 歸平方和顯著的三個變量（ F 值最大）進入回歸方程。不斷重復這一過程，直

19、到 無法再引入新的自變量時，即所有未被引入的自變量的 F 檢驗值均小于 F 檢驗 臨界值Fa （1,n-p-1）,回歸過程結束。5.5 試述后退法的思想方法。答：后退法的基本思想是：首先因變量 Y 對全部的自變量 x1,x2,.,xm 建立一個 m 元線性回歸方程 , 并計算 t 檢驗值和 F 檢驗值，選擇最不顯著（ P 值最大且大 于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。 每一步只剔除一個變量， 再 建立 m 1 元線性回歸方程，計算 t 檢驗值和 F 檢驗值，剔除偏回歸系數(shù)的 t 檢 驗值最?。≒值最大）的自變量，再建立新的回歸方程。不斷重復這一過程，直 到無法剔除自變量時， 即所有剩余 p 個自變量的 F 檢驗值均大于 F 檢驗臨界值 F a （1,n-p-1），回歸過程結束。5.6 前進法、后退法各有哪些優(yōu)缺點？ 答：