應(yīng)用回歸分析,第4章課后習(xí)題參考答案

1、第4章 違背基本假設(shè)的情況思考與練習(xí)參考答案4.1 試舉例說明產(chǎn)生異方差的原因。答：例4.1：截面資料下研究居民家庭的儲(chǔ)蓄行為 Yi=b0+b1Xi+i其中：Yi表示第i個(gè)家庭的儲(chǔ)蓄額，Xi表示第i個(gè)家庭的可支配收入。由于高收入家庭儲(chǔ)蓄額的差異較大，低收入家庭的儲(chǔ)蓄額則更有規(guī)律性，差異較小，所以i的方差呈現(xiàn)單調(diào)遞增型變化。 例4.2：以某一行業(yè)的企業(yè)為樣本建立企業(yè)生產(chǎn)函數(shù)模型 Yi=Aib1 Kib2 Lib3ei被解釋變量：產(chǎn)出量Y，解釋變量：資本K、勞動(dòng)L、技術(shù)A，那么每個(gè)企業(yè)所處的外部環(huán)境對(duì)產(chǎn)出量的影響被包含在隨機(jī)誤差項(xiàng)中。由于每個(gè)企業(yè)所處的外部環(huán)境對(duì)產(chǎn)出量的影響程度不同，造成了隨機(jī)誤差

2、項(xiàng)的異方差性。這時(shí)，隨機(jī)誤差項(xiàng)的方差并不隨某一個(gè)解釋變量觀測值的變化而呈規(guī)律性變化，呈現(xiàn)復(fù)雜型。4.2 異方差帶來的后果有哪些？答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計(jì)模型參數(shù)，會(huì)產(chǎn)生下列不良后果：1、參數(shù)估計(jì)量非有效2、變量的顯著性檢驗(yàn)失去意義3、回歸方程的應(yīng)用效果極不理想總的來說，當(dāng)模型出現(xiàn)異方差性時(shí)，參數(shù)OLS估計(jì)值的變異程度增大，從而造成對(duì)Y的預(yù)測誤差變大，降低預(yù)測精度，預(yù)測功能失效。4.3 簡述用加權(quán)最小二乘法消除一元線性回歸中異方差性的思想與方法。答：普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)

3、等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。所以就是：對(duì)較大的殘差平方賦予較小的權(quán)數(shù)，對(duì)較小的殘差平方賦予較大的權(quán)數(shù)。這樣對(duì)殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計(jì)的精度。加權(quán)最小二乘法的方法：4.4簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運(yùn)用加權(quán)最小二乘法消

4、除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù) ，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為： （2）加權(quán)最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使式（2）的離差平方和達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做 （3） 多元回歸模型加權(quán)最小二乘法的方法:首先找到權(quán)數(shù)，理論上最優(yōu)的權(quán)數(shù)為誤差項(xiàng)方差的倒數(shù),即 （4）誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用; 誤差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計(jì)就是參數(shù)的最小方差線性無偏估計(jì)。一個(gè)需要解決的問題是誤差項(xiàng)的方差是未

5、知的,因此無法真正按照式（4）選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差通常與自變量的水平有關(guān)(如誤差項(xiàng)方差隨著自變量的增大而增大),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個(gè)自變量取值的平方成比例時(shí), 即=k時(shí),這時(shí)取權(quán)數(shù)為 （5）更一般的情況是誤差項(xiàng)方差與某個(gè)自變量(與|ei|的等級(jí)相關(guān)系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為 （6）這時(shí)確定權(quán)數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5（4.5）式一元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明：由得：4.6驗(yàn)證（4.8）式多元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明：對(duì)于多元線性回歸模型 （1） ，即存

6、在異方差。設(shè)，用左乘（1）式兩邊，得到一個(gè)新的的模型：，即。因?yàn)椋市碌哪Ｐ途哂型讲钚?，故可以用廣義最小二乘法估計(jì)該模型，得原式得證。4.7 有同學(xué)認(rèn)為當(dāng)數(shù)據(jù)存在異方差時(shí)，加權(quán)最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，兩者之間的差異就越大。你是否同意這位同學(xué)的觀點(diǎn)？說明原因。答：不同意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)（WLS）只是普通最小二乘估計(jì)（OLS）的改進(jìn)，這種改進(jìn)可能是細(xì)微的，不能理解為WLS一定會(huì)得到與OLS截然不同的方程來，或者大幅度的改進(jìn)。實(shí)際上可以構(gòu)造這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS 與OLS的結(jié)果一樣。加權(quán)最小二乘法不

7、會(huì)消除異方差，只是消除異方差的不良影響，從而對(duì)模型進(jìn)行一點(diǎn)改進(jìn)。4.8 對(duì)例4.3的數(shù)據(jù)，用公式計(jì)算出加權(quán)變換殘差，繪制加權(quán)變換殘差圖，根據(jù)繪制出的圖形說明加權(quán)最小二乘估計(jì)的效果。解：用公式計(jì)算出加權(quán)變換殘差，分別繪制加權(quán)最小二乘估計(jì)后的殘差圖和加權(quán)變換殘差圖（見下圖）。根據(jù)繪制出的兩個(gè)圖形可以發(fā)現(xiàn)加權(quán)最小二乘估計(jì)沒有消除異方差，只是對(duì)原OLS的殘差有所改善，而經(jīng)過加權(quán)變換后的殘差不存在異方差。4.9 參見參考文獻(xiàn)2，表4.12（P138）是用電高峰每小時(shí)用電量y與每月總用電量x的數(shù)據(jù)。（1）用普通最小二乘法建立y與x的回歸方程，并畫出殘差散點(diǎn)圖。解：SPSS輸出結(jié)果如下：由上表可得回歸方程為

8、：殘差圖為：（2）診斷該問題是否存在異方差；解：a由殘差散點(diǎn)圖可以明顯看出存在異方差，誤差的方差隨著的增加而增大。b用SPSS做等級(jí)相關(guān)系數(shù)的檢驗(yàn)，結(jié)果如下表所示：得到等級(jí)相關(guān)系數(shù)，P值=0.021，認(rèn)為殘差絕對(duì)值與自變量顯著相關(guān)，存在異方差。（3）如果存在異方差，用冪指數(shù)型的權(quán)函數(shù)建立加權(quán)最小二乘回歸方程；解：SPSS輸出結(jié)果如圖：Coefficientsa,b-.683.298-2.296.026.004.000.8129.930.000(Constant)xModel1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoeffic

9、ientstSig.Dependent Variable: ya. Weighted Least Squares Regression - Weighted by Weight for y from WLS, MOD_2x* -1.500b. 由上述表可得，在時(shí)對(duì)數(shù)似然函數(shù)達(dá)到最大，則冪指數(shù)的最優(yōu)取值為。加權(quán)后的回歸方程為：。計(jì)算加權(quán)后的殘差，并對(duì)殘差絕對(duì)值和自變量做等級(jí)相關(guān)系數(shù)分析，結(jié)果如下表所示：，P值為0.019<0.05，即加權(quán)最小二乘法沒有消除異方差，只是消除異方差的不良影響，從而對(duì)模型進(jìn)行一點(diǎn)改進(jìn)。Correlations1.000.321*.0195353.321*1.00

10、0.019.5353Correlation CoefficientSig. (2-tailed)NCorrelation CoefficientSig. (2-tailed)NxabseiwSpearman's rhoxabseiwCorrelation is significant at the 0.05 level (2-tailed).*. （4）用方差穩(wěn)定變換消除異方差。解：對(duì)應(yīng)變量做方差穩(wěn)定變換（）后，用最小二乘法做回歸，SPSS結(jié)果如下表：Coefficientsa.582.1304.481.000.001.000.8059.699.000(Constant)xModel1

11、BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: sqrtya. 則回歸方程為：。保存預(yù)測值，計(jì)算出殘差的絕對(duì)值后，計(jì)算等級(jí)相關(guān)系數(shù)，見下表：其中，P值=0.254>0.05，說明異方差已經(jīng)消除。4.10 試舉一可能產(chǎn)生隨機(jī)誤差項(xiàng)序列相關(guān)的經(jīng)濟(jì)例子。答：例如，居民總消費(fèi)函數(shù)模型： Ct=b0+b1Yt+ t t=1,2,n由于居民收入對(duì)消費(fèi)影響有滯后性，而且今年消費(fèi)水平受上年消費(fèi)水平影響，則可能出現(xiàn)序列相關(guān)性。另外由于消費(fèi)習(xí)慣的影響被包含在隨機(jī)誤差項(xiàng)中，則可能

12、出現(xiàn)序列相關(guān)性（往往是正相關(guān) ）。4.11 序列相關(guān)性帶來的嚴(yán)重后果是什么？答：直接用普通最小二乘法估計(jì)隨機(jī)誤差項(xiàng)存在序列相關(guān)性的線性回歸模型未知參數(shù)時(shí)，會(huì)產(chǎn)生下列一些問題：1. 參數(shù)估計(jì)量仍然是無偏的，但不具有有效性，因?yàn)橛凶韵嚓P(guān)性時(shí)參數(shù)估計(jì)值的方差大于無自相關(guān)性時(shí)的方差。2. 均方誤差MSE可能嚴(yán)重低估誤差項(xiàng)的方差3. 變量的顯著性檢驗(yàn)失去意義：在變量的顯著性檢驗(yàn)中，統(tǒng)計(jì)量是建立在參數(shù)方差正確估計(jì)基礎(chǔ)之上的，當(dāng)參數(shù)方差嚴(yán)重低估時(shí)，容易導(dǎo)致t值和F值偏大，即可能導(dǎo)致得出回歸參數(shù)統(tǒng)計(jì)檢驗(yàn)和回歸方程檢驗(yàn)顯著，但實(shí)際并不顯著的嚴(yán)重錯(cuò)誤結(jié)論。4. 當(dāng)存在序列相關(guān)時(shí)， 仍然是的無偏估計(jì)，但在任一特定的

13、樣本中， 可能嚴(yán)重歪曲b的真實(shí)情況，即最小二乘法對(duì)抽樣波動(dòng)變得非常敏感5. 模型的預(yù)測和結(jié)構(gòu)分析失效。4.12 總結(jié)DW檢驗(yàn)的優(yōu)缺點(diǎn)。答：優(yōu)點(diǎn)：1.應(yīng)用廣泛，一般的計(jì)算機(jī)軟件都可以計(jì)算出DW值； 2.適用于小樣本； 3.可用于檢驗(yàn)隨機(jī)擾動(dòng)項(xiàng)具有一階自回歸形式的序列相關(guān)問題。缺點(diǎn)：1. DW檢驗(yàn)有兩個(gè)不能確定的區(qū)域，一旦DW值落入該區(qū)域，就無法判斷。此時(shí)，只有增大樣本容量或選取其他方法； 2.DW統(tǒng)計(jì)量的上、下界表要求n>15，這是由于樣本如果再小，利用殘差就很難對(duì)自相關(guān)性的存在做出比較正確的診斷； 3.DW檢驗(yàn)不適應(yīng)隨機(jī)項(xiàng)具有高階序列相關(guān)性的檢驗(yàn)。4.13 表4.13中是某軟件公司月銷售

14、額數(shù)據(jù)，其中，x為總公司的月銷售額（萬元）;y為某分公司的月銷售額（萬元）。（1）用普通最小二乘法建立y與x的回歸方程；由上表可知：用普通二乘法建立的回歸方程為（2）用殘差圖及DW檢驗(yàn)診斷序列的相關(guān)性； 1.以自變量x為橫軸，普通殘差為縱軸畫殘差圖如下：從圖中可以看到，殘差有規(guī)律的變化，呈現(xiàn)大致反W形狀，說明隨機(jī)誤差項(xiàng)存在自相關(guān)性。2.以（殘差1）為橫坐標(biāo)，（殘差）為縱坐標(biāo)，繪制散點(diǎn)圖如下：由殘差圖可見大部分的點(diǎn)落在第一、三象限內(nèi)，表明隨機(jī)擾動(dòng)項(xiàng)存在著正的序列相關(guān)；3.從下表可知DW值為0.663，查DW表，n=20,k=2,顯著性水平=0.05，得=1.20,=1.41,由于0.663<

15、;1.20,知DW值落入正相關(guān)區(qū)域，即殘差序列存在正的自相關(guān)。（3）用迭代法處理序列相關(guān)，并建立回歸方程。自相關(guān)系數(shù)令，然后用對(duì)作普通最小二乘回歸可得輸出結(jié)果如下：可看到新的回歸方程的DW=1.360.且1.18<1.360<1.40,因而DW檢驗(yàn)落入不確定區(qū)域此時(shí)，一步迭代誤差項(xiàng)的標(biāo)準(zhǔn)差為0.07296，小于的標(biāo)準(zhǔn)差0.097對(duì)的回歸方程為=-0.3+0.173，將=-0.6685，=-0.6685代人，還原為原始變量的方程=-0.3+0.6685+0.173-0.1157由于一步迭代的DW檢驗(yàn)落入不確定區(qū)域，因而可以考慮對(duì)數(shù)據(jù)進(jìn)行二步迭代，也就是對(duì)和重復(fù)以上迭代過程。進(jìn)行回歸結(jié)

16、果如下：此時(shí)DW的值為1.696，查DW表，n=18，k=2，顯著性水平=0.05，得=1.16,=1.39, DW值大于，小于2，落入無自相關(guān)區(qū)域。誤差標(biāo)準(zhǔn)項(xiàng)0.0849，略小于一步迭代的標(biāo)準(zhǔn)差0.7296。但是在檢驗(yàn)都通過的情況下，由于一步迭代的值和F值均大于兩步迭代后的值，且根據(jù)取模型簡約的原則，最終選擇一步迭代的結(jié)果，即：=-0.3+0.6685+0.173-0.1157（4）用一階差分的方法處理數(shù)據(jù)，建立回歸方程；先計(jì)算差分=-，=-，然后用對(duì)做過原點(diǎn)的最小二乘回歸，結(jié)果如下：由上面表，可知DW值為1.462>1.40=，即DW落入不相關(guān)區(qū)域，可知?dú)埐钚蛄胁淮嬖谧韵嚓P(guān)，一階差分

17、法成功地消除了序列自相關(guān)。同時(shí)得到回歸方程為=0.169，將=-，=-，代人，還原原始變量的方程=+0.169（-）（5）比較普通最小二乘法所得的回歸方程和迭代法、一階差分法所建立回歸方程的優(yōu)良性。答：本題中自相關(guān)系數(shù)0.6685，不接近于1，不適宜用差分法，另外由迭代法的F值及都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差為0.09744，大于迭代的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差0.07296，所以迭代的效果要優(yōu)于普通最小二乘法，所以本題中一次迭代法最好。4.14 某樂隊(duì)經(jīng)理研究其樂隊(duì)CD盤的銷售額（y），兩個(gè)有關(guān)的影響變量是每周出場次x1和樂隊(duì)網(wǎng)站的周點(diǎn)擊率x2，數(shù)

18、據(jù)見表4.14。（1）用普通最小二乘法建立y與x1、x2的回歸方程，用殘差圖及DW檢驗(yàn)診斷序列的自相關(guān)性；解：將數(shù)據(jù)輸入SPSS，經(jīng)過線性回歸得到結(jié)果如下：Model Summary(b)ModelRR SquareAdjusted R SquareStd. Error of the EstimateDurbin-Watson1.541(a).293.264329.69302.745a Predictors: (Constant), x2, x1b Dependent Variable: yANOVA(b)Model Sum of SquaresdfMean SquareFSig.1Regre

19、ssion2205551.67821102775.83910.145.000(a) Residual5326177.03649108697.491 Total7531728.71451 a Predictors: (Constant), x2, x1b Dependent Variable: y由以上3個(gè)表可知普通最小二乘法建立y與x1、x2的回歸方程，通過了r、F、t檢驗(yàn)，說明回歸方程顯著。y與x1、x2的回歸方程為：y=-574.062+191.098x1+2.045x2殘差圖ei(et)ei1(et-1)為：從殘差圖可以看出殘差集中在1、3象限，說明隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。DW=0.

20、745查表得dl=1.46 du=1.63, 0<DW<dl, 所以隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。（2）用迭代法處理序列相關(guān)，并建立回歸方程。=1-0.5DW=0.6275做變換:x1t=x1t-x1(t-1), x2t=x2t-x2(t-1)yt=yt-yt-1建立yt與x1t, x2t的回歸方程,SPSS輸出為:DW=1.716>du 所以誤差項(xiàng)間無自相關(guān)性。=257.86回歸方程為:yt=-178.775+211.11x1t+1.436x2t還原為:yt-0.627y(t-1)= -178.775+211.11*(x1t-0.627x1(t-1) +1.436*( x2t

21、-0.627x2(t-1)(3)用一階差分法處理序列相關(guān)，建立回歸方程。Model Summary(c,d)ModelRR Square(a)Adjusted R SquareStd. Error of the EstimateDurbin-Watson1.715(b).511.491280.989952.040a For regression through the origin (the no-intercept model), R Square measures the proportion of the variability in the dependent variable abo

22、ut the origin explained by regression. This CANNOT be compared to R Square for models which include an intercept.b Predictors: DIFF(x2,1), DIFF(x1,1)c Dependent Variable: DIFF(y,1)d Linear Regression through the OriginDW=2.040>du，所以消除了自相關(guān)性，=280.99差分法回歸方程為: ytyt-1=210.117(x1t-x1(t-1)1.397(x2t-x2(t

23、-1).(4)用最大似然法處理序列相關(guān)，建立回歸方程。用SPSS軟件的自回歸功能，analyze>time series>autoregression: =0.631, =258.068, (5)用科克倫-奧克特迭代法處理序列相關(guān)，建立回歸方程 =0.632, =260.560 , DW1.748。（6）用普萊斯-溫斯登迭代法處理序列相關(guān)，建立回歸方程。 =0.632, =258.066 , DW1.746。（7）比較以上各方法所建回歸方程的優(yōu)良性。綜合以上各方法的模型擬合結(jié)果如下表所示：自回歸方法DW迭代法0.6275-179.0211.11.4371.716257.86差分法0

24、210.11.3972.040280.99精確最大似然0.631-481.7211.01.436258.07科克倫-奧克特0.632-479.3211.11.4351.748260.560普萊斯-溫斯登0.631-487.1211.01.4351.746258.066由上表可看出：DW值都落在了隨機(jī)誤差項(xiàng)無自相關(guān)性的區(qū)間上，一階差分法消除自相關(guān)最徹底，但因?yàn)?0.627,并不接近于1,故得到的方差較大,擬合效果不理想。將幾種方法所得到的值進(jìn)行比較，就可知迭代法的擬合效果最好，以普萊斯-溫斯登法次之，差分法最差。4.15 說明引起異常值的原因和消除異常值的方法。答：通常引起異常值的原因和消除異常

25、值的方法有以下幾條，見表4.10：4.16 對(duì)第3章習(xí)題11做異常值檢驗(yàn)。研究貨運(yùn)總量y（萬噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關(guān)系。（1）利用SPSS建立y與x1，x2，x3的三元回歸方程，分別計(jì)算普通殘差，學(xué)生化殘差，刪除殘差，刪除學(xué)生化殘差，中心化杠桿值，庫克距離，見下表：從表中看到絕對(duì)值最大的學(xué)生化殘差為SRE=2.11556，小于3，但有超過3的個(gè)別值，因而根據(jù)學(xué)生化殘差診斷認(rèn)為存在異常值。絕對(duì)值最大的刪除學(xué)生化殘差為3.832，對(duì)應(yīng)為第6個(gè)數(shù)據(jù)，因此判斷它為為異常值。第6個(gè)數(shù)據(jù)的中心化杠桿值為0.64，位于第一大，大于2=2=0.6，且

26、庫克距離為3.21位于第一大，因而從杠桿值看是第6個(gè)數(shù)據(jù)是自變量的異常值，同時(shí)庫克距離大于1，故第6個(gè)數(shù)據(jù)為異常值的原因是由自變量異常與因變量異常兩個(gè)共同原因引起的。編號(hào)yX1X2X3殘差學(xué)生化殘差刪除殘差刪除學(xué)生化殘差12345678910 160 260 210 265 240 220 275 160 275 250 70 75 65 74 72 68 78 66 70 65 35 40 40 42 38 45 42 36 44 42 1.0 2.4 2.0 3.0 1.2 1.5 4.0 2.0 3.2 3.0 -15.47481 12.82499 5.34434 -0.09088 33.22549 -25.19759 -17.55450 -20.00684 8.23435 18.69545-.893530.627670.26517-.004331.75400-2.11566-1.17348-1.162810.409351.06462 -28.35150 16.880527.22979-0.1135150.88273-97.61523-43.10665-37.1386811.1828733.31486-0.8