應用回歸分析課后答案浙江萬里學院

1、2.1 一元線性回歸有哪些基本假定?答： 假設1、解釋變量X是確定性變量，Y是隨機變量； 假設2、隨機誤差項具有零均值、同方差和不序列相關性： E(i)=0 i=1,2, ,n Var (i)=s2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假設3、隨機誤差項與解釋變量X之間不相關： Cov(Xi, i)=0 i=1,2, ,n 假設4、服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, s2 ) i=1,2, ,n2.2 考慮過原點的線性回歸模型 Yi=1Xi+i i=1,2, ,n誤差i（i=1,2, ,n）仍滿足基本假定。求1的最小二乘估計解：得：2.3

2、 證明（2.27式），Sei =0 ，SeiXi=0 。證明：其中：即： Sei =0 ，SeiXi=02.4回歸方程E（Y）=0+1X的參數(shù)0，1的最小二乘估計與最大似然估計在什么條件下等價?給出證明。答：由于iN(0, s2 ) i=1,2, ,n所以Yi=0 + 1Xi + iN（0+1Xi , s2 )最大似然函數(shù)：使得Ln（L）最大的，就是0，1的最大似然估計值。同時發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，上式恰好就是最小二乘估計的目標函數(shù)相同。值得注意的是：最大似然估計是在iN(0, s2 )的假設下求得，最小二乘估計則不要求分布假設。 所以在iN(0, s2 ) 的條件下， 參數(shù)

3、0，1的最小二乘估計與最大似然估計等價。2.5 證明是0的無偏估計。證明：2.6 證明證明：2.7 證明平方和分解公式：SST=SSE+SSR證明：2.8 驗證三種檢驗的關系，即驗證：（1）；（2）證明：（1）（2）2.9 驗證（2.63）式：證明：其中：2.10 用第9題證明是s2的無偏估計量證明：2.11 驗證決定系數(shù)與F值之間的關系式證明：2.14 為了調查某廣告對銷售收入的影響，某商店記錄了5個月的銷售收入y（萬元）和廣告費用x（萬元），數(shù)據(jù)見表2.6，要求用手工計算：表2.6月份12345X12345Y1010202040（1） 畫散點圖（略）（2） X與Y是否大致呈線性關系？答：從

4、散點圖看，X與Y大致呈線性關系。（3） 用最小二乘法估計求出回歸方程。計算表XY1104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20回歸方程為：（4） 求回歸標準誤差先求SSR（Qe）見計算表。所以（5） 給出 的置信度為95%的區(qū)間估計；由于(1-a)的置信度下， 的置信區(qū)間是 查表可得所以 的95%的區(qū)間估計為：（73.182*1.915，7+3.182*1.915），即（0

5、.906,13.094）。所以 的95%的區(qū)間估計為：（-1-3.182*6.351，-1+3.182*6.351），即（-21.211, 19.211）。的置信區(qū)間包含0，表示不顯著。（6） 計算x和y的決定系數(shù) 說明回歸方程的擬合優(yōu)度高。（7） 對回歸方程作方差分析方差分析表方差來源平方和自由度均方F值SSR490149013.364SSE110336.667SST6004F值=13.364>F0.05(1,3)=10.13(當n=1,n=8時，=0.05查表得對應的值為10.13),所以拒絕原假設，說明回歸方程顯著。（8）做回歸系數(shù)1的顯著性檢驗H0: 1=0t值=3.656>

6、;t0.05/2(3)=3.182,所以拒絕原假設，說明x對Y有顯著的影響。（8） 做相關系數(shù)R的顯著性檢驗R值=0.904>R0.05(3)=0.878,所以接受原假設，說明x和Y有顯著的線性關系。（9） 對回歸方程作殘差圖并作相應的分析殘差圖(略) .從殘差圖上看出，殘差是圍繞e=0在一個固定的帶子里隨機波動，基本滿足模型的假設eiN(0, s2 ), 但由于樣本量太少, 所以誤差較大.（10） 求廣告費用為4.2萬元時,銷售收入將達到多少?并給出置信度為95%的置信區(qū)間.解: 當X0=4.2時, 所以廣告費用為4.2萬元時, 銷售收入將達到28.4萬元.由于置信度為1-時，Y0估計

7、值的置信區(qū)間為:所以求得Y0的95%的置信區(qū)間為: 6.05932 ,50.74068預測誤差較大.3.1基本假定：（1） 諸非隨機變量，rank（x）=p+1，X為滿秩矩陣（2） 誤差項（3）3.23.33.4并不能這樣武斷地下結論。與回歸方程中的自變量數(shù)目以及樣本量n有關，當樣本量n與自變量個數(shù)接近時，易接近1，其中隱含著一些虛假成分。因此，并不能僅憑很大的就模型的優(yōu)劣程度。3.5首先，對回歸方程的顯著性進行整體上的檢驗F檢驗接受原假設：在顯著水平下，表示隨機變量y與諸x之間的關系由線性模型表示不合適拒絕原假設：認為在顯著性水平下，y與諸x之間有顯著的線性關系第二，對單個自變量的回歸系數(shù)進

8、行顯著性檢驗。接受原假設：認為=0，自變量對y的線性效果并不顯著3.6原始數(shù)據(jù)由于自變量的單位往往不同，會給分析帶來一定的困難；又由于設計的數(shù)據(jù)量較大，可能會以為舍入誤差而使得計算結果并不理想。中心化和標準化回歸系數(shù)有利于消除由于量綱不同、數(shù)量級不同帶來的影響，避免不必要的誤差。3.73.83.9由上兩式可知，其考慮的都是通過在總體中所占比例來衡量第j個因素的重要程度，因而與是等價的。4.1 試舉例說明產(chǎn)生異方差的原因。答：例4.1：截面資料下研究居民家庭的儲蓄行為 Yi=b0+b1Xi+i其中：Yi表示第i個家庭的儲蓄額，Xi表示第i個家庭的可支配收入。由于高收入家庭儲蓄額的差異較大，低收入

9、家庭的儲蓄額則更有規(guī)律性，差異較小，所以i的方差呈現(xiàn)單調遞增型變化。 例4.2：以某一行業(yè)的企業(yè)為樣本建立企業(yè)生產(chǎn)函數(shù)模型 Yi=Aib1 Kib2 Lib3ei被解釋變量：產(chǎn)出量Y，解釋變量：資本K、勞動L、技術A，那么每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響被包含在隨機誤差項中。由于每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響程度不同，造成了隨機誤差項的異方差性。這時，隨機誤差項的方差并不隨某一個解釋變量觀測值的變化而呈規(guī)律性變化，呈現(xiàn)復雜型。4.2 異方差帶來的后果有哪些？答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計模型參數(shù)，會產(chǎn)生下列不良后果：1、參數(shù)估計量非有效2、變量的顯著性檢驗失去意義

10、3、回歸方程的應用效果極不理想總的來說，當模型出現(xiàn)異方差性時，參數(shù)OLS估計值的變異程度增大，從而造成對Y的預測誤差變大，降低預測精度，預測功能失效。4.3 簡述用加權最小二乘法消除一元線性回歸中異方差性的思想與方法。答：普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平方項的權數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就

11、好，而方差小的項的擬合程度就差。由OLS求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。所以就是：對較大的殘差平方賦予較小的權數(shù)，對較小的殘差平方賦予較大的權數(shù)。這樣對殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計的精度。加權最小二乘法的方法：4.4簡述用加權最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運用加權最小二乘法消除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權最小二乘法是在平方和中加入一個適當?shù)臋鄶?shù) ，以調整各項在平方和中的作用，加權最小二乘的離差平方和為： （2）加權最小二乘估計就是尋找參數(shù)的估計值使式（2）的離差平方和達極小。所得加權最小二

12、乘經(jīng)驗回歸方程記做 （3） 多元回歸模型加權最小二乘法的方法:首先找到權數(shù)，理論上最優(yōu)的權數(shù)為誤差項方差的倒數(shù),即 （4）誤差項方差大的項接受小的權數(shù)，以降低其在式（2）平方和中的作用; 誤差項方差小的項接受大的權數(shù)，以提高其在平方和中的作用。由（2）式求出的加權最小二乘估計就是參數(shù)的最小方差線性無偏估計。一個需要解決的問題是誤差項的方差是未知的,因此無法真正按照式（4）選取權數(shù)。在實際問題中誤差項方差通常與自變量的水平有關(如誤差項方差隨著自變量的增大而增大),可以利用這種關系確定權數(shù)。例如與第j個自變量取值的平方成比例時, 即=k時,這時取權數(shù)為 （5）更一般的情況是誤差項方差與某個自變量

13、(與|ei|的等級相關系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時權數(shù)為 （6）這時確定權數(shù) 的問題轉化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5（4.5）式一元加權最小二乘回歸系數(shù)估計公式。證明：由得：4.6驗證（4.8）式多元加權最小二乘回歸系數(shù)估計公式。證明：對于多元線性回歸模型 （1） ，即存在異方差。設，用左乘（1）式兩邊，得到一個新的的模型：，即。因為，故新的模型具有同方差性，故可以用廣義最小二乘法估計該模型，得原式得證。4.7 有同學認為當數(shù)據(jù)存在異方差時，加權最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴重，兩者

14、之間的差異就越大。你是否同意這位同學的觀點？說明原因。答：不同意。當回歸模型存在異方差時，加權最小二乘估計（WLS）只是普通最小二乘估計（OLS）的改進，這種改進可能是細微的，不能理解為WLS一定會得到與OLS截然不同的方程來，或者大幅度的改進。實際上可以構造這樣的數(shù)據(jù)，回歸模型存在很強的異方差，但WLS 與OLS的結果一樣。加權最小二乘法不會消除異方差，只是消除異方差的不良影響，從而對模型進行一點改進。4.8 對例4.3的數(shù)據(jù)，用公式計算出加權變換殘差，繪制加權變換殘差圖，根據(jù)繪制出的圖形說明加權最小二乘估計的效果。解：用公式計算出加權變換殘差，分別繪制加權最小二乘估計后的殘差圖和加權變換殘

15、差圖（見下圖）。根據(jù)繪制出的兩個圖形可以發(fā)現(xiàn)加權最小二乘估計沒有消除異方差，只是對原OLS的殘差有所改善，而經(jīng)過加權變換后的殘差不存在異方差。5.10(1)建立y對的線性回歸方程CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)5922.8272504.3152.365.040x24.8642.507.6771.940.081x32.374.842.7822.818.018x4-817.901187.279-1.156-4.367.001x51

16、4.539147.078.050.099.923x6-846.867291.634-.899-2.904.016a. Dependent Variable: y由上可知，線性回歸方程是：（2）用后退法選擇變量CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)-2530523.6511053982.823-2.401.040x2-27.45813.588-3.823-2.021.074x33.321.7971.0944.169.002x4-150

17、6.217324.836-2.128-4.637.001x5212.489146.255.7371.453.180x6-477.930284.609-.507-1.679.127x11304.787542.1845.1042.407.0392 3(Constant)-445380.948110447.795-4.033.002x32.310.457.7615.055.000x4-971.882174.101-1.373-5.582.000x6-827.999220.276-.879-3.759.003x1232.20256.138.9084.136.002a. Dependent Variab

18、le: yANOVAdModelSum of SquaresdfMean SquareFSig.1Regression1983863635912.485.001aResidual2383520.7839264835.643Total22222156.937152Regression19279614.03353855922.80713.104.000bResidual2942542.90410294254.290Total22222156.938153Regression18750376.89244687594.22314.852.000cResidual3471780

19、.04611315616.368Total22222156.93715a. Predictors: (Constant), x1, x3, x6, x4, x5, x2b. Predictors: (Constant), x1, x3, x6, x4, x2c. Predictors: (Constant), x1, x3, x6, x4d. Dependent Variable: yModel SummaryModelRR SquareAdjusted R SquareStd. Error of the Estimate1.945a.893.821514.6222.931b.868.8015

20、42.4523.919c.844.787561.797a. Predictors: (Constant), x1, x3, x6, x4, x5, x2b. Predictors: (Constant), x1, x3, x6, x4, x2c. Predictors: (Constant), x1, x3, x6, x4由上三表可知，用后退法選出的變量及其回歸方程為：（3）用逐步回歸法選擇自變量Model SummaryModelRR SquareAdjusted R SquareStd. Error of the Estimate1.498a.248.1941092.8322.697b.4

21、85.406937.9503.811c.657.572796.609a. Predictors: (Constant), x3b. Predictors: (Constant), x3, x5c. Predictors: (Constant), x3, x5, x4ANOVAdModelSum of SquaresdfMean SquareFSig.1Regression5502210.09015502210.0904.607.050aResidual16719946.847141194281.918Total22222156.937152Regression10785395.10825392

22、697.5546.130.013bResidual11436761.83013879750.910Total22222156.937153Regression14607124.51934869041.5067.673.004cResidual7615032.41812634586.035Total22222156.93715a. Predictors: (Constant), x3b. Predictors: (Constant), x3, x5c. Predictors: (Constant), x3, x5, x4d. Dependent Variable: yCoefficientsaM

23、odelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)5161.2591142.7444.517.000x31.511.704.4982.146.0502(Constant)472.2982150.138.220.830x33.188.9131.0503.492.004x5212.32586.643.7372.451.0293(Constant)1412.8071865.912.757.464x33.440.7821.1334.398.001x5348.72992.2201.2103.782.003x4-415.136169.163-.587-2.454.030a. Dependent Variable: y逐步回歸法可得：(4)根據(jù)以上計算結果分析后退法與逐步回歸法的差異：兩個方法得到的最終模型是不同的。在后退法中首先剔除了，第二步剔除了；而逐步回歸法則在第二步引入了，第三步引入了。說明兩種方法對自變量重要性的認可是不同的，這與自比那兩之