應(yīng)用回歸分析_整理課后習(xí)題參考答案

1、第二章 一元線性回歸分析思考與練習(xí)參考答案 2.1 一元線性回歸有哪些基本假定?答： 假設(shè)1、解釋變量X是確定性變量，Y是隨機(jī)變量； 假設(shè)2、隨機(jī)誤差項(xiàng)具有零均值、同方差和不序列相關(guān)性： E(i)=0 i=1,2, ,n Var (i)=s2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假設(shè)3、隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設(shè)4、服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, s2 ) i=1,2, ,n2.2 考慮過原點(diǎn)的線性回歸模型 Yi=1Xi+i i=1,2, ,n誤差i（i=1,2, ,n）仍滿

2、足基本假定。求1的最小二乘估計(jì)解：得：2.3 證明（2.27式），Sei =0 ，SeiXi=0 。證明：其中：即： Sei =0 ，SeiXi=02.4回歸方程E（Y）=0+1X的參數(shù)0，1的最小二乘估計(jì)與最大似然估計(jì)在什么條件下等價(jià)?給出證明。答：由于iN(0, s2 ) i=1,2, ,n所以Yi=0 + 1Xi + iN（0+1Xi , s2 )最大似然函數(shù)：使得Ln（L）最大的，就是0，1的最大似然估計(jì)值。同時(shí)發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，上式恰好就是最小二乘估計(jì)的目標(biāo)函數(shù)相同。值得注意的是：最大似然估計(jì)是在iN(0, s2 )的假設(shè)下求得，最小二乘估計(jì)則不要求分布假設(shè)。

3、所以在iN(0, s2 ) 的條件下， 參數(shù)0，1的最小二乘估計(jì)與最大似然估計(jì)等價(jià)。2.5 證明是0的無偏估計(jì)。證明：2.6 證明證明：2.7 證明平方和分解公式：SST=SSE+SSR證明：2.8 驗(yàn)證三種檢驗(yàn)的關(guān)系，即驗(yàn)證：（1）；（2）證明：（1）（2）2.9 驗(yàn)證（2.63）式：證明：其中：2.10 用第9題證明是s2的無偏估計(jì)量證明：2.14 為了調(diào)查某廣告對(duì)銷售收入的影響，某商店記錄了5個(gè)月的銷售收入y（萬元）和廣告費(fèi)用x（萬元），數(shù)據(jù)見表2.6，要求用手工計(jì)算：表2.6月份12345X12345Y1010202040（1） 畫散點(diǎn)圖（略）（2） X與Y是否大致呈線性關(guān)系？答：從散

4、點(diǎn)圖看，X與Y大致呈線性關(guān)系。（3） 用最小二乘法估計(jì)求出回歸方程。計(jì)算表XY1104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20回歸方程為：（4） 求回歸標(biāo)準(zhǔn)誤差先求SSR（Qe）見計(jì)算表。所以第三章3.3證明 隨機(jī)誤差項(xiàng)的方差s2的無偏估計(jì)。證明:3.4 一個(gè)回歸方程的復(fù)相關(guān)系數(shù)R=0.99，樣本決定系數(shù)R2=0.9801，我們能判斷這個(gè)回歸方程就很理想嗎？答：不能斷定這個(gè)回

5、歸方程理想。因?yàn)椋?. 在樣本容量較少，變量個(gè)數(shù)較大時(shí)，決定系數(shù)的值容易接近1，而此時(shí)可能F檢驗(yàn)或者關(guān)于回歸系數(shù)的t檢驗(yàn)，所建立的回歸方程都沒能通過。2. 樣本決定系數(shù)和復(fù)相關(guān)系數(shù)接近于1只能說明Y與自變量X1,X2,Xp整體上的線性關(guān)系成立，而不能判斷回歸方程和每個(gè)自變量是顯著的，還需進(jìn)行F檢驗(yàn)和t檢驗(yàn)。3. 在應(yīng)用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得 R2往往增大，因此增加解釋變量（尤其是不顯著的解釋變量）個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)。3.7 驗(yàn)證證明：多元線性回歸方程模型的一般形式為：其經(jīng)驗(yàn)回歸方程式為，又，故，中心化后，則有，左右同

6、時(shí)除以，令，樣本數(shù)據(jù)標(biāo)準(zhǔn)化的公式為，則上式可以記為則有3.11 研究貨運(yùn)總量y（萬噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關(guān)系。數(shù)據(jù)見表3.9（略）。（1）計(jì)算出y，x1，x2，x3的相關(guān)系數(shù)矩陣。SPSS輸出如下：則相關(guān)系數(shù)矩陣為：（2）求出y與x1，x2，x3的三元回歸方程。對(duì)數(shù)據(jù)利用SPSS做線性回歸，得到回歸方程為（3）對(duì)所求的方程作擬合優(yōu)度檢驗(yàn)。由上表可知，調(diào)整后的決定系數(shù)為0.708，說明回歸方程對(duì)樣本觀測值的擬合程度較好。（4）對(duì)回歸方程作顯著性檢驗(yàn)；原假設(shè)：F統(tǒng)計(jì)量服從自由度為（3，6）的F分布，給定顯著性水平=0.05，查表得,由方查

7、分析表得，F(xiàn)值=8.283>4.76，p值=0.015，拒絕原假設(shè)，由方差分析表可以得到，說明在置信水平為95%下，回歸方程顯著。（5）對(duì)每一個(gè)回歸系數(shù)作顯著性檢驗(yàn)；做t檢驗(yàn)：設(shè)原假設(shè)為，統(tǒng)計(jì)量服從自由度為n-p-1的t分布，給定顯著性水平0.05，查得單側(cè)檢驗(yàn)臨界值為1.943，X1的t值=1.942<1.943，處在否定域邊緣。X2的t值2.465>1.943。拒絕原假設(shè)。由上表可得，在顯著性水平時(shí)，只有的P值<0.05,通過檢驗(yàn)，即只有的回歸系數(shù)較為顯著 ；其余自變量的P值均大于0.05，即x1，x2的系數(shù)均不顯著。第四章4.3 簡述用加權(quán)最小二乘法消除一元線性回

8、歸中異方差性的思想與方法。答：普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。所以就是：對(duì)較大的殘差平方賦予較小的權(quán)數(shù)，對(duì)較小的殘差平方賦予較大的權(quán)數(shù)。這樣對(duì)殘差所提供信息的重

9、要程度作一番校正，以提高參數(shù)估計(jì)的精度。加權(quán)最小二乘法的方法：4.4簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運(yùn)用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù) ，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為： （2）加權(quán)最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使式（2）的離差平方和達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做 （3） 多元回歸模型加權(quán)最小二乘法的方法:首先找到權(quán)數(shù)，理論上最優(yōu)的權(quán)數(shù)為誤差項(xiàng)方差的倒數(shù),即 （4）誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用; 誤差

10、項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計(jì)就是參數(shù)的最小方差線性無偏估計(jì)。一個(gè)需要解決的問題是誤差項(xiàng)的方差是未知的,因此無法真正按照式（4）選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差通常與自變量的水平有關(guān)(如誤差項(xiàng)方差隨著自變量的增大而增大),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個(gè)自變量取值的平方成比例時(shí), 即=k時(shí),這時(shí)取權(quán)數(shù)為 （5）更一般的情況是誤差項(xiàng)方差與某個(gè)自變量(與|ei|的等級(jí)相關(guān)系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為 （6）這時(shí)確定權(quán)數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5（4

11、.5）式一元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明： 4.6驗(yàn)證（4.8）式多元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明：對(duì)于多元線性回歸模型 （1） ，即存在異方差。設(shè)，用左乘（1）式兩邊，得到一個(gè)新的的模型：，即。因?yàn)?，故新的模型具有同方差性，故可以用廣義最小二乘法估計(jì)該模型，得原式得證。4.7 有同學(xué)認(rèn)為當(dāng)數(shù)據(jù)存在異方差時(shí)，加權(quán)最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，兩者之間的差異就越大。你是否同意這位同學(xué)的觀點(diǎn)？說明原因。答：不同意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)（WLS）只是普通最小二乘估計(jì)（OLS）的改進(jìn)，這種改進(jìn)可能是細(xì)微的，不能理解為WLS一定

12、會(huì)得到與OLS截然不同的方程來，或者大幅度的改進(jìn)。實(shí)際上可以構(gòu)造這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS 與OLS的結(jié)果一樣。加權(quán)最小二乘法不會(huì)消除異方差，只是消除異方差的不良影響，從而對(duì)模型進(jìn)行一點(diǎn)改進(jìn)。第五章5.4 試述前進(jìn)法的思想方法。答：前進(jìn)法的基本思想方法是：首先因變量Y對(duì)全部的自變量x1,x2,.,xm建立m個(gè)一元線性回歸方程, 并計(jì)算F檢驗(yàn)值，選擇偏回歸平方和顯著的變量（F值最大且大于臨界值）進(jìn)入回歸方程。每一步只引入一個(gè)變量，同時(shí)建立m1個(gè)二元線性回歸方程，計(jì)算它們的F檢驗(yàn)值，選擇偏回歸平方和顯著的兩變量變量（F值最大且大于臨界值）進(jìn)入回歸方程。在確定引入的兩個(gè)自變量以后

13、，再引入一個(gè)變量，建立m2個(gè)三元線性回歸方程，計(jì)算它們的F檢驗(yàn)值，選擇偏回歸平方和顯著的三個(gè)變量（F值最大）進(jìn)入回歸方程。不斷重復(fù)這一過程，直到無法再引入新的自變量時(shí)，即所有未被引入的自變量的F檢驗(yàn)值均小于F檢驗(yàn)臨界值F(1,n-p-1)，回歸過程結(jié)束。5.5 試述后退法的思想方法。答：后退法的基本思想是：首先因變量Y對(duì)全部的自變量x1,x2,.,xm建立一個(gè)m元線性回歸方程, 并計(jì)算t檢驗(yàn)值和F檢驗(yàn)值，選擇最不顯著（P值最大且大于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。每一步只剔除一個(gè)變量，再建立m1元線性回歸方程，計(jì)算t檢驗(yàn)值和F檢驗(yàn)值，剔除偏回歸系數(shù)的t檢驗(yàn)值最小（P值最大）的自變量

14、，再建立新的回歸方程。不斷重復(fù)這一過程，直到無法剔除自變量時(shí)，即所有剩余p個(gè)自變量的F檢驗(yàn)值均大于F檢驗(yàn)臨界值F(1,n-p-1)，回歸過程結(jié)束。5.6前進(jìn)法、后退法各有哪些優(yōu)缺點(diǎn)？答：前進(jìn)法的優(yōu)點(diǎn)是能夠?qū)?duì)因變量有影響的自變量按顯著性一一選入，計(jì)算量小。前進(jìn)法的缺點(diǎn)是不能反映引進(jìn)新變量后的變化，而且選入的變量就算不顯著也不能刪除。后退法的優(yōu)點(diǎn)是是能夠?qū)?duì)因變量沒有顯著影響的自變量按不顯著性一一剔除，保留的自變量都是顯著的。后退法的缺點(diǎn)是開始計(jì)算量大，當(dāng)減少一個(gè)自變量時(shí)，它再也沒機(jī)會(huì)進(jìn)入了。如果碰到自變量間有相關(guān)關(guān)系時(shí)，前進(jìn)法和后退法所作的回歸方程均會(huì)出現(xiàn)不同程度的問題。5.7 試述逐步回歸法的思想方法。答：逐步回歸的基本思想是有進(jìn)有出。具體做法是將變量一個(gè)一個(gè)的引入，當(dāng)每引入一個(gè)自變量后，對(duì)已選入的變量要進(jìn)行逐個(gè)檢驗(yàn)，當(dāng)原引入變量由于后面變量的應(yīng)納入而變得不再顯著時(shí)，要將其剔除。引入一個(gè)變量或從回歸防方程中剔除一個(gè)變量，為逐步回歸的一步，每一步都要進(jìn)行F檢驗(yàn)，以確保每次引入新的變量之前回歸方程中只包含顯著的變量