應(yīng)用回歸分析課后習(xí)題參考題

1、-.-第二章一元線性回歸分析思慮與練習(xí)參照答案2.1一元線性回歸有哪些基本假定?答：假定1、解說(shuō)變量X是確立性變量，Y是隨機(jī)變量；假定2、隨機(jī)偏差項(xiàng)擁有零均值、同方差和不序列有關(guān)性：i)=0i=1,2,nE(Var(i)=2i=1,2,nCov()=0iji,j=1,2,ni,j假定3、隨機(jī)偏差項(xiàng)與解說(shuō)變量X之間不有關(guān)：Cov(Xi,i)=0i=1,2,n假定4、遵從零均值、同方差、零協(xié)方差的正態(tài)分布i2)i=1,2,nN(0,2.2考慮過(guò)原點(diǎn)的線性回歸模型i1iii=1,2,nY=X+（）仍滿足基本假定。求1的最小二乘預(yù)計(jì)偏差ii=1,2,n解：n?2n?2Qe(Yi(YiXi)Yi)1i1

2、i1Qen?1Xi)Xi2(Yi0?i11n?(XiYi)得：i11n2)(Xii12.3證明（2.27式），ei=0，eiXi=0。n?2n?2Q(Yi(Yi(Xi)Yi)01證明：11QQ?001XieiYi?此中：Yi0Yi01即：ei，ii=0eX=0word可編寫(xiě).-.-2.4回歸方程E（Y）=0+1X的參數(shù)0，1的最小二乘預(yù)計(jì)與最大似然預(yù)計(jì)在什么條件低等價(jià)?給出證明。答：因?yàn)閕N(0,2)i=1,2,n所以Yi=0+1i（01i2)X+iN+X,最大似然函數(shù)：2n2n/21n2L(0,1,)1fi(Yi)(2)expYi(i2010,Xi)2i12)nln(22)1n0,Xi)2L

3、nL(0,1,Yi(01222i1使得Ln（L）最大的?0，?1就是0，1的最大似然預(yù)計(jì)值。同時(shí)發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，nn?Q?)2(Yi()2(YiYi01Xi11上式恰巧就是最小二乘預(yù)計(jì)的目標(biāo)函數(shù)相同。值得注意的是：最大似然預(yù)計(jì)是在iN(0,2)的假定下求得，最小二乘預(yù)計(jì)則不要求分布假定。所以在iN(0,2)的條件下，參數(shù)0，1的最小二乘預(yù)計(jì)與最大似然估計(jì)等價(jià)。2.5證明?0是0的無(wú)偏預(yù)計(jì)。1nYinXiX證明：E(?0)E(Y?1X)EXLxxYi)ni1i1nEi11XiXn)YiE(XnLxxi11XiX(XLxx)(01Xii)nn1XiXn1XiXE0(XLxx

4、)i0(X)E(i)0i1ni1nLxx2.6證明1X21X2Var(?0)(n)22()nXi2nLxx證明：i1XnVar(?0)Vari11XiXn)Yi(XnLxxi11XiX2Var(01Xii)(X)Lxxword可編寫(xiě).-.-n(1)22XXiX(XXiX)221X22i1nnLxxLxxnLxx2.7證明平方和分解公式：SST=SSE+SSR證明：n2n?2SSTYiYYiYYi)(Yii1i1n?2n?n?2Y2YiYYiYiYi)(YiYi)i1i1i1n?2n?2YYiSSEi1Yii1Yi)SSR2.8考證三種檢驗(yàn)的關(guān)系，即考證：（1）SSR/1?2t(n2)r；（）L

5、xx1t21r22FSSE/(n2)?2證明：（1）?Lxx?rLyyLxxrLyyn2rn2rt?2LxxSSE(Lxx(n2)SSE(n2)SSESST1r2（2）n?2n?2n?2n?2?2SSRy)(y)(yx)y)(xix)Lxx(yi01xi1(xi11i1i1i1i1FSSR/1?12Lxxt2/(2)?2SSEn2.9考證（2.63）式：Var(ei)(11(xix)22nLxx)證明：var(ei)var(yi?var(yi)?)yi)var(yi)2cov(yi,yivar(yi)var(?0?1xi)2cov(yi,y?1(xix)221(xix)2221(xix)2nL

6、xxnLxx11(xix)22Lxxword可編寫(xiě).-Cov(yi,y?1(xix)此中：Cov(yi,1nyi)(xini112(xix)22nLxx.-Cov(yi,y)Cov(yi,?1(xix)n(xix)x)Cov(yi,Lxxyi)i11(xix)2)2(Lxxn2ei22.10用第9題證明?n2是2的無(wú)偏預(yù)計(jì)量證明：?21n1nE()?22)E(yiy)E(ein2i1n2i11n1n1(xix)22var(ei)n2i1n2i11Lxxn1(n2)22n22.14為了檢查某廣告對(duì)銷售收入的影響，某商鋪記錄了5個(gè)月的銷售收入y（萬(wàn)元）和廣告花費(fèi)x（萬(wàn)元），數(shù)據(jù)見(jiàn)表2.6，要求用手

7、工計(jì)算：2.6月份12345X12345Y10102020401）畫(huà)散點(diǎn)圖（略）2）X與Y能否大概呈線性關(guān)系？答：從散點(diǎn)圖看，X與Y大概呈線性關(guān)系。3）用最小二乘法預(yù)計(jì)求出回歸方程。計(jì)算表XY(XiX)2(YiY)2(XiX)(YiY)?Y)2?Yi)2Yi(Yi(Yi1104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2word可編寫(xiě).-.-和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20?Lxy707,?Y?X20371.1

8、Lxx1001?X17X回歸方程為：Y01（4）求回歸標(biāo)準(zhǔn)偏差先求SSR（Qe）見(jiàn)計(jì)算表。所以Qe110?6.055.n23第三章3.3證明?2SSEnp1隨機(jī)偏差項(xiàng)的方差2的無(wú)偏預(yù)計(jì)。證明:111n?2SSE(ee)ei2,np1np1np1i1nnnnnE(ei2)D(ei)2(1hii)2(1hii)2(nhii)2(np1)i1i1i1i1i11nE(?2)E(ei2)2np1i13.4一個(gè)回歸方程的復(fù)有關(guān)系數(shù)R=0.99，樣本決定系數(shù)R2=0.9801，我們能判斷這個(gè)回歸方程就很理想嗎？答：不可以判定這個(gè)回歸方程理想。因?yàn)椋涸跇颖救萘枯^少，變量個(gè)數(shù)較大時(shí)，決定系數(shù)的值簡(jiǎn)單湊近1，而此

9、時(shí)可能F檢驗(yàn)或許對(duì)于回歸系數(shù)的t檢驗(yàn)，所成立的回歸方程都沒(méi)能經(jīng)過(guò)。2.樣本決定系數(shù)和復(fù)有關(guān)系數(shù)湊近于1只好說(shuō)明Y與自變量X1,X2,Xp整體上的線性關(guān)系成立，而不可以判斷回歸方程和每個(gè)自變量是明顯的，還需進(jìn)行F檢驗(yàn)和t檢驗(yàn)。在應(yīng)用過(guò)程中發(fā)現(xiàn)，在樣本容量必定的狀況下，假如在模型中增word可編寫(xiě).-.-加解說(shuō)變量必然使得自由度減少，使得R2常常增大，所以增添解釋變量（特別是不明顯的解說(shuō)變量）個(gè)數(shù)惹起的R2的增大與擬合利害沒(méi)關(guān)。3.7考證?j*Ljj?j,j1,2,.,pLyynXj)2此中:Ljj(Xiji1證明：多元線性回歸方程模型的一般形式為：y01x12x2pxp其經(jīng)驗(yàn)回歸方程式為y?x?

10、x2?xp，0112p又故?y?，01x12x2pxpy?y?1(x1x1)?2(x2x2)?p(xpxp)，中心化后，則有?xp)，y1(x1x1)2(x2x2)p(xpyi左右同時(shí)除以Lyyny)2，(yii1nxj)2,i,n，j1,2,p令Ljj(xij1,2,i1?(xi1x1)L?(xi2x2)L?(xx)Lpp22ippyiy11Lyy1L11Lyy2L22LyypLppLyy樣本數(shù)據(jù)標(biāo)準(zhǔn)化的公式為xijxijxj,yiyiy,i1,2,n，j1,2,pLjjLyy則上式能夠記為yi?L11xi1?L22xi2?Lpp1Lyy2LyypxipLyy?xi1?xi2?xip12pw

11、ord可編寫(xiě).-.-則有?jLjj?j,j1,2,pLyy3.11研究貨運(yùn)總量y（萬(wàn)噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關(guān)系。數(shù)據(jù)見(jiàn)表3.9（略）。（1）計(jì)算出y，x1，x2，x3的有關(guān)系數(shù)矩陣。SPSS輸出以下：有關(guān)系數(shù)表PearsonCorrelationSig.(2-tailed)Nx1PearsonCorrelationSig.(2-tailed)Nx2PearsonCorrelationSig.(2-tailed)Nx3PearsonCorrelationSig.(2-tailed)Nyx1x2x31.556.731*.724*.095.

12、016.01810101010.5561.113.398.095.756.25410101010.731*.1131.547.016.756.10110101010.724*.398.5471.018.254.10110101010*.Correlationissignificantatthe0.05level(2-tailed).1.0000.5560.7310.7240.5561.0000.1130.398r則有關(guān)系數(shù)矩陣為：0.7310.1131.0000.5470.7240.3980.5471.000（2）求出y與x1，x2，x3的三元回歸方程。word可編寫(xiě).-.-Coefficie

13、ntsaUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100 x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y對(duì)數(shù)據(jù)利用SPSS做線性回歸，獲取回歸方程為?348.383.754x17.101x212.447x3y（3）對(duì)所求的方程作擬合優(yōu)度檢驗(yàn)。ModelSummaryAdjust

14、edStd.ErrorofModelRRSquareRSquaretheEstimate1.898a.806.70823.44188a.Predictors:(Constant),x3,x1,x2由上表可知，調(diào)整后的決定系數(shù)為0.708，說(shuō)明回歸方程對(duì)樣本觀察值的擬合程度較好。（4）對(duì)回歸方程作明顯性檢驗(yàn)；方差分析表bModel平方和自由度均方FSig.1回歸13655.37034551.7908.283.015a殘差3297.1306549.522總和16952.5009Predictors:(Constant),x3,x1,x2DependentVariable:y原假定：H0:1230F

15、統(tǒng)計(jì)量遵從自由度為（3，6）的F分布，給定明顯性水平=0.05，查表得F0.05(3.6)4.76,由方查分析表得，F(xiàn)值=8.2834.76，p值=0.015，拒絕原假定H0，由方差分析表能夠獲取F8.283,P0.0150.05，說(shuō)明word可編寫(xiě).-.-在置信水平為95%下，回歸方程明顯。5）對(duì)每一個(gè)回歸系數(shù)作明顯性檢驗(yàn)；歸系數(shù)表aUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942

16、.100 x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y做t檢驗(yàn)：設(shè)原假定為H0:i0，ti統(tǒng)計(jì)量遵從自由度為n-p-1的t分布，給定明顯性水平0.05，查得單側(cè)檢驗(yàn)臨界值為1.943，X1的t值=1.9421.943。拒絕原假定。由上表可得，在明顯性水平0.05時(shí)，只有x2的P值0.05,經(jīng)過(guò)檢驗(yàn)，即只有x2的回歸系數(shù)較為明顯；其他自變量的P值均大于0.05，即x1，x2的系數(shù)均不明顯。第四章4.3簡(jiǎn)述用加權(quán)最小二乘法除去一元線性回歸中異方差性的思想與方法。答：一般最小二乘預(yù)計(jì)就是找尋參數(shù)的預(yù)

17、計(jì)值使離差平方和達(dá)極小。此中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是一般最小二乘回歸參數(shù)預(yù)計(jì)方法。在偏差項(xiàng)等方差不有關(guān)的條件下，一般最小二乘預(yù)計(jì)是回歸參數(shù)的最小方差線性無(wú)偏預(yù)計(jì)。但是在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，偏差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因此一般最小二乘預(yù)計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍舊是的無(wú)偏預(yù)計(jì)，但不再是最小方差線性無(wú)偏預(yù)計(jì)。所以就是：對(duì)較大word可編寫(xiě).-.-的殘差平方給予較小的權(quán)數(shù)，對(duì)較小的殘差平方給予較大的權(quán)數(shù)。這樣對(duì)殘差所供給信息的重要程度作一番校訂，以提升參數(shù)預(yù)計(jì)的精度。

18、加權(quán)最小二乘法的方法：N?2N?2Qwwi(yi)wi(yi01xi)yii1i1N_?=iwi(xixw)(yiyw)1N_1wi=1(xixw)2_?1_0wywxwwwi1i2kxi21表示12kxi2xi2i或i2kxim,wi1xim4.4簡(jiǎn)述用加權(quán)最小二乘法除去多元線性回歸中異方差性的思想與方法。答：運(yùn)用加權(quán)最小二乘法除去多元線性回歸中異方差性的思想與一元線性回歸的近似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個(gè)合適的權(quán)數(shù)wi，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為：npxip)2（2）Qw(0,1,p)wi(yi01xi1i1加權(quán)最小二乘預(yù)計(jì)就是找尋參數(shù)0,1

19、,p的預(yù)計(jì)值?0w,?1w,?pw使式（2）的離差平方和Qw達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做?（3）y?w0w1wx1pwxp多元回歸模型加權(quán)最小二乘法的方法:第一找到權(quán)數(shù)wi，理論上最優(yōu)的權(quán)數(shù)wi為偏差項(xiàng)方差i2的倒數(shù),即word可編寫(xiě).-.-1（4）wi2i偏差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用;誤差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提升其在平方和中的作用。由（2）式求出的加權(quán)最小二乘預(yù)計(jì)?0w,?1w,?pw就是參數(shù)0,1,p的最小方差線性無(wú)偏估計(jì)。一個(gè)需要解決的問(wèn)題是偏差項(xiàng)的方差i2是未知的,所以沒(méi)法真實(shí)依據(jù)式（4）采納權(quán)數(shù)。在實(shí)質(zhì)問(wèn)題中偏差項(xiàng)方差i2平常與自

20、變量的水平有關(guān)(如偏差項(xiàng)方差i2跟著自變量的增大而增大),能夠利用這類關(guān)系確立權(quán)數(shù)。比方i2與第j個(gè)自變量取值的平方成比率時(shí),即i2=kxij2時(shí),這時(shí)取權(quán)數(shù)為wi1（5）xij2更一般的狀況是偏差項(xiàng)方差i2與某個(gè)自變量xj(與|ei|的等級(jí)有關(guān)系數(shù)最大的自變量)取值的冪函數(shù)xijm成比率，即i2=kxijm,此中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為wi1（6）xijm這時(shí)確立權(quán)數(shù)wi的問(wèn)題轉(zhuǎn)變成確立冪參數(shù)m的問(wèn)題，能夠借助SPSS軟件解決。N2N?2Qw?wi(yi)wi(yiyi)01xii1i14.5（4.5）式一元加權(quán)最小二乘回歸系數(shù)預(yù)計(jì)公式。證明：NNQw?2?)2wi(yiyi)wi(y

21、i01xii1i1word可編寫(xiě).-.-nwi(xixw)(yiyw)Q?i1nQ001?2?wi(xixw0)1i1?yw?01xw4.6考證（4.8）式多元加權(quán)最小二乘回歸系數(shù)預(yù)計(jì)公式。證明：對(duì)于多元線性回歸模型y=X+,（1）E()0,cov(,)2W，即存在異方差。設(shè)WDD,w10D，0wn用D1左乘（1）式兩邊，獲取一個(gè)新的的模型：D1y=D1X+D1，即y=X+。因?yàn)镋()E(D1D-1)D1E()D-1D12WD-12I，故新的模型擁有同方差性，故能夠用廣義最小二乘法預(yù)計(jì)該模型，得?1111111(XX)Xy(XDDX)XDDy(XWX)XWyw原式得證。4.7有同學(xué)以為當(dāng)數(shù)據(jù)存

22、在異方差時(shí)，加權(quán)最小二乘回歸方程與一般最小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，二者之間的差異就越大。你能否贊同這位同學(xué)的看法？說(shuō)明原由。答：不一樣意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘預(yù)計(jì)（WLS）不過(guò)一般最小二乘預(yù)計(jì)（OLS）的改良，這類改良可能是細(xì)微的，不可以理解為WLS必定會(huì)獲取與OLS截然相反的方程來(lái)，或許大幅度的改良。實(shí)質(zhì)上能夠結(jié)構(gòu)這樣的word可編寫(xiě).-.-數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS與OLS的結(jié)果相同。加權(quán)最小二乘法不會(huì)除去異方差，不過(guò)除去異方差的不良影響，從而對(duì)模型進(jìn)行一點(diǎn)改良。第五章5.4試述行進(jìn)法的思想方法。答：行進(jìn)法的基本思想方法是：第一因變量Y

23、對(duì)所有的自變量x1,x2,.,xm成立m個(gè)一元線性回歸方程,并計(jì)算F檢驗(yàn)值，選擇偏回歸平方和明顯的變量（F值最大且大于臨界值）進(jìn)入回歸方程。每一步只引入一個(gè)變量，同時(shí)成立m1個(gè)二元線性回歸方程，計(jì)算它們的F檢驗(yàn)值，選擇偏回歸平方和明顯的兩變量變量F值最大且大于臨界值）進(jìn)入回歸方程。在確立引入的兩個(gè)自變量此后，再引入一個(gè)變量，成立m2個(gè)三元線性回歸方程，計(jì)算它們的F檢驗(yàn)值，選擇偏回歸平方和明顯的三個(gè)變量（F值最大）進(jìn)入回歸方程。不停重復(fù)這一過(guò)程，直到?jīng)]法再引入新的自變量時(shí)，即所有未被引入的自變量的F檢驗(yàn)值均小于F檢驗(yàn)臨界值F(1,n-p-1)，回歸過(guò)程結(jié)束。5.5試述退后法的思想方法。答：退后法的基本思想是：第一因變量Y對(duì)所有的自變量x1,x2,.,xm成立一個(gè)m元線性回歸方程,并計(jì)算t檢驗(yàn)值和F檢驗(yàn)值，選擇最不明顯（P值最大且大于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。每一步只剔除一個(gè)變量，再成立m1元線性回歸方程，計(jì)算t檢驗(yàn)值和F檢驗(yàn)值，剔除偏回歸系數(shù)的t檢驗(yàn)值最?。≒值最大）的自變量，再成立新的回歸方程。不停重復(fù)這一過(guò)程，直到?jīng)]法剔除自變量時(shí)，即所有節(jié)余p個(gè)自變量的F檢驗(yàn)值均大于F檢驗(yàn)臨界值F(1,n-p-1)，回歸過(guò)程結(jié)束。5.6行進(jìn)法、退后法各有