整理一元線性回歸模型的置信區(qū)間與預(yù)測

精品文檔§2.5一元線性回歸模型的置信區(qū)間與預(yù)測多元線性回歸模型的置信區(qū)間問題包括參數(shù)估計(jì)量的置信區(qū)間和被解釋變量預(yù)測值的置信區(qū)間兩個(gè)方面，在數(shù)理統(tǒng)計(jì)學(xué)中屬于區(qū)間估計(jì)問題。所謂區(qū)間估計(jì)是研究用未知參數(shù)的點(diǎn)估計(jì)值（從一組樣本觀測值算得的）作為近似值的精確程度和誤差范圍，是一個(gè)必須回答的重要問題。一、參數(shù)估計(jì)量的置信區(qū)間在前面的課程中，我們已經(jīng)知道，線性回歸模型的參數(shù)估計(jì)量P是隨機(jī)變量匕的函數(shù)，即：P=Z左），所以它也是隨機(jī)變量。在多次重復(fù)抽樣中，每次1 ii的樣本觀測值不可能完全相同，所以得到的點(diǎn)估計(jì)值也不可能相同?，F(xiàn)在我們用參數(shù)估計(jì)量的一個(gè)點(diǎn)估計(jì)值近似代表參數(shù)值，那么，二者的接近程度如何？以多大的概率達(dá)到該接近程度？這就要構(gòu)造參數(shù)的一個(gè)區(qū)間，以點(diǎn)估計(jì)值為中心的一個(gè)區(qū)間（稱為置信區(qū)間），該區(qū)間以一定的概率（稱為置信水平）包含該參數(shù)。即回答也以何種置信水平位于0—a,P+〃）之中，以及如何求得a。1 1 1在變量的顯著性檢驗(yàn)中已經(jīng)知道t—4—匕?t(n-k—1)sA(2.5.1)Pi(2.5.1)這就是說，如果給定置信水平1-。，從t分布表中查得自由度為（n-k-1）的臨界值那么t值處在Ita”/收J(rèn)的概率是1-a。表示為P(—t<t<t)—1—a2 2即精品文檔p-pi精品文檔p-pi<t)—1—aAP.I精品文檔P(B-1xs<0<B+1xs)=1—aia6iia62吃 2吃于是得到：在(1-a)的置信水平下0i的置信區(qū)間是(6-txs，6+txs)ia8ia8 . 、2 1 2 1i二0,1 (2.5.3)在某例子中，如果給定a=0.01，查表得ta(n-k-1)=10005(13)=3.0122八 八從回歸計(jì)算中得到0=102.3,0=0.21,S=15,S=0.010 1 1件根據(jù)(2.5.2)計(jì)算得到00,0］的置信區(qū)間分別為(57.12,147.48)和(0.1799,0.2401)顯然，參數(shù)0］的置信區(qū)間要小。在實(shí)際應(yīng)用中，我們當(dāng)然希望置信水平越高越好，置信區(qū)間越小越好。如何才能縮小置信區(qū)間？從(2.5.3)式中不難看出：(1)增大樣本容量n。在同樣的置信水平下，n越大，從t分布表中查得自由度為(n-k-1)的臨界值2越?。煌瑫r(shí)，增大樣本容量，在一般情況下可使估計(jì)值的標(biāo)準(zhǔn)差S,減小，因?yàn)?式中分母的增大是肯定的，分子并不一定增大。(2)更主要的是提高模型的擬合度，以減小殘差平方和Z曝。設(shè)想一種極端情況，如果模型完全擬合樣本觀測值，殘差平方和為0，則置信區(qū)間也為0。(3)提高樣本觀測值的分散度。在一般情況下，樣本觀測值越分散，標(biāo)準(zhǔn)差越小。置信水平與置信區(qū)間是矛盾的。置信水平越高，在其他情況不變時(shí)，臨界值2越大，置信區(qū)間越大。如果要求縮小置信區(qū)間，在其他情況不變時(shí)，就必須降低對置信水平的要求。二、預(yù)測值的置信區(qū)間1、點(diǎn)預(yù)測計(jì)量經(jīng)濟(jì)學(xué)模型的一個(gè)重要應(yīng)用是經(jīng)濟(jì)預(yù)測。對于模型y.=0+0x+u,i=1,2,,n精品文檔

精品文檔如果給定樣本以外的解釋變量的觀測值普所以u和u.(i=1,2, ,n)是不相關(guān)y=所以u和u.(i=1,2, ,n)是不相關(guān)因xf是前述樣本點(diǎn)以外的解釋變量值的。引用已有的OLS的估計(jì)值，可以得到被解釋變量力的點(diǎn)預(yù)測值(2.5.4)但是，嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。原因在于兩方面：一是模型中的參數(shù)估計(jì)量是不確定的，正如上面所說的；二是隨機(jī)項(xiàng)的影響。所以，我們得到的僅是預(yù)測值的一個(gè)估計(jì)值，預(yù)測值僅以某一個(gè)置信水平處于以該估計(jì)值為中心的一個(gè)區(qū)間中。于是，又是一個(gè)區(qū)間估計(jì)問題。2、區(qū)間預(yù)測如果已經(jīng)知道實(shí)際的預(yù)測值f如果已經(jīng)知道實(shí)際的預(yù)測值f那么預(yù)測誤差為顯然，ef顯然，ef隨機(jī)變量，可以證明八=yyff/X-y/X-yff))-EI8x)1fJf-yf)y,yJff因?yàn)镴f-yf)y,yJff因?yàn)閥f由原樣本的OLS估計(jì)值求得，而y與原樣本不相關(guān)，故有:f可以計(jì)算出來：Cov(y,y)=0fD(e)=。2+D(y)d(yf)=1——+n——f 個(gè)(x-口.J7—1 /(2.5.5)=P0+P1XfD(e)=Co(,e)=Co(-y,yf)丫f( f\'f(=Covy,y-2Covy,y+Cov=。2+D(y0-2Co41y')uf ff精品文檔精品文檔1+二

n1+二

n「工引(x-x)2iJi=1 /(2.5.6)因R/和，,均服從正態(tài)分布,可利用它們的性質(zhì)構(gòu)造統(tǒng)計(jì)量,求區(qū)間預(yù)測值。利用R構(gòu)造統(tǒng)計(jì)量為:fN-內(nèi))N用R構(gòu)造統(tǒng)計(jì)量為:fN-內(nèi))N(0,1)用估計(jì)值02代入上式，有u-E(yf)?t(n-2)1x-xn寸(x-x)2這樣，可得顯著性水平a下i&f)的置信區(qū)間為t這樣，可得顯著性水平a下i&f)的置信區(qū)間為ta2yf(2.5.7)1+1+

nZ(1+1+

nZ(x-ii=11+LZ(x-x)2i=1iJ(257)式稱為yf的均值區(qū)間預(yù)測。同理，利用ef構(gòu)造統(tǒng)計(jì)量，有yf-yf精品文檔精品文檔將O2用估計(jì)值62代入上式，有:u u?t(?t(n-2)y根據(jù)置信區(qū)間的原理，得顯著性水平a下f的置信區(qū)間:(2.5.8)1(2.5.8)1x一x1++——f nX(x-x>ii=1Ii=1上式稱為y上式稱為yf的個(gè)值區(qū)間預(yù)測，顯然，在同樣的a下，個(gè)值區(qū)間要大于均值區(qū)間。（257）和⑵對也可表述為：yf的均值或個(gè)值落在置信區(qū)間內(nèi)的概率為1-a，1-a即為預(yù)測區(qū)間的置信度?；蛘哒f，當(dāng)給定解釋變量值x,后，只能得到被解釋變量yf或其均值E4f）以（1-a）的置信水平處于某區(qū)間的結(jié)論。經(jīng)常聽到這樣的說法，”如果給定解釋變量值，根據(jù)模型就可以得到被解釋變量的預(yù)測值為……值”。這種說法是不科學(xué)的，也是計(jì)量經(jīng)濟(jì)學(xué)模型無法達(dá)到的。如果一定要給出一個(gè)具體的預(yù)測值，那么它的置信水平則為0;如果一定要回答解釋變量以100%的置信水平處在什么區(qū)間中，那么這個(gè)區(qū)間是8。在實(shí)際應(yīng)用中，我們當(dāng)然也希望置信水平越高越好，置信區(qū)間越小越好，以增加預(yù)測的實(shí)用意義。如何才能縮小置信區(qū)間？從（2.5.5）和（2.5.6）式中不難看出：（1）增大樣本容量n。在同樣的置信水平下，n越大，從t分布表中查得自由度為（n-k-1）的臨界值t越??；同時(shí)，增大樣本容量，在一般情況下可使a2Xe2?2=-—減小，因?yàn)槭街蟹帜傅脑龃笫强隙ǖ?，分子并不一定增大。?）更un-2主要的是提高模型的擬合優(yōu)度，以減小殘差平方和Xe2。設(shè)想一種極端情況，如果模型完全擬合樣本觀測值，殘差平方和為0,則置信區(qū)間長度也為0,預(yù)測區(qū)間就是一點(diǎn)。（3）提高樣本觀測值的分散度。在一般情況下，樣本觀測值越分精品文檔

精品文檔散，作為分母的工（x^-x>2的值越大，致使區(qū)間縮小。置信水平與置信區(qū)間是矛盾的。置信水平越高，在其他情況不變時(shí)，臨界值/越大，置信區(qū)間越大。如%果要求縮小置信區(qū)間，在其他情況不變時(shí)，就必須降低對置信水平的要求。四、一元線性回歸模型參數(shù)估計(jì)實(shí)例為了幫助讀者理解一元線性回歸模型參數(shù)估計(jì)的原理，下面以我國國家財(cái)政文教科學(xué)衛(wèi)生事業(yè)費(fèi)支出模型為例，不采用計(jì)量經(jīng)濟(jì)學(xué)應(yīng)用軟件，用手工計(jì)算，進(jìn)行模型的參數(shù)估計(jì)。經(jīng)分析得到，我國國家財(cái)政中用于文教科學(xué)衛(wèi)生事業(yè)費(fèi)的支出，主要由國家財(cái)政收入決定，二者之間具有線性關(guān)系。于是可以建立如下的模型：ED=a+0FI+從其中，EDt為第t年國家文教科學(xué)衛(wèi)生事業(yè)費(fèi)支出額（億元），F(xiàn)It為第t年國家財(cái)政收入額（億元），匕，為隨機(jī)誤差項(xiàng)，0和0為待估計(jì)的參數(shù)。選取1991—1997年的數(shù)據(jù)為樣本，利用（2.2.6）和（2.2.7）的計(jì)算公式，分別計(jì)算參數(shù)估計(jì)值。表2.2.1有關(guān)數(shù)據(jù)表年份EDFIEDFIAEDAED—EDEDEDED19917083149-551-2351734-26-0.03719927933483-466-2017804-11-0.01419939584349-301-11511001-43-0.04519941278521819-2821196820.0641995146762422087421424430.02919961704740844519081685190.01119971904865164531511963-59-0.031有關(guān)中間計(jì)算結(jié)果如下：ZED=8812ZFI=38500 — —t t 9ZFI2=236869644 ZFI?ED=54078207t t ttL L 2 ______ZFI=5612207 ZFI=25119644t. . t . t由電腦計(jì)算的參數(shù)估計(jì)值為精品文檔精品文檔&=-39.65,B=0.24全部統(tǒng)計(jì)結(jié)果如下表。從表中可看出，判定系數(shù)R2=0.99,表示以國家財(cái)政收入額來解釋國家文教科學(xué)衛(wèi)生事業(yè)費(fèi)支出額，在1991至1997年間，擬合度相當(dāng)理想。截距項(xiàng)a的估計(jì)值對應(yīng)的t-統(tǒng)計(jì)量為0.47,不能通過顯著性檢驗(yàn)，即不能推翻a為0的假設(shè)；而一次系數(shù)P的估計(jì)值對應(yīng)的t-統(tǒng)計(jì)量為20.34,不用查表即可知通過顯著性檢驗(yàn)，即B顯著不為0，因果關(guān)系成立。F-統(tǒng)計(jì)量的值為413.58,也表示方程系數(shù)顯著不為0。精品文檔

精品文檔表一：Eviews計(jì)算結(jié)果DependentVariable:EDMethod:LeastSquaresDate:09/21/02Time:16:22Sample:19911997Includedobservations:7VariableCoefficientStd.Error t-StatisticProb.C30.0523763.90691 0.4702520.6580FI0.2234190.010986 20.336590.0000R-squared0.988055Meandependentvar1258.857AdjustedR-squared0.985666S.D.dependentvar459.8972S.E.ofregression55.06160Akaikeinfocriterion11.08974Sumsquaredresid15158.90Schwarzcriterion11.07428Loglikelihood-36.81408F-statistic413.5768Durbin-Watsonstat1.644626Prob(F-statistic)0.000005表二：不含截距項(xiàng)的Eviews計(jì)算結(jié)果:DependentVariable:EDMethod:LeastSquaresDate:09/21/02Time:16:19Sample:19911997Includedobservations:7VariableCoefficientStd.Error t-StatisticProb.FI0.2283040.003337 68.408770.0000R-squared0.987526Meandependentvar1258.857AdjustedR-squared0.987526S.D.dependentvar459.8972S.E.ofregression51.36364Akaikeinfocriterion10.84730Sumsquaredresid15829.34Schwarzcriterion10.83957Loglikelihood-36.96556Durbin-Watsonstat1.630622精品文檔精品文檔DependentVariable:LEDMethod:LeastSquaresDate:09/21/02Time:16:21Sample:19911997Includedobservations:7VariableCoefficientStd.Error t-StatisticProb.C-1.5223290.383141 -3.9732900.0106LFI1.0055630.044764 22.463410.0000R-squared0.990188Meandependentvar7.077084AdjustedR-squared0.988226S.D.dependentvar0.382958S.E.ofregression0.041554Akaikeinfocriterion-3.288701Sumsquaredresid0.008634Schwarzcriterion-3.304156Loglikelihood13.51045F-statistic504.6048Durbin-Watsonstat1.930000Prob(F-statistic)0.000003精品文檔

精品文檔多元線性回歸模型的參數(shù)估計(jì)實(shí)例例2.3.1建立中國消費(fèi)模型。根據(jù)消費(fèi)模型的一般形式，選擇消費(fèi)總額為被解釋變量，國內(nèi)生產(chǎn)總值和前一年的消費(fèi)總額為解釋變量，變量之間關(guān)系為簡單線性關(guān)系，選取1981年至1996年統(tǒng)計(jì)數(shù)據(jù)為樣本觀測值。樣本觀測值列于表2.3.1中。表2.3.1中國消費(fèi)數(shù)據(jù)表年份消費(fèi)總額國內(nèi)生產(chǎn)總值前一年消費(fèi)額年份消費(fèi)總額國內(nèi)生產(chǎn)總值前一年消費(fèi)額1981330949012976198910556164