第三章 一元線性回歸.doc

第三章 一元線性回歸第一部分 學(xué)習(xí)指導(dǎo)一、本章學(xué)習(xí)目的與要求1、掌握一元線性回歸的經(jīng)典假設(shè)；2、掌握一元線性回歸的最小二乘法參數(shù)估計的計算公式、性質(zhì)和應(yīng)用；3、理解擬合優(yōu)度指標(biāo)：決定系數(shù)R2的含義和作用；4、掌握解釋變量和被解釋變量之間線性關(guān)系檢驗，回歸參數(shù)和的顯著性檢驗5、了解利用回歸方程進(jìn)行預(yù)測的方法。二、本章內(nèi)容提要（一）一元線性回歸模型的假設(shè)條件（1）E（）=0 （i=1，2，n），即隨機(jī)誤差項分布的均值為零。（2）Var（）= （i=1,2, ，n），即隨機(jī)誤差項方差恒定，稱為同方差。（3）Cov（，）=0，（任意ij，i，j =1,2, ，n），即隨機(jī)誤差項之間互不相關(guān)。（4）解釋變量是非隨機(jī)的，換句話說，在重復(fù)抽樣下，的取值是確定不變的。（5）N（0，），即隨機(jī)誤差項服從均值為0,方差為的正態(tài)分布。前四個假定就是著名的高斯馬爾科夫假定或者稱為回歸分析的經(jīng)典假定。（二）一元線性回歸最小二乘法估計參數(shù)的計算公式及性質(zhì)1、一元線性回歸最小二乘法估計參數(shù)的計算公式為：2、一元線性回歸最小二乘法估計參數(shù)的性質(zhì)與估計量的性質(zhì)（1）殘差的總和等于0，即=0。（2）殘差的平方和最小，即最小。（3）被解釋變量的實際觀測值之和等于其擬合值之和，從而的均值與的均值也相等。（4）殘差與互不相關(guān)，即。（5）回歸直線通過解釋變量和被解釋變量的均值點。3、OLS法得到的估計量的性質(zhì)（1） 線性性，即參數(shù)估計量是關(guān)于被解釋變量取值的線性函數(shù)。（2）無偏性，即參數(shù)估計量的均值等于參數(shù)本身，也就是E（）=，E（）=（3）方差最小性，即在參數(shù)的所有線性無偏估計中，OLS估計量是方差最小的。該性質(zhì)也稱為方差有效性。由（1）、（2）、（3）條性質(zhì)知，根據(jù)最小二乘法得到的參數(shù)估計量是最優(yōu)線性無偏估計量（Best Linear Unbias Estimator），簡稱BLUE估計量。（三）擬合優(yōu)度指標(biāo)：決定系數(shù)R21、總離差平方和的分解（TSS） 即：總離差平方和=回歸平方和+殘差平方和其中：，稱為回歸平方和（Explained Sum of Square）；，稱為殘差平方和（Residual Sum of Square）。2、決定系數(shù)R2= 決定系數(shù)反映的是回歸方程的擬合程度，值越大說明擬合優(yōu)度越好，反之越差。 （四）變量之間線性關(guān)系的顯著性檢驗1、解釋變量和被解釋變量之間線性關(guān)系檢驗解釋變量和被解釋變量之間線性關(guān)系檢驗，使用F檢驗。如果計算出的F值大于在給定的顯著性水平下的臨界值，則接受備擇假設(shè)，說明解釋變量對被解釋變量有顯著影響，即兩者線性關(guān)系顯著。如果經(jīng)計算出的F值小于在給定的顯著性水平下的臨界值，則接受原假設(shè)，說明解釋變量對被解釋變量沒有顯著影響，即兩者線性關(guān)系不顯著。在Eviews軟件中，通常只要看F值所對應(yīng)的概率。在Eviews軟件中用Prob（F-statistic）表示，它被定義為Prob（F-statistic）=。由概率統(tǒng)計知識知，只要F值所對應(yīng)的概率小于給定的顯著性水平，就一定有F值大于臨界值。也就是說，只要比較Prob（F-statistic）和的大小就可以判斷兩變量線性關(guān)系是否顯著。2、回歸參數(shù)和的顯著性檢驗計量經(jīng)計學(xué)中，主要是針對回歸參數(shù)真值是否為零來進(jìn)行顯著性檢驗的。對回歸參數(shù)和的顯著性檢驗使用檢驗。（1）回歸參數(shù)的顯著性檢驗，實際應(yīng)用中，總體方差通常是未知的， =。檢驗步驟如下：對總體參數(shù)提出假設(shè) H0： b1=0， H1：b10以原假設(shè)H0構(gòu)造t統(tǒng)計量，并由樣本計算其值給定顯著性水平a，查t分布表，得臨界值；比較，判斷，若|則拒絕H0 ，接受H1 ； 若|t|，則拒絕H1 ，接受H0 。（2）回歸參數(shù)的顯著性檢驗仿照回歸參數(shù)的顯著性檢驗方法，構(gòu)造統(tǒng)計量：具體步驟與回歸參數(shù)的顯著性檢驗步驟相同。（五）總體均值和個別值的預(yù)測1、總體均值的點估計在給定條件下，的點估計值或稱為預(yù)測值為：。2、總體均值的區(qū)間估計在給定顯著性水平的條件下，的置信區(qū)間為：（ ， +） 其中，= 3、個別值的區(qū)間估計在給定顯著性水平的條件下，（， +）其中：，一般用代替。第二部分 重點、難點解析一、一元線性回歸分析的一般步驟一元線性回歸分析有以下幾個主要步驟：第一步，根據(jù)研究的目的和內(nèi)容確定被解釋變量和解釋變量，即變量的選擇問題。選擇解釋變量的一個原則是：既要與被解釋變量有密切的關(guān)系，又要考慮變量資料的可得性，還要兼顧模型簡潔。第二步，模型的設(shè)定。模型設(shè)定從根本上來說，是根據(jù)研究的經(jīng)濟(jì)現(xiàn)象，依據(jù)相應(yīng)的經(jīng)濟(jì)理論加以確定的?？梢哉f，依據(jù)的經(jīng)濟(jì)理論正確與否是模型建立的關(guān)鍵。當(dāng)然對經(jīng)濟(jì)現(xiàn)象歷史分析的實踐經(jīng)驗也是模型設(shè)定的重要依據(jù)。實踐中，當(dāng)經(jīng)濟(jì)理論和實踐經(jīng)驗都較為缺乏時，比如，研究一個從未研究過的新問題時，人們通常的做法是：根據(jù)所收集到的資料作散點圖，再依據(jù)散點圖的形狀來確定模型應(yīng)采用的形式。第三步，參數(shù)估計。 根據(jù)設(shè)定的模型，利用已經(jīng)收集到的樣本數(shù)據(jù)，應(yīng)用最小二乘法對模型中的參數(shù)進(jìn)行估計。目前關(guān)于最小二乘法估計的軟件很多，如Eviews，SAS等都可以用來對參數(shù)進(jìn)行估計，包括回歸參數(shù)，以及隨機(jī)誤差項的方差的估計。第四步，模型的檢驗和修正。當(dāng)模型中的參數(shù)估計出來以后，模型基本上就建立了。但是模型建立的好壞還需對模型本身及其參數(shù)作必要的檢驗。常用的檢驗經(jīng)濟(jì)檢驗、統(tǒng)計檢驗、計量經(jīng)濟(jì)檢驗以及殘差圖檢驗。如果模型通過了以上所有檢驗，則模型擬合較好，可以進(jìn)行實際運用。如果某一種檢驗沒有通過，就需要找出其未通過的原因，并根據(jù)具體情況對模型、估計方法等進(jìn)行修正或調(diào)整。第五步，模型的運用。模型的運用是回歸分析的目的和問題的出發(fā)點。回歸模型的一個重要應(yīng)用是進(jìn)行預(yù)測，或者通過預(yù)測達(dá)到控制目的。就一元線性回歸分析而言，就是給定解釋變量的一個特定值，來預(yù)測對應(yīng)被解釋變量的平均值和個別值。整個過程以流程圖的形式給出如下：二、如何根據(jù)Eviews軟件回歸的結(jié)果進(jìn)行模型的檢驗（一）回歸直線擬合優(yōu)度的檢驗在Eviews軟件運行結(jié)果中，可以直接得到擬合優(yōu)度的值，“R-squared”即是統(tǒng)計量，“Adjusted R-squared”即是調(diào)整的統(tǒng)計量。（二）回歸系數(shù)估計量的顯著性檢驗在Eviews軟件中，通常只要看值所對應(yīng)的概率，在Eviews軟件中用Prob.表示，它被定義為Prob.= =。由概率統(tǒng)計知識知，只要值所對應(yīng)的概率小于給定的顯著性水平，就一定有值的絕對值大于臨界值。也就是說，只要比較Prob.和的大小就可以判斷和與0是否有顯著差異。（三）回歸方程的顯著性檢驗在Eviews軟件中，通常只要看F值所對應(yīng)的概率。在Eviews軟件中用Prob（F-statistic）表示，它被定義為Prob（F-statistic）=。由概率統(tǒng)計知識知，只要F值所對應(yīng)的概率小于給定的顯著性水平，就一定有F值大于臨界值。也就是說，只要比較Prob（F-statistic）和的大小就可以判斷兩變量線性關(guān)系是否顯著。三、殘 差 圖 分 析（一）殘差圖分析的依據(jù)標(biāo)準(zhǔn)回歸模型假定隨機(jī)誤差項滿足零均值、同方差、不相關(guān)等假定。特別地，為了進(jìn)行統(tǒng)計推斷還要求隨機(jī)誤差項服從正態(tài)分布，即N（0，）。如果樣本回歸模型對數(shù)據(jù)擬合是良好的話，那么的估計就應(yīng)該反映的這些分布特性，即應(yīng)近似服從N（0，），從而有/N（0，1），并稱/為標(biāo)準(zhǔn)化殘差。考慮到一般是未知的，用來代替，通常用表示，從而有：N（0，1）（二）標(biāo)準(zhǔn)化殘差圖主要形式：1回歸方程擬合較好如果由（，）構(gòu)成的點絕大多數(shù)落在（2，+2）的水平帶狀區(qū)間之中，且不帶有任何系統(tǒng)趨勢、完全隨機(jī)地分布在該帶狀之中，則說明采用的回歸方程對樣本數(shù)據(jù)的擬合是良好的，見下圖。圖 3.6 回歸方程擬合較好的殘差圖2回歸方程具有某種曲線形式如果總體回歸方程本質(zhì)上是曲線，而我們回歸時卻采用的是直線，此時標(biāo)準(zhǔn)化殘差圖就會表現(xiàn)出某種曲線形狀，產(chǎn)生所謂的系統(tǒng)性偏差。圖3.7給出了兩種可能的形狀?；貧w方程具有曲線形式的殘差圖3樣本數(shù)據(jù)中存在一個或多個異常點當(dāng)樣本數(shù)據(jù)中存在異常點時，一個最明顯的特征是，這些異常點明顯地離開大多數(shù)數(shù)據(jù)點，見下圖。樣本數(shù)據(jù)中存在異常點時的殘差圖4回歸方程擬合不充分當(dāng)回歸方程擬合不充分的時候，由（，）構(gòu)成的點許多就會落在（2，+2）的水平帶狀區(qū)間之外，也就是不滿足正態(tài)性性質(zhì)。其原因可能是模型遺漏了某些重要的解釋變量，或模型設(shè)定有誤。擬合不充分的殘差圖見下圖。數(shù)據(jù)擬合不充分時的殘差圖5隨機(jī)誤差項存在異方差性如果Var（）=（不為常數(shù)） （i=1,2, ，n），即對應(yīng)于每個，有一個與之對應(yīng)，則稱隨機(jī)誤差項具有