古典線性回歸模型的基本假設(shè)

1古典線性回歸模型的基本假設(shè)2學(xué)習(xí)目標(biāo)古典線性回歸模型(ClassicalLinearRegressionModel)的基本假設(shè)普通最小平方法估計式的抽樣分配(samplingdistribution)普通最小平方法估計式的統(tǒng)計性質(zhì)假說檢定(hypothesistesting)回歸模型的配適度與預(yù)測3古典線性回歸模型(1/4)古典線性回歸模型的基本假設(shè)母體條件期望值為參數(shù)的線性函數(shù)誤差項的條件期望值為零同質(zhì)變異(homoscedasticity):誤差項的變異數(shù)相同無自我相關(guān)(noautocorrelation):誤差項彼此之間

不相關(guān)自變數(shù)X和誤差項不相關(guān)模型設(shè)定正確(theregressionmodeliscorrectly

specified)4古典線性回歸模型(2/4)假設(shè)2:誤差項的條件期望值為零5古典線性回歸模型(3/4)圖:同質(zhì)變異(homoscedasticity,equalvariance);圖:異質(zhì)變異(heteroscedasticity,unequalvariance)6古典線性回歸模型(4/4)(a)圖:誤差項無自我相關(guān)(noautocorrelation);(b)圖:誤差項正自我相關(guān)(positiveautocorrelation);(c)圖:誤差項負(fù)自我相關(guān)(negativeautocorrelation)7估計式的抽樣分配

(1/6)根據(jù)OLS估計方法所得到的估計值會隨著樣本(抽樣)不同而改變，故OLS估計式為隨機(jī)變量，必須知道估計式的抽樣分配，也就是要知道估計式的機(jī)率分配、期望值和變異數(shù)，方才能夠進(jìn)行檢定。OLS估計式的期望值

在古典線性回歸模型的假設(shè)下，

故OLS估計式是不偏估計式(unbiasedestimator)。

8估計式的抽樣分配

(2/6)

OLS估計式的變異數(shù)與標(biāo)準(zhǔn)誤(varianceandstandarderrors)OLS估計式的變異數(shù)系用來衡量估計式抽樣分配的變異程度OLS估計式的變異數(shù)與標(biāo)準(zhǔn)誤(se)

9估計式的抽樣分配

(3/6)

其中是誤差項的變異數(shù)，倘若已知，根據(jù)公式可計算出估計式變異數(shù)的數(shù)值，但因為母體真實的變異數(shù)未知，故也必須估計。10估計式的抽樣分配

(4/6)

:的估計式，開根號稱為回歸的估計標(biāo)準(zhǔn)誤(standarderroroftheregression,SER)

11估計式的抽樣分配

(5/6)

殘差

殘差平方4.81818223.21488-10.3636107.4054.45454519.84298-0.727270.5289264.09090916.73554-1.090911.190083-6.2727339.347113.54545512.570258.36363669.95041-6.8181846.4876(SSR/n-2)42.159096.49300312

13估計式的抽樣分配

(6/6)雖然已經(jīng)得到OLS估計式抽樣分配的期望值和變異數(shù)，但是還不知道估計式屬于何種機(jī)率分配，因此在古典線性回歸模型再加上一個假設(shè):

誤差項遵循常態(tài)分配

由于常態(tài)分配隨機(jī)變量的線性函數(shù)仍為常態(tài)分配，因此OLS估計式也為常態(tài)分配隨機(jī)變量。

14OLS估計式的統(tǒng)計性質(zhì)

Gauss-Markovtheorem:在古典線性回歸模型的假設(shè)下，OLS估計式具有BLUE(bestlinearunbiasedestimator)的良好性質(zhì)，換言之，OLS估計式是所有線性不偏估計式中變異數(shù)最小的。

估計式是觀察值Y的線性函數(shù)。

估計式不偏。在重復(fù)抽樣之下，平均來看，估計式的期望值會等于真實母體參數(shù)值(

同樣滿足不偏)。

在所有線性不偏估計式，OLS估計式最有效率。

15假說檢定(1/9)回歸分析的第二個目標(biāo)是檢定，判斷自變數(shù)和應(yīng)變數(shù)之間是否具有顯著的關(guān)系，是正向或是負(fù)向關(guān)系。

虛無假設(shè)

對立假設(shè)

雙尾檢定

右尾檢定

左尾檢定16假說檢定(2/9)假說檢定必須仰賴估計式的抽樣分配，已知OLS估計式遵循常態(tài)分配，故

為標(biāo)準(zhǔn)常態(tài)分配。

17假說檢定(3/9)由于母體變異數(shù)未知，以回歸標(biāo)準(zhǔn)誤

取代，

根據(jù)t分配建立信賴區(qū)間進(jìn)行檢定，或是計算t值進(jìn)行顯著性檢定。

18假說檢定(4/9)信賴區(qū)間法(confidenceintervalapproach)

以簡單回歸講義的數(shù)值例子來討論，假設(shè)進(jìn)行雙尾檢定，并令顯著水平(significantlevelortheprobabilityofcommittingatypeIerror)為5%，則由t分配表可知(樣本數(shù)10，故自由度為8):

19假說檢定(5/9)

上式為母體參數(shù)的95%信賴區(qū)間，重覆抽樣下，平均來說，100次當(dāng)中有95次這個區(qū)間會包含母體真值信賴區(qū)間為接受域(theregionofacceptance)，信賴區(qū)間之外為拒絕域(therejectionregion)，若虛無假設(shè)的值落于信賴區(qū)間，無法拒絕虛無假設(shè)；若落于信賴區(qū)間以外，拒絕虛無假設(shè)(因為有5%的機(jī)率這個區(qū)間不包含母體真值，故錯誤地拒絕為真之虛無假設(shè)的機(jī)率為5%)

下限95%上限95%9.66425639.244830.4266680.5915142021假說檢定(6/9)顯著性檢定法(Thetestofsignificanceapproach)

根據(jù)估計式的抽樣分配建立虛無假設(shè)成立之下的檢定量(teststatistic)，計算于樣本資料下該檢定量的數(shù)值(稱為檢定值)，再比較檢定值和臨界值進(jìn)行顯著性檢定。

虛無假設(shè)成立下()的檢定量(teststatistic)

22假說檢定(7/9)雙尾檢定時，若樣本資料所計算出之t值落于

臨界值之外，表示樣本檢定結(jié)果為:母體參數(shù)值顯著異于虛無假設(shè)的數(shù)值，故拒絕虛無假設(shè)；若計算出之

t值落于兩臨界值之間，則無法拒絕虛無假設(shè)。

系數(shù)標(biāo)準(zhǔn)誤t統(tǒng)計P-值截距24.454556.4138173.8127910.005142X變量10.5090910.03574314.243175.75E-072324假說檢定(8/9)單尾檢定(one-tailedtest)

右尾:if，拒絕虛無假設(shè)左尾:if，拒絕虛無假設(shè)p-value:theexactlevelofsignificance(rejectnullhypothesisifpvalueissufficientlylow)25假說檢定(9/9)單尾

t

檢定:(a)右尾

(b)左尾26配適度(goodnessoffit)(1/3)

判定系數(shù)(coefficientofdetermination):衡量應(yīng)變數(shù)Y的變異當(dāng)中能夠被自變數(shù)X解釋的部分，定義為

SST(總變異)、SSE(被解釋變異)與SSR(殘差變異)的定義與計算:

自由度SS回歸18552.727殘差8337.2727總和98890殘差殘差平方4.81818223.21488-10.3636107.4054.45454519.84298-0.727270.5289264.09090916.73554-1.090911.190083-6.2727339.347113.54545512.570258.36363669.95041-6.8181846.4876337.2727(SSR)2728配適度(goodnessoffit)(2/3)應(yīng)變數(shù)Y之變異的分解29配適度(goodnessoffit)(3/3)在簡單回歸模型，應(yīng)變數(shù)與自變數(shù)之相關(guān)系數(shù)(thecoefficientofcorrelation)和判定系數(shù)具有如下的關(guān)系:

應(yīng)變數(shù)與自變數(shù)的樣本相關(guān)系數(shù)會等于判定系數(shù)開根號，而相關(guān)系數(shù)的正負(fù)號則由的正負(fù)號所決定。30

預(yù)測(1/4)點(diǎn)預(yù)測：樣本回歸估計出來后，可以根據(jù)估計結(jié)果作點(diǎn)預(yù)測:在任一給定的X值，預(yù)測Y值是多少?即given

，根據(jù)樣本回歸預(yù)測

預(yù)測誤差為

預(yù)測的信賴區(qū)間(individualprediction)

因為

故Y0預(yù)測的信賴區(qū)間為