第4章多元回歸估計(jì)與假設(shè)檢驗(yàn)課件

多元回歸：估計(jì)與假設(shè)檢驗(yàn)

第4章重點(diǎn)討論如何估計(jì)多元回歸模型？多元回歸模型的估計(jì)過程與雙變量模型有何不同？多元回歸模型的假設(shè)檢驗(yàn)與雙變量模型有何不同？多元回歸模型有沒有一些在雙變量模型中未曾遇到的特性？既然一個(gè)多元回歸模型能夠包括任意多個(gè)解釋變量，那么如何決定解釋變量的個(gè)數(shù)？4.1三變量線性回歸模型4.2多元線性回歸模型的若干假定4.3多元回歸參數(shù)的估計(jì)4.4估計(jì)多元回歸的擬合優(yōu)度：多元判定系數(shù)R24.5古董鐘拍賣價(jià)格一例4.6多元回歸的假設(shè)檢驗(yàn)4.7對偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)4.8檢驗(yàn)聯(lián)合假設(shè)4.9從多元回歸模型到雙變量模型：設(shè)定誤差4.10校正的判定系數(shù)4.11什么時(shí)候增加新的解釋變量4.13若干例子本章主要內(nèi)容4.1三變量線性回歸模型三變量PRF的非隨機(jī)形式：

E(Yt)=B1+B2X2t+B3X3t

(4-1)其隨機(jī)形式為：

Yt=B1+B2X2t+B3X3t+ut

(4-2)=E(Yt)+ut

(4-3)式中Y—應(yīng)變量；X2、X3—解釋變量；u—隨機(jī)擾動項(xiàng)；t—第t個(gè)觀察值。表明：任何一個(gè)值可以表示成為兩部分之和：

1.系統(tǒng)成分或確定性成分()，也就是的均值

2.非系統(tǒng)成分或隨機(jī)成分，即由除、以外其他因素決定。

B2、B3為偏回歸系數(shù)4.1三變量線性回歸模型偏回歸系數(shù)的含義B2，B3稱為偏回歸系數(shù)(partialregressioncoefficients)或偏斜率系數(shù)(partialslopecoefficients)。其意義如下：B2度量了在X3保持不變的情況下，X2每變動一單位，Y的均值E(Y)的改變量。同樣的，B3度量了在X2保持不變的情況下，X3每變動一單位，Y的均值E(Y)的改變量。4.1三變量線性回歸模型多元線性回歸模型一般形式多元線性回歸模型：表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。一般表現(xiàn)形式：其中：k為解釋變量的數(shù)目（包括截距項(xiàng)），稱為回歸系數(shù)（regressioncoefficient）。習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：模型中解釋變量的數(shù)目為k。4.1三變量線性回歸模型也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為：方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xt每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化；或者說給出了Xt的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。4.1三變量線性回歸模型樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動項(xiàng)的近似替代。

4.2多元線性回歸模型的若干假定假定4.1

回歸模型是參數(shù)線性的，并且是正確設(shè)定的。假定4.2

隨機(jī)擾動項(xiàng)與解釋變量不相關(guān)。假定4.3

誤差項(xiàng)均值為零。(4–7)

假定4.4

同方差假定，即ui的方差為一常量：

(4-8)假定4.7

為了假設(shè)檢驗(yàn)，假定隨項(xiàng)誤差ui服從均值為零，(同)方差為的正態(tài)分布。即，ui~N(0,)4.2多元線性回歸模型的若干假定假定4.5

無自相關(guān)假定

cov(ui,uj)=0,i≠j假定4.6

解釋變量之間不存在完全共線性。即兩個(gè)解釋變量之間無確切的線性關(guān)系。(4-9)

(4-10)

4.2多元線性回歸模型的若干假定利用普通最小二乘法（OLS）進(jìn)行參數(shù)估計(jì)

無共線性（nocollinearity）或無多重共線性（nomulticollinearity）假定

共線性的(collinear)或嚴(yán)格的線性假定高度共線性（highperfectcollinearity）或近似完全共性線（nearperfectcollinearity）假定4.3多元回歸參數(shù)的估計(jì)4.3.1普通最小二乘估計(jì)量4.3.2OLS估計(jì)量的方差與標(biāo)準(zhǔn)誤4.3.3多元回歸OLS估計(jì)量的性質(zhì)4.3.多元回歸參數(shù)的估計(jì)4.3.1普通最小二乘估計(jì)量對于隨機(jī)抽取的n組觀測值，如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有樣本回歸方程：

根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

4.3多元回歸參數(shù)的估計(jì)于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

4.3多元回歸參數(shù)的估計(jì)4.3.2OLS估計(jì)量的方差與標(biāo)準(zhǔn)誤隨機(jī)誤差項(xiàng)ui的方差2的無偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)方差的無偏估計(jì)量為

4.3多元回歸參數(shù)的估計(jì)4.3.3多元回歸OLS估計(jì)量的性質(zhì)在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)仍具有：

線性性、無偏性、有效性。4.4估計(jì)多元回歸的擬合優(yōu)度：多元判定系數(shù)

的正平方根稱為多元相關(guān)系數(shù)（coefficientofmultiplecorrelation）

多元判定系數(shù)R24.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例4.5古董鐘拍賣價(jià)格一例拍賣價(jià)格與鐘表年代和競標(biāo)人數(shù)正相關(guān)。斜率系數(shù)12.74表示，在其他變量保持不變的條件下，如果鐘表年代每增加一年，則鐘表價(jià)格平均上升12.74馬克。負(fù)的截距項(xiàng)沒有實(shí)際意義。值相當(dāng)高，約為0.89，表示兩個(gè)變量解釋了拍賣價(jià)格89%的變異。

4.6多元回歸的假設(shè)檢驗(yàn)可以證明偏回歸系數(shù)均服從均值分別為的正態(tài)分布如用代替,則OLS估計(jì)量服從自由度為(n-k)的t分布4.7對偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)4.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）每個(gè)解釋變量對被解釋變量有無影響？必須對每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對變量的t檢驗(yàn)完成的。

4.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）

t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：Bt0

給定顯著性水平，可得到臨界值t/2(n-k)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k)或|t|t/2(n-k)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：Bt=0

t=1,2…,k

4.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）雙邊t檢驗(yàn)步驟：4.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）在鐘表價(jià)格與年代、投標(biāo)人數(shù)的三變量回歸模型例中，由軟件計(jì)算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(29)=2.045?？梢姡?jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗(yàn)。雙邊檢驗(yàn)

4.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）單邊t檢驗(yàn)步驟:如果根據(jù)理論或常識，非負(fù)，則可做單側(cè)檢驗(yàn)，比較t與tα。原假設(shè)H0：Bt≤0備擇假設(shè)H1：Bt>04.7.1變量的顯著性檢驗(yàn)（t檢驗(yàn)）由于先驗(yàn)地預(yù)期鐘表年代的系數(shù)為正，因此，這里實(shí)際上用的是單邊檢驗(yàn)：原假設(shè)H0：B2≤0備擇假設(shè)H1：B2>0右側(cè)單邊檢驗(yàn)4.7.2假設(shè)檢驗(yàn)的置信區(qū)間法參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：4.7.2假設(shè)檢驗(yàn)的置信區(qū)間法容易推出：其中，t/2為顯著性水平為、自由度為n-k的臨界值。

在100(1-)%的置信水平下的置信區(qū)間是:

4.7.2假設(shè)檢驗(yàn)的置信區(qū)間法

在鐘表價(jià)格與年代、投標(biāo)人數(shù)三變量回歸模型例中,給定=0.05，查表得臨界值：t0.025(29)=2.045計(jì)算得參數(shù)的95%置信區(qū)間：

B1

：(977.617,1694.481)

B2：(10.876,14.607)

B3

：(67.764,103.764)

從回歸計(jì)算中已得到4.5

古董鐘拍賣價(jià)格一例4.8檢驗(yàn)聯(lián)合假設(shè)：或多元回歸的總體顯著性檢驗(yàn)：

檢測所觀測到的多元回歸的總體顯著性的方差分析法（analysisofvarianceANOVA）：F檢驗(yàn)方程的顯著性檢驗(yàn)(F檢驗(yàn))

F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。4.8檢驗(yàn)聯(lián)合假設(shè)：或方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

即檢驗(yàn)?zāi)Ｐ?/p>

回歸系數(shù)全部為零的可能性。

可提出如下原假設(shè)與備擇假設(shè)：

4.8檢驗(yàn)聯(lián)合假設(shè)：或方差分析表（ANOVA)平方和d.f.均方差ESSk-1RSSn-kTSSn-14.8檢驗(yàn)聯(lián)合假設(shè)：或選擇顯著水平α，計(jì)算F統(tǒng)計(jì)量的值，與F分布表中的臨界值進(jìn)行比較：4.8檢驗(yàn)聯(lián)合假設(shè)：或4.8檢驗(yàn)聯(lián)合假設(shè)：或Table4-2給定顯著性水平

=0.05，查分布表，得到臨界值：F(2,29)=3.34顯然有FF(k-1,n-k)

即模型的線性關(guān)系在95%的水平下顯著成立。與之間的重要關(guān)系4.8檢驗(yàn)聯(lián)合假設(shè)：或1.F與R2統(tǒng)計(jì)量同方向變動；2.當(dāng)R2=0時(shí)，F(xiàn)為0；3.R2越大，F(xiàn)值越大；4.當(dāng)R2取極限值1時(shí)，F(xiàn)值趨于無窮大。4.9從多元回歸模型到雙變量模型：設(shè)定誤差設(shè)定偏差（modelspecificationbias)或設(shè)定誤差（specificationerror）

4.9從多元回歸模型到雙變量模型：設(shè)定誤差

判定系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問題：

在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大

這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。4.10比較兩個(gè)值

與解釋變量X的個(gè)數(shù)無關(guān)，而則可能隨著解釋變量的增加而減少（至少不會上升），因而，不同的SRF，得到的R2

就可能不同。必須消除這種因素，使R