多元回歸：估計(jì)與假設(shè)檢驗(yàn)

經(jīng)濟(jì)計(jì)量學(xué)Chp8——多元回歸：估計(jì)與假設(shè)檢驗(yàn)主要內(nèi)容8.1多元線(xiàn)性回歸模型及其假定8.2多元線(xiàn)性回歸參數(shù)的估計(jì)8.3多元回歸模型的擬合優(yōu)度8.4多元回歸模型的假設(shè)檢驗(yàn)8.5關(guān)于設(shè)定誤差8.6實(shí)例從單解釋變量到多解釋變量一個(gè)例子：存款機(jī)構(gòu)破產(chǎn)學(xué)習(xí)目標(biāo)多元回歸模型的估計(jì)問(wèn)題多元回歸模型的假設(shè)檢驗(yàn)問(wèn)題多元回歸模型區(qū)別于雙變量模型的特性如何決定多元回歸模型中解釋變量的個(gè)數(shù)8.1多元線(xiàn)性回歸模型及其假定多元線(xiàn)性回歸模型

多元線(xiàn)性回歸模型：表現(xiàn)在線(xiàn)性回歸模型中的解釋變量有多個(gè)。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，Bj稱(chēng)為回歸參數(shù)（regressioncoefficient）。也被稱(chēng)為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:表示：各變量X值固定時(shí)Y的均值，即總體回歸線(xiàn)上的點(diǎn)。習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀(guān)測(cè)值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）確定成分隨機(jī)成分Bj也被稱(chēng)為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;或者說(shuō)Bj給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。其隨機(jī)表示式:

ei稱(chēng)為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)ui的近似替代。用來(lái)估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為：多元線(xiàn)性回歸模型的基本假定

假設(shè)1：回歸模型是參數(shù)線(xiàn)性的，并且正確設(shè)定假設(shè)2：解釋變量與擾動(dòng)項(xiàng)不相關(guān)假設(shè)3，隨機(jī)誤差項(xiàng)具有零均值、同方差，服從正態(tài)分布及不序列相關(guān)性（相當(dāng)于書(shū)中的3、4、5、7等四個(gè)假設(shè)）。多元線(xiàn)性回歸模型的基本假定

假設(shè)4：解釋變量之間不存在完全共線(xiàn)性，即兩個(gè)解釋變量之間無(wú)確切的線(xiàn)性關(guān)系。在存在完全共線(xiàn)性的情況下，不能估計(jì)偏回歸系數(shù)，即不能估計(jì)各解釋變量各自對(duì)應(yīng)變量Y的影響。實(shí)際問(wèn)題中，很少會(huì)遇到完全共線(xiàn)性的情況，但卻面臨高度共線(xiàn)性或近似完全共線(xiàn)性的情況。這將第三部分說(shuō)明。關(guān)于正態(tài)性的說(shuō)明偏決定系數(shù)在多元線(xiàn)性回歸分析中，當(dāng)其他變量被固定后，給定的任兩個(gè)變量之間的相關(guān)系數(shù)，叫偏相關(guān)系數(shù)。偏相關(guān)系數(shù)可以度量p+1個(gè)變量y，x1，，xp之中任意兩個(gè)變量的線(xiàn)性相關(guān)程度，而這種相關(guān)程度是在固定其余p-1個(gè)變量的影響下的線(xiàn)性相關(guān)。糧食產(chǎn)量與農(nóng)業(yè)投入資金、糧食產(chǎn)量與勞動(dòng)力投入之間的關(guān)系時(shí)，用于農(nóng)業(yè)投入的資金的多少會(huì)影響糧食產(chǎn)量，勞動(dòng)力的投入多少也會(huì)影響糧食產(chǎn)量。由于資金投入數(shù)量的變化，勞動(dòng)力投入的多少也經(jīng)常在變化，用簡(jiǎn)單相關(guān)系數(shù)往往不能說(shuō)明現(xiàn)象之間的關(guān)系程度如何，這就需要在固定其他變量影響的情況下來(lái)計(jì)算兩個(gè)變量之間的聯(lián)系程度，計(jì)算出的這種相關(guān)系數(shù)就稱(chēng)為偏相關(guān)系數(shù)。偏決定系數(shù)1.兩個(gè)自變量的偏決定系數(shù)

二元線(xiàn)性回歸模型為

記SSE(x2)是模型中只含有自變量x2時(shí)y的殘差平方和，SSE(x1,x2)是模型中同時(shí)含有自變量x1和x2時(shí)y的殘差平方和。

模型中已含有x2時(shí)，再加入x1使y的剩余變差的相對(duì)減小量為即模型中已含有x2時(shí)，y與x1的偏決定系數(shù)。同樣的，模型中已含有x1時(shí)，y與x2的偏決定系數(shù)為偏決定系數(shù)的平方根為偏相關(guān)系數(shù)。8.2多元線(xiàn)性回歸參數(shù)的估計(jì)主要內(nèi)容

1.普通最小二乘估計(jì)量2.OLS估計(jì)量的方并與標(biāo)準(zhǔn)誤3.多元回歸OLS估計(jì)量的性質(zhì)4.估計(jì)實(shí)例

1.普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀(guān)測(cè)值(Yi,Xji),i=1,2,…,n;j=1,…,k如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n

根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是如下方程組的解

其中：

于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

解這k+1個(gè)方程組成的線(xiàn)性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值bj,j=0,1,…,k

對(duì)于三變量模型：

解得：2.OLS估計(jì)量的方差與標(biāo)準(zhǔn)誤

標(biāo)準(zhǔn)誤的作用：建立真實(shí)參數(shù)的置信區(qū)間；檢驗(yàn)統(tǒng)計(jì)假設(shè)方差與標(biāo)準(zhǔn)誤的具體公式：各參數(shù)的標(biāo)準(zhǔn)誤分別等于它們方差的平方根。3.多元回歸OLS參數(shù)估計(jì)量的性質(zhì)在滿(mǎn)足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)B的普通最小二乘估計(jì)——矩估計(jì)及最大似然估計(jì)仍具有：線(xiàn)性性、無(wú)偏性、有效性。同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：漸近無(wú)偏性、漸近有效性、一致性。

1、線(xiàn)性性

其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

2、無(wú)偏性

3、有效性（最小方差性）

這里利用了假設(shè):E(X’u)=0參數(shù)估計(jì)量b的方差－協(xié)方差矩陣其中利用了

和根據(jù)高斯——馬爾可夫定理，在所有無(wú)偏估計(jì)量的方差中是最小的。

關(guān)于樣本容量問(wèn)題

所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。

⒈最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

≥

k+1因?yàn)椋瑹o(wú)多重共線(xiàn)性要求：秩(X)=k+1

2、滿(mǎn)足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n

30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k≥8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n≥30或者至少n≥3(k+1)時(shí)，才能說(shuō)滿(mǎn)足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明8.3多元線(xiàn)性回歸模型的擬合優(yōu)度擬合優(yōu)度——多元可決系數(shù)（判定系數(shù)）１.可決系數(shù)與校正的可決系數(shù)則

總離差平方和的分解由于:

=0所以有：

注意：

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，R2往往增大。

這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。——

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需校正。校正的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以校正的思路是：將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。注：兩個(gè)解釋變量，但要估計(jì)三個(gè)參數(shù)注：這里的分母和書(shū)上(P84)差１，是因?yàn)闀?shū)上將常數(shù)項(xiàng)也看成一個(gè)變量。*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）例：P77（古董鐘拍賣(mài)）校正的判定系數(shù)有如下性質(zhì)：如果k>1，則R2總是大于0，但可能為負(fù)（例見(jiàn)P88）8.4多元線(xiàn)性回歸模型的假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)

一、變量的顯著性檢驗(yàn)（t檢驗(yàn)）二、方程的顯著性檢驗(yàn)(F檢驗(yàn))三、參數(shù)的置信區(qū)間

一、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

方程的可決系數(shù)R2雖然度量了估計(jì)回歸直線(xiàn)的擬合優(yōu)度，但R2本身卻不能判定回歸系數(shù)是否是統(tǒng)計(jì)顯著的，即是否顯著不為零。因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)——偏回歸系數(shù)的顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。

這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的?？梢宰C明，在多元線(xiàn)性回歸的基本假設(shè)條件下，服從正態(tài)分布，它們的均值分別為B0，B1，B2，方差分別如P78。但由于

2無(wú)法觀(guān)察，故用其無(wú)偏估計(jì)量代替，所得的OLS估計(jì)量服從自由度為(n-3)的t分布，而非正態(tài)分布，即：1、t統(tǒng)計(jì)量

2、t檢驗(yàn)——顯著性檢驗(yàn)法

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：Bi

0

給定顯著性水平

，可得到臨界值t

/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò)

|t|

t

/2(n-k-1)或|t|≤t

/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：Bi=0

（i=1,2…k）

注：這里還得注意是單邊檢驗(yàn)還是雙邊檢驗(yàn)的問(wèn)題。2、t檢驗(yàn)——置信區(qū)間法

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：Bi

0

根據(jù)給定的顯著性水平

，可得到臨界值t

/2(n-k-1)，進(jìn)而求得總體參數(shù)（偏回歸系數(shù)）的置信區(qū)間，再看該區(qū)間是否包含零假設(shè)的B值——B*

（一般為0），以決定接受還是拒絕零假設(shè)。H0：Bi=0

（i=1,2…k）

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線(xiàn)性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=B0+B1X1i+B2X2i+

+BkXki+

ii=1,2,

,n中的參數(shù)Bj是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：B0=B1=B2=

=Bk=0H1：Bj不全為0F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：

TSS=ESS+RSS由于回歸平方和ESS=

?i2是解釋變量X的聯(lián)合體對(duì)被解釋變量Y的線(xiàn)性作用的結(jié)果，考慮比值：

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線(xiàn)性關(guān)系，反之總體上可能不存在線(xiàn)性關(guān)系。

因此,可通過(guò)該比值的大小對(duì)總體線(xiàn)性關(guān)系進(jìn)行推斷。

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布。

給定顯著性水平

，可得到臨界值F

(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò)

F

F

(k,n-k-1)或F≤F

(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線(xiàn)性關(guān)系是否顯著成立。注意：一元線(xiàn)性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：B1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

３、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

計(jì)算得參數(shù)的置信區(qū)間：

B0

：(44.284,197.116)

B1

：(0.0937,0.3489)

B2

：(0.0951,0.8080)

從回歸計(jì)算中已得到：

在中國(guó)居民人均收入－消費(fèi)支出二元模型例中,給定

=0.05，查表得臨界值：t0.025(19)=2.093b0=120.70,Sb0=36.51b1=0.2213,Sb1=0.061b2=0.4515,Sb2=0.170如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣