第三章 多元線性回歸模型

第三章多元線性回歸模型第一頁，共七十頁，2022年，8月28日§3.1多元線性回歸模型

一、多元線性回歸模型二、多元線性回歸模型的基本假定

第二頁，共七十頁，2022年，8月28日一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。第三頁，共七十頁，2022年，8月28日也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:表示：各變量X值固定時Y的平均響應(yīng)。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）

第四頁，共七十頁，2022年，8月28日總體回歸模型n個隨機(jī)方程的矩陣表達(dá)式為:

其中

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。第五頁，共七十頁，2022年，8月28日用來估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為：第六頁，共七十頁，2022年，8月28日其隨機(jī)表示式:

ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動項(xiàng)i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：第七頁，共七十頁，2022年，8月28日二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。第八頁，共七十頁，2022年，8月28日

假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)

假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布

第九頁，共七十頁，2022年，8月28日上述假設(shè)的矩陣符號表示式：

假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。假設(shè)2，

第十頁，共七十頁，2022年，8月28日假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個重要假設(shè)：假設(shè)5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n∞時，

假設(shè)3，E(X’)=0，即

第十一頁，共七十頁，2022年，8月28日

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

或第十二頁，共七十頁，2022年，8月28日§3.2多元線性回歸模型的估計(jì)

一、普通最小二乘估計(jì)*二、最大或然估計(jì)四、參數(shù)估計(jì)量的性質(zhì)五、樣本容量問題六、估計(jì)實(shí)例

第十三頁，共七十頁，2022年，8月28日說明估計(jì)方法：3大類方法：OLS、ML或者M(jìn)M在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用ML或者M(jìn)M在本節(jié)中，ML與MM為選學(xué)內(nèi)容第十四頁，共七十頁，2022年，8月28日一、普通最小二乘估計(jì)對于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n

根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解其中第十五頁，共七十頁，2022年，8月28日

于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

解該（k+1）

個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計(jì)值$,,,,,bjj=012L。k第十六頁，共七十頁，2022年，8月28日□正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

第十七頁，共七十頁，2022年，8月28日

將上述過程用矩陣表示如下：

即求解方程組：第十八頁，共七十頁，2022年，8月28日得到：

于是：例：在例的家庭收入-消費(fèi)支出例中，

第十九頁，共七十頁，2022年，8月28日可求得：

于是：

第二十頁，共七十頁，2022年，8月28日?正規(guī)方程組的另一種寫法對于正規(guī)方程組

于是

或

(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法。

(*)(**)第二十一頁，共七十頁，2022年，8月28日?樣本回歸函數(shù)的離差形式i=1,2…n

其矩陣形式為：其中：

在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為

第二十二頁，共七十頁，2022年，8月28日?隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為：

第二十三頁，共七十頁，2022年，8月28日*二、最大或然估計(jì)對于多元線性回歸模型易知Y的隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率第二十四頁，共七十頁，2022年，8月28日

對數(shù)或然函數(shù)為對對數(shù)或然函數(shù)求極大值，也就是對

求極小值。即為變量Y的或然函數(shù)

第二十五頁，共七十頁，2022年，8月28日

因此，參數(shù)的最大或然估計(jì)為結(jié)果與參數(shù)的普通最小二乘估計(jì)相同第二十六頁，共七十頁，2022年，8月28日

四、參數(shù)估計(jì)量的性質(zhì)

在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數(shù)估計(jì)量具有：

漸近無偏性、漸近有效性、一致性。第二十七頁，共七十頁，2022年，8月28日

1、線性性

其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

2、無偏性

第二十八頁，共七十頁，2022年，8月28日

3、有效性（最小方差性）

這里利用了假設(shè):E(X’)=0第二十九頁，共七十頁，2022年，8月28日其中利用了

和第三十頁，共七十頁，2022年，8月28日

五、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。

⒈最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

≥

k+1因?yàn)?，無多重共線性要求：秩(X)=k+1第三十一頁，共七十頁，2022年，8月28日2、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：n30時，Z檢驗(yàn)才能應(yīng)用；n-k≥8時,t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n≥30或者至少n≥3(k+1)時，才能說滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明第三十二頁，共七十頁，2022年，8月28日

六、多元線性回歸模型的參數(shù)估計(jì)實(shí)例

例

在例中，已建立了中國居民人均消費(fèi)一元線性模型。這里我們再考慮建立多元線性模型。解釋變量：人均GDP：GDPP

前期消費(fèi)：CONSP(-1)估計(jì)區(qū)間：1979~2000年第三十三頁，共七十頁，2022年，8月28日Eviews軟件估計(jì)結(jié)果

第三十四頁，共七十頁，2022年，8月28日§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

第三十五頁，共七十頁，2022年，8月28日一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解第三十六頁，共七十頁，2022年，8月28日由于:

=0所以有：

注意：一個有趣的現(xiàn)象第三十七頁，共七十頁，2022年，8月28日

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的線性擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可?！?/p>

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。第三十八頁，共七十頁，2022年，8月28日

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。第三十九頁，共七十頁，2022年，8月28日第四十頁，共七十頁，2022年，8月28日*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

第四十一頁，共七十頁，2022年，8月28日

Eviews的估計(jì)結(jié)果顯示：中國居民消費(fèi)一元例中：

AIC=7.09SC=7.19

中國居民消費(fèi)二元例中：

AIC=6.68SC=6.83

從這點(diǎn)看，可以說前期人均居民消費(fèi)CONSP(-1)應(yīng)包括在模型中。第四十二頁，共七十頁，2022年，8月28日二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。第四十三頁，共七十頁，2022年，8月28日

可提出如下原假設(shè)與備擇假設(shè)：

H0：0=1=2==k=0H1：j不全為0

F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS第四十四頁，共七十頁，2022年，8月28日

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

第四十五頁，共七十頁，2022年，8月28日服從自由度為(k,n-k-1)的F分布。

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F(k,n-k-1)或F≤F(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。第四十六頁，共七十頁，2022年，8月28日對于中國居民人均消費(fèi)支出的例子：一元模型：F=285.92

二元模型：F=2057.3給定顯著性水平

=0.05，查分布表，得到臨界值：一元例：F(1,21)=4.32

二元例：

F(2,19)=3.52顯然有F

F(k,n-k-1)

，即二個模型的線性關(guān)系在95%的水平下顯著成立。第四十七頁，共七十頁，2022年，8月28日

2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或第四十八頁，共七十頁，2022年，8月28日第四十九頁，共七十頁，2022年，8月28日

在中國居民人均收入—消費(fèi)一元模型中，

在中國居民人均收入—消費(fèi)二元模型中，第五十頁，共七十頁，2022年，8月28日三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的。因此，必須對每個解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對變量的t檢驗(yàn)完成的。第五十一頁，共七十頁，2022年，8月28日

1、t統(tǒng)計(jì)量

由于

以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時，用它的估計(jì)量代替:第五十二頁，共七十頁，2022年，8月28日因此，可構(gòu)造如下t統(tǒng)計(jì)量

第五十三頁，共七十頁，2022年，8月28日

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|≤t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

第五十四頁，共七十頁，2022年，8月28日注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個統(tǒng)計(jì)量之間有如下關(guān)系：第五十五頁，共七十頁，2022年，8月28日在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093。

可見，計(jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗(yàn)。第五十六頁，共七十頁，2022年，8月28日四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：第五十七頁，共七十頁，2022年，8月28日容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。第五十八頁，共七十頁，2022年，8月28日如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。第五十九頁，共七十頁，2022年，8月28日§3.4多元線性回歸模型的預(yù)測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間第六十頁，共七十頁，2022年，8月28日對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：

它可以是總體均值E(Y0)或個值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

第六十一頁，共七十頁，2022年，8月28日一、E(Y0)的置信區(qū)間易知

第六十二頁，共七十頁，2022年，8月28日容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：其中，t/2為(1-)的置信水平下的臨界值。第六十三頁，共七十頁，2022年，8月28日二、Y0的置信區(qū)間如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那么預(yù)測誤差為：容易證明

第六十四頁，共七十頁，2022年，8月28日e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

第六十五頁，共七十頁，2022年，8月28日§3.5回歸模型的其他函數(shù)形式

在實(shí)際經(jīng)濟(jì)活動中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化