計(jì)量經(jīng)濟(jì)學(xué)第三章

第三章多元線性回歸模型多元線性回歸模型及其古典假設(shè)參數(shù)估計(jì)最小二乘估計(jì)量的統(tǒng)計(jì)特性統(tǒng)計(jì)顯著性檢驗(yàn)解釋變量的選擇中心化和標(biāo)準(zhǔn)化回歸方程利用多元線性回歸方程進(jìn)行預(yù)測(cè)第一頁(yè)，共八十六頁(yè)。第一節(jié)

多元線性回歸模型

及其古典假設(shè)

一、多元線性回歸模型的一般形式二、多元線性回歸模型的基本假定

第二頁(yè)，共八十六頁(yè)。一、多元線性回歸模型的一般形式如果被解釋變量（因變量）y與k個(gè)解釋變量（自變量）x1,x2,…,xk之間有線性相關(guān)關(guān)系，那么他們之間的多元線性總體回歸模型可以表示為：(3.1)其中，β0,β1,β2,…,βk是k+1個(gè)未知參數(shù)，即回歸系數(shù)，u是隨機(jī)誤差項(xiàng)。習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1，這樣模型中解釋變量的數(shù)目也為k+1。第三頁(yè)，共八十六頁(yè)。如:考慮勞動(dòng)力預(yù)期受教育年數(shù)問(wèn)題。

edu為勞動(dòng)力受教育年數(shù)，sibs為該勞動(dòng)力家庭中兄弟姐妹的個(gè)數(shù)，medu與fedu分別為母親與父親受到教育的年數(shù)。

如果將n組實(shí)際觀測(cè)數(shù)據(jù)（yi,x1i,x2i,…,xki),i=1,2,…,n代入i=1,2,…,n可以得到下列形式：(3.1)第四頁(yè)，共八十六頁(yè)。也被稱(chēng)為總體回歸模型的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:方程表示：各變量x值固定時(shí)y的平均響應(yīng)。

j也被稱(chēng)為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，xj每變化1個(gè)單位時(shí)，y的均值E(y)的變化;或者說(shuō)j給出了xj的單位變化對(duì)y均值的“直接”或“凈”（不含其他變量）影響。第五頁(yè)，共八十六頁(yè)?？傮w回歸模型n個(gè)隨機(jī)方程的為：

將其寫(xiě)為矩陣形式為：其中：(3.3)第六頁(yè)，共八十六頁(yè)。二、多元線性回歸模型的基本假定假設(shè)1，隨機(jī)誤差項(xiàng)ui的條件期望值為零假設(shè)2，隨機(jī)誤差項(xiàng)ui的條件方差相等假設(shè)3，隨機(jī)誤差項(xiàng)ui之間無(wú)序列相關(guān)(i,j=1,2,…,n;i≠j)第七頁(yè)，共八十六頁(yè)。

假設(shè)2，假設(shè)3，又稱(chēng)Gauss-Markov假設(shè)，將起合并記為：

Var-Cov(U)=E(UUT)第八頁(yè)，共八十六頁(yè)。第九頁(yè)，共八十六頁(yè)。

假設(shè)4自變量xl與隨機(jī)誤差項(xiàng)ui獨(dú)立Cov(ui,xl)=0(i=1,2,…,n;l=1,2,…,k)假設(shè)5隨機(jī)誤差項(xiàng)ui服從正態(tài)分布

假設(shè)6解釋變量之間不存在顯著的線性相關(guān)關(guān)系，也即自變量之間不存在多重共線性，也就是矩陣X的秩等于參數(shù)個(gè)數(shù)：

rank(X)=k+1<n

第十頁(yè)，共八十六頁(yè)。第二節(jié)

參數(shù)估計(jì)

一、樣本回歸模型與樣本回歸方程二、參數(shù)的最小二乘估計(jì)（OLS）三、參數(shù)的極大似然估計(jì)（ML）第十一頁(yè)，共八十六頁(yè)。對(duì)于若干個(gè)觀測(cè)（樣本）點(diǎn)（x1,x2,…,xk;

y）自變量x1,x2,…,xk和y之間存在線性相關(guān)關(guān)系，則：一、樣本回歸模型與樣本回歸方程(3.4)(3.4)式稱(chēng)為樣本回歸模型，它由兩部分組成。其中稱(chēng)為系統(tǒng)分量，是可以被自變量解釋的部分；ei是不能被自變量解釋的部分稱(chēng)為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸模型中隨機(jī)擾動(dòng)項(xiàng)ui的近似替代。第十二頁(yè)，共八十六頁(yè)。樣本回歸模型的矩陣表達(dá):其中：對(duì)樣本回歸模型的系統(tǒng)分量的系數(shù)進(jìn)行估計(jì)可得樣本回歸方程：其中：其中，

是y的系統(tǒng)分量，即由自變量決定的理論值，

分別是0

,1

,…,k的無(wú)偏估計(jì)量。樣本回歸方程的矩陣形式為：(3.5)第十三頁(yè)，共八十六頁(yè)。二、參數(shù)的最小二乘估計(jì)根據(jù)最小二乘原理：參數(shù)估計(jì)值應(yīng)該是下列方程組的解

第十四頁(yè)，共八十六頁(yè)。整理得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

利用克萊姆法則，解該k+1個(gè)方程組成的線性方程組，即可解得

。(3.6)第十五頁(yè)，共八十六頁(yè)。正規(guī)方程組(3.6)的矩陣形式即:由于Rank(X)=k+1,故XTX滿(mǎn)秩，故有：==(XTX)-1XTY

(3.8)第十六頁(yè)，共八十六頁(yè)。上述問(wèn)題也可以用以下矩陣方法來(lái)推導(dǎo)：因?yàn)槎际菢?biāo)量，所以二者相等，故：(3.7)化簡(jiǎn)得：由于Rank(X)=k+1,故XTX滿(mǎn)秩，故有：=(XTX)-1XTY

(3.8)第十七頁(yè)，共八十六頁(yè)。例3-1搜集某地區(qū)有關(guān)數(shù)據(jù)如下，建立消費(fèi)關(guān)于收入和人口的二元回歸方程。轉(zhuǎn)數(shù)據(jù)。第十八頁(yè)，共八十六頁(yè)。一、線性

由(3.3),(3.8)式知：

=(XTX)-1XTY=(XTX)-1XTX+(XTX)-1XTU=

+(XTX)-1XTU(3.9)這說(shuō)明，最小二乘估計(jì)量不僅是Ｙ的線性組合，也是Ｕ的線性組合。

=(XTX)-1XTY第三節(jié)最小二乘估計(jì)量的統(tǒng)計(jì)特性在滿(mǎn)足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)仍具有BLUE特性(Gauss-Markov定理)：線性、無(wú)偏性、最優(yōu)性等統(tǒng)計(jì)特性。第十九頁(yè)，共八十六頁(yè)。二、無(wú)偏性

對(duì)(3.8)兩邊期望得：E()=E[(XTX)-1XTY]=(XTX)-1XTE(Y)=(XTX)-1XTE(Xβ

+U)

=(XTX)-1(XTX)E(β)

+(XTX)-1XTE(U)

=β類(lèi)似的：E()=E[β

+(XTX)-1XTU]=β(這里利用了假設(shè):E(XTU)=0)第二十頁(yè)，共八十六頁(yè)。三、最優(yōu)性

考察一下參數(shù)估計(jì)量的協(xié)方差矩陣：第二十一頁(yè)，共八十六頁(yè)。又：j=0,1,2,…,k(3.12)其中，Cjj是(XTX)-1主對(duì)角線上的元素。所以，矩陣主對(duì)角線上的元素是的方差，其他元素為

和

的協(xié)方差。于是

的方差記作：第二十二頁(yè)，共八十六頁(yè)。設(shè)β*=AY也是β的一個(gè)線性無(wú)偏估計(jì)量，則：由于β*是無(wú)偏估計(jì)量，則E(β*)=β，所以:AX=I.因?yàn)槿我饩仃嚺c其自身的轉(zhuǎn)置矩陣的乘積一定是半正定矩陣，所以有：第二十三頁(yè)，共八十六頁(yè)。AX=I而：所以：第二十四頁(yè)，共八十六頁(yè)。四、隨機(jī)誤差項(xiàng)u的方差的無(wú)偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)u的方差的無(wú)偏估計(jì)量為：

其中，m=k+1,m為變量個(gè)數(shù)或參數(shù)個(gè)數(shù)，k為自變量個(gè)數(shù)。它的算術(shù)方根稱(chēng)為估計(jì)標(biāo)準(zhǔn)誤差，記為：

第二十五頁(yè)，共八十六頁(yè)。其中，Cjj是(XTX)-1主對(duì)角線上的元素。(j=0,1,2,…,k)此時(shí)，估計(jì)量

的標(biāo)準(zhǔn)差可以表示為：第二十六頁(yè)，共八十六頁(yè)。五、回歸系數(shù)的置信區(qū)間故可得β的置信度為的置信區(qū)間為：

參數(shù)的置信區(qū)間用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。由于：

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

第二十七頁(yè)，共八十六頁(yè)。如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，(XTX)-1的分母的|XTX|的值越大，致使區(qū)間縮小。第二十八頁(yè)，共八十六頁(yè)。樣本容量問(wèn)題模型參數(shù)估計(jì)是在樣本觀測(cè)值的支持下完成的，計(jì)量經(jīng)濟(jì)學(xué)模型說(shuō)到底是從表現(xiàn)已經(jīng)發(fā)生的經(jīng)濟(jì)活動(dòng)的樣本數(shù)據(jù)中尋找經(jīng)濟(jì)活動(dòng)中內(nèi)含的規(guī)律性，所以，它對(duì)樣本數(shù)據(jù)具有很強(qiáng)的依賴(lài)性。而收集與整理樣本數(shù)據(jù)又是一件困難的工作，于是選擇合適的樣本容量，既能滿(mǎn)足建模的需要，又能減輕收集數(shù)據(jù)的困難，是一個(gè)重要的實(shí)際問(wèn)題。從建模需要來(lái)講，當(dāng)然是樣本容量越大越好，這是顯而易見(jiàn)的。這里需要討論的是滿(mǎn)足基本要求的樣本容量和最小樣本容量。第二十九頁(yè)，共八十六頁(yè)。1.最小樣本容量

所謂“最小樣本容量”，即從最小二乘原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。

分析知樣本容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）：n≥k+1這就是最小樣本容量。

第三十頁(yè)，共八十六頁(yè)。2.滿(mǎn)足基本要求的樣本容量

雖然當(dāng)n≥

k+1時(shí)可以得到參數(shù)估計(jì)量，但除了參數(shù)估計(jì)量質(zhì)量不好以外，一些建立模型所必須的后續(xù)工作也無(wú)法進(jìn)行。經(jīng)驗(yàn)表明，當(dāng)n-k≥8時(shí)t分布較為穩(wěn)定，檢驗(yàn)才較為有效。所以，一般經(jīng)驗(yàn)認(rèn)為，當(dāng)n＞30或者至少n＞3(k+1)時(shí)，才能滿(mǎn)足模型估計(jì)的基本要求。

第三十一頁(yè)，共八十六頁(yè)。第四節(jié)

統(tǒng)計(jì)顯著性檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、F檢驗(yàn)三、t檢驗(yàn)四、相關(guān)系數(shù)分析

第三十二頁(yè)，共八十六頁(yè)。一、擬合優(yōu)度檢驗(yàn)

1、決定系數(shù)與調(diào)整的決定系數(shù)則：總離差平方和（TSS）可以分為可解釋?zhuān)ɑ貧w）平方和（ESS）與殘差平方和（RSS），簡(jiǎn)記為：TSS=ESS+RSS第三十三頁(yè)，共八十六頁(yè)。注意：一個(gè)有趣的現(xiàn)象第三十四頁(yè)，共八十六頁(yè)。

決定系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

第三十五頁(yè)，共八十六頁(yè)。問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，R2往往增大.這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。第三十六頁(yè)，共八十六頁(yè)。

調(diào)整的決定系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度，稱(chēng)為調(diào)整的決定系數(shù)或修正擬合優(yōu)度。第三十七頁(yè)，共八十六頁(yè)。注意：1.因?yàn)镽2≤1，所以。2.當(dāng)時(shí)，此時(shí)取第三十八頁(yè)，共八十六頁(yè)。？問(wèn)題：如何檢驗(yàn)調(diào)整的決定系數(shù)的優(yōu)劣我們知道當(dāng)模型中解釋變量數(shù)目改變時(shí)，TSS/(n-1)保持不變，RSS/(n-k-1)則隨之而變，而且可能變大也可能變小，因此會(huì)引起的減小或增大。據(jù)此可以判斷新增添的這個(gè)解釋變量對(duì)被解釋變量的影響程度。當(dāng)模型中增加一個(gè)自變量，如果RSS/(n-k-1)變小，因而增大，便可認(rèn)為這個(gè)解釋變量對(duì)被解釋變量有顯著影響，則該解釋變量應(yīng)放進(jìn)模型中，否則，應(yīng)予舍棄。第三十九頁(yè)，共八十六頁(yè)。

二、回歸方程顯著性檢驗(yàn)(F檢驗(yàn))

方程的F檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

yi=0+1x1i+2x2i++kxki+ui

i=1,2,,n中的所有參數(shù)是否顯著?？商岢鋈缦略僭O(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0第四十頁(yè)，共八十六頁(yè)。

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量:

服從自由度為(k,n-k-1)的F分布.給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò)F

F(k,n-k-1)或FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。第四十一頁(yè)，共八十六頁(yè)。F統(tǒng)計(jì)值的計(jì)算表格變差來(lái)源SSdfMSF統(tǒng)計(jì)值回歸ESSkESS/k殘差RSSn-k-1RSS/(n-k-1)總變差TSSn-1TSS/n-1第四十二頁(yè)，共八十六頁(yè)。2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由又由：可推出：知：或：F與R2同向變化：當(dāng)R2=0時(shí)，F(xiàn)=0；R2越大，F(xiàn)值也越大。第四十三頁(yè)，共八十六頁(yè)。因此，F(xiàn)檢驗(yàn)是所估計(jì)回歸方程的總體顯著性的一個(gè)度量，也是R2的一個(gè)顯著性檢驗(yàn)，亦即：檢驗(yàn)H0：0=1

=…=k=0等價(jià)于檢驗(yàn)R2=0第四十四頁(yè)，共八十六頁(yè)。三、回歸系數(shù)的顯著性檢驗(yàn)(t檢驗(yàn))

方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。第四十五頁(yè)，共八十六頁(yè)。

t檢驗(yàn)1、設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：j0

H0：j=0

（j=1,2…k）

2、構(gòu)造T統(tǒng)計(jì)量：其中：第四十六頁(yè)，共八十六頁(yè)。

3、給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值。4、做出判斷：通過(guò)|t|

t/2(n-k-1)或|t|t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

第四十七頁(yè)，共八十六頁(yè)。注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

第四十八頁(yè)，共八十六頁(yè)。四、相關(guān)系數(shù)分析（一）復(fù)相關(guān)系數(shù)多重樣本決定系數(shù)的平方根即為復(fù)相關(guān)系數(shù)=第四十九頁(yè)，共八十六頁(yè)。（二）簡(jiǎn)單相關(guān)系數(shù)結(jié)合簡(jiǎn)單相關(guān)系數(shù)分析，可以起到對(duì)復(fù)相關(guān)系數(shù)的補(bǔ)充和深化作用

分別計(jì)算與之間的簡(jiǎn)單相關(guān)系數(shù)，可得自變量樣本相關(guān)系數(shù)矩陣Ｒ

r=第五十頁(yè)，共八十六頁(yè)。進(jìn)一步求出因變量與每個(gè)自變量的相關(guān)系數(shù)，得增廣樣本相關(guān)系數(shù)矩陣：

=第五十一頁(yè)，共八十六頁(yè)。（三）偏相關(guān)系數(shù)

消除其它自變量因變量的影響，這種相關(guān)稱(chēng)作偏相關(guān)。由此計(jì)算的決定系數(shù)就叫偏決定系數(shù)；由此計(jì)算的相關(guān)系數(shù)就叫偏相關(guān)系數(shù)。

偏決定系數(shù)為：偏相關(guān)系數(shù)等于偏決定系數(shù)的平方根。

第五十二頁(yè)，共八十六頁(yè)。第五節(jié)解釋變量的選擇一、選元問(wèn)題在實(shí)際問(wèn)題中，影響因變量y的因素（自變量）很多，人們希望從中挑選出影響顯著的自變量來(lái)建立回歸關(guān)系式，這就涉及到自變量選擇的問(wèn)題,即“選元問(wèn)題”。在回歸方程中若漏掉對(duì)y影響顯著的自變量，那么建立的回歸式用于預(yù)測(cè)時(shí)將會(huì)產(chǎn)生較大的偏差。但回歸式若包含的變量太多，且其中有些對(duì)y影響不大，顯然這樣的回歸式不僅使用不方便，而且反而會(huì)影響預(yù)測(cè)的精度。因而選擇合適的變量用于建立一個(gè)"最優(yōu)"的回歸方程是十分重要的問(wèn)題。第五十三頁(yè)，共八十六頁(yè)。理論上講，對(duì)自變量的所有可能子集分別構(gòu)建回歸方程，對(duì)這些回歸方程都計(jì)算出選元的統(tǒng)計(jì)量，通過(guò)某一個(gè)或某幾個(gè)選元統(tǒng)計(jì)量的比較，就可以選出“最優(yōu)”的回歸方程。當(dāng)可供選擇的變量不太多時(shí)，這種方法是可行的，但當(dāng)自變量個(gè)數(shù)較多時(shí)，要求出所有可能的回歸方程是非常困難的。從20世紀(jì)60年代開(kāi)始，關(guān)于回歸自變量的選擇成為數(shù)理統(tǒng)計(jì)中研究的熱點(diǎn)問(wèn)題，但時(shí)至今日也還沒(méi)有“絕對(duì)”最優(yōu)的方法。下面我們就來(lái)了解一下，目前常用的幾種方法：“前進(jìn)法”,“后退法”和“逐步回歸法”。第五十四頁(yè)，共八十六頁(yè)。二、前進(jìn)法(Forward)前進(jìn)法的思想是由少到多，每次增加一個(gè)自變量，直至沒(méi)有可以引入的變量為止。（1）對(duì)全部k個(gè)自變量分別建立k個(gè)一元線性回歸方程，并分別計(jì)算這k個(gè)方程的F檢驗(yàn)值，記為：；具體做法是：（2）選其最大的記為：，給定顯著性水平α，若，則首先將xj引入方程，并設(shè)xj就是x1；

（3）分別建立y與(x1,x2),(x1,x3),…,(x1,xk)的k-1個(gè)二元線性回歸方程，對(duì)這k-1個(gè)方程中的x2,x3,…,xk的回歸系數(shù)分別計(jì)算其偏F檢驗(yàn)值，記為：；第五十五頁(yè)，共八十六頁(yè)。（4）選其最大的記為：，若，則將xj引入方程，不妨設(shè)為x2；

（5）依上述做法繼續(xù)下去，直到所有未被引入方程的自變量的偏F值均小于Fα(1,n-k-1)為止。這樣就得到最終確定的方程。第五十六頁(yè)，共八十六頁(yè)。三、后退法(Backward)后退法與前進(jìn)法相反，首先用全部k個(gè)變量建立一個(gè)回歸方程，然后在這k個(gè)變量中選擇一個(gè)最不重要的變量，將其刪除。把回歸系數(shù)檢驗(yàn)的偏F值最小者（即t統(tǒng)計(jì)量絕對(duì)值最小者）對(duì)應(yīng)的自變量剔除。設(shè)對(duì)k個(gè)回歸系數(shù)進(jìn)行F檢驗(yàn)，記求得的偏F值為：選其最小者記為：給定顯著性水平α，若，則首先將xj從回歸方程中剔除，為方便不妨設(shè)xj就是xk。

第五十七頁(yè)，共八十六頁(yè)。下面再對(duì)剩下的k-1個(gè)自變量重新建立回歸方程，進(jìn)行回歸系數(shù)的顯著性檢驗(yàn),如果又有：，則再將xj從回歸方程中剔除，再重新建立k-2個(gè)自變量的回歸方程。依次下去，直到回歸方程中的變量偏F檢驗(yàn)值均大于給定顯著性水平下的臨界值，沒(méi)有可剔除的變量為止。此時(shí)，得到的方程就是最終確定的回歸方程。

第五十八頁(yè)，共八十六頁(yè)。前進(jìn)法的不足之處：一旦引入，就是“終身制”。后退法的不足之處：一旦剔除，就是“一棍子打死”。第五十九頁(yè)，共八十六頁(yè)。四、逐步回歸法(StepwiseRegression)逐步回歸的基本思想：有進(jìn)有出逐步回歸的具體做法：將變量一個(gè)一個(gè)引入，引入變量的條件是偏F檢驗(yàn)值或t檢驗(yàn)值是顯著的。即每引入一個(gè)變量后，對(duì)已經(jīng)被選入的變量要進(jìn)行逐個(gè)檢驗(yàn)，當(dāng)原引入的變量由于后面變量的引入而變得不再顯著時(shí)，要將其剔除。引入一個(gè)變量或從回歸方程中剔除一個(gè)變量，為逐步回歸的一步，每一步都要進(jìn)行偏F檢驗(yàn)或t檢驗(yàn)，以確保每次引入新變量之前回歸方程中只包含顯著的變量。這個(gè)過(guò)程反復(fù)進(jìn)行，直到既無(wú)顯著的變量引入方程，也無(wú)不顯著的變量從回歸方程中剔除為止。這樣就保證了最后所得的回歸子集是“最優(yōu)”的。第六十頁(yè)，共八十六頁(yè)。注意：

引入和剔除自變量的顯著性水平應(yīng)該有所不同，一般要求引入自變量的顯著性水平α1要小于剔除變量的顯著性水平α2，否則可能產(chǎn)生“死循環(huán)”現(xiàn)象。前進(jìn)法，后退法，逐步回歸法選擇解釋變量，計(jì)算量都很大，需要借助相關(guān)軟件來(lái)完成。第六十一頁(yè)，共八十六頁(yè)。第六節(jié)中心化和標(biāo)準(zhǔn)化回歸方程

一、中心化回歸方程二、標(biāo)準(zhǔn)化回歸方程第六十二頁(yè)，共八十六頁(yè)。一、中心化回歸方程多元線性回歸模型的一般形式為：

其經(jīng)驗(yàn)（樣本）回歸方程為：

由于該回歸方程經(jīng)過(guò)樣本中心點(diǎn)，若將坐標(biāo)原點(diǎn)移至樣本中心，只須作坐標(biāo)變換第六十三頁(yè)，共八十六頁(yè)。即可得到中心化的經(jīng)驗(yàn)回歸方程：

顯然中心化的經(jīng)驗(yàn)回歸方程沒(méi)有常數(shù)項(xiàng)，而其他最小二乘回歸系數(shù)與原方程相同。

由此可見(jiàn)，中心化的經(jīng)驗(yàn)回歸方程只需要對(duì)k個(gè)參數(shù)進(jìn)行估計(jì)，而一般的回歸方程需要對(duì)k+1個(gè)參數(shù)進(jìn)行估計(jì)，少了一個(gè)參數(shù)對(duì)手工計(jì)算會(huì)減少計(jì)算量。

所以，常在手工計(jì)算時(shí)使用。第六十四頁(yè)，共八十六頁(yè)。得到中心化的經(jīng)驗(yàn)回歸方程后，要想得到一般的回歸方程，也很簡(jiǎn)單，因?yàn)?/p>

相同，所以只需要由：求出

，即可將其還原為：第六十五頁(yè)，共八十六頁(yè)。二、標(biāo)準(zhǔn)化回歸方程

為了消除自變量量綱的不同，常需要先對(duì)樣本原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。樣本原始數(shù)據(jù)的標(biāo)準(zhǔn)化處理公式為：

第六十六頁(yè)，共八十六頁(yè)。、分別為的樣本標(biāo)準(zhǔn)差。

可以看出，標(biāo)準(zhǔn)化處理包括了中心化處理。對(duì)標(biāo)準(zhǔn)化的樣本數(shù)據(jù)，用最小平方法可以得到下列經(jīng)驗(yàn)回歸方程：可以證明，標(biāo)準(zhǔn)化回歸系數(shù)與普通最小二乘回歸系數(shù)之間的關(guān)系為：

第六十七頁(yè)，共八十六頁(yè)。注意：普通最小二乘回歸系數(shù)表示在其他變量不變的情況下，自變量每變化一個(gè)絕對(duì)單位引起的因變量的平均變化量；標(biāo)準(zhǔn)化回歸系數(shù)表示在其他變量不變的情況下，自變量每變化1%（相對(duì)于其標(biāo)準(zhǔn)差）引起的因變量的平均變化的百分?jǐn)?shù)（相對(duì)于其標(biāo)準(zhǔn)差）。第六十八頁(yè)，共八十六頁(yè)。第七節(jié)利用多元線性回歸方程進(jìn)行預(yù)測(cè)

一、點(diǎn)預(yù)測(cè)二、區(qū)間預(yù)測(cè)第六十九頁(yè)，共八十六頁(yè)。對(duì)于模型給定樣本以外的解釋變量的觀測(cè)值X0=(1,x10,x20,…,xk0)，可以得被解釋變量的預(yù)測(cè)值：一、點(diǎn)預(yù)測(cè)但嚴(yán)格地說(shuō)，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。

為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(y0)和y0的置信區(qū)間。

它是個(gè)別值y0的預(yù)測(cè)，總體均值E(y0)的預(yù)測(cè)值：第七十頁(yè)，共八十六頁(yè)。二、區(qū)間預(yù)測(cè)1、個(gè)別值y0的區(qū)間預(yù)測(cè)

如果已經(jīng)知道實(shí)際的觀測(cè)值y0，那么預(yù)測(cè)誤差為：容易證明：第七十一頁(yè)，共八十六頁(yè)。e0服從正態(tài)分布，即：

構(gòu)造t統(tǒng)計(jì)量：取隨機(jī)項(xiàng)的樣本估計(jì)值，可得e0的方差的估計(jì)量。第七十二頁(yè)，共八十六頁(yè)。其中：可得給定(1-)的置信水平下y0的置信區(qū)間：

第七十三頁(yè)，共八十六頁(yè)。2、平均值E(y0)的區(qū)間預(yù)測(cè)

容易證明

于是，得到(1-)的置信水平下E(y0)的置信區(qū)間：取隨機(jī)項(xiàng)的樣本估計(jì)值，構(gòu)造如下的t統(tǒng)計(jì)量：第七十四頁(yè)，共八十六頁(yè)。案例：多元線性回歸模型的應(yīng)用

我們以中國(guó)民航客運(yùn)量預(yù)測(cè)為例進(jìn)行多元線性回歸分析。根據(jù)預(yù)測(cè)目標(biāo)選擇中國(guó)民航客運(yùn)量,作為因變量。確定國(guó)內(nèi)生產(chǎn)總值（x1）、實(shí)際利用外資額（x2）、民航線里程（x3）、來(lái)華旅游入境人數(shù)（x4）為自變量。搜集樣本資料如表所示。

第七十五頁(yè)，共八十六頁(yè)。

基本步驟如下：第一步確定因變量。

第二步確定自變量。第三步建立模型，進(jìn)行參數(shù)估計(jì)。

第四步進(jìn)行有關(guān)統(tǒng)計(jì)顯著性檢驗(yàn)

第五步進(jìn)行預(yù)測(cè)根據(jù)計(jì)算機(jī)輸出結(jié)果完成第七十六頁(yè)，共八十六頁(yè)。第三章復(fù)習(xí)內(nèi)容第七十七頁(yè)，共八十六頁(yè)。1.多元線性回歸模型的基本假定假設(shè)1，隨機(jī)誤差項(xiàng)的條件期望值為零假設(shè)2，隨機(jī)誤差項(xiàng)的條件方差相等假設(shè)3，隨機(jī)誤差項(xiàng)之間無(wú)序列相關(guān)(i,j=1,2,…,n;i≠j)第七十八頁(yè)，共八十六頁(yè)。

假設(shè)4，自變量xl與隨機(jī)誤差項(xiàng)ui獨(dú)立Cov(ui,xl)=0(i=1,2,…,n;l=1,2,…,k)假設(shè)5，隨機(jī)誤差項(xiàng)ui服從正態(tài)分布

假設(shè)6,解釋變量之間不存在顯著的線性相關(guān)關(guān)系，也