第3章 多元線性回歸模型

多元線性回歸模型計(jì)量經(jīng)濟(jì)學(xué)基礎(chǔ)第三章1第三章多元線性回歸模型

本章主要討論:●多元線性回歸模型及古典假定●多元線性回歸模型的估計(jì)●多元線性回歸模型的檢驗(yàn)●多元線性回歸模型的預(yù)測(cè)2第一節(jié)

多元線性回歸模型及古典假定本節(jié)基本內(nèi)容:

一、多元線性回歸模型的意義二、多元線性回歸模型的矩陣表示三、多元線性回歸中的基本假定

3一、多元線性回歸模型的意義例如:有兩個(gè)解釋變量的電力消費(fèi)模型其中:為各地區(qū)電力消費(fèi)量；為各地區(qū)國(guó)內(nèi)生產(chǎn)總值（GDP）；

為各地區(qū)電力價(jià)格變動(dòng)。4多元線性回歸模型的一般形式一般形式：對(duì)于有個(gè)解釋變量的線性回歸模型模型中參數(shù)是偏回歸系數(shù)，樣本容量為偏回歸系數(shù)：控制其它解釋量不變的條件下，第

個(gè)解釋變量的單位變動(dòng)對(duì)應(yīng)變量平均值的影響。5指對(duì)各個(gè)回歸系數(shù)而言是“線性”的，對(duì)變量則可是線性的，也可是非線性的例如：生產(chǎn)函數(shù)取自然對(duì)數(shù)多元線性回歸6的總體條件均值表示為多個(gè)解釋變量的函數(shù)

多元總體回歸函數(shù)7

的樣本條件均值表示為多個(gè)解釋變量的函數(shù)或其中回歸剩余（殘差）：多元樣本回歸函數(shù)8二、多元線性回歸模型的矩陣表示

個(gè)解釋變量的多元線性回歸模型的

個(gè)觀測(cè)樣本，可表示為

9

用矩陣表示10總體回歸函數(shù)或

樣本回歸函數(shù)或

其中：都是有

個(gè)元素的列向量是有

個(gè)元素的列向量

是第一列為1的階解釋變量數(shù)據(jù)矩陣(截距項(xiàng)可視為解釋變量取值為1)11三、多元線性回歸中的基本假定假定1：零均值假定或

假定2和假定3：同方差和無(wú)自相關(guān)假定

假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)

12假定5:無(wú)多重共線性假定(多元中)

假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無(wú)關(guān)?；蚪忉屪兞坑^測(cè)值矩陣

列滿秩(

列)。

即

可逆假定6：正態(tài)性假定13第二節(jié)

多元線性回歸模型的估計(jì)本節(jié)基本內(nèi)容:●普通最小二乘法（OLS）●OLS估計(jì)式的性質(zhì)●OLS估計(jì)的分布性質(zhì)●隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)●回歸系數(shù)的區(qū)間估計(jì)

14

一、普通最小二乘法（OLS）最小二乘原則剩余平方和最小：

求偏導(dǎo),令其為0:15

即

注意到16

用矩陣表示因?yàn)闃颖净貧w函數(shù)為兩邊乘有：因?yàn)?，則正規(guī)方程為：17由正規(guī)方程多元回歸中二元回歸中注意：

和

為

的離差

OLS估計(jì)式18二、OLS估計(jì)式的性質(zhì)

OLS估計(jì)式

1.線性特征:

是的線性函數(shù)，因是非隨機(jī)或取固定值的矩陣

2.無(wú)偏特性:

193.

最小方差特性在所有的線性無(wú)偏估計(jì)中，OLS估計(jì)具有最小方差

結(jié)論：在古典假定下，多元線性回歸的OLS估計(jì)式是最佳線性無(wú)偏估計(jì)式（BLUE）20三、OLS估計(jì)的分布性質(zhì)基本思想●是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)●是服從正態(tài)分布的隨機(jī)變量,決定了

也是服從正態(tài)分布的隨機(jī)變量●是

的線性函數(shù)，決定了也是服從正態(tài)分布的隨機(jī)變量21

的期望(由無(wú)偏性)

的方差和標(biāo)準(zhǔn)誤差：

可以證明的方差-協(xié)方差矩陣為

這里是矩陣中第

行第

列的元素22

四、隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

多元回歸中的無(wú)偏估計(jì)為：或表示為

將作標(biāo)準(zhǔn)化變換：

23因是未知的，可用代替去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差:●當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)作標(biāo)準(zhǔn)化變換，所得Z統(tǒng)計(jì)量仍可視為服從正態(tài)分布●當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)

作標(biāo)準(zhǔn)化變換，所得的t統(tǒng)計(jì)量服從t分布：

24五、回歸系數(shù)的區(qū)間估計(jì)由于給定，查t分布表的自由度為

的臨界值或:或表示為:25第三節(jié)

多元線性回歸模型的檢驗(yàn)本節(jié)基本內(nèi)容:

●多元回歸的擬合優(yōu)度檢驗(yàn)●回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）

●各回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）26一、多元回歸的擬合優(yōu)度檢驗(yàn)多重可決系數(shù)：在多元回歸模型中，由各個(gè)解釋變量聯(lián)合解釋了的

的變差，在

的總變差中占的比重，用表示與簡(jiǎn)單線性回歸中可決系數(shù)的區(qū)別只是

不同，多元回歸中多重可決系數(shù)也可表示為

27

特點(diǎn)：多重可決系數(shù)是模型中解釋變量個(gè)數(shù)的不減函數(shù)，這給對(duì)比不同模型的多重可決系數(shù)帶來(lái)缺陷，所以需要修正。多重可決系數(shù)的矩陣表示28思想可決系數(shù)只涉及變差，沒(méi)有考慮自由度。如果用自由度去校正所計(jì)算的變差，可糾正解釋變量個(gè)數(shù)不同引起的對(duì)比困難。自由度統(tǒng)計(jì)量的自由度指可自由變化的樣本觀測(cè)值個(gè)數(shù)，它等于所用樣本觀測(cè)值的個(gè)數(shù)減去對(duì)觀測(cè)值的約束個(gè)數(shù)。修正的可決系數(shù)29可決系數(shù)的修正方法

總變差

自由度為

解釋了的變差

自由度為

剩余平方和

自由度為

修正的可決系數(shù)為

30

特點(diǎn)

可決系數(shù)必定非負(fù)，但修正的可決系數(shù)可能為負(fù)值，這時(shí)規(guī)定

修正的可決系數(shù)與可決系數(shù)的關(guān)系：31二、回歸方程顯著性檢驗(yàn)（F檢驗(yàn)）基本思想在多元回歸中有多個(gè)解釋變量，需要說(shuō)明所有解釋變量聯(lián)合起來(lái)對(duì)應(yīng)變量影響的總顯著性,或整個(gè)方程總的聯(lián)合顯著性。對(duì)方程總顯著性檢驗(yàn)需要在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。32總變差自由度

模型解釋了的變差

自由度

剩余變差自由度變差來(lái)源平方和自由度方差歸于回歸模型歸于剩余總變差方差分析表33

原假設(shè)備擇假設(shè)不全為0

建立統(tǒng)計(jì)量(可以證明):

給定顯著性水平，查F分布表得臨界值并通過(guò)樣本觀測(cè)值計(jì)算

值F檢驗(yàn)34▼如果(小概率事件發(fā)生了)

則拒絕，說(shuō)明回歸模型有顯著意義，即所有解釋變量聯(lián)合起來(lái)對(duì)

有顯著影響。▼如果

(大概率事件發(fā)生了)

則接受，說(shuō)明回歸模型沒(méi)有顯著意義，即所有解釋變量聯(lián)合起來(lái)對(duì)

沒(méi)有顯著影響。35可決系數(shù)與F檢驗(yàn)由方差分析可以看出，F(xiàn)檢驗(yàn)與可決系數(shù)有密切聯(lián)系，二者都建立在對(duì)應(yīng)變量變差分解的基礎(chǔ)上。F統(tǒng)計(jì)量也可通過(guò)可決系數(shù)計(jì)算：可看出：當(dāng)時(shí)，

越大，值也越大當(dāng)

時(shí)，結(jié)論：對(duì)方程聯(lián)合顯著性檢驗(yàn)的F檢驗(yàn)，實(shí)際上也是對(duì)的顯著性檢驗(yàn)。

36三、各回歸系數(shù)的顯著性檢驗(yàn)

（t檢驗(yàn)）

目的：

在多元回歸中，分別檢驗(yàn)當(dāng)其他解釋變量保持不變時(shí)，各個(gè)解釋變量對(duì)應(yīng)變量

是否有顯著影響。

方法：

原假設(shè)備擇假設(shè)統(tǒng)計(jì)量為：

37t檢驗(yàn)的方法

給定顯著性水平

，查自由度為時(shí)t分布表的臨界值為

如果

就不拒絕而拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)應(yīng)變量

的影響不顯著。

38

如果

就拒絕而不拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)應(yīng)變量

的影響是顯著的。在多元回歸中，可分別對(duì)每個(gè)回歸系數(shù)逐個(gè)地進(jìn)行t檢驗(yàn)。

注意:在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),且但在多元回歸中F檢驗(yàn)與t檢驗(yàn)作用不同。39第四節(jié)

多元線性回歸模型的預(yù)測(cè)

本節(jié)基本內(nèi)容:

●應(yīng)變量平均值預(yù)測(cè)●應(yīng)變量個(gè)別值預(yù)測(cè)40一、應(yīng)變量平均值預(yù)測(cè)

1.平均值的點(diǎn)預(yù)測(cè)

將解釋變量預(yù)測(cè)值代入估計(jì)的方程：多元回歸時(shí)：

或

注意:預(yù)測(cè)期的

是第一個(gè)元素為1的行向量,不是矩陣,也不是列向量

41

基本思想：

由于存在抽樣波動(dòng)，預(yù)測(cè)的平均值不一定等于真實(shí)平均值，還需要對(duì)作區(qū)間估計(jì)。為對(duì)

作區(qū)間預(yù)測(cè)，必須確定平均值預(yù)測(cè)值的抽樣分布。必須找出與和都有