第三章 多元線性回歸模型 復(fù)制

第三章多元線性回歸模型復(fù)制第一頁，共五十四頁，2022年，8月28日2引子:中國已成為世界汽車產(chǎn)銷第一大國

2009年，為應(yīng)對(duì)國際金融危機(jī)、確保經(jīng)濟(jì)平穩(wěn)較快增長，國家出臺(tái)了一系列促進(jìn)汽車消費(fèi)的政策，有效刺激了汽車消費(fèi)市場，汽車產(chǎn)銷呈高增長態(tài)勢(shì)，首次成為世界汽車產(chǎn)銷第一大國。2009年，汽車產(chǎn)銷分別為1379.1萬輛和1364.5萬輛，同比增長48.3%和46.15%。是什么因素導(dǎo)致中國汽車數(shù)量的增長?

影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟(jì)增長、消費(fèi)趨勢(shì)、市場行情、業(yè)界心態(tài)、能源價(jià)格、道路發(fā)展、內(nèi)外環(huán)境，都會(huì)使中國汽車行業(yè)面臨機(jī)遇和挑戰(zhàn)。第二頁，共五十四頁，2022年，8月28日3分析中國汽車行業(yè)未來的趨勢(shì),應(yīng)具體分析這樣一些問題：中國汽車市場發(fā)展的狀況如何？（用銷售量觀測）影響中國汽車銷量的主要因素是什么？

（如收入、價(jià)格、費(fèi)用、道路狀況、能源、政策環(huán)境等）各種因素對(duì)汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？很明顯，只用一個(gè)解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展,還需要尋求有更多個(gè)解釋變量情況的回歸分析方法。

怎樣分析多種因素的影響？第三頁，共五十四頁，2022年，8月28日4

本章主要討論:●多元線性回歸模型及古典假定●多元線性回歸模型的估計(jì)●多元線性回歸模型的檢驗(yàn)●多元線性回歸模型的預(yù)測第四頁，共五十四頁，2022年，8月28日5第一節(jié)多元線性回歸模型及古典假定

一、多元線性回歸模型的意義

一般形式：對(duì)于有K-1個(gè)解釋變量的線性回歸模型

注意：模型中的（j=1,2,---k）是偏回歸系數(shù)樣本容量為n

偏回歸系數(shù)：

控制其它解釋量不變的條件下，第j個(gè)解釋變量的單位變動(dòng)對(duì)被解釋變量平均值的影響，即對(duì)Y平均值“直接”或“凈”的影響。

5第五頁，共五十四頁，2022年，8月28日6多元線性回歸中的“線性”指對(duì)各個(gè)回歸系數(shù)而言是“線性”的，對(duì)變量則可以是線性的，也可以是非線性的例如：生產(chǎn)函數(shù)取對(duì)數(shù)這也是多元線性回歸模型，只是這時(shí)變量為lnY、lnL、lnK第六頁，共五十四頁，2022年，8月28日7

多元總體回歸函數(shù)

條件期望表現(xiàn)形式：將Y的總體條件期望表示為多個(gè)解釋變量的函數(shù)，如:注意：這時(shí)Y總體條件期望的軌跡是K維空間的一條線個(gè)別值表現(xiàn)形式：引入隨機(jī)擾動(dòng)項(xiàng)或表示為

第七頁，共五十四頁，2022年，8月28日8

多元樣本回歸函數(shù)

Y的樣本條件均值可表示為多個(gè)解釋變量的函數(shù)或回歸剩余（殘差）：

其中

第八頁，共五十四頁，2022年，8月28日9多個(gè)解釋變量的多元線性回歸模型的n組樣本觀測值，可表示為

用矩陣表示

9第九頁，共五十四頁，2022年，8月28日10總體回歸函數(shù)或樣本回歸函數(shù)或

其中：都是有n個(gè)元素的列向量是有k個(gè)元素的列向量（

k=解釋變量個(gè)數(shù)+1）

是第一列為1的n×k階解釋變量數(shù)據(jù)矩陣，

(截距項(xiàng)可視為解釋變量總是取值為1)

矩陣表示方式第十頁，共五十四頁，2022年，8月28日11

假定1：零均值假定

（i=1，2，---n）或

E（u）=0

假定2和假定3：同方差和無自相關(guān)假定：

或用方差-協(xié)方差矩陣表示為:

（i=j）(i≠j)0第十一頁，共五十四頁，2022年，8月28日12假定5:無多重共線性假定

(多元中增加的)

假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測值之間線性無關(guān)?；蚪忉屪兞坑^測值

矩陣X的秩為K(注意X為n行K列)。

Ran(X)=k

Rak(X'X)=k

即(X'X)

可逆

假定6:正態(tài)性假定12假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)第十二頁，共五十四頁，2022年，8月28日一、普通最小二乘法（OLS）原則：尋求剩余平方和最小的參數(shù)估計(jì)式

即求偏導(dǎo)，并令其為0其中即13第十三頁，共五十四頁，2022年，8月28日14用矩陣表示的正規(guī)方程偏導(dǎo)數(shù)因?yàn)闃颖净貧w函數(shù)為兩邊左乘根據(jù)最小二乘原則則正規(guī)方程為第十四頁，共五十四頁，2022年，8月28日15OLS估計(jì)式

由正規(guī)方程多元回歸的OLS估計(jì)量為當(dāng)只有兩個(gè)解釋變量時(shí)為：注意：為X、Y的離差對(duì)比簡單線性回歸中第十五頁，共五十四頁，2022年，8月28日16

●回歸線通過樣本均值

●估計(jì)值的均值等于實(shí)際觀測值的均值

●剩余項(xiàng)的均值為零

●被解釋變量估計(jì)值與剩余項(xiàng)不相關(guān)

●解釋變量與剩余項(xiàng)不相關(guān)（j=1,2,---k）16第十六頁，共五十四頁，2022年，8月28日17

1、

線性特征

是Y的線性函數(shù)，因是非隨機(jī)或取固定值的矩陣

2、

無偏特性

(證明見教材P101附錄3.1)3、

最小方差特性

在所有的線性無偏估計(jì)中，OLS估計(jì)具有最小方差

(證明見教材P101或附錄3.2)

結(jié)論：在古典假定下，多元線性回歸的OLS估計(jì)式是最佳線性無偏估計(jì)式（BLUE）第十七頁，共五十四頁，2022年，8月28日18

三、OLS估計(jì)的分布性質(zhì)基本思想：

●是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)●是服從正態(tài)分布的隨機(jī)變量，決定了Y也是服從正態(tài)分布的隨機(jī)變量●是Y的線性函數(shù)，決定了也是服從正態(tài)分布的隨機(jī)變量第十八頁，共五十四頁，2022年，8月28日19●的期望(由無偏性)

●的方差和標(biāo)準(zhǔn)誤差：可以證明的方差—協(xié)方差矩陣為（見下頁）

這里的

（其中是矩陣中第j行第j列的元素）所以（j=1,2,---k）

的期望與方差第十九頁，共五十四頁，2022年，8月28日20其中：(由無偏性)(由同方差性)(由OLS估計(jì)式)20注意

是向量的方差-協(xié)方差第二十頁，共五十四頁，2022年，8月28日21

一般未知，可證明多元回歸中的無偏估計(jì)為：(證明見P103附錄3.3)

或表示為

將作標(biāo)準(zhǔn)化變換：

21對(duì)比:一元回歸中第二十一頁，共五十四頁，2022年，8月28日22因是未知的，可用代替去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差:●當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)作標(biāo)準(zhǔn)化變換，所得Z統(tǒng)計(jì)量仍可視為服從正態(tài)分布●當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)作標(biāo)準(zhǔn)化變換，所得的t統(tǒng)計(jì)量服從t分布：22第二十二頁，共五十四頁，2022年，8月28日23五、回歸系數(shù)的區(qū)間估計(jì)

由于給定，查t分布表的自由度為n-k的臨界值或或表示為23第二十三頁，共五十四頁，2022年，8月28日24一、多元回歸的擬合優(yōu)度檢驗(yàn)

多重可決系數(shù)：在多元回歸模型中，由各個(gè)解釋變量聯(lián)合起來解釋了的Y的變差，在Y的總變差中占的比重，用表示

與簡單線性回歸中可決系數(shù)的區(qū)別只是不同多元回歸中多重可決系數(shù)可表示為

(注意:紅色字體是與一元回歸不同的部分)24第二十四頁，共五十四頁，2022年，8月28日25

多重可決系數(shù)的矩陣表示

可用代數(shù)式表達(dá)為

特點(diǎn):多重可決系數(shù)是模型中解釋變量個(gè)數(shù)的不減函數(shù)，這給對(duì)比不同模型的多重可決系數(shù)帶來缺陷，所以需要修正。

第二十五頁，共五十四頁，2022年，8月28日26修正的可決系數(shù)思想：可決系數(shù)只涉及變差，沒有考慮自由度。如果用自由度去校正所計(jì)算的變差，可糾正解釋變量個(gè)數(shù)不同引起的對(duì)比困難?；仡?

自由度：統(tǒng)計(jì)量的自由度指可自由變化的樣本觀測值個(gè)數(shù)，它等于所用樣本觀測值的個(gè)數(shù)減去對(duì)觀測值的約束個(gè)數(shù)。第二十六頁，共五十四頁，2022年，8月28日27可決系數(shù)的修正方法

總變差TSS自由度為n-1

解釋了的變差ESS自由度為k-1

剩余平方和RSS自由度為n-k

修正的可決系數(shù)為

第二十七頁，共五十四頁，2022年，8月28日28

修正的可決系數(shù)與可決系數(shù)的關(guān)系

已經(jīng)導(dǎo)出：

注意：

可決系數(shù)必定非負(fù)，但所計(jì)算的修正可決系數(shù)有可能為負(fù)值

解決辦法：若計(jì)算的，規(guī)定取值為0

第二十八頁，共五十四頁，2022年，8月28日2929基本思想：

在多元回歸中包含多個(gè)解釋變量，它們與被解釋變量是否有顯著關(guān)系呢？

當(dāng)然可以分別檢驗(yàn)各個(gè)解釋變量對(duì)被解釋變量影響的顯著性。

但是我們首先關(guān)注的是所有解釋變量聯(lián)合起來對(duì)被解釋變量影響的顯著性,或整個(gè)方程總的聯(lián)合顯著性，需要對(duì)方程的總顯著性在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。第二十九頁，共五十四頁，2022年，8月28日3030在討論可決系數(shù)時(shí)已經(jīng)分析了被解釋變量總變差TSS的分解及自由度：

TSS=ESS+RSS注意:Y的樣本方差=總變差/自由度即顯然，Y的樣本方差也可分解為兩部分，可用方差分析表分解301.方差分析第三十頁，共五十四頁，2022年，8月28日31

變差來源平方和自由度方差歸于回歸模型ESS=k-1歸于剩余RSS=n-k總變差TSS=n-1基本思想:

如果多個(gè)解釋變量聯(lián)合起來對(duì)被解釋變量的影響不顯著,“歸于回歸的方差“比“歸于剩余的方差”顯著地小應(yīng)是大概率事件。方差分析表

第三十一頁，共五十四頁，2022年，8月28日32原假設(shè):（所有解釋變量聯(lián)合起來對(duì)被解釋變量的影響不顯著）備擇假設(shè):

不全為0建立統(tǒng)計(jì)量(可以證明):

給定顯著性水平，查F分布表中自由度為k-1和n-k的臨界值，并通過樣本觀測值計(jì)算F值32第三十二頁，共五十四頁，2022年，8月28日33F檢驗(yàn)方式

▼如果計(jì)算的F值大于臨界值，則拒絕，說明回歸模型有顯著意義，

即所有解釋變量聯(lián)合起來對(duì)Y確有顯著影響。▼如果計(jì)算的F值小于臨界值，則不拒絕，說明回歸模型沒有顯著

意義，即所有解釋變量聯(lián)合起來對(duì)Y沒有顯著影響。第三十三頁，共五十四頁，2022年，8月28日34注意:

在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),且

(見教材P87證明)但在多元回歸中，F(xiàn)檢驗(yàn)顯著，不一定每個(gè)解釋變量都對(duì)Y有顯著影響。還需要分別檢驗(yàn)當(dāng)其他解釋變量保持不變時(shí)，各個(gè)解釋變量X對(duì)被解釋變量Y是否有顯著影響。

方法：

原假設(shè)（j=1,2,……k）備擇假設(shè)統(tǒng)計(jì)量t為：

第三十四頁，共五十四頁，2022年，8月28日35給定顯著性水平α，查t分布表的臨界值為如果

就不拒絕，而拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)被解釋變量Y的影響不顯著。如果

就拒絕而不拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)被解釋變量Y的影響是顯著的。討論：在多元回歸中，可以作F檢驗(yàn)，也可以分別對(duì)每個(gè)回歸系數(shù)逐個(gè)地進(jìn)行t檢驗(yàn)。

F

檢驗(yàn)與t檢驗(yàn)的關(guān)系是什么？對(duì)各回歸系數(shù)假設(shè)檢驗(yàn)的作法第三十五頁，共五十四頁，2022年，8月28日36

一、被解釋變量平均值預(yù)測1.Y平均值的點(diǎn)預(yù)測

方法：將解釋變量預(yù)測值代入估計(jì)的方程：多元回歸時(shí)：

或注意:預(yù)測期的是第一個(gè)元素為1的行向量,不是矩陣,也不是列向量

第三十六頁，共五十四頁，2022年，8月28日37

2.Y平均值的區(qū)間預(yù)測

基本思想：（與簡單線性回歸時(shí)相同）

●由于存在抽樣波動(dòng)，預(yù)測的平均值不一定等于真實(shí)平均值，還需要對(duì)作區(qū)間估計(jì)?！駷榱藢?duì)Y作區(qū)間預(yù)測，必須確定平均值預(yù)測值的抽樣分布?！?/p>

必須找出與和都有關(guān)的統(tǒng)計(jì)量,

并要明確其概率分布性質(zhì)。37第三十七頁，共五十四頁，2022年，8月28日38區(qū)間預(yù)測的具體作法當(dāng)未知時(shí)，只得用代替，這時(shí)簡單線性回歸中(回顧簡單線性回歸)38第三十八頁，共五十四頁，2022年，8月28日39

多元回歸時(shí)，與預(yù)測的平均值和真實(shí)平均值

都有關(guān)的是二者的偏差：服從正態(tài)分布，可證明用代替，可構(gòu)造t統(tǒng)計(jì)量區(qū)間預(yù)測的具體作法（多元時(shí)）第三十九頁，共五十四頁，2022年，8月28日40

服從正態(tài)分布，可證明

即標(biāo)準(zhǔn)化當(dāng)用代替時(shí)，可構(gòu)造t統(tǒng)計(jì)量40第四十頁，共五十四頁，2022年，8月28日41

給定顯著性水平α，查t分布表，得自由度為n-k的臨界值，則或區(qū)間預(yù)測的具體作法第四十一頁，共五十四頁，2022年，8月28日42

基本思想：（與簡單線性回歸時(shí)相同）

●由于存在隨機(jī)擾動(dòng)的影響，Y的平均值并不等于Y的個(gè)別值。●為了對(duì)Y的個(gè)別值作區(qū)間預(yù)測，需要尋找與預(yù)測值和個(gè)別值有關(guān)的統(tǒng)計(jì)量，并要明確其概率分布性質(zhì)。第四十二頁，共五十四頁，2022年，8月28日43

已知剩余項(xiàng)是與預(yù)測值和個(gè)別值都有關(guān)的變量并且已知服從正態(tài)分布，且多元回歸時(shí)可證明

當(dāng)用代替時(shí)，對(duì)標(biāo)準(zhǔn)化的變量t為：

個(gè)別值區(qū)間預(yù)測具體作法第四十三頁，共五十四頁，2022年，8月28日給定顯著性水平，查t分布表得自由度為n-k的臨界值則

因此，多元回歸時(shí)Y的個(gè)別值的置信度1-α的預(yù)測區(qū)間的上下限為44第四十四頁，共五十四頁，2022年，8月28日45

第五節(jié)案例分析研究的目的要求為了研究影響中國稅收收入增長的主要原因，分析中央和地方稅收收入增長的數(shù)量規(guī)律，預(yù)測中國稅收未來的增長趨勢(shì)，需要建立計(jì)量經(jīng)濟(jì)模型。研究范圍：1978年-2007年全國稅收收入理論分析：為了全面反映中國稅收增長的全貌，選擇包括中央和地方稅收的“國家財(cái)政收入”中的“各項(xiàng)稅收”（簡稱“稅收收入”）作為被解釋變量；選擇國內(nèi)生產(chǎn)總值（GDP）作為經(jīng)濟(jì)整體增長水平的代表；選擇中央和地方“財(cái)政支出”作為公共財(cái)政需求的代表；選擇“商品零售價(jià)格指數(shù)”作為物價(jià)水平的代表。第四十五頁，共五十四頁，2022年，8月28日46年份

稅收收入（億元）（Y）

國內(nèi)生產(chǎn)總值（億元）（X2）財(cái)政支出（億元）（X3）商品零售價(jià)格指數(shù)（%）（X4）1978519.283624.11122.09100.71979537.824038.21281.79102.01980571.704517.81228.83106.01981629.894862.41138.41102.41982700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.519892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.4第四十六頁，共五十四頁，2022年，8月28日4719934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.4199910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.8第四十七頁，共五十四頁，2022年，8月28日48序列Y、X2、X3、X4的線性圖可以看出Y、X2、X3都是逐年增長的，但增長速率有所變動(dòng)，而且X4在多數(shù)年份呈現(xiàn)出水平波動(dòng)。說明變量間不一定是線性關(guān)系，可探索將模型設(shè)定為以下對(duì)數(shù)模型：注意這里的“商品零售價(jià)格指數(shù)”（X4）未取對(duì)數(shù)。第四十八頁，共五十四頁，2022年，8月28日49

三、估計(jì)參數(shù)模型估計(jì)的結(jié)果為：(0.6397)(0.1355)(0.1557)(0.0055)

t=(-4.4538)(3.0420)(4.2788)(2.0856)

F=673.7521df=30第四十九頁，共五十四頁，2022年，8月28日501、經(jīng)濟(jì)意義檢驗(yàn)：模型估計(jì)結(jié)果說明，在假定其它變量不變