多元回歸精品課件

1、多元回歸第1頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二第四章：多元回歸分析一、多元線性回歸模型 二、多元線性回歸模型的參數(shù)估計(jì)三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)四、多元線性回歸模型的預(yù)測(cè)五、回歸模型的參數(shù)約束*第2頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二一、 多元線性回歸模型 1、多元線性回歸模型的基本概念2、多元線性回歸模型的矩陣表述 3、多元線性回歸模型的基本假定 第3頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 多元線性回歸模型: 一般表現(xiàn)形式：i=1,2,n 模型中解釋變量的數(shù)目為（k+1） 1、多元線性回歸模型基本概念第4頁(yè)，共85頁(yè)，20

2、22年，5月20日，13點(diǎn)33分，星期二總體回歸函數(shù)：回歸的本質(zhì): 1、多元線性回歸模型基本概念第5頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 j 稱為回歸系數(shù)（regression coefficient）,也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的前提下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 1、多元線性回歸模型基本概念第6頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 我們觀察到n組數(shù)據(jù)，并認(rèn)為其生成過程如下： 2、多元線性回歸模型矩陣表述上述方程組可表現(xiàn)為矩陣形式第7頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二其中UXY+=21

3、=n1nuuuMU 2、多元線性回歸模型矩陣表述第8頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 樣本回歸函數(shù)（加隨機(jī)項(xiàng)）的矩陣表達(dá): 其中： 2、多元線性回歸模型矩陣表述第9頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 假設(shè)1：線性的回歸方程是客觀存在的 假設(shè)2：解釋變量是非隨機(jī)的，且各解釋變量之間互不相關(guān)。 3、多元線性回歸模型的基本假定第10頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 假設(shè)3：隨機(jī)誤差項(xiàng)具有零均值，獨(dú)立同分布。0)(=iEu 22)()(suu=iiEVar0)(),(=jijiECovuuuu 3、多元線性回歸模型的基本假定第

4、11頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二假設(shè)4*：隨機(jī)項(xiàng)滿足正態(tài)分布 3、多元線性回歸模型的基本假定第12頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二上述假設(shè)的矩陣表示 ： n(k+1)矩陣X是非隨機(jī)的，且X的秩 = k+1，即X是滿秩矩陣。 假設(shè)2：第13頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二上述假設(shè)的矩陣表示 ： 假設(shè)3：隨機(jī)誤差項(xiàng)具有零均值、同方差及無序列相關(guān)性第14頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二假設(shè)4*，向量 服從多維正態(tài)分布，即 上述假設(shè)的矩陣表示 ：第15頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)

5、33分，星期二二、 多元線性回歸模型的估計(jì) 估計(jì)方法： 1、普通最小二乘估計(jì)OLS 2、最大或然估計(jì)ML（*） 3、矩估計(jì) MM（*） 4、參數(shù)估計(jì)量的性質(zhì) 5、廣義最小二乘法 6、估計(jì)實(shí)例 第16頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二1、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值i=1,2n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解 其中第17頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組： 第18頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二正規(guī)方程組的矩陣形式即由于XX滿秩，故有 第19頁(yè)，共85頁(yè)，2

6、022年，5月20日，13點(diǎn)33分，星期二將上述過程用矩陣表示如下： 即求解方程組：得到： 于是：第20頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二樣本回歸函數(shù)i=1,2n其矩陣形式為 其中 ：參數(shù)的最小二乘估計(jì)結(jié)果為 第21頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二隨機(jī)誤差項(xiàng)的方差的無偏估計(jì) 可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為 第22頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 *2、最大似然估計(jì) 對(duì)于多元線性回歸模型易知 Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率即為變量Y的似然函數(shù) 第23頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星

7、期二對(duì)數(shù)或然函數(shù)為對(duì)對(duì)數(shù)或然函數(shù)求極大值，也就是對(duì) 求極小值。 因此，參數(shù)的最大或然估計(jì)為結(jié)果與參數(shù)的普通最小二乘估計(jì)相同第24頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二*3、矩估計(jì)（Moment Method, MM） OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組并對(duì)它進(jìn)行求解而完成的。所以有:第25頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二稱為原總體回歸方程的矩條件，它表明了原總體回歸方程所具有的內(nèi)在特征。 即，第26頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二意味著：這就是回歸方程參數(shù)的“矩估計(jì)”（MM估計(jì)）；它與OLS估計(jì)的結(jié)果一樣。

8、第27頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 4、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)具有： 線性性、無偏性、有效性。 （1）線性 其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 第28頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 （2）無偏性 這里利用了假設(shè): X非隨機(jī)，所以E(X)=0 4、參數(shù)估計(jì)量的性質(zhì)第29頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 （3）有效性（最小方差性） 4、參數(shù)估計(jì)量的性質(zhì)因?yàn)椋旱?0頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 （

9、3）有效性（最小方差性） 4、參數(shù)估計(jì)量的性質(zhì)所以：其中利用了 第31頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二高斯馬爾科夫定理：在關(guān)于的一切線性無偏估計(jì)中（BLUE），最小二乘法的估計(jì)是方差最小的。證明：略 4、參數(shù)估計(jì)量的性質(zhì)第32頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二多元情況下，“異方差”與“序列自相關(guān)”問題的矩陣表述在“異方差”、“序列自相關(guān)”的情況下，OLS估計(jì)量不再具有“有效性”！ 異方差與序列自相關(guān)第33頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二在“異方差” 的情況下，OLS估計(jì)量不再具有“有效性”！ 異方差第34頁(yè)，共85頁(yè)，

10、2022年，5月20日，13點(diǎn)33分，星期二 序列自相關(guān)問題（一階）在“序列自相關(guān)”的情況下，OLS估計(jì)量不再具有“有效性”！第35頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二在上述兩種情況下，都無法得到因此，最小方差性質(zhì)無法證明。 異方差與序列自相關(guān)第36頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 對(duì)于模型 Y=X+ 如果存在序列自相關(guān)，或者存在異方差，亦或者二者都存在，則有 5、廣義最小二乘法第37頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 其中，是一個(gè)對(duì)稱的正定矩陣，存在一可逆的下三角矩陣D，使得： =DD 喬列斯基分解（Cholesky d

11、ecomposition） 5、廣義最小二乘法第38頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二變換原模型： D-1Y = D-1X +D-1重定義為： Y* = X* + * 所以，變形后的模型具有同方差性和隨機(jī)誤差項(xiàng)互相不相關(guān)性：因?yàn)榇藭r(shí)：第39頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 這就是原模型的廣義最小二乘 (GLS)估計(jì)量， 它是無偏的、有效的估計(jì)量。對(duì)重定義模型： Y* = X* + * （ D-1Y = D-1X +D-1 ）進(jìn)行OLS 估計(jì)：第40頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 當(dāng)數(shù)據(jù)存在“異方差”、“序列自相關(guān)”時(shí)

12、，廣義最小二乘法（GLS）才是線性、無偏、有效的估計(jì)量！ 5、廣義最小二乘法第41頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 如何得到矩陣？（略） 對(duì)的形式進(jìn)行特殊設(shè)定后，才可得到其估計(jì)值。 如設(shè)定隨機(jī)擾動(dòng)項(xiàng)存在異方差，且形式為： 2i = f(Xi) 2 則第42頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 如何得到矩陣？（略）代入第43頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 如何得到矩陣？（略）或者由：進(jìn)行喬列斯基分解得到：第44頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 如何得到矩陣？（略）之后對(duì)D求逆：第45頁(yè)，共85頁(yè)

13、，2022年，5月20日，13點(diǎn)33分，星期二變形：Y* = D-1Y ； X*= D-1X然后用X*對(duì)Y*進(jìn)行OLS 估計(jì)：第46頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 如何得到矩陣？（略） 對(duì)的形式進(jìn)行特殊設(shè)定后，才可得到其估計(jì)值。 如設(shè)定隨機(jī)擾動(dòng)項(xiàng)為一階序列相關(guān)形式 i=i-1+i 則第47頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)1、擬合優(yōu)度檢驗(yàn)2、 t 檢驗(yàn)3、 F檢驗(yàn)4、序列自相關(guān)性檢驗(yàn)5、異方差檢驗(yàn)6、多重共線性檢驗(yàn)7、有約束的檢驗(yàn)*第48頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模

14、型的統(tǒng)計(jì)檢驗(yàn)1、擬合優(yōu)度檢驗(yàn)第49頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)2、 t 檢驗(yàn) 對(duì)單個(gè)變量的顯著性進(jìn)行檢驗(yàn) H0： i=0， H1：i0第50頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)3、 F檢驗(yàn) 對(duì)多個(gè)變量的顯著性進(jìn)行的聯(lián)合檢驗(yàn)：H0： 1= k= 0 ， H1： 起碼有一個(gè)i0注意：沒有0第51頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)3、 F檢驗(yàn) 若FF(k , n-k-1)，則接受原假設(shè)。問題：為什么不能用t檢驗(yàn)替代F檢驗(yàn)?zāi)兀?第52頁(yè)，

15、共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)4、序列自相關(guān)性檢驗(yàn) （略）見一元回歸中的相應(yīng)問題第53頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)5、異方差檢驗(yàn) （略）見一元回歸中的相應(yīng)問題。第54頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)6、多重共線性檢驗(yàn)（1）多重共線性（Multi-Collinearity）問題；（2）檢驗(yàn)方法（3）處理方法 第55頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)（1）多重共線性（Multi

16、-Collinearity）問題當(dāng)自變量中，出現(xiàn)彼此“ 線性相關(guān) ”的時(shí)候，rank( X )10”，就不能容忍了。 第63頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)6、多重共線性檢驗(yàn)（3）處理方法 差分法 取對(duì)數(shù) 去除某個(gè)變量 第64頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)6、多重共線性檢驗(yàn)（4）樣本容量問題 第65頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二 樣本容量問題 所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下

17、限。 (1) 最小樣本容量 樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1因?yàn)椋淮嬖诙嘀毓簿€性要求：秩(X)=k+1第66頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* t檢驗(yàn)、F檢驗(yàn)的深入探討。第67頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 例如：柯布-道格拉斯函數(shù)第68頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 例如：對(duì)估計(jì)出的回歸函數(shù)，有時(shí)需要檢驗(yàn)：第69頁(yè)，共85頁(yè)，2022年，5月

18、20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 一般性的F統(tǒng)計(jì)量第70頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 請(qǐng)驗(yàn)證：我們之前給出的F統(tǒng)計(jì)量只是一個(gè)特例第71頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 檢驗(yàn)的內(nèi)容非常廣，一般可將原假設(shè)寫為：例如：第72頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 檢驗(yàn)的內(nèi)容非常廣、作用非常大必需是線性的約束第73頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)

19、33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 檢驗(yàn)的內(nèi)容非常廣、作用非常大深入討論：制度轉(zhuǎn)換的檢驗(yàn) 鄒至莊檢驗(yàn)：Chow Test 本質(zhì)上也是F檢驗(yàn)第74頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二鄒至莊檢驗(yàn)：Chow Test第75頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二鄒至莊檢驗(yàn)：Chow Test構(gòu)造統(tǒng)計(jì)量：第76頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二三、多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)7、聯(lián)合檢驗(yàn)* 檢驗(yàn)的內(nèi)容非常廣、作用非常大F檢驗(yàn)的應(yīng)用之一：貨幣政策對(duì)產(chǎn)出、就業(yè)有影響嗎？ 1977年、1978年，Robert Barro的兩篇經(jīng)典論文第77頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二F檢驗(yàn)的應(yīng)用之一：貨幣政策對(duì)產(chǎn)出、就業(yè)有影響嗎？新古典主義：預(yù)料到的貨幣供給量的變化對(duì)產(chǎn)出、就業(yè)沒有影響；沒有預(yù)料到的貨幣供給量的變化才能對(duì)產(chǎn)出、就業(yè)產(chǎn)生影響；1977、1978年，巴羅對(duì)此問題進(jìn)行了研究。第78頁(yè)，共85頁(yè)，2022年，5月20日，13點(diǎn)33分，星期二F檢驗(yàn)的應(yīng)用之一：貨幣政策對(duì)產(chǎn)出、就業(yè)有影響嗎？首先，對(duì)Mt(貨幣供給量的變化)進(jìn)行回歸：回歸部分被定義為：預(yù)料到的變化，At殘差被定義為：未預(yù)料到的變化，Ut第79頁(yè)，共85頁(yè)，2022年，5月20日，1