第2講經(jīng)典線(xiàn)性回歸分析(計(jì)量經(jīng)濟(jì)學(xué)-社科院,張濤)

第2講經(jīng)典線(xiàn)性回歸分析主要內(nèi)容預(yù)備知識(shí)：數(shù)理統(tǒng)計(jì)一元線(xiàn)性回歸分析多元線(xiàn)性回歸分析非線(xiàn)性模型的線(xiàn)性化結(jié)構(gòu)框架一元線(xiàn)性回歸多元線(xiàn)性回歸線(xiàn)性化模型的回歸多項(xiàng)式模型雙曲函數(shù)模型對(duì)數(shù)線(xiàn)性模型經(jīng)典線(xiàn)性回歸模型基本假定參數(shù)估計(jì)最小二乘極大似然顯著性檢驗(yàn)基本假定參數(shù)估計(jì)顯著性檢驗(yàn)應(yīng)用應(yīng)用EVIEWS使用12.1數(shù)理統(tǒng)計(jì)概述（1）基本概念

總體和樣本

對(duì)總體和樣本的描述

密度函數(shù)與分布函數(shù)（最完全）

隨機(jī)變量的數(shù)字特征（綜合指標(biāo)）

矩：期望、方差、偏度、峰度

統(tǒng)計(jì)量與抽樣分布樣本平均數(shù)、樣本方差、樣本K階原點(diǎn)距樣本K階中心距樣本總體數(shù)理統(tǒng)計(jì)的核心統(tǒng)計(jì)量（2）幾種重要的分布正態(tài)分布與標(biāo)準(zhǔn)正態(tài)分布t分布F分布

定義

形狀

各分布之間的關(guān)系（3）幾個(gè)重要的定理定理1：樣本均值定理2：“樣本方差”定理3：“樣本均值與方差”定理4：“不同樣本”結(jié)論：分布是樣本和總體的連接點(diǎn)。（總體和樣本之間的聯(lián)系在于它們具有相同的分布）（4）統(tǒng)計(jì)推斷點(diǎn)估計(jì)與區(qū)間估計(jì)點(diǎn)估計(jì)：區(qū)間估計(jì)：估計(jì)方法假設(shè)檢驗(yàn)（1）基本概念：?jiǎn)我患僭O(shè)和復(fù)合假設(shè)，原假設(shè)和備擇假設(shè)，兩類(lèi)錯(cuò)誤（2）方法置信區(qū)間法顯著性檢驗(yàn)法（一個(gè)檢驗(yàn)統(tǒng)計(jì)量是顯著的，其含義是拒絕原假設(shè)）數(shù)理統(tǒng)計(jì)的內(nèi)在邏輯樣本總體統(tǒng)計(jì)量樣本均值樣本矩參數(shù)估計(jì)矩估計(jì)OLS估計(jì)似然估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)假設(shè)檢驗(yàn)置信區(qū)間顯著檢驗(yàn)特性分布2.2一元線(xiàn)性回歸分析一元線(xiàn)性回歸模型（總體回歸模型）：隨機(jī)項(xiàng)的引入導(dǎo)致了被解釋變量的隨機(jī)性，由此引發(fā)了計(jì)量經(jīng)濟(jì)學(xué)對(duì)模型的研究。樣本回歸直線(xiàn)：總體回歸方程：（1）基本假定對(duì)隨機(jī)項(xiàng)（干擾項(xiàng)）的假定

假定1：零均值假定2：同方差假定3：無(wú)自相關(guān)*假定4：服從正態(tài)分布對(duì)解釋變量的假定（或是對(duì)數(shù)據(jù)的假定）假定1：非隨機(jī)性假定2：與隨機(jī)項(xiàng)不相關(guān)假定3：沒(méi)有完全的線(xiàn)性關(guān)系假定4：X要有變異性。對(duì)模型設(shè)定的假定假定1：回歸模型對(duì)參數(shù)而言是線(xiàn)性的。假定2：回歸模型是正確設(shè)定的。（2）估計(jì)問(wèn)題最小二乘法：殘差的平方和最小正規(guī)方程：（簡(jiǎn)化形式）最小二乘估計(jì)量的表達(dá)式最小二乘估計(jì)量的性質(zhì)數(shù)值性質(zhì)：OLS估計(jì)量純粹是由可觀測(cè)量（樣本）表示的。OLS估計(jì)量是點(diǎn)估計(jì)量?；貧w直線(xiàn)通過(guò)樣本均值。殘差的均值為零。數(shù)值性質(zhì)與統(tǒng)計(jì)性質(zhì)最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)（BLUE性質(zhì)）

高斯—馬爾科夫定理線(xiàn)性:無(wú)偏性:最小方差性:參數(shù)估計(jì)量的抽樣分布*假定4：擾動(dòng)項(xiàng)服從正態(tài)分布（1）正態(tài)分布僅涉及兩個(gè)參數(shù)。（2）正態(tài)分布的任意線(xiàn)性組合仍是正態(tài)分布。（3）中心極限定理作保證。隨機(jī)擾動(dòng)項(xiàng)的估計(jì)隨機(jī)擾動(dòng)項(xiàng)方差估計(jì)量結(jié)論：在正態(tài)性假定條件下，除了滿(mǎn)足BLUE性質(zhì)以外，截距和斜率的OLS估計(jì)量服從正態(tài)分布，隨機(jī)擾動(dòng)項(xiàng)的方差服從Chi-平方分布。（3）檢驗(yàn)回歸參數(shù)的t檢驗(yàn)檢驗(yàn)：回歸模型中是否存在線(xiàn)性關(guān)系？這種關(guān)系是顯著的嗎？經(jīng)驗(yàn)規(guī)律

在實(shí)際應(yīng)用中，顯著水平通常取5%，在t分布表中，當(dāng)樣本觀察值的個(gè)數(shù)大于15時(shí)，t臨界值大體保持在2左右。由此我們得到一個(gè)十分簡(jiǎn)便的檢驗(yàn)方法，t絕對(duì)值大于2時(shí)，我們就可以得出系數(shù)是統(tǒng)計(jì)顯著的結(jié)論。但是，如果t值接近2，這種經(jīng)驗(yàn)判斷的方法就不準(zhǔn)確?；貧w方程的顯著性檢驗(yàn)和擬合優(yōu)度（1）總離差平方和的分解：TSS=RSS+ESS（2）擬合優(yōu)度（樣本決定系數(shù)）：（3）回歸方程的顯著性檢驗(yàn)：方差分析表（4）一元線(xiàn)性回歸方程應(yīng)用：截面數(shù)據(jù)中國(guó)消費(fèi)與收入的初步研究：數(shù)據(jù)來(lái)源：2000年中國(guó)各地區(qū)消費(fèi)和收入數(shù)據(jù)Eviews//example1計(jì)算與分析：EVIEWS一元線(xiàn)性回歸方程應(yīng)用：時(shí)間序列檢驗(yàn)?zāi)Ｐ偷慕Y(jié)構(gòu)穩(wěn)定性：Chow檢驗(yàn)步驟1：全部樣本進(jìn)行回歸。步驟2：不同時(shí)期樣本回歸。步驟3：構(gòu)造統(tǒng)計(jì)量。步驟4：假設(shè)檢驗(yàn)。英國(guó)個(gè)人儲(chǔ)蓄與收入（eviews//example3）（5）極大似然估計(jì)方法介紹似然函數(shù)的概念極大似然估計(jì)2.3多元線(xiàn)性回歸分析三變量線(xiàn)性回歸分析新概念偏回歸系數(shù)校正的判定系數(shù)偏相關(guān)系數(shù)原始數(shù)據(jù)（四組）Y1 X1 Y2 X2 Y3 X3 Y4 X4 8.04 10 9.14 10 7.46 10 6.58 8 6.95 8 8.14 8 6.77 8 5.76 8 7.58 13 8.74 13 12.74 13 7.71 8 8.81 9 8.77 9 7.11 9 8.84 8 8.33 11 9.26 11 7.81 11 8.47 8 9.96 14 8.1 14 8.84 14 7.04 8 7.24 6 6.13 6 6.08 6 5.25 8 4.26 4 3.1 4 5.39 4 12.5 19 10.84 12 9.13 12 8.15 12 5.56 8 4.82 7 7.26 7 6.42 7 7.91 8 5.68 5 4.74 5 5.73 5 6.89 8 雙變量回歸 CoefficientStd.Error t-Statistic Prob. C(1) 3.000091 1.124747 2.667348 0.0257

C(2) 0.500091 0.117906 4.241455 0.0022

R-squared 0.666542 Meandependentvar 7.500909 樣本1：

Coefficient Std.Error t-Statistic Prob. C(1) 3.000909 1.125302 2.666758 0.0258

C(2) 0.500000 0.117964 4.238590 0.0022

R-squared 0.666242 Meandependentvar 7.500909

樣本2：Y2=C(1)+C(2)*X2

Y1=C(1)+C(2)*X1

Coefficient Std.Errort-Statistic Prob. C(1) 3.001727 1.123921 2.670763 0.0256

C(2) 0.499909 0.117819 4.243028 0.0022

R-squared 0.666707 Meandependentvar 7.500909

樣本3：Y3=C(1)+C(2)*X3

樣本4：Y4=C(1)+C(2)*X4

Coefficient Std.Error t-Statistic Prob. C(1) 3.002455 1.124481 2.670080 0.0256

C(2) 0.499727 0.117878 4.239372 0.0022

R-squared 0.666324 Meandependentvar 7.500000

最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)（BLUE性質(zhì)）

高斯—馬爾科夫定理線(xiàn)性:無(wú)偏性:最小方差性:最小方差性的幾何解釋參數(shù)估計(jì)量的兩個(gè)特點(diǎn)斜率的方差與解釋變量的關(guān)系。截距的方差與樣本容量的關(guān)系。參數(shù)估計(jì)量的抽樣分布*假定4：擾動(dòng)項(xiàng)服從正態(tài)分布（1）正態(tài)分布僅涉及兩個(gè)參數(shù)。（2）正態(tài)分布的任意線(xiàn)性組合仍是正態(tài)分布。（3）中心極限定理作保證。隨機(jī)擾動(dòng)項(xiàng)的估計(jì)隨機(jī)擾動(dòng)項(xiàng)方差估計(jì)量：通過(guò)可觀測(cè)的變量估計(jì)結(jié)論：在正態(tài)性假定條件下，除了滿(mǎn)足BLUE性質(zhì)以外，截距和斜率的OLS估計(jì)量服從正態(tài)分布，隨機(jī)擾動(dòng)項(xiàng)的方差服從Chi-平方分布。（3）檢驗(yàn)回歸參數(shù)的t檢驗(yàn)檢驗(yàn)：回歸模型中是否存在線(xiàn)性關(guān)系？這種關(guān)系是顯著的嗎？經(jīng)驗(yàn)規(guī)律

在實(shí)際應(yīng)用中，顯著水平通常取5%，在t分布表中，當(dāng)樣本觀察值的個(gè)數(shù)大于15時(shí)，t臨界值大體保持在2左右。由此我們得到一個(gè)十分簡(jiǎn)便的檢驗(yàn)方法，t絕對(duì)值大于2時(shí)，我們就可以得出系數(shù)是統(tǒng)計(jì)顯著的結(jié)論。但是，如果t值接近2，這種經(jīng)驗(yàn)判斷的方法就不準(zhǔn)確?；貧w方程的顯著性檢驗(yàn)和擬合優(yōu)度（1）總離差平方和的分解：TSS=RSS+ESS（2）擬合優(yōu)度（樣本決定系數(shù)）：（3）回歸方程的顯著性檢驗(yàn)：F檢驗(yàn)的基本思想F檢驗(yàn)的思路1無(wú)約束條件下的殘差平方和2有約束條件下的殘差平方和3統(tǒng)計(jì)量：相對(duì)約束成本回歸方程的顯著性檢驗(yàn)：檢驗(yàn)連等式思想：檢驗(yàn)所有解釋變量對(duì)被解釋變量影響的顯著性因此，F(xiàn)檢驗(yàn)實(shí)際上針對(duì)的是多元回歸問(wèn)題。聯(lián)合假設(shè)F統(tǒng)計(jì)量F值與判定系數(shù)之間的關(guān)系方差分析表（4）一元線(xiàn)性回歸方程應(yīng)用：截面數(shù)據(jù)中國(guó)消費(fèi)與收入的初步研究：數(shù)據(jù)來(lái)源：2000年中國(guó)各地區(qū)消費(fèi)和收入數(shù)據(jù)Eviews//example1計(jì)算與分析：EVIEWS一元線(xiàn)性回歸方程應(yīng)用：時(shí)間序列檢驗(yàn)?zāi)Ｐ偷慕Y(jié)構(gòu)穩(wěn)定性：Chow檢驗(yàn)步驟1：全部樣本進(jìn)行回歸。步驟2：不同時(shí)期樣本回歸。步驟3：構(gòu)造統(tǒng)計(jì)量。步驟4：假設(shè)檢驗(yàn)。英國(guó)個(gè)人儲(chǔ)蓄與收入（eviews//example3）計(jì)算結(jié)果：SAVE=C(1)+C(2)*INCOME Coefficient Std.Error t-Statistic Prob.C(1) -1.082071 0.145151 -7.454820 0.0000C(2) 0.117845 0.00877413.43164 0.0000R-squared 0.918537 Sumsquaredresid 0.572226

總樣本（46-63）

Coefficient Std.Error t-Statistic Prob. C(1) -1.750172 0.357560 -4.894769 0.0018 C(2) 0.150450 0.017545 8.574906 0.0001 R-squared 0.913075

Sumsquaredresid 0.193121

樣本2（55-63） Coefficient Std.Error t-Statistic Prob. C(1) -0.266249 0.305353 -0.871940 0.4121 C(2) 0.047028 0.026569 1.770053 0.1200 R-squared 0.309194 Sumsquaredresid 0.139650 樣本1（46-54）統(tǒng)計(jì)量與假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)：兩時(shí)期沒(méi)有結(jié)構(gòu)性變化問(wèn)題的延伸

就題論題：重建時(shí)期的檢驗(yàn)合法嗎？總樣本重建后重建期

方法論：結(jié)構(gòu)變化緣于什么？

實(shí)際分析：如何劃分樣本？判定系數(shù)探討什么情況下為0?什么情況下可能為負(fù)?使用條件?12無(wú)截距的回歸3樣本容量相同被解釋變量相同解釋變量相同解釋變量形式可以不同戈德伯格“危言”回歸線(xiàn)樣本點(diǎn)極大似然估計(jì)的思想不同的統(tǒng)計(jì)總體會(huì)產(chǎn)生不同的樣本，對(duì)于某一特定的樣本，在總體未知的情況下，它來(lái)自一些形式的母體的可能性要比來(lái)自另一母體的可能性大。簡(jiǎn)言之，是樣本“替代”我們選擇了“總體”。X5X8X1ABX概率似然函數(shù)的概念極大似然估計(jì)計(jì)算時(shí)處理方法：通常采用似然函數(shù)的對(duì)數(shù)形式。極大似然估計(jì)一例隨機(jī)變量的分布為：為一組觀察值，求的極大似然估計(jì)。雙變量回歸模型的極大似然估計(jì)在隨機(jī)擾動(dòng)項(xiàng)服從正態(tài)分布的條件下：2.3多元線(xiàn)性回歸分析1.基本假定解釋變量之間無(wú)線(xiàn)性相關(guān)。2.參數(shù)的最小二乘估計(jì)3.參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)

線(xiàn)性

無(wú)偏性

方差—協(xié)方差和最小方差4.回歸參數(shù)的顯著性檢驗(yàn)5.回歸方程的顯著性檢驗(yàn)三變量線(xiàn)性回歸分析新概念偏回歸系數(shù)校正的判定系數(shù)復(fù)相關(guān)系數(shù)校正的判定系數(shù)判定系數(shù)：校正的判定系數(shù)：兩者之間的關(guān)系：偏相關(guān)系數(shù)與復(fù)相關(guān)系數(shù)相關(guān)分析與相關(guān)系數(shù)相關(guān)分析是討論變量之間相關(guān)程度的一種統(tǒng)計(jì)分析方法。1.相關(guān)分析中的變量都是隨機(jī)變量。2.相關(guān)分析可以判斷變量之間關(guān)聯(lián)的密切程度。為回歸分析尋找解釋變量。3.相關(guān)分析的結(jié)果并不能表明變量之間因果關(guān)系。相關(guān)系數(shù)用以描述兩個(gè)變量之間線(xiàn)性關(guān)系程度的數(shù)量指標(biāo)。相關(guān)系數(shù)與回歸系數(shù)之間的關(guān)系相關(guān)系數(shù)與回歸系數(shù)的數(shù)量關(guān)系：相關(guān)系數(shù)與判定系數(shù)之間的關(guān)系（雙變量回歸）1.樣本相關(guān)系數(shù)在計(jì)算上是一致的。2.判定系數(shù)是變量y與x作回歸時(shí)，判定回歸方程與樣本擬合程度好壞的一個(gè)數(shù)量指標(biāo)。3.相關(guān)系數(shù)是對(duì)變量y與x作相關(guān)分析時(shí)，判定y與x之間線(xiàn)性關(guān)聯(lián)程度的一個(gè)指標(biāo)。偏相關(guān)（多元回歸）一階偏相關(guān)系數(shù)：二階偏相關(guān)系數(shù)：（k-1）階偏相關(guān)系數(shù)：偏相關(guān)與偏相關(guān)系數(shù)定義：兩兩關(guān)系偏相關(guān)系數(shù)的求法（三變量一例）復(fù)相關(guān)（多元回歸）定義：（一對(duì)多關(guān)系）在多個(gè)變量中，其中一個(gè)變量與其他所有變量之間的相關(guān)關(guān)系求解：多元回歸一例：生產(chǎn)函數(shù)原始模型：估計(jì)模型：基本數(shù)據(jù)來(lái)源：《中國(guó)經(jīng)濟(jì)增長(zhǎng)的可持續(xù)性》，王小魯?shù)?，P63-64

（注：數(shù)據(jù)經(jīng)過(guò)作者的調(diào)整）回歸結(jié)果Sample:19801999

Includedobservations:20 LGDP=C(1)+C(2)*LLAB+C(3)*LCAP CoefficientStd.Error t-Statistic Prob. C(1) -3.895441 3.344390 -1.164769 0.2602 C(2) 0.734359 0.093573 7.847982 0.0000 C(3) 0.523115 0.383476 1.364140 0.1903 R-squared 0.990527 Meandependentvar 9.009615 AdjustedR-squared 0.989412 S.D.dependentvar 0.513611 S.E.ofregression 0.05