回歸分析基本方法

關(guān)于回歸分析基本方法第1頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月§2.1回歸分析概述一、變量間的關(guān)系及回歸分析的基本概念

二、一元總體回歸函數(shù)三、隨機(jī)擾動(dòng)項(xiàng)四、一元樣本回歸函數(shù)（SRF）第2頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月§2.1回歸分析概述

（1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機(jī)變量間的關(guān)系。（2）統(tǒng)計(jì)依賴(lài)或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。一、變量間的關(guān)系及回歸分析的基本概念

1、變量間的關(guān)系經(jīng)濟(jì)變量之間的關(guān)系，大體可分為兩類(lèi)：第3頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月對(duì)變量間統(tǒng)計(jì)依賴(lài)關(guān)系的考察主要是通過(guò)相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來(lái)完成的：例如：

函數(shù)關(guān)系：統(tǒng)計(jì)依賴(lài)關(guān)系/統(tǒng)計(jì)相關(guān)關(guān)系：第4頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

①不線(xiàn)性相關(guān)并不意味著不相關(guān)；

②有相關(guān)關(guān)系并不意味著一定有因果關(guān)系；③回歸分析/相關(guān)分析研究一個(gè)變量對(duì)另一個(gè)（些）變量的統(tǒng)計(jì)依賴(lài)關(guān)系，但它們并不意味著一定有因果關(guān)系。

④相關(guān)分析對(duì)稱(chēng)地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的?；貧w分析對(duì)變量的處理方法存在不對(duì)稱(chēng)性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是?！⒁猓旱?頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

回歸分析(regressionanalysis)是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴(lài)關(guān)系的計(jì)算方法和理論。

其用意：在于通過(guò)后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測(cè)前者的（總體）均值。這里：前一個(gè)變量被稱(chēng)為被解釋變量（ExplainedVariable）或應(yīng)變量（DependentVariable），后一個(gè)（些）變量被稱(chēng)為解釋變量（ExplanatoryVariable）或自變量（IndependentVariable）。2、回歸分析的基本概念

回歸分析構(gòu)成計(jì)量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括：

（1）根據(jù)樣本觀(guān)察值對(duì)經(jīng)濟(jì)計(jì)量模型參數(shù)進(jìn)行估計(jì)，求得回歸方程；（2）對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)；（3）利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測(cè)。第6頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當(dāng)解釋變量取某個(gè)確定值時(shí)，與之統(tǒng)計(jì)相關(guān)的被解釋變量所有可能出現(xiàn)的對(duì)應(yīng)值的平均值。

二、一元總體回歸函數(shù)第7頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月概念：

在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱(chēng)為一元總體回歸線(xiàn)（populationregressionline），或更一般地稱(chēng)為一元總體回歸曲線(xiàn)（populationregressioncurve）。稱(chēng)為（雙變量）一元總體回歸函數(shù)（populationregressionfunction,PRF）。

相應(yīng)的函數(shù)：第8頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

回歸函數(shù)（PRF）說(shuō)明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。含義：

函數(shù)形式：可以是線(xiàn)性或非線(xiàn)性的。為一線(xiàn)性函數(shù)。其中，0，1是未知參數(shù)，稱(chēng)為回歸系數(shù)（regressioncoefficients）。

。第9頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

三、隨機(jī)擾動(dòng)項(xiàng)

稱(chēng)i為觀(guān)察值Yi圍繞它的期望值E(Y|Xi)的離差（deviation），是一個(gè)不可觀(guān)測(cè)的隨機(jī)變量，又稱(chēng)為隨機(jī)干擾項(xiàng)（stochasticdisturbance）或隨機(jī)誤差項(xiàng)（stochasticerror）。記第10頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

（*）式稱(chēng)為一元總體回歸函數(shù)（方程）PRF的隨機(jī)設(shè)定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。(*)

由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，因此也稱(chēng)為一元總體回歸模型。第11頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月隨機(jī)誤差項(xiàng)主要包括下列因素的影響：1）在解釋變量中被忽略的因素的影響；2）變量觀(guān)測(cè)值的觀(guān)測(cè)誤差的影響；3）模型關(guān)系的設(shè)定誤差的影響；4）其它隨機(jī)因素的影響。產(chǎn)生并設(shè)計(jì)隨機(jī)誤差項(xiàng)的主要原因：1）理論的含糊性；2）數(shù)據(jù)的欠缺；3）節(jié)省原則。第12頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

四、一元樣本回歸函數(shù)（SRF）

問(wèn)題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？

總體的信息往往無(wú)法掌握，現(xiàn)實(shí)的情況只能是在一次觀(guān)測(cè)中得到總體的一個(gè)樣本。第13頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月該樣本的散點(diǎn)圖（scatterdiagram)：

樣本散點(diǎn)圖近似于一條直線(xiàn)，畫(huà)一條直線(xiàn)以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，可以該線(xiàn)近似地代表總體回歸線(xiàn)。該線(xiàn)稱(chēng)為一元樣本回歸線(xiàn)（sampleregressionlines）。

記樣本回歸線(xiàn)的函數(shù)形式為：稱(chēng)為一元樣本回歸函數(shù)（sampleregressionfunction，SRF）。

第14頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

這里將樣本回歸線(xiàn)看成總體回歸線(xiàn)的近似替代則

注意：第15頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

樣本回歸函數(shù)的隨機(jī)形式/樣本回歸模型：同樣地，樣本回歸函數(shù)也有如下的隨機(jī)形式：

由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，因此也稱(chēng)為一元樣本回歸模型（sampleregressionmodel）。

第16頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

▼回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)PRF。注意：這里PRF可能永遠(yuǎn)無(wú)法知道。即，根據(jù)

估計(jì)第17頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月§2.2線(xiàn)性回歸模型

一、多元線(xiàn)性回歸模型二、多元線(xiàn)性回歸模型的基本假定

第18頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

一、多元線(xiàn)性回歸模型

多元線(xiàn)性回歸模型:表現(xiàn)在線(xiàn)性回歸模型中的解釋變量有多個(gè)。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱(chēng)為回歸參數(shù)（regressioncoefficient）。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀(guān)測(cè)值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

第19頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月也被稱(chēng)為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:

方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱(chēng)為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;

或者說(shuō)j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。第20頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為

其中第21頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月樣本回歸函數(shù)：用來(lái)估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

ei稱(chēng)為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：第22頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月二、多元線(xiàn)性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線(xiàn)性）。

假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)

假設(shè)4，隨機(jī)項(xiàng)滿(mǎn)足正態(tài)分布

第23頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月上述假設(shè)的矩陣符號(hào)表示式：

假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿(mǎn)秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

第24頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月假設(shè)4，向量

服從多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)：假設(shè)5，樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n∞時(shí)，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

第25頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月§2.3

線(xiàn)性回歸模型的參數(shù)估計(jì)

估計(jì)方法：OLS、ML

一、普通最小二乘估計(jì)二、最大似然估計(jì)三、參數(shù)估計(jì)量的性質(zhì)四、樣本容量問(wèn)題五、估計(jì)實(shí)例

第26頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀(guān)測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

其中第27頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

第28頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月正規(guī)方程組的矩陣形式即由于X’X滿(mǎn)秩，故有

第29頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月將上述過(guò)程用矩陣表示如下：

即求解方程組：得到：

于是：第30頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月?正規(guī)方程組的另一種寫(xiě)法對(duì)于正規(guī)方程組

于是

或

(*)或（**）是多元線(xiàn)性回歸模型正規(guī)方程組的另一種寫(xiě)法

(*)(**)第31頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為

第32頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月?隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì)量為

第33頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月二、最大似然估計(jì)

對(duì)于多元線(xiàn)性回歸模型易知

Y的隨機(jī)抽取的n組樣本觀(guān)測(cè)值的聯(lián)合概率即為變量Y的似然函數(shù)

第34頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月對(duì)數(shù)似然函數(shù)為對(duì)對(duì)數(shù)似然函數(shù)求極大值，也就是對(duì)

求極小值。

因此，參數(shù)的最大似然估計(jì)為結(jié)果與參數(shù)的普通最小二乘估計(jì)相同第35頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

三、參數(shù)估計(jì)量的性質(zhì)

在滿(mǎn)足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大似然估計(jì)及矩估計(jì)仍具有：

線(xiàn)性性、無(wú)偏性、有效性。

同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：

漸近無(wú)偏性、漸近有效性、一致性。

1、線(xiàn)性性

其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

第36頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

2、無(wú)偏性

這里利用了假設(shè):E(X’)=0

3、有效性（最小方差性）

第37頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月其中利用了

和第38頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

四、樣本容量問(wèn)題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)?，無(wú)多重共線(xiàn)性要求：秩(X)=k+1第39頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月2、滿(mǎn)足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿(mǎn)足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明第40頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月五、線(xiàn)性回歸模型的參數(shù)估計(jì)實(shí)例第41頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月1、中國(guó)居民人均消費(fèi)模型

例2.3.2

考察中國(guó)居民收入與消費(fèi)支出的關(guān)系。GDPP：

人均國(guó)內(nèi)生產(chǎn)總值（1990年不變價(jià)）CONSP：人均居民消費(fèi)（以居民消費(fèi)價(jià)格指數(shù)（1990=100）縮減）。

表2.3.1中國(guó)居民人均消費(fèi)支出與人均GDP（元/人）

年份

人均居民消費(fèi)

CONSP

人均GDP

GDPP

年份

人均居民消費(fèi)

CONSP

人均GDP

GDPP

1978

395.8

675.1

1990

797.1

1602.3

1979

437.0

716.9

1991

861.4

1727.2

1980

464.1

763.7

1992

966.6

1949.8

1981

501.9

792.4

1993

1048.6

2187.9

1982

533.5

851.1

1994

1108.7

2436.1

1983

572.8

931.4

1995

1213.1

2663.7

1984

635.6

1059.2

1996

1322.8

2889.1

1985

716.0

1185.2

1997

1380.9

3111.9

1986

746.5

1269.6

1998

1460.6

3323.1

1987

788.3

1393.6

1999

1564.4

3529.3

1988

836.4

1527.0

2000

1690.8

3789.7

1989

779.7

1565.9

第42頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月

該兩組數(shù)據(jù)是1978~2000年的時(shí)間序列數(shù)據(jù)（timeseriesdata）；

建立模型

擬建立如下一元回歸模型

采用Eviews軟件進(jìn)行回歸分析的結(jié)果見(jiàn)下表

第43頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月一般可寫(xiě)出如下回歸分析結(jié)果：

(13.51)(53.47)R2=0.9927F=2859.23DW=0.5503

表2.3.2中國(guó)居民人均消費(fèi)支出對(duì)人均GDP的回歸（1978~2000）

LS//DependentVariableisCONSP

Sample:19782000

Includedobservations:23

Variable

Coefficient

Std.Error

t-Statistic

Prob.

C

201.1071

14.88514

13.51060

0.0000

GDPP

0.386187

0.007222

53.47182

0.0000

R-squared

0.992709

Meandependentvar

905.3331

AdjustedR-squared

0.992362

S.D.dependentvar

380.6428

S.E.ofregression

33.26711

Akaikeinfocriterion

7.092079

Sumsquaredresid

23240.71

Schwarzcriterion

7.190818

Loglikelihood

-112.1945