oym2013年第3章(一元線性回歸模型)

在第二章，我們以人為設(shè)計(jì)的收入與消費(fèi)數(shù)據(jù)，討論了總體回歸模型與樣本回歸模型。本章分析一元線性回歸模型的經(jīng)典假定，以及經(jīng)典假設(shè)下的最小二乘估計(jì)方法和估計(jì)量的統(tǒng)計(jì)性質(zhì)、區(qū)間估計(jì)、假設(shè)檢驗(yàn)，并運(yùn)用蒙特卡洛模擬直觀認(rèn)識(shí)和驗(yàn)證最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)。第三章一元線性回歸模型§3.4

例子：中國(guó)消費(fèi)函數(shù)§3.5

對(duì)最小二乘估計(jì)量統(tǒng)計(jì)性質(zhì)的直觀認(rèn)識(shí)---蒙特卡洛模擬§3.3

回歸參數(shù)的區(qū)間估計(jì)和假設(shè)檢驗(yàn)§3.2擬合優(yōu)度§3.1

一元線性回歸模型參數(shù)的估計(jì)本章小結(jié)§3.1一元線性回歸模型參數(shù)的估計(jì)一元線性回歸模型是指模型中只有一個(gè)解釋變量的模線性型，也稱為簡(jiǎn)單線性回歸模型，其一般形式是：

（3.1.1）

Y為被解釋變量，X為解釋變量。因?yàn)槟Ｐ椭泄灿袃蓚€(gè)變量，所以，模型（3.1.1）也被稱為雙變量線性回歸模型，β0與β1為待估參數(shù)，ui為隨機(jī)誤差項(xiàng)或隨機(jī)擾動(dòng)項(xiàng)。

一、基本假定1、對(duì)模型與變量的假定假定1：回歸模型對(duì)參數(shù)（系數(shù)）

而言是線性模型。假定2：解釋變量是外生變量。假定3：模型是正確設(shè)定的。2、對(duì)隨機(jī)擾動(dòng)項(xiàng)的假定假定4：零均值假定假定5：同方差假定假定6：無(wú)自相關(guān)假定5二、普通最小二乘法（OLS）Yi的變化可以分為兩部分，一部分是可以由Xi的變化解釋的，另一部分來(lái)自隨機(jī)擾動(dòng)。Yi向Xi所解釋的“平均水平”回歸，這就是“回歸”的含義。而斜率系數(shù)β1是指，Xi每變化一個(gè)單位，Yi平均變化β1個(gè)單位。β0是樣本回歸直線的截距?；诩俣?，我們對(duì)模型（3.1.1）取條件期望，則有：（3.1.6）

即：（3.1.7）第一步構(gòu)造含有待估計(jì)系數(shù)的殘差平方和并對(duì)其求最小第二步對(duì)殘差平方和求兩個(gè)系數(shù)的偏導(dǎo)數(shù)（一階條件）（3.1.8）正則方程（3.1.9）（3.1.9）式即為OLS估計(jì)量對(duì)第二步的進(jìn)一步演算

在（3.1.9）式中，令，和分別稱為Xi和Yi的離差形式，也可稱為對(duì)Xi和Yi的中心化處理。為方便，我們以下分析過程中，將和號(hào)簡(jiǎn)寫為。容易證明：

（3.1.10）

（3.1.11）于是，估計(jì)量（3.1.9）可以表示為離差形式：（3.1.12）

在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對(duì)均值的離差。由于

和

是從最小二乘原理推導(dǎo)出來(lái)的，故稱為普通最小二乘估計(jì)量。將樣本數(shù)據(jù)代入估計(jì)量的計(jì)算公式（3.1.12）即可求得參數(shù)的估計(jì)值。

例3.1.1思考題目解答表3.1.12008年中國(guó)各地區(qū)城市居民人均年消費(fèi)支出和可支配收入數(shù)據(jù)來(lái)源：《中國(guó)統(tǒng)計(jì)年鑒2009》請(qǐng)回答：我國(guó)宏觀經(jīng)濟(jì)中的邊際消費(fèi)傾向是多少？地

區(qū)城市居民家庭平均每人每年消費(fèi)支出(元)城市居民人均年可支配收入(元)地

區(qū)城市居民家庭平均每人每年消費(fèi)支出(元)城市居民人均年可支配收入(元)北

京16460.2624724.89湖

北9477.5113152.86天

津13422.4719422.53湖

南9945.5213821.16河

北9086.7313441.09廣

東15527.9719732.86山

西8806.5513119.05廣

西9627.414146.04內(nèi)蒙古10828.6214432.55海

南9408.4812607.84遼

寧11231.4814392.69重

慶11146.814367.55吉

林9729.0512829.45四

川9679.1412633.38黑龍江8622.9711581.28貴

州8349.2111758.76上

海19397.8926674.9云

南9076.6113250.22江

蘇11977.5518679.52西

藏8323.5412481.51浙

江15158.322726.66陜

西9772.0712857.89安

徽9524.0412990.35甘

肅8308.6210969.41福

建12501.1217961.45青

海8192.5611640.43江

西8717.3712866.44寧

夏9558.2912931.53山

東11006.6116305.41新

疆8669.3611432.1河

南8837.4613231.11

我們?cè)O(shè)定樣本回歸模型

其中Yi為城市居民家庭平均每人每年消費(fèi)支出；Xi為城市居民人均年可支配收入。使用這組樣本數(shù)據(jù)，對(duì)(3.1.13)做最小二乘估計(jì)，結(jié)果為

從樣本回歸函數(shù)可知，邊際消費(fèi)傾向，也就是說收入每增加1元，消費(fèi)平均增加0.6647元。(3.1.13)（3.1.14）圖3.1.1樣本數(shù)據(jù)的散點(diǎn)圖和樣本回歸直線樣本點(diǎn)緊密散布在樣本回歸直線周圍，有的樣本點(diǎn)落在樣本回歸直線上，但是大多數(shù)樣本點(diǎn)不在樣本回歸直線上，而是在直線上方或者下方，那么這條樣本回歸直線“逼近”了總體回歸直線嗎？為什么要用普通最小二乘法？如何度量樣本回歸模型對(duì)樣本觀測(cè)值的擬合程度?要回答這些問題，我們必須學(xué)習(xí)估計(jì)量的統(tǒng)計(jì)性質(zhì)和模型的擬合優(yōu)度等概念。9三、最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)估計(jì)量的主要性質(zhì)OLS估計(jì)量的統(tǒng)計(jì)性質(zhì)

無(wú)偏性漸近無(wú)偏性漸近有效性有效性線性性一致性無(wú)偏性大樣本性質(zhì)有效性（最小方差性）線性性即樣本容量趨于無(wú)窮大時(shí)，估計(jì)量

在所有的一致估計(jì)量

中具有最小的漸近方差，即：即估計(jì)量是隨機(jī)樣本數(shù)據(jù)的線性函數(shù)；即估計(jì)量的期望等于總體的真實(shí)值，即：即估計(jì)量

在所有線性無(wú)偏估計(jì)量

中具有最小方差，也稱為最小方差性，即：即樣本容量趨于無(wú)窮大時(shí)，估計(jì)量的期望趨于總體真實(shí)值，即：即樣本容量趨于無(wú)窮大時(shí)，估計(jì)量依概率收劍于總體的真實(shí)值，即：其中：符號(hào)“Plim”表示概率極限，因?yàn)殡S機(jī)變量沒有極限值，只能求概率極限。線性性是指估計(jì)量

是隨機(jī)變量Yi的線性組合。即即在所有線性無(wú)偏估計(jì)量中，最小二乘估計(jì)量和具有最小方差。也就是說，如果我們能得到不同于最小二乘估計(jì)量的其他線性無(wú)偏估計(jì)量，其方差大于或者等于最小二乘估計(jì)量的方差。由于最小二乘估計(jì)量擁有一個(gè)“好”的估計(jì)量所應(yīng)具備的有限樣本性質(zhì)，它也擁有大樣本特性，即漸近無(wú)偏性、一致性、漸近有效性。高斯-馬爾可夫定理

由以上分析可以看出，普通最小二乘估計(jì)量（ordinaryleastsquaresestimators）在經(jīng)典假定下具有線性性、無(wú)偏性和最小方差性等性質(zhì)，稱具有這些性質(zhì)的估計(jì)量為最優(yōu)線性無(wú)偏估計(jì)量（

bestlinearunbiasedestimator，BLUE）。高斯-馬爾可夫定理（Gauss-Markovtheorem）

在經(jīng)典假定下，普通最小二乘估計(jì)量具有線性性、無(wú)偏性和最小方差性（

BLUE）。§3.2擬合優(yōu)度

如圖3.2.1（a）和（b）中的直線，它們分別表示由散點(diǎn)表示的樣本數(shù)據(jù)所對(duì)應(yīng)的樣本回歸直線（OLS估計(jì)的樣本回歸直線），它們都是通過殘差平方和最小而產(chǎn)生的直線，但是二者對(duì)樣本觀測(cè)值的擬合程度顯然是不同的。這兩條直線，誰(shuí)擬合得更好？這就需要使用擬合優(yōu)度的概念。3.2.1一、總離差平方和的分解

已知由一組樣本觀測(cè)值得到如下樣本回歸直線：

Y的第個(gè)觀測(cè)值與樣本均值的離差

可分解為兩部分之和（3.2.1）（3.2.2）圖3.2.2總離差的分解示意圖RSS稱為殘差平方和（residualsumofsquares，RSS），反映樣本觀測(cè)值與估計(jì)值偏離的大小，也是模型中解釋變量未解釋的離差。（3.2.7)（3.2.6)ESS稱為回歸平方和（explainedsumofsquares，ESS），反映由模型中解釋變量所解釋的那部分離差的大小。TSS稱為總平方和（totalsumofsquares，TSS），它反映樣本觀測(cè)值總體離差的大小。對(duì)于所有樣本點(diǎn)，由于

可以證明，所以有

記（3.2.3)（3.2.5)（3.2.4）二、擬合優(yōu)度

ESS占Y的總離差平方和的比例,度量了回歸直線對(duì)樣本觀測(cè)值的擬合優(yōu)度。這一比例記為R2，被稱為判定系數(shù)（3.2.8）

如果樣本回歸直線與樣本觀測(cè)值完全擬合，或者說，所有的樣本點(diǎn)全部落在樣本回歸直線上，則有R2=1。但是，由于樣本的隨機(jī)性，樣本回歸直線（或者估計(jì)的模型）與樣本觀測(cè)值完全擬合，亦即R2=1的情況很少發(fā)生。R2越大，說明在總變差中由回歸解釋的部分所占比重越大，擬合優(yōu)度越高。反之，R2越小，說明估計(jì)的模型對(duì)樣本觀測(cè)值的擬合程度越差?！?.3回歸參數(shù)的區(qū)間估計(jì)和假設(shè)檢驗(yàn)一、回歸參數(shù)估計(jì)量的概率分布的概率分布的標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)化變換的標(biāo)準(zhǔn)誤

在ui服從正態(tài)分布的假設(shè)下，即：

ui~N(0,σ2)則Yi服從正態(tài)分布，所以也服從正態(tài)分布，其分布特征由其均值和方差唯一決定，即（3.3.2）（3.3.1）于是，的標(biāo)準(zhǔn)差分別為（3.3.3）（3.3.4）（3.3.6）（3.3.5）若將正態(tài)隨機(jī)變量做標(biāo)準(zhǔn)化變換

即經(jīng)過標(biāo)準(zhǔn)化變換的均服從標(biāo)準(zhǔn)正態(tài)分布。我們定義：

用代替的標(biāo)準(zhǔn)差中的σ2，得到估計(jì)量的標(biāo)準(zhǔn)差的估計(jì)，為區(qū)別起見，稱為標(biāo)準(zhǔn)誤：可以證明，用標(biāo)準(zhǔn)誤對(duì)作標(biāo)準(zhǔn)化變換，所得到的和已經(jīng)不再服從，而是服從，即（3.3.8）（3.3.10）（3.3.11）（3.3.7）（3.3.9）二、回歸參數(shù)的區(qū)間估計(jì)參數(shù)估計(jì)中的區(qū)間估計(jì)具體構(gòu)造參數(shù)的區(qū)間估計(jì)

選擇一個(gè)顯著性水平α(0＜α＜1)，并求一個(gè)正數(shù)δ，使得隨機(jī)區(qū)間()包含參數(shù)（真實(shí)值）的概率為1-α，即其中，1-α稱為置信系數(shù)（置信度、置信水平）,α稱為顯著性水平，而()，稱為具有置信水平1-α的置信區(qū)間，也就是說，我們有1-α的“把握”認(rèn)為，置信區(qū)間覆蓋了真值。這個(gè)區(qū)間也稱為的區(qū)間估計(jì)。置信區(qū)間的兩個(gè)端點(diǎn)稱為置信上限和置信下限。

給定置信度1-α，從t分布表中查得自由度為的臨界值，那么t值處在（-，）內(nèi)的概率是1-α（圖3.3.1的中間空白區(qū)域面積），即

即

整理（3.3.14）式得

于是得到的置信度為1-α的置信區(qū)間（3.3.13）（3.3.15）（3.3.16）（3.3.14）圖3.3.1t分布的1-α

置信區(qū)間三、變量的顯著性檢驗(yàn)：t檢驗(yàn)為檢驗(yàn)收入（X）是否顯著地解釋了消費(fèi)（Y）的平均變化，設(shè)定假設(shè)檢驗(yàn)的原假設(shè)（虛擬假設(shè)）和備選假設(shè)（對(duì)立假設(shè)）分別是:

,:

如果收入（X）顯著地解釋了消費(fèi)（Y）的平均變化，那么參數(shù)的估計(jì)值應(yīng)該顯著不為0，也就是說，我們應(yīng)該以某種顯著性水平拒絕原假設(shè)。

由（3.3.11）式我們已經(jīng)知道，在隨機(jī)誤差項(xiàng)的正態(tài)性假定下，有將原假設(shè)代入以上的t

統(tǒng)計(jì)量中，有

給定一個(gè)顯著性水平α=0.05，在

t

分布表中可以查到一個(gè)對(duì)應(yīng)的臨界值，于是，所界定的區(qū)間為接受域（嚴(yán)格意義上應(yīng)該稱為不拒絕域），而

稱為拒絕域。

同理，如果原假設(shè)和備選假設(shè)分別是：，：

將原假設(shè)代入（3.3.10）中，有圖3.3.2

t檢驗(yàn)法和p值檢驗(yàn)法等價(jià)示意圖---雙側(cè)檢驗(yàn)（3.3.17）（3.3.18）四、檢驗(yàn)統(tǒng)計(jì)量的p值

對(duì)回歸參數(shù)的假設(shè)檢驗(yàn)是在給定的顯著性水平下做出的，因此當(dāng)給定的顯著性水平不同時(shí)，檢驗(yàn)所得的結(jié)論很可能不同，甚至?xí)a(chǎn)生相反的結(jié)論。在原假設(shè)既定、t統(tǒng)計(jì)量已確定的情況下，對(duì)參數(shù)假設(shè)檢驗(yàn)的結(jié)論與顯著性水平息息相關(guān)。如何避免選擇α

的主觀性?一個(gè)簡(jiǎn)單的方法是，在既定原假設(shè)下，計(jì)算t統(tǒng)計(jì)量的值，記為，在t分布表中可以查到所對(duì)應(yīng)的雙尾（在概率趨于0的方向）的概率值，這個(gè)概率值即為t統(tǒng)計(jì)量的值等于時(shí)的p值。p值參看圖3.3.2，用公式表示，即為使用這個(gè)p值就勿需人為地選擇顯著性水平，即可方便的做出拒絕或者不拒絕原假設(shè)的結(jié)論。

當(dāng)原假設(shè)不是等于某個(gè)值，而是大于等于或者小于等于某個(gè)值時(shí)，就要使用單側(cè)檢驗(yàn)，包括：（1）左側(cè)檢驗(yàn)：：，：，。此時(shí)臨界值是，拒絕域是?；蛘呤褂胮值產(chǎn)生檢驗(yàn)結(jié)論，見圖3.3.3；（2）右側(cè)檢驗(yàn)：：，：，。此時(shí)臨界值是，拒絕域是?；蛘哂胮值做出拒絕或者不拒絕原假設(shè)的結(jié)論，見圖3.3.4。圖3.3.4t檢驗(yàn)法和p值檢驗(yàn)法等價(jià)示意圖---右側(cè)檢驗(yàn)圖3.3.3t檢驗(yàn)法和p值檢驗(yàn)法等價(jià)示意圖---左側(cè)檢驗(yàn)§3.4例子：中國(guó)消費(fèi)函數(shù)表3.1.12008年中國(guó)各地區(qū)城市居民人均年消費(fèi)支出和可支配收入數(shù)據(jù)來(lái)源：《中國(guó)統(tǒng)計(jì)年鑒2009》地

區(qū)城市居民家庭平均每人每年消費(fèi)支出(元)城市居民人均年可支配收入(元)地

區(qū)城市居民家庭平均每人每年消費(fèi)支出(元)城市居民人均年可支配收入(元)北

京16460.2624724.89湖

北9477.5113152.86天

津13422.4719422.53湖

南9945.5213821.16河

北9086.7313441.09廣

東15527.9719732.86山

西8806.5513119.05廣

西9627.414146.04內(nèi)蒙古10828.6214432.55海

南9408.4812607.84遼

寧11231.4814392.69重

慶11146.814367.55吉

林9729.0512829.45四

川9679.1412633.38黑龍江8622.9711581.28貴

州8349.2111758.76上

海19397.8926674.9云

南9076.6113250.22江

蘇11977.5518679.52西

藏8323.5412481.51浙

江15158.322726.66陜

西9772.0712857.89安

徽9524.0412990.35甘

肅8308.6210969.41福

建12501.1217961.45青

海8192.5611640.43江

西8717.3712866.44寧

夏9558.2912931.53山

東11006.6116305.41新

疆8669.3611432.1河

南8837.4613231.11數(shù)據(jù)估計(jì)檢驗(yàn)與經(jīng)濟(jì)解釋

根據(jù)凱恩斯消費(fèi)理論,對(duì)于表3.1.1中的消費(fèi)和收入的數(shù)據(jù)，回歸模型設(shè)定為：

Y—城市居民家庭平均每人每年消費(fèi)支出(元)X—城市居民人均年可支配收入(元)基于表3.1.1的數(shù)據(jù)，運(yùn)用OLS估計(jì)結(jié)果如下:

其中，第一行是估計(jì)的回歸方程，第二行是對(duì)應(yīng)估計(jì)量的標(biāo)準(zhǔn)誤，第三行是對(duì)應(yīng)參數(shù)在原假設(shè)下的t值，最后一行是擬合優(yōu)度。（3.4.1）（3.4.2）

從估計(jì)的結(jié)果看,估計(jì)的斜率系數(shù)為0.6647，說明城鎮(zhèn)居民人均可支配收入每增加1元，人均消費(fèi)支出平均增加0.6647元，即邊際消費(fèi)傾向的估計(jì)值，這一結(jié)果不僅符合經(jīng)濟(jì)理論中關(guān)于對(duì)邊際消費(fèi)傾向的假定，同時(shí)也說明，如果提高收入水平，能比較明顯的擴(kuò)大消費(fèi)。估計(jì)的截距為725.3459，可以認(rèn)為是自主性消費(fèi)支出，即當(dāng)收入為零的時(shí)候還存在的消費(fèi)。但是，在計(jì)量經(jīng)濟(jì)學(xué)中，一般對(duì)截距不做解釋，因?yàn)榻忉屪兞繛?幾乎沒有經(jīng)濟(jì)學(xué)意義。以上對(duì)估計(jì)結(jié)果的分析表明，估計(jì)結(jié)果不僅與相關(guān)經(jīng)濟(jì)理論一致，也體現(xiàn)了比較明顯的現(xiàn)實(shí)經(jīng)濟(jì)意義。由（3.3.19）式和（3.3.20）式可知的t值為22.496，的t值為1.589，給定顯著性水平，查表得臨界值為

。由，拒絕原假設(shè)，說明斜率在5%的顯著性水平下顯著不為0，這表明，可支配收入對(duì)消費(fèi)有顯著影響。而，不能拒絕截距為零的原假設(shè)。等價(jià)地，p值分別為0.0000和0.1229分別小于和大于0.05，結(jié)論和t值檢驗(yàn)一樣。擬合優(yōu)度為=0.946，說明模型整體上對(duì)樣本數(shù)據(jù)擬合較好，即解釋變量“城市居民人均年可支配收入”解釋了被解釋變量“城市居民人均年消費(fèi)支出”的平均變化的94.6%。

我國(guó)居民消費(fèi)主要取決于居民可支配收入。但我國(guó)個(gè)人收入在國(guó)民收入的初次分配(在初次分配中，國(guó)民收入被分解為三個(gè)基本的部分：國(guó)家收入、企業(yè)收入、個(gè)人收入)中的占比長(zhǎng)期偏低。因此提高消費(fèi)的關(guān)鍵在于收入分配的改革。基于邊際消費(fèi)傾向的估計(jì)值，就可以得到相關(guān)乘數(shù)，由，投資乘數(shù)

，表示當(dāng)投資增加1個(gè)單位時(shí)，將導(dǎo)致總產(chǎn)出平均增加2.982個(gè)單位。以上的分析為制定收入分配改革的政策和制定投資規(guī)模提供了重要的信息。政策分析與評(píng)價(jià)預(yù)測(cè)模型應(yīng)用計(jì)量經(jīng)濟(jì)學(xué)模型的一個(gè)重要應(yīng)用是經(jīng)濟(jì)預(yù)測(cè)。如果給定樣本以外的解釋變量的觀測(cè)值

，可以得到被解釋變量的預(yù)測(cè)值

，可以此作為其條件均值

或個(gè)別值Y的一個(gè)點(diǎn)預(yù)測(cè)（點(diǎn)估計(jì)）。正如回歸系數(shù)有區(qū)間估計(jì)一樣，被解釋變量的預(yù)測(cè)也有區(qū)間預(yù)測(cè)（區(qū)間估計(jì)）。（1）

是條件均值

和個(gè)別值

的點(diǎn)預(yù)測(cè)。（2）Y的條件均值與個(gè)別值的區(qū)間預(yù)測(cè)①Y的條件均值預(yù)測(cè)的置信區(qū)間②Y的個(gè)別值預(yù)測(cè)的置信區(qū)間

圖3.4.1

Y的均值與個(gè)值的置信區(qū)間（預(yù)測(cè)區(qū)間）預(yù)測(cè)在上述可支配收入-消費(fèi)支出例子中，我們對(duì)人均可支配收入處的人均年消費(fèi)支出做出預(yù)測(cè)它可作為Y的條件均值或個(gè)別值在

處的點(diǎn)預(yù)測(cè)值。Y的條件均值95%的區(qū)間預(yù)測(cè)是即Y的個(gè)值95%的區(qū)間預(yù)測(cè)是即

§3.5對(duì)最小二乘估計(jì)量統(tǒng)計(jì)性質(zhì)的直觀認(rèn)識(shí)——蒙特卡洛模擬由前述，在一元線性回歸模型中，滿足經(jīng)典假設(shè)的最小二乘估計(jì)量，具有無(wú)偏性，最小方差性，隨機(jī)誤差項(xiàng)服從正態(tài)分布的假定下，估計(jì)量也服從正態(tài)分布。本節(jié)我們?cè)O(shè)計(jì)一個(gè)簡(jiǎn)單的蒙特卡洛仿真實(shí)驗(yàn)，以驗(yàn)證OLS估計(jì)量的統(tǒng)計(jì)性質(zhì)。具體步驟圖3.5.2100次觀測(cè)的頻率分布直方圖圖3.5.1100次觀測(cè)的頻率分布直方圖第一步第二步第三步第四步第五步直方圖折線圖設(shè)定一個(gè)“真實(shí)”的總體回歸模型：

其中

服從標(biāo)準(zhǔn)正態(tài)分布，樣本容量N=20,其中Xi分別取值如下：16、13、90、88、10、11、97、86、19、11、15、95、12、87、11、88、94、99、15、96。(3.5.1)

從標(biāo)準(zhǔn)正態(tài)分布中隨機(jī)抽取值，將X的值代入模型（3.5.1）并生成數(shù)據(jù)集。設(shè)定樣本回歸模型

以生成的數(shù)據(jù)集為被解釋變量的樣本值，對(duì)Xi做OLS回歸，獲得和的估計(jì)值和。和為滿足線性無(wú)偏的非OLS估計(jì)量，其中為滿足下述(3.5.2)條件的任意隨機(jī)數(shù)，在本例中,