第三講基本假設(shè)和參數(shù)估計(jì)

第三講基本假設(shè)和參數(shù)估計(jì)第一頁，共35頁。①不線性相關(guān)一定不相關(guān)；②有相關(guān)關(guān)系并不意味著一定有因果關(guān)系；③？分析對稱地對待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的。④？分析對變量的處理方法存在不對稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是。判斷、填空第二頁，共35頁。樣本回歸函數(shù)樣本回歸模型利用樣本回歸模型，觀察值可以表示為利用總體回歸模型，觀察值可以表示為總體回歸模型總體回歸函數(shù)第三頁，共35頁。樣本回歸函數(shù)（模型）與總體回歸函數(shù)（模型）的區(qū)別總體回歸函數(shù)是未知的，但它是確定的；樣本回歸函數(shù)是隨抽樣波動而變化的，可以有許多條總體回歸函數(shù)的參數(shù)和是確定的常數(shù)；而樣本回歸函數(shù)的參數(shù)和是隨抽樣而變化的隨機(jī)變量總體回歸模型中的是不可直接觀測的；樣本回歸模型的是只要估計(jì)出樣本回歸的參數(shù)就可以計(jì)算的數(shù)值。第四頁，共35頁?！褡鳛榭傮w運(yùn)行的客觀規(guī)律，總體回歸函數(shù)是客觀存在的，但在實(shí)際的經(jīng)濟(jì)研究中總體回歸函數(shù)通常是未知的，只能根據(jù)經(jīng)濟(jì)理論和實(shí)踐經(jīng)驗(yàn)去設(shè)定。計(jì)量經(jīng)濟(jì)學(xué)研究中“計(jì)量”的根本目的就是要尋求總體回歸函數(shù)?！裎覀兯O(shè)定的計(jì)量模型實(shí)際就是在設(shè)定總體回歸函數(shù)的具體形式?！窨傮w回歸函數(shù)中Y與X的關(guān)系可以是線性的，也可以是非線性的。5如何理解總體回歸函數(shù)第五頁，共35頁?！?.2一元線性回歸模型的基本假設(shè)

§2.3一元線性回歸模型的參數(shù)估計(jì)（1）一、參數(shù)的普通最小二乘估計(jì)（OLS）二、一元線性回歸模型的基本假設(shè)三、最小二乘估計(jì)量的性質(zhì)第六頁，共35頁。

一元線性回歸模型：只有一個(gè)解釋變量

i=1,2,…,nY為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機(jī)干擾項(xiàng).

若有n個(gè)樣本觀測點(diǎn)也可寫為第七頁，共35頁。

一、參數(shù)的普通最小二乘估計(jì)（OLS）

給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）普通最小二乘法歸功于德國數(shù)學(xué)家高斯第八頁，共35頁。普通最小二乘法（Ordinaryleastsquares,OLS）的基本思路：在來自于總體的n個(gè)觀測點(diǎn)中，試圖找到一條直線，使得這些點(diǎn)到這條直線的垂直距離的平方和最小

令求關(guān)于和的偏導(dǎo)數(shù)，并令其為0，得：（1）第九頁，共35頁。方程組（1）或（2）稱為正規(guī)方程組（normalequations）。

整理得（2）第十頁，共35頁。記上述參數(shù)估計(jì)量可以寫成：

稱為OLS估計(jì)量的離差形式（deviationform）。由于參數(shù)的估計(jì)結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計(jì)量（ordinaryleastsquaresestimators）。

第十一頁，共35頁。順便指出，記則有

可得

（**）式也稱為樣本回歸函數(shù)的離差形式。（**）注意：

在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對均值的離差。

?第十二頁，共35頁。這樣一旦從樣本數(shù)據(jù)得到OLS估計(jì)值，便容易畫出樣本回歸線，它具有如下性質(zhì)（課本60頁第9題）1、樣本回歸直線經(jīng)過樣本的均值點(diǎn)，2、殘差的均值為0，即有：即有3、不相關(guān)與第十三頁，共35頁。

回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。

二、線性回歸模型的基本假設(shè)不僅僅是得到和，而且要對真實(shí)的做出推斷。

和或者說，我們想知道與其期望值有多接近

具體地說下面我們要介紹的就是經(jīng)典假設(shè)，滿足該假設(shè)的線性回歸模型稱為經(jīng)典線性回歸模型。問題：通過OLS法，得到了OLS估計(jì)量，夠用了嗎？必須知道Y的產(chǎn)生方式依賴于X與u第十四頁，共35頁。假設(shè)1回歸模型是正確設(shè)定的；變量正確（沒遺沒漏）；函數(shù)形式正確否則模型設(shè)定偏誤假設(shè)2

解釋變量X是確定性變量，不是隨機(jī)變量，在重復(fù)抽樣中取固定值。假設(shè)3解釋變量X在所抽取的樣本中具有變異性，而且隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一個(gè)非零的有限常數(shù)。即注意:解釋變量非隨機(jī)在自然科學(xué)的實(shí)驗(yàn)研究中相對容易滿足，經(jīng)濟(jì)領(lǐng)域中變量的觀測是被動不可控的，X非隨機(jī)的假定并不一定都滿足。第十五頁，共35頁。假設(shè)4隨機(jī)誤差項(xiàng)具有給定條件下的零均值、同方差和不序列相關(guān)性：前4個(gè)假定也專門稱為高斯-馬爾科夫假設(shè)。這些假設(shè)能夠保證前面介紹的估計(jì)方法具有良好的效果。

X

Y第十六頁，共35頁。假設(shè)5、隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：

Cov(Xi,i)=0i=1,2,…,n假設(shè)6、隨機(jī)誤差項(xiàng)服從零均值、同方差的正態(tài)分布，即

若不知其概率分布，那我們將無法將它們與其真實(shí)值相聯(lián)系。由于是隨機(jī)變量，所以我們需要清楚他們的概率分布，而他們將取決于對的概率分布所做的假定。第十七頁，共35頁。為什么是正態(tài)假定呢？隨機(jī)干擾項(xiàng)代表回歸模型中未明顯引進(jìn)的許多自變量（對因變量）的總影響，我們希望這些被忽略的變量所起的影響是微小的。于是利用統(tǒng)計(jì)學(xué)中著名的中心極限定理就能證明，如果存在大量獨(dú)立且相同分布的隨機(jī)變量，隨著這些變量個(gè)數(shù)的無限增大，他們的總和將趨向正態(tài)分布。正是這個(gè)中心極限定理為隨機(jī)干擾項(xiàng)正態(tài)性假定提供了理論基礎(chǔ)2、正態(tài)分布的一個(gè)性質(zhì)是，正態(tài)分布變量的任何線性函數(shù)都是正態(tài)分布。3、正態(tài)分布是一個(gè)比較簡單、僅涉及兩個(gè)參數(shù)（均值和方差）的分布；他為人們所熟知，他的理論性質(zhì)在數(shù)理統(tǒng)計(jì)學(xué)中受到廣泛的研究。4、如果我們在處理小樣本或有限容量時(shí)，比如說數(shù)據(jù)小于100次觀測，那么正態(tài)假定就起到關(guān)鍵作用。她不僅有助于我們推導(dǎo)出OLS估計(jì)量精確的概率分布，而且是我們能用t、F和卡方分布來對回歸模型進(jìn)行統(tǒng)計(jì)檢驗(yàn)。第十八頁，共35頁。由于其中的和是非隨機(jī)的，是隨機(jī)變量，因此Y是隨機(jī)變量，

的分布性質(zhì)決定了的分布性質(zhì)。

對的一些假定可以等價(jià)地表示為對的假定：

假定1：零均值假定

假定2：同方差假定假定3：無自相關(guān)假定

假定5：正態(tài)性假定

19在對的基本假定下Y的分布性質(zhì)第十九頁，共35頁。重要提示幾乎沒有那個(gè)實(shí)際問題能夠同時(shí)滿足所有基本假設(shè)。通過模型理論的發(fā)展，就可以克服違背基本假設(shè)所帶來的問題違背基本假設(shè)的處理構(gòu)成了以下內(nèi)容：異方差問題（違背同方差假設(shè)）序列相關(guān)問題（違背序列不相關(guān)假設(shè)）共線性問題（違背解釋變量不相關(guān)假設(shè)）隨機(jī)解釋變量問題（解釋變量不確定，與隨機(jī)誤差項(xiàng)相關(guān)）注意：所有的假定都是關(guān)于PRF，而不是SRF第二十頁，共35頁。21

面臨的問題:

參數(shù)估計(jì)值參數(shù)真實(shí)值對參數(shù)估計(jì)式的優(yōu)劣需要有評價(jià)的標(biāo)準(zhǔn)

為什么呢?

●參數(shù)無法直接觀測，只能通過樣本去估計(jì)。樣本的獲得存

在抽樣波動，不同樣本的估計(jì)結(jié)果不一致?！窆烙?jì)參數(shù)的方法有多種，不同方法的估計(jì)結(jié)果可能不相同，

通過樣本估計(jì)參數(shù)時(shí)，估計(jì)方法及所確定的估計(jì)量不一定

完備，不一定能得到理想的總體參數(shù)估計(jì)值。對各種估計(jì)方法優(yōu)劣的比較與選擇需要有評價(jià)標(biāo)準(zhǔn)。估計(jì)準(zhǔn)則的基本要求：參數(shù)估計(jì)值應(yīng)"盡可能地接近"總體參數(shù)真實(shí)值”。

什么是“盡可能地接近”原則呢？

用統(tǒng)計(jì)語言表述就是:無偏性、有效性、一致性等

三、最小二乘估計(jì)量的性質(zhì)第二十一頁，共35頁。22

(1)無偏性

前提：重復(fù)抽樣中估計(jì)方法固定、樣本數(shù)不變、由重復(fù)抽樣得到的觀測值,可得一系列參數(shù)估計(jì)值,的分布稱為的抽樣分布，其密度函數(shù)記為概念:如果，則稱是參數(shù)

的無偏估計(jì)量，如果，則稱是有偏的估計(jì)，其偏倚為（見下頁圖）第二十二頁，共35頁。23

概率密度

估計(jì)值偏倚第二十三頁，共35頁。24(2)有效性

前提：樣本相同、用不同的方法估計(jì)參數(shù)，可以找到若干個(gè)不同的無偏估計(jì)式

目標(biāo):

努力尋求其抽樣分布具有最小方差的估計(jì)量（見下頁圖）既是無偏的同時(shí)又具有最小方差特性的估計(jì)量，稱為最佳（有效）估計(jì)量。第二十四頁，共35頁。25

概率密度

估計(jì)值第二十五頁，共35頁。思想:當(dāng)樣本容量較小時(shí)，有時(shí)很難找到方差最小的無偏估計(jì)，需要考慮樣本擴(kuò)大后的性質(zhì)（估計(jì)方法不變，樣本數(shù)逐步增大）一致性：

當(dāng)樣本容量n趨于無窮大時(shí)，如果估計(jì)式依概率收斂于總體參數(shù)的真實(shí)值，就稱這個(gè)估計(jì)式是

的一致估計(jì)式。即或

（漸近無偏估計(jì)式是當(dāng)樣本容量變得足夠大時(shí)其偏倚趨于零的估計(jì)式）

(見下頁圖)漸近有效性：當(dāng)樣本容量n趨于無窮大時(shí)，在所有的一致估計(jì)式中，具有最小的漸近方差。263、漸近性質(zhì)（大樣本性質(zhì)）第二十六頁，共35頁。估計(jì)值概率密度第二十七頁，共35頁。先明