計量經(jīng)濟學 一元線性回歸模型的參數(shù)估計.ppt

1、2.3 一元線性回歸模型的參數(shù)估計,一、參數(shù)的普通最小二乘估計（OLS） 二、參數(shù)估計的最大似然法(ML) 三、最小二乘估計量的性質(zhì) 四、估計量的概率分布及隨機干擾項方差 的估計,一、參數(shù)的普通最小二乘估計（OLS）,給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地擬合這組值. 普通最小二乘法（Ordinary least squares, OLS）給出的判斷標準是：二者之差的平方和,最小。,方程組（*）稱為正規(guī)方程組（normal equations）。,記,上述參數(shù)估計量可以寫成：,稱為OLS估計量的離差形式（deviation form）。 由于估計結(jié)果是通

2、過最小二乘法得到的，故稱為普通最小二乘估計量（ordinary least squares estimators）。,順便指出 ，記,則有,可得,（*）式也稱為樣本回歸函數(shù)的離差形式。,（*）,注意：在計量經(jīng)濟學中，往往以小寫字母表示對均值的離差。,二、參數(shù)估計的最大似然法(ML),1、最大似然法,最大似然法(Maximum Likelihood,ML)，也稱最大或然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。 基本原理：當從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。 ML必須已知隨機項

3、的分布。,2、估計步驟,Yi的分布,Yi的概率函數(shù),Y的所有樣本觀測值的聯(lián)合概率似然函數(shù),對數(shù)似然函數(shù),對數(shù)似然函數(shù)極大化的一階條件,結(jié)構(gòu)參數(shù)的ML估計量,3、討論,在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計量與普通最小二乘估計量是相同的。 但是，分布參數(shù)的估計結(jié)果不同。,例2.2.1：在上述家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表2.2.1進行。,因此，由該樣本估計的回歸方程為：,三、最小二乘估計量的性質(zhì),1、概述,當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。 準則： 線性性

4、(linear)，即它是否是另一隨機變量的線性函數(shù)； 無偏性(unbiased)，即它的均值或期望值是否等于總體的真實值； 有效性(efficient)，即它是否在所有線性無偏估計量中具有最小方差。 這三個準則也稱作估計量的小樣本性質(zhì)。擁有這類性質(zhì)的估計量稱為最佳線性無偏估計量（best liner unbiased estimator, BLUE）。,（4）漸近無偏性，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值； （5）一致性，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值； （6）漸近有效性，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方差。,當不滿足小

5、樣本性質(zhì)時，需進一步考察估計量的大樣本或漸近性質(zhì)：,2、高斯馬爾可夫定理(Gauss-Markov theorem),高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。,證：,易知,故,同樣地，容易得出,（2）證明最小方差性,其中，ci=ki+di，di為不全為零的常數(shù) 則容易證明,普通最小二乘估計量（ordinary least Squares Estimators）稱為最佳線性無偏估計量（best linear unbiased estimator, BLUE）,四、參數(shù)估計量的概率分布及隨機干擾項方差的估計,2、隨機誤差項的方差2的估計,由于隨機項i不可觀測，只能從i的估計殘差ei出發(fā)，對總體方