一元線性模型的參數(shù)估計(jì)分析

1、2.3 一元線性回歸模型的參數(shù)估計(jì)(Estimation of Simple Linear Regression Model) 一、參數(shù)的普通最小二乘估計(jì)（OLS） 二、參數(shù)估計(jì)的最大或然法(ML)三、參數(shù)估計(jì)的矩法(MM) 四、最小二乘估計(jì)量的性質(zhì) 五、參數(shù)估計(jì)量的概率分布及隨機(jī)干 擾項(xiàng)方差的估計(jì) 如果線性方程組的系數(shù)行列式D不等于零， 則方程組有唯一解 （1）CRAMMER法則解CRAMMER法則應(yīng)用所以 1、Crammer法則只能用于求解方程個(gè)數(shù)與未知數(shù) 個(gè)數(shù)相等的線性方程組；2、Crammer法則只能求得系數(shù)行列式不為零時(shí)的 線性方程組的唯一解； 即如果方程個(gè)數(shù)與未知數(shù)個(gè)數(shù)不相等，或系

2、數(shù) 行列式等于零，則Crammer法則失效。3、計(jì)算量大，要計(jì)算 n+1 個(gè) n 階行列式的值。 CRAMMER法則應(yīng)用局限一、參數(shù)的普通最小二乘估計(jì)（OLS）1、最小二乘原理根據(jù)被解釋變量的所有觀測(cè)值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。 為什么取平方和？給定一組樣本觀測(cè)值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地?cái)M合這組值.方程組（*）稱(chēng)為正規(guī)方程組（normal equations）。 2、正規(guī)方程組3、參數(shù)估計(jì)量記上述參數(shù)估計(jì)量可以寫(xiě)成： 稱(chēng)為OLS估計(jì)量的離差形式（deviation form）。 由于參數(shù)的估計(jì)結(jié)果是通過(guò)最小二乘法得到的，故稱(chēng)為普通最小二乘

3、估計(jì)量（ordinary least squares estimators）。 順便指出 ，記則有 可得 （*）式也稱(chēng)為樣本回歸函數(shù)的離差形式。（*）注意： 在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫(xiě)字母表示對(duì)均值的離差。 4、“估計(jì)量”（estimator）和“估計(jì)值” (estimate)的區(qū)別 如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來(lái)的，它是一個(gè)“估計(jì)值”，或者“點(diǎn)估計(jì)”，是參數(shù)估計(jì)量的一個(gè)具體數(shù)值；如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式，那么，則是Yi的函數(shù)，而Yi是隨機(jī)變量，所以參數(shù)估計(jì)也是隨機(jī)變量，在這個(gè)角度上，稱(chēng)之為“估計(jì)量”。 5、例題（采用Eviews進(jìn)行OLS估計(jì)）數(shù)據(jù)OLS估計(jì)二、

4、參數(shù)估計(jì)的最大似然法(ML)1、最大似然法最大似然法(Maximum Likelihood,ML)，也稱(chēng)最大或然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。基本原理：當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。ML必須已知隨機(jī)項(xiàng)的分布。2、估計(jì)步驟Yi的分布Yi的概率函數(shù) Y的所有樣本觀測(cè)值的聯(lián)合概率似然函數(shù) 對(duì)數(shù)似然函數(shù) 對(duì)數(shù)似然函數(shù)極大化的一階條件結(jié)構(gòu)參數(shù)的ML估計(jì)量3、討論在滿(mǎn)足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計(jì)量與普通最小二乘估計(jì)量是相同的。但是，分布參數(shù)的估計(jì)

5、結(jié)果不同。4、例題ML估計(jì)三、參數(shù)估計(jì)的矩法(MM)矩估計(jì)的基本原理是用相應(yīng)的樣本矩來(lái)估計(jì)總體矩。對(duì)一元線性回歸模型，在滿(mǎn)足基本假設(shè)時(shí)，存在兩個(gè)總體矩條件。相應(yīng)的樣本矩條件構(gòu)成關(guān)于待估參數(shù)的正規(guī)方程組。求解該方程組，得到參數(shù)估計(jì)。參數(shù)估計(jì)與OLS估計(jì)相同。由基本假設(shè)，寫(xiě)出兩個(gè)總體矩條件 相應(yīng)的樣本矩條件構(gòu)成正規(guī)方程組MM估計(jì) 例2.3.1：在上述家庭可支配收入-消費(fèi)支出例中，對(duì)于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過(guò)下面的表2.3.1進(jìn)行。表2.3.1 參數(shù)估計(jì)計(jì)算表 因此，由該樣本估計(jì)的回歸方程為： 四、最小二乘估計(jì)量的性質(zhì) 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)

6、的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性： （1）線性性，即它是否是另一隨機(jī)變量的線性函數(shù)；1、概述（2）無(wú)偏性，即它的均值或期望值是否等于總體的真實(shí)值；（3）有效性，即它是否在所有線性無(wú)偏估計(jì)量中具有最小方差。（4）漸近無(wú)偏性，即樣本容量趨于無(wú)窮大時(shí)，是否它的均值序列趨于總體真值；（5）一致性，即樣本容量趨于無(wú)窮大時(shí)，它是否依概率收斂于總體的真值；（6）漸近有效性，即樣本容量趨于無(wú)窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。 這三個(gè)準(zhǔn)則也稱(chēng)作估計(jì)量的小樣本性質(zhì)。 擁有這類(lèi)性質(zhì)的估計(jì)量稱(chēng)為最佳線性無(wú)偏估計(jì)量（best line

7、r unbiased estimator, BLUE）。 當(dāng)不滿(mǎn)足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本或漸近性質(zhì)：2、高斯馬爾可夫定理(Gauss-Markov theorem)在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。下面分別對(duì)最小二乘估計(jì)量的線性性、無(wú)偏性和有效性進(jìn)行證明，作為不熟悉的同學(xué)的自學(xué)內(nèi)容。證：易知故同樣地，容易得出 （2）證明最小方差性其中，ci=ki+di，di為不全為零的常數(shù)則容易證明由于最小二乘估計(jì)量擁有一個(gè)“好”的估計(jì)量所應(yīng)具備的小樣本特性，它自然也擁有大樣本特性。 五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)1、參數(shù)估計(jì)量的概率分布 2、隨機(jī)干擾項(xiàng)的方差2的估計(jì) 2又稱(chēng)為總體方差。 由于隨機(jī)項(xiàng)i不可觀測(cè)，只能從i的估計(jì)殘差ei出發(fā)，