一元線性回歸模型及參數(shù)估計

一元線性回歸模型及其參數(shù)估計一、一元線性回歸模型的參數(shù)估計二、最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)三、最小二乘參數(shù)估計量的概率分布一元線性回歸模型及參數(shù)估計一、一元線性回歸模型的參數(shù)估計一元線性回歸模型及參數(shù)估計一元線性回歸模型的一般形式

一元線性回歸模型的一般形式是：

iiXiYmbb++=10

i=1，2，…，n

在滿足基本假設(shè)：

====0),(0),(2)(0)(iixCovjiCoviVariEmmmmsmm

i=1,2,…,nj=1,2,…,ni≠j

的情況下，隨機(jī)抽取n組樣本觀測值iXiY,（i=1,2,…n），就可以估計模型的參數(shù)。

同方差期望或均方值協(xié)方差一元線性回歸模型及參數(shù)估計模型參數(shù)估計的任務(wù)

模型參數(shù)估計的任務(wù)為兩項：

一是求得反映變量之間數(shù)量關(guān)系的結(jié)構(gòu)參數(shù)的估計量，在一元線性回歸模型即是參數(shù)和的估計量；b0b1二是求得隨機(jī)誤差項的分布參數(shù)，由于隨機(jī)誤差項的均值已經(jīng)被假定為0，所以所要求的分布參數(shù)只有方差。2ms一元線性回歸模型及參數(shù)估計1、普通最小二乘法

（OrdinaryLeastSquare,OLS）

給定一組樣本觀測值（Xi,Yi），i=1,2,…n，假如模型參數(shù)估計量已經(jīng)求得，并且是最合理的參數(shù)估計量，那么樣本回歸函數(shù)應(yīng)該能夠最好地擬合樣本數(shù)據(jù)，即樣本回歸線上的點(diǎn)與真實觀測點(diǎn)的“總體誤差”應(yīng)該盡可能地小。

最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即一元線性回歸模型及參數(shù)估計由于2)?1(iYniYQ-=?=2))1?0?(1(iXniYbb+-?是$b0、$b1的二次函數(shù)，并且非負(fù)，所以其極小值總是存在的。根據(jù)極值存在的條件，當(dāng)Q對$b0、$b1的一階偏導(dǎo)數(shù)為0時，Q達(dá)到最小。即

001?0?==?????íìb??b??QQT?íì=-+=-+??0)1?0?(0)1?0?(iXiYiXiYiXbbbbT???íìS+S=SS+=S21?0?1?0?iXiXiXiYiXniYbbbb

一元線性回歸模型及參數(shù)估計解得：

???íì10-=??XYbbS-SSS-S=2)(21?iXiXniXiYiXiYnb

由于0?b、1?b的估計結(jié)果是從最小二乘原理得到的，故稱為最小二乘估計量(least-squaresestimators)。一元線性回歸模型及參數(shù)估計最小二乘參數(shù)估計量的離差形式

(deviationform)注：在計量經(jīng)濟(jì)學(xué)中，往往以大寫字母表示原始數(shù)據(jù)（觀測值），而以小寫字母表示對均值的離差（deviation)。記???????íì-=-===??YiYiyXiXixiYnYiXnX11

，

則參數(shù)估計量可以寫成：???íì=-=??21?1?0?ixiyixXYbbb

一元線性回歸模型及參數(shù)估計隨機(jī)誤差項方差的估計量

記iYiYie?-=

為第i個樣本觀測點(diǎn)的殘差，即被解釋變量的估計值與觀測值之差，則隨機(jī)誤差項方差的估計量為：一元線性回歸模型及參數(shù)估計1.用原始數(shù)據(jù)（觀測值）Xi，Yi計算

簡捷公式為2.用離差形式的數(shù)據(jù)xi，yi計算其中簡捷公式為一元線性回歸模型及參數(shù)估計

2、最大似然法（MaximumLikelihood,ML）

最大或然法，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。基本原理：對于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得從模型總體中抽取該n組樣本觀測值的聯(lián)合概率最大。一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計量。一元線性回歸模型及參數(shù)估計

由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)或然函數(shù)如下：一元線性回歸模型及參數(shù)估計

可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計量與普通最小二乘估計量是相同的。一元線性回歸模型及參數(shù)估計但是，隨機(jī)誤差項的方差的估計量是不同的。一元線性回歸模型及參數(shù)估計3、樣本回歸線的數(shù)值性質(zhì)(numericalproperties)樣本回歸線通過Y和X的樣本均值；Y估計值的均值等于觀測值的均值；殘差的均值為0。一元線性回歸模型及參數(shù)估計二、最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)

高斯-馬爾可夫定理一元線性回歸模型及參數(shù)估計

當(dāng)模型參數(shù)估計完成后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘參數(shù)估計量是具有最小方差的線性無偏估計量。一元線性回歸模型及參數(shù)估計1、線性性：最小二乘參數(shù)估計量是Y的線性函數(shù)。一元線性回歸模型及參數(shù)估計2、無偏性：最小二乘參數(shù)估計量的均值等于總體回歸參數(shù)真值。一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計3、有效性：在所有線性無偏估計量中，最小二乘參數(shù)估計量具有最小方差。一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計（2）證明最小方差性一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計4、結(jié)論

普通最小二乘參數(shù)估計量具有線性性、無偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計量又稱為最佳線性無偏估計量，即BLUE估計量（theBestLinearUnbiasedEstimators）。顯然這些優(yōu)良的性質(zhì)依賴于對模型的基本假設(shè)。一元線性回歸模型及參數(shù)估計三、最小二乘參數(shù)估計量的概率分布一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計一元線性回歸模型及參數(shù)估計可以證明，隨機(jī)誤差項方差的無