一元線性回歸模型及參數(shù)估計(jì)

一元線性回歸模型及其參數(shù)估計(jì)一、一元線性回歸模型的參數(shù)估計(jì)二、最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)三、最小二乘參數(shù)估計(jì)量的概率分布2021/6/271一、一元線性回歸模型的參數(shù)估計(jì)2021/6/272一元線性回歸模型的一般形式

一元線性回歸模型的一般形式是：

iiXiYmbb++=10

i=1，2，…，n

在滿(mǎn)足基本假設(shè)：

====0),(0),(2)(0)(iixCovjiCoviVariEmmmmsmm

i=1,2,…,nj=1,2,…,ni≠j

的情況下，隨機(jī)抽取n組樣本觀測(cè)值iXiY,（i=1,2,…n），就可以估計(jì)模型的參數(shù)。

同方差期望或均方值協(xié)方差2021/6/273模型參數(shù)估計(jì)的任務(wù)

模型參數(shù)估計(jì)的任務(wù)為兩項(xiàng)：

一是求得反映變量之間數(shù)量關(guān)系的結(jié)構(gòu)參數(shù)的估計(jì)量，在一元線性回歸模型即是參數(shù)和的估計(jì)量；b0b1二是求得隨機(jī)誤差項(xiàng)的分布參數(shù)，由于隨機(jī)誤差項(xiàng)的均值已經(jīng)被假定為0，所以所要求的分布參數(shù)只有方差。2ms2021/6/2741、普通最小二乘法

（OrdinaryLeastSquare,OLS）

給定一組樣本觀測(cè)值（Xi,Yi），i=1,2,…n，假如模型參數(shù)估計(jì)量已經(jīng)求得，并且是最合理的參數(shù)估計(jì)量，那么樣本回歸函數(shù)應(yīng)該能夠最好地?cái)M合樣本數(shù)據(jù)，即樣本回歸線上的點(diǎn)與真實(shí)觀測(cè)點(diǎn)的“總體誤差”應(yīng)該盡可能地小。

最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即2021/6/275由于2)?1(iYniYQ-=?=2))1?0?(1(iXniYbb+-?是$b0、$b1的二次函數(shù)，并且非負(fù)，所以其極小值總是存在的。根據(jù)極值存在的條件，當(dāng)Q對(duì)$b0、$b1的一階偏導(dǎo)數(shù)為0時(shí)，Q達(dá)到最小。即

001?0?==?????íìb??b??QQT?íì=-+=-+??0)1?0?(0)1?0?(iXiYiXiYiXbbbbT???íìS+S=SS+=S21?0?1?0?iXiXiXiYiXniYbbbb

2021/6/276解得：

???íì10-=??XYbbS-SSS-S=2)(21?iXiXniXiYiXiYnb

由于0?b、1?b的估計(jì)結(jié)果是從最小二乘原理得到的，故稱(chēng)為最小二乘估計(jì)量(least-squaresestimators)。2021/6/277最小二乘參數(shù)估計(jì)量的離差形式

(deviationform)注：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以大寫(xiě)字母表示原始數(shù)據(jù)（觀測(cè)值），而以小寫(xiě)字母表示對(duì)均值的離差（deviation)。記???????íì-=-===??YiYiyXiXixiYnYiXnX11

，

則參數(shù)估計(jì)量可以寫(xiě)成：???íì=-=??21?1?0?ixiyixXYbbb

2021/6/278隨機(jī)誤差項(xiàng)方差的估計(jì)量

記iYiYie?-=

為第i個(gè)樣本觀測(cè)點(diǎn)的殘差，即被解釋變量的估計(jì)值與觀測(cè)值之差，則隨機(jī)誤差項(xiàng)方差的估計(jì)量為：2021/6/2791.用原始數(shù)據(jù)（觀測(cè)值）Xi，Yi計(jì)算

簡(jiǎn)捷公式為2.用離差形式的數(shù)據(jù)xi，yi計(jì)算其中簡(jiǎn)捷公式為2021/6/2710

2、最大似然法（MaximumLikelihood,ML）

最大或然法，也稱(chēng)最大似然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。

基本原理：對(duì)于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型總體中抽取該n組樣本觀測(cè)值的聯(lián)合概率最大。2021/6/27112021/6/2712

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。2021/6/2713

由于或然函數(shù)的極大化與或然函數(shù)的對(duì)數(shù)的極大化是等價(jià)的，所以，取對(duì)數(shù)或然函數(shù)如下：2021/6/2714

可見(jiàn)，在滿(mǎn)足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計(jì)量與普通最小二乘估計(jì)量是相同的。2021/6/2715但是，隨機(jī)誤差項(xiàng)的方差的估計(jì)量是不同的。2021/6/27163、樣本回歸線的數(shù)值性質(zhì)(numericalproperties)樣本回歸線通過(guò)Y和X的樣本均值；Y估計(jì)值的均值等于觀測(cè)值的均值；殘差的均值為0。2021/6/2717二、最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)

高斯-馬爾可夫定理2021/6/2718

當(dāng)模型參數(shù)估計(jì)完成后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘參數(shù)估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。2021/6/27191、線性性：最小二乘參數(shù)估計(jì)量是Y的線性函數(shù)。2021/6/27202、無(wú)偏性：最小二乘參數(shù)估計(jì)量的均值等于總體回歸參數(shù)真值。2021/6/27212021/6/27223、有效性：在所有線性無(wú)偏估計(jì)量中，最小二乘參數(shù)估計(jì)量具有最小方差。2021/6/27232021/6/2724（2）證明最小方差性2021/6/27252021/6/27262021/6/27274、結(jié)論

普通最小二乘參數(shù)估計(jì)量具有線性性、無(wú)偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計(jì)量又稱(chēng)為最佳線性無(wú)偏估計(jì)量，即BLUE估計(jì)量（theBestLinearUnbiasedEstimators）。顯然這些優(yōu)良的性質(zhì)依賴(lài)于對(duì)模型的基本假設(shè)。2021/6/2728三、最小二乘參數(shù)估計(jì)量的概率分布2021/6/27292021/6/27302021/6