統(tǒng)計(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué)一元線性回歸模型的參數(shù)估計(jì)PPT學(xué)習(xí)教案

1、會計(jì)學(xué)1統(tǒng)計(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué)一元線性回歸模型的統(tǒng)計(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué)一元線性回歸模型的參數(shù)估計(jì)參數(shù)估計(jì)單方程計(jì)量經(jīng)濟(jì)學(xué)模型分為兩大類： 線性模型和非線性模型線性模型中，變量之間的關(guān)系呈線性關(guān)系非線性模型中，變量之間的關(guān)系呈非線性關(guān)系 一元線性回歸模型一元線性回歸模型：只有一個(gè)解釋變量 iiiXY10i=1,2,nY為被解釋變量，X為解釋變量，0與1為待估待估參數(shù)參數(shù)， 為隨機(jī)干擾項(xiàng)隨機(jī)干擾項(xiàng)27/21/2021第1頁/共31頁 回歸分析的主要目的回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。（參見圖2.1.3） 估計(jì)方法估計(jì)方法有多種，其種最廣泛使用的是

2、普通最小普通最小二乘法二乘法（ordinary least squares, OLS）。 為保證參數(shù)估計(jì)量具有良好的性質(zhì)，為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。通常對模型提出若干基本假設(shè)。 注：實(shí)際這些假設(shè)與所采用的估計(jì)方法緊密相關(guān)。 37/21/2021第2頁/共31頁注意：注意：這里PRF可能永遠(yuǎn)無法知道。即，根據(jù) iiiiieXeYY10估計(jì)iiiiiXXYEY10)|(47/21/2021第3頁/共31頁57/21/2021第4頁/共31頁 一、線性回歸模型的基本假設(shè)一、線性回歸模型的基本假設(shè)假設(shè)1、解釋變量X是確定性變量，不是隨機(jī)變量； 假設(shè)2、隨機(jī)誤差項(xiàng)具有零

3、均值、同方差和不序列相關(guān)性： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假設(shè)3、隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設(shè)4、服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, 2 ) i=1,2, ,n67/21/2021第5頁/共31頁 1、如果假設(shè)1、2滿足，則假設(shè)3也滿足; 2、如果假設(shè)4滿足，則假設(shè)2也滿足。注意：注意： 以上假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)經(jīng)典假設(shè)或高高斯（斯（Gauss）假設(shè)）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型經(jīng)典

4、線性回歸模型（Classical Linear Regression Model, CLRM）。 77/21/2021第6頁/共31頁 另外另外，在進(jìn)行模型回歸時(shí)，還有兩個(gè)暗含的假設(shè)： 假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。即nQnXXi,/)(2 假設(shè)6：回歸模型是正確設(shè)定的 假設(shè)5旨在排除時(shí)間序列數(shù)據(jù)出現(xiàn)持續(xù)上升或下降的變量作為解釋變量，因?yàn)檫@類數(shù)據(jù)不僅使大樣本統(tǒng)計(jì)推斷變得無效，而且往往產(chǎn)生所謂的偽回歸問題偽回歸問題（spurious regression problem）。 假設(shè)6也被稱為模型沒有設(shè)定偏誤設(shè)定偏誤（specification error）87

5、/21/2021第7頁/共31頁niiiniXYYYQ121021)()(最小。97/21/2021第8頁/共31頁方程組（*）稱為正規(guī)方程組正規(guī)方程組（normal equations）。 0101()0()0iiiiiYXYX X107/21/2021第9頁/共31頁記22221)(iiiiXnXXXxiiiiiiiiYXnYXYYXXyx1)(上述參數(shù)估計(jì)量可以寫成： XYxyxiii1021稱為OLS估計(jì)量的離差形式離差形式（deviation form）。）。 由于參數(shù)的估計(jì)結(jié)果是通過最小二乘法得到的，故稱為普通普通最小二乘估計(jì)量最小二乘估計(jì)量（ordinary least squa

6、res estimators）。 117/21/2021第10頁/共31頁順便指出 ，記YYyii則有 iniiieXXeXXy111010)()()(可得 iixy1（*）式也稱為樣本回歸函數(shù)樣本回歸函數(shù)的離差形式離差形式。（*）注意：注意： 在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對均值的離差。 127/21/2021第11頁/共31頁137/21/2021第12頁/共31頁在滿足基本假設(shè)條件下，對一元線性回歸模型： iiiXY10 隨機(jī)抽取n組樣本觀測值（Xi, Yi）（i=1,2,n）。 那么Yi服從如下的正態(tài)分布：),(210iiXNY于是，Y的概率函數(shù)為2102)(2121)(iiXYi

7、eYP（i=1,2,n） 假如模型的參數(shù)估計(jì)量已經(jīng)求得，為147/21/2021第13頁/共31頁因?yàn)閅i是相互獨(dú)立的，所以的所有樣本觀測值的聯(lián)合概率，也即或然函數(shù)或然函數(shù)(likelihood function)(likelihood function)為： ),(),(21210nYYYPL 21022)(21)2(1iinXYne 將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。157/21/2021第14頁/共31頁 由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價(jià)的，所以，取對數(shù)或然函數(shù)如下：2102*)(21)2ln()ln(iiXYnLL167/21/2021第15頁/

8、共31頁解得模型的參數(shù)估計(jì)量為： 2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXYXYX 可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計(jì)量最大或然估計(jì)量與普通最普通最小二乘估計(jì)量小二乘估計(jì)量是相同的。177/21/2021第16頁/共31頁 例例2.2.1：在上述家庭可支配收入可支配收入- -消費(fèi)支出消費(fèi)支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。 表表 2.2.1 參參數(shù)數(shù)估估計(jì)計(jì)的的計(jì)計(jì)算算表表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594 -1350 -973 131409

9、0 1822500 947508 640000 352836 2 1100 638 -1050 -929 975870 1102500 863784 1210000 407044 3 1400 1122 -750 -445 334050 562500 198381 1960000 1258884 4 1700 1155 -450 -412 185580 202500 170074 2890000 1334025 5 2000 1408 -150 -159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 52

10、90000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000

11、 29157448 平均 2150 1567 187/21/2021第17頁/共31頁777. 07425000576930021iiixyx因此，由該樣本估計(jì)的回歸方程為： iiXY777. 0172.103011567 0.777*2150103.172YX 197/21/2021第18頁/共31頁 一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性： （1）線性性）線性性，即它是否是另一隨機(jī)變量的線性函數(shù)； （2）無偏性）無偏性，即它的均值或期望值是否等于總體的真實(shí)值； （3）有效性）有效性，即它是否在所有線性無偏估計(jì)量中具有最小方差。207/21/2021第19頁/共31頁（4）漸

12、近無偏性）漸近無偏性，即樣本容量趨于無窮大時(shí)，是否它的均值序列趨于總體真值；（5）一致性）一致性，即樣本容量趨于無窮大時(shí)，它是否依概率收斂于總體的真值；（6）漸近有效性）漸近有效性，即樣本容量趨于無窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。 這三個(gè)準(zhǔn)則也稱作估計(jì)量的小樣本性質(zhì)。小樣本性質(zhì)。 擁有這類性質(zhì)的估計(jì)量稱為最佳線性無偏估計(jì)最佳線性無偏估計(jì)量量（best liner unbiased estimator, BLUE）。 當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大大樣本樣本或或漸近性質(zhì)漸近性質(zhì)：217/21/2021第20頁/共31頁高斯高斯馬爾可夫定理馬爾可夫定理(Gaus

13、s-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。227/21/2021第21頁/共31頁2 2、無無偏偏性性，即估計(jì)量0、1的均值（期望）等于總體回歸參數(shù)真值0與1 證：證：iiiiiiiiiikXkkXkYk10101)(易知02iiixxk1iiXk故iik111111)()()(iiiiEkkEE同樣地，容易得出 0000)()()()(iiiiEwEwEE237/21/2021第22頁/共31頁3 3、有有效效性性（最最小小方方差差性性） ，即在所有線性無偏估計(jì)量中，最小二乘估計(jì)量0、1具有最小方差。 (1)先求0與1的方差

14、 )var()var()var()var(21021iiiiiiikXkYk22222iiixxx221020)/1 ()var()var()var(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn247/21/2021第23頁/共31頁（2）證明最小方差性假設(shè)*1是其他估計(jì)方法得到的關(guān)于1的線性無偏估計(jì)量： iiYc*1其中，ci=ki+di，di為不全為零的常數(shù)則容易證明)var()var(1*1同理，可證明0的最小二乘估計(jì)量0具有最的小方差 普通最小二乘估計(jì)量普通最小二乘估計(jì)量（ordinary

15、 least Squares Estimators）稱為最佳線性無偏估計(jì)量最佳線性無偏估計(jì)量（best linear unbiased estimator, BLUE） 257/21/2021第24頁/共31頁 由于最小二乘估計(jì)量擁有一個(gè)由于最小二乘估計(jì)量擁有一個(gè)“好好”的估計(jì)量所應(yīng)的估計(jì)量所應(yīng)具備的小樣本特性，它自然也擁有大樣本特性具備的小樣本特性，它自然也擁有大樣本特性。 )/lim()/lim()lim()lim()lim()lim(212111nxPnxPxxPPkPPiiiiiiii1110),(QQXCov267/21/2021第25頁/共31頁 五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)項(xiàng)方差的估計(jì) 1、參數(shù)估計(jì)量、參數(shù)估計(jì)量0和和1的概率分布的概率分布 ),(2211ixN),(22200iixnXN277/21/2021第26頁/共31頁22/1ix2220iixnX287/21/2021第27頁/共31頁2、隨機(jī)誤差項(xiàng)、隨機(jī)誤差項(xiàng) 的方差的方差 2的估計(jì)的估計(jì) 由于隨機(jī)項(xiàng) i不可觀測，只能從 i的估計(jì)殘差ei i出發(fā)，對總體方差進(jìn)行估計(jì)。 2又稱為總體方差總體方差。 可以證明可以證明，2的最小二乘估計(jì)量最小二乘估計(jì)量為222nei它是關(guān)于