華中科技大學(xué)《計(jì)量經(jīng)濟(jì)學(xué)》第三章：雙變量回歸模型

1、 第三章第三章雙變量回歸模型：估計(jì)問題雙變量回歸模型：估計(jì)問題簡單的線性回歸模型對于給定的 xi的水平, 預(yù)期的食物支出將是: E(Yi|X i) = 1 +2 X iYi = 每周家庭支出Yi = 1 + 2 X i + uiX i = 每周家庭收入簡單線性回歸模型的性質(zhì)6 對每個(gè)觀測值對每個(gè)觀測值xi不固定不固定i12iiii12i2iiijij22ii12i1 Y = + X + u2 E uE(Y) = +X 3 var uvar(Y) 4 cov(u ,u ) = cov(Y,Y ) = 05 u N(0,) Y N(+x ,) 參數(shù) 1和 2是未知常數(shù). 當(dāng)當(dāng) b1 和和 b2 用

2、來表示公式而不用來表示公式而不是設(shè)定值，它們就是是設(shè)定值，它們就是 1 和和 2的的估計(jì)，它們是隨機(jī)變量因?yàn)閷γ抗烙?jì)，它們是隨機(jī)變量因?yàn)閷γ恳粯颖舅鼈兌疾灰粯右粯颖舅鼈兌疾灰粯赢a(chǎn)生樣本估計(jì)量 b1 (或 1)和 b2(或 2) 的公式就是 1 和 2的估計(jì)。 如果最小二乘估計(jì)量 b1 和 b2是隨機(jī)變量, 那么它們的均值，方差，協(xié)方差以及概率分布是什么？ 比較其他方式估計(jì)量和最小二乘估計(jì)量的性質(zhì). 估計(jì)量是隨機(jī)變量 b1 和和b2的預(yù)期值的預(yù)期值 b1 = Y - b2X這里 Y = Yi / n 和 X = Xi / n 簡單線性回歸下的估計(jì)量的公式:b2 =nXiYi -XiYin Xi

3、-( Xi)22= xiyi xi2將 Yi = 1 + 2xi + u i替代到 b2 公式中并得:b2 = 2 +nxi ui - xi uinxi -(xi)22b2 的均值是:E(b2) = 2 +nxiE(ui)- xi E(ui)nxi -(xi)22因?yàn)?E(ui) = 0, then E(b2) = 2 .=0既然b2 分布在 2周圍,我們認(rèn)為b2 2是的無偏估計(jì)量.E(b2) = 2 意味著b2 分布在 2周圍. 無偏估計(jì)量 先前的無偏結(jié)果假定使用了正確的設(shè)定形式 錯(cuò)誤的模型設(shè)定 如果模型是錯(cuò)誤形式或遺漏重要變量,則 E(ui)= 0, 那么 E(b2) = 2 如:Y =

4、1 + 2X2 + (3X3 +v)u = 3X3 +vE(ui) 0 截距的無偏估計(jì) 類似的, 截距的估計(jì)量 b1或常數(shù)項(xiàng)可以表示為 1 的無偏估計(jì)量，當(dāng)模型是正確設(shè)定時(shí).E(b1) = 1b2的表達(dá)式:b2 =nxiyi xi yinxi (xi)22分子分母用 n相乘:b2 =(xi x )yi y )xi x )2=xiyixi2 2Var(bi)b2的方差的方差 b2 是 Yi 值的一個(gè)函數(shù) 但var(b2) 并不直接涉及到 Yi.假定 Yi 和ui 都有方差 2,估計(jì)量 b2 的方差是:xi x 22var(b2) = xi 22Se(b2)= (8.50)2/92.55 = 0.

5、7809 = 0.8836Se(b2)= (8.50)2/92.55 = 0.7809 = 0.8836b1的方差的方差 給定 b1 = y b2x估計(jì)量 b1 的方差是:var(b1) = 2n x i x2x i2nxi2x i2 2Se(b1)= (8.50)2(2235/20(92.55) = 87.238 = 9.34b1 和和 b2的協(xié)方差的協(xié)方差如果x = 0,斜率變化而不影響方差.cov(b1,b2) = 2 xi2 x x t x2 x = 2 估計(jì)誤差項(xiàng)的方差估計(jì)誤差項(xiàng)的方差, 2ui = yi b1 b2 xi 是 2 的無偏估計(jì)量uii =1T2n 2 = 哪些因素決定

6、方差和協(xié)方差哪些因素決定方差和協(xié)方差 ?1. 2: Yt 值的不確定 b1, b2 以及它們關(guān)系的不確定.2. Xt 變異越大, b1, b2,等可信度越高.3.樣本容量, N, 越大, N, 方差和協(xié)方差越小.4. b1 的方差大， 當(dāng)平方的 Xt 值遠(yuǎn)異于零.5. 斜率, b2, 對截距, b1,沒有影響，當(dāng) 樣本均值為零時(shí). 如果樣本均值為正, b1 和b2 的協(xié)方差將為負(fù), 反之亦然.最小二乘殘差的性質(zhì)最小二乘殘差的性質(zhì)1. ui = 0 或 = ei = 02. uiXi = 0 或 = eiXi = 0 3. (Yi-Yi)(Yi-Y)=0 或= ei yi =0 4. 線性回歸的

7、直線必須通過 和 的樣本均值.XY平方和分解平方和分解(Yi - Y) = (Yi - Y)為度量變異: (Yi - Y)2 = (Yi - Yi) + (Yi - Y)2 (Yi - Y)2 = (Yi - Yi)2 + (Yi - Y)2TSS總平方和總平方和 ESS解釋平方和解釋平方和 - Yi) + (Yi uRSS殘差平方和殘差平方和(u2)R2 度量度量 “擬合優(yōu)度擬合優(yōu)度”定義 R2 = ESSTSS= 1 -RSSTSS= 1 - ui2 (Yi - Y)2R2 = (Yi - Y)2 (Yi - Y)21 R2 0可決系數(shù) R2的表達(dá)式R2 = (Yi - Y)2 (Yi -

8、 Y)2ESSTSS=yi2yi2=2xi )2yi2= xi2yi2= xi2yi2= Sx2 Sy2=xi2yi2xiyixi22xiyi)2xi2yi2=YX當(dāng) R2 = 1SRFSRF 通過所有點(diǎn)SRFYX當(dāng)R2 = 0哪個(gè)是SRF ?高斯馬爾可夫定理高斯馬爾可夫定理在經(jīng)典的線性回歸模型條件下, 最小二乘 (OLS) 估計(jì)量 b1 and b2 是1和 2 的最優(yōu)最優(yōu)線性無偏估計(jì)量線性無偏估計(jì)量 (BLUE). 這意味著 b1和 b2 在1 和2所有線性無偏估計(jì)量中擁有 最小方差.注: 高斯馬爾可夫定理不適用于非線性估計(jì)量 :估計(jì)量 bk e的期望值等于 k的實(shí)際值無偏的無偏的Prob

9、.(b2) 2的實(shí)際值無偏的E(b2)= 2E(b2) 2E(b2) 2過高估計(jì)E(b2)E(b2) 2過低估計(jì)E(b2)最小二乘估計(jì)量的概率分布最小二乘估計(jì)量的概率分布 b2 N 2 ,x i2 2b1 N 1 , nx i2 2 x i2 中心極限定理?xiàng)l件下的正態(tài)分布中心極限定理?xiàng)l件下的正態(tài)分布如果高斯馬爾可夫（ Gauss-Markov） 假設(shè)成立, 且樣本容量, N, 足夠大,則最小二乘估計(jì)量, b1和 b2,有漸近的正態(tài)分布 ，樣本容量, N越大估計(jì)越準(zhǔn)確有效性:bk 將是一個(gè)有效無偏估計(jì)量， 如果對定樣本容量, N, bk 的方差是最小的.一致性:bk 是 k 的一個(gè)一致估計(jì)量，如果 bk 的概率1. 它意味著， 當(dāng)樣本容量增大 bk 將更精確最小二乘預(yù)測子最小二乘預(yù)測子, Yi 應(yīng)用 OLS 的估計(jì)結(jié)果，給定一個(gè)解釋變量, Xi, 我們將可以預(yù)測應(yīng)變量, Yi,.最小二乘預(yù)測子是:Yi = b1 + b2 x i標(biāo)準(zhǔn)誤或標(biāo)準(zhǔn)偏離Se(bk) =