一元線性回歸的最小二乘估計(jì)

1、一元線性回歸的最小二乘估計(jì)第1頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六 * * * * * et * * * * * * * * * * * * YXXt 圖 2 YtYt第2頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六 擬合的直線 稱為擬合的回歸線. 對于任何數(shù)據(jù)點(diǎn) (Xt, Yt), 此直線將Yt 的總值 分成兩部分。 第一部分是Yt的擬合值或預(yù)測值 ： , t=1,2,n 第二部分，et 代表觀測點(diǎn)對于回歸線的誤差，稱為擬合或預(yù)測的殘差 （residuals）： t=1,2,n 即 t=1,2,n殘差第3頁，共21頁，2022年，5月20日，23點(diǎn)26分，

2、星期六 我們的目標(biāo)是使擬合出來的直線在某種意義上是最佳的，直觀地看，也就是要求估計(jì)直線盡可能地靠近各觀測點(diǎn)，這意味著應(yīng)使各殘差盡可能地小。要做到這一點(diǎn)，就必須用某種方法將每個點(diǎn)相應(yīng)的殘差加在一起，使其達(dá)到最小。理想的測度是殘差平方和，即 如何決定估計(jì)值 和 ? 殘差平方和第4頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六 最小二乘法就是選擇一條直線，使其殘差平方和達(dá)到最小值的方法。即選擇 和 ，使得最小二乘法達(dá)到最小值。第5頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六 運(yùn)用微積分知識，使上式達(dá)到最小值的必要條件為： 即第6頁，共21頁，2022年，5月20日，23點(diǎn)2

3、6分，星期六整理，得：此二式稱為正規(guī)方程。解此二方程，得：.其中：離差樣本均值估計(jì)量第7頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六（5）式和（6）式給出了OLS法計(jì)算 和 的公式， 和 稱為線性回歸模型 Yt = + Xt + ut 的參數(shù) 和 的普通最小二乘估計(jì)量 (OLS estimators）。 這兩個公式可用于任意一組觀測值數(shù)據(jù)，以求出截距和斜率的OLS估計(jì)值（estimates)，估計(jì)值是從一組具體觀測值用公式計(jì)算出的數(shù)值。 一般說來，好的估計(jì)量所產(chǎn)生的估計(jì)值將相當(dāng)接近參數(shù)的真值，即好的估計(jì)值?？梢宰C明，對于CLR模型，普通最小二乘估計(jì)量正是這樣一個好估計(jì)量。第8頁，

4、共21頁，2022年，5月20日，23點(diǎn)26分，星期六3 例子 例1 對于第一段中的消費(fèi)函數(shù)，若根據(jù)數(shù)據(jù)得到： n = 10 , =23, =20 則有因而第9頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六例2 設(shè)Y和X的5期觀測值如下表所示，試估計(jì)方程 Yt = + Xt + ut 序號 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我們采用列表法計(jì)算。計(jì)算過程如下：第10頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六序號YtXtyt= Yt -xt=Xt-xt ytxt211410-8-2016040021820-4

5、-1040100323301000425403103010053050820160400n=5110150003901000表31第11頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六Eviews創(chuàng)建工作文件，輸入數(shù)據(jù)并進(jìn)行回歸：Create u 1 5data x yls y c x第12頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六第13頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六第14頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六第15頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六第16頁，共21頁，2022年，5月20日，23

6、點(diǎn)26分，星期六第17頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六第18頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六 對于滿足統(tǒng)計(jì)假設(shè)條件(1)-(4)的線性回歸模型 Yt = + Xt + ut , ，普通最小二乘估計(jì)量 ( OLS估計(jì)量) 是最佳線性無偏估計(jì)量（BLUE）?；?對于古典線性回歸模型（CLR模型）Yt=+Xt ，普通最小二乘估計(jì)量（OLS估計(jì)量）是最佳線性無偏估計(jì)量（BLUE）。3. 高斯-馬爾柯夫定理（Gauss-Markov Theorem）第19頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六我們已在前面證明了無偏性，此外，由于： 由上段結(jié)果， =其中 這表明， 是諸樣本觀測值Yt（t=1,2,n）的線性函數(shù),故 是線性估計(jì)量。 剩下的就是最佳性了，即 的方差小于等于的其他任何線性無偏估計(jì)量的方差，我們可以證明這一點(diǎn)，但由于時間關(guān)系，從略。有興趣的同學(xué)請參見教科書（P46-47）第20頁，共21頁，2022年，5月20日，23點(diǎn)26分，星期六我們在前面列出的假設(shè)條件（5）表明， ut N( 0, 2 ) , t=