一元線性回歸模型的參數(shù)估計

1、第二節(jié)第二節(jié) 一元線性回歸模型的參數(shù)估計一元線性回歸模型的參數(shù)估計 一元線性回歸模型的概念一元線性回歸模型的概念 一元線性回歸模型的基本假定一元線性回歸模型的基本假定 參數(shù)的普通最小二乘估計參數(shù)的普通最小二乘估計 截距為零的一元線性回歸模型的估計截距為零的一元線性回歸模型的估計 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì) 參數(shù)估計量的概率分布參數(shù)估計量的概率分布 一、一、一元線性回歸模型的概念一元線性回歸模型的概念 一元線性回歸模型一元線性回歸模型是最簡單的計量經(jīng)濟學(xué)模型，在是最簡單的計量經(jīng)濟學(xué)模型，在模型中只有一個解釋變量，其一般形式是：模型中只有一個解釋變量，其一般形式是： 01 1,2,i

2、iiYXuin01iiiYXu其中 為被解釋變量，為解釋變量，與 為待估參數(shù)， 為隨機誤差項。 二二、一元線性回歸一元線性回歸模型的基本假定模型的基本假定1.為什么要作基本假定？為什么要作基本假定？（1）只有具備一定的假定條件，所作出的估計才只有具備一定的假定條件，所作出的估計才具有較好的統(tǒng)計性質(zhì)。具有較好的統(tǒng)計性質(zhì)。對模型中的“線性”有兩種解釋：1YX（ ）就變量而言是線性的， 是 的線性函數(shù)。2Y（ ）就參數(shù)而言是線性的， 是 的線性函數(shù)。（2）模型中有隨機擾動，估計的參數(shù)是隨機變量，）模型中有隨機擾動，估計的參數(shù)是隨機變量，只有對隨機擾動的分布作出假定，才能確定所估計只有對隨機擾動的分布

3、作出假定，才能確定所估計參數(shù)的分布性質(zhì)，也才可能進行假設(shè)檢驗和區(qū)間估參數(shù)的分布性質(zhì)，也才可能進行假設(shè)檢驗和區(qū)間估計。計。2. 基本假定的內(nèi)容基本假定的內(nèi)容1iX假定 ：解釋變量是確定性變量，不是隨機變量(02)iE u假定 ：，即隨機誤差項的均值或期望為零22(3)iVar u （為假定 ：，即各個隨機誤差項常數(shù)）的方差相同()4,)0(ijCov u uij假定 ：，即不同的隨機誤差項之間是互不相關(guān)的(05,)iiCov X u假定 ：，即解釋變量和隨機誤差項之間也是互不相關(guān)的2()60,iuN假定 ：，即每一個隨機誤差項都服從正態(tài)分布 以上假定稱為線性回歸模型的以上假定稱為線性回歸模型的經(jīng)

4、典假定經(jīng)典假定，滿足該假，滿足該假定的線性回歸模型，稱為定的線性回歸模型，稱為經(jīng)典線性回歸模型經(jīng)典線性回歸模型。 3.Y 3.Y的分布性質(zhì)：的分布性質(zhì)：01iiiiiiiYXuuYuY由于， 的分布性質(zhì)決定了 的分布性質(zhì)，對于 的一些假定可以等價地表示為對 的一些假定：012( )iiE YX假定 ：零均值假定。23( )iVar Y假定 ：等方差假定。4( ,)0()ijCov Y Yij假定 ：無自相關(guān)假定。2015(,)iiYNX假定 ：正態(tài)性假定。 三、參數(shù)的普通最小二乘估計（三、參數(shù)的普通最小二乘估計（OLS）1.OLS的基本思想的基本思想 iiiYYe最好的直線應(yīng)使 與 的差，即殘

5、差 越小越好 2iiee因 可正可負，所以取最小2201min()min()iiieYX即2201 ()iiiQeYX記2.最小二乘估計量的推導(dǎo)最小二乘估計量的推導(dǎo)010Q根據(jù)微積分中多元函數(shù)求極值的方法，求 關(guān)于和 的一階偏導(dǎo)并令其等于 得：0100112()02()0iiiiiQYXQYX X 整理得：整理得：0101()0()0iiiiiYXYX X即：即：01201iiiiiiYnXX YXX以方程組稱為以方程組稱為正規(guī)方程組正規(guī)方程組。求解正規(guī)方程組得未知參數(shù)的求解正規(guī)方程組得未知參數(shù)的OLS估計式：估計式： _1_222()()()()iiiiiiiiiXX YYnX YXYnXX

6、XX01YX3.3.用離差表示的用離差表示的OLSOLS估計式估計式為表達得更簡潔，可以用離差形式表示為表達得更簡潔，可以用離差形式表示OLS估計式：估計式：_1_22()()()iiiiiiXX YYx yxXX_01YXiiiixXXyYY其中，由于參數(shù)的估計結(jié)果是通過普通最小二乘法得到的，由于參數(shù)的估計結(jié)果是通過普通最小二乘法得到的，故稱為故稱為普通普通最小二乘估計量最小二乘估計量（ordinary least squares estimators）。 注意：注意：在計量經(jīng)濟學(xué)中，往往以小寫字母表示對在計量經(jīng)濟學(xué)中，往往以小寫字母表示對均值的離差。均值的離差。 1(,)X Y（ ）樣本回

7、歸直線通過點4.4.幾個常用的結(jié)果幾個常用的結(jié)果2iiYY（ ）估計值 的均值等于實際觀測值 的均值 iYYYn即3ie（ ）剩余項 的均值為零 0ieen即4iiXe（ ）解釋變量與剩余項 不相關(guān) 0i iX e 即5iiYe（ ）因變量的估計值 與剩余項 不相關(guān) 0i iYe 即0101iiYXYX將代入可得1iiyx寫成寫成離差形式離差形式為：為： iiyYY記5.5.樣本回歸函數(shù)的離差形式樣本回歸函數(shù)的離差形式11iiYYXX整理得整理得1()iiYYXX6.6.注意幾個概念的區(qū)別注意幾個概念的區(qū)別隨機誤差項隨機誤差項：被解釋變量的觀測值與它的條件期望：被解釋變量的觀測值與它的條件期望

8、的差的差殘差殘差：被解釋變量的觀測值與它的擬合值的差，是：被解釋變量的觀測值與它的擬合值的差，是隨機誤差項的估計值隨機誤差項的估計值離差離差：樣本觀測值減去樣本平均值：樣本觀測值減去樣本平均值截距為零的一元線性回歸模型的一般形式為四、截距為零的一元線性回歸模型的參數(shù)估計四、截距為零的一元線性回歸模型的參數(shù)估計iiiYXu這個模型只有一個參數(shù) 需要估計，其最小二乘估計量的表達式為2iiiX YX 例例2.2：在上述家庭可支配收入在上述家庭可支配收入- -消費支出例中，消費支出例中，對于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計的計算可通對于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計的計算可通過下面的表過下面的表2.3進

9、行。進行。 表2.3 參數(shù)估計計算表18005946400004752002110063812100007018003140011221960000157080041700115528900001963500520001408400000028160006230015955290000366850072600196967600005119400829002078841000060262009320025851024000082720001035002530122500008855000求和21500156745365000039468400iXiY2iXiiX Y122210 39468400

10、21500 1567410 5365000021500()iiiiiinX YXYnXX0.7770115670.7772150103.172YX 因此，由該樣本估計的回歸方程為：因此，由該樣本估計的回歸方程為： iiXY777. 0172.103 五、最小二乘估計量的性質(zhì)五、最小二乘估計量的性質(zhì)1.參數(shù)估計量的評價標準參數(shù)估計量的評價標準1( )E（ ）。設(shè) 是參數(shù) 的估計量，如果無，則稱 是 的偏性無偏估計。*()E( )f*()f估計值估計值偏倚偏倚 概概 率率 密密 度度2( )()( )DDD（ ）。設(shè) ，均為參數(shù) 的無偏估計量，若，則稱 比有效。如果在 的所有無偏估計量中，最小，則

11、稱 為有效有效性估計量。 概 率 密 度 *()f估計值( )f一致性是估計量的一個大樣本性質(zhì)。一致性是估計量的一個大樣本性質(zhì)。3（ ）。如果隨著樣本容量的增加，估計量越一致來越接近于真值，則稱 是性的一致估計。lim1nP即 其中 是一個任意小的正數(shù)。2. OLS估計量的統(tǒng)計性質(zhì)估計量的統(tǒng)計性質(zhì) 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸模型的假定下，最小二乘在給定經(jīng)典線性回歸模型的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。估計量是具有最小方差的線性無偏估計量。011iY.，即估計量、 是 線線性性性組合。12222()iii

12、iiiiiiiix yx YYxYYxxxxx證：20iiiiixkxXXx令，因（），故有12iiiiixYkYx0111()iiiiiiiYXYkY XXk YwYnn01012.，即估計量、 的均值（期望）等于總體回歸參數(shù)真值性與無偏101()iiiiikYkXu證：22()0 iiiiixXXkxx222()11iiiiiiiiiix Xx Xx xXk Xxxx 01iiiiikk Xk u1111()()( )iiiiEEkuk E u11iik u故故001()iiiiiwYwXu01iiiiiww Xwu1()1iiwXkn1()0iiiiiiiXw XXk XXk XXXnn

13、故故00iiwu0000()()( )iiiiEEwuwE u013.，即在所有的線性無偏估計量有效性（最小中，最小二乘估計量、 具有最方差性）小方差。011（ ）先求與 的方差11()()()iiiiVarVark uVark u222222( )iiiiixk Var uxx22222222221iiiiixnXXXnxnxnx200()()()( )iiiiiiVarVarwuVarwuw Var u22222211(1)2iiinXkXkX knn222212iiixXkXnnx*1假設(shè)是其他估計方法得到的關(guān)于的線性無偏估計量：*1iicYic其中 為非零常數(shù).則容易證明*11()()

14、VarVar00同理，可證明的最小二乘估計量具有最小的方差.（2）證明最小方差性）證明最小方差性 普通最小二乘估計量普通最小二乘估計量（Ordinary Least Squares Estimators）稱為）稱為最佳線性無偏估計量最佳線性無偏估計量（Best Linear Unbiased Estimator, BLUE） 六六、參數(shù)估計量的概率分布及隨機誤差項方差的、參數(shù)估計量的概率分布及隨機誤差項方差的估計估計 011.參數(shù)估計量和 的概率分布0101iiYY普通最小二乘估計量、分別是 的線性組合，因此，和 的概率分布取決于 的分布。01iiuY在 是正態(tài)分布的假設(shè)下， 是正態(tài)分布，則、也服從正態(tài)分布，因此2112,iNx22002,iiXNnx01和 的標準差:122ix0222iiXnx1()f111122.u隨機誤差項 的方差的估計0122u在估計的參數(shù)和 的方