一元線性回歸模型的參數(shù)估計(jì)

1、第二節(jié)第二節(jié) 一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的參數(shù)估計(jì) 一元線性回歸模型的概念一元線性回歸模型的概念 一元線性回歸模型的基本假定一元線性回歸模型的基本假定 參數(shù)的普通最小二乘估計(jì)參數(shù)的普通最小二乘估計(jì) 截距為零的一元線性回歸模型的估計(jì)截距為零的一元線性回歸模型的估計(jì) 最小二乘估計(jì)量的性質(zhì)最小二乘估計(jì)量的性質(zhì) 參數(shù)估計(jì)量的概率分布參數(shù)估計(jì)量的概率分布 一、一、一元線性回歸模型的概念一元線性回歸模型的概念 一元線性回歸模型一元線性回歸模型是最簡單的計(jì)量經(jīng)濟(jì)學(xué)模型，在是最簡單的計(jì)量經(jīng)濟(jì)學(xué)模型，在模型中只有一個(gè)解釋變量，其一般形式是：模型中只有一個(gè)解釋變量，其一般形式是： 01 1,2,i

2、iiYXuin01iiiYXu其中 為被解釋變量，為解釋變量，與 為待估參數(shù)， 為隨機(jī)誤差項(xiàng)。 二二、一元線性回歸一元線性回歸模型的基本假定模型的基本假定1.為什么要作基本假定？為什么要作基本假定？（1）只有具備一定的假定條件，所作出的估計(jì)才只有具備一定的假定條件，所作出的估計(jì)才具有較好的統(tǒng)計(jì)性質(zhì)。具有較好的統(tǒng)計(jì)性質(zhì)。對模型中的“線性”有兩種解釋：1YX（ ）就變量而言是線性的， 是 的線性函數(shù)。2Y（ ）就參數(shù)而言是線性的， 是 的線性函數(shù)。（2）模型中有隨機(jī)擾動(dòng)，估計(jì)的參數(shù)是隨機(jī)變量，）模型中有隨機(jī)擾動(dòng)，估計(jì)的參數(shù)是隨機(jī)變量，只有對隨機(jī)擾動(dòng)的分布作出假定，才能確定所估計(jì)只有對隨機(jī)擾動(dòng)的分布

3、作出假定，才能確定所估計(jì)參數(shù)的分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估參數(shù)的分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估計(jì)。計(jì)。2. 基本假定的內(nèi)容基本假定的內(nèi)容1iX假定 ：解釋變量是確定性變量，不是隨機(jī)變量(02)iE u假定 ：，即隨機(jī)誤差項(xiàng)的均值或期望為零22(3)iVar u （為假定 ：，即各個(gè)隨機(jī)誤差項(xiàng)常數(shù)）的方差相同()4,)0(ijCov u uij假定 ：，即不同的隨機(jī)誤差項(xiàng)之間是互不相關(guān)的(05,)iiCov X u假定 ：，即解釋變量和隨機(jī)誤差項(xiàng)之間也是互不相關(guān)的2()60,iuN假定 ：，即每一個(gè)隨機(jī)誤差項(xiàng)都服從正態(tài)分布 以上假定稱為線性回歸模型的以上假定稱為線性回歸模型的經(jīng)

4、典假定經(jīng)典假定，滿足該假，滿足該假定的線性回歸模型，稱為定的線性回歸模型，稱為經(jīng)典線性回歸模型經(jīng)典線性回歸模型。 3.Y 3.Y的分布性質(zhì)：的分布性質(zhì)：01iiiiiiiYXuuYuY由于， 的分布性質(zhì)決定了 的分布性質(zhì)，對于 的一些假定可以等價(jià)地表示為對 的一些假定：012( )iiE YX假定 ：零均值假定。23( )iVar Y假定 ：等方差假定。4( ,)0()ijCov Y Yij假定 ：無自相關(guān)假定。2015(,)iiYNX假定 ：正態(tài)性假定。 三、參數(shù)的普通最小二乘估計(jì)（三、參數(shù)的普通最小二乘估計(jì)（OLS）1.OLS的基本思想的基本思想 iiiYYe最好的直線應(yīng)使 與 的差，即殘

5、差 越小越好 2iiee因 可正可負(fù)，所以取最小2201min()min()iiieYX即2201 ()iiiQeYX記2.最小二乘估計(jì)量的推導(dǎo)最小二乘估計(jì)量的推導(dǎo)010Q根據(jù)微積分中多元函數(shù)求極值的方法，求 關(guān)于和 的一階偏導(dǎo)并令其等于 得：0100112()02()0iiiiiQYXQYX X 整理得：整理得：0101()0()0iiiiiYXYX X即：即：01201iiiiiiYnXX YXX以方程組稱為以方程組稱為正規(guī)方程組正規(guī)方程組。求解正規(guī)方程組得未知參數(shù)的求解正規(guī)方程組得未知參數(shù)的OLS估計(jì)式：估計(jì)式： _1_222()()()()iiiiiiiiiXX YYnX YXYnXX

6、XX01YX3.3.用離差表示的用離差表示的OLSOLS估計(jì)式估計(jì)式為表達(dá)得更簡潔，可以用離差形式表示為表達(dá)得更簡潔，可以用離差形式表示OLS估計(jì)式：估計(jì)式：_1_22()()()iiiiiiXX YYx yxXX_01YXiiiixXXyYY其中，由于參數(shù)的估計(jì)結(jié)果是通過普通最小二乘法得到的，由于參數(shù)的估計(jì)結(jié)果是通過普通最小二乘法得到的，故稱為故稱為普通普通最小二乘估計(jì)量最小二乘估計(jì)量（ordinary least squares estimators）。 注意：注意：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對均值的離差。均值的離差。 1(,)X Y（ ）樣本回

7、歸直線通過點(diǎn)4.4.幾個(gè)常用的結(jié)果幾個(gè)常用的結(jié)果2iiYY（ ）估計(jì)值 的均值等于實(shí)際觀測值 的均值 iYYYn即3ie（ ）剩余項(xiàng) 的均值為零 0ieen即4iiXe（ ）解釋變量與剩余項(xiàng) 不相關(guān) 0i iX e 即5iiYe（ ）因變量的估計(jì)值 與剩余項(xiàng) 不相關(guān) 0i iYe 即0101iiYXYX將代入可得1iiyx寫成寫成離差形式離差形式為：為： iiyYY記5.5.樣本回歸函數(shù)的離差形式樣本回歸函數(shù)的離差形式11iiYYXX整理得整理得1()iiYYXX6.6.注意幾個(gè)概念的區(qū)別注意幾個(gè)概念的區(qū)別隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng)：被解釋變量的觀測值與它的條件期望：被解釋變量的觀測值與它的條件期望

8、的差的差殘差殘差：被解釋變量的觀測值與它的擬合值的差，是：被解釋變量的觀測值與它的擬合值的差，是隨機(jī)誤差項(xiàng)的估計(jì)值隨機(jī)誤差項(xiàng)的估計(jì)值離差離差：樣本觀測值減去樣本平均值：樣本觀測值減去樣本平均值截距為零的一元線性回歸模型的一般形式為四、截距為零的一元線性回歸模型的參數(shù)估計(jì)四、截距為零的一元線性回歸模型的參數(shù)估計(jì)iiiYXu這個(gè)模型只有一個(gè)參數(shù) 需要估計(jì)，其最小二乘估計(jì)量的表達(dá)式為2iiiX YX 例例2.2：在上述家庭可支配收入在上述家庭可支配收入- -消費(fèi)支出例中，消費(fèi)支出例中，對于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計(jì)的計(jì)算可通對于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計(jì)的計(jì)算可通過下面的表過下面的表2.3進(jìn)

9、行。進(jìn)行。 表2.3 參數(shù)估計(jì)計(jì)算表18005946400004752002110063812100007018003140011221960000157080041700115528900001963500520001408400000028160006230015955290000366850072600196967600005119400829002078841000060262009320025851024000082720001035002530122500008855000求和21500156745365000039468400iXiY2iXiiX Y122210 39468400

10、21500 1567410 5365000021500()iiiiiinX YXYnXX0.7770115670.7772150103.172YX 因此，由該樣本估計(jì)的回歸方程為：因此，由該樣本估計(jì)的回歸方程為： iiXY777. 0172.103 五、最小二乘估計(jì)量的性質(zhì)五、最小二乘估計(jì)量的性質(zhì)1.參數(shù)估計(jì)量的評價(jià)標(biāo)準(zhǔn)參數(shù)估計(jì)量的評價(jià)標(biāo)準(zhǔn)1( )E（ ）。設(shè) 是參數(shù) 的估計(jì)量，如果無，則稱 是 的偏性無偏估計(jì)。*()E( )f*()f估計(jì)值估計(jì)值偏倚偏倚 概概 率率 密密 度度2( )()( )DDD（ ）。設(shè) ，均為參數(shù) 的無偏估計(jì)量，若，則稱 比有效。如果在 的所有無偏估計(jì)量中，最小，則

11、稱 為有效有效性估計(jì)量。 概 率 密 度 *()f估計(jì)值( )f一致性是估計(jì)量的一個(gè)大樣本性質(zhì)。一致性是估計(jì)量的一個(gè)大樣本性質(zhì)。3（ ）。如果隨著樣本容量的增加，估計(jì)量越一致來越接近于真值，則稱 是性的一致估計(jì)。lim1nP即 其中 是一個(gè)任意小的正數(shù)。2. OLS估計(jì)量的統(tǒng)計(jì)性質(zhì)估計(jì)量的統(tǒng)計(jì)性質(zhì) 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸模型的假定下，最小二乘在給定經(jīng)典線性回歸模型的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。估計(jì)量是具有最小方差的線性無偏估計(jì)量。011iY.，即估計(jì)量、 是 線線性性性組合。12222()iii

12、iiiiiiiix yx YYxYYxxxxx證：20iiiiixkxXXx令，因（），故有12iiiiixYkYx0111()iiiiiiiYXYkY XXk YwYnn01012.，即估計(jì)量、 的均值（期望）等于總體回歸參數(shù)真值性與無偏101()iiiiikYkXu證：22()0 iiiiixXXkxx222()11iiiiiiiiiix Xx Xx xXk Xxxx 01iiiiikk Xk u1111()()( )iiiiEEkuk E u11iik u故故001()iiiiiwYwXu01iiiiiww Xwu1()1iiwXkn1()0iiiiiiiXw XXk XXk XXXnn

13、故故00iiwu0000()()( )iiiiEEwuwE u013.，即在所有的線性無偏估計(jì)量有效性（最小中，最小二乘估計(jì)量、 具有最方差性）小方差。011（ ）先求與 的方差11()()()iiiiVarVark uVark u222222( )iiiiixk Var uxx22222222221iiiiixnXXXnxnxnx200()()()( )iiiiiiVarVarwuVarwuw Var u22222211(1)2iiinXkXkX knn222212iiixXkXnnx*1假設(shè)是其他估計(jì)方法得到的關(guān)于的線性無偏估計(jì)量：*1iicYic其中 為非零常數(shù).則容易證明*11()()

14、VarVar00同理，可證明的最小二乘估計(jì)量具有最小的方差.（2）證明最小方差性）證明最小方差性 普通最小二乘估計(jì)量普通最小二乘估計(jì)量（Ordinary Least Squares Estimators）稱為）稱為最佳線性無偏估計(jì)量最佳線性無偏估計(jì)量（Best Linear Unbiased Estimator, BLUE） 六六、參數(shù)估計(jì)量的概率分布及隨機(jī)誤差項(xiàng)方差的、參數(shù)估計(jì)量的概率分布及隨機(jī)誤差項(xiàng)方差的估計(jì)估計(jì) 011.參數(shù)估計(jì)量和 的概率分布0101iiYY普通最小二乘估計(jì)量、分別是 的線性組合，因此，和 的概率分布取決于 的分布。01iiuY在 是正態(tài)分布的假設(shè)下， 是正態(tài)分布，則、也服從正態(tài)分布，因此2112,iNx22002,iiXNnx01和 的標(biāo)準(zhǔn)差:122ix0222iiXnx1()f111122.u隨機(jī)誤差項(xiàng) 的方差的估計(jì)0122u在估計(jì)的參數(shù)和 的方