一元線性回歸模型的參數(shù)估計(jì)

1、第二節(jié)第二節(jié) 一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的參數(shù)估計(jì) 一元線性回歸模型的概念一元線性回歸模型的概念 一元線性回歸模型的基本假定一元線性回歸模型的基本假定 參數(shù)的普通最小二乘估計(jì)參數(shù)的普通最小二乘估計(jì) 截距為零的一元線性回歸模型的估計(jì)截距為零的一元線性回歸模型的估計(jì) 最小二乘估計(jì)量的性質(zhì)最小二乘估計(jì)量的性質(zhì) 參數(shù)估計(jì)量的概率分布參數(shù)估計(jì)量的概率分布 一、一元線性回歸模型的概念一、一元線性回歸模型的概念 一元線性回歸模型一元線性回歸模型是最簡(jiǎn)單的計(jì)量經(jīng)濟(jì)學(xué)模型，在是最簡(jiǎn)單的計(jì)量經(jīng)濟(jì)學(xué)模型，在模型中只有一個(gè)解釋變量，其一般形式是：模型中只有一個(gè)解釋變量，其一般形式是： 01 1,2,i

2、iiYXuin01iiiYXu其中 為被解釋變量，為解釋變量，與 為待估參數(shù)， 為隨機(jī)誤差項(xiàng)。 二、一元線性回歸模型的基本假定二、一元線性回歸模型的基本假定1.為什么要作基本假定？為什么要作基本假定？（1）只有具備一定的假定條件，所作出的估計(jì)才只有具備一定的假定條件，所作出的估計(jì)才具有較好的統(tǒng)計(jì)性質(zhì)。具有較好的統(tǒng)計(jì)性質(zhì)。對(duì)模型中的“線性”有兩種解釋：1YX（ ）就變量而言是線性的， 是 的線性函數(shù)。2Y（ ）就參數(shù)而言是線性的， 是 的線性函數(shù)。（2）模型中有隨機(jī)擾動(dòng)，估計(jì)的參數(shù)是隨機(jī)變量，）模型中有隨機(jī)擾動(dòng)，估計(jì)的參數(shù)是隨機(jī)變量，只有對(duì)隨機(jī)擾動(dòng)的分布作出假定，才能確定所估計(jì)只有對(duì)隨機(jī)擾動(dòng)的分

3、布作出假定，才能確定所估計(jì)參數(shù)的分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估參數(shù)的分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估計(jì)。計(jì)。2. 基本假定的內(nèi)容基本假定的內(nèi)容1iX假定 ：解釋變量是確定性變量，不是隨機(jī)變量(02)iE u假定 ：，即隨機(jī)誤差項(xiàng)的均值或期望為零22(3)iVar u （為假定 ：，即各個(gè)隨機(jī)誤差項(xiàng)常數(shù)）的方差相同()4,)0(ijCov u uij假定 ：，即不同的隨機(jī)誤差項(xiàng)之間是互不相關(guān)的(05,)iiCov X u假定 ：，即解釋變量和隨機(jī)誤差項(xiàng)之間也是互不相關(guān)的2()60,iuN假定 ：，即每一個(gè)隨機(jī)誤差項(xiàng)都服從正態(tài)分布 以上假定稱為線性回歸模型的以上假定稱為線性回歸模型的

4、經(jīng)典假定經(jīng)典假定，滿足該假，滿足該假定的線性回歸模型，稱為定的線性回歸模型，稱為經(jīng)典線性回歸模型經(jīng)典線性回歸模型。 3.Y 3.Y的分布性質(zhì)：的分布性質(zhì)：01iiiiiiiYXuuYuY由于， 的分布性質(zhì)決定了 的分布性質(zhì)，對(duì)于 的一些假定可以等價(jià)地表示為對(duì) 的一些假定：012( )iiE YX假定 ：零均值假定。23( )iVar Y假定 ：等方差假定。4( ,)0()ijCov Y Yij假定 ：無(wú)自相關(guān)假定。2015(,)iiYNX假定 ：正態(tài)性假定。 三、參數(shù)的普通最小二乘估計(jì)（三、參數(shù)的普通最小二乘估計(jì)（OLS）1.OLS的基本思想的基本思想 iiiYYe最好的直線應(yīng)使 與 的差，即

5、殘差 越小越好 2iiee因 可正可負(fù)，所以取最小2201min()min()iiieYX即2201 ()iiiQeYX記2.最小二乘估計(jì)量的推導(dǎo)最小二乘估計(jì)量的推導(dǎo)010Q根據(jù)微積分中多元函數(shù)求極值的方法，求 關(guān)于和 的一階偏導(dǎo)并令其等于 得：0100112()02()0iiiiiQYXQYX X 整理得：整理得：0101()0()0iiiiiYXYX X即：即：01201iiiiiiYnXX YXX以方程組稱為以方程組稱為正規(guī)方程組正規(guī)方程組。求解正規(guī)方程組得未知參數(shù)的求解正規(guī)方程組得未知參數(shù)的OLS估計(jì)式：估計(jì)式： _1_222()()()()iiiiiiiiiXXYYnX YXYnXX

6、XX01YX3.3.用離差表示的用離差表示的OLSOLS估計(jì)式估計(jì)式為表達(dá)得更簡(jiǎn)潔，可以用離差形式表示為表達(dá)得更簡(jiǎn)潔，可以用離差形式表示OLS估計(jì)式：估計(jì)式：_1_22()()()iiiiiiXX YYx yxXX_01YXiiiixXXyYY其中，由于參數(shù)的估計(jì)結(jié)果是通過(guò)普通最小二乘法得到的，由于參數(shù)的估計(jì)結(jié)果是通過(guò)普通最小二乘法得到的，故稱為故稱為普通普通最小二乘估計(jì)量最小二乘估計(jì)量（ordinary least squares estimators）。 注意：注意：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對(duì)在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對(duì)均值的離差。均值的離差。 1(,)X Y（ ）樣本回

7、歸直線通過(guò)點(diǎn)4.4.幾個(gè)常用的結(jié)果幾個(gè)常用的結(jié)果2iiYY（ ）估計(jì)值 的均值等于實(shí)際觀測(cè)值 的均值 iYYYn即3ie（ ）剩余項(xiàng) 的均值為零 0ieen即4iiXe（ ）解釋變量與剩余項(xiàng) 不相關(guān) 0i iX e 即5iiYe（ ）因變量的估計(jì)值 與剩余項(xiàng) 不相關(guān) 0i iYe 即0101iiYXYX將代入可得1iiyx寫成寫成離差形式離差形式為：為： iiyYY記5.5.樣本回歸函數(shù)的離差形式樣本回歸函數(shù)的離差形式11iiYYXX整理得整理得1()iiYYXX6.6.注意幾個(gè)概念的區(qū)別注意幾個(gè)概念的區(qū)別隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng)：被解釋變量的觀測(cè)值與它的條件期望：被解釋變量的觀測(cè)值與它的條件期望

8、的差的差殘差殘差：被解釋變量的觀測(cè)值與它的擬合值的差，是：被解釋變量的觀測(cè)值與它的擬合值的差，是隨機(jī)誤差項(xiàng)的估計(jì)值隨機(jī)誤差項(xiàng)的估計(jì)值離差離差：樣本觀測(cè)值減去樣本平均值：樣本觀測(cè)值減去樣本平均值截距為零的一元線性回歸模型的一般形式為四、截距為零的一元線性回歸模型的參數(shù)估計(jì)四、截距為零的一元線性回歸模型的參數(shù)估計(jì)iiiYXu這個(gè)模型只有一個(gè)參數(shù) 需要估計(jì)，其最小二乘估計(jì)量的表達(dá)式為2iiiX YX 例例2.2：在上述家庭可支配收入在上述家庭可支配收入- -消費(fèi)支出例中，消費(fèi)支出例中，對(duì)于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計(jì)的計(jì)算可通對(duì)于所抽出的一組樣本數(shù)據(jù)，參數(shù)估計(jì)的計(jì)算可通過(guò)下面的表過(guò)下面的表2.3進(jìn)

9、行。進(jìn)行。 表2.3 參數(shù)估計(jì)計(jì)算表18005946400004752002110063812100007018003140011221960000157080041700115528900001963500520001408400000028160006230015955290000366850072600196967600005119400829002078841000060262009320025851024000082720001035002530122500008855000求和21500156745365000039468400iXiY2iXiiX Y122210 39468400

10、21500 1567410 5365000021500()iiiiiinX YXYnXX 0.7770115670.777 2150103.172YX 因此，由該樣本估計(jì)的回歸方程為：因此，由該樣本估計(jì)的回歸方程為： iiXY777. 0172.103 五、最小二乘估計(jì)量的性質(zhì)五、最小二乘估計(jì)量的性質(zhì)1.參數(shù)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)參數(shù)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)1( )E（ ）。設(shè) 是參數(shù) 的估計(jì)量，如果無(wú)，則稱 是 的偏性無(wú)偏估計(jì)。*()E( )f*()f估計(jì)值估計(jì)值偏倚偏倚 概概 率率 密密 度度2( )()( )DDD（ ）。設(shè) ，均為參數(shù) 的無(wú)偏估計(jì)量，若，則稱 比有效。如果在 的所有無(wú)偏估計(jì)量中，最小

11、，則稱 為有效有效性估計(jì)量。 概 率 密 度 *()f估計(jì)值( )f一致性是估計(jì)量的一個(gè)大樣本性質(zhì)。一致性是估計(jì)量的一個(gè)大樣本性質(zhì)。3（ ）。如果隨著樣本容量的增加，估計(jì)量越一致來(lái)越接近于真值，則稱 是性的一致估計(jì)。lim1nP即 其中 是一個(gè)任意小的正數(shù)。2. OLS估計(jì)量的統(tǒng)計(jì)性質(zhì)估計(jì)量的統(tǒng)計(jì)性質(zhì) 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸模型的假定下，最小二乘在給定經(jīng)典線性回歸模型的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。011iY.，即估計(jì)量、是 線線性性性組合。12222()ii

12、iiiiiiiiix yx YYxYYxxxxx證：20iiiiixkxXXx令，因（），故有12iiiiixYkYx0111()iiiiiiiYXYkY XXk YwYnn01012.，即估計(jì)量 、 的均值（期望）等于總體回歸參數(shù)真值性與無(wú)偏101()iiiiikYkXu證：22()0 iiiiixXXkxx222()11iiiiiiiiiix Xx Xx xXk Xxxx 01iiiiikk Xk u1111()()( )iiiiEEk uk E u11iik u故故001()iiiiiwYwXu01iiiiiww Xwu1()1iiwXkn1()0iiiiiiiXw XXk XXk XX

13、Xnn故故00iiwu0000()()( )iiiiEEwuwE u013.，即在所有的線性無(wú)偏估計(jì)量有效性（最小中，最小二乘估計(jì)量、具有最方差性）小方差。011（ ）先求與 的方差11()()()iiiiVarVarkuVarku222222( )iiiiixk Var uxx22222222221iiiiixnXXXnxnxnx200()()()( )iiiiiiVarVarwuVarwuw Var u22222211(1)2iiinXkXkX knn222212iiixXkXnnx*1假設(shè)是其他估計(jì)方法得到的關(guān)于的線性無(wú)偏估計(jì)量：*1iicYic其中 為非零常數(shù).則容易證明*11()()

14、VarVar00同理，可證明的最小二乘估計(jì)量具有最小的方差.（2）證明最小方差性）證明最小方差性 普通最小二乘估計(jì)量普通最小二乘估計(jì)量（Ordinary Least Squares Estimators）稱為）稱為最佳線性無(wú)偏估計(jì)量最佳線性無(wú)偏估計(jì)量（Best Linear Unbiased Estimator, BLUE） 六、參數(shù)估計(jì)量的概率分布及隨機(jī)誤差項(xiàng)方差的六、參數(shù)估計(jì)量的概率分布及隨機(jī)誤差項(xiàng)方差的估計(jì)估計(jì) 011.參數(shù)估計(jì)量和 的概率分布0101iiYY普通最小二乘估計(jì)量、 分別是 的線性組合，因此，和 的概率分布取決于 的分布。01iiuY在 是正態(tài)分布的假設(shè)下， 是正態(tài)分布，則、也服從正態(tài)分布，因此2112,iNx22002,iiXNnx01和 的標(biāo)準(zhǔn)差:122ix0222iiXnx1()f111122.u隨機(jī)誤差項(xiàng) 的方差的估計(jì)0122u在估計(jì)的參數(shù)和 的方