回歸模型的參數(shù)估計

1、1第二節(jié) 回歸模型的參數(shù)估計2一、最小二乘估計（OLS）選擇最佳擬合曲線的標(biāo)準(zhǔn) 從幾何意義上說，樣本回歸曲線應(yīng)盡可能靠近樣本數(shù)據(jù)點。 選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差（即總殘差）達到最小。 用最小二乘法描述就是：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達到最小。3OLS的基本思路n不同的估計方法可得到不同的樣本回歸參數(shù) 和 ，所估計的 也不同。 n理想的估計方法應(yīng)使 和 的差即殘差 越小越好。n因為 可正可負(fù)，所以可以取 最小， （選擇平方的原因：介紹）即： ie21iYieiYiY2iemin22122iiiiiXYYYeQ4估計過程 在離差平方和的表達式中，被解釋變量

2、的觀測值和解釋變量 都是已知的，因此可以將看作是未知參數(shù) 的函數(shù)。計算此函數(shù)對的一階偏導(dǎo)數(shù)，可得： iYiX0202212211iiiiiXXYQXYQ21,5n得到：此方程組為正規(guī)方程組，解此方程組得：其中，22121iiiiiiXXYXXnYXXXYiiiSSXnXYXnYXXY22221iiXnXYnY1,12,XXSYYXXSiXXiiXY6案例2.1&2.2n課本p24、p27nEViews軟件操作7二、最小二乘估計的性質(zhì)參數(shù)估計式的評價標(biāo)準(zhǔn)無偏性前提：重復(fù)抽樣中估計方法固定、樣本數(shù)不變、經(jīng)重復(fù)抽樣的觀測值，可得一系列參數(shù)估計值。參數(shù)估計值 的分布稱為 的抽樣分布，其密度函數(shù)

3、記為f( ) 如果 E( )=稱 是參數(shù) 的無偏估計式， 是另一種方式產(chǎn)生的模型參數(shù)的估計量，抽樣分布為 ，若 的期望不是等于 的真實值，則稱 是 有偏的，偏倚為 E( )- ，見下圖f8的估計值 ff概率密度E偏倚圖2.69最小方差性（有效性）前提：樣本相同、用不同的方法估計參數(shù)，可以找到若干個不同的估計式。目標(biāo)：努力尋求其抽樣分布具有最小方差的估計式最小方差準(zhǔn)則，或稱最佳性準(zhǔn)則。見下圖 有效性衡量了參數(shù)估計值與參數(shù)真值平均離散程度的大小。 既是無偏的同時又具有最小方差的估計式，稱為最佳無偏估計式。10的估計值 ff概率密度圖2.711一致性思想：當(dāng)樣本容量較小時，有時很難找到最佳無偏估計，

4、需要考慮擴大樣本容量（估計方法不變，樣本數(shù)逐步擴大，分析性質(zhì)是否改善）一致性：當(dāng)樣本容量n趨于無窮大時，如果估計式 按概率收斂于總體參數(shù)的真實值，就稱這個估計式 是 的一致估計式。 limP( - )1漸進無偏估計式是當(dāng)樣本容量變得足夠大時，其偏倚趨于零的估計式。見下圖12的估計值 100f概率密度 80f 60f 40f13高斯馬爾可夫定理n由OLS估計式可以看出， 可以用觀測樣本 和 唯一表示。n因為存在樣本抽樣波動，OLS估計的 是隨機變量。nOLS估計式是點估計式。n在古典回歸模型的若干假定成立的情況下，最小二乘估計是所有線性無偏估計量中的有效估計量。稱OLS估計為“最佳線性無偏估計量

5、”。XY14線性特征;無偏性;最小方差性一致性證明過程參見p3032,也可從精品課程網(wǎng)站下載。結(jié)論：OLS估計式是BLUE。 全部估計量 線性無偏估計量 BLUE估計量15系數(shù)的估計誤差與置信區(qū)間2221、和和1的概率分布的概率分布其次其次，和1分別是iY的線性組合，因此、1的概率分布取決于 Y。在是正態(tài)分布的假設(shè)下，Y 是正態(tài)分布，因此和1也服從正態(tài)分布，其分布特征（密度函數(shù)）由其均值和方差唯一決定。 首先，首先，由于解釋變量iX是確定性變量，隨機誤差項i是隨機性變量，因此被解釋變量iY是隨機變量，且其分布 （特征）與i相同。2161ii因此：因此： ),(222S2XXNs， ),(222

6、11siSXXnXN1和2的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差 分別為： 222/)(iSXXSs 2221)(iiSXXnXSs 17可以證明可以證明：總體方差2s的無偏估計量無偏估計量 為 222neis 2 、隨機誤差項、隨機誤差項的方差的方差2s的估計的估計 在估計的參數(shù)2和1的方差和標(biāo)準(zhǔn)差的表達式中，都含有隨機擾動項方差2s=)var(i。2s又稱為總體方差總體方差 。 由于2s實際上是未知的，因此2和1的方差與標(biāo)準(zhǔn)差實際上無法計算。由于隨機項i不可觀測，只能從i的估計殘差ie出發(fā)，對總體方差2s進行估計。18在總體方差2s的無偏估計量2s求出后， 估計的參數(shù)估計的參數(shù)2和和1的方差和標(biāo)準(zhǔn)差的估計量的方差

7、和標(biāo)準(zhǔn)差的估計量 分別是：的樣本方差： 22)(VarsS2XX 的樣本標(biāo)準(zhǔn)差： 2)(Ss 的樣本方差： 221)(inXVars的樣本標(biāo)準(zhǔn)差： 21)(inXS 1122S2XX S2XX sS2XX 19系數(shù)的置信區(qū)間n見p3420四、多元線性回歸模型的參數(shù)估計n方法相同，只是通過矩陣表示，參見p353721五、極大似然法MLn極大似然法極大似然法（ Maximum Likelihood, ML） ，也稱，也稱最大最大似然法似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基是從最大或然原理出發(fā)發(fā)展起來的其

8、它估計方法的基礎(chǔ)。礎(chǔ)。 基本原理基本原理：對于對于最小二乘法最小二乘法，當(dāng)從模型總體隨機抽取，當(dāng)從模型總體隨機抽取n組樣本觀測組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得模型能最好地擬值后，最合理的參數(shù)估計量應(yīng)該使得模型能最好地擬合樣本數(shù)據(jù)。合樣本數(shù)據(jù)。 對于對于極大似然法極大似然法，當(dāng)從模型總體隨機抽取，當(dāng)從模型總體隨機抽取n組樣本觀組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得從模型中抽取測值后，最合理的參數(shù)估計量應(yīng)該使得從模型中抽取該該n組樣本觀測值的概率最大。組樣本觀測值的概率最大。22對于一元線性回歸模型： iiiXYm21 i=1,2,n隨機抽取 n 組樣本觀測值iiXY ,（i=1,2

9、,n），假如模型的參數(shù)估計量已經(jīng)求得到，為$1和$2，那么iY服從如下的正態(tài)分布： iY),(221siXN于是，iY的概率函數(shù)為 2212)(2121)(iiXYieYPsps i=1,2,n23 將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計量。因為iY是相互獨立的，所以Y的所有樣本觀測值的聯(lián)合概率，也即似然函數(shù)似然函數(shù)(likelihood function) 為： ),(),(21221nYYYPLms 22122)(21)2(1iinXYnesmspS24251 理論模型的設(shè)計理論模型的設(shè)計 我們首先通過散點圖來觀察一下，住宅房地產(chǎn)需求量與居民收入之間是否存在關(guān)系。圖1人均可支

10、配收入與人均消費性支出的關(guān)系010002000300040005000600070000200040006000800010000人均可支配收入（元）人均消費性支出（元）系列12627 在本例中，影響在本例中，影響人均消費性支出人均消費性支出的因素，除了的因素，除了居民人均可支配收入居民人均可支配收入之外，還可能有消費品的價格之外，還可能有消費品的價格水平、水平、銀行存款利率、銀行存款利率、消費者的偏好，政府的政策，消費者的偏好，政府的政策，需求者對未來的預(yù)期等等多種因素。我們這里僅分需求者對未來的預(yù)期等等多種因素。我們這里僅分析析居民人均可支配收入居民人均可支配收入對對人均消費性支出人均消費性支出的影響，的影響，其他各因素的影響，就被包含在隨機誤差項中。其他各因素的影響，就被包含在隨機誤差項中。28293031 離差形式的中間計算也可不用計算表，而采用如下離差形式的中間計算也可不用計算表，而采用如下的簡捷式計算：的簡捷式計算：222XnXx