多元線性回歸模型的參數(shù)估計

1、3.2 多元線性回歸模型的估計多元線性回歸模型的估計 估計方法：OLS、ML或者MM一、普通最小二乘估計一、普通最小二乘估計 * *二、最大或然估計二、最大或然估計 * *三、矩估計三、矩估計 四、參數(shù)估計量的性質(zhì)四、參數(shù)估計量的性質(zhì) 五、樣本容量問題五、樣本容量問題 六、估計實例六、估計實例 一、普通最小二乘估計一、普通最小二乘估計對于隨機抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有： i=1,2n根據(jù)最小二乘原理最小二乘原理，參數(shù)估計值應該是下列方程組的解 0000210QQQQk其中2112)(niiiniiY

2、YeQ2122110)(nikikiiiXXXYKikiiiXXXY22110于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解該（k+1）個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值, , ,jjk 012 。正規(guī)方程組正規(guī)方程組的矩陣形式矩陣形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111即YXX)X(由于XX滿

3、秩，故有 YXXX1)(將上述過程用矩陣表示矩陣表示如下： 即求解方程組：0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYX得到： YXXX1)(XXYX于是：例例3.2.1：在例2.1.1的家庭收入家庭收入-消費支出消費支出例中， 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得 0735. 10003. 00003. 07226. 0)(1EXX于是 7770. 0172.10339648400156740735. 10003. 00003.

4、 07226. 021E正規(guī)方程組正規(guī)方程組 的另一種寫法對于正規(guī)方程組正規(guī)方程組 XXYXXXeXXX于是 0eX或 0ie0iijieX(*)或（*）是多元線性回歸模型正規(guī)方程組正規(guī)方程組的另一種寫法 (*)(*)樣本回歸函數(shù)的離差形式樣本回歸函數(shù)的離差形式ikikiiiexxxy2211i=1,2n其矩陣形式矩陣形式為 exy其中 ：nyyy21yknnnkkxxxxxxxxx212221212111xk21在離差形式下，參數(shù)的最小二乘估計結(jié)果為 kkXXY110yxxx1)(隨機誤差項隨機誤差項 的方差的方差 的無偏估計的無偏估計 可以證明，隨機誤差項的方差的無偏估計量為 1122kn

5、kneiee * *二、最大或然估計二、最大或然估計 對于多元線性回歸模型ikikiiiXXXY 22110易知),(2XiNYi Y的隨機抽取的n組樣本觀測值的聯(lián)合概率)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin即為變量Y的或然函數(shù)或然函數(shù) 對數(shù)或然函數(shù)為)()(21)2()( 2*XYXYnLnLLnL對對數(shù)或然函數(shù)求極大值，也就是對 )()(XYXY求極小值。 因此，參數(shù)的最大或然估計最大或然估計為為YXXX1)(結(jié)果與參數(shù)的普通最小二乘估計相同結(jié)果與參數(shù)的普通最小二乘估計相同* *三、矩估計三、矩估計（M

6、oment Method, MM） OLS估計是通過得到一個關(guān)于參數(shù)估計值的正正規(guī)方程組規(guī)方程組YXX)X(并對它進行求解而完成的。 該該正規(guī)方程組正規(guī)方程組 可以從另外一種思路來導: XYXXXYXXX(YX)求期望 :0XYX)(E0XYX)(E稱為原總體回歸方程的一組矩條件矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。 0)1X(YXn由此得到正規(guī)方程組正規(guī)方程組 YXXX解此正規(guī)方程組即得參數(shù)的MM估計量。 易知MM估計量與與OLS、ML估計量等價。矩方法矩方法是是工具變量方法工具變量方法(Instrumental Variables,IV)和和廣義矩估計方法廣義矩估計方法(Gener

7、alized Moment Method, GMM)的基礎的基礎 在在矩方法矩方法中關(guān)鍵是利用了中關(guān)鍵是利用了 E(X )=0 如果某個解釋變量與隨機項相關(guān)，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。 如果存在k+1個變量與隨機項不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM。 四、參數(shù)估計量的性質(zhì)四、參數(shù)估計量的性質(zhì) 在滿足基本假設的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計、最大或然估計最大或然估計及矩估計矩估計仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時，隨著樣本容量增加，參數(shù)估計量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性

8、。 1、線性性、線性性 CYYXXX1)(其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無偏性、無偏性 XXXXXXXYXXX11)()()()()()(1EEEE這里利用了假設: E(X )=0 3、有效性（最小方差性）、有效性（最小方差性） 其中利用了 YXXX1)(XXXXXXX11)()()(和I2)(E 五、樣本容量問題五、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目

9、（包括常數(shù)項）的數(shù)目（包括常數(shù)項）,即 n k+1因為，無多重共線性要求：秩(X)=k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度從統(tǒng)計檢驗的角度： n30 時，Z檢驗才能應用； n-k8時, t分布較為穩(wěn)定 一般經(jīng)驗認為一般經(jīng)驗認為: 當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質(zhì)只有在大樣本下才能模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明得到理論上的證明 六、多元線性回歸模型的參數(shù)估計實例六、多元線性回歸模型的參數(shù)估計實例 例例3.2.2 在例2.5.1中，已建立了中國居中國居民人均消費民人均消費一元線性模型。這里我

10、們再考慮建立多元線性模型。解釋變量：解釋變量：人均GDP：GDPP 前期消費：CONSP(-1)估計區(qū)間估計區(qū)間：19792000年Eviews軟件估計結(jié)果 LS / Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 120.7000 36.51036 3.305912 0.0037 GDPP 0.221327 0.060969 3.630145 0.0018 CONSP(-1) 0.451507 0.170308 2.651125 0.0158 R-squared 0.995403 Mean dependent var 928.4946 Adjusted R-squared 0.994920 S.D. dependent var 372.6424 S.E. of regression 26.56078 Akaike info crite