第三章 多元線性回歸模型的參數(shù)估計(jì)

1、第三章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型 多元線性回歸模型 多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)3.1 多元線性回歸模型 一、多元線性回歸模型 二、多元線性回歸模型的基本假定 一、多元線性回歸模型 多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式：i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regression coefficient）。也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:表示：各變量X值固定時(shí)Y的平均響應(yīng)。 習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）

2、 總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為: 其中 j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說(shuō)j給出了X j的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。用來(lái)估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為：其隨機(jī)表示式: ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。 樣本回歸函數(shù)的矩陣表達(dá): 或其中：二、多元線性回歸模型的基本假定 假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。 假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。 假設(shè)3，解釋變量與隨機(jī)項(xiàng)

3、不相關(guān) 假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布 上述假設(shè)的矩陣符號(hào)表示式： 假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。 假設(shè)2， 假設(shè)4，向量 有一多維正態(tài)分布，即 同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)： 假設(shè)5，樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n時(shí)， 假設(shè)3，E(X)=0，即 其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣 假設(shè)6，回歸模型的設(shè)定是正確的。 或3.2 多元線性回歸模型的估計(jì) 一、普通最小二乘估計(jì) 二、參數(shù)估計(jì)量的性質(zhì) 說(shuō) 明估計(jì)方法：3大類方法：OLS、ML或者M(jìn)M在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多

4、應(yīng)用ML或者M(jìn)M一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： i=1,2n 根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解 其中 于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組： 解該（k+1） 個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值$,bjj=012L。k正規(guī)方程組的矩陣形式即由于XX滿秩，故有 例3.2.1：在例2.1.1的家庭收入-消費(fèi)支出例中， 可求得： 于是： 正規(guī)方程組 的另一種寫法對(duì)于正規(guī)方程組 于是 或 (*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法。 (*)(*) 二、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)的情況下

5、，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大似然估計(jì)仍具有： 線性性、無(wú)偏性、有效性。 1、線性性 其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無(wú)偏性 這里利用了假設(shè): E(X)=0 3、有效性（最小方差性） 其中利用了 和根據(jù)高斯-馬爾可夫定理, 在所有無(wú)偏估計(jì)量的方差中是最小的.3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)則 總離差平方和的分解由于: =0所以有： 注意：一個(gè)有趣的現(xiàn)象 可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2

6、往往增大（Why?) 這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。 調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。二、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立

7、作出推斷。 1、方程顯著性的F檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 1=2= =k=0 H1： j不全為0 F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式： TSS=ESS+RSS 如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 服從自由度為(k , n-k-1)的F分布。 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò) F F(k,n-k-1) 或 FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。 例：某地區(qū)通過(guò)一個(gè)樣本容量為722的調(diào)查數(shù)據(jù)得到勞動(dòng)力受教育的一個(gè)回歸方程為Y=10.36-0.094X1+0.131X2+0.21X3, R2=0.214,其中Y為勞動(dòng)力受教育年數(shù)，X1 為該勞動(dòng)量家庭中兄弟姐妹的人數(shù)，X2，X3分別為母親和父親受教育的年數(shù)，問(wèn)：（1）X1 是否具有預(yù)期的影響？為什么？若