高等學(xué)校經(jīng)濟(jì)學(xué)類經(jīng)典課程計(jì)量經(jīng)濟(jì)學(xué)第三章多元線性回歸模型

1、高等學(xué)校經(jīng)濟(jì)學(xué)類經(jīng)典課程計(jì) 量 經(jīng) 濟(jì) 學(xué)Econometrics第三章 多元線性回歸模型 3.1 多元線性回歸模型 3.2 多元線性回歸模型的參數(shù)估計(jì) 3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 3.4 多元線性回歸模型的預(yù)測(cè) 3.5 可線性化的多元非線性回歸模型 3.6 受約束回歸3.1 多元線性回歸模型一、模型形式二、基本假定一、模型形式 注意：（1）解釋變量X的個(gè)數(shù)：k 回歸系數(shù) j的個(gè)數(shù)：k1 （2）j：偏回歸系數(shù)，表示了Xj對(duì)Y的凈影響 （3）X的第一個(gè)下標(biāo) j 區(qū)分變量（j1，2，k） 第二個(gè)下標(biāo) i 區(qū)分觀測(cè)（i1，2，n）總體回歸函數(shù)（PRF）樣本回歸函數(shù)（SRF）樣本回歸模型（SR

2、M）其中：ei 稱為殘差 (residuals)，可看成是隨機(jī)誤差項(xiàng) i的近似替代。 2、于是，總體回歸模型可以表示為：總體回歸模型的矩陣表示1、總體回歸模型表示了n個(gè)隨機(jī)方程，引入如下矩陣記號(hào)：2、于是，樣本回歸模型和函數(shù)可以表示為：樣本回歸模型和函數(shù)的矩陣表示1、同理，采用如下矩陣記號(hào)：二、多元線性回歸模型的基本假設(shè)假設(shè)1：解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。假設(shè)2：隨機(jī)誤差項(xiàng)具有零均值、同方差和無(wú)序列相關(guān)性： E(i)=0 Var (i)=2 i=1,2, ,N Cov(i, j)=0 ij i,j= 1,2, ,N 假設(shè)3：隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：

3、 Cov(Xji, i)=0 i=1,2, ,N 假設(shè)4：服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, 2 ) i=1,2, ,N基本假設(shè)的矩陣表示假設(shè)1: n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X列滿秩。假設(shè)2: 假設(shè)4: 向量 有一多維正態(tài)分布，即 暗含假設(shè)假設(shè)5：樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n時(shí)， 假設(shè)6：回歸模型是正確設(shè)定的 或其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣 3.2 多元線性回歸模型的參數(shù)估計(jì)一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問(wèn)題參數(shù)估計(jì)的任務(wù)和方法1、估計(jì)目標(biāo)：回歸系數(shù)j、隨機(jī)誤

4、差項(xiàng)方差22、估計(jì)方法：OLS、ML或者M(jìn)M* OLS：普通最小二乘估計(jì) * ML：最大似然估計(jì) * MM：矩估計(jì) 一、普通最小二乘估計(jì)基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計(jì)） 殘差平方和：取得最小值的條件：正規(guī)方程組： 解此（k1）個(gè)方程組成的正規(guī)方程組，即可求得（k+1)個(gè)未知參數(shù)j 的估計(jì) 。 最小二乘估計(jì)的矩陣表示1、正規(guī)方程組的矩陣形式2、由于XX滿秩(其逆矩陣存在），故有 OLSE的矩陣估計(jì)過(guò)程矩陣有關(guān)定理殘差平方和的矩陣表示為：#參數(shù)估計(jì)的實(shí)例例：在例的家庭收入-消費(fèi)支出例中， 誤差方差2的估計(jì)1、基于OLS下，隨機(jī)誤差項(xiàng) 的方差的無(wú)偏估計(jì)量為 注意：分母的形式

5、：n-k-1 = n-(k+1)。 k：解釋變量X的個(gè)數(shù)； k+1：回歸系數(shù)的個(gè)數(shù)2、 稱為估計(jì)標(biāo)準(zhǔn)誤或者回歸標(biāo)準(zhǔn)誤（S.E of regression）*最大似然估計(jì)*（Maximum Likelihood Estimate）1、基本原理：樣本觀測(cè)值出現(xiàn)的概率最大。2、似然函數(shù)：3、最大似然估計(jì)MLE：參數(shù)的MLE與參數(shù)的OLSE相同*矩估計(jì)*（Moment Method，MM）1、OLS估計(jì)是通過(guò)得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組并對(duì)它進(jìn)行求解而完成的。2、該正規(guī)方程組可以從另外一種思路來(lái)導(dǎo)出: 兩側(cè)求期望 :矩條件*矩條件和矩估計(jì)量*3、由此得到正規(guī)方程組： 解此正規(guī)方程組即得參數(shù)的MM

6、估計(jì)量。1、稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。 2、如果隨機(jī)抽出原總體的一個(gè)樣本，估計(jì)出的樣本回歸方程：能夠近似代表總體回歸方程的話，則應(yīng)成立：MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。*關(guān)于矩估計(jì)*矩方法是工具變量方法(Instrumental Variables,IV)和廣義矩估計(jì)方法(Generalized Moment Method, GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了：E(X)=0如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM

7、。OLS只是GMM的一個(gè)特例二、最小二乘估計(jì)量的性質(zhì)高斯馬爾可夫定理(Gauss-Markov theorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量，即最佳線性無(wú)偏估計(jì)量（BLUE）。1、線性：其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無(wú)偏性:這里利用了假設(shè): E(X)=03、有效性:其中利用了: 參數(shù)估計(jì)量的概率分布1、由參數(shù)估計(jì)量的上述性質(zhì)和基本假設(shè)，易知： 線性性基本假設(shè) 正態(tài)分布 無(wú)偏性 期望為 有效性的證明 方差表達(dá)式2、記 C=(XX)-1 的第 j 個(gè)主對(duì)角元素為 Cjj（j=0,1,k)，則：三、樣本容量問(wèn)題最小樣本容量

8、滿足基本要求的樣本容量1、最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即：n k+1因?yàn)椋瑹o(wú)多重共線性要求：秩(X)=k+12、基本樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能應(yīng)用； n-k 8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)二、方程顯著性檢驗(yàn)三、變量顯著性檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)

9、目的：測(cè)定樣本回歸函數(shù)對(duì)樣本觀測(cè)值的擬合緊密程度 指標(biāo)：R2、Adj(R2)可決系數(shù)R2(coefficient of determination)0R21，該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 1、定義：2、問(wèn)題： 在模型中增加一個(gè)解釋變量， R2往往增大 但是：增加解釋變量個(gè)數(shù)往往得不償失，不重要的變量不應(yīng)引入。增加解釋變量使得估計(jì)參數(shù)增加，從而自由度減小。如果引入的變量對(duì)減少殘差平方和的作用很小，這將導(dǎo)致誤差方差2的增大，引起模型精度的降低。 因此：R2需調(diào)整。 調(diào)整的可決系數(shù)Adj(R2)（adjusted coefficient of determination） 1、調(diào)整思路:

10、將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。2、自由度：統(tǒng)計(jì)量可自由變化的樣本觀測(cè)值的個(gè)數(shù)，記為dfTSS：dfn1ESS：df kRSS：df nk1注意：df（TSS)=df(ESS)+df(RSS)3、定義：# Adj(R2)的作用1、消除擬合優(yōu)度評(píng)價(jià)中解釋變量的多少對(duì)擬合優(yōu)度的影響2、對(duì)于因變量Y相同，而自變量X個(gè)數(shù)不同的模型，不能用R2直接比較擬合優(yōu)度，而應(yīng)使用Adj（R2） 。3、可以通過(guò)Adj（R2）的增加變化，決定是否引入一個(gè)新的解釋變量。Adj（R2）均值x0yxx預(yù)測(cè)上限置信上限預(yù)測(cè)下限置信下限回歸分析的預(yù)測(cè)實(shí)例：中國(guó)居民人均收入-消費(fèi)支

11、出二元模型例中：2001年人均GDP：元于是人均居民消費(fèi)的預(yù)測(cè)值為 2001（元） 實(shí)測(cè)值（90年價(jià)）元，相對(duì)誤差：-0.31% 預(yù)測(cè)的置信區(qū)間 ：E(2001）的95%的置信區(qū)間為: （，）2001的95%的置信區(qū)間為:（）3.5 可線性化的多元非線性回歸模型 線性模型的本質(zhì)含義 解釋變量的非線性變量代換法 回歸參數(shù)的非線性函數(shù)變換法實(shí)際中的非線性模型1、恩格爾曲線(Engle curves)：消費(fèi)者的收入與某類商品需求量之間的函數(shù)關(guān)系。冪函數(shù)2、菲利普斯曲線（Pillips cuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關(guān)系。雙曲線函數(shù)線性模型的本質(zhì)含義1、被解釋變量Y與解釋變量X之間為線性關(guān)系2、被解釋變量Y與參數(shù)之間為線性關(guān)系3、更重要的在于后者 例如：拉弗曲線：描述稅收與稅率關(guān)系 S = a + b R + cR2 c0 （拋物線）令：X1 = r，X2 = r2， 則原方程變換為： S = a + b X1 + c