中國海洋大學(xué)計(jì)量經(jīng)濟(jì)學(xué)3-多元線性回歸模型-2.ppt

1、第三章經(jīng)典單方程修正量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型、多元線性回歸模型多元線性回歸模型的殘奧儀表估計(jì)多元線性回歸模型的統(tǒng)一檢驗(yàn)多元線性回歸模型其他形式回歸模型的殘奧儀表約束、3.1多元線性回歸模型、1、多元線性回歸模型2、多元線性回歸模型的基本假設(shè)多元線性回歸模型回歸典型的表示形式是I=1，2，n中的：k是解釋變量的數(shù)量，I稱為回歸殘奧。 習(xí)慣上將常數(shù)項(xiàng)視為虛變量的系數(shù)，該虛變量的樣本觀測值總是取1。 于是，模型中的解釋變量的數(shù)量為(k 1)。 因此，上式也被稱為整體回歸函數(shù)的隨機(jī)表現(xiàn)形式。 它的非隨機(jī)方程(也就是說，總回歸函數(shù))表示當(dāng)每個變量的Xi值被固定時y的平均響應(yīng)。 I也被稱為偏振回歸系

2、數(shù)，其表示在其它解釋變量保持不變的情況下，每當(dāng)Xi改變1個單位時y的平均值E(Y )發(fā)生變化。 可替換地，I是Xi的單位變化對y平均的“直接”或“網(wǎng)”(不包括其他變量)有影響。 2、用于估計(jì)行列式、整體回歸函數(shù)的樣本回歸函數(shù)將其隨機(jī)式： ei稱為殘差或馀項(xiàng)(residuals )，可以認(rèn)為是整體回歸函數(shù)中隨機(jī)擾動項(xiàng)I的近似代替。 總體回歸模型的n個隨機(jī)方程的行列式是：樣本回歸函數(shù)(模型)的行列式是：二，多元線性回歸模型的基本假設(shè)，隨機(jī)項(xiàng)假設(shè)解釋變量是其他假設(shè)，一，隨機(jī)假設(shè)(對于隨機(jī)誤差項(xiàng)的假設(shè))，零均值：同方差：系列非相關(guān)性假設(shè)類似于E(X)=0，即，3，其他不與隨機(jī)項(xiàng)相關(guān)的假設(shè)，對于同一元回

3、歸，當(dāng)樣本容量為無窮大時，每個解釋變量的方差變?yōu)橛薪缍〝?shù)(該假設(shè)是為了避免偽回歸問題的出現(xiàn))，即n，其馀兩個重要假設(shè)普通最小二乘估計(jì)*二、最大或似然估計(jì)*三、矩估計(jì)四、殘奧儀表估計(jì)量的性質(zhì)五、樣本容量問題六、實(shí)例研究、估計(jì)方法主要有三種方法： OLS、ML或MM為古典模型一、普通最小二乘估計(jì)， 關(guān)于普通最小二乘估計(jì)普通最小二乘估計(jì)的行列式殘奧參數(shù)估計(jì)的行列式案例分析方差形式的普通最小二乘估計(jì)隨機(jī)誤差項(xiàng)的方差無偏差的估計(jì)、1、普通最小二乘估計(jì)、隨機(jī)提取的n組觀測值：如果得到樣本函數(shù)的殘奧參數(shù)估計(jì)值，則I=1， 2n應(yīng)該是根據(jù)最小二乘原理的殘奧參數(shù)估計(jì)值是一次條件的正規(guī)方程式組的解，其中，2、普通

4、最小二乘估計(jì)的行列式、估計(jì)殘奧參數(shù)估計(jì)值的正規(guī)方程式組通過求解該方程式組，能夠得到k 1個估計(jì)殘奧參數(shù)的估計(jì)值。由于正規(guī)方程組矩陣形式：3、殘奧元估計(jì)的行列式、正規(guī)方程組的矩陣形式，即XX全秩，用矩陣形式表示上述過程，即求解方程組：4、情況分析、情況3.2.1的正規(guī)方程組中，有(* )或(*) (* )或標(biāo)本回歸模型的分散形式： I=1， 2n對于分布式來說，殘奧儀表的最小二乘估計(jì)結(jié)果是6，隨機(jī)誤差項(xiàng)的方差的無偏差估計(jì)，且隨機(jī)誤差項(xiàng)的方差的無偏差估計(jì)可以證明是* 2，最大排他估計(jì)()，從而殘奧儀表的最大或似然估計(jì)結(jié)果是殘奧儀表的通常最小二乘估計(jì)作為矩估計(jì)(Moment Method，MM )、

5、殘奧儀表的MM (矩估計(jì))估計(jì)量廣義矩估計(jì)方法、1、殘奧儀表的MM (矩估計(jì)法)的該正規(guī)方程式可以從其他的想法導(dǎo)出：=其希望式：原來的整體回歸方程式的矩由此得到正規(guī)方程式群的解：該正規(guī)方程式群的解是殘奧儀表的MM推定量。 估計(jì)樣本回歸公式的這種方法稱為矩估計(jì)法MM。 容易看出MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。 2、廣義矩估計(jì)方法、矩估計(jì)方法采用了工具變量方法(Instrumental Variables，IV )和廣義矩估計(jì)方法(Generalized Moment Method，GMM )的基礎(chǔ)對矩估計(jì)方法重要的基本假設(shè)。 大于k 1的變量與隨機(jī)擾動項(xiàng)不相關(guān)，并且大于k 1的方程。 這就是

6、廣義的力矩估計(jì)方法(G MM )。 后面的課程中介紹的四、殘奧儀表估計(jì)量的性質(zhì)，如果滿足基本假言，則它的結(jié)構(gòu)殘奧儀表的通常最小二乘估計(jì)、最大或似然估計(jì)以及矩估計(jì)仍具有線性、無偏差的有效性。 隨著樣本容量的增加，殘奧儀表估計(jì)量也具有漸近性、漸近有效性和一致性。 線性和非線性的最小分散特性(有效性)、1、線性和非線性、線性：殘奧儀表估計(jì)量是所解釋的變量y的線性組合。 即，其中C=(X X)-1X僅與固定的x相關(guān)聯(lián)。 無偏差：表示殘奧儀表估計(jì)量的期望值與其真值相等。 即，利用了此處與x無關(guān)的基本假言： e (x )=0，2，2的有效性(最小方差)，其中=(XX)-1X(X )=(XX)-1X的樣本的

7、最小容量不必等于或大于模型中的解釋變量的數(shù)目(包括常量項(xiàng)) 當(dāng)滿足全秩(X)=k 1 2、基本要求的樣本容量為集成校驗(yàn)的角度： n30時，可以應(yīng)用z校驗(yàn)。 對于n-k8而言，t分布相對穩(wěn)定的一般經(jīng)驗(yàn)認(rèn)為：對于n30或至少n3(k 1 )而言滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只能在大樣本下理論證明。 六、案例分析-殘奧儀表估計(jì)，案例3.2.2。 例2.5.1建立了中國居民人均消費(fèi)一元線性模型。 在此考慮建立多元線性模型。添加一個解釋變量：前期消費(fèi)CONSP(-1 )，估計(jì)區(qū)間： 19792000年，Eviews估計(jì)結(jié)果，3.3多元線性回歸模型的統(tǒng)一檢驗(yàn)，1，適合度檢驗(yàn)2，方程式的顯性檢驗(yàn)(

8、f檢驗(yàn)) 3， 變量的顯性可確定系數(shù)調(diào)整的可確定系數(shù)赤池信息指南和施瓦茨指南，1，可確定系數(shù)，總方差平方和的分解：因?yàn)椋?0:注意：在應(yīng)用過程中，對模型進(jìn)行解釋變更(這是因?yàn)闅埐钇椒胶徒?jīng)常會隨著解釋變量的數(shù)量的增加而減少)，這會給人一種為了成功擬合模型只需增加解釋變量的錯覺。 然而，在現(xiàn)實(shí)中，由于解釋變量的數(shù)目的增加而導(dǎo)致的R2的增大與擬合的好壞無關(guān)。 因此，R2不是適當(dāng)?shù)闹笜?biāo)，而是需要調(diào)整。 2、調(diào)整的可決定系數(shù)在樣本容量一定時，如果增加解釋變量，則自由度必然減少，因此，調(diào)整的想法是將殘差平方和和總方差平方和除以各自的自由度，消除變量對適應(yīng)度的影響：調(diào)整的可決定系數(shù)： n-k-1是殘差平方和

9、的自由度，n-1、3，赤池信息準(zhǔn)則和沃爾什準(zhǔn)則， 為了比較所包含的解釋變量的個數(shù)不同的多元回歸模型的適合度，在常用的案例3.2.2中，中國居民消費(fèi)二元模型中使用了aike信息準(zhǔn)則(Akaike information criterion，AIC )、Schwarz criterion 在案例2.5.1中，中國居民消費(fèi)一元模式中： AIC=7.09，SC=7.19。 由此可以說前期的人均居民消費(fèi)CONSP(-1 )應(yīng)該包含在模型中。 二、方程顯性檢驗(yàn)(f檢驗(yàn))和方程顯性檢驗(yàn)的目的是估計(jì)模型中被解釋變量和解釋變量之間的線性關(guān)系是否總體顯性。 方程式顯性的f檢驗(yàn)適合度檢驗(yàn)和方程式顯性檢驗(yàn)的關(guān)系，1，

10、方程式顯性的f檢驗(yàn)，方程式顯性的f檢驗(yàn)，即多元回歸模型： yi=01x1i 2x2i kxki I=1，2，2， n中的殘奧參數(shù)j是否不為0。 可以提供原始假設(shè)H0:0=1=k=0。 假設(shè)H1:j并非都是0 F檢驗(yàn)的思想來源于總方差平方和的分解式： TSS=ESS RSS如果這個比大，則x的情結(jié)對y的解釋度高，可以認(rèn)為整體上有線性關(guān)系，相反整體上可能沒有線性關(guān)系。 因此，能夠根據(jù)該比的大小估計(jì)整體的線性關(guān)系。 根據(jù)數(shù)學(xué)統(tǒng)修學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)修量：自由度遵從(k，nk1)的f分布。 如果給出顯著水平，則得到閾值F(k，n-k-1 )，根據(jù)樣本求出統(tǒng)一修正量f的數(shù)值，通過F

11、F(k，n-k-1 )或F F(k，n-k-1 )的中國居民的人均消費(fèi)支出的例子：一元模型： f=285 . 二元例： f (2，19 )=3. 52。 很明顯，F(xiàn) F(k，n-k-1 )，即兩個模型的線性關(guān)系在95%的水平上顯著成立。 2、擬合度檢驗(yàn)與方程顯性檢驗(yàn)的關(guān)系如下：或：在中國居民人均收入消費(fèi)一元模型和二元模型中，如果我們先得到R2=0.1935，我認(rèn)為模型擬合質(zhì)量并不高，但其整體線性關(guān)系的顯性水平達(dá)到95%以這種方式，重要的是考察模型之間的經(jīng)濟(jì)關(guān)系是否合理，而無需在應(yīng)用中過度苛刻地要求R2。 三、變量顯性檢驗(yàn)(t檢驗(yàn))、方程的整體線性關(guān)系各解釋變量對被解釋變量的影響顯著。 因此，為

12、了決定是否作為解釋變量留在模型中，需要對每個解釋變量進(jìn)行顯式檢查。 這個檢查是通過對變量的t檢查來進(jìn)行的。 t統(tǒng)修正量t檢驗(yàn)案例研究、1、t統(tǒng)修正量用cii表示矩陣(XX)-1的主對角線上的第I個要素，因此對于殘奧儀表估計(jì)量的方差，其中2是隨機(jī)誤差項(xiàng)的方差，在實(shí)際的修正運(yùn)算中，通過將該估計(jì)量置換為：能夠?qū)⑷缦碌膖統(tǒng)修正量H1:i0給出顯著水平，得到閾值t/2(n-k-1 )，根據(jù)樣本求出統(tǒng)一校正量t的數(shù)值，通過|t| t/2(n-k-1 )或|t|t，另外一方面，t檢驗(yàn)和f檢驗(yàn)都檢驗(yàn)相同的原假設(shè)H0:1=0 案例研究中，在中國居民人均收入消費(fèi)支出二元模型的例子中，從應(yīng)用程序中修正了殘奧儀表的t

13、值：給定的顯著性水平=0.05，研究了相應(yīng)的閾值： t這樣，修正后的所有t值都大于該閾值，因此拒絕原假設(shè)即包括：常數(shù)項(xiàng)的3個解釋變量都在95%的水平上顯著，都通過了變量顯著性檢查。 在實(shí)際的應(yīng)用中，每個變量的t值大不相同，每個變量在不同的信任級別上顯著，如何判斷這里沒有絕對的顯示。 重要的是考察變量的經(jīng)濟(jì)關(guān)系解釋，顯著性檢驗(yàn)只起到驗(yàn)證的作用，不能簡單地去除變量。 另外，殘奧儀表的置信區(qū)間、殘奧儀表的置信區(qū)間主要用于考察由一次采樣所估計(jì)的殘奧儀表值接近殘奧儀表的真值的程度。 在變量的顯性檢查中，可知在(1- )的置信水平中I的置信區(qū)間是其中，t/2是顯性水平，自由度是nk1的閾值。 在中國居民人

14、均收入消費(fèi)支出二元模型的實(shí)例中，給出的=0.05，查找表的閾值： t0.025(19)=2.093由回歸修正計(jì)算得出：修正后的殘奧儀表置信區(qū)間： 03360 (44.284，197.116 )。 1: (0. 0937，0.3489 )； 2: (0.0951，0.8080 )如何縮小置信區(qū)間？ 為了增加模型的適合度，需要增加樣本容量n，其中對于相同樣本容量，n越大，則t分布表中的閾值越小，并且可以通過增加樣本容量來減小樣本殘奧儀表估計(jì)的標(biāo)準(zhǔn)偏差當(dāng)樣本觀測值的分散度增加時，通常，隨著樣本觀測值的分散，(XX)-1的分母的|XX|的值增加，并且片段縮小。 3.4多維線性回歸模型的預(yù)測可以是對于模型：除給定樣本之外的解釋變量的觀測值X0=(1，X10，X20，Xk0)獲得所解釋變量的