多元線性回歸分析

多元線性回歸分析多元線性回歸分析

4.1多元線性回歸模型設定4.2多元線性回歸模型參數(shù)估計4.2.1回歸系數(shù)估計4.2.2誤差估計—殘差4.2.3的分布4.3更多假設下OLS估計量性質4.4回歸系數(shù)檢驗（t檢驗）4.5調(diào)整

、信息準則和變量選擇

調(diào)整

4.5.2信息準則多元線性回歸分析4.6回歸模型檢驗（F檢驗）4.7用EViews7.2進行多元線性回歸4.8假設條件的放松

4.7.1假設條件的放松（一）—非正態(tài)分布誤差項4.7.2假設條件的放松（二）—異方差4.7.3假設條件的放松（三）—非隨機抽樣和序列

相關

4.7.4假設條件的放松（四）—內(nèi)生性4.9自變量共線性

重要概念4.1

多元線性回歸模型設定模型設定：假設1（零條件均值:zeroconditonalmean）

給定解釋變量，誤差項條件數(shù)學期望為0，即4.1

多元線性回歸模型設定假設2（無共線性:nocolinearity）解釋變量之間不存在線性關系。即不存在不全為零的一組數(shù)

使得

若不成立，稱自變量間存在完全共線性（perfectcolinearity），此時參數(shù)不能被唯一估計。4.1

多元線性回歸模型設定對于樣本模型，從無共線性的假設得出解釋變量樣本值形成的向量之間線性無關?！僭O2’（樣本無共線性:nocolinearity）不存在不全為零的一組數(shù)

使得

4.2多元線性回歸模型參數(shù)估計4.2.1回歸系數(shù)估計4.2.2誤差估計—殘差4.2.3的分布4.2多元線性回歸模型參數(shù)估計4.2.1回歸系數(shù)估計類比原則得樣本矩條件4.2多元線性回歸模型參數(shù)估計4.2.1回歸系數(shù)估計多元回歸分析參數(shù)估計一般用矩陣表示，這里僅給出二元情況下用克萊姆法則解出的解。4.2多元線性回歸模型參數(shù)估計回歸系數(shù)估計結論結論1：

OLS估計的一致性如果回歸模型誤差項滿足假設1和假設2，OLS估計

為一致估計，即結論2：

OLS估計的無偏性

如果回歸模型誤差項滿足假設1和假設2，OLS估計

為無偏估計：4.2多元線性回歸模型參數(shù)估計4.2.2誤差估計—殘差結論結論3：如果假設1和假設2滿足，則回歸殘差是回歸誤差的一致估計：結論4：如果假設1和假設2滿足，殘差形成的向量和自變量樣本值形成的向量正交。4.2多元線性回歸模型參數(shù)估計4.2.3的分布結論5如果假設1和假設2滿足，樣本量

較大時，OLS估計

近似服從正態(tài)分布：其中4.3更多假設下OLS估計量性質假設3（同方差：homoskedasticity）給定解釋變量，誤差項條件方差為常數(shù)，即假設4（隨機抽樣:randomsample）樣本

是隨機抽樣產(chǎn)生的，樣本之間相互獨立，模型誤差項

之間相互獨立。4.3更多假設下OLS估計量性質結論6如果假設1~假設4滿足，則當樣本量

較大時，OLS估計

近似服從結論5中的正態(tài)分布，方差計算公式為其中

為以

為因變量對其余解釋變量進行多元線性回歸的擬合優(yōu)度。4.3更多假設下OLS估計量性質結論7如果假設1~假設4滿足，統(tǒng)計量是誤差項方差

的無偏和一致估計，即

為回歸標準誤，記為

。4.3更多假設下OLS估計量性質結論8如果假設1~假設4滿足，樣本量

較大時，如下統(tǒng)計量近似服從正態(tài)分布結論9如果假設1~假設4滿足，OLS估計量

為最有效估計：在

的所有線性無偏估計中，

的方差最小。這稱為OLS估計的馬爾科夫性。4.3更多假設下OLS估計量性質假設5（正態(tài)分布:normaldistribution）給定解釋變量，誤差項

服從正態(tài)分布，

即

其中

4.3更多假設下OLS估計量性質結論10如果假設1~假設5滿足，（1）

服從正態(tài)分布，

，

由上面公式給出；（2）

服從自由度為的t-分布其中

由上面公式給出，

。4.4

回歸系數(shù)檢驗（

檢驗）檢驗的原假設和備選假設為：通常取顯著水平或假設1~5都成立的情況下，統(tǒng)計量樣本量較大時（n>35），0.05顯著水平下雙邊檢驗臨界值接近2，故常用t值是否大于2判斷參數(shù)是否顯著。4.5

調(diào)整

、信息準則和變量選擇調(diào)整

4.5.2信息準則4.5

調(diào)整

、信息準則和變量選擇調(diào)整

增加解釋變量只會減少RSS的值（不受限的最小化總比受限的最小化來的小），從而增加值。用自由度來調(diào)整的定義關系：4.5

調(diào)整

、信息準則和變量選擇4.5.2信息準則將模型自變量個數(shù)考慮在內(nèi)的變量選擇標準:AIC,SC,HQ

應用原則是使信息準則值最小的模型最好。（只對嵌套模型有用）

常用AIC和SC準則，SC準則對增加解釋變量的懲罰更為嚴厲，因此得出的模型往往更簡潔。

4.6

回歸模型檢驗（

F檢驗）

擬合優(yōu)度和信息準則均不嚴格，帶有很多主觀判斷，因此要進行嚴格的模型檢驗。原假設：

至少一個不為0統(tǒng)計量：

4.6

回歸模型檢驗（

F檢驗）

結論11

如果假設1~假設5滿足，上述統(tǒng)計量服從第一自由度為k、第二自由度為（n－2）的F分布，即：實際中，上述F檢驗拒絕原假設并不意味一定有一個參數(shù)的t檢驗要拒絕原假設；反之，即使全部t檢驗都不拒絕原假設，上述F檢驗也不一定不拒絕原假設。

4.7用EViews7.2進行多元線性回歸

步驟：與一元線性回歸模型類似，先建立Excel數(shù)據(jù)文件，再將文件導入EViews用Genr按鈕從原始數(shù)據(jù)生成回歸模型中的變量按住Control鍵，選中回歸模型中的變量，點擊鼠標右鍵，在彈出菜單中點選Open→asGroup在數(shù)據(jù)表格界面點擊菜單：Proc→MakeEquation，進入模型估計（EquationEstimation）對話框

4.7用EViews7.2進行多元線性回歸

步驟：

模型設定窗口Equationspecification，默認OLS估計方法

4.7用EViews7.2進行多元線性回歸

步驟：

輸出結果

4.7用EViews7.2進行多元線性回歸

步驟：

在輸出結果界面點擊頂端按鈕Resids，將輸出殘差圖同樣可以在結果界面點擊菜單Forecast，保存擬合值。

4.8假設條件的放松

4.8.1假設條件的放松（一）—非正態(tài)分

布誤差項4.8.2假設條件的放松（二）—異方差4.8.3假設條件的放松（三）—非隨機抽

樣和序列相關4.8.4假設條件的放松（四）—內(nèi)生性

4.8假設條件的放松

4.8.1假設條件的放松（一）—非正態(tài)分

布誤差項去掉假設5不影響OLS估計的一致性、無偏性和漸近正態(tài)性。不能采用t-檢驗來進行參數(shù)的顯著性檢驗，也不能用F檢驗進行整體模型檢驗。大樣本情況下，t統(tǒng)計量往往服從標準正態(tài)分布（在原假設下）。

4.8假設條件的放松

4.8.2假設條件的放松（二）—異方差異方差檢驗原理

至少一個不為0

4.8假設條件的放松

4.8.3假設條件的放松（三）—非隨機抽

樣和序列相關序列相關不影響OLS估計的無偏性、一致性和漸近正態(tài)性標準誤的計算要用HAC標準誤用EViews檢驗序列相關

4.8假設條件的放松

4.8.4假設條件的放松（四）—內(nèi)生性假設1’（外生性假設:exogenousindependentvariable）模型誤差項和解釋變量不相關0，即結論5’：如果假設1’和假設2滿足，（1）OLS估計

是

的一致估計；（2）當樣本量

較大時，

近似服從正態(tài)分布：

4.8假設條件的放松

4.8.4假設條件的放松（四）—內(nèi)生性若假設1’都不能滿足，則OLS失效，此時應當采用工具變量估計方法、面板數(shù)據(jù)估計方法等其他方法。4.9自變量共線性當假設2和假設2’不滿足時，存在多重共線性（multicolinearity），模型無法估計。方差膨脹因子

一般認為，當時，與其他自變量存在嚴重共線性，需進行處理。4.9自變量共線性存在多重共線性時處理方法（1）增加樣本量。（2）對變量實施變換。例如對取正值的變量取自然對數(shù)，采用增長率數(shù)據(jù)而不是原始數(shù)據(jù)等。（3）多重共線性只對有共線關系的自變量的回歸系數(shù)OLS估計方差有影響，如果所關注的自變量不存在嚴重多重共線性，則不影響對問題的判斷。重要概念3.多元線性回歸的因變量總平方和，可以分解為回歸平方和和殘差平方和，由此可以定義擬合優(yōu)度

。

會隨自變量的增加而增加，以此為標準會使模型包含過多的對因變量沒有解釋能力的自變量。對

分子分母中的量用各自的