回歸分析概要多元線性回歸模型

1、第二章 回歸分析概要第五節(jié) 多元線性回歸分析一 模型的建立與假定條件在一元線性回歸模型中，我們只討論了包含一個解釋變量的一元線性回歸模型，也就是假定被解釋變量只受一個因素的影響。但是在現(xiàn)實生活中，一個被解釋變量往往受到多個因素的影響。例如，商品的消費需求，不但受商品本身的價格影響，還受到消費者的偏好、收入水平、替代品價格、互補品價格、對商品價格的預測以及消費者的數(shù)量等諸多因素的影響。在分析這些問題的時候，僅利用一元線性回歸模型已經(jīng)不能夠反映各變量間的真實關(guān)系，因此，需要借助多元線性回歸模型來進行量化分析。1. 多元線性回歸模型的基本概念如果一個被解釋變量（因變量）有個解釋變量（自變量）， 同時

2、，不僅是的線性函數(shù)，而且是參數(shù)和（通常未知）的線性函數(shù)，隨即誤差項為，那么多元線性回歸模型可以表示為： 這里為總體多元線性回歸方程，簡稱總體回歸方程。其中，k表示解釋變量個數(shù)，稱為截距項，是總體回歸系數(shù)。表示在其他自變量保持不變的情況下，自變量變動一個單位所引起的因變量Y平均變動的數(shù)量，因而也稱之為偏回歸系數(shù)。當給定一個樣本時，上述模型可以表示為：此時，與已知，與未知。其相應(yīng)的矩陣表達式為：可以簡化為：-總體回歸模型的簡化形式。2. 假定條件與一元線性回歸模型的基本假定相似，為保證得到最優(yōu)估計量，多元線性回歸模型應(yīng)滿足以下假定條件：假定1 隨機誤差項滿足均值為零，其方差相同且為有限值。假定2

3、隨機誤差項之間相互獨立，無自相關(guān)。假定3 解釋變量，之間線性無關(guān)，即解釋變量的樣本觀測值矩陣式滿秩矩陣，否則稱解釋變量之間存在多重共線性（與課本假定7合并）。假定4 解釋變量，是確定性變量，與誤差項彼此之間相互獨立。假定5 解釋變量是非隨機變量，且當，Q是一個有限值的非奇異矩陣。假定6 隨機誤差項服從正態(tài)分布。假定7 回歸模型是正確設(shè)計的。二、最小二乘法根據(jù)最小二乘法的原則，總體回歸模型可以推導為樣本回歸模型，即：其中，是的估計值列向量，稱為殘差列向量。因為，所以，也是Y的線性組合。關(guān)于多元線性回歸模型中樣本容量的問題：（1）最小樣本容量在多元線性回歸模型中，樣本容量必須不少于模型中解釋變量的

4、數(shù)目（包括常數(shù)項），這就是最小樣本容量，即：。（2）滿足基本要求的樣本容量一般經(jīng)驗認為，當或者至少時，才能說滿足模型估計的基本要求。三、多元可決系數(shù)與調(diào)整后的多元可決系數(shù)類似于一元線性回歸模型的情形，我們對估計的回歸方程關(guān)于樣本觀測值的擬合優(yōu)度進行檢驗，而檢驗的統(tǒng)計量是可決系數(shù)。因是多元回歸，樣本可決系數(shù)就稱為多元可決系數(shù)。對于多元線性回歸模型的情形，一元線性回歸模型的總離差平方和的分解公式依然成立，即：TSS= ESS +RSS其中，TSS的自由度為n-1，n表示樣本容量， ESS的自由度為k，k表示自變量的個數(shù)，RSS的自由度為n-k-1。我們在模型應(yīng)用中發(fā)現(xiàn)，如果在模型中增加一個解釋變量

5、，往往會增大。這是因為殘差平方和往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。這就給人一個錯覺：要使模型擬合得好，只要增加解釋變量就可以了。但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的的增大與擬合好壞無關(guān)，因此，在多元線性回歸模型之間比較擬合優(yōu)度，就不是一個合適的指標，必須加以調(diào)整。在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是將殘差平方和與總離差平方和分別處以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。定義調(diào)整的多元可決系數(shù) 如下：當模型中增加一個自變量，如果RSS/(n-k-1)變小，因而使增大，便可認為這個自變量對因變量有顯著影響，應(yīng)該放入模型中，否則，應(yīng)

6、予拋棄。在樣本容量一定的情況下，具有如下性質(zhì)：（1） 若（2） 可能出現(xiàn)負值。如時，。顯然，負的擬合優(yōu)度沒有任何意義，在此情況下，取在實際中，或越大，模型擬合得就越好，但擬合優(yōu)度不是評價模型優(yōu)劣的唯一標準。因此，我們不能僅根據(jù)或的大小來選擇模型。補充知識：赤池信息準則和施瓦茨信息準則為了比較所含解釋變量個數(shù)不同的多元線性回歸模型的擬合優(yōu)度，常用的標準還有赤池信息準則（Akaike Information Criterion，AIC）和施瓦茨信息準則（Schwarz Criterion，SC），其定義分別為：這兩個準則均要求僅當所增加的解釋變量能夠減少AIC值或SC值時才能在原模型中增加該解釋變

7、量。顯然，與調(diào)整的可決系數(shù)相仿，如果增加的解釋變量沒有解釋能力，則對殘差平方和e，e的減小沒有多大幫助，但增加了待估參數(shù)的個數(shù)，這時可能到時AIC或SC的值增加。四、統(tǒng)計檢驗1. F檢驗為了從總體上檢驗模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立，檢驗的原假設(shè)為：（k表示方程中回歸系數(shù)的個數(shù)，也可以稱為自變量的個數(shù)）若成立，則模型中被解釋變量與解釋變量之間不存在顯著的線性關(guān)系。備擇解釋為：不全為零。若原假設(shè)成立，則檢驗統(tǒng)計量：這是自由度為的F分布，對于預先給定的顯著水平a，可以從F分布表中查出相應(yīng)的自由度。設(shè)檢驗水平為a，則檢驗規(guī)則是：若，接受原假設(shè)；若，則接受備選假設(shè)。F與的關(guān)系：， 由公式，可以看出，F(xiàn)與成正比，越大，F(xiàn)值也越大。即總體的F檢驗越顯著（F值越大），的值也越大，回歸方程擬合得就越好，所以，F(xiàn)檢驗可以看作是對擬合優(yōu)度的檢驗。2.回歸系數(shù)的顯著性檢驗t檢驗對于多元線性回歸模型，總體回歸方程線性關(guān)系的顯著性，并不意味著每個解釋變量對被解釋變量的影響都是顯著的。因此，有必要通過檢驗把那些對被解釋變量影響不顯著的解釋變量從模型中剔除，只保留對被解釋變量影響