多元線性回歸模型的推廣淺析

多元線性回歸模型的推廣淺析第一節(jié)多元線性回歸模型的概念

在許多實際問題中，我們所研究的因變量的變動可能不僅與一個解釋變量有關(guān)。因此，有必要考慮線性模型的更一般形式，即多元線性回歸模型：

t=1,2,…,n在這個模型中，Y由X1,X2,X3,…XK所解釋，有K+1個未知參數(shù)β0、β1、β2、…βK。

這里，“斜率”βj的含義是其它變量不變的情況下，Xj改變一個單位對因變量所產(chǎn)生的影響。2

例1：

其中，Y=在食品上的總支出X=個人可支配收入P=食品價格指數(shù)用美國1959-1983年的數(shù)據(jù)，得到如下回歸結(jié)果（括號中數(shù)字為標(biāo)準(zhǔn)誤差）：

Y和X的計量單位為10億美元(按1972不變價格計算).

3多元線性回歸模型中斜率系數(shù)的含義上例中斜率系數(shù)的含義說明如下：價格不變的情況下，個人可支配收入每上升10億美元（1個billion），食品消費支出增加1.12億元（0.112個billion）。收入不變的情況下，價格指數(shù)每上升一個點，食品消費支出減少7.39億元（0.739個billion）4例2：其中，Ct=消費，Dt=居民可支配收入Lt=居民擁有的流動資產(chǎn)水平β2的含義是，在流動資產(chǎn)不變的情況下，可支配收入變動一個單位對消費額的影響。這是收入對消費額的直接影響。收入變動對消費額的總影響=直接影響+間接影響。（間接影響：收入影響流動資產(chǎn)擁有量影響消費額）但在模型中這種間接影響應(yīng)歸因于流動資產(chǎn)，而不是收入，因而，β2只包括收入的直接影響。

在下面的模型中：這里，β是可支配收入對消費額的總影響，顯然β和β2的含義是不同的。5回到一般模型

t=1,2,…，n即對于n組觀測值，有6其矩陣形式為：

其中

7第二節(jié)多元線性回歸模型的估計多元線性回歸模型的估計與雙變量線性模型類似，仍采用最小二乘法。當(dāng)然，計算要復(fù)雜得多，通常要借助計算機。理論推導(dǎo)需借助矩陣代數(shù)。下面給出最小二乘法應(yīng)用于多元線性回歸模型的假設(shè)條件、估計結(jié)果及所得到的估計量的性質(zhì)。一．假設(shè)條件（1）E(ut)=0,t=1,2,…,n（2）E(uiuj)=0,i≠j（3）E(ut2)=σ2,t=1,2,…,n（4）Xjt是非隨機量，j=1,2,…kt=1,2,…n8

除上面4條外，在多個解釋變量的情況下，還有兩個條件需要滿足：（5）（K+1）<n;即觀測值的數(shù)目要大于待估計的參數(shù)的個數(shù)（要有足夠數(shù)量的數(shù)據(jù)來擬合回歸線）。（6）各解釋變量之間不存在嚴格的線性關(guān)系。9上述假設(shè)條件可用矩陣表示為以下四個條件：(1)E(u)=0

(2)由于顯然，僅當(dāng)E(uiuj)=0,i≠jE(ut2)=σ2,t=1,2,…,n這兩個條件成立時才成立，因此，此條件相當(dāng)前面條件(2),(3)兩條，即各期擾動項互不相關(guān)，并具有常數(shù)方差。10

（3）X是 是一個非隨機元素矩陣。（4）Rank(X)=(K+1)<n.------相當(dāng)于前面(5)、(6)兩條即矩陣X的秩=（K+1)<n當(dāng)然，為了后面區(qū)間估計和假設(shè)檢驗的需要，還要加上一條：（5）～，t=1,2,…n11要使殘差平方和

為最小，則應(yīng)有：我們得到如下K+1個方程（即正規(guī)方程）：

12按矩陣形式，上述方程組可表示為：13=即14上述結(jié)果，亦可從矩陣表示的模型出發(fā)，完全用矩陣代數(shù)推導(dǎo)出來。殘差可用矩陣表示為：其中：15殘差平方和16注意到上式中所有項都是標(biāo)量，且故令用矩陣微分法，我們可得到與采用標(biāo)量式推導(dǎo)所得結(jié)果相同。由上述結(jié)果，我們有17三.最小二乘估計量的性質(zhì)我們的模型為估計式為

1．的均值18（由假設(shè)3）(由假設(shè)1)即這表明，OLS估計量是無偏估計量。19下面推導(dǎo)此矩陣的計算公式.20由上一段的結(jié)果，我們有因此，21如前所述，我們得到的實際上不僅是的方差，而且是一個方差-協(xié)方差矩陣，為了反映這一事實，我們用下面的符號表示之：展開就是：223．2的估計與雙變量線性模型相似，2的無偏估計量是

這是因為我們在估計的過程中，失去了（K+1）個自由度。4．高斯-馬爾科夫定理對于以及標(biāo)準(zhǔn)假設(shè)條件（1）-（4），普通最小二乘估計量是最佳線性無偏估計量（BLUE）23我們已在上一段中證明了無偏性，下面證明線性和最小方差性。證明的路子與雙變量模型中類似，只不過這里我們采用矩陣和向量的形式。由OLS估計量的公式

可知,可表示為一個矩陣和應(yīng)變量觀測值向量的乘積：其中是一個(K+1)*n非隨機元素矩陣。因而顯然有是線性估計量。24現(xiàn)設(shè)為的任意一個線性無偏估計量，即其中是一個(K+1)*n非隨機元素矩陣。則

顯然，若要為無偏估計量，即，只有，為（K+1）階單位矩陣。25的方差為：

我們可將寫成

從而將的任意線性無偏估計量與OLS估計量聯(lián)系起來。26因此

最后的不等號成立是因為為半正定矩陣。這就證明了OLS估計量是的所有線性無偏估計量中方差最小的。至此，我們證明了高斯-馬爾科夫定理。27第三節(jié)擬合優(yōu)度一．決定系數(shù)R2對于雙變量線性模型Y=α+βX+u我們有其中，=殘差平方和28對于多元線性模型

我們可用同樣的方法定義決定系數(shù)：為方便計算，我們也可以用矩陣形式表示R229

我們有：殘差，其中，殘差平方和：30而

將上述結(jié)果代入R2的公式，得到：這就是決定系數(shù)R2的矩陣形式。31二．修正決定系數(shù)：殘差平方和的一個特點是，每當(dāng)模型增加一個解釋變量，并用改變后的模型重新進行估計，殘差平方和的值會減小。由此可以推論，決定系數(shù)是一個與解釋變量的個數(shù)有關(guān)的量：解釋變量個數(shù)增加減小R2

增大也就是說，人們總是可以通過增加模型中解釋變量的方法來增大R2的值。因此，用R2來作為擬合優(yōu)度的測度，不是十分令人滿意的。為此，我們定義修正決定系數(shù)（Adjusted）如下：32是經(jīng)過自由度調(diào)整的決定系數(shù)，稱為修正決定系數(shù)。我們有：（1）（2）僅當(dāng)K=0時，等號成立。即（3）當(dāng)K增大時，二者的差異也隨之增大。（4）可能出現(xiàn)負值。33三．例子下面我們給出兩個簡單的數(shù)值例子，以幫助理解這兩節(jié)的內(nèi)容.例1 Yt=1+2X2t+3X3t+ut設(shè)觀測數(shù)據(jù)為：Y：31835X2：31524X3：54646試求各參數(shù)的OLS估計值，以及。解：我們有34353637例2.設(shè)n=20,k=3,R2=0.70求。解：下面改變n的值，看一看的值如何變化。我們有若n=10，則=0.55若n=5，則=-0.20

由本例可看出，有可能為負值。這與R2不同（）。38

第四節(jié)非線性關(guān)系的處理迄今為止，我們已解決了線性模型的估計問題。但在實際問題中，變量間的關(guān)系并非總是線性關(guān)系，經(jīng)濟變量間的非線性關(guān)系比比皆是。如大家所熟悉的柯布-道格拉斯生產(chǎn)函數(shù):

就是一例。在這樣一些非線性關(guān)系中，有些可以通過代數(shù)變換變?yōu)榫€性關(guān)系處理，另一些則不能。下面我們通過一些例子來討論這個問題。39一.線性模型的含義線性模型的基本形式是:其特點是可以寫成每一個解釋變量和一個系數(shù)相乘的形式。線性模型的線性包含兩重含義：（1）變量的線性變量以其原型出現(xiàn)在模型之中，而不是以X2或Xβ之類的函數(shù)形式出現(xiàn)在模型中。（2）參數(shù)的線性因變量Y是各參數(shù)的線性函數(shù)。40二．線性化方法對于線性回歸分析，只有第二種類型的線性才是重要的，因為變量的非線性可通過適當(dāng)?shù)闹匦露x來解決。例如，對于

此方程的變量和參數(shù)都是線性的。如果原方程的擾動項滿足高斯—馬爾可夫定理條件，重寫的方程的擾動項也將滿足。41參數(shù)的非線性是一個嚴重得多的問題，因為它不能僅憑重定義來處理?？墒牵绻Ｐ偷挠叶擞梢幌盗械腦β或eβX項相乘，并且擾動項也是乘積形式的，則該模型可通過兩邊取對數(shù)線性化。例如，需求函數(shù)

其中，Y=對某商品的需求X=收入P=相對價格指數(shù)

ν=擾動項可轉(zhuǎn)換為：42

用X,Y,P的數(shù)據(jù)，我們可得到logY,logX和logP,從而可以用OLS法估計上式。logX的系數(shù)是β的估計值，經(jīng)濟含義是需求的收入彈性，logP的系數(shù)將是γ的估計值，即需求的價格彈性。[注釋]彈性（elasticity）：一變量變動1%所引起的另一變量變動的百分比：

需求的收入彈性：收入變化1%，價格不變時，所引起的商品需求量變動的百分比。需求的價格彈性：價格變化1%，收入不變時，所引起的商品需求量變動的百分比。43三．例子例1需求函數(shù)本章§1中，我們曾給出一個食品支出為因變量，個人可支配收入和食品價格指數(shù)為解釋變量的線性回歸模型例子?，F(xiàn)用這三個變量的對數(shù)重新估計（采用同樣的數(shù)據(jù)），得到如下結(jié)果（括號內(nèi)數(shù)字為標(biāo)準(zhǔn)誤差）：回歸結(jié)果表明，需求的收入彈性是0.64,需求的價格彈性是0.48，這兩個系數(shù)都顯著異于0。44例2．柯布-道格拉斯生產(chǎn)函數(shù)生產(chǎn)函數(shù)是一個生產(chǎn)過程中的投入及其產(chǎn)出之間的一種關(guān)系。著名的柯布-道格拉斯生產(chǎn)函數(shù)（C-D函數(shù)）為

用柯布和道格拉斯最初使用的數(shù)據(jù)（美國1899-1922年制造業(yè)數(shù)據(jù)）估計經(jīng)過線性變換的模型得到如下結(jié)果（括號內(nèi)數(shù)字為標(biāo)準(zhǔn)誤差）：

從上述結(jié)果可以看出，產(chǎn)出的資本彈性是0.23，產(chǎn)出的勞動彈性為0.81。45例3．貨幣需求量與利率之間的關(guān)系

M=a(r-2)b這里，變量非線性和參數(shù)非線性并存。對此方程采用對數(shù)變換

logM=loga+blog(r-2)令Y=logM,X=log(r-2),β1=loga,β2=b則變換后的模型為：

Yt=β1+β2Xt+ut

46將OLS法應(yīng)用于此模型，可求得β1和β2的估計值從而可通過下列兩式求出a和b估計值：

應(yīng)當(dāng)指出，在這種情況下，線性模型估計量的性質(zhì)（如BLUE,正態(tài)性等）只適用于變換后的參數(shù)估計量，而不一定適用于原模型參數(shù)的估計量和。47例4．上例在確定貨幣需求量的關(guān)系式時，我們實際上給模型加進了一個結(jié)束條件。根據(jù)理論假設(shè)，在某一利率水平上，貨幣需求量在理論上是無窮大。我們假定這個利率水平為2%。假如不給這一約束條件，而是從給定的數(shù)據(jù)中估計該利率水平的值，則模型變?yōu)椋?/p>

M=a(r-c)b

式中a,b,c均為參數(shù)。仍采用對數(shù)變換，得到

log(Mt)=loga+blog(rt-c)+utt=1,2,…,n

我們無法將log(rt-c)定義為一個可觀測的變量X,因為這里有一個未知量c。也就是說，此模型無法線性化。在這種情況下，只能用估計非線性模型參數(shù)值的方法。48非線性回歸方法的步驟1． 首先給出各參數(shù)的初始估計值（合理猜測值）;2． 用這些參數(shù)值和X觀測值數(shù)據(jù)計算Y的各期預(yù)測值（擬合值）;3．計算各期殘差，然后計算殘差平方和∑e2;4．對一個或多個參數(shù)的估計值作微小變動；5．計算新的Y預(yù)測值、殘差平方和∑e2；6．若新的∑e2小于老的∑e2，說明新參數(shù)估計值優(yōu)于老估計值，則以它們作為新起點；7．重復(fù)步驟4，5，6，直至無法減小∑e2為止。8．最后的參數(shù)估計值即為最小二乘估計值。49

第五節(jié)假設(shè)檢驗一．系數(shù)的顯著性檢驗1． 單個系數(shù)顯著性檢驗?zāi)康氖菣z驗?zāi)硞€解釋變量的系數(shù)βj是否為0，即該解釋變量是否對因變量有影響。原假設(shè)：H0：βj=0備擇假設(shè)：H1：βj≠0檢驗統(tǒng)計量是自由度為n-K-1的t統(tǒng)計量：～t(n-K-1)50單個系數(shù)顯著性檢驗的檢驗統(tǒng)計量是自由度為n-K-1的t統(tǒng)計量：～t(n-K-1)其中，為矩陣主對角線上第j+1個元素。而51例：柯布-道格拉斯生產(chǎn)函數(shù)用柯布和道格拉斯最初使用的數(shù)據(jù)（美國1899-1922年制造業(yè)數(shù)據(jù)）估計經(jīng)過線性變換的模型得到如下結(jié)果（括號內(nèi)數(shù)字為標(biāo)準(zhǔn)誤差）：請檢驗“斜率”系數(shù)和的顯著性。解：(1)檢驗的顯著性

原假設(shè)：H0：

=0

備擇假設(shè)：H1：

≠052由回歸結(jié)果，我們有：t＝0.23/0.06=3.83用=24－3＝21查t表，5%顯著性水平下，tc＝2.08.∵t＝3.83tc＝2.08，故拒絕原假設(shè)H0。結(jié)論：顯著異于0。(2)檢驗的顯著性原假設(shè)：H0：

=0

備擇假設(shè)：H1：

≠0由回歸結(jié)果，我們有：t＝0.81/0.15=5.4∵t＝5.4tc＝2.08，故拒絕原假設(shè)H0。結(jié)論：顯著異于0。532．若干個系數(shù)的顯著性檢驗（聯(lián)合假設(shè)檢驗）

有時需要同時檢驗若干個系數(shù)是否為0，這可以通過建立單一的原假設(shè)來進行。設(shè)要檢驗g個系數(shù)是否為0，即與之相對應(yīng)的g個解釋變量對因變量是否有影響。不失一般性，可設(shè)原假設(shè)和備擇假設(shè)為：H0:β1=β2=…=βg

=0H1:

H0不成立

(即X1,…Xg中某些變量對Y有影響)54分析：這實際上相當(dāng)于檢驗g個約束條件β1=0，β2=0，…，βg

=0是否同時成立。若H0為真，則正確的模型是：

據(jù)此進行回歸（有約束回歸），得到殘差平方和

SR是H0為真時的殘差平方和。

若H1為真，正確的模型即原模型：55所使用的檢驗統(tǒng)計量是：

～F(g,n-K-1)其中，g為分子自由度，n-K-1為分母自由度。使用的作用是消除具體問題中度量單位的影響，使計算出的F值是一個與度量單位無關(guān)的量。56例：給定20組Y,X1,X2,X3的觀測值，試檢驗?zāi)Ｐ椭蠿1和X3對Y是否有影響？解：（1）全回歸估計得到：S=∑e2=25（2）有約束回歸

估計得到：SR=∑e2=3057原假設(shè)H0:β1=

β3=0備擇假設(shè)H1:

H0不成立我們有：n=20,g=2,K=3用自由度（2，16）查F分布表，5%顯著性水平下，F(xiàn)C=3.63∵F=1.6<FC=3.63,故接受H0。結(jié)論：X1和X3對Y無顯著影響583．全部斜率系數(shù)為0的檢驗上一段結(jié)果的一個特例是所有斜率系數(shù)均為0的檢驗，即回歸方程的顯著性檢驗：

H0：β1=β2=…=βK=0也就是說，所有解釋變量對Y均無影響。注意到g=K，

則該檢驗的檢驗統(tǒng)計量為：

59分子分母均除以，有從上式不難看出，全部斜率為0的檢驗實際是檢驗R2的值是否顯著異于0，如果接受原假設(shè)，則表明因變量的行為完全歸因于隨機變化。若拒絕原假設(shè)，則表明所選擇模型對因變量的行為能夠提供某種程度的解釋。60二．檢驗其他形式的系數(shù)約束條件上面所介紹的檢驗若干個系數(shù)顯著性的方法，也可以應(yīng)用于檢驗施加于系數(shù)的其他形式的約束條件，如

檢驗的方法仍是分別進行有約束回歸和無約束回歸，求出各自的殘差平方和SR和S，然后用F統(tǒng)計量進行檢驗。當(dāng)然，單個系數(shù)的假設(shè)檢驗，如H0：3=1.0，亦可用t檢驗統(tǒng)計量進行檢驗。61例：Cobb-Douglas生產(chǎn)函數(shù)

Y=AKαLβν試根據(jù)美國制造業(yè)1899-1922年數(shù)據(jù)檢驗規(guī)模效益不變的約束：α+β=1解：（1）全回歸

（2）有約束回歸：將約束條件代入，要回歸的模型變?yōu)椋?/p>

Y=AKαL1-αν為避免回歸系數(shù)的不一致問題，兩邊除以L，模型變換為：

Y/L=A(K/L)αν

62回歸，得：

由軟件包可得到約束回歸和全回歸的殘差平方和分別為SR=0.0716S=0.0710（3）檢驗原假設(shè)H0:α+β＝1備擇假設(shè)H1:α+β≠1

本例中，g=1,K=2,n=24

63

用自由度（1，21）查F表，5%顯著性水平下，F(xiàn)c=4.32∵F=0.18<Fc=4.32故接受原假設(shè)H0:α+β＝1（4）結(jié)論我們的數(shù)據(jù)支持規(guī)模收益不變的假設(shè)。64第六節(jié)

預(yù)測我們用OLS法對多元回歸模型的參數(shù)進行了估計之后，如果結(jié)果理想，則可用估計好的模型進行預(yù)測。與雙變量模型的作法類似，預(yù)測指的是對各自變量的某一組具體值

來預(yù)測與之相對應(yīng)的因變量值。當(dāng)然，要進行預(yù)測，有一個假設(shè)前提應(yīng)當(dāng)滿足，即擬合的模型在預(yù)測期也成立。

點預(yù)測值由與給定的諸X值對應(yīng)的回歸值給出，即

而預(yù)測期的實際Y值由下式給出：

其中u0是從預(yù)測期的擾動項分布中所取的值。65預(yù)測誤差的方差為：

從的定義可看出，為正態(tài)變量的線性函數(shù)，因此，它本身也服從正態(tài)分布。故66由于為未知，我們用其估計值代替它，有

則的95%置信區(qū)間為：（其中，）67例用書上P79例4.3的數(shù)據(jù)，預(yù)測X2=10，X3=10的Y值。解：

由例4.3我們已得到：

因此

的95%置信區(qū)間為：或3.66至23.65之間.68例1：你在研究學(xué)歷和收入之間的關(guān)系，在你的樣本中，既有女性又有男性，你打算研究在此關(guān)系中，性別是否會導(dǎo)致差別。例2：你在研究某省家庭收入和支出的關(guān)系，采集的樣本中既包括農(nóng)村家庭，又包括城鎮(zhèn)家庭，你打算研究二者的差別。例3：你在研究通貨膨脹的決定因素，在你的觀測期中，有些年份政府實行了一項收入政策。你想檢驗該政策是否對通貨膨脹產(chǎn)生影響。上述各例都可以用兩種方法來解決，一種解決方法是分別進行兩類情況的回歸，然后看參數(shù)是否不同。另一種方法是用全部觀測值作單一回歸，將定性因素的影響用虛擬變量引入模型。69二．虛擬變量的使用方法1． 截距變動設(shè)Y表示消費，X表示收入，我們有：

}假定β不變。對于5年戰(zhàn)爭和5年和平時期的數(shù)據(jù)，我們可分別估計上述兩個模型，一般將給出的不同值?，F(xiàn)引入虛擬變量D,將兩式并為一式：

其中，

70此式等價于下列兩式：

}截距變動，斜率不變

在包含虛擬變量的模型中，D的數(shù)據(jù)為0，0，0，0，0，1，1，1，1，1。估計結(jié)果如下圖所示：

應(yīng)用t檢驗，β2是否顯著可以表明截距項在兩個時期是否有變化。712． 斜率變動如果我們認為戰(zhàn)時和平時的消費函數(shù)中，截距項不變，而斜率不同，即β變動，則可用下面的模型來研究兩個時期邊際消費傾向的差異：

其中，D={

不難看出，上式相當(dāng)于下列兩式：

同樣，包括虛擬變量的模型中，β2是否顯著可以表明斜率在兩個時期是否變化。724．季節(jié)虛擬變量的使用許多變量展示出季節(jié)性的變異(如商品零售額、電和天然氣的消費等)，我們在建立模型時應(yīng)考慮這一點，這有兩種方法：（1）在估計前對數(shù)據(jù)進行季節(jié)調(diào)整；（2）采用虛擬變量將季節(jié)性差異反映在模型中。例：設(shè)Y=購買汽車的實際支出額X=實際總消費支出用美國1973（1）-1980(2)的季度數(shù)據(jù)（按1975年價格計算），得回歸結(jié)果如下：73這一結(jié)果很不理想，低R2值，低t值，X的符號也不對。考慮到可能是季節(jié)性變異的問題，我們建立下面的模型：

其中，Q1={

Q2={

Q3={

請注意我們僅用了3個虛擬變量就可表示4個季度的情況。各季度的截距分別為：1季度：0+12季度：0+23季度：0+34季度：074估計結(jié)果如下：

結(jié)果仍不理想，但好多了。四個季度的截距項分別為：-1039.2，-1122.7，-1161.4，-1455.8。所得到的實際總支出的參數(shù)估計值（0.10