第3章多元(復(fù))回歸分析

1、經(jīng)濟(jì)類核心課程計(jì)量經(jīng)濟(jì)學(xué)PowerPoint Presentation by Lu Shiguang 2012 All Right Reserved, Hunan Institute of Engineering第三章 多元（復(fù)）回歸分析教師：盧時(shí)光1. 復(fù)回歸分析：估計(jì)問(wèn)題1.1 三變量模型：符號(hào)和假設(shè)將雙變量的總體回歸模型（PRF）推廣，就得到了三變量的總體回歸模型。其中，Y是應(yīng)變量，X2和X3是解釋變量，u是隨機(jī)干擾項(xiàng)，i是指第i次觀測(cè)值（當(dāng)數(shù)據(jù)為實(shí)踐序列時(shí)，下標(biāo)t表示第t次觀測(cè)）。系數(shù)1和2被稱為偏回歸系數(shù)。我們繼續(xù)在經(jīng)典線性回歸模型（CLRM）框架下，這樣我們對(duì)模型做出如下假設(shè)：ii

2、iiuXXY33221其中（6）是說(shuō)X2與X3之間沒(méi)有精確的線性關(guān)系，專業(yè)上稱為無(wú)共線性無(wú)共線性或無(wú)多重共線性無(wú)多重共線性。無(wú)共線性是說(shuō)沒(méi)有一個(gè)解釋變量可以寫成其余解釋變量的線性組合。如果不存在一組不全為零的數(shù)2和3，使得：如果是這關(guān)系存在，我們就說(shuō)， X2與X3的共線的共線的或線性相關(guān)線性相關(guān)。令一方面，如果這一關(guān)系僅當(dāng)2=3=0時(shí)存在，則X2與X3線性獨(dú)立線性獨(dú)立。性變量之間無(wú)精確的共線確地設(shè)定無(wú)設(shè)定偏誤：模型被正：變量之間都有零協(xié)方差與每一個(gè)同方差性：無(wú)序列相關(guān)：對(duì)于每一個(gè)有零均值：XXuXuXuujiuuiXXuEuiiiiiijiiiii )6( )5(0),cov(),cov( )

3、4()var( )3(, 0),cov( )2( , 0),|( ) 1 (3223203322iiXX（a）圖表示X2和X3不存在線性關(guān)系。（b）圖中，區(qū)域Y的3和4區(qū)域的變異是由于X2引起的，而Y的4和5區(qū)域的變異是由于X3引起的，但是區(qū)域4是X2和X3共有的，我們無(wú)法精確地區(qū)別開(kāi)來(lái)，這樣區(qū)域4代表了共線性。無(wú)共線性就要求像（a）圖那樣，解釋變量沒(méi)有重疊區(qū)域。1.2 對(duì)復(fù)回歸方程的解釋對(duì)式子兩邊求條件期望：這樣，式子給出以變量X2和X3的固定值為條件的Y的條件均值或期望值。如同雙變量回歸分析，復(fù)回歸分析是以多個(gè)解釋變量的固定值為條件的回歸分析，并且我們所獲取的，是變量X值固定時(shí)的Y的平均值

4、或Y的平均響應(yīng)。iiiiiXXXXYE3322132),|(1.3 偏回歸系數(shù)的含義偏回歸系數(shù)的含義如下：2度量者在保持X3不變的情況下，X2每變化1單位，Y的均值E（Y|X2,X3）的變換。換句話說(shuō),2給出保持X3不變時(shí)Y的均值E（Y|X2,X3）對(duì)X2的斜率。類似的,3度量者在保持X2不變的情況下，X3每變化1單位，Y的均值E（Y|X2,X3）的變換。如何理解保持不變？假定Y代表產(chǎn)出，X2和X3分布代表勞動(dòng)和資本投入。再假定X2和X3都是生產(chǎn)必須的，且它們用于生產(chǎn)的投入比例可以變換。當(dāng)勞動(dòng)投入增加一個(gè)單位帶來(lái)的產(chǎn)出的增加（勞動(dòng)的邊際產(chǎn)量）。在這里有一個(gè)前提，就是勞動(dòng)增加的同時(shí)，資本投入的數(shù)

5、量保持不變，否則我們無(wú)法區(qū)分在增加的Y中，那些是由于勞動(dòng)X2的增加帶來(lái)的，那些是由于資本X3增加帶來(lái)的。只有想辦法使得資本X3投入保持不變，才能衡量勞動(dòng)X2投入對(duì)產(chǎn)出增長(zhǎng)的真實(shí)貢獻(xiàn)。1.4 偏回歸系數(shù)的OLS估計(jì)先寫出樣本回歸函數(shù)（SRF）：OLS方法是要選擇未知參數(shù)的值，使得殘差平方和盡可能的小，用符號(hào)表示為：對(duì)未知數(shù)求微分，并令表達(dá)式為零，得到下述正則方程：iiiiuXXY332212332212)(miniiiiXXYu23332231332322221233221iiiiiiiiiiiiXXXXXYXXXXXYXXY按照用小寫字母表示對(duì)樣本離差的慣例，解正則方程得：2和3最小二乘估計(jì)量

6、的性質(zhì)：（1）可以從方程2和方程3中通過(guò)x2和x3的對(duì)調(diào)得到另外一個(gè)，所有它們本質(zhì)上是對(duì)稱的；（2）兩個(gè)方程的分母完全相同；（3）三變量情形是雙變量的自然推廣。232232232222332322322323232233221)()()()()()()()(iiiiiiiiiiiiiiiiiiiiiixxxxxxxyxxyxxxxxxxyxxyXXY得到偏回歸系數(shù)的OLS估計(jì)量，既可以推出這些估計(jì)量的方差和標(biāo)準(zhǔn)誤。我們計(jì)算標(biāo)準(zhǔn)誤有兩個(gè)目的：建立置信區(qū)間和檢驗(yàn)統(tǒng)計(jì)假設(shè)。下列公式不加證明的給出，相關(guān)推導(dǎo)過(guò)程請(qǐng)參閱文獻(xiàn)。)(sexxxxxxXXxXxXniiiiiiii112322322323222

7、2323221var)()(21)var()(serxXXrxxxxxiiiiii2222322222322322322232var)()1 ()var(32)()()var(的樣本相關(guān)系數(shù)，則和為仿照前章，我們能夠證明2的一個(gè)無(wú)偏估計(jì)量是（注意：這里的自由度是（n-3），因?yàn)槲覀冊(cè)诠烙?jì)殘差之前必須要估計(jì)參數(shù)1、2和3 ，所以消耗了3個(gè)自由度。）)(serxxxxxxiiiiii23223232322322322223var)()1 ()var()()()var(等價(jià)地：iiiiiiixyxyyunu3322222231.5 OLS估計(jì)量的性質(zhì)1. 三變量回歸線（面）通過(guò)均值 。(為什么？)2

8、. 估計(jì)的Yi的均值等于真實(shí)Yi的均值。證明：32,XXY和YYxxxnxnYYnxxYXXXXYXXXXYXXYiiiiiiiiiiiiiii 0)()()(32332233223332223322332233221（為什么？）以樣本大小兩邊對(duì)樣本值求和并除3.4. 殘差 與Y，X2和X3均不相關(guān)，于是有 5. 根據(jù)式子： 隨著X2和X3的相關(guān)系數(shù)r23增大， 的方差也在增大，在r23=1時(shí)，完全共線性，這些方差變得無(wú)限大。直觀地看，隨著r23的增大，要知道2和3的真值越來(lái)越難。而X的樣本值變化越大（x越大），則方差越小，從而能夠更精確的估計(jì)2和3 。0 iuiu 0032iiiiiiYuX

9、uXu)1 ()var(2232222rxi)1 ()var(2232323rxi32 和1.6 復(fù)判定系數(shù)R2在三變量模型中，我們想知道Y的變異由X2和X3聯(lián)合解釋的比例，提供這一信息的數(shù)量被稱為復(fù)相關(guān)系數(shù)，記為R2。233222233222332222233222222222, 0,2,iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiyxyxyTSSRSSRRxyxyyRSSxyxyyyyxyxyyuuyuyuyuyyuyy定義：按照整理得帶入平方后求和式中各項(xiàng)均可以從樣本數(shù)據(jù)中計(jì)算得出，因此R2也很容易得到。R2是一個(gè)落在0和1之間的數(shù)。如果是1，則所擬合的回歸線1

10、00%的解釋了Y的變異；如果是0，則模型不解釋任何Y的變異。R2越靠近1，說(shuō)明模型的“擬合”越好。1.7 校正的R2R2有一個(gè)重要的性質(zhì)，即它是出現(xiàn)在模型中的解釋變量個(gè)數(shù)的非減函數(shù)。隨著解釋變量個(gè)數(shù)的增加， R2必然增大而不會(huì)減少。回憶R2的定義：這里， 與模型中X的變量沒(méi)有關(guān)系。但是RSS即 與模型中的X個(gè)數(shù)有關(guān)。隨著X的個(gè)數(shù)增加， 模型的 很可能減小（至少不會(huì)變大），隨之，R2變大。22211iiyuTSSESSTSSRSSR22)(YYyii2iu2iu那么，怎樣解決這個(gè)問(wèn)題呢？我們必須考慮到模型中X變量的個(gè)數(shù)，那么：也就是說(shuō)，分子分母均除以其自由度（df），這樣我們就消除了由于解釋變量

11、增加而帶來(lái)的R2變大的問(wèn)題， 被稱為校正的R2（adjusted R2）。 在計(jì)算中要先計(jì)算均值，故損失一個(gè)自由度，自由度為（n-1）, 的自由度中的k，是指包括截距項(xiàng)在內(nèi)的模型中的參數(shù)的個(gè)數(shù)。在三變量模型中， 的自由度是（n-3）。) 1/()/(1222nyknuRii2R22)(YYyii2iu2iu2. 復(fù)回歸分析：推斷問(wèn)題2.1 再一次正態(tài)性假設(shè)如果我們的唯一目的是對(duì)回歸模型的參數(shù)作點(diǎn)估計(jì)，則普通最小二乘法（OLS）將足夠使用，并不需要對(duì)干擾項(xiàng)ui的概率分布作任何假設(shè)，但我們的目的還要對(duì)其進(jìn)行估計(jì)和推斷，我們還需要假定ui服從某個(gè)概率分布。我們?cè)?jīng)假設(shè)ui遵循均值為零、方差為常數(shù)的正

12、態(tài)分布。有了正態(tài)分布的假設(shè)，我們發(fā)現(xiàn)，偏回歸系數(shù)的OLS估計(jì)量是最優(yōu)線性無(wú)偏估計(jì)（BLUE），此外，估計(jì)量 本身也是正態(tài)分布，其均值等于 ，而方差 遵循自由度為n-3的2分布，并且三個(gè)OLS估計(jì)量均獨(dú)立于 而分布，在標(biāo)準(zhǔn)誤的計(jì)算中， 由它的無(wú)偏估計(jì) 替代時(shí)，我們有：均服從自由度為n-3的t分布。132,和132,和22/) 3(n2)(111set22)(222set)(333set注意，自由度為n-3是因?yàn)槲覀冊(cè)谟?jì)算 和 之前，我們必須先要估計(jì)三個(gè)回歸系數(shù)，從而給殘差平方和（RSS）的計(jì)算加上了三個(gè)約束。于是，t分布可用于建立關(guān)于真實(shí)總體偏回歸系數(shù)的置信區(qū)域并檢驗(yàn)統(tǒng)計(jì)假設(shè)。同理2分布可用于檢

13、驗(yàn)關(guān)于真實(shí) 的假設(shè)。一個(gè)例子：美國(guó)個(gè)人消費(fèi)與個(gè)人可支配收入的關(guān)系假設(shè)我們要研究在過(guò)去幾年中美國(guó)個(gè)人消費(fèi)支出的行為，用了下述簡(jiǎn)單模型： 其中 Y：個(gè)人消費(fèi)支出（PCE） X2：個(gè)人可支配收入（PDI） X3：以年計(jì)的時(shí)間 在用到時(shí)間序列數(shù)據(jù)的回歸分析中，我們通常引進(jìn)一個(gè)時(shí)間或趨勢(shì)變量。2iu22iiXXXXYE3322132),|(對(duì)上述回歸方程結(jié)果解釋如下：如果把X2和X3固定在零處，則個(gè)人消費(fèi)支出的均值估計(jì)為531.6億美元；偏回歸系數(shù)0.7266是說(shuō)，保持其他變量（X3）不變，個(gè)人收入每增加1美元，平均消費(fèi)支出增加約73美分。同理，若X2不變，平均個(gè)人消費(fèi)支出估計(jì)每年約增加27億美元。R2

14、值為0.9988，表明兩個(gè)解釋變量解釋了1956-1970年間美國(guó)個(gè)人消費(fèi)支出的變異約99.9%。校正的R2值則表明考慮了自由度的作用后，X2和X3仍解釋Y的變異的99.8%。我們根據(jù)表8.1中的數(shù)據(jù)，估計(jì)回歸線如下：2.2 復(fù)回歸中的假設(shè)檢驗(yàn)：總評(píng)一旦我們走出簡(jiǎn)單的雙變量線性回歸模型的范圍，假設(shè)檢驗(yàn)就會(huì)以多種有趣的形式出現(xiàn)，諸如： 1.檢驗(yàn)關(guān)于個(gè)別偏回歸系數(shù)的假設(shè)。 2.檢驗(yàn)所估計(jì)的復(fù)回歸模型的總顯著性，也就是要判別是否全部偏回歸系數(shù)同時(shí)為零。 3.檢驗(yàn)兩個(gè)或多個(gè)系數(shù)是否相等。 4.檢驗(yàn)偏回歸系數(shù)是否滿足某種約束條件。 5.檢驗(yàn)所估計(jì)的回歸模型在時(shí)間上或在不同橫截面單元上的穩(wěn)定性。 6.檢驗(yàn)

15、回歸模型的函數(shù)形式。因?yàn)樵诮?jīng)驗(yàn)分析中常常出現(xiàn)這些類型的一種或多種檢驗(yàn)，我們將分節(jié)討論每一種類型的檢驗(yàn)。2.3 檢驗(yàn)關(guān)于個(gè)別偏回歸系數(shù)的假設(shè)如果假設(shè) 成立，我們可以用t檢驗(yàn)統(tǒng)計(jì)量對(duì)任一偏回歸系數(shù)進(jìn)行檢驗(yàn)。我們?cè)O(shè)：虛擬假設(shè)的意思是：保持X3不變，個(gè)人可支配收入對(duì)個(gè)人消費(fèi)支出無(wú)（線性）影響。為了檢驗(yàn)這個(gè)虛擬假設(shè)，我們利用t檢驗(yàn)。如果計(jì)算的t值超過(guò)了選定顯著水平的臨界t值，就可以拒絕假設(shè)；否則，就不拒絕它。如果取=0.05，對(duì)于12個(gè)自由度有t/2=2.179（雙尾檢驗(yàn)）。由于計(jì)算的t值14.9060遠(yuǎn)遠(yuǎn)超過(guò)臨界t值2.179，故我們拒絕原假設(shè)， 在統(tǒng)計(jì)上是顯著的，或顯著地異于零。), 0(2Nui0

16、: 0:2120HH9060.140487. 07266. 0t2從圖解上來(lái)展示這一情形。我們?cè)谇懊婵吹郊僭O(shè)檢驗(yàn)和置信區(qū)間估計(jì)之間存在密切關(guān)系：2的95%置信區(qū)間是：具體的數(shù)值是：)()(22/2222/2setset8327. 06205. 00487. 0179. 27266. 00487. 0179. 27266. 022也就是說(shuō)，2以95%的置信系數(shù)落在0.6205與0.8327之間。這樣，如果選取了樣本容量為15的100個(gè)樣本，構(gòu)造100個(gè)這樣的置信區(qū)間，則我們預(yù)測(cè)其中95個(gè)包含著真實(shí)的2值。由于虛擬假設(shè)2 =0下，計(jì)算的t統(tǒng)計(jì)變量的值14.9060沒(méi)有落在這個(gè)區(qū)間內(nèi)，從而我們拒絕

17、虛假假設(shè)H0。事實(shí)上，我們注意：各個(gè)回歸系數(shù)的p值都異常的低，表明每個(gè)回歸系數(shù)都在一個(gè)比5%或1%低得多的顯著水平上，是統(tǒng)計(jì)上顯著的。2.4 檢驗(yàn)樣本回歸的總顯著性上面我們討論的僅僅是對(duì)個(gè)別的系數(shù)的顯著性進(jìn)行檢驗(yàn)，下面我們考慮虛擬假設(shè)，H0：2=3=0，是關(guān)于2和3聯(lián)合地或者同時(shí)地等于零的一個(gè)聯(lián)合假設(shè)。對(duì)象這樣的一個(gè)假設(shè)檢驗(yàn)稱之為對(duì)回歸的總顯著性檢驗(yàn)。我們?cè)谏厦娴挠懻撝兄鹨坏貦z驗(yàn)了偏回歸系數(shù)的個(gè)別顯著性，為什么還有對(duì)樣本回歸進(jìn)行總顯著性檢驗(yàn)？事實(shí)上，上述單個(gè)檢驗(yàn)我們只能夠保證每個(gè)偏回歸系數(shù)單獨(dú)地來(lái)看，在統(tǒng)計(jì)上顯著的不為零，但是我們無(wú)法保證他們聯(lián)合起來(lái)共同的不為零。用統(tǒng)計(jì)的話說(shuō)：“檢驗(yàn)一個(gè)個(gè)假設(shè)

18、，不等于聯(lián)合地檢驗(yàn)同樣的這些假設(shè)。其直觀上的理由是，在對(duì)幾個(gè)假設(shè)的聯(lián)合檢驗(yàn)中，任一單一假設(shè)都受其他假設(shè)所含信息的影響?！蹦敲?，我們?nèi)绾温?lián)合檢驗(yàn)虛擬假設(shè)H0：2=3=0？檢驗(yàn)復(fù)回歸的總顯著性的方差分析法：F檢驗(yàn)回憶等式：按照方差分析（ ANOVA ）程序，列出方差分析表：)()()(233222殘差平方和解釋平方和總平方和RSSESSTSSuxyxyyiiiiii我們可以證明，在ui的正態(tài)分布的假設(shè)下，構(gòu)造一個(gè)F變量： 服從自由度為2和（n-3）的F分布。上述F有什么用？我們進(jìn)一步可以證明，若 則：若2=3=0，便能證明：也就是說(shuō)，如果虛擬假設(shè)成立，上面兩個(gè)式子都給出了真實(shí)方差的估計(jì)。因?yàn)?，如?/p>

19、虛擬假設(shè)成立，說(shuō)明Y與X2和X3的關(guān)系微不足道，Y的變異唯一的來(lái)源是ui所代表的隨機(jī)因素。因而，如果虛擬假設(shè)不成立， X2和X3確實(shí)影響了Y，則上述兩個(gè)式子之間就不能畫上等號(hào)。dfRSSdfESSnuxyxyFiiiii/)3/(2/ )(23322), 0(2Nui222)()3(EnuEi233222)(iiiixyxyE從而，F(xiàn)變量的值為偏回歸系數(shù)同時(shí)為零的假設(shè)提供了一種假設(shè)檢驗(yàn)。如果從上式中計(jì)算出來(lái)的F值大于給定顯著性水平的F表中的臨界值，我們就拒絕H0；否則就不拒絕它。另一種方法是如果所測(cè)的F的p值足夠低，可以拒絕H0。如果取5%的顯著性水平，F(xiàn)的臨界值為3.89，顯然所計(jì)算出的F值

20、是顯著的，從而我們拒絕H0： 2=3=0。（如果虛擬假設(shè)成立，得到一個(gè)大于5129的F值的概率小于5%。）8781.51284308. 65502.32982FF檢驗(yàn)方法的一般性描述：順便提及，大多數(shù)回歸軟件在方差分析表中，都給出了在虛擬假設(shè)i=0下的F值。R2和F之間的一個(gè)重要關(guān)系式剛才我們給出了一般化的F統(tǒng)計(jì)量，對(duì)F進(jìn)行恒等變形。這里我們用到了定義R2=ESS/TSS。當(dāng)R2越大，F(xiàn)值也就越大。如果R2=1，則F值為無(wú)限大。因此，F(xiàn)檢驗(yàn)既是所估計(jì)回歸的總顯著性檢驗(yàn)，也是R2的一個(gè)顯著性檢驗(yàn)。利用R2和F之間的關(guān)系，重新設(shè)計(jì)方差分析表（ANOVA）：)/()1 () 1/(11/1/11)/

21、() 1/(F)/() 1/(2222, 1knRkRRRkknTSSESSTSSESSkknESSTSSESSkknknRSSkESSFFknRSSkESSFknk變量可以變形如下：上述利用R2來(lái)表示F檢驗(yàn)的好處是計(jì)算上的簡(jiǎn)便：只有知道R2就可以計(jì)算F值。2.5 檢驗(yàn)兩個(gè)回歸系數(shù)是否相等在經(jīng)典假設(shè)下，可以證明：服從自由度為（n-4）的t分布。而標(biāo)準(zhǔn)誤則可以從下述我們熟悉的公式中得到：0:0:43431434304433221）或（）或（我們要檢驗(yàn)假設(shè)：假如在復(fù)回歸中HHuXXXYiiiii4434343)()(ntset）（),cov(2)var()var()(434343se檢驗(yàn)方法的步驟：1. 估計(jì) 。2. 大多數(shù)計(jì)算機(jī)軟件包都提供所估計(jì)參數(shù)的方差和協(xié)方差。從而計(jì)算分母中的標(biāo)準(zhǔn)誤。3. 計(jì)算t值。4. 如果計(jì)算出來(lái)的t值超過(guò)給定自由度的指定顯著性水平上的臨界值，則拒絕虛擬假設(shè)；否則不拒絕虛擬假設(shè)。此外如果計(jì)算出來(lái)的t統(tǒng)計(jì)量的p值合理地低，也同樣可以拒絕虛擬假設(shè)。43和),cov(2)var()(var43434343tt統(tǒng)計(jì)量，故構(gòu)造因虛擬假設(shè)2.6 受約束的最小二乘法：檢驗(yàn)線性等式約束條件考慮柯布-道格拉斯生產(chǎn)函數(shù)：（1）t檢驗(yàn)法1ln,ln,ln,lnlnlnlnln32332203210321132則：若假設(shè)規(guī)