多元復(fù)回歸分析

多元復(fù)回歸分析第一頁(yè)，共三十六頁(yè)，2022年，8月28日1.復(fù)回歸分析：估計(jì)問(wèn)題1.1三變量模型：符號(hào)和假設(shè)將雙變量的總體回歸模型（PRF）推廣，就得到了三變量的總體回歸模型。其中，Y是應(yīng)變量，X2和X3是解釋變量，u是隨機(jī)干擾項(xiàng)，i是指第i次觀測(cè)值（當(dāng)數(shù)據(jù)為時(shí)間序列時(shí)，下標(biāo)t表示第t次觀測(cè)）。系數(shù)β1和β2被稱為偏回歸系數(shù)。我們繼續(xù)在經(jīng)典線性回歸模型（CLRM）框架下，這樣我們對(duì)模型做出如下假設(shè)：第二頁(yè)，共三十六頁(yè)，2022年，8月28日其中（6）是說(shuō)X2與X3之間沒(méi)有精確的線性關(guān)系，專業(yè)上稱為無(wú)共線性或無(wú)多重共線性。無(wú)共線性是說(shuō)沒(méi)有一個(gè)解釋變量可以寫成其余解釋變量的線性組合。如果不存在一組不全為零的數(shù)λ2和λ3，使得：如果是這關(guān)系存在，我們就說(shuō)，X2與X3的共線的或線性相關(guān)。令一方面，如果這一關(guān)系僅當(dāng)λ2=λ3=0時(shí)存在，則X2與X3線性獨(dú)立。第三頁(yè)，共三十六頁(yè)，2022年，8月28日（a）圖表示X2和X3不存在線性關(guān)系。（b）圖中，區(qū)域Y的3和4區(qū)域的變異是由于X2引起的，而Y的4和5區(qū)域的變異是由于X3引起的，但是區(qū)域4是X2和X3共有的，我們無(wú)法精確地區(qū)別開來(lái)，這樣區(qū)域4代表了共線性。無(wú)共線性就要求像（a）圖那樣，解釋變量沒(méi)有重疊區(qū)域。第四頁(yè)，共三十六頁(yè)，2022年，8月28日1.2對(duì)復(fù)回歸方程的解釋對(duì)式子兩邊求條件期望：這樣，式子給出以變量X2和X3的固定值為條件的Y的條件均值或期望值。如同雙變量回歸分析，復(fù)回歸分析是以多個(gè)解釋變量的固定值為條件的回歸分析，并且我們所獲取的，是變量X值固定時(shí)的Y的平均值或Y的平均響應(yīng)。第五頁(yè)，共三十六頁(yè)，2022年，8月28日1.3偏回歸系數(shù)的含義偏回歸系數(shù)的含義如下：β2度量者在保持X3不變的情況下，X2每變化1單位，Y的均值E（Y|X2,X3）的變換。換句話說(shuō),β2給出保持X3不變時(shí)Y的均值E（Y|X2,X3）對(duì)X2的斜率。類似的,β3度量者在保持X2不變的情況下，X3每變化1單位，Y的均值E（Y|X2,X3）的變換。如何理解保持不變？假定Y代表產(chǎn)出，X2和X3分布代表勞動(dòng)和資本投入。再假定X2和X3都是生產(chǎn)必須的，且它們用于生產(chǎn)的投入比例可以變換。當(dāng)勞動(dòng)投入增加一個(gè)單位帶來(lái)的產(chǎn)出的增加（勞動(dòng)的邊際產(chǎn)量）。在這里有一個(gè)前提，就是勞動(dòng)增加的同時(shí)，資本投入的數(shù)量保持不變，否則我們無(wú)法區(qū)分在增加的Y中，哪些是由于勞動(dòng)X2的增加帶來(lái)的，哪些是由于資本X3增加帶來(lái)的。只有想辦法使得資本X3投入保持不變，才能衡量勞動(dòng)X2投入對(duì)產(chǎn)出增長(zhǎng)的真實(shí)貢獻(xiàn)。第六頁(yè)，共三十六頁(yè)，2022年，8月28日1.4偏回歸系數(shù)的OLS估計(jì)先寫出樣本回歸函數(shù)（SRF）：OLS方法是要選擇未知參數(shù)的值，使得殘差平方和盡可能的小，用符號(hào)表示為：對(duì)未知數(shù)求微分，并令表達(dá)式為零，得到下述正則方程：第七頁(yè)，共三十六頁(yè)，2022年，8月28日按照用小寫字母表示對(duì)樣本離差的慣例，解正則方程得：β2和β3最小二乘估計(jì)量的性質(zhì)：（1）可以從方程2和方程3中通過(guò)x2和x3的對(duì)調(diào)得到另外一個(gè)，所有它們本質(zhì)上是對(duì)稱的；（2）兩個(gè)方程的分母完全相同；（3）三變量情形是雙變量的自然推廣。第八頁(yè)，共三十六頁(yè)，2022年，8月28日得到偏回歸系數(shù)的OLS估計(jì)量，既可以推出這些估計(jì)量的方差和標(biāo)準(zhǔn)誤。我們計(jì)算標(biāo)準(zhǔn)誤有兩個(gè)目的：建立置信區(qū)間和檢驗(yàn)統(tǒng)計(jì)假設(shè)。下列公式不加證明的給出，相關(guān)推導(dǎo)過(guò)程請(qǐng)參閱文獻(xiàn)。第九頁(yè)，共三十六頁(yè)，2022年，8月28日仿照前章，我們能夠證明δ2的一個(gè)無(wú)偏估計(jì)量是（注意：這里的自由度是（n-3），因?yàn)槲覀冊(cè)诠烙?jì)殘差之前必須要估計(jì)參數(shù)β1、β2和β3

，所以消耗了3個(gè)自由度。）第十頁(yè)，共三十六頁(yè)，2022年，8月28日1.5OLS估計(jì)量的性質(zhì)1.三變量回歸線（面）通過(guò)均值。(為什么？)2.估計(jì)的Yi的均值等于真實(shí)Yi的均值。證明：第十一頁(yè)，共三十六頁(yè)，2022年，8月28日3.4.殘差與Y，X2和X3均不相關(guān)，于是有5.根據(jù)式子：隨著X2和X3的相關(guān)系數(shù)r23增大，的方差也在增大，在r23=1時(shí)，完全共線性，這些方差變得無(wú)限大。直觀地看，隨著r23的增大，要知道β2和β3的真值越來(lái)越難。而X的樣本值變化越大（x越大），則方差越小，從而能夠更精確的估計(jì)β2和β3

。第十二頁(yè)，共三十六頁(yè)，2022年，8月28日1.6復(fù)判定系數(shù)R2在三變量模型中，我們想知道Y的變異由X2和X3聯(lián)合解釋的比例，提供這一信息的數(shù)量被稱為復(fù)相關(guān)系數(shù)，記為R2。第十三頁(yè)，共三十六頁(yè)，2022年，8月28日式中各項(xiàng)均可以從樣本數(shù)據(jù)中計(jì)算得出，因此R2也很容易得到。R2是一個(gè)落在0和1之間的數(shù)。如果是1，則所擬合的回歸線100%的解釋了Y的變異；如果是0，則模型不解釋任何Y的變異。R2越靠近1，說(shuō)明模型的“擬合”越好。1.7校正的R2R2有一個(gè)重要的性質(zhì)，即它是出現(xiàn)在模型中的解釋變量個(gè)數(shù)的非減函數(shù)。隨著解釋變量個(gè)數(shù)的增加，R2必然增大而不會(huì)減少?；貞汻2的定義：這里，與模型中X的變量沒(méi)有關(guān)系。但是RSS即與模型中的X個(gè)數(shù)有關(guān)。隨著X的個(gè)數(shù)增加，模型的很可能減?。ㄖ辽俨粫?huì)變大），隨之，R2變大。第十四頁(yè)，共三十六頁(yè)，2022年，8月28日那么，怎樣解決這個(gè)問(wèn)題呢？我們必須考慮到模型中X變量的個(gè)數(shù)，那么：也就是說(shuō)，分子分母均除以其自由度（df），這樣我們就消除了由于解釋變量增加而帶來(lái)的R2變大的問(wèn)題，被稱為校正的R2（adjustedR2）。在計(jì)算中要先計(jì)算均值，故損失一個(gè)自由度，自由度為（n-1）,的自由度中的k，是指包括截距項(xiàng)在內(nèi)的模型中的參數(shù)的個(gè)數(shù)。在三變量模型中，的自由度是（n-3）。第十五頁(yè)，共三十六頁(yè)，2022年，8月28日2.復(fù)回歸分析：推斷問(wèn)題2.1再一次正態(tài)性假設(shè)如果我們的唯一目的是對(duì)回歸模型的參數(shù)作點(diǎn)估計(jì)，則普通最小二乘法（OLS）將足夠使用，并不需要對(duì)干擾項(xiàng)ui的概率分布作任何假設(shè)，但我們的目的還要對(duì)其進(jìn)行估計(jì)和推斷，我們還需要假定ui服從某個(gè)概率分布。我們?cè)?jīng)假設(shè)ui遵循均值為零、方差為常數(shù)的正態(tài)分布。有了正態(tài)分布的假設(shè)，我們發(fā)現(xiàn)，偏回歸系數(shù)的OLS估計(jì)量是最優(yōu)線性無(wú)偏估計(jì)（BLUE），此外，估計(jì)量本身也是正態(tài)分布，其均值等于，而方差遵循自由度為n-3的χ2分布，并且三個(gè)OLS估計(jì)量均獨(dú)立于而分布，在標(biāo)準(zhǔn)誤的計(jì)算中，由它的無(wú)偏估計(jì)替代時(shí)，我們有：均服從自由度為n-3的t分布。第十六頁(yè)，共三十六頁(yè)，2022年，8月28日注意，自由度為n-3是因?yàn)槲覀冊(cè)谟?jì)算和之前，我們必須先要估計(jì)三個(gè)回歸系數(shù)，從而給殘差平方和（RSS）的計(jì)算加上了三個(gè)約束。于是，t分布可用于建立關(guān)于真實(shí)總體偏回歸系數(shù)的置信區(qū)域并檢驗(yàn)統(tǒng)計(jì)假設(shè)。同理χ2分布可用于檢驗(yàn)關(guān)于真實(shí)的假設(shè)。一個(gè)例子：美國(guó)個(gè)人消費(fèi)與個(gè)人可支配收入的關(guān)系假設(shè)我們要研究在過(guò)去幾年中美國(guó)個(gè)人消費(fèi)支出的行為，用了下述簡(jiǎn)單模型：

其中Y：個(gè)人消費(fèi)支出（PCE）

X2：個(gè)人可支配收入（PDI）

X3：以年計(jì)的時(shí)間在用到時(shí)間序列數(shù)據(jù)的回歸分析中，我們通常引進(jìn)一個(gè)時(shí)間或趨勢(shì)變量。第十七頁(yè)，共三十六頁(yè)，2022年，8月28日第十八頁(yè)，共三十六頁(yè)，2022年，8月28日對(duì)上述回歸方程結(jié)果解釋如下：如果把X2和X3固定在零處，則個(gè)人消費(fèi)支出的均值估計(jì)為531.6億美元；偏回歸系數(shù)0.7266是說(shuō)，保持其他變量（X3）不變，個(gè)人收入每增加1美元，平均消費(fèi)支出增加約73美分。同理，若X2不變，平均個(gè)人消費(fèi)支出估計(jì)每年約增加27億美元。R2值為0.9988，表明兩個(gè)解釋變量解釋了1956-1970年間美國(guó)個(gè)人消費(fèi)支出的變異約99.9%。校正的R2值則表明考慮了自由度的作用后，X2和X3仍解釋Y的變異的99.8%。我們根據(jù)表8.1中的數(shù)據(jù)，估計(jì)回歸線如下：第十九頁(yè)，共三十六頁(yè)，2022年，8月28日2.2復(fù)回歸中的假設(shè)檢驗(yàn)：總評(píng)一旦我們走出簡(jiǎn)單的雙變量線性回歸模型的范圍，假設(shè)檢驗(yàn)就會(huì)以多種有趣的形式出現(xiàn)，諸如：

1.檢驗(yàn)關(guān)于個(gè)別偏回歸系數(shù)的假設(shè)。

2.檢驗(yàn)所估計(jì)的復(fù)回歸模型的總顯著性，也就是要判別是否全部偏回歸系數(shù)同時(shí)為零。

3.檢驗(yàn)兩個(gè)或多個(gè)系數(shù)是否相等。

4.檢驗(yàn)偏回歸系數(shù)是否滿足某種約束條件。

5.檢驗(yàn)所估計(jì)的回歸模型在時(shí)間上或在不同橫截面單元上的穩(wěn)定性。

6.檢驗(yàn)回歸模型的函數(shù)形式。因?yàn)樵诮?jīng)驗(yàn)分析中常常出現(xiàn)這些類型的一種或多種檢驗(yàn)，我們將分節(jié)討論每一種類型的檢驗(yàn)。第二十頁(yè)，共三十六頁(yè)，2022年，8月28日2.3檢驗(yàn)關(guān)于個(gè)別偏回歸系數(shù)的假設(shè)如果假設(shè)成立，我們可以用t檢驗(yàn)統(tǒng)計(jì)量對(duì)任一偏回歸系數(shù)進(jìn)行檢驗(yàn)。我們?cè)O(shè)：虛擬假設(shè)的意思是：保持X3不變，個(gè)人可支配收入對(duì)個(gè)人消費(fèi)支出無(wú)（線性）影響。為了檢驗(yàn)這個(gè)虛擬假設(shè)，我們利用t檢驗(yàn)。如果計(jì)算的t值超過(guò)了選定顯著水平的臨界t值，就可以拒絕假設(shè)；否則，就不拒絕它。如果取α=0.05，對(duì)于12個(gè)自由度有tα/2=2.179（雙尾檢驗(yàn)）。由于計(jì)算的t值14.9060遠(yuǎn)遠(yuǎn)超過(guò)臨界t值2.179，故我們拒絕原假設(shè)，在統(tǒng)計(jì)上是顯著的，或顯著地異于零。第二十一頁(yè)，共三十六頁(yè)，2022年，8月28日從圖解上來(lái)展示這一情形。我們?cè)谇懊婵吹郊僭O(shè)檢驗(yàn)和置信區(qū)間估計(jì)之間存在密切關(guān)系：β2的95%置信區(qū)間是：具體的數(shù)值是：第二十二頁(yè)，共三十六頁(yè)，2022年，8月28日也就是說(shuō)，β2以95%的置信系數(shù)落在0.6205與0.8327之間。這樣，如果選取了樣本容量為15的100個(gè)樣本，構(gòu)造100個(gè)這樣的置信區(qū)間，則我們預(yù)測(cè)其中95個(gè)包含著真實(shí)的β2值。由于虛擬假設(shè)β2=0下，計(jì)算的t統(tǒng)計(jì)變量的值14.9060沒(méi)有落在這個(gè)區(qū)間內(nèi)，從而我們拒絕虛假假設(shè)H0。事實(shí)上，我們注意：各個(gè)回歸系數(shù)的p值都異常的低，表明每個(gè)回歸系數(shù)都在一個(gè)比5%或1%低得多的顯著水平上，是統(tǒng)計(jì)上顯著的。第二十三頁(yè)，共三十六頁(yè)，2022年，8月28日2.4檢驗(yàn)樣本回歸的總顯著性上面我們討論的僅僅是對(duì)個(gè)別的系數(shù)的顯著性進(jìn)行檢驗(yàn)，下面我們考慮虛擬假設(shè)，H0：β2=β3=0，是關(guān)于β2和β3聯(lián)合地或者同時(shí)地等于零的一個(gè)聯(lián)合假設(shè)。對(duì)象這樣的一個(gè)假設(shè)檢驗(yàn)稱之為對(duì)回歸的總顯著性檢驗(yàn)。我們?cè)谏厦娴挠懻撝兄鹨坏貦z驗(yàn)了偏回歸系數(shù)的個(gè)別顯著性，為什么還有對(duì)樣本回歸進(jìn)行總顯著性檢驗(yàn)？事實(shí)上，上述單個(gè)檢驗(yàn)我們只能夠保證每個(gè)偏回歸系數(shù)單獨(dú)地來(lái)看，在統(tǒng)計(jì)上顯著的不為零，但是我們無(wú)法保證他們聯(lián)合起來(lái)共同的不為零。用統(tǒng)計(jì)的話說(shuō)：“檢驗(yàn)一個(gè)個(gè)假設(shè)，不等于聯(lián)合地檢驗(yàn)同樣的這些假設(shè)。其直觀上的理由是，在對(duì)幾個(gè)假設(shè)的聯(lián)合檢驗(yàn)中，任一單一假設(shè)都受其他假設(shè)所含信息的影響。”那么，我們?nèi)绾温?lián)合檢驗(yàn)虛擬假設(shè)H0：β2=β3=0？第二十四頁(yè)，共三十六頁(yè)，2022年，8月28日檢驗(yàn)復(fù)回歸的總顯著性的方差分析法：F檢驗(yàn)回憶等式：按照方差分析（ANOVA）程序，列出方差分析表：第二十五頁(yè)，共三十六頁(yè)，2022年，8月28日我們可以證明，在ui的正態(tài)分布的假設(shè)下，構(gòu)造一個(gè)F變量：服從自由度為2和（n-3）的F分布。上述F有什么用？我們進(jìn)一步可以證明，若則：若β2=β3=0，便能證明：也就是說(shuō)，如果虛擬假設(shè)成立，上面兩個(gè)式子都給出了真實(shí)方差的估計(jì)。因?yàn)?，如果虛擬假設(shè)成立，說(shuō)明Y與X2和X3的關(guān)系微不足道，Y的變異唯一的來(lái)源是ui所代表的隨機(jī)因素。因而，如果虛擬假設(shè)不成立，X2和X3確實(shí)影響了Y，則上述兩個(gè)式子之間就不能畫上等號(hào)。第二十六頁(yè)，共三十六頁(yè)，2022年，8月28日從而，F(xiàn)變量的值為偏回歸系數(shù)同時(shí)為零的假設(shè)提供了一種假設(shè)檢驗(yàn)。如果從上式中計(jì)算出來(lái)的F值大于給定顯著性水平的F表中的臨界值，我們就拒絕H0；否則就不拒絕它。另一種方法是如果所測(cè)的F的p值足夠低，可以拒絕H0。如果取5%的顯著性水平，F(xiàn)的臨界值為3.89，顯然所計(jì)算出的F值是顯著的，從而我們拒絕H0：β2=β3=0。（如果虛擬假設(shè)成立，得到一個(gè)大于5129的F值的概率小于5%。）第二十七頁(yè)，共三十六頁(yè)，2022年，8月28日F檢驗(yàn)方法的一般性描述：順便提及，大多數(shù)回歸軟件在方差分析表中，都給出了在虛擬假設(shè)βi=0下的F值。第二十八頁(yè)，共三十六頁(yè)，2022年，8月28日R2和F之間的一個(gè)重要關(guān)系式剛才我們給出了一般化的F統(tǒng)計(jì)量，對(duì)F進(jìn)行恒等變形。這里我們用到了定義R2=ESS/TSS。當(dāng)R2越大，F(xiàn)值也就越大。如果R2=1，則F值為無(wú)限大。因此，F(xiàn)檢驗(yàn)既是所估計(jì)回歸的總顯著性檢驗(yàn)，也是R2的一個(gè)顯著性檢驗(yàn)。利用R2和F之間的關(guān)系，重新設(shè)計(jì)方差分析表（ANOVA）：第二十九頁(yè)，共三十六頁(yè)，2022年，8月28日利用R2來(lái)表示F檢驗(yàn)的好處是計(jì)算上的簡(jiǎn)便：只有知道R2就可以計(jì)算F值。第三十頁(yè)，共三十六頁(yè)，2022年，8月28日2.5檢驗(yàn)兩個(gè)回歸系數(shù)是否相等在經(jīng)典假設(shè)下，可以證明：服從自由度為（n-4）的t分布。而標(biāo)準(zhǔn)誤則可以從下述我們熟悉的公式中得到：第三十一頁(yè)，共三十六頁(yè)，2022年，8月28日檢驗(yàn)方法的步驟：1.估計(jì)。2.大多數(shù)計(jì)算機(jī)軟件包都提供所估計(jì)參數(shù)的方差和協(xié)方差。從而計(jì)算分母中