多元回歸分析估計

多元回歸分析估計第一頁，共八十三頁，2022年，8月28日第3章

多元回歸分析：估計3.1使用多元回歸分析的動因3.2普通最小二乘法的操作和解釋3.3OLS估計量的期望值3.4OLS估計量的方差3.5OLS的有效性：高斯-馬爾科夫定理第二頁，共八十三頁，2022年，8月28日3.1使用多元回歸模型的動因實際研究中更多時候對因變量有影響的自變量個數將不只一個，需要進行多元回歸例1:

在對小時工資的研究中，除了教育水平之外，工作經歷也是一個顯著的影響因素，因此需要增加自變量個數，建立多元回歸模型。第三頁，共八十三頁，2022年，8月28日1.為獲得其它因素不變的效應，控制更多的因素在實證工作中使用簡單回歸模型,首要的困難在于：要得到在其它因素不變的情況下，x1對y的影響(ceteris

paribuseffect)，非常困難。在簡單線性回歸中，是否能夠獲得在其它條件不變情況下，x1對y的影響，完全取決于零值條件期望假設是否符合現實。如果影響y的其它因素，與x1不相關，則改變x1，可以確保u(均值)不變，從而識別出在其它條件不變情況下x對y的影響。不幸的是，影響y的其它因素(包含在u中)，往往與x1相關：改變x1，u(均值)也往往發(fā)生變化，從而使得僅僅利用簡單回歸模型，無法識別出在其它條件不變情況下x1對y的影響。第四頁，共八十三頁，2022年，8月28日1.控制更多的因素一個策略就是，將與x1相關的其他因素從誤差項u中取出來，放在方程里，作為新的解釋變量，這就構成多元回歸模型。多元回歸分析可以明確地控制許多其它同時影響因變量的因素，而不是放在不可觀測的誤差項中，故多元回歸分析更適合于其它條件不變情況下（ceterisparibus）的特定因素x對y的影響。多元回歸模型能容許很多解釋變量，而這些變量可以是相關的。在使用非實驗數據時，多元回歸模型對推斷y與解釋變量x間的因果關系很重要。第五頁，共八十三頁，2022年，8月28日2.更好地預測一個變量y的變化，不僅與一種因素有關，可能決定于許多因素。預測一個變量的變化，往往需要盡可能多地知道影響該變量變化的因素。簡單回歸模型，只包含一個解釋變量，有時只能解釋y的變動的很小部分。(如，擬合優(yōu)度很低)多元回歸模型由于可以控制更多地揭示變量，因此，可以解釋更多的因變量變動。第六頁，共八十三頁，2022年，8月28日3.表達更多的函數關系多元回歸模型，可以包含多個解釋變量，因此，可以利用變量的函數變換，在模型中表達多種函數關系。因此，多元線性回歸模型，是實證分析中應用最廣泛的分析工具。第七頁，共八十三頁，2022年，8月28日多元線性回歸模型的一般形式

第八頁，共八十三頁，2022年，8月28日多元回歸的術語第九頁，共八十三頁，2022年，8月28日3.2普通最小二乘法的操作和解釋第十頁，共八十三頁，2022年，8月28日如何得到OLS估計值首先考慮兩個自變量的模型：

建模的原理依舊是使得達到最小。

要理解OLS在做什么，重要的是理解自變量角標的含義。下標i表示觀測序號，這里假設有n個觀測變量。第二個下標只是區(qū)別不同自變量的方法。在之前的例子中，分別表示樣本中第i個人的教育程度和工作經歷。第十一頁，共八十三頁，2022年，8月28日如何得到OLS估計值在含有k個自變量的情形中。在選擇估計值時，我們最小化了殘差平方和

這個最小化問題可以使用多元微積分求解。OLS的一階條件：第十二頁，共八十三頁，2022年，8月28日如何得到OLS估計值如同簡單回歸里那樣

稱為OLS回歸線，

為截距估計值，

為斜率估計值。為了表明已經進行了一個OLS回歸分析，我們將方程中的y,x1,x2..xk用其變量名稱取代（如wage,educ,exper等）

第十三頁，共八十三頁，2022年，8月28日對OLS回歸方程的解釋估計值具有偏效應或其他情況不變得解釋。從方程中我們可以得到

所以我們能在給定x1,x2的變化時預測y

值得變化。特別的，當=0時，有關鍵是通過把x2包含在模型中，我們所得到的x1的系數可解釋為在其他條件不變的情況下的影響。這正是多元回歸分析如此有用的原因所在。第十四頁，共八十三頁，2022年，8月28日例3.2：小時工資方程我們在log(wage)的方程中包括educ(教育水平)，exper（工作經歷），

和tenure(任現職的任期)，估計的方程：系數0.092意味著，在保持tenure和exper不變的情況下，多受一年教育者的log(wage)提高0.092即9.2%。第十五頁，共八十三頁，2022年，8月28日“保持其他因素不變”的含義多元回歸中，所得到的“其他因素不變的效應”，并非是通過在實際抽樣中，固定其他因素不變。在教育-經驗-工資一例中，在獲得教育對的工資其他條件不變影響時，在實際抽樣中，也并非是固定工作經驗，收集不同教育年限的樣本，來分析教育年限變化，對于工資的影響。對個體進行隨機抽樣，就可通過多元回歸分析得到“其他因素不變的效應”。多元回歸分析的優(yōu)勢，在于它使我們能在非實驗環(huán)境中去做自然科學家在受控實驗中所能做的事情：保持其它因素不變。第十六頁，共八十三頁，2022年，8月28日同時改變不止一個變量有時我們想改變一個以上的變量，同時看看由此對因變量的影響，通過回歸方程很容易做到。在例2中，當一人在同一企業(yè)工作過1年，保持educ不變，exper和tenure都增加一年時，對工資的總影響為：第十七頁，共八十三頁，2022年，8月28日OLS的擬合值和殘差對觀測i,其擬合值為

它只是將第i個自變量值代入回歸方程所得的預測值。OLS最小化了預測誤差平方的平均值。第i個觀測的殘差被定義為：若，意味著yi被預測的過低；反之說明yi被預測的過高。第十八頁，共八十三頁，2022年，8月28日OLS的擬合值和殘差直接從單變量模型推廣，可得OLS擬合值和殘差的某些重要性質。殘差的樣本平均值為零每個自變量和OLS殘差之間的樣本協方差為零，于是OLS擬合值和OLS殘差之間的樣本協方差也為零點總位于樣本OLS回歸線上。第十九頁，共八十三頁，2022年，8月28日對多元回歸“排除其他變量影響”的解釋

第二十頁，共八十三頁，2022年，8月28日對多元回歸“排除其他變量影響”的解釋

A“PartiallingOut”Interpretation對于估計的樣本回歸線可以表示為：

？第二十一頁，共八十三頁，2022年，8月28日22對多元回歸“排除其他變量影響”的解釋首先，將第一個自變量x1對第二個自變量x2進行回歸，得到樣本回歸函數

，根據xi和擬合值

，得到殘差。殘差表示剔除了x2的影響之后，x1的其他部分。它與x2不相關,樣本均值為0。然后，將y對進行簡單回歸得到。衡量的是，剔除了其他自變量的影響之后，x1對于y的凈影響。第二十二頁，共八十三頁，2022年，8月28日23對多元回歸“排除其他變量影響”的解釋上述過程表明：將y同時對x1和x2回歸得出的x1的影響，與先將x1對x2回歸得到殘差，再將y對此殘差回歸得到的x1的影響相同。同時說明，在多元回歸模型中，x1的系數衡量的是，x1中與其他自變量不相關的部分，與y的相關關系。即，在多元回歸模型中，所估計的是，在其他自變量對于x1的影響“被剔除(partialledout)”后，x1對y的影響。第二十三頁，共八十三頁，2022年，8月28日24“剔除其它變量影響”

“PartiallingOut”在一個含有k個解釋變量的一般模型中，仍然可以寫成(3.22)式(證明見本章附錄3A.2):殘差是來自x1對x2…,xk的回歸。因此，度量的是，在排除x2…,xk等變量的影響之后，x1對y的影響。第二十四頁，共八十三頁，2022年，8月28日25證明(3.22)式：第二十五頁，共八十三頁，2022年，8月28日26簡單回歸與多元回歸估計值的比較用同一個樣本：估計一個最簡單的線性回歸模型，得到：估計一個最簡單的多元線性回歸模型，得到：存在一個簡單關系：是x2對x1進行簡單回歸所得到的斜率系數估計值。證明上式第二十六頁，共八十三頁，2022年，8月28日第二十七頁，共八十三頁，2022年，8月28日28一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2對于y沒有局部效應(partialeffect)在(2)種情況下，x2與x1在樣本中不相關。第二十八頁，共八十三頁，2022年，8月28日29用同一個樣本：估計一個最簡單的線性回歸模型，得到：估計一個最簡單的多元線性回歸模型，得到：存在一個關系：是x2,…,xk分別對x1進行簡單回歸所得到的斜率系數估計值。第二十九頁，共八十三頁，2022年，8月28日30一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2,…,xk對于y均沒有偏效應(partialeffect)

在(2)種情況下，x2,…,xk中每一個均與x1不相關第三十頁，共八十三頁，2022年，8月28日例3：401（k）養(yǎng)老金計劃匹配率mrate是指對于一個員工所投入的每一美元的養(yǎng)老金，企業(yè)為員工匹配的數量。參與率prate是指有資格擁有一個401（k）賬戶的員工中參與此計劃的百分比。變量age是401（k）養(yǎng)老金計劃的實施年數。將prate對mrate和age進行回歸：

第三十一頁，共八十三頁，2022年，8月28日例3：401（k）養(yǎng)老金計劃如果我們不控制age，將prate對mrate進行簡單歸可以得到：

可見兩種回歸式子相差不大。

第三十二頁，共八十三頁，2022年，8月28日擬合優(yōu)度與簡單回歸中一樣，我們定義總平方和SST

解釋平方和SSE

殘差平方和SSR

第三十三頁，共八十三頁，2022年，8月28日擬合優(yōu)度判定系數我們定義R2=SSE/SST=1–SSR/SST為判定系數，總是介于0到1之間一個接近于1的判定系數表明OLS給出了一個良好的擬合，一個于0的判定系數表明OLS給出了一個糟糕的擬合第三十四頁，共八十三頁，2022年，8月28日擬合優(yōu)度還可以證明R2

等于yi的實際值與擬合值相關系數的平方，即：第三十五頁，共八十三頁，2022年，8月28日過原點的回歸

第三十六頁，共八十三頁，2022年，8月28日3.3OLS估計量的期望值第三十七頁，共八十三頁，2022年，8月28日OLS估計值的期望值我們現在轉而討論，在估計一個產生樣本的總體模型的參數時，OLS所具有的統(tǒng)計性質。特別的，我們討論四個假定，這些假定都是對簡單回歸模型假定的直接推廣，而且在這些假定下，OLS估計量是總體參數的無偏估計值第三十八頁，共八十三頁，2022年，8月28日OLS估計值的期望值

第三十九頁，共八十三頁，2022年，8月28日OLS估計值的期望值假定MLR.2(隨機抽樣)

我們有一個包含n次觀測的隨機樣本它來自MLR.1中的總體模型。

第四十頁，共八十三頁，2022年，8月28日OLS估計值的期望值假定MLR.3（不存在完全共線性）

在樣本（因而在總體中），沒有一個自變量是常數，自變量之間不存在嚴格（完全）的線性關系。我們現在必須關注所有自變量之間的關系，如果方程中有一個自變量是其他自變量的額線性組合，那么我們說這個模型遇到了完全共線性問題。第四十一頁，共八十三頁，2022年，8月28日OLS估計值的期望值重要的是我們要注意到，MLR.3允許變量之間有相關關系，只是不能是完全相關。例4：將考試分數與教育支出（expend）和家庭收入（avginc）的模型中：我們充分預料expend與avginc之間可能相關，學生家庭收入高的學校，傾向于對每個學生在教育上支出更多。MLR.3只是排除了expend與avginc之間完全相關的情形。

第四十二頁，共八十三頁，2022年，8月28日OLS估計值的期望值兩個變量完全相關，最簡單的情形就是一個變量是另一個變量的常數倍。當研究者把同一個變量在不同的單位下兩次進入同一個回歸方程，就會出現完全線性相關的額情形。例如在估計消費與收入的模型中，將收入以美元和千美元為單位分別最為自變量是毫無意義的。也是違背了MLR.3的第四十三頁，共八十三頁，2022年，8月28日OLS估計值的期望值同一變量的不同非線性函數也都可以出現在回歸元中。比如模型

就不違背假定MLR.3,因為x2=inc*inc雖然是x1=inc的一個函數，但是并不是一個線性函數。在模型中引入inc*inc是推廣函數形式的一種有用方法。

第四十四頁，共八十三頁，2022年，8月28日OLS估計值的期望值自變量可能完全線性相關的另一種方式是，一個自變量恰好是其他自變量的線性函數。例5：考慮競選支出和得票率的關系，有兩位競選者A和B，為了使每個候選人支出與總支出隔離開來，設定模型：顯然有x3=x1+x2，因而違背了假定MLR.3第四十五頁，共八十三頁，2022年，8月28日OLS估計值的期望值假定MLR.4(條件均值為零)給定自變量的任何值，誤差u的期望值為零。換句話說，E(u|x1,x2…xk)=0通常情況下，漏掉一個與x1,x2…xk中任何一個自變量相關的因素，都有可能導致MLR.4不成立。

使用多元回歸分析，我們能包含解釋變量中的許多因素，與簡單回歸相比，多元回歸分析出現漏掉一些變量的可能性要小很多。第四十六頁，共八十三頁，2022年，8月28日OLS估計值的期望值當假定MLR.4成立時，我們常說我們具有外生解釋變量。如果處于某種原因xj仍與u有關，那么我就成xj是內生解釋變量。雖然“外生”和“內生”的術語源于聯立方程分析，但內生解釋變量一詞涵蓋了一個解釋變量可能與誤差項相關的一切情況。第四十七頁，共八十三頁，2022年，8月28日OLS的無偏性

第四十八頁，共八十三頁，2022年，8月28日對“無偏”的理解如我們所知，估計值不可能是無偏的，因為一個估計值就是從一個特定的樣本得到的固定值，它通常都不等于總體參數。我們說OLS在四個假定下是無偏的是指當我們將用來得到OLS估計值的程序用到各種可能的隨機樣本時，這個程序是無偏的。第四十九頁，共八十三頁，2022年，8月28日回歸模型中包含了無關變量

第五十頁，共八十三頁，2022年，8月28日回歸模型中包含了無關變量

第五十一頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形現在假設我們是遺漏了一個實際應該包括在模型中的變量，通常稱為排出一個有關變量或者對模型設定不足。推導遺漏一個重要變量所導致的偏誤，是誤設分析的一個例子，我們從含有兩個變量的模型入手：

并假設模型滿足

第五十二頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形由于疏忽或者數據不足，我們在排除X2的情況下估計這個模型得到：

例6：假設薪資與教育程度、天賦有關即

由于能力不可觀測，我們轉而用模型其中

第五十三頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形

第五十四頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形

第五十五頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形

第五十六頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：簡單情形

第五十七頁，共八十三頁，2022年，8月28日遺漏變量的誤差

第五十八頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：一般情形

第五十九頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：一般情形

第六十頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：一般情形

第六十一頁，共八十三頁，2022年，8月28日遺漏變量的偏誤：一般情形

spring201262第六十二頁，共八十三頁，2022年，8月28日OLS估計量的方差除了知道估計量的趨勢之外，我們還想度量其在樣本分布中的分散情況。在求出方差之前，我們增加一個同方差假定，其次我們在下面可以看到，如果增加了同方差的假定，OLS具有一個重要的性質，即有效性。假定MLR.5(同方差性)

給定任意解釋變量值，誤差u都具有相同的方差，換言之：Var（u|x1,..xk）=第六十三頁，共八十三頁，2022年，8月28日OLS估計量的方差在方程

中，同方差性要求不可觀測的誤差項不依賴于教育水平，工作經歷和現有任期水平。

即Var(u|educ,exper,tenure)=否則就會出現異方差性。假定一起被稱為（橫截面回歸的）高斯-馬爾科夫假定。迄今為止，我們對假定的表述都只使用于隨機抽樣的橫截面分析。對于時間序列或面板數據，該假定將更加困難。第六十四頁，共八十三頁，2022年，8月28日OLS估計量的方差接下來的討論中，我們將用x表示（x1,…,xk）的集合，于是在工資例子中x=（educ,exper,tenure）。我們可以將MLR.1和MLR.4寫成E（y|x）=假定MLR.5表示為：Var(y|x)=第六十五頁，共八十三頁，2022年，8月28日OLS估計量的方差

第六十六頁，共八十三頁，2022年，8月28日OLS估計量的方差在我們詳盡的研究估計值方差之前，我們要注意，在得到這個公式的過程中，用到了所有高斯-馬爾科夫假定。雖然OLS的無偏性不需要同方差假定，但是要讓上述式子成立，則必然要求同方差。

的大小在實踐中也很重要。方差越大，則意味著估計量越不精確，也就是置信區(qū)間越大和假設檢驗越不準確。第六十七頁，共八十三頁，2022年，8月28日OLS方差的成分：多重共線性

第六十八頁，共八十三頁，2022年，8月28日OLS方差成分：多重共線性xj的總樣本變異，SSTj。由定理3.2的表達式，xj的樣本變異越大，則估計值的方差越小。因此我們希望xj的取值越分散越好。擴大樣本容量可以提高每一個先變量的變異。當我們從總體中抽樣時，隨著樣本量的越來越大，SSTj將無限遞增。若SSTj很小，那么估計值的方差將很大，但是只要SSTj不為零，都是不違背假定MLR.3的第六十九頁，共八十三頁，2022年，8月28日OLS方差成分：多重共線性自變量之間的線性關系，.的回歸只是涉及到

原模型的自變量，其中xj是作為因變量而出現的?？紤]k=2的情形：

于是其中是x1對x2進行簡單回歸得到的擬合優(yōu)度。越接近1，表明x1與x2高度相關，且此時越大。第七十頁，共八十三頁，2022年，8月28日OLS方差成分：多重共線性

第七十一頁，共八十三頁，2022年，8月28日OLS方差成分：多重共線性若1，則，兩個或者多個自變量之間高度（但不完全）相關被稱為多重共線性。多重共線性不違背假定MLR.3，但是我們也不能確定一個臨界值來說明是否存在多重共線性。例如=0.9意味著在xj的樣本變異中，90%都可以由回歸模型中的其他自變量來解釋。即xj與其他