多元回歸分析-估計(jì)

多元回歸分析——估計(jì)模型與簡(jiǎn)單回歸的相似點(diǎn)多元回歸的意義多元回歸的最小二乘法多元回歸的代數(shù)性質(zhì)多元回歸的統(tǒng)計(jì)性質(zhì)遺漏變量擬合度多重共線性多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第1頁!引子使用簡(jiǎn)單的回歸分析，可以把因變量y解釋成一個(gè)自變量x的函數(shù)。然而在實(shí)際的經(jīng)驗(yàn)研究中使用簡(jiǎn)單回歸分析的主要缺陷是，它很難得到x在其他條件不變情況下對(duì)y的影響：因?yàn)殛P(guān)鍵假定SLR.3（所有其他影響y的因素都與x不相關(guān)）通常都不現(xiàn)實(shí)。很自然，如果我們?cè)谀Ｐ椭卸嘣黾右恍┯兄诮忉寉的因素，那么，y的變動(dòng)就能更多地得到解釋。因此，多元回歸分析可用于建立更好的因變量預(yù)測(cè)模型。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第2頁!多元回歸分析(multipleregressionanalysis)允許我們明確地控制許多其他也同時(shí)影響因變量的因素，所以它更適合于其他條件不變情況下的分析。在使用非實(shí)驗(yàn)數(shù)據(jù)的情況下，這對(duì)檢驗(yàn)經(jīng)濟(jì)理論和評(píng)價(jià)經(jīng)濟(jì)政策都很重要。多元回歸模型能夠容納許多可能相關(guān)的解釋變量，在簡(jiǎn)單回歸分析可能誤導(dǎo)的情況下，可以寄希望于多元回歸模型來推斷因果關(guān)系。多元回歸分析的另外一個(gè)優(yōu)點(diǎn)是，它可以用以添加相當(dāng)一般化的函數(shù)關(guān)系。在簡(jiǎn)單的回歸模型中，方程中只能出現(xiàn)單一個(gè)解釋變量的一個(gè)函數(shù)。如我們將看到的那樣，多元回歸模型的靈活性則大得多。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第3頁!使用多元回歸的動(dòng)因先用兩個(gè)例子來說明，如何用多元回歸分析來解決簡(jiǎn)單回歸所不能解決的問題。

wage=β0+β1educ+β2exper+u……(3.1)其中exper是在勞動(dòng)市場(chǎng)上以年計(jì)的工作經(jīng)歷。則工資wage由受教育水平和工作經(jīng)歷這兩個(gè)解釋變量或自變量及那些觀測(cè)不到的其他因素來決定。我們首要感興趣的，是在保持所有其他影響工資的因素不變情況下，educ對(duì)wage的影響；即我們只對(duì)參數(shù)β1感興趣。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第4頁!第二個(gè)例子問題：解釋在高中階段對(duì)每個(gè)學(xué)生的平均開支(expend)對(duì)平均標(biāo)準(zhǔn)化考試成績(jī)(avgscore)的影響。假設(shè)平均考試成績(jī)?nèi)Q于學(xué)?；稹⑵骄彝ナ杖?avginc)及其他不可觀測(cè)因素：

avgscore=β0+β1expend+β2avginc+u…………(3.2)出于政策目的，所關(guān)心的系數(shù)是expend在其他條件不變情況下對(duì)avgscore的影響β1。通過在模型中明確包括avginc，我們就能控制其對(duì)avgscore的影響。由于平均家庭收入與每個(gè)學(xué)生的開支趨于相關(guān)，所以加入這個(gè)變量可能很重要。簡(jiǎn)單回歸中，avginc被包括在誤差項(xiàng)中，而avginc與expend可能相關(guān)，從而導(dǎo)致在兩變量模型中對(duì)β1的OLS估計(jì)有偏誤。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第5頁!多元回歸分析對(duì)推廣變量之間的函數(shù)關(guān)系也有幫助。例如：假設(shè)家庭消費(fèi)(cons)是家庭收入(inc)的一個(gè)二次函數(shù)：cons=β0+β1inc+β2inc2+u……(3.4)其中u包括了影響消費(fèi)的其他因素，在這個(gè)模型中，消費(fèi)只取決于收入這一個(gè)觀測(cè)變量；所以看上去，一個(gè)簡(jiǎn)單的回歸分析就可以對(duì)付。但簡(jiǎn)單回歸不能處理這個(gè)模型，因?yàn)樗耸杖氲膬蓚€(gè)函數(shù)inc和inc2（因此就有三個(gè)參數(shù)β0、β1和β2）。盡管如此，通過令x1=inc和x2=inc2，消費(fèi)函數(shù)還是可以很容易地寫成一個(gè)含兩個(gè)自變量的回歸模型。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第6頁!(3.1)中，β1是educ在其他條件不變情況下對(duì)wage的影響。而方程(3.4)中的參數(shù)β1則沒有這樣的解釋。換句話說，度量inc在保持inc2不變的情況下對(duì)cons的影響是毫無意義的，如果inc變化，則inc2也一定會(huì)變化！相反，相對(duì)收入變化的消費(fèi)變化——即邊際消費(fèi)傾向——可近似為：換句話說，收入對(duì)消費(fèi)的邊際效應(yīng)取決于β2、β1和收入水平。這個(gè)例子表明，在任何一個(gè)特定應(yīng)用中，對(duì)自變量的定義都是至關(guān)重要的多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第7頁!(3.2)的例子類似于工資方程。其零條件均值的假定為E(u︱expend,avginc)=0，它意味著，影響學(xué)生考試成績(jī)的因素——學(xué)?；?qū)W生的個(gè)人特征——總體上與學(xué)生的平均開支和平均家庭收入無關(guān)。在(3.4)中的二次消費(fèi)函數(shù)，對(duì)零條件均值假定的解釋則略有不同。直接照寫，(3.5)就變成了E(u︱inc,inc2)=0。因?yàn)橐坏┲懒薸nc，那就會(huì)知道inc2，所以在預(yù)期表達(dá)式中包括inc2項(xiàng)是多此一舉：E(u︱inc,inc2)=0等價(jià)于E(u︱inc)=0。雖然在表述這個(gè)假定時(shí)讓inc2和inc一起出現(xiàn)在預(yù)期項(xiàng)中并沒有錯(cuò)，但E(u︱inc)=0更簡(jiǎn)明扼要。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第8頁!含有K個(gè)自變量的模型一旦開始多元回歸，沒有必要局限于兩個(gè)自變量。多元回歸分析允許多個(gè)可觀測(cè)因素影響y。在上述工資的例子中，我們還可以包括在職培訓(xùn)的數(shù)量、現(xiàn)任工作的任期、個(gè)人能力的某種度量，甚至是像兄弟姐妹的個(gè)數(shù)或母親受教育程度等人口變量。在學(xué)?；鸬睦又校~外的變量可能包括對(duì)教師質(zhì)量和學(xué)校規(guī)模的某種度量。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第9頁!一般的多元線性回歸模型(multiplelinearregressionmodel，也稱為多元回歸模型)在總體中可以寫成y=β0+β1x1+β2x2+β3x3+…+βkxk+u……(3.6)其中β0為截距(intercept)，β1是與x1相聯(lián)系的參數(shù)，β2是與x2相聯(lián)系的參數(shù)，等等。由于有k個(gè)自變量和一個(gè)截距項(xiàng)，所以方程(3.6)包含了k+1個(gè)(未知的)總體參數(shù)。為了表達(dá)上的簡(jiǎn)便，把這種不同于截距的參數(shù)稱為斜率參數(shù)(slopeparameter)，盡管它們并不一定表示斜率。[如方程(3.4)，其中β1和β2本身都不是斜率，但它們一起決定了消費(fèi)與收入之關(guān)系的斜率。]

多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第10頁!多元回歸與簡(jiǎn)單回歸的相似點(diǎn)

b0仍然是截距

b1到bk都成為斜率參數(shù)

u仍然是誤差項(xiàng)（或稱擾動(dòng)項(xiàng)）仍然需要做一個(gè)條件期望為0的假設(shè)，現(xiàn)在假設(shè)：E(u|x1,x2,…,xk)=0仍然最小化殘差的平方和，所以現(xiàn)在有k+1個(gè)一階條件多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第11頁!關(guān)鍵假定用條件預(yù)期的形式可以表示為E(u︱x1,x2,…,xk)=0……(3.8)(3.8)要求不可觀測(cè)的誤差項(xiàng)中所有的因素都與解釋變量無關(guān)。它還意味著，已經(jīng)正確地表述了被解釋變量和解釋變量之間的函數(shù)關(guān)系。任何一個(gè)導(dǎo)致u與某個(gè)自變量相關(guān)的問題，都會(huì)導(dǎo)致(3.8)式不成立。假定條件(3.8)式還表明OLS是無偏的，而如果方程中省略了一個(gè)關(guān)鍵變量，所得到的結(jié)論便會(huì)產(chǎn)生偏誤。

多元回歸模型的關(guān)鍵假定多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第12頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第13頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第14頁!(3.13)通常被稱為OLS一階條件(firstorderconditions)。像在簡(jiǎn)單回歸模型中一樣，OLS一階條件也可以通過矩法得到：在假定條件(3.8)下，E(u)=0，E(xju)=0，其中j=1，2，...，k。(3.13)就是這些總體矩在樣本中的對(duì)應(yīng)樣本矩。易見即便只是對(duì)中等大小，通過手算來求解(3.13)也是十分繁重的任務(wù)。不過，借助現(xiàn)代的計(jì)算機(jī)和統(tǒng)計(jì)與計(jì)量軟件，對(duì)較大的n和k，也能很快解出這些方程。注意：目前必須只能這樣假定(3.13)只能得到的唯一解。這是規(guī)范設(shè)定模型的常見情形。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第15頁!對(duì)OLS回歸方程的解釋方程中的截距項(xiàng)是y在x1=0和x2=0情況下的預(yù)測(cè)值。雖然它在大多數(shù)情況下都沒有什么意義，但對(duì)于設(shè)定的總體模型而言截距項(xiàng)總是必需的。估計(jì)值和局部效應(yīng)(partialeffect)或其他情況不變效應(yīng)的解釋。能在給定x1和x2的變化的情況下，預(yù)測(cè)y的變化。特別是當(dāng)x2固定，因而x2=0時(shí)，于是有多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第16頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第17頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第18頁!含有k個(gè)自變量的一般情形因此，在估計(jì)x1對(duì)y的影響時(shí)，已經(jīng)控制了變量x2到xk的影響。其他系數(shù)與此相似。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第19頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第20頁!多元回歸有效地模擬了對(duì)自變量的值不加限制的情況。多元回歸分析使能在非實(shí)驗(yàn)環(huán)境中，去做自然科學(xué)家在受控實(shí)驗(yàn)中所能做的事情：保持其他因素不變。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第21頁!OLS的擬合值和殘差多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第22頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第23頁!解答多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第24頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第25頁!例題通過對(duì)工資方程例子的數(shù)據(jù)WAGE1.RAW進(jìn)行“排除其他影響”的練習(xí)，證實(shí)對(duì)OLS估計(jì)值做“排除其他影響”解釋。首先要求，將educ對(duì)exper和tenure進(jìn)行回歸，并保留殘差。然后將log(wage)對(duì)進(jìn)行回歸。將的系數(shù)與將log(wage)對(duì)educ、exper和tenure回歸中educ的系數(shù)相比較。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第26頁!與僅聯(lián)系wage和educ的簡(jiǎn)單回歸分析相比，方程(3.1)有效地把exper從誤差項(xiàng)中取出并把它明確地放到方程之中。所以系數(shù)β2度量了exper在其他條件不變情況下對(duì)工資的影響，這點(diǎn)也有意義。就像在簡(jiǎn)單回歸中一樣，我們將不得不對(duì)(3.1)中的u如何與自變量educ和exper相關(guān)做出假定。但像我們?cè)诘?.2節(jié)中將看到的那樣，有一點(diǎn)我們充滿信心：因?yàn)?3.1)中明確地包含了工作經(jīng)歷，所以我們就能在保持工作經(jīng)歷不變的情況下，度量教育對(duì)工資的影響。如果將工作經(jīng)歷放到誤差項(xiàng)的簡(jiǎn)單回歸分析中，我們就不得不假定工作經(jīng)歷與受教育水平無關(guān)，顯然這是一個(gè)脆弱的假定。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第27頁!前面兩個(gè)例子已經(jīng)說明，除主要關(guān)心的變量外，如何把其他的可觀測(cè)因素也包括在回歸模型中。一般地，我們可以把含有兩個(gè)自變量的模型寫作y=β0+β1x1+β2x2+u……(3.3)其中，β0是截距，β1度量了在其他條件不變情況下y相對(duì)x1的變化，而β2

則度量了在其他條件不變情況下y相對(duì)x2的變化多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第28頁!機(jī)械地看，用普通最小二乘法去估計(jì)方程(3.1)和(3.4)，應(yīng)該沒有什么差別。每個(gè)方程都可以寫成像(3.3)那樣的方程。但重要的差別在于，人們對(duì)參數(shù)的解釋。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第29頁!在含有兩個(gè)自變量的模型中，u與x1和x2如何相關(guān)的關(guān)鍵假定是，E(u︱x1,x2)=0……(3.5)意味著，對(duì)總體中x1和x2的任何值，非觀測(cè)因素的平均都等于零。如何解釋前面例子中條件均值為零的假定：在(3.1)中，這個(gè)假定是E(u︱educ,exper)=0。意味著，影響wage的其他因素都與educ和exper無關(guān)。因此，如果我們認(rèn)為天生能力是u的一部分，那我們就需要假定，對(duì)工人總體中受教育和工作經(jīng)歷的各種組合，其平均能力水平都相同。這可能正確也可能不正確，但我們將看到，這正是為了判斷普通最小二乘法是否導(dǎo)致無偏估計(jì)量而需要知道的問題。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第30頁!問題用定罪概率(prbconv)和宣判監(jiān)禁的平均時(shí)間長(zhǎng)度(avgsen)來解釋城市謀殺率(murdrate)的一個(gè)簡(jiǎn)單模型：

murdrate=β0+β1prbconv+β2avgsen+u

u中包含了一些什么因素？你認(rèn)為關(guān)鍵假定(3.5)有可能成立嗎？因素包括了年齡和性別分布、警力規(guī)模(或更一般地，投入到與犯罪做斗爭(zhēng)的資源)、人口和一般歷史因素。這些因素當(dāng)然有可能與prbconv和avgsen相關(guān)，這時(shí)就意味著(3.5)不成立。比如，某些在預(yù)防犯罪和執(zhí)法方面投入較多氣力的城市，其警力規(guī)模可能與prbconv和avgsen都相關(guān)。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第31頁!多元回歸分析模型y=b0+b1x1+b2x2+...bkxk+u多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第32頁!多元回歸的術(shù)語類似于簡(jiǎn)單回歸的術(shù)語。恰如簡(jiǎn)單回歸中一樣，變量u表示誤差項(xiàng)(errorterm)或干擾項(xiàng)(disturbance)。它包括除x1，x2，x3，…，xk之外仍影響y的一些因素。無論在我們的模型中包含了多少個(gè)解釋變量，總有一些因素我們無法包括進(jìn)來，而所有這些因素就包括在u中。

多元線性回歸模型中的“線性”一詞，意味著方程(3.6)是其諸參數(shù)βj的一個(gè)線性函數(shù)。多元線性回歸的許多運(yùn)用中都涉及到主要變量之間的非線性關(guān)系。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第33頁!課堂問題設(shè)想CEO的薪水(salary)與企業(yè)的銷售量和CEO在這個(gè)企業(yè)的任期相關(guān)：log(salary)=β0+β1log(sales)+β2ceoten+β3ceoten2+u……(3.7)定義y=log(salary)，x1=log(sales)，x2=ceoten和x3=ceoten2，得一多元回歸模型(k=3)。試解釋參數(shù)。參數(shù)β1是(其他條件不變情況下)薪水對(duì)銷售量的彈性。如果β3=0，那么在其他條件不變情況下，100β2就表示ceoten增加一年導(dǎo)致salary提高的百分?jǐn)?shù)。當(dāng)β3≠0時(shí)，ceoten對(duì)salary的影響則復(fù)雜一些。

多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第34頁!普通最小二乘法的操作和解釋即將解決的問題：將普通最小二乘法用于一個(gè)特定的數(shù)據(jù)集時(shí)，在計(jì)算和代數(shù)上會(huì)有些什么特征及討論如何解釋所估計(jì)的方程。如何得到OLS估計(jì)值？先考慮對(duì)含有兩個(gè)自變量模型的估計(jì)。被估計(jì)的OLS方程在形式上與簡(jiǎn)單回歸情況下的方程相似：多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第35頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第36頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第37頁!與簡(jiǎn)單回歸分析相同，(3.11)被稱為OLS回歸線(OLSregressionline)或樣本回歸方程(sampleregressionfunction,簡(jiǎn)記為SRF)。把稱為OLS截距估計(jì)值(OLSinterceptestimate)，而把，...，稱為OLS斜率估計(jì)值(OLSslopeestimate)（與自變量對(duì)應(yīng)）。說“將y對(duì)x1,x2……xk進(jìn)行了一個(gè)OLS回歸”或“將y對(duì)x1,x2……xk進(jìn)行回歸”，是使用普通最小二乘法而得到(3.13)OLS方程(Equation)的簡(jiǎn)單說法。一般默認(rèn)是把截距與斜率一起估計(jì)。比在計(jì)算的背后存在的所有細(xì)節(jié)都重要的是，對(duì)所估計(jì)的方程進(jìn)行解釋。多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第38頁!對(duì)OLS回歸方程的解釋關(guān)鍵是，通過把x2包含在模型中，所得到的x1的系數(shù)，可解釋為在其他條件不變下的影響。這正是多元回歸分析有用的原因所在。

多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第39頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第40頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第41頁!多元回歸分析——估計(jì)共49頁，您現(xiàn)在瀏覽的是第42頁!多元回歸中“保持其他因素不變”的含義對(duì)多元回歸分析中斜率參數(shù)的局部效應(yīng)解釋可能會(huì)導(dǎo)致混淆，要盡量避免這個(gè)問題。多元回歸分析的功能在于，盡管不能在其他條件不變的情況下搜集數(shù)據(jù)，但它提供的系數(shù)仍可做其他條件不變的解釋。例如：在對(duì)ACT的系數(shù)做局部效應(yīng)解釋時(shí)，看起來就好像是在具有同等高中GPA但ACT分?jǐn)?shù)可能不同的人群中抽樣。然而情況并非如此，數(shù)據(jù)是來自一所很大的大學(xué)的隨機(jī)樣本：在獲得數(shù)據(jù)的過程中，對(duì)hsGPA和ACT的樣本值都沒有施加任何限制。在獲取樣本時(shí)，很少奢侈到能限制某些變量不變的程度