多元回歸分析導(dǎo)論課件

中級社會統(tǒng)計第十三講複迴歸分析?Ming-chiChenPage.1社會統(tǒng)計中級社會統(tǒng)計第十三講?Ming-chiChenPage.1複迴歸分析前面我們學(xué)到只有一個自變項的簡單迴歸分析我們知道一個地區(qū)的人均病床數(shù)會影響到該地區(qū)的平均餘命我們也知道一個地區(qū)的人均教育支出會影響該地區(qū)的平均餘命但是如果教育支出相等的條件下，醫(yī)療資源的多寡會不會影響平均壽命？兩者孰輕孰重？控制的概念（在其他條件不變的情況下）?Ming-chiChen2社會統(tǒng)計複迴歸分析前面我們學(xué)到只有一個自變項的簡單迴歸分析?Ming複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱為複迴歸分析（multipleregressionanalysis）又稱多元迴歸分析迴歸方程式?Ming-chiChen3社會統(tǒng)計複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱多元迴歸MultipleRegressionModels統(tǒng)計成績與努力（所花時間）的關(guān)係如下：觀念?Ming-chiChen4社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels兩者的迴歸線：觀念?Ming-chiChen5社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels將學(xué)生對於數(shù)理科目的興趣納入考量發(fā)現(xiàn)：觀念x2=30x2=20x2=10?Ming-chiChen6社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels如果我們針對具有相同興趣水準(zhǔn)的學(xué)生來考量努力與成績的關(guān)係，則可以分別用三個迴歸線來表達：觀念?Ming-chiChen7社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels這三條線的斜率似乎沒有原本迴歸線來得大，表示努力與成績的關(guān)係有一部份是受到興趣的干擾(confounding):有興趣的學(xué)生通常花比較多的時間觀念?Ming-chiChen8社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels此時利用多元迴歸比簡單迴歸可以算出三條簡單迴歸的「平均斜率」。觀念?Ming-chiChen9社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels多元迴歸用來分析一個以上自變數(shù)對於依變數(shù)的影響，可以看出「其他變數(shù)不變（常數(shù)）」的條件下，某一個變數(shù)對於依變數(shù)產(chǎn)生的「淨(jìng)」影響為何？觀念?Ming-chiChen10社會統(tǒng)計多元迴歸MultipleRegressionModelsPartialDerivative偏微分觀念觀念經(jīng)濟學(xué)說我們對於某商品的需求量與價格及所得有關(guān)：在所得不變的條件下，商品價格x1變動，對於需求量y有何影響??Ming-chiChen11社會統(tǒng)計PartialDerivative偏微分觀念觀念經(jīng)濟學(xué)說我PartialDerivative偏微分觀念觀念假設(shè)所得固定為100，因為價格變動所造成的商品需求變動可以表為：帶入原來的函數(shù)：?Ming-chiChen12社會統(tǒng)計PartialDerivative偏微分觀念觀念假設(shè)所得固PartialDerivative偏微分觀念觀念如果我們將x1切割成很小的單位，則每個極小單為的變動所造成的q變動為：在x2不變（保持恆定）的情況下，x1的變動所造成y的變動?Ming-chiChen13社會統(tǒng)計PartialDerivative偏微分觀念觀念如果我們將PartialDerivative偏微分觀念觀念X2所得X1價格y需求三個以上的自變數(shù)在三度空間上無法表達。二個自變數(shù)的多元迴歸分析在於設(shè)法找出最合適資料分佈的一個平面。?Ming-chiChen14社會統(tǒng)計PartialDerivative偏微分觀念觀念X2所得X多元迴歸的參數(shù)推估求多元迴歸x1與x2的係數(shù)？我們可以將所有的觀察值y視為x1與x2的線性函數(shù)加上誤差值e多元迴歸的預(yù)測值可以表為：?Ming-chiChen15社會統(tǒng)計多元迴歸的參數(shù)推估求多元迴歸x1與x2的係數(shù)？我們可以將所有TheNormalEquation觀念X2所得X1價格y需求求使e2最小的平面?Ming-chiChen16社會統(tǒng)計TheNormalEquation觀念X2所得X1價格yTheNormalEquation觀念求MinimumQ?將(1)式分別對a,b1,b2做偏微分，再將所得之方程式設(shè)為零，然後求解聯(lián)立方程式即可求得最小值。?Ming-chiChen17社會統(tǒng)計TheNormalEquation觀念求MinimumTheNormalEquation觀念e總和為零e與x1及x2不相關(guān)(uncorrelated)?Ming-chiChen18社會統(tǒng)計TheNormalEquation觀念e總和為零e與x1BasicRulesforDifferentiationRule8:thechainrule複習(xí)?Ming-chiChen19社會統(tǒng)計BasicRulesforDifferentiatioExampleofchainrule複習(xí)?Ming-chiChen20社會統(tǒng)計Exampleofchainrule複習(xí)?Ming-c微分求迴歸係數(shù)?Ming-chiChen21社會統(tǒng)計微分求迴歸係數(shù)?Ming-chiChen21社會統(tǒng)計?Ming-chiChen22社會統(tǒng)計?Ming-chiChen22社會統(tǒng)計TheNormalEquation觀念?Ming-chiChen23社會統(tǒng)計TheNormalEquation觀念?Ming-chiTheNormalEquation觀念SumAverage?Ming-chiChen24社會統(tǒng)計TheNormalEquation觀念SumAveragTheNormalEquation觀念SumAverage?Ming-chiChen25社會統(tǒng)計TheNormalEquation觀念SumAveragTheNormalEquation觀念迴歸平面通過中心點:?Ming-chiChen26社會統(tǒng)計TheNormalEquation觀念迴歸平面通過中心點NormalEquationsinReducedForm觀念若將所有變數(shù)都以「離均值」來表示求b1,b2等於：?Ming-chiChen27社會統(tǒng)計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯(lián)立方程式：?Ming-chiChen28社會統(tǒng)計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯(lián)立方程式：?Ming-chiChen29社會統(tǒng)計NormalEquationsinReducedFo觀念?Ming-chiChen30社會統(tǒng)計觀念?Ming-chiChen30社會統(tǒng)計一般化迴歸模型的假設(shè)條件依變數(shù)Yi為隨機變數(shù)，自變數(shù)（Xi,i=1,…,k）為預(yù)先選定的變數(shù)。ZeroMean:E(ei)=0Homoscedasticity:e2isthesameforallvalueofindependentvariable.Normality:ei為常態(tài)分配Noserialcorrelation:E(eiej)=0,ijIndependentofeiandxij:E(eixij)=0?Ming-chiChen31社會統(tǒng)計一般化迴歸模型的假設(shè)條件依變數(shù)Yi為隨機變數(shù)，自變數(shù)（Xi,一般化迴歸模型的假設(shè)條件Noperfectmulticollinearity:itisnotpossibletofindasetofnumbersc0,c1,…cksuchthat?樣本數(shù)n>k+1，在複迴歸模型若有k個自變數(shù)，則有k+1（包括截距α）個迴歸參數(shù)，此時利用樣本來估計迴歸參數(shù)時，樣本數(shù)必須大於k+1個。?Ming-chiChen32社會統(tǒng)計一般化迴歸模型的假設(shè)條件NoperfectmulticoTheGeneralMultipleRegressionModelb0,b1,…bkaretheleast-squaresestimatesofβ0,β1,…βkthatminimizetheresidualsumofsquares:TheGauss-MarkovTheorem:Ifthebasicassumptionshold:

b0,b1,…bkaretheunbiasedestimatesofβ0,β1,…,βkb0,b1,…bkhavetheminimumvariancesamongtheclassoflinearunbiasedestimators母體迴歸線樣本迴歸線?Ming-chiChen33社會統(tǒng)計TheGeneralMultipleRegressioEstimatedStandardErrorofRegression如同在簡單迴歸中，為了要做假設(shè)檢定，我們必須要估計e2。在簡單迴歸中，我們知道S2e=SSE/(n-2)為e2的不偏估計式。同理，在複迴歸中，S2e=SSE/(n-(K+1))為e2的不偏估計式。其中n為樣本數(shù)，(K+1)為所欲估計的未知數(shù)（即K個自變數(shù)加上一個常數(shù)項）。

?Ming-chiChen34社會統(tǒng)計EstimatedStandardErrorofReEstimatedStandardErrorofRegressionSSE的一般性公式：?Ming-chiChen35社會統(tǒng)計EstimatedStandardErrorofRePartitionofTotalSumofSquares觀念多元迴歸中，SST=SSR+SSE仍然成立e與x1及x2不相關(guān)?Ming-chiChen36社會統(tǒng)計PartitionofTotalSumofSquaPartitionofTotalSumofSquares觀念SST=SSE+SSR?Ming-chiChen37社會統(tǒng)計PartitionofTotalSumofSquaSumofSquareduetoRegression觀念代入以大寫字母來表示與平均值間的差異。?Ming-chiChen38社會統(tǒng)計SumofSquareduetoRegressioSumofSquareduetoRegression觀念?Ming-chiChen39社會統(tǒng)計SumofSquareduetoRegressioCoefficientofDeterminationR2判定係數(shù)用來衡量迴歸方程式的配合度或解釋力?Ming-chiChen40社會統(tǒng)計CoefficientofDeterminationRAdjustedRsquare如果樣本數(shù)小或自變項個數(shù)增加，會使自由度變小，因此判定係數(shù)R2會高估。亦即在複迴歸模型中若不斷加入與模型無關(guān)的解釋變數(shù)時，R2會提高一些，不能代表迴歸模型的解釋能力。需要調(diào)整複判定係數(shù)（adjustedcoefficientofmultipledetermination）主要調(diào)整的是自由度?Ming-chiChen41社會統(tǒng)計AdjustedRsquare如果樣本數(shù)小或自變項個數(shù)增AdjustedRsquare?Ming-chiChen42社會統(tǒng)計AdjustedRsquare?Ming-chiCheAdjustedRsquare?Ming-chiChen43社會統(tǒng)計AdjustedRsquare?Ming-chiCheAdjustedRsquare?Ming-chiChen44社會統(tǒng)計AdjustedRsquare?Ming-chiCheMeasuringGoodnessoffit在複迴歸中，可利用Ｆ檢定迴歸方程式中所有的自變數(shù)對於依變數(shù)Y是否有聯(lián)合的解釋能力： H0：迴歸方程式無解釋能力β0=β1=β2=…=βK=0 H1：迴歸方程式有解釋能力（β不全為零）?Ming-chiChen45社會統(tǒng)計MeasuringGoodnessoffit在複迴歸中MeasuringGoodnessoffitReject?Ming-chiChen46社會統(tǒng)計MeasuringGoodnessoffitRejec?Ming-chiChen47社會統(tǒng)計?Ming-chiChen47社會統(tǒng)計部分迴歸係數(shù)的F檢定檢定新增的IV對DV是否有影響設(shè)原複迴歸模型有k個IV，新增Q個IV，欲檢定新增的Q個IV是否對DV有影響，H0：βk+1=βk+2=…=βk+Q=0H1：H0不為真?Ming-chiChen48社會統(tǒng)計部分迴歸係數(shù)的F檢定檢定新增的IV對DV是否有影響?Ming個別迴歸參數(shù)的檢定由樣本估計出來的迴歸係數(shù)必須接受統(tǒng)計檢定，以了解母體參數(shù)的真實性質(zhì)（從樣本得到這樣的係數(shù)，是否意味著母體參數(shù)不為零）。若母體迴歸變異數(shù)σ2已知，則利用Z分配進行檢定或區(qū)間估計。但如果σ2未知，用樣本變異數(shù)S2Y|XZ（也就是Se2）來代替，進行t檢定。?Ming-chiChen49社會統(tǒng)計個別迴歸參數(shù)的檢定由樣本估計出來的迴歸係數(shù)必須接受統(tǒng)計檢定，樣本誤差值變異數(shù)Se2?Ming-chiChen50社會統(tǒng)計樣本誤差值變異數(shù)Se2?Ming-chiChen50社會統(tǒng)二元迴歸係數(shù)的變異數(shù)?Ming-chiChen51社會統(tǒng)計二元迴歸係數(shù)的變異數(shù)?Ming-chiChen51社會統(tǒng)計假設(shè)檢定迴歸係數(shù)檢定所要檢定的假設(shè)?Ming-chiChen52社會統(tǒng)計假設(shè)檢定迴歸係數(shù)檢定所要檢定的假設(shè)?Ming-chiChe迴歸係數(shù)的t檢定?Ming-chiChen53社會統(tǒng)計迴歸係數(shù)的t檢定?Ming-chiChen53社會統(tǒng)計Stata複迴歸結(jié)果===///?Ming-chiChen54社會統(tǒng)計Stata複迴歸結(jié)果===///?Ming-chiChenConfidenceIntervalsandtestsofhypotheses每一個β之95%信賴區(qū)間：自變數(shù)個數(shù)?Ming-chiChen55社會統(tǒng)計ConfidenceIntervalsandtestsStata複迴歸結(jié)果?Ming-chiChen56社會統(tǒng)計Stata複迴歸結(jié)果?Ming-chiChen56社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的平均值信賴區(qū)間?Ming-chiChen57社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的平均值信賴區(qū)間?Min複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的信賴區(qū)間?Ming-chiChen58社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的信賴區(qū)間?Ming-cStata求預(yù)測值?Ming-chiChen59社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen59社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen60社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen60社會統(tǒng)計預(yù)測母體依變項平均值的信賴區(qū)間?在Stata裡用predict新變數(shù)名稱,stdp這個指令來求對應(yīng)數(shù)值。?predictstderr,stdp?Ming-chiChen61社會統(tǒng)計預(yù)測母體依變項平均值的信賴區(qū)間?在Stata裡用predi母體預(yù)測值平均E(Y|X)或μy的95％信賴區(qū)間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatll=yhat-stderr*invttail(28,.05/2)這是信賴下界generateyhatul=yhat+stderr*invttail(28,.05/2)這是信賴上界?Ming-chiChen社會統(tǒng)計?Ming-chiChen62社會統(tǒng)計母體預(yù)測值平均E(Y|X)或μy的95％信賴區(qū)間先求出t值，Stata中求對應(yīng)特定Xp預(yù)測母體值的標(biāo)準(zhǔn)差?Ming-chiChen社會統(tǒng)計?

在Stata裡用predict新變數(shù)名稱,stdf這個指令來求對應(yīng)數(shù)值。這裡和前面略有不同。?predictstderrf,stdf?Ming-chiChen63社會統(tǒng)計Stata中求對應(yīng)特定Xp預(yù)測母體值的標(biāo)準(zhǔn)差?Ming-ch母體預(yù)測值Y-hat的95％信賴區(qū)間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatllf=yhat-stderrf*invttail(28,.05/2)這是信賴下界Generateyhatulf=yhat+stderrf*invttail(28,.05/2)這是信賴上界?Ming-chiChen社會統(tǒng)計?Ming-chiChen64社會統(tǒng)計母體預(yù)測值Y-hat的95％信賴區(qū)間先求出t值，要知道自由度複迴歸模型中解釋變數(shù)的相對重要性複迴歸模型中，各個IV的相對重要性國家在教育上的投入（0.0045）還是人口數(shù)目（0.00049）對中國各省市的平均餘命的影響比較重要？迴歸係數(shù)不能直接比較。因為單位不同。?Ming-chiChen65社會統(tǒng)計複迴歸模型中解釋變數(shù)的相對重要性複迴歸模型中，各個IV的相對複迴歸模型中解釋辨識的相對重要性我們可以用標(biāo)準(zhǔn)差來把迴歸係數(shù)化成同樣單位標(biāo)準(zhǔn)化的迴歸係數(shù)又稱為beta-coefficientsIV變動一個標(biāo)準(zhǔn)差，DV變動的標(biāo)準(zhǔn)差數(shù)。?Ming-chiChen66社會統(tǒng)計複迴歸模型中解釋辨識的相對重要性我們可以用標(biāo)準(zhǔn)差來把迴歸係數(shù)Stata求標(biāo)準(zhǔn)化迴歸係數(shù)?Ming-chiChen67社會統(tǒng)計Stata求標(biāo)準(zhǔn)化迴歸係數(shù)?Ming-chiChen67社Stata求標(biāo)準(zhǔn)化迴歸係數(shù)哪一個IV影響比較大？?Ming-chiChen68社會統(tǒng)計Stata求標(biāo)準(zhǔn)化迴歸係數(shù)哪一個IV影響比較大？?Ming-虛擬變數(shù)DummyVariables在迴歸方程式中，我們假設(shè)所有的變數(shù)皆為連續(xù)變數(shù)。如果遇到名目尺度變數(shù)，我們可以用虛擬變數(shù)來進行分析。虛擬變數(shù)(D)又稱為類別變數(shù)(categoricalvariables)，通常以(0,1)來區(qū)別類別。如男性D=1，女性D=0觀念?Ming-chiChen69社會統(tǒng)計虛擬變數(shù)DummyVariables在迴歸方程式中，我們假虛擬變數(shù)DummyVariables虛擬變數(shù)可以用來比較下列效果：Temporaleffect時間效果：戰(zhàn)時vs.平時，顛峰vs.非顛峰，假日vs.週間Spatialeffects地區(qū)效果：都市vs.鄉(xiāng)村Qaulitativevariables質(zhì)性變數(shù)：已婚vs.未婚，男性vs.女性，白人vs.非白人Broadgroupingsofqualitativevariables化約變數(shù)。觀念?Ming-chiChen70社會統(tǒng)計虛擬變數(shù)DummyVariables虛擬變數(shù)可以用來比較下虛擬變數(shù)DummyVariablesBasecase比較基底（或referencegroup參考組）當(dāng)虛擬變數(shù)為0時的所有觀察值。因此虛擬變數(shù)的迴歸係數(shù)衡量比較基底與非比較基底兩群樣本之間的差異。觀念?Ming-chiChen71社會統(tǒng)計虛擬變數(shù)DummyVariablesBasecase比較虛擬變數(shù)DummyVariables觀念?Ming-chiChen72社會統(tǒng)計虛擬變數(shù)DummyVariables觀念?Ming-chi虛擬變數(shù)DummyVariables觀念當(dāng)D=0時，當(dāng)D=1時，?Ming-chiChen73社會統(tǒng)計虛擬變數(shù)DummyVariables觀念當(dāng)D=0時，當(dāng)D=虛擬變數(shù)DummyVariablesYX教育年數(shù)家務(wù)時數(shù)?Ming-chiChen74社會統(tǒng)計虛擬變數(shù)DummyVariablesYX教育年數(shù)家務(wù)時數(shù)?Stata與虛擬變數(shù)打開85q1-family.dta依變項為j2，注意缺失值定義和每週家務(wù)工作168小時的轉(zhuǎn)換（＝112小時）在Stata裡產(chǎn)生虛擬變數(shù)以a1受訪者的性別為例taba1,gen(sex)這裡逗點之後的gen就是要求Stata從a1來產(chǎn)生一個名叫sex1（原本是a1=1男生）和sex2這兩個虛擬變數(shù)當(dāng)然我們只需要用到sex1，而把女生當(dāng)作對照組還有用婚姻狀態(tài)a5產(chǎn)生wed1（未婚）這個虛擬變數(shù)（把a5=3定義為缺失）我另外用eduy這個關(guān)於教育年數(shù)（小學(xué)及以下為6，初中9，高中12，大專及以上16）的連續(xù)變數(shù)。作法是generateeduy=6ifb1==1…?Ming-chiChen75社會統(tǒng)計Stata與虛擬變數(shù)打開85q1-family.dta?MiStata與虛擬變數(shù)sex1=1為男生，sex1=0是對照組女生?Ming-chiChen76社會統(tǒng)計Stata與虛擬變數(shù)sex1=1為男生，sex1=0是對照Stata與虛擬變數(shù)?Ming-chiChen77社會統(tǒng)計Stata與虛擬變數(shù)?Ming-chiChen77社會統(tǒng)計虛擬變數(shù)的推論統(tǒng)計包括男性這個虛擬變數(shù)在內(nèi)的所有變數(shù)的迴歸係數(shù)都顯著，可以拒絕虛無假設(shè)（係數(shù)等於零）?Ming-chiChen78社會統(tǒng)計虛擬變數(shù)的推論統(tǒng)計包括男性這個虛擬變數(shù)在內(nèi)的所有變數(shù)的迴歸係虛擬變數(shù)DummyVariables觀念當(dāng)男性=0時(女性)當(dāng)男性=1時(男性)?Ming-chiChen79社會統(tǒng)計虛擬變數(shù)DummyVariables觀念當(dāng)男性=0時(女性虛擬變數(shù)DummyVariables?Ming-chiChen80社會統(tǒng)計虛擬變數(shù)DummyVariables?Ming-chiC兩個虛擬變數(shù)的迴歸?Ming-chiChen81社會統(tǒng)計兩個虛擬變數(shù)的迴歸?Ming-chiChen81社會統(tǒng)計兩個虛擬變數(shù)的迴歸未婚男性未婚女性已婚男性已婚女性?Ming-chiChen82社會統(tǒng)計兩個虛擬變數(shù)的迴歸未婚男性未婚女性已婚男性已婚女性?Ming兩個以上類別的虛擬變數(shù)當(dāng)所欲比較的類別超過兩個時，必須在迴歸方程式中加入K-1個虛擬變數(shù)，K為類別數(shù)。?Ming-chiChen83社會統(tǒng)計兩個以上類別的虛擬變數(shù)當(dāng)所欲比較的類別超過兩個時，必須在迴歸兩個以上類別的虛擬變數(shù)當(dāng)所有的類別虛擬變數(shù)為0時，為比較基底組（參考組）的迴歸線。?Ming-chiChen84社會統(tǒng)計兩個以上類別的虛擬變數(shù)當(dāng)所有的類別虛擬變數(shù)為0時，為比較基底族群虛擬變數(shù)的推論統(tǒng)計族群的虛擬變數(shù)都未達顯著水準(zhǔn)，可見得對家務(wù)時數(shù)沒有影響。?Ming-chiChen85社會統(tǒng)計族群虛擬變數(shù)的推論統(tǒng)計族群的虛擬變數(shù)都未達顯著水準(zhǔn)，可見得對比較基底組的選擇究竟哪一組當(dāng)作比較基底最好沒有一定的答案，一般的選擇原則為：(1)最大人數(shù)組為基底。(2)不要以「其他」類別為基底。(3)人數(shù)過少的組別不要當(dāng)基底。(4)同質(zhì)性最高的為基底，即標(biāo)準(zhǔn)差最小的組。?Ming-chiChen86社會統(tǒng)計比較基底組的選擇究竟哪一組當(dāng)作比較基底最好沒有一定的答案，一Interactionwithdummyvariable另外一種常見的非線性關(guān)係稱為交互作用(interaction)。在線性迴歸模型中，每一個自變數(shù)對於依變數(shù)的影響為固定的，每單位X1的變動，永遠造成B1單位Y的變動。但有時候x在不同情況下，可能對Y的影響大小並不同。?Ming-chiChen87社會統(tǒng)計InteractionwithdummyvariablInteractionwithdummyvariable所謂交互作用，指的是x1對y的影響，決定於x2的數(shù)值?；蛘哒f在不同的x2水準(zhǔn)下，x1對Y有不同的影響?，F(xiàn)實世界中常有類似的交互作用出現(xiàn)：例如學(xué)歷對於收入的影響決定與個人的聰明才智（聰明人較能發(fā)揮學(xué)歷的效用）年資對於薪資的影響在公務(wù)員、醫(yī)生、農(nóng)人等不同職業(yè)類別中並不相同。?Ming-chiChen88社會統(tǒng)計InteractionwithdummyvariablInteractionwithdummyvariable欲測試x1,x2是否存在交互作用，僅需將x1及x2兩變數(shù)相乘後放入模型中即可。若x1,x2存在交互作用，則B3的統(tǒng)計檢定會顯著不同於零。?Ming-chiChen89社會統(tǒng)計Interactionwithdummyvariabl虛擬變數(shù)DummyVariables+交叉觀念當(dāng)D=0時，當(dāng)D=1時，?Ming-chiChen90社會統(tǒng)計虛擬變數(shù)DummyVariables+交叉觀念當(dāng)D=0虛擬變數(shù)DummyVariables+交叉產(chǎn)生交互作用項到達顯著水準(zhǔn)?Ming-chiChen91社會統(tǒng)計虛擬變數(shù)DummyVariables+交叉產(chǎn)生交互作用男女不同的教育效果?Ming-chiChen92社會統(tǒng)計男女不同的教育效果?Ming-chiChen92社會統(tǒng)計男女不同的教育效果斜率和截距都有所不同?Ming-chiChen93社會統(tǒng)計男女不同的教育效果斜率和截距都有所不同?Ming-chiCModelsinvolvingpolynomials在迴歸方程式中，有時自變數(shù)以二次項(parabola)或三次項(cubicpolynomial)的型態(tài)出現(xiàn)。X年資收入?Ming-chiChen94社會統(tǒng)計Modelsinvolvingpolynomials在迴Modelsinvolvingpolynomials?Ming-chiChen95社會統(tǒng)計Modelsinvolvingpolynomials?M中級社會統(tǒng)計第十三講複迴歸分析?Ming-chiChenPage.96社會統(tǒng)計中級社會統(tǒng)計第十三講?Ming-chiChenPage.1複迴歸分析前面我們學(xué)到只有一個自變項的簡單迴歸分析我們知道一個地區(qū)的人均病床數(shù)會影響到該地區(qū)的平均餘命我們也知道一個地區(qū)的人均教育支出會影響該地區(qū)的平均餘命但是如果教育支出相等的條件下，醫(yī)療資源的多寡會不會影響平均壽命？兩者孰輕孰重？控制的概念（在其他條件不變的情況下）?Ming-chiChen97社會統(tǒng)計複迴歸分析前面我們學(xué)到只有一個自變項的簡單迴歸分析?Ming複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱為複迴歸分析（multipleregressionanalysis）又稱多元迴歸分析迴歸方程式?Ming-chiChen98社會統(tǒng)計複迴歸分析研究兩個或兩個以上的IV對DV的影響的分析方式，稱多元迴歸MultipleRegressionModels統(tǒng)計成績與努力（所花時間）的關(guān)係如下：觀念?Ming-chiChen99社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels兩者的迴歸線：觀念?Ming-chiChen100社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels將學(xué)生對於數(shù)理科目的興趣納入考量發(fā)現(xiàn)：觀念x2=30x2=20x2=10?Ming-chiChen101社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels如果我們針對具有相同興趣水準(zhǔn)的學(xué)生來考量努力與成績的關(guān)係，則可以分別用三個迴歸線來表達：觀念?Ming-chiChen102社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels這三條線的斜率似乎沒有原本迴歸線來得大，表示努力與成績的關(guān)係有一部份是受到興趣的干擾(confounding):有興趣的學(xué)生通常花比較多的時間觀念?Ming-chiChen103社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels此時利用多元迴歸比簡單迴歸可以算出三條簡單迴歸的「平均斜率」。觀念?Ming-chiChen104社會統(tǒng)計多元迴歸MultipleRegressionModels多元迴歸MultipleRegressionModels多元迴歸用來分析一個以上自變數(shù)對於依變數(shù)的影響，可以看出「其他變數(shù)不變（常數(shù)）」的條件下，某一個變數(shù)對於依變數(shù)產(chǎn)生的「淨(jìng)」影響為何？觀念?Ming-chiChen105社會統(tǒng)計多元迴歸MultipleRegressionModelsPartialDerivative偏微分觀念觀念經(jīng)濟學(xué)說我們對於某商品的需求量與價格及所得有關(guān)：在所得不變的條件下，商品價格x1變動，對於需求量y有何影響??Ming-chiChen106社會統(tǒng)計PartialDerivative偏微分觀念觀念經(jīng)濟學(xué)說我PartialDerivative偏微分觀念觀念假設(shè)所得固定為100，因為價格變動所造成的商品需求變動可以表為：帶入原來的函數(shù)：?Ming-chiChen107社會統(tǒng)計PartialDerivative偏微分觀念觀念假設(shè)所得固PartialDerivative偏微分觀念觀念如果我們將x1切割成很小的單位，則每個極小單為的變動所造成的q變動為：在x2不變（保持恆定）的情況下，x1的變動所造成y的變動?Ming-chiChen108社會統(tǒng)計PartialDerivative偏微分觀念觀念如果我們將PartialDerivative偏微分觀念觀念X2所得X1價格y需求三個以上的自變數(shù)在三度空間上無法表達。二個自變數(shù)的多元迴歸分析在於設(shè)法找出最合適資料分佈的一個平面。?Ming-chiChen109社會統(tǒng)計PartialDerivative偏微分觀念觀念X2所得X多元迴歸的參數(shù)推估求多元迴歸x1與x2的係數(shù)？我們可以將所有的觀察值y視為x1與x2的線性函數(shù)加上誤差值e多元迴歸的預(yù)測值可以表為：?Ming-chiChen110社會統(tǒng)計多元迴歸的參數(shù)推估求多元迴歸x1與x2的係數(shù)？我們可以將所有TheNormalEquation觀念X2所得X1價格y需求求使e2最小的平面?Ming-chiChen111社會統(tǒng)計TheNormalEquation觀念X2所得X1價格yTheNormalEquation觀念求MinimumQ?將(1)式分別對a,b1,b2做偏微分，再將所得之方程式設(shè)為零，然後求解聯(lián)立方程式即可求得最小值。?Ming-chiChen112社會統(tǒng)計TheNormalEquation觀念求MinimumTheNormalEquation觀念e總和為零e與x1及x2不相關(guān)(uncorrelated)?Ming-chiChen113社會統(tǒng)計TheNormalEquation觀念e總和為零e與x1BasicRulesforDifferentiationRule8:thechainrule複習(xí)?Ming-chiChen114社會統(tǒng)計BasicRulesforDifferentiatioExampleofchainrule複習(xí)?Ming-chiChen115社會統(tǒng)計Exampleofchainrule複習(xí)?Ming-c微分求迴歸係數(shù)?Ming-chiChen116社會統(tǒng)計微分求迴歸係數(shù)?Ming-chiChen21社會統(tǒng)計?Ming-chiChen117社會統(tǒng)計?Ming-chiChen22社會統(tǒng)計TheNormalEquation觀念?Ming-chiChen118社會統(tǒng)計TheNormalEquation觀念?Ming-chiTheNormalEquation觀念SumAverage?Ming-chiChen119社會統(tǒng)計TheNormalEquation觀念SumAveragTheNormalEquation觀念SumAverage?Ming-chiChen120社會統(tǒng)計TheNormalEquation觀念SumAveragTheNormalEquation觀念迴歸平面通過中心點:?Ming-chiChen121社會統(tǒng)計TheNormalEquation觀念迴歸平面通過中心點NormalEquationsinReducedForm觀念若將所有變數(shù)都以「離均值」來表示求b1,b2等於：?Ming-chiChen122社會統(tǒng)計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯(lián)立方程式：?Ming-chiChen123社會統(tǒng)計NormalEquationsinReducedFoNormalEquationsinReducedForm觀念解聯(lián)立方程式：?Ming-chiChen124社會統(tǒng)計NormalEquationsinReducedFo觀念?Ming-chiChen125社會統(tǒng)計觀念?Ming-chiChen30社會統(tǒng)計一般化迴歸模型的假設(shè)條件依變數(shù)Yi為隨機變數(shù)，自變數(shù)（Xi,i=1,…,k）為預(yù)先選定的變數(shù)。ZeroMean:E(ei)=0Homoscedasticity:e2isthesameforallvalueofindependentvariable.Normality:ei為常態(tài)分配Noserialcorrelation:E(eiej)=0,ijIndependentofeiandxij:E(eixij)=0?Ming-chiChen126社會統(tǒng)計一般化迴歸模型的假設(shè)條件依變數(shù)Yi為隨機變數(shù)，自變數(shù)（Xi,一般化迴歸模型的假設(shè)條件Noperfectmulticollinearity:itisnotpossibletofindasetofnumbersc0,c1,…cksuchthat?樣本數(shù)n>k+1，在複迴歸模型若有k個自變數(shù)，則有k+1（包括截距α）個迴歸參數(shù)，此時利用樣本來估計迴歸參數(shù)時，樣本數(shù)必須大於k+1個。?Ming-chiChen127社會統(tǒng)計一般化迴歸模型的假設(shè)條件NoperfectmulticoTheGeneralMultipleRegressionModelb0,b1,…bkaretheleast-squaresestimatesofβ0,β1,…βkthatminimizetheresidualsumofsquares:TheGauss-MarkovTheorem:Ifthebasicassumptionshold:

b0,b1,…bkaretheunbiasedestimatesofβ0,β1,…,βkb0,b1,…bkhavetheminimumvariancesamongtheclassoflinearunbiasedestimators母體迴歸線樣本迴歸線?Ming-chiChen128社會統(tǒng)計TheGeneralMultipleRegressioEstimatedStandardErrorofRegression如同在簡單迴歸中，為了要做假設(shè)檢定，我們必須要估計e2。在簡單迴歸中，我們知道S2e=SSE/(n-2)為e2的不偏估計式。同理，在複迴歸中，S2e=SSE/(n-(K+1))為e2的不偏估計式。其中n為樣本數(shù)，(K+1)為所欲估計的未知數(shù)（即K個自變數(shù)加上一個常數(shù)項）。

?Ming-chiChen129社會統(tǒng)計EstimatedStandardErrorofReEstimatedStandardErrorofRegressionSSE的一般性公式：?Ming-chiChen130社會統(tǒng)計EstimatedStandardErrorofRePartitionofTotalSumofSquares觀念多元迴歸中，SST=SSR+SSE仍然成立e與x1及x2不相關(guān)?Ming-chiChen131社會統(tǒng)計PartitionofTotalSumofSquaPartitionofTotalSumofSquares觀念SST=SSE+SSR?Ming-chiChen132社會統(tǒng)計PartitionofTotalSumofSquaSumofSquareduetoRegression觀念代入以大寫字母來表示與平均值間的差異。?Ming-chiChen133社會統(tǒng)計SumofSquareduetoRegressioSumofSquareduetoRegression觀念?Ming-chiChen134社會統(tǒng)計SumofSquareduetoRegressioCoefficientofDeterminationR2判定係數(shù)用來衡量迴歸方程式的配合度或解釋力?Ming-chiChen135社會統(tǒng)計CoefficientofDeterminationRAdjustedRsquare如果樣本數(shù)小或自變項個數(shù)增加，會使自由度變小，因此判定係數(shù)R2會高估。亦即在複迴歸模型中若不斷加入與模型無關(guān)的解釋變數(shù)時，R2會提高一些，不能代表迴歸模型的解釋能力。需要調(diào)整複判定係數(shù)（adjustedcoefficientofmultipledetermination）主要調(diào)整的是自由度?Ming-chiChen136社會統(tǒng)計AdjustedRsquare如果樣本數(shù)小或自變項個數(shù)增AdjustedRsquare?Ming-chiChen137社會統(tǒng)計AdjustedRsquare?Ming-chiCheAdjustedRsquare?Ming-chiChen138社會統(tǒng)計AdjustedRsquare?Ming-chiCheAdjustedRsquare?Ming-chiChen139社會統(tǒng)計AdjustedRsquare?Ming-chiCheMeasuringGoodnessoffit在複迴歸中，可利用Ｆ檢定迴歸方程式中所有的自變數(shù)對於依變數(shù)Y是否有聯(lián)合的解釋能力： H0：迴歸方程式無解釋能力β0=β1=β2=…=βK=0 H1：迴歸方程式有解釋能力（β不全為零）?Ming-chiChen140社會統(tǒng)計MeasuringGoodnessoffit在複迴歸中MeasuringGoodnessoffitReject?Ming-chiChen141社會統(tǒng)計MeasuringGoodnessoffitRejec?Ming-chiChen142社會統(tǒng)計?Ming-chiChen47社會統(tǒng)計部分迴歸係數(shù)的F檢定檢定新增的IV對DV是否有影響設(shè)原複迴歸模型有k個IV，新增Q個IV，欲檢定新增的Q個IV是否對DV有影響，H0：βk+1=βk+2=…=βk+Q=0H1：H0不為真?Ming-chiChen143社會統(tǒng)計部分迴歸係數(shù)的F檢定檢定新增的IV對DV是否有影響?Ming個別迴歸參數(shù)的檢定由樣本估計出來的迴歸係數(shù)必須接受統(tǒng)計檢定，以了解母體參數(shù)的真實性質(zhì)（從樣本得到這樣的係數(shù)，是否意味著母體參數(shù)不為零）。若母體迴歸變異數(shù)σ2已知，則利用Z分配進行檢定或區(qū)間估計。但如果σ2未知，用樣本變異數(shù)S2Y|XZ（也就是Se2）來代替，進行t檢定。?Ming-chiChen144社會統(tǒng)計個別迴歸參數(shù)的檢定由樣本估計出來的迴歸係數(shù)必須接受統(tǒng)計檢定，樣本誤差值變異數(shù)Se2?Ming-chiChen145社會統(tǒng)計樣本誤差值變異數(shù)Se2?Ming-chiChen50社會統(tǒng)二元迴歸係數(shù)的變異數(shù)?Ming-chiChen146社會統(tǒng)計二元迴歸係數(shù)的變異數(shù)?Ming-chiChen51社會統(tǒng)計假設(shè)檢定迴歸係數(shù)檢定所要檢定的假設(shè)?Ming-chiChen147社會統(tǒng)計假設(shè)檢定迴歸係數(shù)檢定所要檢定的假設(shè)?Ming-chiChe迴歸係數(shù)的t檢定?Ming-chiChen148社會統(tǒng)計迴歸係數(shù)的t檢定?Ming-chiChen53社會統(tǒng)計Stata複迴歸結(jié)果===///?Ming-chiChen149社會統(tǒng)計Stata複迴歸結(jié)果===///?Ming-chiChenConfidenceIntervalsandtestsofhypotheses每一個β之95%信賴區(qū)間：自變數(shù)個數(shù)?Ming-chiChen150社會統(tǒng)計ConfidenceIntervalsandtestsStata複迴歸結(jié)果?Ming-chiChen151社會統(tǒng)計Stata複迴歸結(jié)果?Ming-chiChen56社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的平均值信賴區(qū)間?Ming-chiChen152社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的平均值信賴區(qū)間?Min複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的信賴區(qū)間?Ming-chiChen153社會統(tǒng)計複迴歸分析的統(tǒng)計預(yù)測：預(yù)測母體依變項的信賴區(qū)間?Ming-cStata求預(yù)測值?Ming-chiChen154社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen59社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen155社會統(tǒng)計Stata求預(yù)測值?Ming-chiChen60社會統(tǒng)計預(yù)測母體依變項平均值的信賴區(qū)間?在Stata裡用predict新變數(shù)名稱,stdp這個指令來求對應(yīng)數(shù)值。?predictstderr,stdp?Ming-chiChen156社會統(tǒng)計預(yù)測母體依變項平均值的信賴區(qū)間?在Stata裡用predi母體預(yù)測值平均E(Y|X)或μy的95％信賴區(qū)間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatll=yhat-stderr*invttail(28,.05/2)這是信賴下界generateyhatul=yhat+stderr*invttail(28,.05/2)這是信賴上界?Ming-chiChen社會統(tǒng)計?Ming-chiChen157社會統(tǒng)計母體預(yù)測值平均E(Y|X)或μy的95％信賴區(qū)間先求出t值，Stata中求對應(yīng)特定Xp預(yù)測母體值的標(biāo)準(zhǔn)差?Ming-chiChen社會統(tǒng)計?

在Stata裡用predict新變數(shù)名稱,stdf這個指令來求對應(yīng)數(shù)值。這裡和前面略有不同。?predictstderrf,stdf?Ming-chiChen158社會統(tǒng)計Stata中求對應(yīng)特定Xp預(yù)測母體值的標(biāo)準(zhǔn)差?Ming-ch母體預(yù)測值Y-hat的95％信賴區(qū)間先求出t值，要知道自由度在31-3＝28下，α=0.05的t值。在Stata中，用invttail(28,.05/2)generateyhatllf=yhat-stderrf*invttail(28,.05/2)這是信賴下界Generateyhatulf=yhat+stderrf*invttail(28,.05/2)這是信賴上界?Ming-chiChen社會統(tǒng)計?Ming-chiChen159社會統(tǒng)計母體預(yù)測值Y-hat的95％信賴區(qū)間先求出t值，要知道自由度複迴歸模型中解釋變數(shù)的相對重要性複迴歸模型中，各個IV的相對重要性國家在教育上的投入（0.0045）還是人口數(shù)目（0.00049）對中國各省市的平均餘命的影響比較重要？迴歸係數(shù)不能直接比較。因為單位不同。?Ming-chiChen160社會統(tǒng)計複迴歸模型中解釋變數(shù)的相對重要性複迴歸模型中，各個IV的相對複迴歸模型中解釋辨識的相對重要性我們可以用標(biāo)準(zhǔn)差來把迴歸係數(shù)化成同樣單位標(biāo)準(zhǔn)化的迴歸係數(shù)又稱為beta-coefficientsIV變動一個標(biāo)準(zhǔn)差，DV變動的標(biāo)準(zhǔn)差數(shù)。?Ming-chiChen161社會統(tǒng)計複迴歸模型中解釋辨識的相對重要性我們可以用標(biāo)準(zhǔn)差來把迴歸係數(shù)Stata求標(biāo)準(zhǔn)化迴歸係數(shù)?Ming-chiChen162社會統(tǒng)計Stata求標(biāo)準(zhǔn)化迴歸係數(shù)?Ming-chiChen67社Stata求標(biāo)準(zhǔn)化迴歸係數(shù)哪一個IV影響比較大？?Ming-chiChen163社會統(tǒng)計Stata求標(biāo)準(zhǔn)化迴歸係數(shù)哪一個IV影響比較大？?Ming-虛擬變數(shù)DummyVariables在迴歸方程式中，我們假設(shè)所有的變數(shù)皆為連續(xù)變數(shù)。如果遇到名目尺度變數(shù)，我們可以用虛擬變數(shù)來進行分析。虛擬變數(shù)(D)又稱為類別變數(shù)(categoricalvariables)，通常以(0,1)來區(qū)別類別。如男性D=1，女性D=0觀念?Ming-chiChen164社會統(tǒng)計虛擬變數(shù)DummyVariables在迴歸方程式中，我們假虛擬變數(shù)DummyVariables虛擬變數(shù)可以用來比較下列效果：Temporaleffect時間效果：戰(zhàn)時vs.平時，顛峰vs.非顛峰，假日vs.週間Spatialeffects地區(qū)效果：都市vs.鄉(xiāng)村Qaulitativevariables質(zhì)性變數(shù)：已婚vs.未婚，男性vs.女性，白人vs.非白人Broadgroupingsofqualitativevariables化約變數(shù)。觀念?Ming-chiChen165社會統(tǒng)計虛擬變數(shù)DummyVariables虛擬變數(shù)可以用來比較下虛擬變數(shù)DummyVariablesBasecase比較基底（或referencegroup參考組）當(dāng)虛擬變數(shù)為0時的所有觀察值。因此虛擬變數(shù)的迴歸係數(shù)衡量比較基底與非比較基底兩群樣本之間的差異。觀念?Ming-chiChen166社會統(tǒng)計虛擬變數(shù)DummyVariablesBasecase比較虛擬變數(shù)DummyVariables觀念?Ming-chiChen167社會統(tǒng)計虛擬變數(shù)DummyVariables觀念?Ming-chi虛擬變數(shù)DummyVariables觀念當(dāng)D=0時，當(dāng)D=1時，?Ming-chiChen168社會統(tǒng)計虛擬變數(shù)DummyVariables觀念當(dāng)D=0時，當(dāng)D=虛擬變數(shù)DummyVariablesYX教育年數(shù)家務(wù)時數(shù)?Ming-chiChen169社會統(tǒng)計虛擬變數(shù)DummyVariablesYX教育年數(shù)家務(wù)時數(shù)?Stata與虛擬變數(shù)打開85q1-family.dta依變項為j2，注意缺失值定義和每週家務(wù)工作168小時的轉(zhuǎn)換（＝112小時）在Stata裡產(chǎn)生虛擬變數(shù)以a1受訪者的性別為例taba1,gen(sex)這裡逗點之後的gen就是要求Stata從a1來產(chǎn)生一個名叫sex1（原本是a1=1男生）和sex2這兩個虛擬變數(shù)當(dāng)然我們只需要用到s