多元回歸分析進(jìn)一步問(wèn)題

關(guān)于多元回歸分析進(jìn)一步問(wèn)題1第一頁(yè)，共五十五頁(yè)，2022年，8月28日2MultipleRegressionAnalysis

多元回歸分析

y=b0+b1x1+b2x2+...bkxk+u4.FurtherIssues進(jìn)一步的問(wèn)題第二頁(yè)，共五十五頁(yè)，2022年，8月28日3ChapterOutline本章大綱EffectsofDataScalingonOLSStatistics數(shù)據(jù)的測(cè)度單位換算對(duì)OLS統(tǒng)計(jì)量的影響MoreonFunctionalForm對(duì)函數(shù)形式的進(jìn)一步討論MoreonGoodness-of-FitandSelectionofRegressors擬合優(yōu)度和回歸元選擇的進(jìn)一步探討PredictionandResidualAnalysis預(yù)測(cè)和殘差分析第三頁(yè)，共五十五頁(yè)，2022年，8月28日4LectureNotes課堂筆記EffectsofRedefiningvariables重新定義變量的影響Estimatedcoefficients估計(jì)系數(shù)RsquaredR平方tstatisticst統(tǒng)計(jì)量Functionalform函數(shù)形式 Logarithmicform對(duì)數(shù)函數(shù)形式ModelswithQuadratics含二次式的模型Modelswithinteractionterms含交叉項(xiàng)的模型第四頁(yè)，共五十五頁(yè)，2022年，8月28日5RedefiningVariables

重新定義變量Whywouldwewanttodoso?為什么我們想這樣做？Often,datascalingisusedtoreducethenumberofzerosafteradecimalpointinanestimatedcoefficient,sothattheresultsappearprettier.數(shù)據(jù)測(cè)度單位變換經(jīng)常被用于減少被估參數(shù)小數(shù)點(diǎn)后的零的個(gè)數(shù)，這樣結(jié)果更好看一些。Sincethisismainlyanactionofdecoration,weexpectnothingessentialshouldchange.既然這樣做主要為了好看，我們希望本質(zhì)的東西不改變。第五頁(yè)，共五十五頁(yè)，2022年，8月28日6RedefiningVariables:Anexample

重新定義變量：一個(gè)例子Consideramodelrelatinginfantbirthweighttocigarettesmokingandfamilyincome:以下模型反映了嬰兒出生體重與孕婦吸煙量和家庭收入之間的關(guān)系：(1)Considerthefollowingrescaling:考慮如下單位變換：(2)Birthweightischangedfromouncestopounds出生體重單位由盎司變?yōu)榘?3)Numberofcigarettesischangedtopacksofcigrattes香煙的支數(shù)變?yōu)榘鼣?shù)Theestimationresultsispresentedinthefollowingtable.估計(jì)結(jié)果列于下表

第六頁(yè)，共五十五頁(yè)，2022年，8月28日7Table6.1Y(column)(1)bwght(2)bwghtlbs(3)bwghtX(rows)Cigs-0.4634(0.0916)-0.0289(0.0057)--Packs-----9.268(1.832)Faminc0.0927(0.0292)0.0058(0.0018)0.0927(0.0292)Intercept116.794(1.049)7.3109(0.0656)116.974(1.049)Observations138813881388R-squared0.02980.02980.0298SSR557,485.512177.5778557.485.51SER20.0631.253920.063第七頁(yè)，共五十五頁(yè)，2022年，8月28日8Impactofchangingthescaleofthedependentvariable

改變被解釋變量測(cè)度單位的影響Since1lbs=16oz,thedependentvariableistransformedbydividing16.因?yàn)?磅＝16盎司，被解釋變量被除以16。Wecomparecolumns(1)and(2).比較第1列與第2列。Theestimatedcoefficientsin(1)/16=thosein(2).(1)中被估參數(shù)/16＝(2)中被估參數(shù)Thestandarderrorsofestimatedcoefficientsin(1)/16=thosein(2)(1)中被估參數(shù)的標(biāo)準(zhǔn)差/16＝(2)中被估參數(shù)的標(biāo)準(zhǔn)差第八頁(yè)，共五十五頁(yè)，2022年，8月28日9Impactofchangingthescaleofthedependentvariable

改變被解釋變量測(cè)度單位的影響Thetstatisticsin(1)and(2)areidentical.(1)和(2)中t統(tǒng)計(jì)量相同TheRsquaredareidentical.R平方相同SSRin(1)/(16*16)=SSRin(2)(1)中SSR/（16*16）＝(2)中SSRSER(standarderror)in(1)/16=SERin(2)(1)中SER(標(biāo)準(zhǔn)差)/16＝(2)中SER第九頁(yè)，共五十五頁(yè)，2022年，8月28日10Impactofchangingthescaleoftheindependentvariable

改變解釋變量測(cè)度單位的影響Nownumberofcigarettesischangedtopacksofcigarettes.現(xiàn)在香煙數(shù)量單位變?yōu)榘owcomparecolumns(1)and(3).現(xiàn)在比較第(1)列和第(3)列。Coefficientsestimatesandstandarderrorsonfamincandinterceptarethesame.變量faminc系數(shù)和截距項(xiàng)的估計(jì)值和其標(biāo)準(zhǔn)差分析同上。Coefficientsestimatesandstandarderrorsonpacksare20timeslarger.packs的系數(shù)估計(jì)值和標(biāo)準(zhǔn)差變?yōu)?0倍。第十頁(yè)，共五十五頁(yè)，2022年，8月28日11Impactofchangingthescaleoftheindependentvariable

改變解釋變量測(cè)度單位的影響Thetstatisticsareidentical.t統(tǒng)計(jì)量相同TheRsquaredareidentical.R平方相同TheSSRareidentical.SSR相同TheSERareidentical.SER相同第十一頁(yè)，共五十五頁(yè)，2022年，8月28日12RedefiningVariables

重新定義變量

Changingthescaleoftheyvariablewillleadtoacorrespondingchangeinthescaleofthecoefficientsandstandarderrors,sonochangeinthesignificanceorinterpretation改變變量y的測(cè)度單位會(huì)導(dǎo)致系數(shù)和標(biāo)準(zhǔn)差相應(yīng)的改變，所以解釋變量系數(shù)顯著性和對(duì)其解釋沒(méi)有改變。Changingthescaleofonexvariablewillleadtoachangeinthescaleofthatcoefficientandstandarderror,sonochangeinthesignificanceorinterpretationonthisvariableandothervariables.改變一個(gè)變量x的測(cè)度單位會(huì)導(dǎo)致該變量系數(shù)和標(biāo)準(zhǔn)差的相應(yīng)改變，所以所有解釋變量顯著性和對(duì)其解釋沒(méi)有改變。第十二頁(yè)，共五十五頁(yè)，2022年，8月28日13RedefiningVariables

重新定義變量Ifthedependentvariableappearsinlogarithmform,changingtheunitofmeasurementofthedependentvariabledoesnotaffectanyoftheslopecoefficient.如果被解釋變量以對(duì)數(shù)形式出現(xiàn)，改變被解釋變量度量單位對(duì)任何斜率系數(shù)沒(méi)有影響。Thisfollowsfromlog(cy)=log(c)+log(y),rescalingywillresultinchangestotheinterceptbutnottheslopecoefficients.來(lái)自log(cy)=log(c)+log(y)，改變y測(cè)度單位將改變截距，不改變斜率系數(shù)。第十三頁(yè)，共五十五頁(yè)，2022年，8月28日14BetaCoefficientsBeta系數(shù)Considerasampleregressionfunctionofthefollowingform:考慮如下形式的樣本回歸方程：

?=200+20,000x1

+0.2x2Canwesaythatx1

isthemostimportantvariable?我們能說(shuō)x1是最重要的變量嗎？Nowlookattheunitsofeachvariable:現(xiàn)在，查看以下各個(gè)變量的單位：yindollarsy單位：美元x1incentsx1單位：美分x2inthousandsx2單位：千美元第十四頁(yè)，共五十五頁(yè)，2022年，8月28日15BetaCoefficientsBeta系數(shù)Whatproblemdoestheaboveexamplereveal?上例揭示了什么問(wèn)題？Themagnitudeoftheestimatedcoefficientsarenotcomparable.被估計(jì)系數(shù)的大小是不可比較的。Arelatedproblemiswhenthemagnitudesofvariablesdiffertoomuch,theround-offerrorcanbeseriousinregressioncalculations.一個(gè)相關(guān)的問(wèn)題是，當(dāng)變量大小差別過(guò)大時(shí)，在回歸中因運(yùn)算近似而導(dǎo)致的誤差會(huì)比較大。第十五頁(yè)，共五十五頁(yè)，2022年，8月28日16BetaCoefficientsBeta系數(shù)

Occasionallyyou’llseereferencetoa“standardizedcoefficient”or“betacoefficient”whichhasaspecificmeaning有時(shí)，我們會(huì)看見(jiàn)“標(biāo)準(zhǔn)化系數(shù)”或“Beta系數(shù)”，這些名稱(chēng)有著特殊的意義Ideaistoreplaceyandeachxvariablewithastandardizedversion–i.e.subtractmeananddividebystandarddeviation使用Beta系數(shù)是因?yàn)橛袝r(shí)我們把y和各個(gè)x替換為標(biāo)準(zhǔn)化版本——也就是，減去均值后除以標(biāo)準(zhǔn)離差。Coefficientreflectsstandarddeviationofyforaonestandarddeviationchangeinx

系數(shù)反映對(duì)于一單位x的標(biāo)準(zhǔn)離差的y的標(biāo)準(zhǔn)離差。第十六頁(yè)，共五十五頁(yè)，2022年，8月28日17BetaCoefficientsBeta系數(shù)第十七頁(yè)，共五十五頁(yè)，2022年，8月28日18BetaCoefficientsBeta系數(shù)第十八頁(yè)，共五十五頁(yè)，2022年，8月28日19FunctionalForm函數(shù)形式

OLScanbeusedforrelationshipsthatarenotstrictlylinearinxandybyusingnonlinearfunctionsofxandy–willstillbelinearintheparametersOLS也可以用在x和y不是嚴(yán)格線性的情況，通過(guò)使用非線性方程，使得關(guān)于參數(shù)仍為線性。Cantakethenaturallogofx,yorboth可以取x，y（一個(gè)或全部）的自然對(duì)數(shù)Canusequadraticformsofx可以用x的平方形式Canuseinteractionsofxvariables可以用x的交叉項(xiàng)第十九頁(yè)，共五十五頁(yè)，2022年，8月28日20InterpretationofLogModels

對(duì)數(shù)模型的解釋

Ifthemodelisln(y)=b0+b1ln(x)+u如果模型是ln(y)=b0+b1ln(x)+u

b1istheelasticityofywithrespecttoxb1是y對(duì)于x的彈性Ifthemodelisln(y)=b0+b1x+u如果模型是ln(y)=b0+b1x+u

b1isapproximatelythepercentagechangeinygivena1unitchangeinx,oftencalledsemi-elasticity.b1近似是，給定一單位x的改變，y的百分比變化，常被稱(chēng)為半彈性。第二十頁(yè)，共五十五頁(yè)，2022年，8月28日21Whyuselogmodels?

為什么使用對(duì)數(shù)模型？

TheslopecoefficientsonLoggedvariablesareinvarianttothescaleofthevariables.取對(duì)數(shù)后變量的斜率系數(shù)，不隨變量測(cè)度單位改變。Theygiveadirectestimateofelasticityifbothregressorandregressandhavetakenlogs.如果回歸元和回歸子都取對(duì)數(shù)形式，斜率系數(shù)給出對(duì)彈性的一個(gè)直接估計(jì)。Formodelswithy>0,theconditionaldistributionisoftenheteroskedasticorskewed,whileln(y)ismuchlessso對(duì)于y>0的模型，條件分布經(jīng)常偏斜或存在異方差，而ln(y)就小多了，所以Thedistributionofln(y)ismorenarrow,limitingtheeffectofoutliersln(y)的分布窄多了，限制了異常（或極端）觀測(cè)值(outliers)的影響。第二十一頁(yè)，共五十五頁(yè)，2022年，8月28日22SomeRulesofThumb

一些經(jīng)驗(yàn)法則

Whattypesofvariablesareoftenusedinlogform?什么類(lèi)型的變量經(jīng)常用對(duì)數(shù)形式？Dollaramountsthatmustbepositive,wages,salaries,firmsales,andfirmmarketvalue.肯定為正的錢(qián)數(shù)：工資，薪水，企業(yè)銷(xiāo)售額和企業(yè)市值。Verylargevariables,suchaspopulation,totalnumberofemployees,schoolenrollment,etc.非常大的變量：如人口，雇員總數(shù)和學(xué)校注冊(cè)人數(shù)等。第二十二頁(yè)，共五十五頁(yè)，2022年，8月28日23SomeRulesofThumb

一些經(jīng)驗(yàn)法則Whattypesofvariablesareoftenusedinlevelform?什么類(lèi)型的變量經(jīng)常用水平值形式？Variablesmeasuredinyears,e.g.,education,experience,tenure,age用年測(cè)量的變量：如教育年限，工作經(jīng)歷，任期年限和年齡Variables,thatcanappeareitherinlogorinlevel:可以以水平值或?qū)?shù)形式出現(xiàn)的變量：Variablesthatareaproportionorpercent:unemployrate,theparticipationrateinapension,etc.比例或百分比變量：失業(yè)率，養(yǎng)老保險(xiǎn)金參與率等。第二十三頁(yè)，共五十五頁(yè)，2022年，8月28日24LimitationsofLogs

對(duì)數(shù)形式的限制Itcannotbeusedifavariabletakesonzeroofnegativevalues.一個(gè)變量取零或負(fù)值，則不能使用對(duì)數(shù)。Incaseswhenyisnonnegativebutcantake0,log(1+y)issometimesused.如果y非負(fù)但可以取零，則有時(shí)使用log(1+y)。Usinglog(1+y)andtheninterpretingtheestimatesasiftheestimateswerelog(y)isacceptablewhenthedataonyarenotdominatedbyzeros.當(dāng)數(shù)據(jù)并非多數(shù)為零時(shí)，使用log(1+y)估計(jì)，并且假定變量為log(y)，解釋所得的估計(jì)值，是可以接受的。第二十四頁(yè)，共五十五頁(yè)，2022年，8月28日25CautionsinusingLogs

慎重使用對(duì)數(shù)形式Noticethatwhenyisinlogform,itismoredifficulttopredicttheoriginalvariables,sincetheoriginalmodelallowustopredictlog(y)insteadofy.注意到，當(dāng)y取對(duì)數(shù)形式時(shí)，更難以預(yù)測(cè)原變量的值，因?yàn)樵Ｐ驮试S我們預(yù)測(cè)log(y)而不是y。第二十五頁(yè)，共五十五頁(yè)，2022年，8月28日26CautionsinusingLogs

慎重使用對(duì)數(shù)形式第二十六頁(yè)，共五十五頁(yè)，2022年，8月28日27QuadraticModels

含二次式的模型

Foramodeloftheformy=b0+b1x+b2x2+uwecan’tinterpretb1aloneasmeasuringthechangeinywithrespecttox,weneedtotakeintoaccountb2aswell,since對(duì)于形式為y=b0+b1x+b2x2+u的模型，我們不能單獨(dú)將b1解釋為關(guān)于x，y變化的度量，我們需要將b2也考慮進(jìn)來(lái)，因?yàn)榈诙唔?yè)，共五十五頁(yè)，2022年，8月28日28QuadraticModels

含二次式的模型Ifoneisinterestedincalculatingthepredictedchangesinygivenastartingvalueofxandachangeinx,onecandirectlyuse(1).如果感興趣的是，給定x的初始值和變動(dòng)，預(yù)測(cè)y的變化，那么可以直接使用（1）。Ingeneral,wemayusetheaveragevalueofx,orthemedian,orthelowerandupperquantilestopredicty,dependingonthequestionofourinterest.一般來(lái)說(shuō)，我們可以使用x的平均值，中值，或上下四分位數(shù)來(lái)預(yù)測(cè)y，取決于我們感興趣的問(wèn)題。第二十八頁(yè)，共五十五頁(yè)，2022年，8月28日29QuadraticModels

含二次式的模型第二十九頁(yè)，共五十五頁(yè)，2022年，8月28日30QuadraticModels

含二次式的模型第三十頁(yè)，共五十五頁(yè)，2022年，8月28日313.737.3724.4experwage第三十一頁(yè)，共五十五頁(yè)，2022年，8月28日32MoreonQuadraticModels

對(duì)含二次式模型的進(jìn)一步討論

Supposethatthecoefficientonxispositiveandthecoefficientonx2isnegative假如x的系數(shù)為正，x2的系數(shù)為負(fù)。Thenyisincreasinginxatfirst,butwilleventuallyturnaroundandbedecreasinginx那么，y首先隨x上升而上升，但最終轉(zhuǎn)向隨x上升而下降。第三十二頁(yè)，共五十五頁(yè)，2022年，8月28日33MoreonQuadraticModels

對(duì)含二次式模型的進(jìn)一步討論

Supposethatthecoefficientonxisnegativeandthecoefficientonx2ispositive假如x的系數(shù)為負(fù)，x2的系數(shù)為正。Thenyisdecreasinginxatfirst,butwilleventuallyturnaroundandbeincreasinginx那么，y首先隨x上升而下降，但最終轉(zhuǎn)向隨x上升而上升。第三十三頁(yè)，共五十五頁(yè)，2022年，8月28日34InteractionTerms

交叉項(xiàng)

Foramodeloftheformy=b0+b1x1+b2x2+b3x1x2+uwecan’tinterpretb1aloneasmeasuringthechangeinywithrespecttox1,weneedtotakeintoaccountb3aswell,since對(duì)于形式為y=b0+b1x1+b2x2+b3x1x2+u的模型，我們不能單獨(dú)將b1解釋為關(guān)于x1，y變化的度量，我們需要將b3也考慮進(jìn)來(lái)，因?yàn)榈谌捻?yè)，共五十五頁(yè)，2022年，8月28日35InteractionTerms

交叉項(xiàng)第三十五頁(yè)，共五十五頁(yè)，2022年，8月28日36InteractionTerms

交叉項(xiàng)Example6.3,page195.mple6.3,page195.第三十六頁(yè)，共五十五頁(yè)，2022年，8月28日37MoreonGoodness-of-FitandSelectionofRegressors

擬合優(yōu)度和解釋變量選擇的進(jìn)一步探討AdjustedR-Squared第三十七頁(yè)，共五十五頁(yè)，2022年，8月28日38MoreonGoodness-of-FitandSelectionofRegressors

擬合優(yōu)度和解釋變量選擇的進(jìn)一步探討WedefinethepopulationR-squaredistheproportionofthevariationinyinthepopulationexplainedbytheindependentvariables,as我們定義總體R2為：y的變異在總體中能被解釋變量解釋的比例，為T(mén)headjustedR-squareisstillnotanunbiasedestimatorofthepopulationR-squared,becausetheratiooftwounbiasedestimatorsisnotanunbiasedestimator.調(diào)整過(guò)的R2仍不是總體R2的一個(gè)無(wú)偏估計(jì)量，因?yàn)閮蓚€(gè)無(wú)偏估計(jì)量的比例不是一個(gè)無(wú)偏估計(jì)量。第三十八頁(yè)，共五十五頁(yè)，2022年，8月28日39MoreonGoodness-of-FitandSelectionofRegressors

擬合優(yōu)度和解釋變量選擇的進(jìn)一步探討Theprimaryattractivenessofisthatisimposesapenaltyforaddingmoreindependentvariablestoamodel.調(diào)整過(guò)的R2最根本的吸引力，在于它對(duì)向模型增加自變量的懲罰。Ifweaddanewindependentvariabletoaregressionequation,increasesifandonlyifthetstatisticonthenewvariableisgreaterthanoneinabsolutevalue.如果我們向回歸模型加入一個(gè)新的解釋變量，當(dāng)且僅當(dāng)新變量的t統(tǒng)計(jì)量的絕對(duì)值大于1時(shí)，調(diào)整過(guò)的R2增加。第三十九頁(yè)，共五十五頁(yè)，2022年，8月28日40UsingAdjustedR-SqraredtoChooseBetweenNonnestedModels

利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)行選擇Twomodelsarenonnestedifneithermodelisaspecialcaseoftheother.如果兩個(gè)模型中任何一個(gè)都不是另一個(gè)的特例，則兩個(gè)模型是非嵌套的。TheFstatisticsonlyallowustotestnestedmodels,sincetherestrictedmodelisaspecialcaseoftheunrestrictedmodel.F統(tǒng)計(jì)量只允許我們檢驗(yàn)嵌套的模型，因?yàn)橛邢拗频哪Ｐ褪菬o(wú)限制模型的特例。Weneedsomeguidanceinchoosingamongnonnestedmodels.我們需要一些在無(wú)嵌套模型間進(jìn)行選擇的指導(dǎo)。第四十頁(yè)，共五十五頁(yè)，2022年，8月28日41UsingAdjustedR-SquaredtoChooseBetweenNonnestedModels

利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)行選擇

Comparingtochooseamongdifferentnonnestedsetsofindependentvariablescanbevaluablewhenthesevariablesrepresentdifferentfunctionalform. 當(dāng)變量有不同函數(shù)形式時(shí)，通過(guò)比較調(diào)整過(guò)的R2，在不同的解釋變量的非嵌套組合中進(jìn)行選擇，是頗有價(jià)值的。Forexample,onemodelisy=b0+b1x1+b2log(x2)buttheotherisy=b0+b1x1+b2x2+b3x22.IftheAdjustedR-Squaredis0.3butitis0.6fromthesecondone,wetendtochoosethesecondmodel.例如，一個(gè)模型是y=b0+b1x1+b2log(x2)， 另一個(gè)是y=b0+b1x1+b2x2+b3x22。 如果第一個(gè)模型調(diào)整過(guò)的R平方為0.3，而第二個(gè)為0.6，我們傾向于選擇第二個(gè)模型第四十一頁(yè)，共五十五頁(yè)，2022年，8月28日42UsingAdjustedR-SquaredtoChooseBetweenNonnestedModels

利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)行選擇TheLimitationofAdjustedR-squared:wecannotuseittochoosebetweendifferentfunctionalformsforthedependentvariable.調(diào)整過(guò)的R2的限制：我們不能利用它在關(guān)于因變量函數(shù)形式不同的模型間進(jìn)行選擇第四十二頁(yè)，共五十五頁(yè)，2022年，8月28日43PredictionAnalysis:theestimator

預(yù)測(cè)分析：估計(jì)量第四十三頁(yè)，共五十五頁(yè)，2022年，8月28日44PredictionAnalysis:thestandarderror預(yù)測(cè)分析：標(biāo)準(zhǔn)差第四十四頁(yè)，共五十五頁(yè)，2022年，8月28日45PredictionAnalysis:theConfidenceInterval

預(yù)測(cè)分析：置信區(qū)間第四十五頁(yè)，共五十五頁(yè)，2022年，8月28日46PredictionAnalysis:ConfidenceIntervalforaparticulary

預(yù)測(cè)分析：一個(gè)特殊y的置信區(qū)間第四十六頁(yè)，共五十五頁(yè)，2022年，8月28日47PredictionAnalysis:PredictionIntervalfory0

預(yù)測(cè)分析：y0的預(yù)測(cè)區(qū)間第四十七頁(yè)，共五十五頁(yè)，2022年，8月28日48PredictionAnalysis:PredictionIntervalfory0

預(yù)測(cè)分析：y0的預(yù)測(cè)區(qū)間第四十八頁(yè)，共五十五頁(yè)，2022年，8月28日49Sometimes,itisusefultoexamineindividualobservationstoseewhet