多元回歸分析異方差演示文稿

多元回歸分析異方差演示文稿1現(xiàn)在是1頁\一共有74頁\編輯于星期五2多元回歸分析異方差現(xiàn)在是2頁\一共有74頁\編輯于星期五ChapterOutline本章提要ConsequencesofHSKofOLSOLS中異方差的影響HSK-RobustInferenceafterOLSestimationOLS估計(jì)后“對異方差穩(wěn)健”的統(tǒng)計(jì)推斷TestingforHSK檢驗(yàn)異方差WeightedLeastSquaresEstimation加權(quán)最小二乘估計(jì)現(xiàn)在是3頁\一共有74頁\編輯于星期五LectureOutline本課提要WhatisHSK什么是異方差ConsequencesofHSK異方差的影響HSK-RobustInferenceafterOLSestimationOLS估計(jì)后的“對異方差穩(wěn)健”統(tǒng)計(jì)推斷HSK-robuststandarderror HSK－異方差穩(wěn)健標(biāo)準(zhǔn)差HSK-robustt,F,LMstatistics HSK－異方差穩(wěn)健t,F,LM統(tǒng)計(jì)量現(xiàn)在是4頁\一共有74頁\編輯于星期五WhatisHeteroskedasticity(HSK)

什么是異方差

Recalltheassumptionofhomoskedasticityimpliedthatconditionalontheexplanatoryvariables,thevarianceoftheunobservederror,u,wasconstant

同方差假定意味著條件于解釋變量，不可觀測誤差的方差為常數(shù)Ifthisisnottrue,thatisifthevarianceofuisdifferentfordifferentvaluesofthex’s,thentheerrorsareheteroskedastic

如果u的方差隨x變化，那么誤差是異方差的。Example:estimatingreturnstoeducationandabilityisunobservable,andthinkthevarianceinabilitydiffersbyeducationalattainment

例子：估計(jì)教育回報并且能力不可觀測，認(rèn)為能力的方差隨教育水平變化?，F(xiàn)在是5頁\一共有74頁\編輯于星期五.Educationlevelprimarysecondaryf(y|x)IllustrationofHeteroskedasticity異方差圖示college..E(y|x)=b0+b1xwage現(xiàn)在是6頁\一共有74頁\編輯于星期五Aspecificexample:histogramsofwageratesforeacheducationdegree,fromonlyeducated1yearto18years.

一個具體例子：每一個教育年限（1－18年）對應(yīng)人群的工資直方圖現(xiàn)在是7頁\一共有74頁\編輯于星期五CheckingtheExistenceofHSK:plottingtheresidualsagainstthefittedvalues現(xiàn)在是8頁\一共有74頁\編輯于星期五Whenthereisheteroskedasticity…

當(dāng)存在異方差時…

OLSisstillunbiasedandconsistent. OLS無偏且一致R-squaredoradjustedR-squaredarestillfinegoodness-of-fitmeasures. R平方和調(diào)整后的R平方仍可以很好地度量擬合優(yōu)度。TheyareestimatesofthepopulationR-squared,1

–[Var(u)/Var(y)],wherethevariancesaretheunconditionalvariancesinthepopulation.

它們是對總體R平方1

–[Var(u)/Var(y)]的估計(jì)，其中的方差是總體中的“非條件”方差。TheyconsistentlyestimatethepopulationR-squared,whetherornotVar(u|x)

=Var(y|x)dependsonx.

無論Var(u|x)

=Var(y|x)是否依賴于x，它們都可以一致地估計(jì)總體R平方。現(xiàn)在是9頁\一共有74頁\編輯于星期五Whydowecare?

為何關(guān)心異方差？Thestandarderrorsoftheestimatesarebiasedifwehaveheteroskedasticity.

如果存在異方差，那么估計(jì)值的標(biāo)準(zhǔn)差是有偏的。Ifthestandarderrorsarebiased,wecannotusetheusualtstatisticsorFstatisticsorLMstatisticsfordrawinginferences. 如果標(biāo)準(zhǔn)差有偏，我們就不能應(yīng)用通常的t統(tǒng)計(jì)量或F統(tǒng)計(jì)量來進(jìn)行統(tǒng)計(jì)推斷?，F(xiàn)在是10頁\一共有74頁\編輯于星期五Whattodo?

怎么辦？Econometricianshavelearnedhowtoadjuststandarderrors,t,F,andLMstatisticssothattheyarevalidinthepresenceofheteroskedasticityofunknownform.

計(jì)量經(jīng)濟(jì)學(xué)家已經(jīng)知道如何調(diào)整標(biāo)準(zhǔn)差，t，F(xiàn)，LM量，使得它們當(dāng)未知形式的異方差存在時仍然有效。White(1980)showsthatthevariances,,canbeestimatedinthepresenceofheteroskedasticity.

White（1980）指出，在存在異方差時，方差也是可以估計(jì)的。現(xiàn)在是11頁\一共有74頁\編輯于星期五VariancewithHeteroskedasticity

異方差存在時的方差現(xiàn)在是12頁\一共有74頁\編輯于星期五VariancewithHeteroskedasticity

異方差存在時的方差現(xiàn)在是13頁\一共有74頁\編輯于星期五VariancewithHeteroskedasticity

異方差存在時的方差現(xiàn)在是14頁\一共有74頁\編輯于星期五VariancewithHeteroskedasticity

異方差存在時的方差Thesquarerootofiscalled:

開平方被稱為Heteroskedasticity-robuststandarderror,or

對異方差穩(wěn)健的標(biāo)準(zhǔn)差，或Whitestandarderror,or White標(biāo)準(zhǔn)差，或Huberstandarderror,or Huber標(biāo)準(zhǔn)差，或Eickerstandarderrors,or Eicker標(biāo)準(zhǔn)差現(xiàn)在是15頁\一共有74頁\編輯于星期五RobustStandardErrors

穩(wěn)健標(biāo)準(zhǔn)差

Nowtherobuststandarderrorscanbeusedforinference

穩(wěn)健標(biāo)準(zhǔn)差可以用來進(jìn)行推斷。Sometimestheestimatedvarianceiscorrectedfordegreesoffreedombymultiplyingbyn/(n–k–1)

有時可以將估計(jì)的方差乘以n/(n–k–1)來修正自由度Asn→∞it’sallthesame,though.

當(dāng)n→∞時，沒有區(qū)別?，F(xiàn)在是16頁\一共有74頁\編輯于星期五Example:robustseversususualse

例子：穩(wěn)健標(biāo)準(zhǔn)差與常規(guī)標(biāo)準(zhǔn)差現(xiàn)在是17頁\一共有74頁\編輯于星期五Example:robustseversususualse

例子：穩(wěn)健標(biāo)準(zhǔn)差與常規(guī)標(biāo)準(zhǔn)差Whatdowelearn?

我們學(xué)到了什么？Robuststandarderrorscanbeeitherlargerorsmallerthantheusualstandarderrors.

穩(wěn)健標(biāo)準(zhǔn)差可能比常規(guī)標(biāo)準(zhǔn)差大，也可能小。Butempiricallytherobuststandarderrorsareoftenfoundtobelargerthanthestandarderrors.

但是實(shí)證中常常發(fā)現(xiàn)穩(wěn)健標(biāo)準(zhǔn)差要大些。Ifthedifferencesbetweenthesetwoerrorsarelarge,thentheconclusionsforstatisticalinferencecanbeverydifferent.

如果這兩種標(biāo)準(zhǔn)差的差異很大，那么統(tǒng)計(jì)推斷的結(jié)論可能有很大差異?，F(xiàn)在是18頁\一共有74頁\編輯于星期五Now,whycareabouttheusualse?

為何要考慮常規(guī)標(biāo)準(zhǔn)差？Giventhatrobuststandarderrorsarevalidwhetherornotheteroskedasticityispresent,thenwhydowestillneedtheusualstandarderror?

如果穩(wěn)健標(biāo)準(zhǔn)差無論異方差存在與否都是適用的，為什么我們還需要常規(guī)標(biāo)準(zhǔn)差？NoticethatRobuststandarderrorsarejustifiedonlywhenthesamplesizeislarge.

我們應(yīng)當(dāng)注意到，穩(wěn)健標(biāo)準(zhǔn)差的適用性依賴于大樣本。現(xiàn)在是19頁\一共有74頁\編輯于星期五RobustStandardErrors

穩(wěn)健標(biāo)準(zhǔn)差Whenthesamplesizeissmallandthehomoskedasticyassumptionactuallyholds,theusualtstatisticshaveexacttdistribution,butthiswillnotbethecaseforrobuststandarderrors,henceinferencesmaynotbecorrect

如果是小樣本同方差情形，那么常規(guī)的t統(tǒng)計(jì)量精確地服從t

分布，但是這并不適用于穩(wěn)健標(biāo)準(zhǔn)差，因此，在這種情況下使用穩(wěn)健標(biāo)準(zhǔn)差就可能導(dǎo)致推斷錯誤。

Whenthesamplesizeislarge,reportingrobuststandarderrors(ortogetherwiththeusualstandarderrors)arerecommended,esp.inusingcross-sectionaldata.

在大樣本情形下，特別是應(yīng)用截面數(shù)據(jù)的時候，我們推薦報告穩(wěn)健標(biāo)準(zhǔn)差（或同時報告常規(guī)的標(biāo)準(zhǔn)差）。現(xiàn)在是20頁\一共有74頁\編輯于星期五Heteroskedasticy(HSK)-robustInferenceafterOLSestimation

OLS估計(jì)后的HSK-穩(wěn)健推斷LetrsedenoteHSK-robuststandarderrors

trse=(estimate-hypothesizedvalue)/(rse)

記rse為對異方差穩(wěn)健的標(biāo)準(zhǔn)差

trse=(估計(jì)值-假設(shè)值)/(異方差穩(wěn)健的標(biāo)準(zhǔn)差)TheHSK-RobustFstatistic對異方差穩(wěn)健F統(tǒng)計(jì)量WithHSKtheusualFstatisticisnolongerFdistributed.

在異方差下，常規(guī)F統(tǒng)計(jì)量不再服從F分布。TheHSK-RobustFstatisticisalsocalledWaldstatistic HSK－穩(wěn)健F統(tǒng)計(jì)量也稱為Wald統(tǒng)計(jì)量Stataautomaticallycalculateitafterrobustregression Stata在穩(wěn)健回歸后自動計(jì)算現(xiàn)在是21頁\一共有74頁\編輯于星期五

Example:usebirth.dta,comparetheusualandrobustregressions:theusualregressions

例子：比較常規(guī)回歸和穩(wěn)健回歸：常規(guī)回歸現(xiàn)在是22頁\一共有74頁\編輯于星期五

desobs:1,388vars:143Jun199713:47size:55,520(99.5%ofmemoryfree)storagedisplayvaluevariablenametypeformatlabelvariablelabelfamincfloat%9.0g1988familyincome,$1000scigtaxfloat%9.0gcig.taxinhomestate,1988cigpricefloat%9.0gcig.priceinhomestate,1988bwghtint%8.0gbirthweight,ouncesfatheducbyte%8.0gfather'syrsofeducmotheducbyte%8.0gmother'syrsofeducparitybyte%8.0gbirthorderofchildmalebyte%8.0g=1ifmalechildwhitebyte%8.0g=1ifwhitecigsbyte%8.0gcigssmkedperdaywhilepreglbwghtfloat%9.0glogofbwghtbwghtlbsfloat%9.0gbirthweight,poundspacksfloat%9.0gpackssmkedperdaywhilepreglfamincfloat%9.0glog(faminc)現(xiàn)在是23頁\一共有74頁\編輯于星期五Example:usebirth.dta,comparetheusualandrobustregressions:therobustregressions

例子：比較常規(guī)回歸和穩(wěn)健回歸：穩(wěn)健回歸現(xiàn)在是24頁\一共有74頁\編輯于星期五Example:usebirth.dta,Fstatisticfortheusualregression

例子：應(yīng)用birth.dta，常規(guī)回歸的F統(tǒng)計(jì)量現(xiàn)在是25頁\一共有74頁\編輯于星期五Example:usebirth.dta,Fstatisticfortherobustregression

例子：應(yīng)用birth.dta,穩(wěn)健回歸的F統(tǒng)計(jì)量現(xiàn)在是26頁\一共有74頁\編輯于星期五ARobustLMStatistic

穩(wěn)健的LM統(tǒng)計(jì)量

RunOLSontherestrictedmodelandsavetheresiduals?

在有限制模型下進(jìn)行OLS，保存殘差?Regresseachoftheexcludedvariablesonalloftheincludedvariables(qdifferentregressions)andsaveeachsetofresiduals?1,?2,…,?q

將每一個排除變量對全部未排除變量進(jìn)行回歸（q個回歸）并將每一組殘差?1,?2,…,?q保存Regressavariabledefinedtobe=1

on?1?,?2?,…,?q?,withnointercept

將1向量對?1?,?2?,…,?q?進(jìn)行無截矩回歸。TheLMstatisticisn

–SSR1,whereSSR1isthesumofsquaredresidualsfromthisfinalregression LM定義為n

–SSR1其中SSR1

為最后一次回歸的殘差平方和?，F(xiàn)在是27頁\一共有74頁\編輯于星期五Examplebirth.dta:theLMfortheusualregression(1)

例子birth.dta：常規(guī)回歸的LM現(xiàn)在是28頁\一共有74頁\編輯于星期五Examplebirth.dta:theLMfortheusualregression(2)

例子birth.dta:常規(guī)回歸的LM現(xiàn)在是29頁\一共有74頁\編輯于星期五Examplebirth.dta:therobustLMstatistic(1)

例子birth.dta:穩(wěn)健LM統(tǒng)計(jì)量（1）現(xiàn)在是30頁\一共有74頁\編輯于星期五Examplebirth.dta:therobustLMstatistic(2)

例子birth.dta:穩(wěn)健LM統(tǒng)計(jì)量（2）現(xiàn)在是31頁\一共有74頁\編輯于星期五Examplebirth.dta:therobustLMstatistic(3)

例子birth.dta:穩(wěn)健LM統(tǒng)計(jì)量（3）現(xiàn)在是32頁\一共有74頁\編輯于星期五Examplebirth.dta:therobustLMstatistic(4)

例子birth.dta:穩(wěn)健LM統(tǒng)計(jì)量（4）現(xiàn)在是33頁\一共有74頁\編輯于星期五ChapterOutline本章提要ConsequencesofHSKofOLS OLS中異方差的影響HSK-RobustInferenceafterOLSestimation OLS估計(jì)后“異方差－穩(wěn)健”的統(tǒng)計(jì)推斷TestingforHSK 檢驗(yàn)異方差WeightedLeastSquaresEstimation 加權(quán)最小二乘估計(jì)現(xiàn)在是34頁\一共有74頁\編輯于星期五LectureOutline本課提要TestingforHSK檢驗(yàn)異方差TheBreuschnTest B-P檢驗(yàn)TheWhiteTest White檢驗(yàn)WeightedLeastsquares 加權(quán)最小二乘法WLSwhenHSKisknownuptoamultiplicativeconstant

當(dāng)在比例意義上已知異方差時的加權(quán)最小二乘法WLSwhenHSKisofunknownform:thefeasibleGLS

當(dāng)異方差具有未知形式時的加權(quán)最小二乘法：可行GLS現(xiàn)在是35頁\一共有74頁\編輯于星期五TestingforHSK

檢驗(yàn)異方差ThoughwehavemethodsofcomputingHSK-robustt,FandLMstatistics,therearestillreasonsforhavingsimpleteststhatcandetectthepresenceofheteroskedasticity.

雖然我們有辦法計(jì)算HSK－穩(wěn)健的t,F和LM統(tǒng)計(jì)量，我們?nèi)匀挥欣碛扇ふ铱梢宰R別異方差的簡單檢驗(yàn)?，F(xiàn)在是36頁\一共有74頁\編輯于星期五TestingforHSK

檢驗(yàn)異方差ReasonNo.1:WemayprefertoseetheusualOLSstandarderrorsandteststatisticsreportedunlessthereisevidenceofheteroskedasticity.

理由1：除非有證據(jù)顯示異方差存在，我們?nèi)詴糜诔Ｒ?guī)OLS的標(biāo)準(zhǔn)差及檢驗(yàn)統(tǒng)計(jì)量。ReasonNo.2:Ifheteroskedasticityispresent,theOLSestimatorisnolongertheBLUE,thenitispossibletoobtainabetterestimatorthanOLS.

理由2：如果異方差存在，OLS不再是BLUE，那么就有可能得到比OLS更好的估計(jì)量?，F(xiàn)在是37頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差

EssentiallywewanttotestH0:Var(u|x1,x2,…,xk)=s2,whichisequivalenttoH0:E(u2|x1,x2,…,xk)=E(u2)=s2

本質(zhì)上，我們想檢驗(yàn)H0:Var(u|x1,x2,…,xk)=s2這等價于檢驗(yàn)H0:E(u2|x1,x2,…,xk)=E(u2)=s2Ifweassumetherelationshipbetweenu2andxjwillbelinear,cantestitasasetoflinearrestrictions

如果我們假設(shè)u2

和xj之間具有線性關(guān)系，則可以通過一組線性約束來完成檢驗(yàn)。So,foru2=d0+d1x1+…+dkxk+vthismeanstestingH0:d1=d2=…=dk=0

所以,對于u2=d0+d1x1+…+dkxk+v

這意味著檢驗(yàn)H0:d1=d2=…=dk=0現(xiàn)在是38頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差Underthenullhypothesis,itisoftenreasonabletoassumethattheerrorvisindependentofx1,…,xk.

在零假設(shè)下，通?？梢约俣ㄕ`差v與x1,…,xk獨(dú)立TheneitherForLMstatisticsforoverallsignificanceoftheindependentvariablesinexplainingu2canbeusedtotestHSK.

那么，如果將u2視為被解釋變量，檢驗(yàn)全部解釋變量顯著性的F或LM統(tǒng)計(jì)量就可以用來檢驗(yàn)異方差。Theyareasymptoticallyvalidtestsinceu2isnotnormallydistributedinthesample.

由于u2在樣本中不是正態(tài)分布，這些統(tǒng)計(jì)量只在漸近的意義下適用。現(xiàn)在是39頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差TheerrorcannotbeobservedbycanbeestimatedfromOLSresiduals.

不可觀測的誤差可以通過OLS殘差進(jìn)行估計(jì)。Afterregressingtheresidualssquaredonallofthex’s,canusetheR2toformanForLMtest. 將殘差平方對所有的x回歸之后，可以通過R2構(gòu)造F或LM檢驗(yàn)?，F(xiàn)在是40頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差現(xiàn)在是41頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差現(xiàn)在是42頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差現(xiàn)在是43頁\一共有74頁\編輯于星期五TheBreuschnTestforHSK

用B-P檢驗(yàn)檢驗(yàn)異方差I(lǐng)fwesuspectthatHSKdependsonlyuponcertainregressors,wecanmodifytheBPtesttoregressresidualsfromstep1onthoseregressorsandcarryouttheappropriateForLMtest.

如果我們懷疑HSK僅依賴與某些特定的解釋變量，我們可以做一些調(diào)整：將第一步的殘差只對那些解釋變量回歸，并進(jìn)行適當(dāng)?shù)腇或LM檢驗(yàn)?，F(xiàn)在是44頁\一共有74頁\編輯于星期五TheWhiteTestforHSK

用White檢驗(yàn)檢驗(yàn)異方差

TheBreusch-Pagantestwilldetectanylinearformsofheteroskedasticity B-P檢驗(yàn)可以識別任意線性形式的異方差TheWhitetestallowsfornonlinearitiesbyusingsquaresandcrossproductsofallthex’s White檢驗(yàn)通過加入x平方項(xiàng)和交叉項(xiàng)引入了一定的非線性。StilljustusinganForLMtotestwhetherallthexj,xj2,andxjxharejointlysignificant

仍然是用F和LM檢驗(yàn)來檢驗(yàn)xj,xj2,xjxh是否聯(lián)合顯著現(xiàn)在是45頁\一共有74頁\編輯于星期五TheWhiteTestforHSK

用White檢驗(yàn)檢驗(yàn)異方差Thiscangettobeunwieldyprettyquickly.

這個辦法很快就會顯出其笨重之處。Forexample,ifwehavethreeexplanatoryvariables,x1,x2,and

x3thentheWhitetestwillhave9restrictions:3onlevels,3onsquares,and3oncross-products.

例如，如果我們有三個解釋變量x1,x2,x3那么White檢驗(yàn)有9個約束，三個對線性項(xiàng)，三個對平方項(xiàng)，三個對交叉項(xiàng)。Withsmallsamples,degreesoffreedomwillsoonberunoutwithmoreregressors.

在小樣本情形，自由度將會隨著解釋變量數(shù)目增加而迅速減少?，F(xiàn)在是46頁\一共有74頁\編輯于星期五AlternateformoftheWhitetest

White檢驗(yàn)的變形

ConsiderthatthefittedvaluesfromOLS,?,areafunctionofallthex’s

考慮到OLS的預(yù)測值?是所有x的函數(shù)。Thus,?2willbeafunctionofthesquaresandcrossproducts.Therefore,?and?2canproxyforallofthexj,xj2,andxjxh.

因此，?2是平方項(xiàng)和交叉項(xiàng)的函數(shù)。?

和?2可以用來替代所有的xj,xj2,xjxh現(xiàn)在是47頁\一共有74頁\編輯于星期五AlternateformoftheWhitetest

White檢驗(yàn)的變形Regresstheresidualssquaredon?and?2andusetheR2toformanForLMstatistic,

將殘差平方對?

和?2回歸，用R2來構(gòu)建F或LM統(tǒng)計(jì)量Nowweonlyneedtotest2restrictionsnow.

現(xiàn)在只需要檢驗(yàn)兩個約束現(xiàn)在是48頁\一共有74頁\編輯于星期五Examplebirth.dta:theBPtest現(xiàn)在是49頁\一共有74頁\編輯于星期五Examplebirth.dta:theBPtest(1)現(xiàn)在是50頁\一共有74頁\編輯于星期五Examplebirth.dta:theBPtest(2)TheFtestisjusttheoverallsignificancetest.SinceF(6,1184)=0.84,andprob>F=0.5382,theBPtestdoesnotrejectthenullofHMK. F檢驗(yàn)就是全局顯著性檢驗(yàn)，由于F(6,1184)=0.84，且

prob>F=0.5382,B-P檢驗(yàn)不能拒絕同方差零假設(shè)。TheLMstatisticcanbegotbytyping LM統(tǒng)計(jì)量可以通過“display1190*0.0042”得到“display1190*0.0042”instata.TheLMstatisticis4.998,thecriticalvalueoftheChi-square(5%sig.Level)is12.95,doesnotrejectthenullofHMKeither. LM統(tǒng)計(jì)量為4.998，卡方分布5％的臨界值為12.95，也無法拒絕同方差零假設(shè)。現(xiàn)在是51頁\一共有74頁\編輯于星期五Examplebirth.dta:theWhitetest(1)現(xiàn)在是52頁\一共有74頁\編輯于星期五Examplebirth.dta:theWhitetest(2)現(xiàn)在是53頁\一共有74頁\編輯于星期五FinalcommentsaboutHSKtests

對HSK檢驗(yàn)的最后評價ItispossiblefortheHSKtesttorejectthenullwhenimportantvariablesareomitted,eventhoughthetruthisthereisnoHSK. 即便真實(shí)的情況并無異方差，HSK檢驗(yàn)可能由于重要變量的遺漏而錯誤的拒絕零假設(shè)。HSKcouldindicatemisspecification,therefore,whenpossible,thespecificationtestsshouldbecarriedoutearlierthantheHSKtest. HSK可能意味著模型設(shè)定錯誤，因此，如果可能的話，應(yīng)當(dāng)在HSK檢驗(yàn)之前進(jìn)行模型設(shè)定檢驗(yàn)。現(xiàn)在是54頁\一共有74頁\編輯于星期五WeightedLeastSquares

加權(quán)最小二乘法

Whileit’salwayspossibletoestimaterobuststandarderrorsforOLSestimates,ifweknowsomethingaboutthespecificformoftheheteroskedasticity,wecantransformthemodelintoonethathashomoskedasticerrors–calledweightedleastsquares.

對OLS估計(jì)穩(wěn)健標(biāo)準(zhǔn)差總是可能辦到的，但是，如果我們知道一些關(guān)于異方差結(jié)構(gòu)的信息，我們可以將原模型轉(zhuǎn)化為具有同方差的新模型，這稱為加權(quán)最小二乘法?，F(xiàn)在是55頁\一共有74頁\編輯于星期五WeightedLeastSquares

加權(quán)最小二乘法InsuchcasesweightedLeastsquaresismoreefficientestimatesthanOLS,anditproducestandFstatisticsthathavetandFdistributions. 在這些情況中，加權(quán)最小二乘法比OLS更為有效。對應(yīng)的t和F統(tǒng)計(jì)量具有t和F分布?，F(xiàn)在是56頁\一共有74頁\編輯于星期五Caseofformbeingknownuptoamultiplicativeconstant

異方差結(jié)構(gòu)在比例意義上已知的情況

SupposetheheteroskedasticitycanbemodeledasVar(ui|xi)=s2i=s2

hi,wherehi=h(x)dependsonlyontheobservedcharacteristics,x.

假設(shè)異方差可以由模型Var(ui|xi)=s2i=s2

hi刻畫，其中hi=h(x)只依賴于可觀測特征xInsuchsituation,let’sdefineui*=ui/√hiandconsiderhowdoestheGauss-Markovassumptionsperformforthetransformedmodel.

在這種情況下，定義ui*=ui/√hi并考慮轉(zhuǎn)化后的模型是否服從Gauss-Markov假設(shè)?，F(xiàn)在是57頁\一共有74頁\編輯于星期五Caseofformbeingknownuptoamultiplicativeconstant

異方差結(jié)構(gòu)在比例意義上已知的情況現(xiàn)在是58頁\一共有74頁\編輯于星期五Caseofformbeingknownuptoamultiplicativeconstant

異方差結(jié)構(gòu)在比例意義上已知的情況現(xiàn)在是59頁\一共有74頁\編輯于星期五Caseofformbeingknownuptoamultiplicativeconstant

異方差結(jié)構(gòu)在比例意義上已知的情況現(xiàn)在是60頁\一共有74頁\編輯于星期五Caseofformbeingknownuptoamultiplicativeconstant

異方差結(jié)構(gòu)在比例意義上已知的情況現(xiàn)在是61頁\一共有74頁\編輯于星期五GeneralizedLeastSquares

廣義最小二乘法

EstimatingthetransformedequationbyOLSisanexampleofgeneralizedleastsquares(GLS)

通過OLS估計(jì)變換后的方程可以作為廣義最小二乘法（GLS）的一個例子GLSwillbeBLUEinthiscase GLS在這種情形下為BLUEGLSisaweightedleastsquares(WLS)procedurewhereeachsquaredresidualisweightedbytheinverseofVar(ui|xi) GLS是加權(quán)最小二乘法（WLS）在權(quán)重為Var(ui|xi)倒數(shù)時的特例。現(xiàn)在是62頁\一共有74頁\編輯于星期五WeightedLeastSquares

加權(quán)最小二乘法

WhileitisintuitivetoseewhyperformingOLSonatransformedequationisappropriate,itcanbetedioustodothetransformation

盡管對變換后的模型做OLS是直觀的，但是變換本身可能很繁瑣。Weightedleastsquaresisawayofgettingthesamething,withoutthetransformation

加權(quán)最小二乘法可以完成相同的目的，但是不需要進(jìn)行變換。Ideaistominimizetheweightedsumofsquares(weightedby1/hi)

想法是最小化加權(quán)平方和（權(quán)重為1/hi）現(xiàn)在是63頁\一共有74頁\編輯于星期五WeightedLeastSquares

加權(quán)最小二乘法現(xiàn)在是64頁\一共有74頁\編輯于星期五MoreonWLS

WLSisgreatifweknowwhatVar(ui|xi)lookslike

如果我們知道Var(ui|xi)的形式，WLS很棒Inmostcases,won’tknowformofheteroskedasticity

在大多數(shù)情況下，我們并不清楚異方差的形式現(xiàn)在是65頁\一共有74頁\編輯于星期五FeasibleGLS

可行GLS

Moretypicalisthecasewhereyoudon’tknowtheformoftheheteroskedasticity

更典型的情形是你并不知道異方差的形式Inthiscase,youneedtoestimateh(xi)

此時，你需要估計(jì)h(xi)Typically,westartwiththeassumptionofafairlyflexiblemodel,suchas

我們可以從一個非常靈活的方程形式入手 Var(u|x)=s2exp(d0+d1x1+…+dkxk)Sincewedon’tknowthed,mustbeestimated 由于d未知，我們必須對它進(jìn)行估計(jì)?，F(xiàn)在是66頁\一共有74頁\編輯于星期五FeasibleGLS(continued)

可行GLS

Ourassumptionimpliesthat

我們的假定意味著 u2=s2exp(d0+d1x1+…+dkxk)v, whereE(v|x)=1.ln(u2)=a0

+d1x1+…+dkxk+eWhereE(e)=1andeisindependentofx

其中E(e)=1且e

獨(dú)立于xNow,weknowthat?isanestimateofu,sowecanestimatethisbyOLS

現(xiàn)在，我們知道?

是u的一個估計(jì)，所以我們可以通過OLS對其進(jìn)行估計(jì)?，F(xiàn)在是67頁\一共有74頁\編輯于星期五FeasibleGLS(continued)

可行GLS

Now,anestimateofhisobtainedas?=exp(?),andthei