多元線性回歸異方差問題

關(guān)于多元線性回歸異方差問題1第1頁，共39頁，2023年，2月20日，星期三2一、異方差及其影響1、異方差的定義：對于多元線性回歸模型，如果隨機(jī)擾動項(xiàng)的方差并非是不變的常數(shù)，則稱為存在異方差（heteroscedasticity)。異方差可以表示為?；虻?頁，共39頁，2023年，2月20日，星期三3兩變量線性回歸模型的異方差

第3頁，共39頁，2023年，2月20日，星期三41、異方差的定義

異方差主要出現(xiàn)在截面數(shù)據(jù)分析中，例如大公司的利潤變化幅度要比小公司的利潤變化幅度大，即大公司利潤的方差比小公司利潤的方差大。這取決于公司的規(guī)模、產(chǎn)業(yè)特點(diǎn)和研究開發(fā)支出多少等因素。又如高收入家庭通常比低收入家庭對某些商品的支出有更大的方差。例6-1：人均家庭支出（cum)和可支配收入（in)的關(guān)系模型給出中國1998年各地區(qū)城鎮(zhèn)居民平均每人全年家庭交通及通訊支出（cum)和可支配收入（in)的數(shù)據(jù)，估計兩者之間的關(guān)系模型第4頁，共39頁，2023年，2月20日，星期三52、異方差的影響1、OLS估計量不再是BLUE，其是無偏和一致的，但并非有效的，即不再具有方差最小性。2、檢驗(yàn)假設(shè)的統(tǒng)計量不再成立，建立在t分布和F分布之上的置信區(qū)間和假設(shè)檢驗(yàn)不可靠。第5頁，共39頁，2023年，2月20日，星期三6二、異方差的發(fā)現(xiàn)和判斷（一）殘差的圖形檢驗(yàn)（二）帕克檢驗(yàn)（Parktest）（三）戈里瑟檢驗(yàn)（Glejsertest）（四）懷特檢驗(yàn)（Whitetest）第6頁，共39頁，2023年，2月20日，星期三7（一）殘差的圖形檢驗(yàn)

這是一種最直觀的方法，它以某一變量（通常取因變量）作為橫坐標(biāo)，以隨機(jī)項(xiàng)的估計量e或e2為縱坐標(biāo)，根據(jù)作出的散點(diǎn)圖直觀地判斷是否存在相關(guān)性。如果存在相關(guān)性，則存在異方差。通常的方法是先產(chǎn)生殘差序列，再把它和因變量一起繪制散點(diǎn)圖。

例6-2：利用該方法繪制上一章關(guān)于美國機(jī)動車消費(fèi)量的模型中QMG與殘差的散點(diǎn)圖。第7頁，共39頁，2023年，2月20日，星期三8（二）Breusch-Pagan檢驗(yàn)假設(shè)回歸模型如下：檢驗(yàn)假定線性函數(shù)第8頁，共39頁，2023年，2月20日，星期三9步驟：

1、作普通最小二乘回歸（1），不考慮異方差問題。

2、從原始回歸方程中得殘差ui，并求其平方。

3、利用原始模型中的解釋變量作形如上式(2)的回歸，記下這個回歸的R平方。

4、檢驗(yàn)零假設(shè)是對方程（2）進(jìn)行F檢驗(yàn)，或計算LM統(tǒng)計量進(jìn)行檢驗(yàn)。第9頁，共39頁，2023年，2月20日，星期三10（三）戈里瑟檢驗(yàn)1、通常擬合和之間的回歸模型：根據(jù)圖形中的分布選擇2、再檢驗(yàn)零假設(shè)＝0（不存在異方差）。如果零假設(shè)被拒絕，則表明可能存在異方差。

第10頁，共39頁，2023年，2月20日，星期三11（四）懷特檢驗(yàn)假設(shè)有如下模型：（3）基本步驟：1、首先用OLS方法估計回歸方程（3）式。2、然后作輔助回歸：

（4）第11頁，共39頁，2023年，2月20日，星期三123、求輔助回歸方程的R2值。在零假設(shè)：不存在異方差下，White證明了，從方程（4）中獲得R2值與樣本容量（n）的積服從卡方分布

自由度等于（4）式中的解釋變量的個數(shù)。4、根據(jù)樣本計算統(tǒng)計量n*R2值，并與所選取的顯著性水平進(jìn)行比較，看是否接受零假設(shè)（零假設(shè)為殘差不存在異方差性）。5、Eviews計算：View-ResidualTests-WhiteHeteroskedasticity.應(yīng)用：對例6-1進(jìn)行White異方差檢驗(yàn)（四）懷特檢驗(yàn)第12頁，共39頁，2023年，2月20日，星期三13等價的White檢驗(yàn)（1）用OLS估計模型（3），得到殘差和擬合值，計算它們的平方；（2）做回歸記下這個回歸的R平方（3）構(gòu)造F或LM統(tǒng)計量并計算p值（前者為F2，n－3分布，后者用分布。第13頁，共39頁，2023年，2月20日，星期三14（五）實(shí)例

使用Wooldridge中的數(shù)據(jù)HPRICE.RAW中的數(shù)據(jù)來檢驗(yàn)一個簡單的住房價格方程中的異方差性。水平變量模型為（分別采用水平變量和其對數(shù)項(xiàng)分別進(jìn)行回歸分析）發(fā)現(xiàn)：采用水平模型存在異方差性，但采用對數(shù)模型不存在異方差性。第14頁，共39頁，2023年，2月20日，星期三15三、異方差的解決方法

加權(quán)最小二乘法模型的重新設(shè)定第15頁，共39頁，2023年，2月20日，星期三16（一）加權(quán)最小二乘法基本思路：賦予殘差的每個觀測值不同權(quán)數(shù)，從而使模型的隨機(jī)誤差項(xiàng)具有同方差性。第16頁，共39頁，2023年，2月20日，星期三17（一）加權(quán)最小二乘法方差已知的情形假設(shè)已知隨機(jī)誤差項(xiàng)的方差為var(ui)=i2,設(shè)權(quán)數(shù)wi與異方差的變異趨勢相反,wi=1/i,,將原模型兩端同乘以wi。wi使異方差經(jīng)受了“壓縮”和“擴(kuò)張”變?yōu)橥讲?。?7頁，共39頁，2023年，2月20日，星期三18（一）加權(quán)最小二乘法方差已知的情形對于一元線性回歸模型y=b0+b1x+u，加權(quán)最小化殘差平方和為獲得的估計量就是加權(quán)最小二乘估計量。對于多元線性回歸模型y=Xβ＋u，令權(quán)數(shù)序列wi=1/i

，W為N×N對角矩陣，對角線上為wi

，其他元素為0。則變換后的模型為第18頁，共39頁，2023年，2月20日，星期三19（一）加權(quán)最小二乘法方差已知的情形（1）誤差方差與xi成比例Var(ui)=σ2*xi其中σ2為常數(shù)，這時可以令權(quán)序列（2）誤差方差與xi2成比例Var(ui)=σ2*xi2其中σ2為常數(shù)，這時可以令權(quán)序列第19頁，共39頁，2023年，2月20日，星期三20（一）加權(quán)最小二乘法方差已知的情形實(shí)例：住房支出模型給出由四組家庭住房支出和年收入組成的截面數(shù)據(jù)，建立住房支出模型，并檢驗(yàn)和修正異方差。（3）其他的與自變量xi的加權(quán)形式f(xi)第20頁，共39頁，2023年，2月20日，星期三21（一）加權(quán)最小二乘法方差已知的情形第21頁，共39頁，2023年，2月20日，星期三22（一）加權(quán)最小二乘法

（4）用隨機(jī)誤差項(xiàng)的近似估計量求權(quán)重序列首先利用OLS估計原模型得到殘差序列，然后利用殘差序列的絕對值的倒數(shù)序列作為加權(quán)序列，即令實(shí)例：采用該方法修正6-1模型的異方差性第22頁，共39頁，2023年，2月20日，星期三23（一）加權(quán)最小二乘法

OLS是加權(quán)最小二乘法的特例顯然，當(dāng)滿足同方差假定時，

w1=w2==wn=1/

=常數(shù)即權(quán)數(shù)相等且等于常數(shù)，加權(quán)最小二乘法，就是OLS法。第23頁，共39頁，2023年，2月20日，星期三24糾正異方差性的一個可行程序（1）將y對x1,x2,…xk做回歸并得到殘差u;（2）將殘差進(jìn)行平方，然后再取自然對數(shù)而得到log(u2);（3）做log(u2)對x1,x2,…xk的回歸并得到擬合值g；（4）求擬合值的指數(shù)：h=exp(g)（5）以1/h為權(quán)數(shù)用WLS來估計方程。在（3）中做log(u2)對的回歸本質(zhì)上是完全一樣的第24頁，共39頁，2023年，2月20日，星期三25實(shí)例：采用Wooldridge中的數(shù)據(jù)Smoke.Raw中的數(shù)據(jù)來估計一個對日香煙消費(fèi)量的需求函數(shù)?；净貧w模型如下：

cigs=a0+a1log(income)+a2log(cigpric)+a3educ+a4age+a5age2+a6restaurn

其中cigs為每天吸煙的數(shù)量；income為年收入；cigpric為每包香煙的價格（以美分為單位）；educ為受教育年數(shù)；age為年齡；restaurn為一個二值變量（若此人居住的州禁止在餐館吸煙，則取值1，否則取值0）。第25頁，共39頁，2023年，2月20日，星期三26（二）模型的重新設(shè)定在計量經(jīng)濟(jì)學(xué)實(shí)踐中，計量經(jīng)濟(jì)學(xué)家偏愛使用對數(shù)變換解決問題，往往一開始就把數(shù)據(jù)化為對數(shù)形式，再用對數(shù)形式數(shù)據(jù)來構(gòu)成模型，進(jìn)行回歸估計與分析。這主要是因?yàn)閷?shù)形式可以減少異方差和自相關(guān)的程度。第26頁，共39頁，2023年，2月20日，星期三27案例——居民儲蓄模型估計1、問題的提出2、初步模型估計3、異方差檢驗(yàn)4、異方差模型的估計加權(quán)LS法和模型變換法第27頁，共39頁，2023年，2月20日，星期三281、問題的提出

儲蓄是居民的金融消費(fèi)，也是滿足相應(yīng)收入水平的“基本生活”以后的擴(kuò)展消費(fèi)，從具體問題的經(jīng)驗(yàn)分析，儲蓄具有異方差特性。因此建立儲蓄模型就不能使用最小二乘法。第28頁，共39頁，2023年，2月20日，星期三292、初步模型估計首先，估計居民儲蓄與可支配收入之間的回歸模型第29頁，共39頁，2023年，2月20日，星期三30殘差與收入x的散點(diǎn)圖第30頁，共39頁，2023年，2月20日，星期三313、異方差檢驗(yàn)

圖示法檢驗(yàn)：殘差平方與自變量呈比較典型的喇叭型第31頁，共39頁，2023年，2月20日，星期三32第32頁，共39頁，2023年，2月20日，星期三33異方差：殘差隨收入增大而增大

第33頁，共39頁，2023年，2月20日，星期三344、異方差模型的估計加權(quán)最小二乘法在分析收入對儲蓄的影響的時候，權(quán)數(shù)變量可以選取hi=inci于是基本模型savi=a0+a1

inci+ei變?yōu)榈?4頁，共39頁，2023年，2月20