多元線性回歸異方差問題

1、關(guān)于多元線性回歸異方差問題1第1頁，共39頁，2022年，5月20日，19點37分，星期三2一、異方差及其影響1、異方差的定義：對于多元線性回歸模型，如果隨機擾動項的方差并非是不變的常數(shù)，則稱為存在異方差（heteroscedasticity)。異方差可以表示為 。 或第2頁，共39頁，2022年，5月20日，19點37分，星期三3兩變量線性回歸模型的異方差 第3頁，共39頁，2022年，5月20日，19點37分，星期三41、異方差的定義 異方差主要出現(xiàn)在截面數(shù)據(jù)分析中，例如大公司的利潤變化幅度要比小公司的利潤變化幅度大，即大公司利潤的方差比小公司利潤的方差大。這取決于公司的規(guī)模、產(chǎn)業(yè)特點和研

2、究開發(fā)支出多少等因素。又如高收入家庭通常比低收入家庭對某些商品的支出有更大的方差。例6-1：人均家庭支出（cum)和可支配收入（in)的關(guān)系模型 給出中國1998年各地區(qū)城鎮(zhèn)居民平均每人全年家庭交通及通訊支出（cum)和可支配收入（in)的數(shù)據(jù)，估計兩者之間的關(guān)系模型第4頁，共39頁，2022年，5月20日，19點37分，星期三52、異方差的影響1、OLS估計量不再是BLUE，其是無偏和一致的，但并非有效的，即不再具有方差最小性。2、檢驗假設(shè)的統(tǒng)計量不再成立，建立在t分布和F分布之上的置信區(qū)間和假設(shè)檢驗不可靠。第5頁，共39頁，2022年，5月20日，19點37分，星期三6二、異方差的發(fā)現(xiàn)和判

3、斷（一）殘差的圖形檢驗（二）帕克檢驗（Park test）（三）戈里瑟檢驗（Glejser test）（四）懷特檢驗（White test）第6頁，共39頁，2022年，5月20日，19點37分，星期三7（一）殘差的圖形檢驗 這是一種最直觀的方法，它以某一變量（通常取因變量）作為橫坐標，以隨機項的估計量e或e2為縱坐標，根據(jù)作出的散點圖直觀地判斷是否存在相關(guān)性。如果存在相關(guān)性，則存在異方差。通常的方法是先產(chǎn)生殘差序列，再把它和因變量一起繪制散點圖。 例6-2：利用該方法繪制上一章關(guān)于美國機動車消費量的模型中QMG與殘差的散點圖。第7頁，共39頁，2022年，5月20日，19點37分，星期三8（

4、二）Breusch-Pagan檢驗假設(shè)回歸模型如下：檢驗假定線性函數(shù)第8頁，共39頁，2022年，5月20日，19點37分，星期三9步驟： 1、作普通最小二乘回歸（1），不考慮異方差問題。 2、從原始回歸方程中得殘差ui，并求其平方。 3、利用原始模型中的解釋變量作形如上式(2)的回歸，記下這個回歸的R平方 。 4、檢驗零假設(shè)是 對方程（2）進行F檢驗，或計算LM統(tǒng)計量進行檢驗。第9頁，共39頁，2022年，5月20日，19點37分，星期三10（三）戈里瑟檢驗1、通常擬合 和 之間的回歸模型： 根據(jù)圖形中的分布選擇2、再檢驗零假設(shè) 0（不存在異方差）。如果零假設(shè)被拒絕，則表明可能存在異方差。

5、第10頁，共39頁，2022年，5月20日，19點37分，星期三11（四）懷特檢驗假設(shè)有如下模型： （3）基本步驟：1、首先用OLS方法估計回歸方程（3）式。2、然后作輔助回歸： （4）第11頁，共39頁，2022年，5月20日，19點37分，星期三123、求輔助回歸方程的R2值。在零假設(shè)：不存在異方差下，White證明了，從方程（4）中獲得R2值與樣本容量（n）的積服從卡方分布 自由度等于（4）式中的解釋變量的個數(shù)。4、根據(jù)樣本計算統(tǒng)計量n*R2值，并與所選取的顯著性水平進行比較，看是否接受零假設(shè)（零假設(shè)為殘差不存在異方差性）。5、Eviews計算：View-Residual Tests-W

6、hite Heteroskedasticity .應(yīng)用：對例6-1進行White異方差檢驗（四）懷特檢驗第12頁，共39頁，2022年，5月20日，19點37分，星期三13等價的White檢驗（1）用OLS估計模型（3），得到殘差和擬合值，計算它們的平方；（2）做回歸 記下這個回歸的R平方（3）構(gòu)造F或LM統(tǒng)計量并計算p值（前者為 F2，n3分布，后者用 分布。第13頁，共39頁，2022年，5月20日，19點37分，星期三14（五） 實例 使用Wooldridge中的數(shù)據(jù)HPRICE.RAW中的數(shù)據(jù)來檢驗一個簡單的住房價格方程中的異方差性。水平變量模型為（分別采用水平變量和其對數(shù)項分別進行回

7、歸分析）發(fā)現(xiàn)：采用水平模型存在異方差性，但采用對數(shù)模型不存在異方差性。第14頁，共39頁，2022年，5月20日，19點37分，星期三15三、異方差的解決方法 加權(quán)最小二乘法 模型的重新設(shè)定第15頁，共39頁，2022年，5月20日，19點37分，星期三16（一）加權(quán)最小二乘法基本思路：賦予殘差的每個觀測值不同權(quán)數(shù)，從而使模型的隨機誤差項具有同方差性。第16頁，共39頁，2022年，5月20日，19點37分，星期三17（一）加權(quán)最小二乘法方差已知的情形假設(shè)已知隨機誤差項的方差為var(ui)= i2 , 設(shè)權(quán)數(shù)wi與異方差的變異趨勢相反, wi =1/i, 將原模型兩端同乘以wi。wi使異方差

8、經(jīng)受了“壓縮”和“擴張”變?yōu)橥讲?。?7頁，共39頁，2022年，5月20日，19點37分，星期三18（一）加權(quán)最小二乘法方差已知的情形對于一元線性回歸模型y=b0+b1x+u，加權(quán)最小化殘差平方和為獲得的估計量就是加權(quán)最小二乘估計量。對于多元線性回歸模型y=Xu，令權(quán)數(shù)序列wi =1/i ，W為NN對角矩陣，對角線上為wi ，其他元素為0。則變換后的模型為第18頁，共39頁，2022年，5月20日，19點37分，星期三19（一）加權(quán)最小二乘法方差已知的情形（1）誤差方差與xi成比例Var(ui)=2 * xi其中2為常數(shù)，這時可以令權(quán)序列（2）誤差方差與xi2成比例Var(ui)=2 *

9、xi2其中2為常數(shù)，這時可以令權(quán)序列第19頁，共39頁，2022年，5月20日，19點37分，星期三20（一）加權(quán)最小二乘法方差已知的情形實例：住房支出模型 給出由四組家庭住房支出和年收入組成的截面數(shù)據(jù)，建立住房支出模型，并檢驗和修正異方差。（3）其他的與自變量xi的加權(quán)形式f(xi)第20頁，共39頁，2022年，5月20日，19點37分，星期三21（一）加權(quán)最小二乘法方差已知的情形第21頁，共39頁，2022年，5月20日，19點37分，星期三22（一）加權(quán)最小二乘法 （4）用隨機誤差項的近似估計量求權(quán)重序列首先利用OLS估計原模型得到殘差序列 ，然后利用殘差序列的絕對值的倒數(shù)序列作為加權(quán)

10、序列，即令實例：采用該方法修正6-1模型的異方差性第22頁，共39頁，2022年，5月20日，19點37分，星期三23（一）加權(quán)最小二乘法 OLS是加權(quán)最小二乘法的特例顯然，當滿足同方差假定時， w1 = w2 = = wn = 1/ = 常數(shù) 即權(quán)數(shù)相等且等于常數(shù)，加權(quán)最小二乘法，就是OLS法。第23頁，共39頁，2022年，5月20日，19點37分，星期三24糾正異方差性的一個可行程序（1）將y對x1, x2,xk做回歸并得到殘差u;（2）將殘差進行平方，然后再取自然對數(shù)而得到log(u2);（3）做log(u2)對x1, x2,xk的回歸并得到擬合值g；（4）求擬合值的指數(shù)：h=exp(

11、g)（5）以1/h為權(quán)數(shù)用WLS來估計方程。在（3）中做log(u2)對 的回歸本質(zhì)上是完全一樣的第24頁，共39頁，2022年，5月20日，19點37分，星期三25實例： 采用Wooldridge中的數(shù)據(jù)Smoke.Raw中的數(shù)據(jù)來估計一個對日香煙消費量的需求函數(shù)。基本回歸模型如下： cigs=a0+a1log(income)+a2log(cigpric)+a3educ +a4age+a5age2+a6restaurn 其中cigs為每天吸煙的數(shù)量； income為年收入； cigpric為每包香煙的價格（以美分為單位）；educ為受教育年數(shù)；age為年齡；restaurn為一個二值變量（若

12、此人居住的州禁止在餐館吸煙，則取值1，否則取值0）。第25頁，共39頁，2022年，5月20日，19點37分，星期三26（二）模型的重新設(shè)定在計量經(jīng)濟學實踐中，計量經(jīng)濟學家偏愛使用對數(shù)變換解決問題，往往一開始就把數(shù)據(jù)化為對數(shù)形式，再用對數(shù)形式數(shù)據(jù)來構(gòu)成模型，進行回歸估計與分析。這主要是因為對數(shù)形式可以減少異方差和自相關(guān)的程度。第26頁，共39頁，2022年，5月20日，19點37分，星期三27案例居民儲蓄模型估計1、問題的提出2、初步模型估計3、異方差檢驗4、異方差模型的估計加權(quán)LS法和模型變換法第27頁，共39頁，2022年，5月20日，19點37分，星期三281、問題的提出 儲蓄是居民的金

13、融消費，也是滿足相應(yīng)收入水平的“基本生活”以后的擴展消費，從具體問題的經(jīng)驗分析，儲蓄具有異方差特性。因此建立儲蓄模型就不能使用最小二乘法。第28頁，共39頁，2022年，5月20日，19點37分，星期三292、初步模型估計首先，估計居民儲蓄與可支配收入之間的回歸模型第29頁，共39頁，2022年，5月20日，19點37分，星期三30殘差與收入x的散點圖第30頁，共39頁，2022年，5月20日，19點37分，星期三313、異方差檢驗 圖示法檢驗：殘差平方與自變量呈比較典型的喇叭型第31頁，共39頁，2022年，5月20日，19點37分，星期三32第32頁，共39頁，2022年，5月20日，19點37分，星期三33異方差：殘差隨收入增大而增大 第33頁，共39頁，2022年，5月20日，19點37分，星期三344、異方差模型的估計加權(quán)最小二乘法在分析收入對儲蓄的影響的時候，權(quán)數(shù)變量可以選取hi=inci于是基本模型savi=a0+a1 inci+ei變?yōu)榈?4頁，共39頁，2022年，5月20日，19點37分，星期三35權(quán)數(shù)序列名Proce=Equation=Option=選定異方差、給出權(quán)數(shù)名