放寬條件的回歸模型異方差性

放寬條件的回歸模型異方差性第1頁(yè)，共25頁(yè)，2023年，2月20日，星期五在前面的學(xué)習(xí)中，我們?cè)敱M的考察了經(jīng)典正態(tài)線(xiàn)性回歸模型，我們用它來(lái)進(jìn)行估計(jì)和假設(shè)檢驗(yàn)和預(yù)測(cè)問(wèn)題。但是，這個(gè)模型是建立在一些簡(jiǎn)化了的假定基礎(chǔ)之上的。這些假定包括：1.回歸模型對(duì)于參數(shù)而言是線(xiàn)性的。2.各回歸元X的值在重復(fù)抽樣中是固定的。3.給定的X，干擾ui的均值為零。4.對(duì)于給定的X，ui的方差不變或稱(chēng)之為同方差性。5.對(duì)于給定的X，干擾無(wú)自相關(guān)。6.如果X是隨機(jī)的，則干擾項(xiàng)與各個(gè)X是獨(dú)立的至少是不相關(guān)的。7.觀(guān)測(cè)的次數(shù)大于回歸元的個(gè)數(shù)。8.回歸元的取值必須有足夠的變異性。9.回歸模型被正確的設(shè)定。10.回歸元之間無(wú)多重共線(xiàn)性。11.隨機(jī)干擾項(xiàng)ui是正態(tài)分布的。第2頁(yè)，共25頁(yè)，2023年，2月20日，星期五遺憾的是，我們尚無(wú)法對(duì)所有的問(wèn)題都給出令人滿(mǎn)意的答案。接下來(lái)的工作中，我們對(duì)某些假定給予更多的注意，當(dāng)然有些假定我們并不過(guò)分的深究，特別是假定1、2、3、6和11中的問(wèn)題。威瑟里爾（Wetherill）指出，實(shí)際上在應(yīng)用經(jīng)典線(xiàn)性回歸模型時(shí)，有兩類(lèi)問(wèn)題需要注意：（1）關(guān)于模型設(shè)定及對(duì)干擾項(xiàng)ui的假定問(wèn)題，諸如假定1、2、3、4、5、9和11；（2）關(guān)于對(duì)數(shù)據(jù)的假定問(wèn)題，諸如6、7、8和10。關(guān)于對(duì)來(lái)自干擾和模型設(shè)定的假定問(wèn)題主要有三：1.要偏離一個(gè)具體的假定多遠(yuǎn)才會(huì)產(chǎn)生不可忽視的差別？如ui不是正態(tài)分布，那么我們能夠容忍多大程度上的正態(tài)性偏離？2.在一個(gè)具體問(wèn)題中，我們?cè)鯓影l(fā)現(xiàn)某一個(gè)假定被破壞？比方說(shuō)我們介紹過(guò)利用雅克-貝拉檢驗(yàn)來(lái)檢驗(yàn)ui的正態(tài)性。3.如果一個(gè)或者多個(gè)假定被破壞，我們能夠采用什么樣的補(bǔ)救措施？第3頁(yè)，共25頁(yè)，2023年，2月20日，星期五在剩下的問(wèn)題中，假定7、8和10是緊密相關(guān)的，我們?cè)诙嘀毓簿€(xiàn)性問(wèn)題中探討；假定4在異方差問(wèn)題中探討；假定5在自相關(guān)問(wèn)題中探討。我們?cè)谔接戇@些問(wèn)題的時(shí)候，遵循下列范式：1.明確問(wèn)題的性質(zhì)；2.分析它的影響；3.提出偵測(cè)它的方法；4.考慮補(bǔ)救的措施。第4頁(yè)，共25頁(yè)，2023年，2月20日，星期五2異方差性經(jīng)典線(xiàn)性回歸模型假定：假定4：對(duì)于給定的X，ui的方差不變或稱(chēng)之為同方差性。1.異方差的性質(zhì)以解釋變量的給定值為條件的每一個(gè)干擾ui的方差是一個(gè)等于的常數(shù)，即同方差性。同方差性意味等同的分散程度。用符號(hào)來(lái)表示：從圖形上來(lái)看，以給定Xi為條件的Yi的條件方差（等于ui的條件方差），不管變量X取什么值，都保持不變。第5頁(yè)，共25頁(yè)，2023年，2月20日，星期五如果隨著Xi的取值的變化，方差不再是一個(gè)常數(shù)，則稱(chēng)存在異方差性。用符號(hào)來(lái)表示：下圖表明，Yi的條件方差隨著X增加而增加：第6頁(yè)，共25頁(yè)，2023年，2月20日，星期五ui方差變化的理由（1）邊錯(cuò)邊改學(xué)習(xí)模型。人們?cè)趯W(xué)習(xí)的過(guò)程中，其行為誤差隨時(shí)間而減少。這時(shí)，預(yù)測(cè)會(huì)減小。例如，在給定的時(shí)間里，隨著打字練習(xí)時(shí)間的增加，不僅打字出錯(cuò)的個(gè)數(shù)而且打錯(cuò)個(gè)數(shù)的方差都有所下降。很多人類(lèi)的行為，包括經(jīng)濟(jì)行為也遵循著學(xué)習(xí)模型。例如生產(chǎn)。第7頁(yè)，共25頁(yè)，2023年，2月20日，星期五（2）隨著收入的增長(zhǎng)，人們有更多的備用收入，從而如何支配它們的收入有了更大的選擇范圍。例如，做儲(chǔ)蓄對(duì)收入的回歸時(shí)，很可能發(fā)現(xiàn)與收入具增。同理利潤(rùn)豐厚的公司比利潤(rùn)微薄的公司在紅利分配政策上，可以預(yù)料有更大的變化。（3）隨著數(shù)據(jù)采集技術(shù)的改進(jìn)，可能減小。（4）異常值出現(xiàn)，往往產(chǎn)生異方差。例如，下圖描繪了二次世界大戰(zhàn)之后到1969年20個(gè)國(guó)家的股票價(jià)格波動(dòng)于消費(fèi)價(jià)格波動(dòng)的關(guān)系。圖中，智利的觀(guān)測(cè)值遠(yuǎn)大于其他國(guó)家，可看做一個(gè)異常值。類(lèi)似這種情況，同方差性就無(wú)法保證了。剔除異常值是通常維持同方差性的方法之一。第8頁(yè)，共25頁(yè)，2023年，2月20日，星期五（5）回歸模型設(shè)定是不正確的。例如在一個(gè)對(duì)商品的需求函數(shù)中，忽略了互補(bǔ)或替代商品的價(jià)格，則回歸殘差可能會(huì)給人以異方差的表象；而將所忽略的變量包含在內(nèi)時(shí)，這種印象也許就消失了。注意，異方差問(wèn)題在橫截面數(shù)據(jù)中比時(shí)間序列數(shù)據(jù)中更常見(jiàn)。考慮下面一個(gè)例子。第9頁(yè)，共25頁(yè)，2023年，2月20日，星期五平均地來(lái)看，大的廠(chǎng)商比小的廠(chǎng)商平均支付更多的工資。但是在不同的行業(yè)工資有較大的變異性。這一點(diǎn)還可以從職工人數(shù)組組內(nèi)的工資極差（最高與最低值的差）看出來(lái)。從一組到另一組，極差說(shuō)明了各職工人數(shù)組的工資收入的異方差性。第10頁(yè)，共25頁(yè)，2023年，2月20日，星期五2.出現(xiàn)異方差時(shí)的OLS估計(jì)現(xiàn)在引入異方差性，保留經(jīng)典模型的其他所有假定，雙變量模型的OLS估計(jì)是：第11頁(yè)，共25頁(yè)，2023年，2月20日，星期五此時(shí)，方差的表達(dá)式不同于同方差假定下的方差公式：當(dāng)然如果對(duì)于每一個(gè)i都有，這兩個(gè)公式是相同的。第12頁(yè)，共25頁(yè)，2023年，2月20日，星期五如果經(jīng)典模型的所有假定，包括同方差性在內(nèi)，全部成立，則是最優(yōu)線(xiàn)性無(wú)偏估計(jì)量（BLUE）?，F(xiàn)在我們?nèi)∠讲钚缘募僭O(shè)，容易證明仍然是線(xiàn)性的和無(wú)偏的。但是它不是最優(yōu)的。為什么雖然是無(wú)偏的但不是最優(yōu)的？直觀(guān)的理由是：好比在一個(gè)袋子中隨機(jī)摸兩種顏色的彩球，如果紅球的數(shù)量是黑球的兩倍，那么隨機(jī)摸出紅球的數(shù)量也是黑球的兩倍，公平起見(jiàn)，我們規(guī)定摸一次黑球等于兩個(gè)紅球，這樣摸出紅球和黑球的幾率才會(huì)相等。那么我們?nèi)绾卧诨貧w中利用這種組間的變異呢？如圖所示，個(gè)就業(yè)組之間的工薪收入有相當(dāng)大的變異。如果我們做工薪收入對(duì)就業(yè)人數(shù)回歸，不同就業(yè)人數(shù)的工薪收入變化是不同的，雇傭人數(shù)少的和雇傭人數(shù)多的企業(yè)的工薪收入差別大，而雇傭人數(shù)居中的企業(yè)的工薪收入差別小。第13頁(yè)，共25頁(yè)，2023年，2月20日，星期五3.廣義最小二乘法（GLS）剛才說(shuō)了，我們需要對(duì)這種組間變異知識(shí)加以利用。最理性的是，設(shè)計(jì)這樣一種估計(jì)方案：對(duì)來(lái)自變異較大的總體的觀(guān)測(cè)值賦予較小的權(quán)重，而對(duì)來(lái)自變異較小的總體的觀(guān)測(cè)值賦予較大的權(quán)重。從而我們能夠更準(zhǔn)確的估計(jì)樣本回歸函數(shù)（SRF）。我們把上述思路下的最小二乘法稱(chēng)為廣義最小二乘法（GLS），這種估計(jì)方法能夠?qū)γ恳粋€(gè)觀(guān)測(cè)值不同的重視或賦予不同的權(quán)重，因而其估計(jì)量是BLUE。利用我們熟悉的雙變量模型：第14頁(yè)，共25頁(yè)，2023年，2月20日，星期五上述變換的意義何在？注意變換后的誤差項(xiàng)的方差是一個(gè)常數(shù)，就是說(shuō)，我們的模型現(xiàn)在有了同方差性。我們把OLS應(yīng)用到變換了后的模型：這是估計(jì)出來(lái)的是BLUE，而OLS估計(jì)量則不是。先將原始變量轉(zhuǎn)換成滿(mǎn)足經(jīng)典模型假設(shè)的轉(zhuǎn)換變量，然后對(duì)它們使用OLS程序，叫做廣義最小二乘（GLS）法。如此得到的估計(jì)量被稱(chēng)為GLS估計(jì)量。這些估計(jì)量是BLUE。第15頁(yè)，共25頁(yè)，2023年，2月20日，星期五估計(jì)的步驟：第16頁(yè)，共25頁(yè)，2023年，2月20日，星期五OLS和GLS的差別在GLS和OLS中，我們殘差平方和的表達(dá)式分別是：很容易看出來(lái)，在GLS中我們最小化以為權(quán)重的一個(gè)加權(quán)殘差平方和，而OLS中我們最小化了一個(gè)無(wú)權(quán)或等權(quán)的殘差平方和。為了更清楚的說(shuō)明OLS和GLS，考慮下圖：在OLS中，點(diǎn)A、B、C的誤差，在RSS最小化的過(guò)程中都得到了相等的加權(quán)。顯然C點(diǎn)的誤差對(duì)RSS起到的主導(dǎo)的作用。而在GLS中，C點(diǎn)觀(guān)測(cè)值和另外兩個(gè)觀(guān)測(cè)值相比，將獲得較小的權(quán)重，這樣我們更可靠的估計(jì)了PRF。我們把這種回歸稱(chēng)為加權(quán)最小二乘（WLS）。WLS是更為一般的估計(jì)方法的GLS的一種特殊形式。第17頁(yè)，共25頁(yè)，2023年，2月20日，星期五4.出現(xiàn)異方差時(shí)使用OLS的后果（1）考慮異方差性的OLS估計(jì)如果我們考慮了異方差性，且我們利用公式：給出方差，可以證明。就是說(shuō)，根據(jù)做出的置信區(qū)間將會(huì)無(wú)謂的過(guò)大。結(jié)果t和F檢驗(yàn)很可能給我們提供了不準(zhǔn)確的結(jié)果。（2）忽視異方差的OLS估計(jì)如果我們?cè)趹岩纱嬖诋惙讲畹那闆r下，仍然使用OLS，這樣情況就變得嚴(yán)重了。是有偏估計(jì)。就是說(shuō)，它有可能高估也有可能低估了真實(shí)的方差。這樣就不會(huì)是的無(wú)偏估計(jì)量。因此，我們不能再依賴(lài)通常計(jì)算的置信區(qū)間和通常使用的t檢驗(yàn)和F檢驗(yàn)?？傊?，如果我們忽視異方差而使用慣常的檢驗(yàn)程序，則無(wú)論我們得到什么結(jié)論或做出什么推斷，都可能產(chǎn)生嚴(yán)重的誤導(dǎo)。第18頁(yè)，共25頁(yè)，2023年，2月20日，星期五5.異方差的偵測(cè)（1）問(wèn)題的性質(zhì)：根據(jù)我們研究的問(wèn)題的性質(zhì)，可以判斷是否會(huì)遇到異方差。例如消費(fèi)對(duì)收入的回歸，殘差的方差往往隨收入的增加而增加。一般的，在涉及不均勻單元的橫截面數(shù)據(jù)，往往存在異方差。如投資于銷(xiāo)售量、利率的關(guān)系中，如果樣本中同時(shí)包含大、中、小企業(yè)，一般存在異方差。（2）圖示法：先在普通OLS法下做回歸分析，然后對(duì)RSS做檢查。圖中，縱軸是而橫軸是，我們的用意是找出Y的估計(jì)均值是否與平方殘差有任何系統(tǒng)的聯(lián)系。（a）中沒(méi)有任何系統(tǒng)聯(lián)系，不存在異方差。（b）到（e）則呈現(xiàn)一定的樣式，其中（d）和（e）表示存在二次關(guān)系?？赡艽嬖诋惙讲睢５?9頁(yè)，共25頁(yè)，2023年，2月20日，星期五帕克（Park）檢驗(yàn)帕克提出是解釋變量Xi的某種函數(shù)，由于通常是未知的。帕克建議用來(lái)替代，并做如下回歸。如果參數(shù)β表現(xiàn)為統(tǒng)計(jì)上顯著的，就表明數(shù)據(jù)中存在異方差性。如果它不顯著，則可以接受同方差性的假設(shè)。帕克檢驗(yàn)的程序：步驟1：做OLS回歸，不考慮異方差性。步驟2：利用回歸中得到的對(duì)解釋變量Xi做回歸。步驟3：根據(jù)第二次回歸的參數(shù)估計(jì)，判斷是否存在異方差性。第20頁(yè)，共25頁(yè)，2023年，2月20日，星期五格萊澤（Glejser）檢驗(yàn)格萊澤檢驗(yàn)的思想與帕克檢驗(yàn)基本相當(dāng)。格萊澤檢驗(yàn)，在從OLS回歸中取得殘差后，用的絕對(duì)值對(duì)被認(rèn)為與密切相關(guān)的X變量做回歸。在他的實(shí)驗(yàn)中，使用以下多種函數(shù)形式。格萊澤發(fā)現(xiàn)，對(duì)于大樣本來(lái)說(shuō)，前四個(gè)模型在異方差的偵測(cè)中都能夠給出較滿(mǎn)意的結(jié)果。第21頁(yè)，共25頁(yè)，2023年，2月20日，星期五斯皮爾曼（Spearman）等級(jí)相關(guān)檢驗(yàn)定義斯皮爾曼等級(jí)相關(guān)系數(shù)：其中，di是第i個(gè)單元或現(xiàn)象的不同性質(zhì)所處的等級(jí)之差，n的樣本大小。斯皮爾曼（Spearman）等級(jí)相關(guān)檢驗(yàn)程序：步驟1：對(duì)Y和X做回歸分析，求出殘差。步驟2：忽視的符號(hào)，同時(shí)將||和Xi（或Yi）按照遞升或遞減的次序劃分等級(jí)，計(jì)算斯皮爾曼等級(jí)相關(guān)系數(shù)。步驟3：假定總體等級(jí)相關(guān)系數(shù)為零，且n>8，樣本rs的顯著性可通過(guò)自由度為（n-2）的t檢驗(yàn)，如果計(jì)算的t值超過(guò)臨界t值可以接受異方差性假設(shè)，否則拒絕。如果回歸模型涉及多元解釋變量，則可在||與每個(gè)X之間分別計(jì)算rs，再做t做統(tǒng)計(jì)顯著性檢驗(yàn)。第22頁(yè)，共25頁(yè)，2023年，2月20日，星期五斯皮爾曼等級(jí)相關(guān)檢驗(yàn)的例子應(yīng)用公式：rs=0.3333；t=0.9998,對(duì)于8個(gè)自由度，在10%的顯著水平上，這個(gè)t值不顯著（p=0.17）。因此認(rèn)為沒(méi)有異方差性。第23頁(yè)，共25頁(yè)，2023年，2月20日，星期五懷特（White）的一般異方差性檢驗(yàn)考慮一個(gè)三變量回歸模型：懷特檢驗(yàn)的程序如下：步驟1：對(duì)給定的數(shù)據(jù)，估計(jì)上述方程并得到殘差。步驟2：再做如下回歸：就是，回歸的殘差平方對(duì)解釋變量X、它們的平方和交叉乘積做回歸。從這個(gè)回歸中求R2。