違背經(jīng)典假設(shè)的回歸模型課件(PPT 106頁)

1、違背經(jīng)典假設(shè)的回歸模型異方差性序列相關(guān)性多重共線性隨機解釋變量模型設(shè)定誤差1第1頁，共106頁。第11章 異方差 （方差非齊性） 一、方差非齊性的概念 二、實際中的異方差性三、異方差性的后果 四、異方差性的檢驗 五、異方差的解決加權(quán)最小二乘法（WLS） 2第2頁，共106頁。方差非齊性的概念 經(jīng)典線性回歸分析的一個基本假設(shè)是：回歸模型中隨機誤差項的方差為常數(shù)，即這一假設(shè)稱為方差齊性假定或同方差性假定。3第3頁，共106頁。如果回歸模型中的隨機誤差項的方差不是常數(shù)，即對于不同的樣本點，隨機誤差項的方差不再是常數(shù)，則稱隨機誤差項的方差非齊性或為異方差。4第4頁，共106頁。實際中的異方差性 情形之

2、一：隨機誤差項的方差是隨著某一個解釋變量觀測值的變化而呈現(xiàn)規(guī)律性的變化；例如，越來越小，邊錯邊改學習模型在學習過程中行為誤差隨時間而減少；隨著收入的增加，儲蓄的變異越來越大；情形之二：數(shù)據(jù)采集技術(shù)的改進帶來差錯率的減??；5第5頁，共106頁。情形之三：回歸模型的設(shè)定不正確，如遺漏了重要變量；情形之四：因為存在異常值；最常見情形：采用截面數(shù)據(jù)作樣本的經(jīng)濟計量學問題，由于在不同樣本點上解釋變量以外的其他因素的差異較大，所以往往存在異方差性。 6第6頁，共106頁。異方差性的后果 一旦出現(xiàn)異方差性，如果仍采用普通最小二乘法估計模型參數(shù)。會產(chǎn)生以下不良后果： 參數(shù)估計量非有效。（是無偏和一致量） 變量

3、的顯著性檢驗失去了意義 ?？赡苡娠@著變成不顯著。 模型的預(yù)測失效。 7第7頁，共106頁。異方差性的檢驗 檢驗異方差性，也就是檢驗隨機誤差項的方差與解釋變量觀測值之間的相關(guān)性。如果相關(guān)，就說明存在異方差性，如果不相關(guān)，嚴格說，不能認為不存在異方差。但在實際中，如果不相關(guān)，就不再進行異方差處理了。 8第8頁，共106頁。殘差圖分析法 一般情況下，當回歸模型滿足所有假定時，殘差圖上的個點散布應(yīng)是隨機的、無任何規(guī)律。如果回歸存在異方差時，殘差圖上的點的散布呈現(xiàn)出相應(yīng)的趨勢：殘差值隨被解釋變量值的增大而增大 ，或增大而減小，或呈現(xiàn)蛛網(wǎng)現(xiàn)象（表明具有自相關(guān)）。這都表明，方差非齊性。 對于多元模型，需要選

4、擇殘差對多個解釋變量描點。 9第9頁，共106頁。等級相關(guān)系數(shù)法 又稱斯皮爾曼（spearman）檢驗，是一種應(yīng)用較廣泛的方法。它既可用于大樣本，又可用于小樣本。等級相關(guān)檢驗的步驟有三：第一步，對y進行x的普通最小二乘回歸，求出殘差的估計值；第二步，取殘差的絕對值，把自變量與殘差估計值按遞增或遞減的次序排列后分成等級，按下式計算出等級相關(guān)系數(shù)10第10頁，共106頁。其中，為樣本容量，為等級的差數(shù)。 第三步，對等級相關(guān)系數(shù)進行顯著性檢驗。在8下，用下式對樣本等級相關(guān)系數(shù)進行檢驗。檢驗統(tǒng)計量為如果, 可以認為異方差性問題不存在，反之，說明自變量與殘差之間存在系統(tǒng)影響關(guān)系，異方差性問題存在。(等級

5、相關(guān)系數(shù)可以如實反映單調(diào)遞增或單調(diào)遞減趨勢的變量之間相關(guān)性，而簡單相關(guān)系數(shù)適宜衡量直線趨勢變量之間相關(guān)性）11第11頁，共106頁。樣本分段比較法 又稱戈德菲爾德匡特檢驗。其思路如下：首先將樣本按某個解釋變量的大小順序排列，并將樣本從中間(略去居中的c個觀測)截成兩段；然后各段分別用普通最小二乘法擬合回歸模型，計算各段的殘差平方和，從而計算出各段模型的隨機誤差的方差估計量 。12第12頁，共106頁。由此可構(gòu)造出檢驗統(tǒng)計量F其中，為樣本容量，為解釋變量個數(shù)。該統(tǒng)計量服從自由度為（-1）和（ -1）的F分布。在給定的顯著性水平下，若統(tǒng)計量F值大于臨界值，則認為存在異方差。 13第13頁，共106

6、頁。4.(布勞殊培干戈弗雷)檢驗其思想是：對于多元模型，如果誤差方差與解釋變量具有線性函數(shù)關(guān)系，則通過對該方程回歸系數(shù)的聯(lián)合檢驗可以判斷是否同方差。14第14頁，共106頁。其步驟如下：第一步，采用方法估計原模型，得到殘差估計值；第二步，計算 這是隨機誤差項方差的極大似然估計量。第三步，構(gòu)造：第四步，建立對諸的回歸:第五步，求出(回歸平方和)，并計算統(tǒng)計量15第15頁，共106頁。假定隨機誤差項是正態(tài)分布的?？梢宰C明：如果有同方差性，當樣本容量無限增大時，統(tǒng)計量服從自由度為的方分布。判斷：如果超過給定顯著性水平對應(yīng)的臨界值，就可拒絕同方差性假設(shè)；否則不拒絕。16第16頁，共106頁。5殘差回歸

7、檢驗法 它采用普通最小二乘估計的殘差或其絕對值或其平方作為被解釋變量，建立各種回歸方程，然后通過檢驗回歸系數(shù)是否為0，來判斷模型的隨機誤差項是否有某種變動規(guī)律。如果為0,，說明沒有規(guī)律存在，如果不為0,說明有規(guī)律存在。如果有規(guī)律存在，則存在異方差。 17第17頁，共106頁。6.懷特異方差性檢驗 戈德菲爾德匡特檢驗要求按照被認為是引起異方差性的解釋變量觀測值的重新排序，而則容易受到偏離正態(tài)性假定的影響。懷特的檢驗更具實用性。用殘差平方對所有解釋變量及其平方項和交叉乘積項進行回歸，并檢驗各回歸系數(shù)是否為0,這是H.White 提出的方法。18第18頁，共106頁。其基本步驟如下：步驟一，對給定的

8、數(shù)據(jù)采用方法估計模型，并得到殘差；第二步，建立如下輔助回歸模型，得到 ：第三步，構(gòu)建統(tǒng)計量在無異方差性的零假設(shè)下，該統(tǒng)計量漸進服從自由度為解釋變量個數(shù)的方分布。19第19頁，共106頁。第四步，當計算的統(tǒng)計量數(shù)值超過給定顯著性水平下的方臨界值時，拒絕零假設(shè)，認為存在異方差性，否則，接受零假設(shè)，即不存在異方差性。值得注意的是：懷特檢驗可能是異方差性的一個檢驗，也可能是設(shè)定錯誤的一個檢驗，或兩者兼有。20第20頁，共106頁。其他常用的方法 （1）用殘差對理論值的平方或立方進行線性回歸，然后檢驗各回歸系數(shù)是否顯著不為0。（2）用殘差絕對值對每個解釋變量建立各種（線性一次、倒數(shù)、二次方）回歸模型，并

9、檢驗回歸系數(shù)是否顯著為0。這是格萊澤(Glejser)在1969年提出的方法。 21第21頁，共106頁。異方差的解決加權(quán)最小二乘法（WLS） 如果模型被證明存在異方差性，則需要發(fā)展新的方法估計模型，最常用的方法就是加權(quán)最小二乘法。一般情況下，對于模型 22第22頁，共106頁。即存在異方差性。設(shè)用 左乘線性回歸模型 得到： 該模型具有同方差性。 23第23頁，共106頁。因為 于是用普通最小二乘法得到參數(shù)估計量為24第24頁，共106頁。這就是原模型的加權(quán)最小二乘估計量，是無偏的、有效的估計量。 25第25頁，共106頁。如何得到權(quán)矩陣？ 以原模型的普通最小二乘估計的隨機誤差的近似估計量為權(quán)

10、矩陣的估計量。即 26第26頁，共106頁。 利用統(tǒng)計軟件計算時，只要選擇加權(quán)最小二乘法，將上述權(quán)矩陣輸入，估計過程即告完成。在實際使用時，并不對原模型進行異方差性檢驗，而是直接選擇加權(quán)最小二乘法，如果確實存在異方差性，則被有效地消除了；如果不存在，則加權(quán)最小二乘法等價于普通最小二乘法。 27第27頁，共106頁。加權(quán)最小二乘法的步驟 1.選擇普通最小二乘法估計原模型，得到隨機誤差項的近似估計值 ； 2.建立近似估計值倒數(shù)的數(shù)據(jù)序列 ； 3.選擇加權(quán)最小二乘法，以序列作為權(quán)，進行估計得到參數(shù)估計量。實際上是以 乘原模型的兩邊，得到一個新模型，采用普通最小二乘法估計新模型。28第28頁，共106

11、頁。加權(quán)最小二乘估計的計算可以用SPSS軟件完成如果方差已知，觀測值的權(quán)數(shù)應(yīng)該是觀測值誤差項方差的倒數(shù)，即分母為第i個觀測值誤差項的方差。誤差項較大的觀測值接受較小的權(quán)數(shù)；誤差項方差較小的觀測值接受較大的權(quán)數(shù)。誤差項方差隨一個自變量變化。 如果誤差項的方差常常是未知的，而當誤差項方差隨自變量水平以系統(tǒng)的形式變化時，可以利用這種關(guān)系來構(gòu)造權(quán)數(shù)。(書中列出了四種假設(shè))即 29第29頁，共106頁。而比例系數(shù)k在參數(shù)估計時可以消去。類似地，可設(shè)定特殊的權(quán)函數(shù)為(其中m為待定的未知參數(shù)).statistics Regression Weight Estimation 進入權(quán)函數(shù)對話框x選入Weight

12、變量框，冪指數(shù)Power取默認值，可得輸出結(jié)果。（取似然函數(shù)的極大值） 30第30頁，共106頁。加權(quán)最小二乘殘差圖計算加權(quán)最小二乘估計的殘差，這需要重新作回歸:第一步，在weight estmation對話框中的option選項中，保存最優(yōu)權(quán)作為新變量；第二步，進入線性回歸對話框，點選WLS，線性回歸對話框會增加一行weight變量框，選入第一步的最優(yōu)權(quán)變量；第三步，點選線性回歸對話框的Save選項，保存殘差變量，運行；第四步，以自變量為橫軸，加權(quán)最小二乘估計的殘差為縱軸畫殘差圖。 31第31頁，共106頁。幾點說明：懷特的“異方差性相一致”的方差與標準差。見Eviews軟件。對原始數(shù)據(jù)取對

13、數(shù)，也可以減低異方差性。但如果數(shù)據(jù)中出現(xiàn)負數(shù)或零的數(shù)據(jù)時便不適用。32第32頁，共106頁。舉例說明等級相關(guān)戈德菲爾德-匡特檢驗33第33頁，共106頁。第12章 序列相關(guān)性一、序列相關(guān)的概念二、序列相關(guān)產(chǎn)生的背景與原因 三、序列相關(guān)性的后果 四、序列相關(guān)性的檢驗 五、序列相關(guān)問題的處理方法 34第34頁，共106頁。一、序列相關(guān)的概念 在回歸模型中我們總假定不同時點的隨機誤差項之間是不相關(guān)的，即 如果一個回歸模型不滿足上述假設(shè)，即 則我們稱隨機誤差項之間存在序列相關(guān)現(xiàn)象。 35第35頁，共106頁。 如果僅存在 稱為一階序列相關(guān)，這是最常見的一種序列相關(guān)問題。序列相關(guān)不是指兩個或兩個以上的變

14、量之間的相關(guān)關(guān)系，而是指一個變量前后期數(shù)值之間存在的相關(guān)關(guān)系。序列相關(guān)又稱自相關(guān)。本節(jié)主要討論序列相關(guān)現(xiàn)象產(chǎn)生的背景和原因，序列相關(guān)現(xiàn)象對回歸分析帶來的影響，診斷序列相關(guān)是否存在的方法，以及如何克服序列相關(guān)現(xiàn)象帶來的影響。 36第36頁，共106頁。二、序列相關(guān)產(chǎn)生的背景與原因 1.遺漏關(guān)鍵變量時會產(chǎn)生序列自相關(guān)性。2.經(jīng)濟變量的滯后性會給序列帶來自相關(guān)性。3.采用錯誤的回歸函數(shù)形式也可能引起序列相關(guān)4.蛛網(wǎng)現(xiàn)象可能帶來序列的自相關(guān)性5.因?qū)?shù)據(jù)加工整理而導(dǎo)致誤差項之間產(chǎn)生自相關(guān)性。37第37頁，共106頁。三、序列相關(guān)性的后果 一旦出現(xiàn)序列相關(guān)，而仍采用普通最小二乘法估計模型參數(shù)，會產(chǎn)生下列

15、不良后果：1.參數(shù)估計量是無偏和一致的，但不是有效的，而且呈現(xiàn)出低估的情形。2.變量的顯著性檢驗失去意義3.模型的預(yù)測失效38第38頁，共106頁。對于時間序列數(shù)據(jù)其一般線性回歸模型可表示為：式中隨機誤差項往往前后期相關(guān)，即序列相關(guān)。序列相關(guān)的表現(xiàn)形式有多種，對于多數(shù)經(jīng)濟現(xiàn)象而言，其現(xiàn)期數(shù)值受過去近期的數(shù)值影響較大，而受過去遠期的數(shù)值影響較小，并且時間的間隔越遠，其影響就越小。 39第39頁，共106頁。一階自回歸形式這種形式的序列相關(guān)可用一階自回歸形式來描述，且系數(shù)要限制為：且假設(shè)： 在 假定下，一階自回歸過程是平穩(wěn)的，即隨機誤差項ut的均值、方差和各階協(xié)方差都為常數(shù)，并不隨時間的改變而改變

16、。 40第40頁，共106頁。平穩(wěn)序列隨機誤差項的特征將隨機誤差項ut的各期滯后值代入一階自回歸模型得到： 41第41頁，共106頁。隨機誤差的期望與方差這表明回歸模型的隨機誤差項可表示為獨立同分布的隨機誤差序列的加權(quán)和，權(quán)數(shù)分別為1,，2,。當01時，這些權(quán)數(shù)隨時間推移而幾何衰減；而當-10)，那么 接近奇異的程度就會比 小得多。 97第97頁，共106頁。將數(shù)據(jù)標準化后，這時可以得到的嶺回歸估計量：如果Y也標準化，則得到標準化嶺回歸估計。 作為的估計應(yīng)比最小二乘估計穩(wěn)定，當k=0時的嶺回歸估計實際就是普通最小二乘估計。98第98頁，共106頁。這是嶺回歸的編程語句：INCLUDEE:SPS

17、S10Ridge Regression.sps.RIDGEREG DEP=zy/ENTER zx1 zx2.運行后（run all）結(jié)果如下：當k較小時，回歸系數(shù)很不穩(wěn)定，而當k逐漸增大時，回歸系數(shù)呈現(xiàn)穩(wěn)定狀態(tài)，那么k取何值時，回歸參數(shù)才優(yōu)于普通最小二乘估計呢？99第99頁，共106頁。二、嶺回歸估計的性質(zhì) 在討論中，假設(shè)因變量觀測值向量未經(jīng)標準化。性質(zhì)1：嶺回歸的參數(shù)估計是回歸參數(shù)的有偏估計 100第100頁，共106頁。顯然，只有當k=0時， ，當k0時， 是的有偏估計。有偏性一嶺回歸估計的一個重要性質(zhì)。性質(zhì)2：在嶺參數(shù)k與y無關(guān)的情形下，是最小二乘估計的一個線性變換，也是理論值y的線性函數(shù)。因為 101第101頁，共106頁。性質(zhì)3：以MSE表示估計向量的均方誤差，則存在k0,，使得102第102頁，共106頁。三、嶺參數(shù)k的選擇 我們的目的是要選擇使MSE（k）達到最小的k，而最優(yōu)k值依賴于未知參數(shù)和 ，因而在實際應(yīng)用中必須通過樣本來確定。目前還沒有形成一個公認的最優(yōu)方法。但常用的方法主要有：嶺跡法、方差擴大因子法、殘差平方和方法。我們主要介紹嶺跡法。103第103頁，共106頁。嶺跡法 如果最小二乘估計看來有不合理之處，就可采用適當?shù)膸X估計來加以一定程度的改善，嶺參數(shù)k 值的選擇很重要。選擇k值的一般原則是：各回歸系數(shù)的嶺估計基本穩(wěn)定；104第104頁，共106頁