第4章線性回歸經(jīng)典假設(shè)的_第1頁(yè)
第4章線性回歸經(jīng)典假設(shè)的_第2頁(yè)
第4章線性回歸經(jīng)典假設(shè)的_第3頁(yè)
第4章線性回歸經(jīng)典假設(shè)的_第4頁(yè)
第4章線性回歸經(jīng)典假設(shè)的_第5頁(yè)
已閱讀5頁(yè),還剩182頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、第第4章章 線性回歸經(jīng)典假設(shè)的分析多重共線性多重共線性 異方差性異方差性 序列相關(guān)性序列相關(guān)性 實(shí)證分析實(shí)證分析 第一節(jié)第一節(jié) 多重共線性多重共線性 多重共線性含義及引起的后果多重共線性含義及引起的后果 多重共線性的檢驗(yàn)多重共線性的檢驗(yàn) 多重共線性的克服及嶺回歸方法多重共線性的克服及嶺回歸方法 4.1.1 多重共線性含義及引起的后果多重共線性含義及引起的后果一、多重共線性的含義一、多重共線性的含義“多重共線性多重共線性”一詞由一詞由R. Frisch 1934年提出,年提出,它原指模型的解釋變量間存在線性關(guān)系。針對(duì)它原指模型的解釋變量間存在線性關(guān)系。針對(duì)總體回歸模型(總體回歸模型(2.2)式)

2、式 , 的經(jīng)典假設(shè)條件,要求的經(jīng)典假設(shè)條件,要求 (4.1) 即要求矩陣即要求矩陣X滿秩。滿秩。X滿秩就能保證行列式滿秩就能保證行列式 ,從而可以得到參數(shù)的估計(jì)值,從而可以得到參數(shù)的估計(jì)值 。如。如果這個(gè)假設(shè)條件不滿足,即果這個(gè)假設(shè)條件不滿足,即 ,就表,就表明某些解釋變量之明某些解釋變量之 間存在完全的線性相關(guān)關(guān)系,間存在完全的線性相關(guān)關(guān)系,在這種情形下,根本無法求出參數(shù)的估計(jì)值在這種情形下,根本無法求出參數(shù)的估計(jì)值 。 XYnkrankrank)()(XXX0XXkrank)(Xv然而,在實(shí)際問題中,某些解釋變量之間不是完然而,在實(shí)際問題中,某些解釋變量之間不是完全線性相關(guān)的或接近完全線性

3、相關(guān)的。全線性相關(guān)的或接近完全線性相關(guān)的。v就模型中解釋變量的關(guān)系而言,有三種可能。就模型中解釋變量的關(guān)系而言,有三種可能。 1、 ,解釋變量間毫無線性關(guān)系,變量間相,解釋變量間毫無線性關(guān)系,變量間相互正交。這時(shí)已不需要多重回歸,每個(gè)參數(shù)互正交。這時(shí)已不需要多重回歸,每個(gè)參數(shù) j都都可以通過可以通過Y對(duì)對(duì) 的一元回歸來估計(jì)。的一元回歸來估計(jì)。 2、 ,解釋變量間完全共線性。此時(shí)模型參,解釋變量間完全共線性。此時(shí)模型參數(shù)將無法確定。直觀地看,當(dāng)兩變量按同一方式數(shù)將無法確定。直觀地看,當(dāng)兩變量按同一方式變化時(shí),要區(qū)別每個(gè)解釋變量對(duì)被解釋變量的影變化時(shí),要區(qū)別每個(gè)解釋變量對(duì)被解釋變量的影響程度就非常

4、困難。響程度就非常困難。0jixxrjX1jixxr 3、 ,解釋變量間存在一定程度的線,解釋變量間存在一定程度的線性關(guān)系。實(shí)際中常遇到的是這種情形。隨著共線性關(guān)系。實(shí)際中常遇到的是這種情形。隨著共線性程度的加強(qiáng),對(duì)參數(shù)估計(jì)值的準(zhǔn)確性、穩(wěn)定性性程度的加強(qiáng),對(duì)參數(shù)估計(jì)值的準(zhǔn)確性、穩(wěn)定性帶來影響。因此我們關(guān)心的不是有無多重共線性,帶來影響。因此我們關(guān)心的不是有無多重共線性,而是多重共線性的程度。而是多重共線性的程度。v這里需要說明的是,在解決實(shí)際問題的過程中,這里需要說明的是,在解決實(shí)際問題的過程中,經(jīng)濟(jì)變量在時(shí)間上有共同變化的趨勢(shì)。如在經(jīng)濟(jì)經(jīng)濟(jì)變量在時(shí)間上有共同變化的趨勢(shì)。如在經(jīng)濟(jì)上升時(shí)期,收入

5、、消費(fèi)、就業(yè)率等都增長(zhǎng),當(dāng)經(jīng)上升時(shí)期,收入、消費(fèi)、就業(yè)率等都增長(zhǎng),當(dāng)經(jīng)濟(jì)處于收縮期,收入、消費(fèi)、就業(yè)率等都下降或濟(jì)處于收縮期,收入、消費(fèi)、就業(yè)率等都下降或增長(zhǎng)率下降。當(dāng)這些變量同時(shí)做解釋變量就會(huì)給增長(zhǎng)率下降。當(dāng)這些變量同時(shí)做解釋變量就會(huì)給模型帶來多重共線性問題。另外,解釋變量與其模型帶來多重共線性問題。另外,解釋變量與其滯后變量同作解釋變量時(shí),也會(huì)引起多重共線性。滯后變量同作解釋變量時(shí),也會(huì)引起多重共線性。10jixxr二、多重共線性引起的后果二、多重共線性引起的后果v如果解釋變量之間存在明顯的相關(guān)關(guān)系,即存在如果解釋變量之間存在明顯的相關(guān)關(guān)系,即存在嚴(yán)重的多重共線性,將會(huì)影響模型的構(gòu)建。嚴(yán)重

6、的多重共線性,將會(huì)影響模型的構(gòu)建。 1、當(dāng)、當(dāng) ,X為降秩矩陣,則為降秩矩陣,則 不不存在,存在, 不可計(jì)算。不可計(jì)算。 2、若、若 ,即使,即使 , 仍具有無仍具有無偏性,即偏性,即 1jixxr1)(XXYXXX1)(1jixxr1jixxrXXXXXXXYXXX)()()()()()(111EEEEv然而,當(dāng)然而,當(dāng) 時(shí),時(shí), 接近降秩矩陣,接近降秩矩陣, 即即 , 變得很大。變得很大。 所以所以 喪失有效性。喪失有效性。v以二元解釋變量線性模型為例,當(dāng)以二元解釋變量線性模型為例,當(dāng) 時(shí),時(shí), 為為 時(shí)時(shí) 方差的方差的2.78倍。當(dāng)倍。當(dāng) 時(shí),時(shí), 為為 時(shí)的時(shí)的10.26倍。倍。1ji

7、xxrXX0XX12)()(XXVar8 . 0jixxr)(Var)(Var0jixxr95. 0jixxr0jixxr4.1.2 多重共線性的檢驗(yàn)多重共線性的檢驗(yàn)v既然多重共線性會(huì)造成一些嚴(yán)重的后果,在建立既然多重共線性會(huì)造成一些嚴(yán)重的后果,在建立線性回歸模型的過程中,有必要檢驗(yàn)樣本是否存線性回歸模型的過程中,有必要檢驗(yàn)樣本是否存在多重共線性。在多重共線性。 v檢驗(yàn)樣本是否存在嚴(yán)重的多重共線性常用的方法檢驗(yàn)樣本是否存在嚴(yán)重的多重共線性常用的方法如下。如下。 一、可決系數(shù)的值較大而回歸系數(shù)的一、可決系數(shù)的值較大而回歸系數(shù)的t值較小。值較小。當(dāng)模型的可決系數(shù)當(dāng)模型的可決系數(shù)R2很高,總體顯著性

8、檢驗(yàn)的很高,總體顯著性檢驗(yàn)的F值很高,而每個(gè)回歸參數(shù)估計(jì)值的方差值很高,而每個(gè)回歸參數(shù)估計(jì)值的方差 又又非常大,即非常大,即t值很低時(shí),說明解釋變量之間存在多值很低時(shí),說明解釋變量之間存在多重共線性。重共線性。 二、二、 Klein判別法。計(jì)算多重可決系數(shù)判別法。計(jì)算多重可決系數(shù)R2及解釋及解釋變量之間的簡(jiǎn)單相關(guān)系數(shù)變量之間的簡(jiǎn)單相關(guān)系數(shù) 。若有某個(gè)。若有某個(gè) R2,則,則Xi,Xj間的多重共線性是有害的。間的多重共線性是有害的。)var(jjixxrjixxr 三、特征值與病態(tài)指數(shù)。三、特征值與病態(tài)指數(shù)。v根據(jù)矩陣行列式的性質(zhì),矩陣的行列式等于其特根據(jù)矩陣行列式的性質(zhì),矩陣的行列式等于其特征

9、根的連乘積。因而當(dāng)行列式征根的連乘積。因而當(dāng)行列式 時(shí),矩時(shí),矩陣陣 XX 至少有一個(gè)特征根近似等于零。反之,可至少有一個(gè)特征根近似等于零。反之,可以證明,當(dāng)矩陣以證明,當(dāng)矩陣XX至少有一個(gè)特征根近似等于至少有一個(gè)特征根近似等于零時(shí),零時(shí),X的列向量之間必存在多重共線性。的列向量之間必存在多重共線性。0XXv 實(shí)際上,設(shè)實(shí)際上,設(shè) 是矩陣是矩陣XX的一個(gè)近似等于零特征根,的一個(gè)近似等于零特征根,c是是對(duì)應(yīng)于該特征根的特征向量,則對(duì)應(yīng)于該特征根的特征向量,則(4.2)v 對(duì)(對(duì)(4.2)式兩邊左乘)式兩邊左乘c,即有,即有 即即 從而從而 (4.3) v 這里(這里(4.3)式就反映出了前面所定

10、義的多重共線性。我)式就反映出了前面所定義的多重共線性。我們應(yīng)該注意到,矩陣們應(yīng)該注意到,矩陣XX有多少個(gè)特征根近似為零,設(shè)計(jì)有多少個(gè)特征根近似為零,設(shè)計(jì)矩陣就會(huì)有多少個(gè)類似(矩陣就會(huì)有多少個(gè)類似(4.3)式多重共線性關(guān)系,并且)式多重共線性關(guān)系,并且這些多重共線關(guān)系系數(shù)向量就等于接近于零的那些特征根這些多重共線關(guān)系系數(shù)向量就等于接近于零的那些特征根對(duì)應(yīng)的特征向量。對(duì)應(yīng)的特征向量。0cXcX0XcXc0Xc022110kikiiXcXcXccv 另外,特征根近似為零的標(biāo)準(zhǔn)可以用下面的病態(tài)指數(shù)另外,特征根近似為零的標(biāo)準(zhǔn)可以用下面的病態(tài)指數(shù)(condition index)來確定。記)來確定。記X

11、X的最大特征根為的最大特征根為 ,稱稱(4.4) 為特征根的病態(tài)指數(shù)。注意特征根的個(gè)數(shù)與病態(tài)指數(shù)都包為特征根的病態(tài)指數(shù)。注意特征根的個(gè)數(shù)與病態(tài)指數(shù)都包含了常數(shù)項(xiàng)在內(nèi)。含了常數(shù)項(xiàng)在內(nèi)。v 病態(tài)指數(shù)度量了矩陣病態(tài)指數(shù)度量了矩陣 的特征根散布程度,可以用來判的特征根散布程度,可以用來判斷多重共線性是否存在以及多重共線性的嚴(yán)重程度。斷多重共線性是否存在以及多重共線性的嚴(yán)重程度。v 一般認(rèn)為,當(dāng)一般認(rèn)為,當(dāng)0CI10時(shí),設(shè)計(jì)矩陣時(shí),設(shè)計(jì)矩陣X沒有多重共線性;沒有多重共線性;當(dāng)當(dāng)10CI100時(shí),則認(rèn)為存在嚴(yán)重的多重共線性。時(shí),則認(rèn)為存在嚴(yán)重的多重共線性。mjmjCIkj, 1 , 0XX4.1.3 多重

12、共線性的克服及嶺回歸方多重共線性的克服及嶺回歸方法法v如果多重共線性較為嚴(yán)重,我們?cè)撊绾翁幚??一如果多重共線性較為嚴(yán)重,我們?cè)撊绾翁幚??一般來說沒有一個(gè)十分嚴(yán)格的克服多重共線性的方般來說沒有一個(gè)十分嚴(yán)格的克服多重共線性的方法。但是,可以盡量的降低線性回歸模型中存在法。但是,可以盡量的降低線性回歸模型中存在的多重共線性。的多重共線性。v這里介紹一些經(jīng)驗(yàn)規(guī)則和理論方法以便克服或降這里介紹一些經(jīng)驗(yàn)規(guī)則和理論方法以便克服或降低多重共線性問題時(shí)參考。低多重共線性問題時(shí)參考。一、克服多重共線性的經(jīng)驗(yàn)方法一、克服多重共線性的經(jīng)驗(yàn)方法 1、剔除變量。、剔除變量。v面對(duì)嚴(yán)重的多重共線性,最簡(jiǎn)單的克服方法之一面對(duì)

13、嚴(yán)重的多重共線性,最簡(jiǎn)單的克服方法之一就是剔除一個(gè)共線性的變量。但是,如果從模型就是剔除一個(gè)共線性的變量。但是,如果從模型中剔除的是重要的解釋變量,可能會(huì)引起模型的中剔除的是重要的解釋變量,可能會(huì)引起模型的設(shè)定誤差。所謂設(shè)定誤差是指在回歸分析中使用設(shè)定誤差。所謂設(shè)定誤差是指在回歸分析中使用了不正確的模型。我們知道,在解釋糧食產(chǎn)量的了不正確的模型。我們知道,在解釋糧食產(chǎn)量的模型中,應(yīng)該包括播種面積和施肥量,那么剔除模型中,應(yīng)該包括播種面積和施肥量,那么剔除播種面積這個(gè)變量,就會(huì)構(gòu)成設(shè)定誤差。當(dāng)模型播種面積這個(gè)變量,就會(huì)構(gòu)成設(shè)定誤差。當(dāng)模型中出現(xiàn)設(shè)定誤差時(shí),線性模型的分析出現(xiàn)的問題中出現(xiàn)設(shè)定誤差時(shí)

14、,線性模型的分析出現(xiàn)的問題會(huì)更為嚴(yán)重,其中問題之一是當(dāng)出現(xiàn)設(shè)定誤差時(shí),會(huì)更為嚴(yán)重,其中問題之一是當(dāng)出現(xiàn)設(shè)定誤差時(shí),回歸系數(shù)的估計(jì)值是有偏的,這與多重共線性相回歸系數(shù)的估計(jì)值是有偏的,這與多重共線性相比是一個(gè)更為嚴(yán)重的問題。比是一個(gè)更為嚴(yán)重的問題。v事實(shí)上,假設(shè)真實(shí)的模型為事實(shí)上,假設(shè)真實(shí)的模型為v如果我們錯(cuò)誤的擬合了模型如果我們錯(cuò)誤的擬合了模型 記記 ,iiiiXXY133221iiiXY22*2*1222XXxiiYYyiiv那么,那么, 這里,這里, 為回歸模型為回歸模型 中回歸系數(shù)中回歸系數(shù)的最小二乘估計(jì)量。的最小二乘估計(jì)量。 221232322212223232221232322221

15、221332212222222*2)(iiiiiiiiiiiiiiiiiiiiiiiiiiiixxbxxxXxxxXxXxxxXXxxYxxyx32biiiXbbX23213v所以,所以, (4.5)v當(dāng)解釋變量之間存在多重共線性時(shí),當(dāng)解釋變量之間存在多重共線性時(shí), 是不會(huì)為是不會(huì)為零的,從而由(零的,從而由(4.5)式知,)式知,v這說明如果因?yàn)橛卸嘀毓簿€性而將一共線變量刪這說明如果因?yàn)橛卸嘀毓簿€性而將一共線變量刪除會(huì)導(dǎo)致有偏估計(jì),而有偏估計(jì)對(duì)參數(shù)的估計(jì)來除會(huì)導(dǎo)致有偏估計(jì),而有偏估計(jì)對(duì)參數(shù)的估計(jì)來說,是一個(gè)更為嚴(yán)重的問題。在這里我們需要提說,是一個(gè)更為嚴(yán)重的問題。在這里我們需要提及的是,在不

16、完全共線的情形下,及的是,在不完全共線的情形下,OLS估計(jì)量仍估計(jì)量仍然是然是BLUE。3232*2)(bE32b2*2)(E 2、增加樣本容量。、增加樣本容量。v由于多重共線性是一個(gè)樣本特征,所以有可能在由于多重共線性是一個(gè)樣本特征,所以有可能在同樣變量的另一樣本中共線性問題并不嚴(yán)重。這同樣變量的另一樣本中共線性問題并不嚴(yán)重。這樣只需要增大樣本容量就能減輕共線性問題??礃又恍枰龃髽颖救萘烤湍軠p輕共線性問題??磥碓黾訕颖救萘靠赡苁强朔簿€性的一個(gè)好方法,來增加樣本容量可能是克服共線性的一個(gè)好方法,但在實(shí)際解決問題時(shí),我們補(bǔ)充數(shù)據(jù)擴(kuò)大樣本容但在實(shí)際解決問題時(shí),我們補(bǔ)充數(shù)據(jù)擴(kuò)大樣本容量并不是一件

17、容易的事情,特別是在建立計(jì)量經(jīng)量并不是一件容易的事情,特別是在建立計(jì)量經(jīng)濟(jì)模型時(shí)所希望的解釋變量的值就更困難。濟(jì)模型時(shí)所希望的解釋變量的值就更困難。 3、先驗(yàn)信息。、先驗(yàn)信息。v如果通過經(jīng)濟(jì)理論分析能夠得到某些參數(shù)之間的如果通過經(jīng)濟(jì)理論分析能夠得到某些參數(shù)之間的線性關(guān)系,可以將這種線性關(guān)系作為約束條件,線性關(guān)系,可以將這種線性關(guān)系作為約束條件,將此約束條件和樣本信息結(jié)合起來進(jìn)行最小二乘將此約束條件和樣本信息結(jié)合起來進(jìn)行最小二乘估計(jì)。估計(jì)。 v為了進(jìn)一步說明問題,假設(shè)我們考慮模型為了進(jìn)一步說明問題,假設(shè)我們考慮模型v如果依據(jù)長(zhǎng)期的經(jīng)驗(yàn)分析可以認(rèn)為兩個(gè)解釋變量如果依據(jù)長(zhǎng)期的經(jīng)驗(yàn)分析可以認(rèn)為兩個(gè)解釋

18、變量的系數(shù)相互關(guān)系為的系數(shù)相互關(guān)系為 ,運(yùn)用這個(gè)先驗(yàn)信息,運(yùn)用這個(gè)先驗(yàn)信息有有 其中,其中, 。這樣可以估計(jì)出。這樣可以估計(jì)出 ,然,然后可以得到后可以得到 。iiiiXXY33221233 . 0iiiiiiiiiXXXXXY2132221332213 . 0iiiXXX323 . 023v另外,我們應(yīng)該注意到,橫截面數(shù)據(jù)與時(shí)間序列另外,我們應(yīng)該注意到,橫截面數(shù)據(jù)與時(shí)間序列數(shù)據(jù)并用也是先驗(yàn)信息法的一種變形,這種方法數(shù)據(jù)并用也是先驗(yàn)信息法的一種變形,這種方法稱為數(shù)據(jù)并用(稱為數(shù)據(jù)并用(pooling the data)。其基本思想)。其基本思想是,首先利用橫截面數(shù)據(jù)估計(jì)出部分參數(shù),再利是,首先

19、利用橫截面數(shù)據(jù)估計(jì)出部分參數(shù),再利用時(shí)間序列數(shù)據(jù)估計(jì)另外的部分參數(shù),最后得到用時(shí)間序列數(shù)據(jù)估計(jì)另外的部分參數(shù),最后得到整個(gè)方程參數(shù)的估計(jì)。整個(gè)方程參數(shù)的估計(jì)。二、一階差分方法二、一階差分方法v一階差分法就是將原模型變形為差分模型的形式,一階差分法就是將原模型變形為差分模型的形式,進(jìn)而降低多重共線性的一種方法。進(jìn)而降低多重共線性的一種方法。v將原模型將原模型 經(jīng)過一階差分變換為經(jīng)過一階差分變換為 其中,其中, , , , , 。 ikikiiiXXXY33221ikikiiiXXXY33221iiiYYY1222iiiXXX1kikikiXXX1iiiv一般情況,差分變換后變量之間的相關(guān)性比變換

20、一般情況,差分變換后變量之間的相關(guān)性比變換前要弱的多,所以差分后的模型可以有效地降低前要弱的多,所以差分后的模型可以有效地降低出現(xiàn)共線性的現(xiàn)象。出現(xiàn)共線性的現(xiàn)象。v然而,差分變換常常會(huì)引起信息的丟失,使自由然而,差分變換常常會(huì)引起信息的丟失,使自由度減少了一個(gè),也可能會(huì)使得模型的干擾項(xiàng)出現(xiàn)度減少了一個(gè),也可能會(huì)使得模型的干擾項(xiàng)出現(xiàn)序列相關(guān),即序列相關(guān),即2212121212111)()()()(iiiiiiiiiiiiiiEEEEv這樣就違背了經(jīng)典線性回歸模型的相關(guān)假設(shè),因這樣就違背了經(jīng)典線性回歸模型的相關(guān)假設(shè),因此在具體應(yīng)用時(shí)要慎重。關(guān)于序列相關(guān)的有關(guān)內(nèi)此在具體應(yīng)用時(shí)要慎重。關(guān)于序列相關(guān)的有

21、關(guān)內(nèi)容將在后面詳細(xì)介紹。容將在后面詳細(xì)介紹。三、逐步回歸法三、逐步回歸法v 逐步回歸法的基本思想是,首先用被解釋變量對(duì)每一個(gè)逐步回歸法的基本思想是,首先用被解釋變量對(duì)每一個(gè)所考慮的解釋變量做簡(jiǎn)單回歸,然后以對(duì)被解釋變量貢獻(xiàn)所考慮的解釋變量做簡(jiǎn)單回歸,然后以對(duì)被解釋變量貢獻(xiàn)最大的解釋變量所對(duì)應(yīng)的回歸方程為基礎(chǔ),以對(duì)被解釋變最大的解釋變量所對(duì)應(yīng)的回歸方程為基礎(chǔ),以對(duì)被解釋變量貢獻(xiàn)大小為順序逐個(gè)引入其余的解釋變量。量貢獻(xiàn)大小為順序逐個(gè)引入其余的解釋變量。v 這個(gè)過程會(huì)出現(xiàn)這個(gè)過程會(huì)出現(xiàn)3種情形。若新變量的引入改進(jìn)了和檢種情形。若新變量的引入改進(jìn)了和檢驗(yàn),且回歸參數(shù)的驗(yàn),且回歸參數(shù)的t檢驗(yàn)在統(tǒng)計(jì)上也是

22、顯著的,則該變量檢驗(yàn)在統(tǒng)計(jì)上也是顯著的,則該變量在模型中予以保留。若新變量的引入未能改進(jìn)和檢驗(yàn),在模型中予以保留。若新變量的引入未能改進(jìn)和檢驗(yàn),且對(duì)其他回歸參數(shù)估計(jì)值的且對(duì)其他回歸參數(shù)估計(jì)值的t檢驗(yàn)也未帶來什么影響,則檢驗(yàn)也未帶來什么影響,則認(rèn)為該變量是多余的,應(yīng)該舍棄。若新變量的引入未能認(rèn)為該變量是多余的,應(yīng)該舍棄。若新變量的引入未能改進(jìn)和檢驗(yàn),且顯著地影響了其他回歸參數(shù)估計(jì)值的符號(hào)改進(jìn)和檢驗(yàn),且顯著地影響了其他回歸參數(shù)估計(jì)值的符號(hào)與數(shù)值,同時(shí)本身的回歸參數(shù)也通不過與數(shù)值,同時(shí)本身的回歸參數(shù)也通不過t檢驗(yàn),這說明出檢驗(yàn),這說明出現(xiàn)了嚴(yán)重的多重共線性,舍棄該變量?,F(xiàn)了嚴(yán)重的多重共線性,舍棄該變

23、量。四、嶺回歸法四、嶺回歸法v當(dāng)在建立計(jì)量經(jīng)濟(jì)模型存在多重共線性時(shí),最小當(dāng)在建立計(jì)量經(jīng)濟(jì)模型存在多重共線性時(shí),最小二乘估計(jì)的性質(zhì)就不夠理想,有時(shí)甚至遭到破壞。二乘估計(jì)的性質(zhì)就不夠理想,有時(shí)甚至遭到破壞。在這種情況下,要從本質(zhì)上克服多重共線性,就在這種情況下,要從本質(zhì)上克服多重共線性,就需要一些新的估計(jì)方法。近四十年來,人們提出需要一些新的估計(jì)方法。近四十年來,人們提出了許多新的估計(jì)方法,其在理論上最有影響并得了許多新的估計(jì)方法,其在理論上最有影響并得到廣泛應(yīng)用的就是嶺估計(jì)(到廣泛應(yīng)用的就是嶺估計(jì)(ridge regression)。)。v為了能夠較為深入了解嶺回歸方法,并進(jìn)一步說為了能夠較為深

24、入了解嶺回歸方法,并進(jìn)一步說明嶺估計(jì)量的優(yōu)良性,我們引進(jìn)評(píng)價(jià)一個(gè)估計(jì)優(yōu)明嶺估計(jì)量的優(yōu)良性,我們引進(jìn)評(píng)價(jià)一個(gè)估計(jì)優(yōu)劣的標(biāo)準(zhǔn)劣的標(biāo)準(zhǔn)均方誤差(均方誤差(mean squared errors)。)。v設(shè)設(shè) 為為 未知參數(shù)向量,未知參數(shù)向量, 為為 的一個(gè)估計(jì)量。的一個(gè)估計(jì)量。定義定義 的均方誤差為的均方誤差為 (4.6) 它量度了估計(jì)量它量度了估計(jì)量 跟未知參數(shù)向量跟未知參數(shù)向量 平均偏離平均偏離的大小。一個(gè)好的估計(jì)量應(yīng)該有較小的均方誤差。的大小。一個(gè)好的估計(jì)量應(yīng)該有較小的均方誤差。均方誤差有一個(gè)重要的性質(zhì),即均方誤差有一個(gè)重要的性質(zhì),即 (4.7)v事實(shí)上,事實(shí)上, (4.8)1p)()()(

25、EMSE)()()()(EEVartrMSE21)()()()()()( )()()()()(EEEEEEEEEEEMSEv根據(jù)矩陣跡的有關(guān)性質(zhì),(根據(jù)矩陣跡的有關(guān)性質(zhì),(4.8)式中的第一項(xiàng))式中的第一項(xiàng) 為為 v如果記如果記 ,則,則 (4.9) (4.9)式是估計(jì)量的各分量方差之和。)式是估計(jì)量的各分量方差之和。 1)()()()()(1VartrEEEtrEEtrEEEtrE),(21ppiiVarVartr11)()(v而且而且 (4.10) (4.10)式是估計(jì)量的各分量的偏差)式是估計(jì)量的各分量的偏差 平方和。平方和。v這樣一個(gè)估計(jì)的均方誤差就是由各分量的方差和這樣一個(gè)估計(jì)的均方

26、誤差就是由各分量的方差和偏差所決定的。偏差所決定的。v一個(gè)好的估計(jì)量應(yīng)該有較小的方差和偏差。一個(gè)好的估計(jì)量應(yīng)該有較小的方差和偏差。piiEEE122)()()(iEv下面我們介紹嶺回歸的基本方法。下面我們介紹嶺回歸的基本方法。v當(dāng)解釋變量之間存在多重共線性時(shí)當(dāng)解釋變量之間存在多重共線性時(shí) ,則,則 將會(huì)增大,原因是將會(huì)增大,原因是 接近奇異。接近奇異。如果將如果將 加上一個(gè)正常數(shù)對(duì)角陣加上一個(gè)正常數(shù)對(duì)角陣kI(k0,I為為單位矩陣),即單位矩陣),即 ,使得,使得 的可能的可能性比性比 的可能性更小,那么的可能性更小,那么 接近奇異接近奇異的程度就會(huì)比的程度就會(huì)比 小的多。小的多。 0XX12

27、)()(XXVarXXXXIXXk0IXXk0XXIXXkXXv這樣就可以得到這樣就可以得到 的嶺回歸估計(jì)為的嶺回歸估計(jì)為 (4.11) 其中其中 稱為稱為 的嶺回歸估計(jì)量,的嶺回歸估計(jì)量,k稱為嶺參數(shù)或稱為嶺參數(shù)或偏參數(shù)。偏參數(shù)。v當(dāng)當(dāng)k取不同的值時(shí),我們得到不同的估計(jì),因此取不同的值時(shí),我們得到不同的估計(jì),因此嶺估計(jì)嶺估計(jì) 是一個(gè)估計(jì)類,當(dāng)是一個(gè)估計(jì)類,當(dāng)k=0時(shí),時(shí), 就是普通最小二乘估計(jì)量。就是普通最小二乘估計(jì)量。v于是嚴(yán)格的講,最小二乘估計(jì)量就是嶺估計(jì)類中于是嚴(yán)格的講,最小二乘估計(jì)量就是嶺估計(jì)類中一個(gè)估計(jì)量。一個(gè)估計(jì)量。YXIXX1)()(kk)(k)(kYXXX1)()(kv但是在

28、一般情況下,當(dāng)我們提及嶺估計(jì)時(shí),一般但是在一般情況下,當(dāng)我們提及嶺估計(jì)時(shí),一般不包括最小二乘估計(jì)。特別是在解釋變量之間存不包括最小二乘估計(jì)。特別是在解釋變量之間存在多重共線性時(shí),以在多重共線性時(shí),以 作為作為 的估計(jì)應(yīng)比最小的估計(jì)應(yīng)比最小二乘估計(jì)穩(wěn)定,隨著二乘估計(jì)穩(wěn)定,隨著k的逐漸增大,回歸系數(shù)可的逐漸增大,回歸系數(shù)可能呈現(xiàn)出穩(wěn)定的狀態(tài)。能呈現(xiàn)出穩(wěn)定的狀態(tài)。v因此,要選擇適當(dāng)?shù)囊虼?,要選擇適當(dāng)?shù)膋值,嶺回歸參數(shù)才會(huì)優(yōu)于值,嶺回歸參數(shù)才會(huì)優(yōu)于最小二乘估計(jì)參數(shù)。最小二乘估計(jì)參數(shù)。 )(kv為了進(jìn)一步說明嶺回歸估計(jì)的優(yōu)良性,有必要介為了進(jìn)一步說明嶺回歸估計(jì)的優(yōu)良性,有必要介紹嶺回歸估計(jì)量的有關(guān)性質(zhì)。

29、紹嶺回歸估計(jì)量的有關(guān)性質(zhì)。 性質(zhì)性質(zhì)1 嶺回歸的參數(shù)估計(jì)是回歸參數(shù)的有偏估計(jì)。嶺回歸的參數(shù)估計(jì)是回歸參數(shù)的有偏估計(jì)。v實(shí)際上,有實(shí)際上,有 (4.12)v因此嶺估計(jì)量是有偏估計(jì),這是嶺估計(jì)與最小二因此嶺估計(jì)量是有偏估計(jì),這是嶺估計(jì)與最小二乘估計(jì)的一個(gè)重要不同之處。乘估計(jì)的一個(gè)重要不同之處。XXIXXYXIXXYXIXX111)()()()()(kEkkEkE 性質(zhì)性質(zhì)2 在嶺參數(shù)在嶺參數(shù)k與與Y無關(guān)的情況下,無關(guān)的情況下, 是最是最小二乘估計(jì)的一個(gè)線性變換,也是理論值小二乘估計(jì)的一個(gè)線性變換,也是理論值Y的線的線性函數(shù)。性函數(shù)。v實(shí)際上,根據(jù)(實(shí)際上,根據(jù)(4.11)式很容易看出這個(gè)性質(zhì)的)式

30、很容易看出這個(gè)性質(zhì)的正確性。正確性。 性質(zhì)性質(zhì)3 存在存在k0,使得,使得 (4.13) 即存在即存在k0 ,使得在均方誤差意義下,嶺估計(jì)優(yōu),使得在均方誤差意義下,嶺估計(jì)優(yōu)于最小二乘估計(jì)。于最小二乘估計(jì)。 )(k)()(MSEkMSEv這里需要說明的是關(guān)于這里需要說明的是關(guān)于k值的選擇非常重要,在值的選擇非常重要,在此我們主要介紹用嶺跡法選擇此我們主要介紹用嶺跡法選擇k值的基本思路。值的基本思路。v嶺估計(jì)嶺估計(jì) 是隨著是隨著k值的改變而變化。值的改變而變化。若記若記 為為 的第的第i個(gè)分量,它是個(gè)分量,它是k的一元函數(shù)。的一元函數(shù)。當(dāng)當(dāng)k在在 上變化時(shí),上變化時(shí), 的圖形稱為嶺跡的圖形稱為嶺跡

31、(ridge trace)。將)。將 的每個(gè)分量的每個(gè)分量 的嶺的嶺跡畫在同一個(gè)圖上,根據(jù)嶺跡的變化趨勢(shì)選擇跡畫在同一個(gè)圖上,根據(jù)嶺跡的變化趨勢(shì)選擇k值,使得各個(gè)回歸系數(shù)的嶺估計(jì)大體上穩(wěn)定,并值,使得各個(gè)回歸系數(shù)的嶺估計(jì)大體上穩(wěn)定,并且各個(gè)回歸系數(shù)嶺估計(jì)值的符號(hào)比較合理并符合且各個(gè)回歸系數(shù)嶺估計(jì)值的符號(hào)比較合理并符合實(shí)際。實(shí)際。 YXIXX1)()(kk)(ki)(k), 0)(k)(k)(kiv我們知道,最小二乘估計(jì)是使殘差平方和達(dá)到最我們知道,最小二乘估計(jì)是使殘差平方和達(dá)到最小的估計(jì)。小的估計(jì)。k愈大,嶺估計(jì)跟最小二乘估計(jì)偏差愈大,嶺估計(jì)跟最小二乘估計(jì)偏差愈大。因此,它對(duì)應(yīng)的殘差平方和也隨

32、著愈大。因此,它對(duì)應(yīng)的殘差平方和也隨著k的增的增加而增加。當(dāng)我們用嶺跡法選擇加而增加。當(dāng)我們用嶺跡法選擇k值時(shí),還應(yīng)該值時(shí),還應(yīng)該考慮使得殘差平方和不要上升的太多。在解決實(shí)考慮使得殘差平方和不要上升的太多。在解決實(shí)際問題時(shí),上述幾點(diǎn)原則有時(shí)可能會(huì)有些相互不際問題時(shí),上述幾點(diǎn)原則有時(shí)可能會(huì)有些相互不一致,顧此失彼的情況也經(jīng)常出現(xiàn),這就要根據(jù)一致,顧此失彼的情況也經(jīng)常出現(xiàn),這就要根據(jù)不同的情況靈活處理。不同的情況靈活處理。 v需要提及的是,目前還沒有形成公認(rèn)的選擇嶺參需要提及的是,目前還沒有形成公認(rèn)的選擇嶺參數(shù)的最優(yōu)方法,除了嶺跡法,我們還可以選用方數(shù)的最優(yōu)方法,除了嶺跡法,我們還可以選用方差擴(kuò)大

33、因子法、殘差平方和法等等。另外,在實(shí)差擴(kuò)大因子法、殘差平方和法等等。另外,在實(shí)際應(yīng)用中,也可以考慮使用逐步搜索的方法,即際應(yīng)用中,也可以考慮使用逐步搜索的方法,即開始給定小的開始給定小的k值,然后逐漸增加值,然后逐漸增加k的取值進(jìn)行模的取值進(jìn)行模擬,直到嶺估計(jì)量擬,直到嶺估計(jì)量 的值趨于穩(wěn)定為止。顯的值趨于穩(wěn)定為止。顯然,用逐步搜索的方法確定然,用逐步搜索的方法確定k,具有一定的主觀,具有一定的主觀性,但是具體的過程體現(xiàn)出了統(tǒng)計(jì)模擬的基本思性,但是具體的過程體現(xiàn)出了統(tǒng)計(jì)模擬的基本思想。想。)(k第二節(jié)第二節(jié) 異方差性異方差性 異方差性含義及引起的后果異方差性含義及引起的后果 異方差性的檢驗(yàn)異方

34、差性的檢驗(yàn) 廣義最小二乘法及異方差性的克服廣義最小二乘法及異方差性的克服 4.2.1 異方差性含義及引起的后果異方差性含義及引起的后果 一、異方差的含義及表現(xiàn)一、異方差的含義及表現(xiàn) 二、異方差引起的后果二、異方差引起的后果一、異方差的含義及表現(xiàn)一、異方差的含義及表現(xiàn)v針對(duì)總體回歸模型(針對(duì)總體回歸模型(2.2)式)式 , 的經(jīng)典假設(shè)條件,要求給出的經(jīng)典假設(shè)條件,要求給出 是一個(gè)對(duì)角矩陣,是一個(gè)對(duì)角矩陣,即即 = 2I= 2 (4.14)且且 的協(xié)差陣主對(duì)角線上的元素都是常數(shù)且相等,的協(xié)差陣主對(duì)角線上的元素都是常數(shù)且相等,即每一干擾項(xiàng)的方差都是有限的相同值(同方差即每一干擾項(xiàng)的方差都是有限的相同

35、值(同方差假定);且非主對(duì)角線上的元素為零(非自相關(guān)假定);且非主對(duì)角線上的元素為零(非自相關(guān)假定),當(dāng)這個(gè)假定不成立時(shí),假定),當(dāng)這個(gè)假定不成立時(shí), 不再是一個(gè)不再是一個(gè)純量對(duì)角矩陣。純量對(duì)角矩陣。XY)(Var)(Var10101)(Var = 2 = 2 2 I. 當(dāng)干擾項(xiàng)向量當(dāng)干擾項(xiàng)向量 的協(xié)差陣主對(duì)角線上的元素不相等時(shí),稱的協(xié)差陣主對(duì)角線上的元素不相等時(shí),稱該隨機(jī)誤差系列存在異方差,即干擾項(xiàng)向量該隨機(jī)誤差系列存在異方差,即干擾項(xiàng)向量 中的元素中的元素 取自不同的分布總體。取自不同的分布總體。 非主對(duì)角線上的元素表示干擾項(xiàng)之間的協(xié)方差值。比如非主對(duì)角線上的元素表示干擾項(xiàng)之間的協(xié)方差值。

36、比如 中的中的 ,(,(i j)表示與第)表示與第i組和第組和第j組觀測(cè)值相對(duì)應(yīng)的組觀測(cè)值相對(duì)應(yīng)的 與與 的協(xié)方差。若的協(xié)方差。若 非主對(duì)角線上的部分或全部元素都非主對(duì)角線上的部分或全部元素都不為零,干擾項(xiàng)就是序列相關(guān)的。本節(jié)討論異方差,下一不為零,干擾項(xiàng)就是序列相關(guān)的。本節(jié)討論異方差,下一節(jié)討論序列相關(guān)問題。節(jié)討論序列相關(guān)問題。)(Varnnnnnn.212222111211iijij(4.15)v首先明確同方差假定如圖首先明確同方差假定如圖4.1和和4.2所示。對(duì)于隨著所示。對(duì)于隨著解釋變量的變化,相應(yīng)解釋變量的變化,相應(yīng) 的分布方差都是相同的。的分布方差都是相同的。 圖圖4.1 同方差情

37、形同方差情形 圖圖4.2 同方差情形同方差情形i02460102030YXv這樣我們就可以進(jìn)一步明確,異方差通常的三種這樣我們就可以進(jìn)一步明確,異方差通常的三種表現(xiàn)形式,(表現(xiàn)形式,(1)遞增型,()遞增型,(2)遞減型,()遞減型,(3)條)條件自回歸型。遞增型異方差見圖件自回歸型。遞增型異方差見圖4.3和和4.4。圖。圖4.5為遞減型異方差。圖為遞減型異方差。圖4.6為條件自回歸型異方差。為條件自回歸型異方差。 圖圖4.3 遞增型異方差情形遞增型異方差情形0501001502002500102030YX圖圖4.4 遞增型異方差遞增型異方差 圖圖4.5 遞減型異方差遞減型異方差0501001

38、502002500102030YX-8-6-4-20246200400600800100012001400DJPY 圖圖4.6 復(fù)雜型異方差復(fù)雜型異方差v這里我們要說明的是:第一,時(shí)間序列數(shù)據(jù)和截這里我們要說明的是:第一,時(shí)間序列數(shù)據(jù)和截面數(shù)據(jù)中都有可能存在異方差;第二,經(jīng)濟(jì)時(shí)間面數(shù)據(jù)中都有可能存在異方差;第二,經(jīng)濟(jì)時(shí)間序列中的異方差常為遞增型異方差。金融時(shí)間序序列中的異方差常為遞增型異方差。金融時(shí)間序列中的異方差常表現(xiàn)為自回歸條件異方差。列中的異方差常表現(xiàn)為自回歸條件異方差。v無論是時(shí)間序列數(shù)據(jù)還是截面數(shù)據(jù),遞增型異方無論是時(shí)間序列數(shù)據(jù)還是截面數(shù)據(jù),遞增型異方差的來源主要是因?yàn)殡S著解釋變量值

39、的增大,被差的來源主要是因?yàn)殡S著解釋變量值的增大,被解釋變量取值的差異性增大。解釋變量取值的差異性增大。二、異方差引起的后果二、異方差引起的后果v我們從簡(jiǎn)單線性回歸模型入手,討論異方差對(duì)參我們從簡(jiǎn)單線性回歸模型入手,討論異方差對(duì)參數(shù)估計(jì)的影響,然后再針對(duì)一般回歸線性模型進(jìn)數(shù)估計(jì)的影響,然后再針對(duì)一般回歸線性模型進(jìn)行討論。對(duì)模型行討論。對(duì)模型 (4.16)v當(dāng)當(dāng) ,為異方差時(shí)(,為異方差時(shí)( 是一個(gè)隨時(shí)是一個(gè)隨時(shí)間或序數(shù)變化的量),回歸參數(shù)估計(jì)量仍具有無間或序數(shù)變化的量),回歸參數(shù)估計(jì)量仍具有無偏性和一致性。針對(duì)偏性和一致性。針對(duì) 而言而言 iiiXY102)(iiVar2i11212121)(

40、)()()()()()()()(XXEXXXXXXXXEXXYYXXEEiiiiiiiiii(4.17)v但是回歸參數(shù)估計(jì)量不再具有有效性,即但是回歸參數(shù)估計(jì)量不再具有有效性,即 1112222222222222()()()()()()()() )()() )()iiiiiiiiiiVarEXXEXXXXEXXXXXXXX(4.18)v在在(4.17)和和(4.18)式的推導(dǎo)中利用了式的推導(dǎo)中利用了 的非序列相的非序列相關(guān)的假定。關(guān)的假定。(4.18)式不等號(hào)左側(cè)項(xiàng)分子中的式不等號(hào)左側(cè)項(xiàng)分子中的 不不是一個(gè)常量,不能從累加式中提出,所以不等號(hào)是一個(gè)常量,不能從累加式中提出,所以不等號(hào)左側(cè)項(xiàng)不等

41、于不等號(hào)右側(cè)項(xiàng)。而不等號(hào)右側(cè)項(xiàng)是左側(cè)項(xiàng)不等于不等號(hào)右側(cè)項(xiàng)。而不等號(hào)右側(cè)項(xiàng)是同方差條件下同方差條件下 1的最小二乘估計(jì)量的最小二乘估計(jì)量 的方差。的方差。因此異方差條件下的因此異方差條件下的 失去有效性。失去有效性。v另外回歸參數(shù)估計(jì)量方差的估計(jì)是真實(shí)方差的有另外回歸參數(shù)估計(jì)量方差的估計(jì)是真實(shí)方差的有偏估計(jì)量,即偏估計(jì)量,即 E( ( ) i2i11Var1)(1Varv針對(duì)一般線性回歸模型(針對(duì)一般線性回歸模型(2.2)式)式 ,v因?yàn)橐驗(yàn)镺LS估計(jì)量無偏性的證明只依賴于模型的一估計(jì)量無偏性的證明只依賴于模型的一階矩,所以當(dāng)階矩,所以當(dāng) 以(以(4.14)式所示時(shí),)式所示時(shí),OLS估估計(jì)量計(jì)

42、量 仍具有無偏性和一致性,即仍具有無偏性和一致性,即 (4.19) 但不具有有效性和漸近有效性。但不具有有效性和漸近有效性。 )(VarXXXXXXXYXXX)()()()()()(111EEEEXYv而且而且 的分布將受到影響,即的分布將受到影響,即 (4.20) 由(由(4.20)式知異方差條件下)式知異方差條件下 是非有效估計(jì)量。是非有效估計(jì)量。v異方差性的存在,會(huì)對(duì)線性回歸模型正確的建立異方差性的存在,會(huì)對(duì)線性回歸模型正確的建立和統(tǒng)計(jì)推斷帶來嚴(yán)重的后果,因此在計(jì)量經(jīng)濟(jì)分和統(tǒng)計(jì)推斷帶來嚴(yán)重的后果,因此在計(jì)量經(jīng)濟(jì)分析中,有必要檢驗(yàn)?zāi)P褪欠翊嬖诋惙讲睢N鲋?,有必要檢驗(yàn)?zāi)P褪欠翊嬖诋惙讲睢?1

43、1121121( )()() ()() ()() ()()()()VarEEE XXXX XXXXXXXXXXX X XXXX4.2.2 異方差性的檢驗(yàn)異方差性的檢驗(yàn) 一、定性分析異方差一、定性分析異方差 二、戈德菲爾德昆茨檢驗(yàn)二、戈德菲爾德昆茨檢驗(yàn) 三、格萊澤檢驗(yàn)三、格萊澤檢驗(yàn) 四、懷特檢驗(yàn)四、懷特檢驗(yàn) 五、自回歸條件異方差檢驗(yàn)五、自回歸條件異方差檢驗(yàn)一、定性分析異方差一、定性分析異方差v定性分析異方差的角度很多,我們可以根據(jù)實(shí)際定性分析異方差的角度很多,我們可以根據(jù)實(shí)際建立模型依據(jù)的經(jīng)濟(jì)理論和實(shí)際經(jīng)濟(jì)現(xiàn)象來分析建立模型依據(jù)的經(jīng)濟(jì)理論和實(shí)際經(jīng)濟(jì)現(xiàn)象來分析是否存在異方差性,一般情形經(jīng)濟(jì)變量規(guī)模

44、差別是否存在異方差性,一般情形經(jīng)濟(jì)變量規(guī)模差別很大時(shí)容易出現(xiàn)異方差,如個(gè)人收入與支出關(guān)系,很大時(shí)容易出現(xiàn)異方差,如個(gè)人收入與支出關(guān)系,投入與產(chǎn)出關(guān)系。投入與產(chǎn)出關(guān)系。v另外,我們也可以利用散點(diǎn)圖(圖另外,我們也可以利用散點(diǎn)圖(圖4.6)和)和 殘差圖殘差圖(圖(圖4.7),來初步判斷異方差的存在性。),來初步判斷異方差的存在性。010020030005000100001500020000XY圖圖4.6 散點(diǎn)圖散點(diǎn)圖二、戈德菲爾德昆茨檢驗(yàn)二、戈德菲爾德昆茨檢驗(yàn)v戈德菲爾德昆茨(戈德菲爾德昆茨(Goldfeld-Quandt)檢驗(yàn)方法)檢驗(yàn)方法是戈德菲爾德昆茨于是戈德菲爾德昆茨于1965年提出的,

45、所要檢驗(yàn)?zāi)晏岢龅?,所要檢驗(yàn)的問題為的問題為 H0: 具有同方差具有同方差 H1: 具有遞增型異方差具有遞增型異方差iiv其檢驗(yàn)的基本思想是:其檢驗(yàn)的基本思想是: 第一,把原樣本分成兩個(gè)子樣本。具體方法是把第一,把原樣本分成兩個(gè)子樣本。具體方法是把成對(duì)(組)的觀測(cè)值按解釋變量的大小順序排列,成對(duì)(組)的觀測(cè)值按解釋變量的大小順序排列,略去略去m個(gè)處于中心位置的觀測(cè)值(通常個(gè)處于中心位置的觀測(cè)值(通常n 30時(shí),時(shí),取取m n/4 ,余下的,余下的n- m個(gè)觀測(cè)值自然分成容量相個(gè)觀測(cè)值自然分成容量相等等(n- m) / 2的兩個(gè)子樣本)。的兩個(gè)子樣本)。 X1, X2, , Xi-1, Xi, X

46、i+1, , Xn-1, Xn n1 = (n-m) / 2 m = n / 4 n2 = (n-m) / 2 第二,用兩個(gè)子樣本分別估計(jì)回歸直線,并計(jì)算第二,用兩個(gè)子樣本分別估計(jì)回歸直線,并計(jì)算殘差平方和。相對(duì)于殘差平方和。相對(duì)于n2 和和n1 分別用分別用SSE2 和和SSE1表示。表示。 第三,構(gòu)建第三,構(gòu)建F統(tǒng)計(jì)量統(tǒng)計(jì)量 F = = , (k為模型中被估參數(shù)個(gè)數(shù))為模型中被估參數(shù)個(gè)數(shù))v在在H0成立條件下,成立條件下,F(xiàn) ),(12knknF)/()/(1122knSSEknSSE12SSESSE 第四,判別規(guī)則如下,第四,判別規(guī)則如下,v若若 F , 接受接受H0 (ut 具有同方差

47、)具有同方差)若若 F , 拒絕拒絕H0 (遞增型異方差)(遞增型異方差)v這里我們應(yīng)該注意到,當(dāng)摸型含有多個(gè)解釋變量這里我們應(yīng)該注意到,當(dāng)摸型含有多個(gè)解釋變量時(shí),應(yīng)以每一個(gè)解釋變量為基準(zhǔn)檢驗(yàn)異方差。此時(shí),應(yīng)以每一個(gè)解釋變量為基準(zhǔn)檢驗(yàn)異方差。此法的基本思路也適用于遞減型異方差。另外,對(duì)法的基本思路也適用于遞減型異方差。另外,對(duì)于截面樣本,計(jì)算于截面樣本,計(jì)算F統(tǒng)計(jì)量之前,必須先把數(shù)據(jù)統(tǒng)計(jì)量之前,必須先把數(shù)據(jù)按解釋變量的值從小到大排序。按解釋變量的值從小到大排序。),(12knknF),(12knknF三、格萊澤檢驗(yàn)三、格萊澤檢驗(yàn)v格萊澤(格萊澤(Glejser)檢驗(yàn)的基本思想是,檢驗(yàn))檢驗(yàn)的基

48、本思想是,檢驗(yàn) 是否與解釋變量是否與解釋變量Xi存在函數(shù)關(guān)系。若存在函數(shù)關(guān)存在函數(shù)關(guān)系。若存在函數(shù)關(guān)系,則說明存在異方差;若無函數(shù)關(guān)系,則說明系,則說明存在異方差;若無函數(shù)關(guān)系,則說明不存在異方差。通常應(yīng)檢驗(yàn)的幾種形式是不存在異方差。通常應(yīng)檢驗(yàn)的幾種形式是 = a0 + a1 Xi = a0 + a1 /Xi = a0 + a1, .iiiiv格萊澤檢驗(yàn)的特點(diǎn)是不僅能對(duì)異方差的存在進(jìn)行格萊澤檢驗(yàn)的特點(diǎn)是不僅能對(duì)異方差的存在進(jìn)行判斷,而且還能對(duì)異方差隨某個(gè)解釋變量變化的判斷,而且還能對(duì)異方差隨某個(gè)解釋變量變化的函數(shù)形式進(jìn)行診斷。該方法既可檢驗(yàn)遞增型異方函數(shù)形式進(jìn)行診斷。該方法既可檢驗(yàn)遞增型異方差

49、,也可檢驗(yàn)遞減型異方差。應(yīng)該注意,當(dāng)原模差,也可檢驗(yàn)遞減型異方差。應(yīng)該注意,當(dāng)原模型含有多個(gè)解釋變量值時(shí),可以把型含有多個(gè)解釋變量值時(shí),可以把 擬合成多擬合成多變量回歸形式。變量回歸形式。i四、懷特檢驗(yàn)四、懷特檢驗(yàn)v懷特(懷特(White)檢驗(yàn)由)檢驗(yàn)由H. White 1980年提出。年提出。v戈德菲爾德昆茨檢驗(yàn)必須先把數(shù)據(jù)按解釋變量戈德菲爾德昆茨檢驗(yàn)必須先把數(shù)據(jù)按解釋變量的值從小到大排序。的值從小到大排序。v格萊澤檢驗(yàn)通常要試擬合多個(gè)回歸式。格萊澤檢驗(yàn)通常要試擬合多個(gè)回歸式。vWhite檢驗(yàn)不需要對(duì)觀測(cè)值排序,也不依賴于隨檢驗(yàn)不需要對(duì)觀測(cè)值排序,也不依賴于隨機(jī)誤差項(xiàng)服從正態(tài)分布,它是通過一

50、個(gè)輔助回歸機(jī)誤差項(xiàng)服從正態(tài)分布,它是通過一個(gè)輔助回歸式構(gòu)造式構(gòu)造 統(tǒng)計(jì)量進(jìn)行異方差檢驗(yàn)。統(tǒng)計(jì)量進(jìn)行異方差檢驗(yàn)。 2v懷特檢驗(yàn)的具體步驟如下。懷特檢驗(yàn)的具體步驟如下。v以二元回歸模型為例,以二元回歸模型為例, Yi = 0 + 1 X i1+ 2 Xi2 + (4.21) 第一,首先對(duì)上式進(jìn)行第一,首先對(duì)上式進(jìn)行OLS回歸,求殘差回歸,求殘差 。并做如下輔助回歸式,并做如下輔助回歸式, = 0+ 1Xi1+ 2Xi2+ 3Xi12+ 4Xi22+ 5Xi1Xi2 + vi (4.22)v即用即用 對(duì)原回歸式中的各解釋變量、解釋變量的對(duì)原回歸式中的各解釋變量、解釋變量的平方項(xiàng)、交叉積項(xiàng)進(jìn)行平方項(xiàng)、

51、交叉積項(xiàng)進(jìn)行OLS回歸。注意,上式中回歸。注意,上式中要保留常數(shù)項(xiàng)。求輔助回歸要保留常數(shù)項(xiàng)。求輔助回歸 (4.22)式的可決系數(shù)式的可決系數(shù)R2。ii2i2i 第二,懷特檢驗(yàn)的零假設(shè)和備擇假設(shè)是第二,懷特檢驗(yàn)的零假設(shè)和備擇假設(shè)是 H0: (4.21)式中的式中的 不存在異方差,不存在異方差, H1: (4.21)式中的式中的 存在異方差存在異方差 第三,在不存在異方差假設(shè)條件下統(tǒng)計(jì)量第三,在不存在異方差假設(shè)條件下統(tǒng)計(jì)量 nR 2 2(5) (4.23) 其中其中n表示樣本容量,表示樣本容量,R2是輔助回歸是輔助回歸 (4.22) 式的式的OLS估計(jì)式的可決系數(shù)。自由度估計(jì)式的可決系數(shù)。自由度5

52、表示輔助回歸表示輔助回歸(4.22) 式中解釋變量項(xiàng)數(shù)。式中解釋變量項(xiàng)數(shù)。ii 第四,判別規(guī)則是第四,判別規(guī)則是v若若 n R 2 2 (5), 接受接受H0 ( 具有同方差)具有同方差)若若 n R 2 2 (5), 拒絕拒絕H0 ( 具有異方差)具有異方差)v懷特檢驗(yàn)的特點(diǎn)是,不僅能夠檢驗(yàn)異方差的存在,懷特檢驗(yàn)的特點(diǎn)是,不僅能夠檢驗(yàn)異方差的存在,同時(shí)在多變量的情況下,還能夠判斷出是哪一個(gè)同時(shí)在多變量的情況下,還能夠判斷出是哪一個(gè)變量引起的異方差,通常適用于截面數(shù)據(jù)的情形。變量引起的異方差,通常適用于截面數(shù)據(jù)的情形。該方法不需要異方差的先驗(yàn)信息,但要求觀測(cè)值該方法不需要異方差的先驗(yàn)信息,但要

53、求觀測(cè)值為大樣本。為大樣本。ii五、自回歸條件異方差檢驗(yàn)五、自回歸條件異方差檢驗(yàn)v異方差的另一種檢驗(yàn)方法稱作自回歸條件異方差異方差的另一種檢驗(yàn)方法稱作自回歸條件異方差 (auto regressive conditional heteroscedasticity ) 檢檢驗(yàn),簡(jiǎn)稱為驗(yàn),簡(jiǎn)稱為ARCH檢驗(yàn)。這種檢驗(yàn)方法不是把原檢驗(yàn)。這種檢驗(yàn)方法不是把原回歸模型的隨機(jī)誤差項(xiàng)回歸模型的隨機(jī)誤差項(xiàng) i 2 看作是看作是Xi 的函數(shù),而的函數(shù),而是把是把 i 2 看作誤差滯后項(xiàng)看作誤差滯后項(xiàng) , , 的函的函 數(shù)。數(shù)。vARCH是誤差項(xiàng)二階矩的自回歸過程。是誤差項(xiàng)二階矩的自回歸過程。v恩格爾(恩格爾(E

54、ngle 1982)針對(duì))針對(duì)ARCH過程提出過程提出LM檢檢驗(yàn)法。驗(yàn)法。 21i22iv輔助回歸式定義為輔助回歸式定義為 = 0 + 1 + + n , (4.24)vLM統(tǒng)計(jì)量定義為統(tǒng)計(jì)量定義為 ARCH = n R 2 2(m)其中其中R 2是輔助回歸式(是輔助回歸式(4.24)的可決系數(shù)。在)的可決系數(shù)。在H0: 1 = = m = 0 成立條件下,成立條件下,ARCH漸近服漸近服從從 2(m) 分布。分布。2i2tu21i2ni2mtuvARCH檢驗(yàn)的最常用形式是一階自回歸模檢驗(yàn)的最常用形式是一階自回歸模型(型(m = 1),), = 0 + 1 . 在這種情形下,在這種情形下,AR

55、CH漸近服從漸近服從 2(1) 分布。分布。 vARCH檢驗(yàn)的特點(diǎn)是,要求變量的觀測(cè)值檢驗(yàn)的特點(diǎn)是,要求變量的觀測(cè)值是大樣本,并且是時(shí)間序列數(shù)據(jù);它只能是大樣本,并且是時(shí)間序列數(shù)據(jù);它只能判斷模型中是否存在異方差,而不能診斷判斷模型中是否存在異方差,而不能診斷出是哪一個(gè)變量引起的異方差。出是哪一個(gè)變量引起的異方差。2tu21tu4.2.3 廣義最小二乘法及異方差性的廣義最小二乘法及異方差性的克服克服v為了進(jìn)一步從理論上掌握克服異方差的方法,更為了進(jìn)一步從理論上掌握克服異方差的方法,更好的開拓建立計(jì)量經(jīng)濟(jì)模型的思路,這里我們將好的開拓建立計(jì)量經(jīng)濟(jì)模型的思路,這里我們將詳細(xì)的介紹廣義最小二乘法的基

56、本理論和方法,詳細(xì)的介紹廣義最小二乘法的基本理論和方法,然后討論異方差的克服。然后討論異方差的克服。一、廣義最小二乘法一、廣義最小二乘法v設(shè)模型為設(shè)模型為 其中其中 E( )= 0, = E( ) = 2 已知。因?yàn)橐阎?。因?yàn)?I,違反了線性回歸模型的經(jīng)典,違反了線性回歸模型的經(jīng)典假定條件,所以應(yīng)該對(duì)模型進(jìn)行適當(dāng)修正。假定條件,所以應(yīng)該對(duì)模型進(jìn)行適當(dāng)修正。v因?yàn)橐驗(yàn)?是一個(gè)是一個(gè)n階正定矩陣,根據(jù)線性代數(shù)的知階正定矩陣,根據(jù)線性代數(shù)的知識(shí),必存在一個(gè)非退化識(shí),必存在一個(gè)非退化n n 階矩陣階矩陣M使下式成立。使下式成立。 = I n n v從(從(4.27)式得)式得 = -1 XY(4.25

57、)(4.26)(4.27)(Var MMMMv用用M左乘左乘(4.25)式回歸模型兩側(cè)得式回歸模型兩側(cè)得 (4.29) 令令 , , , 那么那么(4.29)式變換為式變換為 (4.30)v根據(jù)(根據(jù)(4.15)式,則)式,則 的協(xié)差陣為的協(xié)差陣為 = = = 2 = 2 I. 變換后模型的變換后模型的 是一個(gè)純量對(duì)角矩陣。是一個(gè)純量對(duì)角矩陣。v對(duì)變換后模型(對(duì)變換后模型(4.30)式進(jìn)行)式進(jìn)行OLS估計(jì),得到的估計(jì),得到的是是 的最佳線性無偏估計(jì)量。的最佳線性無偏估計(jì)量。v這種估計(jì)方法稱作廣義最小二乘法。這種估計(jì)方法稱作廣義最小二乘法。 MMXMYMYY *MXX *M *XY*)(*Va

58、r)(*E)(MMEMM(4.31)(*Varv 的廣義最小二乘估計(jì)量(的廣義最小二乘估計(jì)量(generalized least squares estimator)定義為)定義為 YXXXMYMXMXMXYXXX1111*1*)()()(4.32)v對(duì)線性回歸模型(對(duì)線性回歸模型(4.25)式,滿足條件)式,滿足條件(4.26)式時(shí),式時(shí),廣義最小二乘估計(jì)量廣義最小二乘估計(jì)量 為參數(shù)的最優(yōu)線性無偏估為參數(shù)的最優(yōu)線性無偏估計(jì)量,具體表現(xiàn)為:計(jì)量,具體表現(xiàn)為: 1、線性特性、線性特性v由(由(4.32)式知)式知 *XXXXXXXYXXX111111111*)()()()((4.33)v令令 ,

59、那么,(,那么,(4.33)式為)式為 從而,說明它不僅是從而,說明它不僅是Y的線性組合,也是的線性組合,也是 的線的線 性組合。性組合。 2、無偏性、無偏性v由(由(4.34)式知)式知AA)()()()(*EEEE(4.35) 111*)(XXXAAYA*(4.34)3、最小方差性、最小方差性v首先計(jì)算廣義最小二乘估計(jì)量首先計(jì)算廣義最小二乘估計(jì)量 的協(xié)方差矩陣為的協(xié)方差矩陣為 v假設(shè)假設(shè) 為為 的任何其他線性無偏估計(jì)量,的任何其他線性無偏估計(jì)量,不妨假設(shè)不妨假設(shè) *112*2*)()()()(XXAAAAEEVarYCA)(*c(4.36)v由于由于 為為 的無偏估計(jì)量,即有的無偏估計(jì)量,

60、即有 v這樣只有這樣只有 或或 v那么有那么有 *c*()()() ( )cEEAC XACA XC XC X0XC*0CX*)()()()()()(*2*CACACACAEEVarccc(4.38)(4.39)v在(在(4.39)式中)式中 從而從而v根據(jù)矩陣代數(shù)的知識(shí),任何矩陣與自身轉(zhuǎn)置的乘根據(jù)矩陣代數(shù)的知識(shí),任何矩陣與自身轉(zhuǎn)置的乘積都是半正定矩陣,(積都是半正定矩陣,(4.40)式中的)式中的 為半正定矩陣,其對(duì)角線上的元素必然是非負(fù)的,為半正定矩陣,其對(duì)角線上的元素必然是非負(fù)的,因此得知,廣義最小二乘估計(jì)量因此得知,廣義最小二乘估計(jì)量 為參數(shù)為參數(shù) 的最的最優(yōu)線性無偏估計(jì)量。優(yōu)線性無偏

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論