第3章 線性回歸問(wèn)題與非線性回歸分析ppt課件

1、 假設(shè)某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性,那么稱為多重共線性(Multicollinearity)。ikikiiiXXXY22110對(duì)于模型多重共線性在實(shí)踐的多元線性回歸分析尤其是涉及經(jīng)濟(jì)變里的模型中很常見(jiàn)。即在決議一個(gè)因變量的多個(gè)自變量中，有部分自變量呈高度相關(guān)，也就是說(shuō)，這些變量被用來(lái)解釋因變量時(shí)導(dǎo)致所提供的信息出現(xiàn)“重疊。例如、模型中假設(shè)有多個(gè)自變量有共同的上升趨勢(shì)，它們之間很能夠有高度的相關(guān)關(guān)系導(dǎo)致共線性。 3樣本資料的限制 由于完全符合實(shí)際模型所要求的樣本數(shù)據(jù)較難搜集，特定樣本能夠存在某種程度的多重共線性普通閱歷：010,10100,100kkk沒(méi)有多重共線性存在較強(qiáng)的多重共線性，

2、存在嚴(yán)重的多重共線性 條件指數(shù)condition index可以用來(lái)判別多重共線性能否存在以及多重共線性的嚴(yán)重程度，通常以為：,0,1,2,miikip例例3.1 3.1 根據(jù)例根據(jù)例2.12.1計(jì)算特征值及條件指數(shù)計(jì)算特征值及條件指數(shù)多重共線性檢驗(yàn)多重共線性檢驗(yàn)SPSSSPSSC Co ol ll li in ne ea ar ri it ty y D Di ia ag gn no os st ti ic cs sa a4.7971.000.00.00.00.00.00.1755.240.00.00.13.00.00.02713.250.01.00.61.00.01.00188.903.08

3、.26.01.08.81.000162.804.92.74.25.92.18Dimension12345Model1EigenvalueConditionIndex(Constant)MOBPMGPOPGNPVariance ProportionsDependent Variable: QMGa. 翻開(kāi)Linear Regression: Statistics子對(duì)話框，選擇Collinearity diagnostics(共線性診斷)，單擊Continue前往主對(duì)話框并單擊OK按鈕。這樣SPSS 便可輸出一切檢查多重共線性的目的。 與特征根法比較，方差擴(kuò)展因子法可以較準(zhǔn)確地闡明哪些變量與其他變

4、量有嚴(yán)重的共線性，嚴(yán)重程度如何CoefficientsCoefficientsa a2E+0073E+007.979.3351.419.2672.4845.315.000.005218.079-3E+0075027085-.415-5.569.000.1805.548-59.875198.552-.071-.302.765.01855.074-30540.99557.981-1.099-3.195.003.008118.205(Constant)MOBPMGPOPGNPModel1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoef

5、ficientstSig.ToleranceVIFCollinearity StatisticsDependent Variable: QMGa. 例2.1 刪去POP，再進(jìn)展回歸 普通講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多。中國(guó)中國(guó)GDPGDP與居民消費(fèi)與居民消費(fèi)C C的總量與增量數(shù)據(jù)的總量與增量數(shù)據(jù)YearGDPCONSCONS/GDPGDPCONSCONS / GDP1980NA2976NANANANA1981490133090.675168NA333NA1982548936380.662785883290.5595241983607640210.6617845873830.

6、652471984716446940.65522110886730.618566198587925773 0.65662162810790.66277619861013365420.64561313417690.57345319871178474510.63229816519090.55057519881470493600.636561292019090.653767198916466105560.641079176211960.678774199018320113620.62019718548060.434736199121280131460.617763296017840.60270319

7、9225864159520.616765458428060.612129199334501201820.584969863742300.489753199447111272160.5776991261070340.557811201959405345290.5812471229473130.594843201968498401720.58647909356430.620587 即對(duì)于不同的樣本點(diǎn)，隨機(jī)誤差項(xiàng)的方差不即對(duì)于不同的樣本點(diǎn)，隨機(jī)誤差項(xiàng)的方差不再是常數(shù)，那么以為出現(xiàn)了異方差性。再是常數(shù)，那么以為出現(xiàn)了異方差性。2222110)()(iiiikikiiiVarVarXXXY如果出現(xiàn)同方差

8、假設(shè)為對(duì)于模型2222var)iiE（ ）（22var()iiiE（ ）23普通以為，假設(shè)回歸方程滿足所給出的根本假設(shè)，一切殘差應(yīng)該在e0的附近隨機(jī)變化，并在變化不大的一條帶子內(nèi)。圖a中的殘差都落在變化不大的一條帶子內(nèi)，也就可以闡明回歸模型滿足根本假設(shè)。當(dāng)回歸模型滿足一切假定時(shí)，殘差圖上的散點(diǎn)應(yīng)該是隨機(jī)的，無(wú)任何規(guī)律。假設(shè)回歸模型存在異方差時(shí)，殘差圖上的散點(diǎn)呈現(xiàn)出相應(yīng)的趨勢(shì)。當(dāng)然，假設(shè)存在異方差，也能夠隨著x的添加而減少。圖b的情況闡明，殘差圖上的散點(diǎn)隨著x的添加而添加。從殘差圖可以看出，誤差項(xiàng)具有明顯的異方差性，誤差隨著自變量的添加而添加-12,000,000-8,000,000-4,000

9、,00004,000,0008,000,00012,000,0001,0002,0003,0004,000GNPRESID 該結(jié)果F 統(tǒng)計(jì)量和 Obs*R2 統(tǒng)計(jì)量的P值均很小，闡明回絕原假設(shè)，即殘差存在異方差性。 加權(quán)最小二乘法是對(duì)原模型加權(quán)，使之加權(quán)最小二乘法是對(duì)原模型加權(quán)，使之變成一個(gè)新的不存在異方差性的模型，然變成一個(gè)新的不存在異方差性的模型，然后采用普通最小二乘法估計(jì)其參數(shù)。后采用普通最小二乘法估計(jì)其參數(shù)。 例如，在遞增異方差下，對(duì)來(lái)自較小例如，在遞增異方差下，對(duì)來(lái)自較小Xi的子樣本，其真實(shí)的總體方差較小，的子樣本，其真實(shí)的總體方差較小，Yi與與回歸線擬合值之間的殘差回歸線擬合值之間

10、的殘差ei的信度較大，的信度較大，應(yīng)予以注重應(yīng)予以注重; 而對(duì)較大而對(duì)較大Xi的子樣本，由于的子樣本，由于真實(shí)總體的方差較大，殘差反映的信息應(yīng)真實(shí)總體的方差較大，殘差反映的信息應(yīng)打折扣。打折扣。 加權(quán)最小二乘法就是對(duì)加了權(quán)重的殘差平方和實(shí)施加權(quán)最小二乘法就是對(duì)加了權(quán)重的殘差平方和實(shí)施OLS法：法： 對(duì)較小的殘差平方對(duì)較小的殘差平方ei2賦予較大的權(quán)數(shù)，賦予較大的權(quán)數(shù)， 對(duì)較大的殘差平方對(duì)較大的殘差平方ei2賦予較小的權(quán)數(shù)。賦予較小的權(quán)數(shù)。21102)(kkiiiiXXYWeW 嘗試一些m值，如m= -2, -1.5, -1, -0.5, 0, 0.5, 1, 1.5, 2等，建立不同的模型，然

11、后選擇其中表現(xiàn)最好的模型。 例3.4 承接例2.1和例3.3 ls qmg c mob pmg gnpgenr w=gnp-1.5 或series 點(diǎn)擊options 選加權(quán)最小二乘法，然后再進(jìn)展Harvey檢驗(yàn)。 結(jié)果各統(tǒng)計(jì)量在0.05顯著性程度下都無(wú)法回絕原假設(shè)，闡明異方差問(wèn)題得到較好的處理。mkikxwxf函數(shù)作試探性的研究。的，實(shí)踐中常用下面的的具體形式往往是未知由于)(/1尋覓最優(yōu)權(quán)函數(shù)利用SPSS軟件可以確定6.6式冪指數(shù)m的最優(yōu)取值。對(duì)例6.3的數(shù)據(jù)，依次點(diǎn)選Analyze-Regression-Weight Estimation進(jìn)入估計(jì)權(quán)函數(shù)對(duì)話框，默許的冪指數(shù)m的取值為m=-

12、2.0，-1.5，-1.0，-0.5，0，0.5，1.0，1.5，2.0，這一默許值可以更改。先將因變量y與自變量x選入各自的變量框，再把x選入Weight變量框，冪指數(shù)Power取默許值，計(jì)算結(jié)果如下格式略有變動(dòng)：對(duì)異方差問(wèn)題的處置至今沒(méi)有什么更好的方法，對(duì)異方差問(wèn)題的處置至今沒(méi)有什么更好的方法，一些方法的處置效果往往不甚明顯，所以此例能一些方法的處置效果往往不甚明顯，所以此例能有所改良也就不錯(cuò)了。有所改良也就不錯(cuò)了。3.1.3 自相關(guān)性即即: :0),(jiuuE 大多數(shù)經(jīng)濟(jì)時(shí)間數(shù)據(jù)都有一個(gè)明顯的特點(diǎn)大多數(shù)經(jīng)濟(jì)時(shí)間數(shù)據(jù)都有一個(gè)明顯的特點(diǎn): :慣性，慣性，表如今時(shí)間序列不同時(shí)間的前后關(guān)聯(lián)上。

13、表如今時(shí)間序列不同時(shí)間的前后關(guān)聯(lián)上。 如如GDPGDP、價(jià)錢、就業(yè)等經(jīng)濟(jì)目的都會(huì)隨經(jīng)濟(jì)系、價(jià)錢、就業(yè)等經(jīng)濟(jì)目的都會(huì)隨經(jīng)濟(jì)系統(tǒng)的周期而動(dòng)搖。例如，在經(jīng)濟(jì)高漲時(shí)期，較高的統(tǒng)的周期而動(dòng)搖。例如，在經(jīng)濟(jì)高漲時(shí)期，較高的經(jīng)濟(jì)增長(zhǎng)率會(huì)繼續(xù)一段時(shí)間，而在經(jīng)濟(jì)衰退期，較經(jīng)濟(jì)增長(zhǎng)率會(huì)繼續(xù)一段時(shí)間，而在經(jīng)濟(jì)衰退期，較高的失業(yè)率也會(huì)繼續(xù)一段時(shí)間，這種景象就會(huì)表現(xiàn)高的失業(yè)率也會(huì)繼續(xù)一段時(shí)間，這種景象就會(huì)表現(xiàn)為經(jīng)濟(jì)目的的自相關(guān)景象。為經(jīng)濟(jì)目的的自相關(guān)景象。2.2.經(jīng)濟(jì)活動(dòng)的滯后效應(yīng)經(jīng)濟(jì)活動(dòng)的滯后效應(yīng) 所謂模型設(shè)定偏誤所謂模型設(shè)定偏誤Specification errorSpecification error是是指所設(shè)定

14、的模型指所設(shè)定的模型“不正確。主要表如今模型中丟不正確。主要表如今模型中丟掉了重要的解釋變量或模型函數(shù)方式有偏誤。掉了重要的解釋變量或模型函數(shù)方式有偏誤。 例如，本來(lái)應(yīng)該估計(jì)的模型為例如，本來(lái)應(yīng)該估計(jì)的模型為 Yt= Yt=0+0+1X1t+ 1X1t+ 2X2t + 2X2t + 3X3t + 3X3t + t t但在模型設(shè)定中做了下述回歸：但在模型設(shè)定中做了下述回歸： Yt= Yt=0+0+1X1t+ 1X1t+ 1X2t + vt1X2t + vt因此，因此， vt=3X3t + t，假設(shè)，假設(shè)X3確實(shí)影響確實(shí)影響Y，那么出現(xiàn)序列相關(guān)。那么出現(xiàn)序列相關(guān)。 隨機(jī)誤差項(xiàng)的一階自回歸方式為：隨

15、機(jī)誤差項(xiàng)的一階自回歸方式為：為了檢驗(yàn)序列的相關(guān)性，構(gòu)造的原假設(shè)是：為了檢驗(yàn)序列的相關(guān)性，構(gòu)造的原假設(shè)是：為了檢驗(yàn)上述假設(shè)，構(gòu)造為了檢驗(yàn)上述假設(shè)，構(gòu)造DW統(tǒng)計(jì)量首先要求出統(tǒng)計(jì)量首先要求出回歸估計(jì)式的殘差回歸估計(jì)式的殘差 定義定義DW統(tǒng)計(jì)量為統(tǒng)計(jì)量為 ：2-1=22=1(-)DW =ntttntteee-1=+tttuuv0H :0te無(wú)一階自相關(guān)無(wú)一階自相關(guān)22-1-1=2=2=22=1+-2DW=nnnttt ttttntteeeee222-1=2=2=1nnntttttteee（由）-1=22=12 1-2 1ntttntteee （ ） -1=22=1ntttntteee（由）由由 可得可

16、得DW DW 值與值與 的對(duì)應(yīng)關(guān)系如表所示。的對(duì)應(yīng)關(guān)系如表所示。 4(2, 4)2(0, 2)0-1(-1, 0)0(0, 1)1DWDW2(1)誤差項(xiàng)的相關(guān)性完全負(fù)自相關(guān)負(fù)自相關(guān)無(wú)自相關(guān)正自相關(guān)完全正自相關(guān)由上述討論可知由上述討論可知DW的取值范圍為：的取值范圍為： 0DW根據(jù)樣本容量根據(jù)樣本容量 和解釋變量的數(shù)目和解釋變量的數(shù)目 (不包括常不包括常數(shù)項(xiàng)數(shù)項(xiàng))查查DW分布表，得臨界值分布表，得臨界值 和和 ，然后依，然后依以下準(zhǔn)那么調(diào)查計(jì)算得到的以下準(zhǔn)那么調(diào)查計(jì)算得到的DW值，以決議模型值，以決議模型的自相關(guān)形狀。的自相關(guān)形狀。LdUdnkDW檢驗(yàn)決策規(guī)那么檢驗(yàn)決策規(guī)那么誤差項(xiàng)誤差項(xiàng) 間存在

17、間存在負(fù)相關(guān)負(fù)相關(guān)不能斷定能否有自相關(guān)不能斷定能否有自相關(guān)誤差項(xiàng)誤差項(xiàng) 間間無(wú)自相關(guān)無(wú)自相關(guān)不能斷定能否有自相關(guān)不能斷定能否有自相關(guān)誤差項(xiàng)誤差項(xiàng) 間存在間存在正相關(guān)正相關(guān)0DWLdDWLUddDW 4-UUdd4-DW 4-ULdd4-DW 4Ld 1,2,.,nu uu1,2,.,nu uu1,2,.,nu uu用坐標(biāo)圖更直觀表示用坐標(biāo)圖更直觀表示DW檢驗(yàn)規(guī)那么：檢驗(yàn)規(guī)那么：42LdUd4Ud4Ld(DW)fDW0 拉格朗日乘數(shù)檢驗(yàn)拉格朗日乘數(shù)檢驗(yàn)LMLM檢驗(yàn)檢驗(yàn)) )抑制了抑制了DWDW檢驗(yàn)的缺陷，檢驗(yàn)的缺陷，適宜于高階序列相關(guān)以及模型中存在滯后被解釋變量適宜于高階序列相關(guān)以及模型中存在滯

18、后被解釋變量的情形。的情形。假設(shè)疑心隨機(jī)擾動(dòng)項(xiàng)存在假設(shè)疑心隨機(jī)擾動(dòng)項(xiàng)存在p p階序列相關(guān)：階序列相關(guān)： tptpttt2211提出原假設(shè)為：提出原假設(shè)為： H0: H0: 1=1=2=2=p =0 p =0 無(wú)自相關(guān)無(wú)自相關(guān) 根據(jù)觀丈量根據(jù)觀丈量nR2的的P值可以做出判別，實(shí)踐檢驗(yàn)中，值可以做出判別，實(shí)踐檢驗(yàn)中，可從可從1階、階、2階、階、逐次向更高階檢驗(yàn)。逐次向更高階檢驗(yàn)。 無(wú)妨設(shè)含有高階擾動(dòng)項(xiàng)和滯后項(xiàng)的方程方式為：無(wú)妨設(shè)含有高階擾動(dòng)項(xiàng)和滯后項(xiàng)的方程方式為：tptptktkttXXY11110WD.211或：2線性化涉及參數(shù)eLAKY eLAKY2903003103203303403503,0004,0005,0006,0007,0008,0009,000XYxbay/xxxbay/1eLAKY LAKY LAKY eLAKYLAKY 1LAKY 1LAKY 1模型簡(jiǎn)化為：LKALY 是人均產(chǎn)量， 是人均資本投入LYLKLAKY 1LAKY 1)log(224248. 0693887. 0)log(LKLY7758. 02242. 04996. 0LKY t、c均為上上標(biāo)均為上上標(biāo) 例：設(shè)消費(fèi)函數(shù)為非線性方式：例：設(shè)消費(fèi)函數(shù)為非線性方式： 其其 中：中：cst 是實(shí)踐居民消費(fèi)，是實(shí)踐居民消費(fèi)，inct 是實(shí)踐可支配收入。利用