第三章 回歸分析new

1、第三章第三章 回歸分析回歸分析1 1 一元線形回歸分析一元線形回歸分析2 2 多元線形回歸分析多元線形回歸分析3 3 非線性回歸分析非線性回歸分析一、建立模型一、建立模型 一元線性回歸模型：一元線性回歸模型： 01iiiybb x其中，其中， 0b1b是未知參數(shù)，是未知參數(shù)， i為剩余殘差項為剩余殘差項或稱隨機擾動項?；蚍Q隨機擾動項。 ，一元線形回歸一元線形回歸 用用最小二乘法最小二乘法進(jìn)行參數(shù)的估計時，要求進(jìn)行參數(shù)的估計時，要求i滿足一定的假設(shè)條件：滿足一定的假設(shè)條件： 是一個隨機變量；是一個隨機變量；i的均值為零，即的均值為零，即 i0iE在每一個時期中，在每一個時期中， i的方差為常量，

2、即的方差為常量，即 2iD各個各個 相互獨立；相互獨立； i與自變量無關(guān)。與自變量無關(guān)。 i 二、估計參數(shù)二、估計參數(shù) Karl GaussKarl Gauss的最小化圖的最小化圖用最小二乘法進(jìn)行參數(shù)估計用最小二乘法進(jìn)行參數(shù)估計 ，得到的估計表，得到的估計表達(dá)式為：達(dá)式為：12xxyybxx01byb x 三、進(jìn)行檢驗三、進(jìn)行檢驗標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差：估計值與因變量值間的平均平方：估計值與因變量值間的平均平方誤差。誤差。其計算公式為：其計算公式為： 22yySEn可決系數(shù)可決系數(shù)衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示自變量解釋了因變量變動的百分比。自變

3、量解釋了因變量變動的百分比。其計算公式為：其計算公式為： 2222221xxyyyyRyyxxyy 可見，可決系數(shù)取值于可見，可決系數(shù)取值于0 0與與1 1之間，并取決之間，并取決于回歸模型所解釋的方差的百分比。于回歸模型所解釋的方差的百分比。相關(guān)系數(shù)相關(guān)系數(shù) 其計算公式為：其計算公式為： 22xxyyrxxyy 由公式可見，可決系數(shù)是相關(guān)系數(shù)的平方。由公式可見，可決系數(shù)是相關(guān)系數(shù)的平方。相關(guān)系數(shù)越接近相關(guān)系數(shù)越接近+1+1或或-1-1，因變量與自變量的擬，因變量與自變量的擬合程度就越好。合程度就越好。相關(guān)系數(shù)的性質(zhì)(取值及其意義的圖解) 相關(guān)系數(shù)測定變量之間的密切程度，可決相關(guān)系數(shù)測定變量之

4、間的密切程度，可決系數(shù)測定自變量對因變量的解釋程度。相關(guān)系系數(shù)測定自變量對因變量的解釋程度。相關(guān)系數(shù)有正負(fù)，可決系數(shù)只有正號。數(shù)有正負(fù)，可決系數(shù)只有正號。 正相關(guān)系數(shù)意味著因變量與自變量以相同正相關(guān)系數(shù)意味著因變量與自變量以相同的方向增減。的方向增減。 如果直線從左至右上升，則相關(guān)系數(shù)為正；如果直線從左至右上升，則相關(guān)系數(shù)為正； 如果直線從左至右下降，則相關(guān)系數(shù)為負(fù)。如果直線從左至右下降，則相關(guān)系數(shù)為負(fù)。 相關(guān)系數(shù)與可決系數(shù)的主要區(qū)別：相關(guān)系數(shù)與可決系數(shù)的主要區(qū)別：回歸系數(shù)顯著性檢驗回歸系數(shù)顯著性檢驗檢驗假設(shè)：檢驗假設(shè)： 01:0Hb 11:0Hb 其中其中2bSESxx檢驗規(guī)則：檢驗規(guī)則：給

5、定顯著性水平給定顯著性水平 ，若，若tt則回歸系數(shù)顯著。則回歸系數(shù)顯著。 檢驗統(tǒng)計量：檢驗統(tǒng)計量： 12bbtt nS 回歸模型的顯著性檢驗回歸模型的顯著性檢驗 檢驗假設(shè)：檢驗假設(shè)： 0:H回歸方程不顯著回歸方程不顯著 1:H回歸方程顯著回歸方程顯著 檢驗統(tǒng)計量：檢驗統(tǒng)計量： 222yyFyyn1,2Fn檢驗規(guī)則：檢驗規(guī)則：給定顯著性水平給定顯著性水平 ，若，若 1,2FFn則回歸方程顯著。則回歸方程顯著。 德賓德賓沃森統(tǒng)計量（沃森統(tǒng)計量（D DW W） 檢驗檢驗 iu之間是否存在自相關(guān)關(guān)系。之間是否存在自相關(guān)關(guān)系。 21221niiiniiDW其中，其中，iiiyy查查 D-W D-W 表獲

6、得表獲得 dudu和和dldl值并與上面求得值比較。值并與上面求得值比較。D DW W的取值域在的取值域在0404之間。之間。統(tǒng)計量：統(tǒng)計量： 檢驗法則：檢驗法則：在在D DW W 小于等于小于等于2 2時，時， D DW W 檢驗法則規(guī)定：檢驗法則規(guī)定：如如LD Wd, ,認(rèn)為認(rèn)為iu存在正自相關(guān)存在正自相關(guān); ;如如UD Wd, ,認(rèn)為認(rèn)為iu無自相關(guān)無自相關(guān); ;在在D DW W 大于大于2 2時時, , D DW W 檢驗法則規(guī)定檢驗法則規(guī)定: :如如4LD Wd, ,認(rèn)為認(rèn)為iu存在負(fù)自相關(guān)存在負(fù)自相關(guān); ;如如4UD Wd, ,認(rèn)為認(rèn)為iu無自相關(guān)無自相關(guān); ;如如4LUdD Wd

7、 , ,不能確定不能確定iu是否有自相關(guān)。是否有自相關(guān)。 四、進(jìn)行預(yù)測四、進(jìn)行預(yù)測小樣本情況下小樣本情況下, ,置信區(qū)間的常用公式：置信區(qū)間的常用公式： 置信區(qū)間置信區(qū)間= = ytSE預(yù)測區(qū)間預(yù)測區(qū)間= = 2201)()(1xxxxSEtyn2 2 多元線性回歸多元線性回歸 社會經(jīng)濟現(xiàn)象的變化往往受到多個因素社會經(jīng)濟現(xiàn)象的變化往往受到多個因素的影響，因此，一般要進(jìn)行多元變量相關(guān)性的影響，因此，一般要進(jìn)行多元變量相關(guān)性分析，我們把包括兩個或兩個以上自變量的分析，我們把包括兩個或兩個以上自變量的回歸稱為多元回歸?；貧w稱為多元回歸。1.1. 多元回歸與一元回歸類似，可以用最小二乘多元回歸與一元回

8、歸類似，可以用最小二乘法估計模型參數(shù)。也需對模型及模型參數(shù)進(jìn)法估計模型參數(shù)。也需對模型及模型參數(shù)進(jìn)行統(tǒng)計檢驗。行統(tǒng)計檢驗。2.2. 選擇合適的自變量是正確進(jìn)行多元回歸預(yù)測選擇合適的自變量是正確進(jìn)行多元回歸預(yù)測的前提之一，多元回歸模型自變量的選擇可的前提之一，多元回歸模型自變量的選擇可以利用變量之間的相關(guān)矩陣來解決。以利用變量之間的相關(guān)矩陣來解決。 一、建立模型（二元變量為例一、建立模型（二元變量為例 ）二元線性回歸模型：二元線性回歸模型：01 122iiybb xb x類似使用最小二乘法進(jìn)行參數(shù)估計。類似使用最小二乘法進(jìn)行參數(shù)估計。 二、擬合優(yōu)度指標(biāo)二、擬合優(yōu)度指標(biāo) 標(biāo)準(zhǔn)誤差：標(biāo)準(zhǔn)誤差：對對

9、y y 值與模型估計值之間的值與模型估計值之間的離差的一種度量。離差的一種度量。 其計算公式為：其計算公式為： 23yySEn可決系數(shù)：可決系數(shù)： 2221yyRyy 20R 21R 意味著回歸模型沒有對意味著回歸模型沒有對 y y 的變差做的變差做出任何解釋；出任何解釋； 意味著回歸模型對意味著回歸模型對 y y 的全部變差做的全部變差做出解釋。出解釋。 三、三、 置信范圍置信范圍置信區(qū)間的公式為：置信區(qū)間的公式為： 置信區(qū)間置信區(qū)間= = pyt SE統(tǒng)計量數(shù)值表統(tǒng)計量數(shù)值表t其中其中 是自由度為是自由度為 的的ptn kn是觀察值的個數(shù)，是觀察值的個數(shù)， k在內(nèi)的變量的個數(shù)在內(nèi)的變量的個

10、數(shù). . 中數(shù)值，中數(shù)值，是包括因變量是包括因變量四、自相關(guān)和多重共線性問題四、自相關(guān)和多重共線性問題自相關(guān)檢驗自相關(guān)檢驗 ：21221niiiniiDW其中其中 ，iiiyy多重共線性檢驗：多重共線性檢驗： 由于各個自變量所提供的是各個不同因素由于各個自變量所提供的是各個不同因素的信息，因此假定各自變量同其他自變量之間的信息，因此假定各自變量同其他自變量之間是無關(guān)的。但是實際上兩個自變量之間可能存是無關(guān)的。但是實際上兩個自變量之間可能存在相關(guān)關(guān)系，這種關(guān)系會導(dǎo)致建立錯誤的回歸在相關(guān)關(guān)系，這種關(guān)系會導(dǎo)致建立錯誤的回歸模型以及得出使人誤解的結(jié)論。為了避免這個模型以及得出使人誤解的結(jié)論。為了避免這

11、個問題，有必要對自變量之間的相關(guān)與否進(jìn)行檢問題，有必要對自變量之間的相關(guān)與否進(jìn)行檢驗。驗。 任何兩個自變量之間的任何兩個自變量之間的相關(guān)系數(shù)相關(guān)系數(shù)為：為： 22xxyyrxxyy經(jīng)驗法則認(rèn)為相關(guān)系數(shù)的絕對值小于經(jīng)驗法則認(rèn)為相關(guān)系數(shù)的絕對值小于0.750.75，或者，或者0.5,0.5,這兩個自變量之間不存在多重共線性問題。這兩個自變量之間不存在多重共線性問題。若某兩個自變量之間高度相關(guān)，就有必要把其中的若某兩個自變量之間高度相關(guān)，就有必要把其中的一個自變量從模型中刪去。一個自變量從模型中刪去。3 3 非線性回歸法非線性回歸法 在社會現(xiàn)實經(jīng)濟生活中，很多現(xiàn)象之間在社會現(xiàn)實經(jīng)濟生活中，很多現(xiàn)象之

12、間的關(guān)系并不是線性關(guān)系，對這種類型現(xiàn)象的的關(guān)系并不是線性關(guān)系，對這種類型現(xiàn)象的分析預(yù)測一般要應(yīng)用非線性回歸預(yù)測，通過分析預(yù)測一般要應(yīng)用非線性回歸預(yù)測，通過變量代換，可以將很多的非線性回歸轉(zhuǎn)化為變量代換，可以將很多的非線性回歸轉(zhuǎn)化為線性回歸。因而，可以用線性回歸方法解決線性回歸。因而，可以用線性回歸方法解決非線性回歸預(yù)測問題。非線性回歸預(yù)測問題。 一、配曲線問題一、配曲線問題選配曲線通常分為以下選配曲線通常分為以下兩個步驟：兩個步驟：確定變量間函數(shù)的類型確定變量間函數(shù)的類型 變量間函數(shù)關(guān)系的類型有的可根據(jù)理論或過變量間函數(shù)關(guān)系的類型有的可根據(jù)理論或過去積累的經(jīng)驗事前予以確定；去積累的經(jīng)驗事前予以

13、確定； 不能根據(jù)理論或過去積累的經(jīng)驗確定時，根不能根據(jù)理論或過去積累的經(jīng)驗確定時，根 據(jù)實際資料作散點圖，從其分布形狀選擇適當(dāng)據(jù)實際資料作散點圖，從其分布形狀選擇適當(dāng)?shù)那€來配合。的曲線來配合。確定相關(guān)函數(shù)中的未知參數(shù)確定相關(guān)函數(shù)中的未知參數(shù) 最小二乘法是確定未知參數(shù)最常用的方法。最小二乘法是確定未知參數(shù)最常用的方法。二、一些常見的函數(shù)圖形二、一些常見的函數(shù)圖形 選擇合適的曲線類型不是一件輕而易選擇合適的曲線類型不是一件輕而易舉的工作，主要依靠專業(yè)知識和經(jīng)驗，也舉的工作，主要依靠專業(yè)知識和經(jīng)驗，也可以通過計算剩余均方差來確定?？梢酝ㄟ^計算剩余均方差來確定。 拋物線函數(shù)拋物線函數(shù)2yabxcx對

14、數(shù)函數(shù)對數(shù)函數(shù)lgyabxS S型函數(shù)型函數(shù)1xyabe常見的函數(shù)常見的函數(shù)冪函數(shù)冪函數(shù)指數(shù)函數(shù)指數(shù)函數(shù)byaxbxyae雙曲線雙曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法令：令：y y = 1/ = 1/y y，x x = 1/= 1/x x, , 則有則有y y = = + + x x 3.3. 圖像圖像冪函數(shù)曲線冪函數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法兩端取對數(shù)得：兩端取對數(shù)得：lg lg y y = lg= lg + + lglg x x令：令：y y = lg = lgy y，x x = lg = lg x x，則，則y y = =

15、 lglg + + x x3.3.圖像圖像對數(shù)曲線對數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法x x = ln= lnx x , , 則有則有y y = = + + x x3.3. 圖像圖像指數(shù)曲線指數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法兩端取對數(shù)得：兩端取對數(shù)得：lnlny y = ln= ln + + x x令：令：y y = ln = lny y，則有，則有y y = = lnln + + x x3.3.圖像圖像S S 型曲線型曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法 令：令：y y = 1/ = 1/y y，x x = e= e- -x x,