多元線性回歸分析詳解演示文稿

1、優(yōu)選多元線性回歸分析詳解演示文稿第一頁(yè)，共七十三頁(yè)。優(yōu)選多元線性回歸分析第二頁(yè)，共七十三頁(yè)。學(xué)習(xí)目標(biāo)1.回歸模型、回歸方程、估計(jì)的回歸方程2.回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗(yàn)多重共線性問(wèn)題及其處理利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)虛擬自變量的回歸問(wèn)題非線性回歸第三頁(yè)，共七十三頁(yè)。1 多元線性回歸模型1.1 多元回歸模型與回歸方程1.2 估計(jì)的多元回歸方程1.3 參數(shù)的最小二乘估計(jì)第四頁(yè)，共七十三頁(yè)。多元回歸模型與回歸方程第五頁(yè)，共七十三頁(yè)。多元回歸模型 (multiple regression model)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ，

2、 xk 和誤差項(xiàng) 的方程，稱為多元回歸模型涉及 k 個(gè)自變量的多元回歸模型可表示為 b0 ，b1，b2 ，bk是參數(shù) 是被稱為誤差項(xiàng)的隨機(jī)變量 y 是x1,，x2 ， ，xk 的線性函數(shù)加上誤差項(xiàng) 包含在y里面但不能被k個(gè)自變量的線性關(guān)系 所解釋的變異性第六頁(yè)，共七十三頁(yè)。多元回歸模型(基本假定) 誤差項(xiàng)是一個(gè)期望值為0的隨機(jī)變量，即E()=0對(duì)于自變量x1，x2，xk的所有值，的方差 2都相同誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，即N(0,2)，且相互獨(dú)立第七頁(yè)，共七十三頁(yè)。多元回歸方程 (multiple regression equation)描述因變量 y 的平均值或期望值如何依賴于自變

3、量 x1， x2 ，xk的方程多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + k xk b1，b2，bk稱為偏回歸系數(shù) bi 表示假定其他變量不變，當(dāng) xi 每變動(dòng)一個(gè)單位時(shí)，y 的平均變動(dòng)值第八頁(yè)，共七十三頁(yè)。二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)第九頁(yè)，共七十三頁(yè)。估計(jì)的多元回歸方程第十頁(yè)，共七十三頁(yè)。估計(jì)的多元回的方程(estimated multiple regression equation) 是 估計(jì)值 是 y 的估計(jì)值用樣本統(tǒng)計(jì)量 估計(jì)回歸方程中的 參數(shù) 時(shí)得到的方程由最小二乘法求得一般形式為第十一頁(yè)，

4、共七十三頁(yè)。參數(shù)的最小二乘估計(jì)第十二頁(yè)，共七十三頁(yè)。參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得 。即第十三頁(yè)，共七十三頁(yè)。參數(shù)的最小二乘法(上機(jī)作業(yè))【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義解：由 Excel 給出的多元回歸結(jié)果見(jiàn)下表. 得不良貸款(y) 與貸款余額 (x1)、累計(jì)應(yīng)收貸款 (x2)、貸款項(xiàng)目個(gè)數(shù)(x3) 和固定資產(chǎn)投

5、資額 (x4) 的線性回歸方程如下第十四頁(yè)，共七十三頁(yè)。某商業(yè)銀行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)第十五頁(yè)，共七十三頁(yè)。用Excel進(jìn)行回歸分析的步驟第十六頁(yè)，共七十三頁(yè)。Excel輸出的回歸分析結(jié)果第十七頁(yè)，共七十三頁(yè)。2 回歸方程的擬合優(yōu)度2.1 多重判定系數(shù)2.2 估計(jì)標(biāo)準(zhǔn)誤差第十八頁(yè)，共七十三頁(yè)。多重判定系數(shù)第十九頁(yè)，共七十三頁(yè)。多重判定系數(shù)(multiple coefficient of determination) 回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例 第二十頁(yè)，共七十三頁(yè)。修正多重判定系數(shù)(adjusted multiple coef

6、ficient of determination) 用樣本量n和自變量的個(gè)數(shù)k去修正R2得到 計(jì)算公式為避免增加自變量而高估 R2意義與 R2類似數(shù)值小于R2第二十一頁(yè)，共七十三頁(yè)。估計(jì)標(biāo)準(zhǔn)誤差 Sy對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差 的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為第二十二頁(yè)，共七十三頁(yè)。3 顯著性檢驗(yàn)3.1 線性關(guān)系檢驗(yàn)3.2 回歸系數(shù)檢驗(yàn)和推斷第二十三頁(yè)，共七十三頁(yè)。線性關(guān)系檢驗(yàn)第二十四頁(yè)，共七十三頁(yè)。線性關(guān)系檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用 F 檢驗(yàn)來(lái)分析二者之間的差別是否顯著如果是顯

7、著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系第二十五頁(yè)，共七十三頁(yè)。線性關(guān)系檢驗(yàn)提出假設(shè)H0：12k=0 線性關(guān)系不顯著H1：1，2， k至少有一個(gè)不等于02. 計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F 4. 作出決策：若FF ，拒絕H0第二十六頁(yè)，共七十三頁(yè)?；貧w系數(shù)檢驗(yàn)和推斷第二十七頁(yè)，共七十三頁(yè)?；貧w系數(shù)的檢驗(yàn)線性關(guān)系檢驗(yàn)通過(guò)后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過(guò)多的第類錯(cuò)誤(棄真錯(cuò)誤) 對(duì)每一個(gè)自變量都要單

8、獨(dú)進(jìn)行檢驗(yàn)應(yīng)用 t 檢驗(yàn)統(tǒng)計(jì)量第二十八頁(yè)，共七十三頁(yè)?；貧w系數(shù)的檢驗(yàn)(步驟)提出假設(shè)H0： bi = 0 (自變量 xi 與 因變量 y 沒(méi)有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量 t 確定顯著性水平，并進(jìn)行決策 tt，拒絕H0； tt(25-2)=2.069，所以均拒絕原假設(shè)，說(shuō)明這4個(gè)自變量?jī)蓛芍g都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F1.03539E-06=0.05) 。這也暗示了模型中存在多重共線性固定資產(chǎn)投資額的回歸系數(shù)為負(fù)號(hào)(-0.029193) ，與預(yù)期的不一致第三十

9、八頁(yè)，共七十三頁(yè)。多重共線性問(wèn)題的處理第三十九頁(yè)，共七十三頁(yè)。多重共線性(問(wèn)題的處理)將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù) t 統(tǒng)計(jì)量對(duì)單個(gè)參數(shù)進(jìn)行檢驗(yàn)對(duì)因變量值的推斷(估計(jì)或預(yù)測(cè))限定在自變量樣本值的范圍內(nèi)第四十頁(yè)，共七十三頁(yè)。提示在建立多元線性回歸模型時(shí)，不要試圖引入更多的自變量，除非確實(shí)有必要在社會(huì)科學(xué)的研究中，由于所使用的大多數(shù)數(shù)據(jù)都是非試驗(yàn)性質(zhì)的，因此，在某些情況下，得到的結(jié)果往往并不令人滿意，但這不一定是選擇的模型不合適，而是數(shù)據(jù)的質(zhì)量不好，或者是由于引入的自變量不合適 第四十一頁(yè)，共七十三頁(yè)。5 利用回歸方程

10、進(jìn)行估計(jì)和預(yù)測(cè)軟件應(yīng)用第四十二頁(yè)，共七十三頁(yè)。置信區(qū)間估計(jì)(例題分析)STATISTICA輸出的不良貸款的置信區(qū)間第四十三頁(yè)，共七十三頁(yè)。預(yù)測(cè)區(qū)間估計(jì)(例題分析)STATISTICA輸出的不良貸款的預(yù)測(cè)區(qū)間第四十四頁(yè)，共七十三頁(yè)。6 變量選擇與逐步回歸6.1 變量選擇過(guò)程6.2 向前選擇6.3 向后剔除6.4 逐步回歸第四十五頁(yè)，共七十三頁(yè)。變量選擇過(guò)程在建立回歸模型時(shí)，對(duì)自變量進(jìn)行篩選選擇自變量的原則是對(duì)統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)將一個(gè)或一個(gè)以上的自變量引入到回歸模型中時(shí)，是否使得殘差平方和(SSE)有顯著減少。如果增加一個(gè)自變量使SSE的減少是顯著的，則說(shuō)明有必要將這個(gè)自變量引入回歸模型，否則，

11、就沒(méi)有必要將這個(gè)自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計(jì)量的值作為一個(gè)標(biāo)準(zhǔn)，以此來(lái)確定是在模型中增加一個(gè)自變量，還是從模型中剔除一個(gè)自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等 第四十六頁(yè)，共七十三頁(yè)。向前選擇 (forward selection)從模型中沒(méi)有自變量開(kāi)始對(duì)k個(gè)自變量分別擬合對(duì)因變量的一元線性回歸模型，共有k個(gè)，然后找出F統(tǒng)計(jì)量的值最高的模型及其自變量，并將其首先引入模型 分別擬合引入模型外的k-1個(gè)自變量的線性回歸模型 如此反復(fù)進(jìn)行，直至模型外的自變量均無(wú)統(tǒng)計(jì)顯著性為止第四十七頁(yè)，共七十三頁(yè)。向后剔除 (backwa

12、rd elimination)先對(duì)因變量擬合包括所有k個(gè)自變量的回歸模型。然后考察p(pk)個(gè)去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有k-1個(gè)自變量)，使模型的SSE值減小最少的自變量被挑選出來(lái)并從模型中剔除考察個(gè)再去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有k-2個(gè)的自變量)，使模型的SSE值減小最少的自變量被挑選出來(lái)并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個(gè)自變量不會(huì)使SSE顯著減小為止第四十八頁(yè)，共七十三頁(yè)。逐步回歸 (stepwise regression)將向前選擇和向后剔除兩種方法結(jié)合起來(lái)篩選自變量在增加了一個(gè)自變量后，它會(huì)對(duì)模型中所有的變量進(jìn)行考察，看看有

13、沒(méi)有可能剔除某個(gè)自變量。如果在增加了一個(gè)自變量后，前面增加的某個(gè)自變量對(duì)模型的貢獻(xiàn)變得不顯著，這個(gè)變量就會(huì)被剔除按照以上方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中第四十九頁(yè)，共七十三頁(yè)。逐步回歸 (例題分析SPSS輸出結(jié)果)Variable Entered/Removed a model Variable EnteredVariable Removedmethod1各項(xiàng)貸款余額x1 Stepwise(Criteria:Probabil

14、ity-of-F-to-enter=.050,Probability-of-F-to-remove=.100. 2固定資產(chǎn)投資額x4 Stepwise(Criteria:Probability-of-F-to-enter=.050,Probability-of-F-to-remove=.100. a Dependent variable:不良貸款y第五十頁(yè)，共七十三頁(yè)。逐步回歸 (例題分析SPSS輸出結(jié)果)Model summary model RR-SquareAdjusted R-Square Std.Error of the Estimate 1.844a.712.6991.97992.

15、872b.761.7391.8428a Predictors:(Constant),各項(xiàng)貸款余額x1b Predictors:(Constant),各項(xiàng)貸款余額x1,固定資產(chǎn)投資額x4第五十一頁(yè)，共七十三頁(yè)。逐步回歸 (例題分析SPSS輸出結(jié)果) ANOVA c modelSum of SquaresdfMean SquareFSig.1 Regress ResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2 Regress Residual Total237.94174.709312.65022224118.9713.39

16、635.034.000ba Predictors:(Constant),各項(xiàng)貸款余額x1b Predictors:(Constant),各項(xiàng)貸款余額x1,固定資產(chǎn)投資額x4c Dependent variable:不良貸款y第五十二頁(yè)，共七十三頁(yè)。逐步回歸 (例題分析SPSS輸出結(jié)果)ModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1 (Constant) 貸款余額x1 -.830.038.723.0050844-1.1477.534.263.0002 (Constant) 貸款余額x1 固

17、定資產(chǎn)投資x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044a Dependent variable:不良貸款yCoefficients a第五十三頁(yè)，共七十三頁(yè)。7 虛擬自變量的回歸7.1 含有一個(gè)虛擬自變量的回歸7.2 用虛擬自變量回歸解決方差分析問(wèn)題第五十四頁(yè)，共七十三頁(yè)。含有一個(gè)虛擬自變量的回歸第五十五頁(yè)，共七十三頁(yè)。虛擬自變量(dummy variable)用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個(gè)水平的虛擬自變量比如，性別(男，女) 有兩個(gè)以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥

18、，其他) 虛擬變量的取值為0，1第五十六頁(yè)，共七十三頁(yè)。虛擬自變量的回歸回歸模型中使用虛擬自變量時(shí)，稱為虛擬自變量的回歸當(dāng)虛擬自變量只有兩個(gè)水平時(shí)，可在回歸中引入一個(gè)虛擬變量比如，性別(男，女) 一般而言，如果定性自變量有k個(gè)水平，需要在回歸模型中引進(jìn)k-1個(gè)虛擬變量第五十七頁(yè)，共七十三頁(yè)。虛擬自變量的回歸(例題分析)【例】為了研究考試成績(jī)與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機(jī)抽取男女學(xué)生各8名，得到他們的市場(chǎng)營(yíng)銷學(xué)課程的考試成績(jī)?nèi)缬冶?第五十八頁(yè)，共七十三頁(yè)。虛擬自變量的回歸(考試成績(jī)與性別的散點(diǎn)圖)男 女第五十九頁(yè)，共七十三頁(yè)。虛擬自變量的回歸(成績(jī)與性別的Mean/SD/1.96*SD箱線

19、圖) y與x的回歸第六十頁(yè)，共七十三頁(yè)。虛擬自變量的回歸 (例題分析)引進(jìn)虛擬變量時(shí)，回歸方程表示為E(y) =0+ 1x男( x=0)：E(y) =0男學(xué)生考試成績(jī)的期望值女(x=1)：E(y) =0+ 11女學(xué)生考試成績(jī)的期望值注意：當(dāng)指定虛擬變量0，1時(shí)0總是代表與虛擬變量值0所對(duì)應(yīng)的那個(gè)分類變量水平的平均值1總是代表與虛擬變量值1所對(duì)應(yīng)的那個(gè)分類變量水平的平均響應(yīng)與虛擬變量值0所對(duì)應(yīng)的那個(gè)分類變量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1第六十一頁(yè)，共七十三頁(yè)。虛擬自變量的回歸(例題分析)【例】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機(jī)抽取10名職

20、工，所得數(shù)據(jù)如右表 y與x1的回歸及分析 y與x1， x2的回歸及分析第六十二頁(yè)，共七十三頁(yè)。虛擬自變量的回歸 (例題分析)引進(jìn)虛擬變量時(shí)，回歸方程寫為 E(y) =0+ 1x1+ 2x2女( x2=0)：E(y|女性) =0 +1x1男(x2=1)：E(y|男性) =(0 + 2 ) +1x10表示：女性職工的期望月工資收入 (0+ 2)表示：男性職工的期望月工資收入 1表示：工作年限每增加1年，男性或女性工資的平均增加值 2表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值 (0+ 2) - 0= 2第六十三頁(yè)，共七十三頁(yè)。用虛擬自變量回歸解決方差分析問(wèn)題第六十四頁(yè)，共七十三頁(yè)。方差分析的回歸方法 (例題分析)引進(jìn)虛擬變量建立回歸方程：E(Y)=0+ 1x1+ 2x2+3x30家電制造業(yè)投訴次數(shù)的平均值 (0+ 1)零售業(yè)投訴次數(shù)的平均值 (0+ 2)旅