第多元線性回歸演示文稿

第多元線性回歸演示文稿本文檔共75頁；當(dāng)前第1頁；編輯于星期六\13點33分（優(yōu)選）第多元線性回歸本文檔共75頁；當(dāng)前第2頁；編輯于星期六\13點33分統(tǒng)計應(yīng)用

預(yù)測大學(xué)足球比賽的獲勝得分差額

為檢驗一場大學(xué)足球比賽中“爭球碼數(shù)”、“傳球碼數(shù)”、“回傳次數(shù)”、“控球時間”以及“主場優(yōu)勢”等變量對比賽最后得分的影響，分析人員建立了一個多元回歸模型。該模型的因變量是“比賽獲勝得分的差值”，它等于勝方的最后得分減去負(fù)方的最后得分從高校體育協(xié)會前20名球隊的比賽中隨機(jī)抽取了90場，收集到自變量和因變量的數(shù)據(jù)，并進(jìn)行多元回歸分析，得到的回歸結(jié)果如表預(yù)測變量系數(shù)t值截距3.222.06爭球碼數(shù)差0.1112.50傳球碼數(shù)差0.0910.19回傳次數(shù)差-2.80-5.75控球時間差-0.01-3.94主場優(yōu)勢變量3.041.68因變量：獲勝得分差修正的R2=0.72本文檔共75頁；當(dāng)前第3頁；編輯于星期六\13點33分第11章多元線性回歸11.1

多元線性回歸模型11.2

回歸方程的擬合優(yōu)度11.3顯著性檢驗11.4多重共線性11.5

利用回歸方程進(jìn)行估計和預(yù)測11.6變量選擇與逐步回歸11.7虛擬自變量的回歸11.8非線性回歸本文檔共75頁；當(dāng)前第4頁；編輯于星期六\13點33分學(xué)習(xí)目標(biāo)1. 回歸模型、回歸方程、估計的回歸方程2. 回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗多重共線性問題及其處理利用回歸方程進(jìn)行估計和預(yù)測虛擬自變量的回歸問題非線性回歸用Excel進(jìn)行回歸分析本文檔共75頁；當(dāng)前第5頁；編輯于星期六\13點33分11.1多元線性回歸模型11.1.1多元回歸模型與回歸方程11.1.2估計的多元回歸方程11.1.3參數(shù)的最小二乘估計本文檔共75頁；當(dāng)前第6頁；編輯于星期六\13點33分多元回歸模型與回歸方程本文檔共75頁；當(dāng)前第7頁；編輯于星期六\13點33分多元回歸模型

(multipleregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項

的方程，稱為多元回歸模型涉及k個自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項的隨機(jī)變量

y是x1,，x2

，，xk

的線性函數(shù)加上誤差項

包含在y里面但不能被k個自變量的線性關(guān)系所解釋的變異性本文檔共75頁；當(dāng)前第8頁；編輯于星期六\13點33分多元回歸模型

(基本假定)誤差項ε是一個期望值為0的隨機(jī)變量，即E()=0對于自變量x1，x2，…，xk的所有值，的方差2都相同誤差項ε是一個服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立本文檔共75頁；當(dāng)前第9頁；編輯于星期六\13點33分多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xk

b1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動一個單位時，y的平均變動值本文檔共75頁；當(dāng)前第10頁；編輯于星期六\13點33分二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}本文檔共75頁；當(dāng)前第11頁；編輯于星期六\13點33分估計的多元回歸方程本文檔共75頁；當(dāng)前第12頁；編輯于星期六\13點33分估計的多元回的方程

(estimatedmultipleregressionequation)是估計值是y

的估計值用樣本統(tǒng)計量估計回歸方程中的參數(shù)

時得到的方程由最小二乘法求得一般形式為本文檔共75頁；當(dāng)前第13頁；編輯于星期六\13點33分參數(shù)的最小二乘估計本文檔共75頁；當(dāng)前第14頁；編輯于星期六\13點33分參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得

。即本文檔共75頁；當(dāng)前第15頁；編輯于星期六\13點33分參數(shù)的最小二乘法

(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計應(yīng)收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義用Excel進(jìn)行回歸本文檔共75頁；當(dāng)前第16頁；編輯于星期六\13點33分11.2回歸方程的擬合優(yōu)度11.2.1多重判定系數(shù)11.2.2估計標(biāo)準(zhǔn)誤差本文檔共75頁；當(dāng)前第17頁；編輯于星期六\13點33分多重判定系數(shù)本文檔共75頁；當(dāng)前第18頁；編輯于星期六\13點33分多重判定系數(shù)

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例本文檔共75頁；當(dāng)前第19頁；編輯于星期六\13點33分修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本量n和自變量的個數(shù)k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第20頁；編輯于星期六\13點33分估計標(biāo)準(zhǔn)誤差Sy對誤差項的標(biāo)準(zhǔn)差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第21頁；編輯于星期六\13點33分11.3顯著性檢驗11.3.1線性關(guān)系檢驗11.3.2回歸系數(shù)檢驗和推斷本文檔共75頁；當(dāng)前第22頁；編輯于星期六\13點33分線性關(guān)系檢驗本文檔共75頁；當(dāng)前第23頁；編輯于星期六\13點33分線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系本文檔共75頁；當(dāng)前第24頁；編輯于星期六\13點33分線性關(guān)系檢驗提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第25頁；編輯于星期六\13點33分回歸系數(shù)檢驗和推斷本文檔共75頁；當(dāng)前第26頁；編輯于星期六\13點33分回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗究竟要對哪幾個回歸系數(shù)進(jìn)行檢驗，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗的個數(shù)進(jìn)行限制，以避免犯過多的第Ⅰ類錯誤(棄真錯誤)對每一個自變量都要單獨(dú)進(jìn)行檢驗應(yīng)用t檢驗統(tǒng)計量本文檔共75頁；當(dāng)前第27頁；編輯于星期六\13點33分回歸系數(shù)的檢驗

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不拒絕H0

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第28頁；編輯于星期六\13點33分回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在1-置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第29頁；編輯于星期六\13點33分11.4多重共線性11.4.1多重共線性及其所產(chǎn)生的問題11.4.2多重共線性的判別11.4.3多重共線性問題的處理本文檔共75頁；當(dāng)前第30頁；編輯于星期六\13點33分多重共線性及其產(chǎn)生的問題本文檔共75頁；當(dāng)前第31頁；編輯于星期六\13點33分多重共線性

(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有可能會使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤究赡軐?shù)估計值的正負(fù)號產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號有可能同預(yù)期的正負(fù)號相反

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第32頁；編輯于星期六\13點33分多重共線性的識別本文檔共75頁；當(dāng)前第33頁；編輯于星期六\13點33分多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進(jìn)行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)當(dāng)模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著回歸系數(shù)的正負(fù)號與預(yù)期的相反

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第34頁；編輯于星期六\13點33分多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性貸款余額、應(yīng)收貸款、貸款項目、固定資產(chǎn)投資額之間的相關(guān)矩陣本文檔共75頁；當(dāng)前第35頁；編輯于星期六\13點33分多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性相關(guān)系數(shù)的檢驗統(tǒng)計量本文檔共75頁；當(dāng)前第36頁；編輯于星期六\13點33分多重共線性

(例題分析)

t(25-2)=2.069，所有統(tǒng)計量t>t(25-2)=2.069，所以均拒絕原假設(shè)，說明這4個自變量兩兩之間都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F＝1.03539E-06<=0.05)。而回歸系數(shù)檢驗時卻有3個沒有通過t檢驗(P-Value=0.074935，0.862853，0.067030>=0.05)。這也暗示了模型中存在多重共線性固定資產(chǎn)投資額的回歸系數(shù)為負(fù)號(-0.029193)，與預(yù)期的不一致本文檔共75頁；當(dāng)前第37頁；編輯于星期六\13點33分多重共線性問題的處理本文檔共75頁；當(dāng)前第38頁；編輯于星期六\13點33分多重共線性

(問題的處理)將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計量對單個參數(shù)進(jìn)行檢驗對因變量值的推斷(估計或預(yù)測)限定在自變量樣本值的范圍內(nèi)

Excel輸出結(jié)果的分析本文檔共75頁；當(dāng)前第39頁；編輯于星期六\13點33分提示在建立多元線性回歸模型時，不要試圖引入更多的自變量，除非確實有必要在社會科學(xué)的研究中，由于所使用的大多數(shù)數(shù)據(jù)都是非試驗性質(zhì)的，因此，在某些情況下，得到的結(jié)果往往并不令人滿意，但這不一定是選擇的模型不合適，而是數(shù)據(jù)的質(zhì)量不好，或者是由于引入的自變量不合適本文檔共75頁；當(dāng)前第40頁；編輯于星期六\13點33分11.5利用回歸方程進(jìn)行估計和預(yù)測軟件應(yīng)用本文檔共75頁；當(dāng)前第41頁；編輯于星期六\13點33分置信區(qū)間估計

(例題分析)STATISTICA輸出的不良貸款的置信區(qū)間本文檔共75頁；當(dāng)前第42頁；編輯于星期六\13點33分預(yù)測區(qū)間估計

(例題分析)STATISTICA輸出的不良貸款的預(yù)測區(qū)間本文檔共75頁；當(dāng)前第43頁；編輯于星期六\13點33分11.6變量選擇與逐步回歸11.6.1變量選擇過程11.6.2向前選擇11.6.3向后剔除11.6.4逐步回歸本文檔共75頁；當(dāng)前第44頁；編輯于星期六\13點33分變量選擇過程在建立回歸模型時，對自變量進(jìn)行篩選選擇自變量的原則是對統(tǒng)計量進(jìn)行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標(biāo)準(zhǔn)，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等本文檔共75頁；當(dāng)前第45頁；編輯于星期六\13點33分向前選擇

(forwardselection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量，并將其首先引入模型分別擬合引入模型外的k-1個自變量的線性回歸模型如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計顯著性為止本文檔共75頁；當(dāng)前第46頁；編輯于星期六\13點33分向后剔除

(backwardelimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察個再去掉一個自變量的模型(這些模型中每一個都有k-2個的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止本文檔共75頁；當(dāng)前第47頁；編輯于星期六\13點33分逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻(xiàn)變得不顯著，這個變量就會被剔除按照以上方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中本文檔共75頁；當(dāng)前第48頁；編輯于星期六\13點33分逐步回歸

(例題分析—SPSS輸出結(jié)果)VariableEntered/Removeda

model

VariableEnteredVariableRemovedmethod1各項貸款余額x1

Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.

2固定資產(chǎn)投資額x4

Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.

aDependentvariable:不良貸款y本文檔共75頁；當(dāng)前第49頁；編輯于星期六\13點33分逐步回歸

(例題分析—SPSS輸出結(jié)果)Modelsummary

model

RR-SquareAdjustedR-Square

Std.ErroroftheEstimate

1.844a.712.6991.97992.872b.761.7391.8428aPredictors:(Constant),各項貸款余額x1bPredictors:(Constant),各項貸款余額x1,固定資產(chǎn)投資額x4本文檔共75頁；當(dāng)前第50頁；編輯于星期六\13點33分逐步回歸

(例題分析—SPSS輸出結(jié)果)

ANOVAc

modelSumofSquaresdfMeanSquareFSig.1RegressResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2RegressResidualTotal237.94174.709312.65022224118.9713.39635.034.000baPredictors:(Constant),各項貸款余額x1bPredictors:(Constant),各項貸款余額x1,固定資產(chǎn)投資額x4cDependentvariable:不良貸款y本文檔共75頁；當(dāng)前第51頁；編輯于星期六\13點33分逐步回歸

(例題分析—SPSS輸出結(jié)果)ModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)

貸款余額x1-.830.038.723.0050844-1.1477.534.263.0002(Constant)

貸款余額x1

固定資產(chǎn)投資x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044aDependentvariable:不良貸款yCoefficientsa本文檔共75頁；當(dāng)前第52頁；編輯于星期六\13點33分11.7虛擬自變量的回歸11.7.1含有一個虛擬自變量的回歸11.7.2用虛擬自變量回歸解決方差分析問題本文檔共75頁；當(dāng)前第53頁；編輯于星期六\13點33分含有一個虛擬自變量的回歸本文檔共75頁；當(dāng)前第54頁；編輯于星期六\13點33分虛擬自變量

(dummyvariable)用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個水平的虛擬自變量比如，性別(男，女)有兩個以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)虛擬變量的取值為0，1本文檔共75頁；當(dāng)前第55頁；編輯于星期六\13點33分虛擬自變量的回歸回歸模型中使用虛擬自變量時，稱為虛擬自變量的回歸當(dāng)虛擬自變量只有兩個水平時，可在回歸中引入一個虛擬變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸模型中引進(jìn)k-1個虛擬變量本文檔共75頁；當(dāng)前第56頁；編輯于星期六\13點33分虛擬自變量的回歸

(例題分析)【例】為了研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機(jī)抽取男女學(xué)生各8名，得到他們的市場營銷學(xué)課程的考試成績?nèi)缬冶肀疚臋n共75頁；當(dāng)前第57頁；編輯于星期六\13點33分虛擬自變量的回歸

(考試成績與性別的散點圖)男女本文檔共75頁；當(dāng)前第58頁；編輯于星期六\13點33分虛擬自變量的回歸

(成績與性別的Mean/SD/1.96*SD箱線圖)

y與x的回歸本文檔共75頁；當(dāng)前第59頁；編輯于星期六\13點33分虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學(xué)生考試成績的期望值女(x=1)：E(y)=0+1—1女學(xué)生考試成績的期望值注意：當(dāng)指定虛擬變量0，1時0總是代表與虛擬變量值0所對應(yīng)的那個分類變量水平的平均值1總是代表與虛擬變量值1所對應(yīng)的那個分類變量水平的平均響應(yīng)與虛擬變量值0所對應(yīng)的那個分類變量水平的平均值的差值，即平均值的差值

=(0+1)-0=1本文檔共75頁；當(dāng)前第60頁；編輯于星期六\13點33分虛擬自變量的回歸

(例題分析)【例】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機(jī)抽取10名職工，所得數(shù)據(jù)如右表

y與x1的回歸及分析

y與x1，

x2的回歸及分析本文檔共75頁；當(dāng)前第61頁；編輯于星期六\13點33分虛擬自變量的回歸

(例題分析)引進(jìn)虛擬變量時，回歸方程寫為

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10表示：女性職工的期望月工資收入(0+2)表示：男性職工的期望月工資收入1表示：工作年限每增加1年，男性或女性工資的平均增加值2表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值(0+2)-0=2本文檔共75頁；當(dāng)前第62頁；編輯于星期六\13點33分用虛擬自變量回歸

解決方差分析問題本文檔共75頁；當(dāng)前第63頁；編輯于星期六\13點33分方差分析的回歸方法

(例題分析)引進(jìn)虛擬變量建立回歸方程：E(Y)=0+1x1+2x2+3x3用Excel進(jìn)行回歸0—家電制造業(yè)投訴次數(shù)的平均值

(0+1)—零售業(yè)投訴次數(shù)的平均值

(0+2)—旅游業(yè)投訴次數(shù)的平均值

(0+3)—航空公司投訴次數(shù)的平均值

本文檔共75頁；當(dāng)前第64頁；編輯于星期六\13點33分11.8非線性回歸11.8.1雙曲線11.8.2冪函數(shù)曲線11.8.3對數(shù)曲線本文檔共75頁；當(dāng)前第65頁；編輯于星期六\13點33分非線性回歸1. 因變量y與