多元回歸分析-課件

多元回歸分析

MultipleLinearRegressionAnalysis1ppt課件一元線性回歸模型復習一個自變量X與一個因變量Y作散點圖模型形式Y=β0+β1X+ε回歸直線模型的F檢驗，T檢驗，（P值相同，作用等價）R2決定系數(shù)---》相關系數(shù)2ppt課件房屋售價房價Y，受面積X1影響，還有影響因素嗎？受地域x2（市中心與否），結構x3影響（高層與磚混）3ppt課件汽車銷售若公司管理人員要預測來年該公司的汽車銷售額y時，影響銷售額的因素---廣告宣傳費x1還有個人可支配收入x2,價格x34ppt課件研究地區(qū)經(jīng)濟增長GDP，受勞動力投入人數(shù)x1影響!還有：資本要素Ｘ２，科技水平Ｘ３的影響

5ppt課件多元回歸應用例:財政收入y為因變量。自變量如下：x1工業(yè)總產(chǎn)值，x2農(nóng)業(yè)總產(chǎn)值，x3建筑業(yè)總產(chǎn)值，x4人口數(shù)，x5社會商品零售總額。例：股票價格Y，自變量為每股收益X1，每股帳面價值X2。例：失業(yè)的時間長度Y（月），自變量有學歷x1,年齡x2，工齡X3.6ppt課件多元回歸模型

(multipleregressionmodel)描述因變量y依賴于自變量x1

，x2

，…，

xk

和誤差項

的方程，稱為多元回歸模型

β0，β1，β2

，，βk是參數(shù)

是被稱為誤差項的隨機變量包含在y里面但不能被k個自變量的線性關系所解釋的變異性7ppt課件地區(qū)GDP就業(yè)人員（萬人）投資(億元)

北京3663.10858.62169.26

天津2447.66419.71039.39

河北7098.563389.52477.98

山西2456.591469.51100.86

內(nèi)蒙古2150.411005.21174.66

遼寧6002.541861.32076.36

吉林2522.621044.6969.03

黑龍江4430.001622.41166.18多元回歸樣本數(shù)據(jù)8ppt課件多元回歸模型模型矩陣表示9ppt課件多元回歸模型基本假定誤差項ε是一個期望值為0的隨機變量，即E()=0對于自變量x1，x2，…，xk的所有值，的方差2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,2)，且相互獨立10ppt課件多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xk描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程偏回歸系數(shù)βi表示假定其他變量不變，當xi每變動一個單位時，y的平均變動值11ppt課件YX1X2SlopeforvariableX1SlopeforvariableX2多元回歸方程幾何意義

MultipleRegressionEquation12ppt課件最小二乘估計

最小SSE:13ppt課件14ppt課件YX1X2YiYi<x2ix1i

Thebestfitequation,Y,isfoundbyminimizingthesumofsquarederrors,e2<樣本觀測回歸殘差示意圖Residual=εi=(Yi–Yi)<15ppt課件普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解

其中16ppt課件于是得到關于待估參數(shù)估計值的正規(guī)方程組：

17ppt課件正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

18ppt課件多元回歸方程模型系數(shù)由樣本數(shù)據(jù)估計得到估計值Estimated(orpredicted)valueofY斜率Estimatedslopecoefficients截距Estimatedintercept用Excel計算得到回歸系數(shù)19ppt課件餡餅Pie銷售量sale，受價格price的影響。還受廣告費Advertising

的影響20ppt課件餡餅銷售Sales=β0+β1(Price) +β2(Advertising)星期銷售價格廣告費WeekPieSalesPrice($)Advertising($100s)13505.503.324607.503.333508.003.044308.004.553506.803.063807.504.074304.503.084706.403.794507.003.5104905.004.0113407.203.5123007.903.2134405.904.0144505.003.5153007.002.7Multipleregressionequation:21ppt課件多元回歸結果RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVA

dfSSMSFSignificanceFRegression229460.02714730.0136.538610.01201Residual1227033.3062252.776Total1456493.333

CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.7088822ppt課件多元回歸方程b1=-24.975:

表明每周銷售量將減少，價格增加１美元，銷售量平均減少24.975個，（假設廣告的效果不變）b2=74.131:

表明銷售量增加，廣告費增加１００美元，銷售平均增加74.131個／周,（假設價格不變）23ppt課件用模型預測預測價格為$5.50，廣告費為$350:預測銷量為428.62pies注意：單位百元，$350意味X2=3.524ppt課件回歸模型的統(tǒng)計檢驗模型的Ｆ檢驗系數(shù)的Ｔ檢驗擬合度檢驗－－決定系數(shù)25ppt課件誤差平方和的分解SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{越小越好越大越好反映自變量xi的變化對因變量y取值變化的影響，假設不變反映除xi以外的其他因素對y取值的影響26ppt課件多重判定系數(shù)-可決系數(shù)-擬合優(yōu)度

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被多元回歸方程所解釋的比例27ppt課件RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVA

dfSSMSFSignificanceFRegression229460.02714730.036.538610.01201Residual1227033.3062252.776Total1456493.333

CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888銷量變化的52.1%，由價格和廣告因素解釋決定系數(shù)28ppt課件隨著自變量個數(shù)的不斷增加，會使得R2不斷增加，因此在作擬合優(yōu)度檢驗的判定時，一般采用調(diào)整的R2，以消除自變量的個數(shù)以及樣本量的大小對R2的影響。29ppt課件修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

為避免增加自變量而高估R2，需要用樣本量n和自變量的個數(shù)k去修正R2得到計算公式為意義與R2類似，數(shù)值小于R2目的是懲罰過多使用不重要的自變量。用于比較多個模型30ppt課件RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVA

dfSSMSFSignificanceFRegression229460.02714730.0136.538610.01201Residual1227033.3062252.776Total1456493.333

CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888銷量變化的44.2%由價格和廣告解釋。Adjustedr231ppt課件回歸方程顯著性F檢驗提出假設H0：12k=0線性關系不顯著H1：1，2，k至少有一個不等于02.

計算檢驗統(tǒng)計量F分子自由度k、分母自由度n-k-1得出統(tǒng)計量F，得到檢驗Ｐ值4.作出決策：確定顯著性水平和Ｐ比較，P<拒絕H0利用F統(tǒng)計量進行總體線性顯著性檢驗32ppt課件RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVA

dfSSMSFSignificanceFRegression229460.02714730.016.53860.01201Residual1227033.3062252.776Total1456493.333

CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.019957.58835555.46404Price-24.9750910.83213-2.305650.039-48.576-1.3739Advertising74.1309625.967322.854780.014917.553130.70888總體線性顯著性Ｆ檢驗

FTestforOverallSignificanceP-valuefortheFTest33ppt課件H0:β1=β2=0H1:β1

和β2

不全為０

=.05df1=2df2=12檢驗統(tǒng)計量Ｆ:判定:結論:因為Ｆ統(tǒng)計量在拒絕域

(p-value<.05),拒絕H0結果說明至少有一個自變量影響Ｙ0

=.05F.05=3.885拒絕H0不能拒絕H0臨界值:F=3.885F檢驗意義F34ppt課件Ｆ檢驗的Ｐ值計算F檢驗臨界值35ppt課件單個自變量回歸系數(shù)的Ｔ檢驗提出假設H0：bi=0(自變量xi

與

因變量y沒有線性關系)H1：bi

0(自變量xi

與

因變量y有線性關系)計算檢驗的統(tǒng)計量t

確定顯著性水平，并進行決策，<P拒絕H0.36ppt課件RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVA

dfSSMSFSignificanceFRegression229460.02714730.016.538610.01201Residual1227033.3062252.776Total1456493.333

CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888價格t=-2.306,p-value.03979廣告費t=2.855,p-value.01449單個變量顯著性檢驗37ppt課件d.f.=15-2-1=12=.05t/2=2.1788InferencesabouttheSlope:

t

TestExampleH0:βi=0H1:βi

0檢驗統(tǒng)計量在拒絕域(p-values<.05)有證據(jù)說明價格和廣告影響銷售量Excel結果:對每個變量拒絕H0

CoefficientsStandardErrortStatP-valuePrice-24.9750910.83213-2.305650.039Advertising74.1309625.967322.854780.0149判定:結論:拒絕H0拒絕H0a/2=.025-tα/2接受H00tα/2a/2=.025-2.17882.178838ppt課件Ｔ檢驗的Ｐ值Ｔ檢驗的臨界值39ppt課件回歸系數(shù)的檢驗線性關系F檢驗通過后，再對模型中各個回歸系數(shù)進行檢驗對每一個自變量都要單獨進行檢驗應用t檢驗統(tǒng)計量.如果一次t檢驗后,模型中存在多個不重要變量,一般是將t值最小的變量刪除掉,再重新進行檢驗,每次只剔除1個變量.40ppt課件多元回歸注意事項１、樣本容量一般要大于５倍變量個數(shù),最好n≥5(k+2),一般最少樣本n≥3(k+1)或n>3041ppt課件多元回歸模型系數(shù)計算一、EXCEL軟件計算：將輸入的X1，x2，x3，…，xk，排列在一起，再輸入Y的觀察值。在“工具”欄“數(shù)據(jù)分析”中選“回歸”在數(shù)據(jù)區(qū)中選X時多個變量一起選中，Y的區(qū)域。得到回歸系數(shù)值與檢驗值42ppt課件43ppt課件44ppt課件EXCEL多元回歸系數(shù)檢驗分行編號不良貸款

(億元）Y各項貸款余額

（億元）x1本年累計應收貸款

（億元）x2貸款項目個數(shù)

（個）x3本年固定資產(chǎn)投資額

（億元）x410.967.36.8551.921.1111.319.81690.934.8173.07.71773.743.280.87.21014.557.8199.716.51963.262.716.22.212.271.6107.410.71720.2812.5185.427.11843.891.096.11.71055.9102.672.89.11464.3110.364.22.11142.7124.0132.211.22376.7130.858.66.01422.8143.5174.612.726117.11510.2263.515.634146.7163.079.38.91529.9170.214.80.6242.1180.473.55.91125.3191.024.75.0413.4206.8139.47.22864.32111.6368.216.832163.9221.695.73.81044.5231.2109.610.31467.9247.2196.215.81639.7253.2102.212.01097.145ppt課件46ppt課件

Coefficients標準誤差tStatP-valueIntercept-1.0216397630.782372-1.305820.206434各項貸款余額

（億元）x10.0400393530.0104343.8374950.001028本年累計應收貸款

（億元）x20.1480338910.0787941.8787380.074935貸款項目個數(shù)

（個）x30.0145293530.0830330.1749830.862853本年固定資產(chǎn)投資額

（億元）x4-0.0291928660.015073-1.936770.0670347ppt課件逐步回歸法在多元線性回歸中，最難的是如何選擇自變量的問題，如果自變量選的太少，則自變量對Y的決定系數(shù)太小，導致過大的偏差，如果把與Y有關的自變量都選入是不可能的。多個自變量間的相關會給回歸方程的實際解釋上造成麻煩，即多重共線性的影響。最優(yōu)方程：要求進入回歸方程的自變量都是顯著的，未進入回歸方程的自變量都是不顯著的。48ppt課件變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標準，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等49ppt課件向前選擇

(forwardselection)對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量，并將其首先引入模型分別擬合引入模型外的k-1個自變量的線性回歸模型如此反復進行，直至模型外的自變量均無統(tǒng)計顯著性為止50ppt課件向后剔除

(backwardelimination)先對因變量包括所有k個自變量的回歸模型。然后去掉一個自變量，這個自變量是使模型的SSE值減小最少的自變量，被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止51ppt課件逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照以上方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中52ppt課件*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

53ppt課件Eviews的估計結果顯示：中國居民消費二元例中：

AIC=6.68SC=6.83

中國居民消費一元例中：

AIC=7.09SC=7.19從這點看，可以說前期人均居民消費CONSP(-1)應包括在模型中。

54ppt課件含有虛擬自變量的回歸55ppt課件虛擬自變量

(dummyvariable)用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個水平的虛擬自變量比如，性別(男，女)有兩個以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)虛擬變量的取值為0，156ppt課件虛擬自變量的回歸回歸模型中使用虛擬自變量時，稱為虛擬自變量的回歸當虛擬自變量只有兩個水平時，可在回歸中引入一個虛擬變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸模型中引進k-1個虛擬變量57ppt課件虛擬自變量的回歸【例】為了研究考試成績與性別之間的關系，從某大學商學院隨機抽取男女學生各8名，得到他們的市場營銷學課程的考試成績?nèi)缬冶?8ppt課件虛擬自變量的回歸

(考試成績與性別的散點圖)男女59ppt課件虛擬自變量的回歸引進虛擬變量時，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學生考試成績的期望值女(x=1)：E(y)=0+1—1女學生考試成績的期望值注意：當指定虛擬變量0，1時0總是代表與虛擬變量值0所對應的那個分類變量水平的平均值1總是代表與虛擬變量值1所對應的那個分類變量水平的平均響應與虛擬變量值0所對應的那個分類變量水平的平均值的差值，即平均值的差值

=(0+1)-0=160ppt課件虛擬自變量的回歸

(例題分析)【例】為研究工資水平與工作年限和性別之間的關系，在某行業(yè)中隨機抽取10名職工，所得數(shù)據(jù)如右表

y與x1的回歸及分析y與x1，

x2的回歸及分析61ppt課件虛擬自變量的回歸引進虛擬變量時，回歸方程寫為

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10表示：女性職工的期望月工資收入(0+2)表示：男性職工的期望月工資收入1表示：工作年限每增加1年，男性或女性工資的平均增加值2表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值(0+2)-0=262ppt課件用虛擬自變量回歸

解決方差分析問題63ppt課件設對某種職業(yè)者的工資采集了10個樣本，列于下表，工資單位略去，性別欄中1表示男性，0表示女性。序號12345678910工資22.019.018.021.718.521.020.517.017.521.2性別1001011001我們以性別為自變量建立回歸模型64ppt課件序號工資性別122121903180421.71518.506211720.518170917.501021.21回歸系數(shù)分析回歸系數(shù)標準誤標準化的betat顯著性常數(shù)項18.00000.311857.73500.0000變量00023.28000.44090.93477.43920.0001方差分析表平方和自由度均方F值顯著性回歸26.8960126.896055.34160.0001殘差3.888080.4860總和30.78409回歸方程工資=18.000000+3.2800*性別65ppt課件對表中數(shù)據(jù)回歸得

它表示，女性的平均工資為18，男性的平均工資為18+3.28=21.28。由于回歸系數(shù)的統(tǒng)計量為7.44，遠大于臨界值0.44，非常顯著，故認為該項工作男女工資存在差別。66ppt課件回歸建模流程圖具體（社會經(jīng)濟）問題設置指標變量收集整理數(shù)據(jù)修改構造理論