第四章多元回歸分析

第四章多元回歸分析第一頁，共六十六頁，編輯于2023年，星期五第一節(jié)多元線性回歸第二節(jié)可化為多元線性回歸的問題第三節(jié)曲線回歸第四節(jié)逐步回歸第五節(jié)嶺回歸第二頁，共六十六頁，編輯于2023年，星期五第一節(jié)多元線性回歸

Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn第三頁，共六十六頁，編輯于2023年，星期五令

y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n則Y=XB+e第四頁，共六十六頁，編輯于2023年，星期五一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機(jī)變量，而且解釋變量之間互不相關(guān)隨機(jī)誤差項具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機(jī)誤差項在不同樣本點之間是相互獨(dú)立的，不存在序列相關(guān)

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

第五頁，共六十六頁，編輯于2023年，星期五隨機(jī)誤差項與解釋變量之間不相關(guān)

cov(xi,ξ

i)=0隨機(jī)誤差項服從零均值，同方差的正態(tài)分布

ξ

i～N（0，σ2）第六頁，共六十六頁，編輯于2023年，星期五二、建立回歸方程設(shè)令即第七頁，共六十六頁，編輯于2023年，星期五第八頁，共六十六頁，編輯于2023年，星期五多元線性回歸矩陣形式多元線性回歸模型

Y=XB+ε其中，Y=(y1,y2,…,ym)T,B=(b0,b1,…,bp)T,

ε=(ε1,ε2,...,εm)T,ε~Nm(0,σ2En)

第九頁，共六十六頁，編輯于2023年，星期五最小二乘法選擇B使誤差平方和

Q(B)=εTε=(Y－XB)T(Y－XB)達(dá)到最小。利用微積分的極值求法得正規(guī)方程

XT

XB=XTYB的估計量

B=(XTX)-1XTY.稱y=b0+b1x1+b2x2+…+bpxp為經(jīng)驗回歸方程.

稱Y=XB為因變量的估計值.殘差向量

e=Y－Y=(En－H)Y其中H=X(XTX)-1XT.殘差平方和(SSE)

eTe=YTY－(B)TXTY^^^^^^^^^^^第十頁，共六十六頁，編輯于2023年，星期五估計量性質(zhì)(1)

B=(XTX)-1XTY是B的線性無偏估計，D(B)=σ2(XTX)-1(2)E(e)=0,D(e)=σ2

(E－H).(3)Cov(e,B)=0.(4)E(SSE)=(m－p－1)σ2.在假設(shè)E(Y)=XB、D(Y)=σ2E時，B的任一線性函數(shù)ATB

的最小方差線性無偏估計為aTB

，其中A是任一p+1維向量.(6)當(dāng)Y~Nm(XB,σ2E)時，有以下結(jié)論

B~Nm(B,σ2

(XTX)-1),SSE與B相互獨(dú)立，

SSE/σ2~χ2(m－p－1).^^^^^第十一頁，共六十六頁，編輯于2023年，星期五三、多元線性回歸模型的建模方法1.打開文件或新建文件2.Analyzeregressionliner3.建模方法（1）enter:強(qiáng)迫進(jìn)入法（2）stepwise:逐步選擇法（3）remove:強(qiáng)迫消除法（4）backward:向后剔除法（5）forward:向前引入法第十二頁，共六十六頁，編輯于2023年，星期五

回歸統(tǒng)計量（1）estimates:顯示回歸系數(shù)及相關(guān)的指標(biāo)（2）confidenceintervals:顯示未標(biāo)準(zhǔn)化回歸系數(shù)的置信區(qū)間（3）covariancematrix:未標(biāo)準(zhǔn)化回歸系數(shù)的方差—協(xié)方差矩陣（4）modelfit:模型檢驗（5）Rsquaredchange

（6）descriptive:顯示變量的均值、標(biāo)準(zhǔn)差等（7）Partandpartialcorrelations:

（8）collinearitydiagnostics:共線性診斷（9）Durbon_waston:D.w.檢驗統(tǒng)計量第十三頁，共六十六頁，編輯于2023年，星期五舉例（一）根據(jù)我國某地區(qū)鄉(xiāng)鎮(zhèn)企業(yè)總產(chǎn)值、從業(yè)勞動者人數(shù)和固定資產(chǎn)原值的歷年資料，求回歸方程。（總產(chǎn)值-y,從業(yè)勞動者人數(shù)-x1,固定資產(chǎn)原值-x2)yearyx1x21988490.62826.5229.601989543.42909.3280.201990649.92999.7326.301991722.32969.6375.501992840.43112.9429.301993999.03234.7475.7019941433.03848.1575.00第十四頁，共六十六頁，編輯于2023年，星期五第十五頁，共六十六頁，編輯于2023年，星期五第十六頁，共六十六頁，編輯于2023年，星期五舉例（二）衛(wèi)生陶瓷是我國住宅建筑、飯店、賓館、醫(yī)療衛(wèi)生、體育、辦公設(shè)施等建筑必不可少的衛(wèi)生設(shè)備。合理地發(fā)展衛(wèi)生陶瓷生產(chǎn)是國民經(jīng)濟(jì)的需要。衛(wèi)生陶瓷產(chǎn)量y與城鎮(zhèn)住宅建筑面積x1,醫(yī)療衛(wèi)生機(jī)構(gòu)建筑面積x2,辦公室建筑面積x3有關(guān)。試根據(jù)歷史資料建立回歸方程。yx1x2x34.009.001.402.906.009.001.102.804.0010.001.103.103.0017.001.004.105.0016.001.105.007.0018.001.404.5010.0010.000.801.804.009.000.400.605.009.000.500.807.0010.000.902.1011.0012.001.102.108.0014.002.204.009.0019.002.204.0010.0021.002.403.6014.0020.002.204.2018.0022.002.304.6020.0021.002.104.0024.0028.002.304.3022.0033.002.404.7026.0050.002.606.00第十七頁，共六十六頁，編輯于2023年，星期五

Y=0.488+0.576x1+4.769x2-2.145x3(4.245)(2.404)(-2.111)第十八頁，共六十六頁，編輯于2023年，星期五舉例（三）在研究國家財政收入時，我們把財政收入按收入形式分為各項稅收收入、企業(yè)收入、債務(wù)收入、國家能源交通重點建設(shè)基金收入、基本建設(shè)貸款歸還收入、國家預(yù)算調(diào)節(jié)基金收入、其他收入等。為了建立國家財政收入回歸模型，我們以財政收入y為因變量。自變量如下：x1工業(yè)總產(chǎn)值，x2農(nóng)業(yè)總產(chǎn)值，x3建筑業(yè)總產(chǎn)值，x4人口數(shù)，x5社會商品零售總額，x6受災(zāi)面積（數(shù)據(jù)見spssex/例子3）第十九頁，共六十六頁，編輯于2023年，星期五yearyx1x2x3x4x5x619781121.1042371397569962591558.60507619791103.3046811698645975421800.00393719801085.2051541923767987052140.00445319811089.50540021817471000722350.00397919821124.00581124839121016542570.00331319831249.006461275010351030082849.40347119841501.907617321412631043573376.40318919851866.409716361916561058514305.00443719862260.3011194401320381075074950.00471419872368.9013813417624311093005820.00420919882628.0018224586529671110267440.00508719892947.9022017653528341127048101.40469919903244.8023851766230351143338300.103847第二十頁，共六十六頁，編輯于2023年，星期五

Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)第二十一頁，共六十六頁，編輯于2023年，星期五五、回歸方程的效果的檢驗方程顯著性檢驗參數(shù)顯著性檢驗擬合優(yōu)度檢驗（復(fù)相關(guān)系數(shù)、偏相關(guān)系數(shù)）對假設(shè)理論的檢驗第二十二頁，共六十六頁，編輯于2023年，星期五例2中，方差分析表為：y第二十三頁，共六十六頁，編輯于2023年，星期五1.方程顯著性檢驗(F檢驗)F檢驗是以方差分析為基礎(chǔ),對回歸總體線性關(guān)系是否顯著的一種假設(shè)檢驗,是解釋模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計量進(jìn)行總體線性顯著性檢驗的步驟如下:(1)提出關(guān)于P個總體參數(shù)的假設(shè)

H0:b0=b1=b2=…=bp=0,H1:至少有一個bi非零第二十四頁，共六十六頁，編輯于2023年，星期五

(3)檢驗給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.

若F<Fα,接受原假設(shè),表明不存在線性關(guān)系利用F統(tǒng)計量進(jìn)行總體線性顯著性檢驗的步驟如下:

H0:b1=b2=…=bp=0H1:至少有一個bi≠0離差平方和分解方法方差來源平方和自由度F值臨界值顯著性回歸剩余SSRSSEpm-p-1總計SSTm-1方差分析表第二十五頁，共六十六頁，編輯于2023年，星期五2.參數(shù)顯著性檢驗參數(shù)顯著性檢驗,是對每個解釋變量進(jìn)行檢驗.如果解釋變量對被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計量進(jìn)行參數(shù)顯著性檢驗的步驟如下:(1)對總體參數(shù)提出假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計量:(3)檢驗對給定α,若︱t︱>tα/2,說明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).第二十六頁，共六十六頁，編輯于2023年，星期五如果一次t檢驗后,模型中存在多個不重要變量,一般是將t值最小的變量刪除掉,再重新進(jìn)行檢驗,每次只剔除1個變量.aii是(X`X)-1主對角線上第i+1個元素第二十七頁，共六十六頁，編輯于2023年，星期五在x0處,3因變量的預(yù)測y0

的置信區(qū)間因ε0與B相互獨(dú)立，則y0與y0

相互獨(dú)立其中^^第二十八頁，共六十六頁，編輯于2023年，星期五4數(shù)據(jù)中心化和標(biāo)準(zhǔn)化(消除不同量綱)i=1,…,m;j=1,…,p.第二十九頁，共六十六頁，編輯于2023年，星期五六、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是由ESS和TSS構(gòu)造的統(tǒng)計量，用來表示回歸方程對原有數(shù)據(jù)擬合程度的好壞，衡量作為一個整體的x1,x2,…,xp與y的線性關(guān)系的大小。第三十頁，共六十六頁，編輯于2023年，星期五回歸方程的擬合優(yōu)度檢驗就是要檢驗樣本數(shù)據(jù)點聚集在回歸直線周圍的密集程度，從而評價回歸方程對樣本數(shù)據(jù)的代表程度。由判定系數(shù)R2來實現(xiàn)。實際中，隨著自變量個數(shù)的不斷增加，必然會使得R2不斷變化，于是出現(xiàn)的問題是，R2變化是由于數(shù)學(xué)習(xí)性決定的，還是確實是由于引入了好的變量進(jìn)入方程而造成的。因此在作擬合優(yōu)度檢驗的判定時，一般采用調(diào)整的R2，以消除自變量的個數(shù)以及樣本量的大小對R2的影響。第三十一頁，共六十六頁，編輯于2023年，星期五其它變量被固定后，計算任意兩個變量之間的相關(guān)系數(shù)，這種相關(guān)系數(shù)稱為偏相關(guān)系數(shù)。第三十二頁，共六十六頁，編輯于2023年，星期五簡單相關(guān)系數(shù)只是一種數(shù)量表面上的相關(guān)系數(shù)，而并非本質(zhì)的東西。偏相關(guān)系數(shù)才真正反映兩個變量的本質(zhì)聯(lián)系。Zero-order:零階相關(guān)系數(shù)，計算所有自變量與因變量間的簡單相關(guān)系數(shù)。Partcorrelation:部分相關(guān)，在排除了其他自變量對xi的影響后，當(dāng)一個自變量進(jìn)入模型后，復(fù)相關(guān)系數(shù)的平方增加量。第三十三頁，共六十六頁，編輯于2023年，星期五回歸方程的殘差分析回歸函數(shù)線性假設(shè)可行性殘差序列的正態(tài)性分析殘差序列的隨機(jī)性分析殘差序列的獨(dú)立性分析奇異值診斷異方差診斷第三十四頁，共六十六頁，編輯于2023年，星期五診斷回歸函數(shù)是否為自變量x1,x2,…,xp

的線性函數(shù)時，主要采用殘差圖y、e。如果在這個散點圖中，點(y,e)大致在e=0附近隨機(jī)變化(即無明顯的趨勢性)，并在變化幅度不在的水平帶狀區(qū)域內(nèi)，則可以認(rèn)為回歸函數(shù)的線性假定基本上是合理的。否則表明回歸函數(shù)不是線性的，回歸函數(shù)中可能應(yīng)該含有某些變量的高次項或交叉乘積項，或者考慮是否可先將因變量y與某些自變量做變換，再建立相應(yīng)的線性回歸模型。當(dāng)然，最極端情形是因變量與自變量之間沒有回歸關(guān)系?；貧w函數(shù)線性假設(shè)的可行性^^第三十五頁，共六十六頁，編輯于2023年，星期五殘差序列的正態(tài)性分析：設(shè)誤差向量ε~N(0,σ2E)，殘差向量

e~N(0,σ2(E－H)),ei~N(0,σ2(1－h(huán)ii)),H=(hij)學(xué)生化殘差所有SREi近似獨(dú)立服從N(0,1)，即近似地認(rèn)為來自N(0,1)的簡單隨機(jī)樣本。

(1)頻率檢驗法：統(tǒng)計所有SREi的正負(fù)個數(shù)是否各占一半，介于(-1,+1)、(-2,+2)、(-3,+3)的比例是否約68%、95%、99%。

(2)正態(tài)QQ圖檢驗法：將學(xué)生化殘差從小到大重排r1、…、rm，計算qi=Φ-1[(i－0.375)/(n+0.25)]，作圖描點(qi,ri)。所有點應(yīng)基本上在一直線上?；蛘哂嬎鉸與r的相關(guān)系數(shù)，其值應(yīng)接近于1。第三十六頁，共六十六頁，編輯于2023年，星期五通過繪制標(biāo)準(zhǔn)化殘差序列的帶正態(tài)曲線的直方圖或累計概率圖來分析，確定殘差是否接近正態(tài)Analyze->regression->linearPlot子對話框中選Histogram或p-p圖第三十七頁，共六十六頁，編輯于2023年，星期五殘差序列的隨機(jī)性分析：可以繪制殘差序列和對應(yīng)的預(yù)測值序列的散點圖。如果殘差序列是隨機(jī)的，那么殘差序列應(yīng)與預(yù)測值序列無關(guān)，殘差序列點將隨機(jī)地分布在經(jīng)過零的一條直線上下。在線性回歸Plots對話框中的源變量表中，選擇SRESID（學(xué)生氏殘差）做Y軸，選ZPRED（標(biāo)準(zhǔn)化預(yù)測值）做X軸第三十八頁，共六十六頁，編輯于2023年，星期五殘差序列的獨(dú)立性分析：如果回歸模型中的誤差項不是不相關(guān)，則稱為自相關(guān)或序列相關(guān)。Durbin-Watson檢驗是最常見的自相關(guān)檢驗方法，但它僅適用于一階自相關(guān)，即形如εi=ρεi-1+ui。由于εi未知，就用殘差ei

挖代替來判斷是否自相關(guān)。H0:ρ=0檢驗統(tǒng)計量判別準(zhǔn)則：當(dāng)0<DW<dl時，正自相關(guān)；當(dāng)4－dl＜WD<4時，負(fù)自相關(guān)；當(dāng)dl＜WD<du或4－du<DW<4－dl時，不能確定上;

當(dāng)WD在2附近，不存在一階自相關(guān)，通常也無高階自相關(guān)。如果模型存在自相關(guān)，可用差分模型代替原有模型，再檢驗、迭代第三十九頁，共六十六頁，編輯于2023年，星期五樣本奇異值的診斷：樣本奇異值是樣本數(shù)據(jù)中那些遠(yuǎn)離均值的樣本數(shù)據(jù)點。它們會對回歸方程的擬合產(chǎn)生較大偏差影響。一般認(rèn)為，如果某樣本點對應(yīng)的標(biāo)準(zhǔn)化殘差的值超出了-3—+3的范圍，就可以判定該樣本數(shù)據(jù)為奇異值。Analyze->regression->statistics->casediagnostics第四十頁，共六十六頁，編輯于2023年，星期五異方差診斷：線性回歸模型要求殘差序列服從等方差的正態(tài)分布一般通過繪制SRESID與因變量預(yù)測值的散點圖或計算SRESID和因變量預(yù)測值間的相關(guān)系數(shù)。如果殘差序列和預(yù)測值的平方根成正比例變化，可以對因變量作開方處理；如果殘差序列與預(yù)測值成比例變化，可以對因變量取對數(shù)；如果殘差序列與預(yù)測值的平方成比例的變化，可以對因變量求倒數(shù)。還可以用WLS法消除異方差。第四十一頁，共六十六頁，編輯于2023年，星期五

Box-Cox變換是通過對因變量做適當(dāng)變換，達(dá)到對原始數(shù)據(jù)的“綜合治理”，使其盡可能滿足線性回歸模型的假設(shè)條件。Box－Cox變換確定λ值，使得Y(λ)

滿足

Y(λ)=Xβ+ε,

ε~N(0,σ2E).利用最大似然方法可確定λ值。第四十二頁，共六十六頁，編輯于2023年，星期五七、預(yù)測和控制所謂預(yù)測就是給定解釋變量x樣本外的某一特征值x0=(1，x10,x20,…,xp0),對因變量的值y0以及E(y0)進(jìn)行估計。1、y0的點預(yù)測：2、y0的（1-α）的預(yù)測區(qū)間：第四十三頁，共六十六頁，編輯于2023年，星期五例5繼例1，預(yù)測從業(yè)勞動者為3000萬人，固定資產(chǎn)原值為400億元時該地區(qū)的總產(chǎn)值，并給出α=0.05時的預(yù)測區(qū)間.第四十四頁，共六十六頁，編輯于2023年，星期五例6中國民航客運(yùn)量的回歸模型.為了研究我國民航客運(yùn)量的變化趨勢及成因,我們以民航客運(yùn)量作為因變量y,以國民收入、消費(fèi)額、鐵路客運(yùn)量、民航航線里程、來華旅游入境人數(shù)為影響民航客運(yùn)量的主要因素。Y-民航客運(yùn)量（萬人），x1-國民收入（億元），x2-消費(fèi)額（億元），x3-鐵路客運(yùn)量（萬人），x4-民航航線里程（萬公里），x5-來華旅游入境人數(shù)第四十五頁，共六十六頁，編輯于2023年，星期五第二節(jié)可化為多元線性回歸的問題在自然科學(xué)中，y關(guān)于x的數(shù)量關(guān)系多數(shù)都不是簡單的線性關(guān)系，而是各種各樣的非線性關(guān)系，于是我們常會遇到非線性回歸模型，在非線性回歸模型中，一種類型是可以通過變量變換化為線性模型，然后按線性模型加以解決；另一種類型的非線性模型是用任何變量變換辦法都不能或不方便直接化為線性模型求得參數(shù)的估計值。第四十六頁，共六十六頁，編輯于2023年，星期五多項式函數(shù)設(shè)則多項式化為:多元冪函數(shù)令則多項式化為:第四十七頁，共六十六頁，編輯于2023年，星期五指數(shù)函數(shù)

取則多元對數(shù)函數(shù)取則第四十八頁，共六十六頁，編輯于2023年，星期五指數(shù)函數(shù)與冪函數(shù)的積

令則第四十九頁，共六十六頁，編輯于2023年，星期五例7某企業(yè)在15年中每年的年產(chǎn)量x和總成本y,試建立y對x,x2和x3的多項式回歸方程.(數(shù)據(jù)見spssex/例子7)第五十頁，共六十六頁，編輯于2023年，星期五如果自變量相鄰數(shù)值之間大小間隔相等,而且相鄰樣本點對應(yīng)的因變量y的二次差分大致相同,則該總體可配合二次多項式函數(shù)如果是三次差分大致相同,則可配合三次多項式函數(shù)第五十一頁，共六十六頁，編輯于2023年，星期五例8根據(jù)某地1985-1993年間農(nóng)產(chǎn)品收購額,建立回歸方程.(數(shù)據(jù)見spssex/例子8)MODEL:MOD_2.Independent:xDependentMthRsqd.f.FSigfb0b1b2yQUA1.0006202698.000178.0955.22383.8810第五十二頁，共六十六頁，編輯于2023年，星期五例9某制造廠表面處理車間試驗將鉻后污水同電解污泥混合,使之生成無毒溶液,效果很好.但實際排出污水的濃度不完全相同,而且一定濃度的定量鉻后污水只有同定量的電解污泥混合后,才能反應(yīng)完全.現(xiàn)通過試驗,找出鉻后污水用量與電解污泥用量之比對于鉻后污水濃度之間的關(guān)系.(spssex/例子9)第五十三頁，共六十六頁，編輯于2023年，星期五第三節(jié)曲線回歸Analyze->regression->curveestimationLinear:y=b0+b1xQuadratic:y=b0+b1x+b2x2Compound:y=b0b1xGrowth:y=e(b0+b1x)Logarithmic:y=b0+b1lnxCubic:y=b0+b1x+b2x2+b3x3S:y=e(b0+b1/x)Exponential:y=b0eb1xInverse:y=b0+b1/xPower:y=b0xb1Logistic:y=1/(1/u+b0b1x))第五十四頁，共六十六頁，編輯于2023年，星期五第四節(jié)逐步回歸在多元線性回歸中，最難的是如何選擇自變量的問題，如果自變量選的太少，則自變量對Y的決定系數(shù)太小，導(dǎo)致過大的偏差，如果把與Y有關(guān)的自變量都選入是不可能的，一般來講，選的自變量愈多，ESS愈大，然而多個自變量中有相當(dāng)一部分對Y影響不顯著，反而會因自由度的減少而增大了誤差。另外，多個自變量間的相關(guān)會給回歸方程的實際解釋上造成麻煩，即多重共線性的影響。因此我們提出最優(yōu)方程的概念，要求進(jìn)入回歸方程的自變量都是顯著的，未進(jìn)入回歸方程的自變量都是不顯著的。第五十五頁，共六十六頁，編輯于2023年，星期五一、“最優(yōu)”回歸方程的選擇1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進(jìn)有出”的回歸分析方法(逐步回歸分析方法)第五十六頁，共六十六頁，編輯于2023年，星期五逐步剔除法（backward）1、用全部變量建立一個回歸方程2、對每個變量進(jìn)行檢驗，剔除偏回歸平方和最小的變量。3、對剩余變量再作回歸，再檢驗……直至方程中沒有可剔除的變量為止。第五十七頁，共六十六頁，編輯于2023年，星期五逐步引入法（forward）1、將所有自變量分別與因變量建立一元線性回歸方程，比較各自的回歸平方和，將回歸平方和最大的變量引入回歸方程。2、再分別將