第七章多元回歸分析

第七章多元回歸分析第1頁，共47頁，2023年，2月20日，星期一在許多經(jīng)濟問題中，一元線性回歸只不過是回歸分析中的一種特例，它通常是對影響某種經(jīng)濟現(xiàn)象的許多因素進(jìn)行了簡化考慮的結(jié)果。若某公司管理人員要預(yù)測來年該公司的銷售額y時，研究認(rèn)為影響銷售額的因素不只是廣告宣傳費x1,還有個人可支配收入x2,價格x3,研究與發(fā)展費用x4,各種投資x5,銷售費用x6.因此我們需要進(jìn)一步討論多元回歸問題。第2頁，共47頁，2023年，2月20日，星期一第一節(jié)多元線性回歸第二節(jié)可化為多元線性回歸的問題第三節(jié)自變量的選擇與逐步回歸第3頁，共47頁，2023年，2月20日，星期一第一節(jié)多元線性回歸多元線性回歸模型一般形式

其中，，，…，是p+1個未知參數(shù)，為回歸常數(shù)，，…，為回歸系數(shù)。y稱為被解釋變量,

，…,是p個可以精確測量并可以控制的一般變量，稱為解釋變量第4頁，共47頁，2023年，2月20日，星期一對一實際問題，若得到n組觀測數(shù)據(jù)（,,…,;）,i=1,2,…,n,則線性模型可表示為：第5頁，共47頁，2023年，2月20日，星期一寫成矩陣形式

y11x11x21…x1pY=y2x=1x12x22…x2pyn1x1nx2n…xnp

ξ

1

ξ

2e=…

ξ

n則Y=Xβ+e第6頁，共47頁，2023年，2月20日，星期一一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機變量，而且rk(X)=P+1<n,表明矩陣X中的自變量列間無多重共線性隨機誤差項具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機誤差項在不同樣本點之間是相互獨立的，不存在序列相關(guān)

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

i)E(ξ

j)=0

第7頁，共47頁，2023年，2月20日，星期一隨機誤差項與解釋變量之間不相關(guān)cov(xi,ξ

i)=0隨機誤差項的正態(tài)分布假定條件為

第8頁，共47頁，2023年，2月20日，星期一二、回歸參數(shù)的估計設(shè)令即第9頁，共47頁，2023年，2月20日，星期一第10頁，共47頁，2023年，2月20日，星期一以上是通過使用最小二乘法（OLSE）對回歸參數(shù)進(jìn)行的估計，得到的回歸參數(shù)的最小二乘估計為在正態(tài)假定下，回歸參數(shù)的最大似然估計（MLE）與最小二乘法（OLSE）是完全相同的第11頁，共47頁，2023年，2月20日，星期一三、回歸方程的效果的檢驗方程顯著性檢驗回歸系數(shù)顯著性檢驗擬合優(yōu)度鏈接第12頁，共47頁，2023年，2月20日，星期一1.方程顯著性檢驗(F檢驗)F檢驗是以方差分析為基礎(chǔ),對回歸總體線性關(guān)系是否顯著的一種假設(shè)檢驗,是解釋模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計量進(jìn)行總體線性顯著性檢驗的步驟如下:(1)提出關(guān)于P個總體參數(shù)的假設(shè)

H0:b1=b2=…=bp=0(2)構(gòu)造統(tǒng)計量

(3)檢驗給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.

若F<Fα,接受原假設(shè),表明不存在線性關(guān)系第13頁，共47頁，2023年，2月20日，星期一2.回歸系數(shù)顯著性檢驗回歸系數(shù)顯著性檢驗,是對每個解釋變量進(jìn)行檢驗.如果解釋變量對被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計量進(jìn)行參數(shù)顯著性檢驗的步驟如下:(1)對總體參數(shù)提出假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計量:

（回歸標(biāo)準(zhǔn)差）

(3)檢驗對給定α,若︱t︱>tα/2,說明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).第14頁，共47頁，2023年，2月20日，星期一當(dāng)有多個自變量對因變量y無顯著影響時,可以剔除多余變量，但由于自變量間的交互作用，不能一次剔除所有不顯著變量。一般是將t值（絕對值）最小的變量刪除掉,每次只剔除1個變量

,再對求得的新的回歸方程進(jìn)行檢驗，直到保留的變量都對y有顯著影響為止。返回第15頁，共47頁，2023年，2月20日，星期一3.擬合優(yōu)度擬合優(yōu)度用于檢驗回歸方程對樣本觀測值的擬合程度。樣本決定系數(shù)的取值在（0，1）區(qū)間內(nèi)，越接近1，回歸擬合的效果越好；越接近0，回歸擬合的效果越差。第16頁，共47頁，2023年，2月20日，星期一四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是由SSR和SST構(gòu)造的統(tǒng)計量，用來表示回歸方程對原有數(shù)據(jù)擬合程度的好壞，衡量作為一個整體的x1,x2,…,xp與y的線性關(guān)系的大小。第17頁，共47頁，2023年，2月20日，星期一復(fù)相關(guān)系數(shù)表示的是因變量與全體自變量之間的線性關(guān)系，它的符號不能由某一自變量的回歸系數(shù)的符號來確定，因而復(fù)相關(guān)系數(shù)都取正號。第18頁，共47頁，2023年，2月20日，星期一其它變量被固定后，計算任意兩個變量之間的相關(guān)系數(shù)，這種相關(guān)系數(shù)稱為偏相關(guān)系數(shù)。第19頁，共47頁，2023年，2月20日，星期一簡單相關(guān)系數(shù)只是一種數(shù)量表面上的相關(guān)系數(shù)，而并非本質(zhì)的東西。在多元回歸分析中，偏相關(guān)系數(shù)才真正反映因變量y與自變量以及自變量與的相關(guān)性的數(shù)量。返回第20頁，共47頁，2023年，2月20日，星期一五、預(yù)測所謂預(yù)測就是給定解釋變量一組值通過建立的多元回歸模型，估計出對應(yīng)的1、y0的點預(yù)測：2、y0以概率（1-α）落在某區(qū)間的區(qū)間預(yù)測：其中為隨機誤差項的標(biāo)準(zhǔn)差第21頁，共47頁，2023年，2月20日，星期一第二節(jié)可化為多元線性回歸的問題在自然科學(xué)中，y關(guān)于x的數(shù)量關(guān)系多數(shù)都不是簡單的線性關(guān)系，而是各種各樣的非線性關(guān)系，于是我們常會遇到非線性回歸模型，在非線性回歸模型中，一種類型是可以通過變量變換化為線性模型，然后按線性模型加以解決；另一種類型的非線性模型是用任何變量變換辦法都不能或不方便直接化為線性模型求得參數(shù)的估計值。第22頁，共47頁，2023年，2月20日，星期一多項式函數(shù)Y=β0+β1x+β2x2+…+βpxp設(shè)τi=xi則多項式化為:Y=β0+β1τ1+β2τ2

+…+βpτp多元冪函數(shù)

y=αx1β1x2β2…xpβplny=lnα+β1lnx1+…+βplnxp

令z=lny,β0=lnα,τi=lnxiz=β0+β1τ1+β2τ2+…+βpτp第23頁，共47頁，2023年，2月20日，星期一指數(shù)函數(shù)

y=a∏eβixi㏑y=㏑a+β1x1+β2x2+…+βpxp

z=㏑y,β0=㏑a,則

z=β0+β1x1+β2x2+…+βpxp多元對數(shù)函數(shù)

y=a+β1㏑x1+β2㏑x2+…+βp㏑xp

設(shè)τi=㏑xi,則

y=a+β1τ1+β2τ2+…+βpτp第24頁，共47頁，2023年，2月20日，星期一指數(shù)函數(shù)與冪函數(shù)的積

y=aexp{∑βixi}∏xibi㏑y=㏑a+β1x1+β2x2+…+βpxp

+b1㏑x1+b2㏑x2+…+bp㏑xp

令z=㏑y,β0=㏑a,τi=㏑xi

z=β0+β1x1+β2x2+…+βpxp+b1τ1+b2τ2+…+bpτp第25頁，共47頁，2023年，2月20日，星期一如果自變量相鄰數(shù)值之間大小間隔相等,而且相鄰樣本點對應(yīng)的因變量y的二次差分大致相同,則該總體可配合二次多項式函數(shù)如果是三次差分大致相同,則可配合三次多項式函數(shù)第26頁，共47頁，2023年，2月20日，星期一第三節(jié)自變量選擇與逐步回歸在建立一個實際問題的回歸模型，我們應(yīng)該如何確定回歸自變量。如果遺漏了某些重要的變量，回歸方程的效果肯定不好。如果考慮過多的變量，在這些變量中有些自變量對問題研究可能不重要，有些變量可能與其它變量有很大程度的重疊。如果模型把這些變量也引入的話，不僅計算量增大，而且得到的回歸方程的穩(wěn)定性也很差，直接影響了回歸方程的應(yīng)用。第27頁，共47頁，2023年，2月20日，星期一在實際應(yīng)用中，希望擬合這樣一個模型，它既能較好的反映問題的本質(zhì)，又包含盡可能少的自變量。這兩個方面的一個適當(dāng)折中就是回歸方程的選取問題，其基本思想是在一定的準(zhǔn)則下選取對因變量影響較為顯著的自變量，建立一個既合理又簡單實用的回歸模型。第28頁，共47頁，2023年，2月20日，星期一在前面，我們認(rèn)為殘差平方和最小和復(fù)相關(guān)系數(shù)來衡量回歸擬合的好壞。因為當(dāng)引入的自變量的個數(shù)增大時，殘差平方和隨之減少，而復(fù)相關(guān)系數(shù)也隨之增大。因此如果按上述原則來選擇自變量，不論什么變量多取就行。但是由于變量之間的多重共顯性，給自變量的估計值帶來了不穩(wěn)定性，加上變量的抽樣誤差積累將是y值得估計值誤差增大。第29頁，共47頁，2023年，2月20日，星期一一窮舉法所謂窮舉法就是從所有可能的回歸方程中按一定的準(zhǔn)則選取最優(yōu)的一個或幾個。設(shè)在一個實際問題的回歸模型中，如果有m個可供選擇的變量，由于每個變量都有入選和不入選兩種情況，這樣y關(guān)于這些自變量的所有可能的回歸方程就有個，這其中包括只包含常數(shù)項的這種情況。下面給出幾種選取準(zhǔn)則：第30頁，共47頁，2023年，2月20日，星期一1從擬合的角度考慮的準(zhǔn)則[準(zhǔn)則1]自由度調(diào)整復(fù)決定系數(shù)達(dá)到最大。當(dāng)給模型增加自變量時，復(fù)相關(guān)系數(shù)的增大是以殘差自由度的減少為代價的。隨著自由度的減少，模型估計和預(yù)測的可靠性也在降低。調(diào)整復(fù)決定系數(shù)其中，為樣本容量，為自變量的個數(shù)。第31頁，共47頁，2023年，2月20日，星期一顯然有，隨著自變量的增加并不一定增大。因為隨著變量的增加而減少，但由于其前面的系數(shù)起折扣作用，使得隨著自變量的增加并不一定增加。當(dāng)所增加的自變量對y不產(chǎn)生影響時，反而可能減少。在一個實際問題的回歸建模中，自由度調(diào)整復(fù)決定系數(shù)越大，所對應(yīng)的回歸方程越好。第32頁，共47頁，2023年，2月20日，星期一[準(zhǔn)則2]平均殘差平方和達(dá)到最小。平均殘差平方和是指對應(yīng)于模型中的估計，其中為自變量的個數(shù)。在此無偏估計式中加入了懲罰因子，它體現(xiàn)了對自變量個數(shù)的增加所施加的懲罰。第33頁，共47頁，2023年，2月20日，星期一一開始自變量個數(shù)開始增加時，雖然因子增大了，但此時減少很多，故總起來說還是減少的。當(dāng)自變量增加到一定程度，重要的自變量基本上都已選上了，這時再增加自變量，減少不多，以至于抵消不了的增加，最終導(dǎo)致了的增加。隨著自變量個數(shù)的增加，平均殘差平方和是先減小后增大的趨勢。第34頁，共47頁，2023年，2月20日，星期一用平均殘差平方和來衡量回歸方程的擬合優(yōu)度，應(yīng)該用最小者所對應(yīng)的回歸子集為最優(yōu)方程。在自由度調(diào)整的復(fù)相關(guān)系數(shù)中，由于。由于分母并不隨p的變化而變化，因而使達(dá)到最小的準(zhǔn)則和使調(diào)整的復(fù)相關(guān)系數(shù)達(dá)到最大是等價的。第35頁，共47頁，2023年，2月20日，星期一2從極大似然估計方法考慮的準(zhǔn)則[準(zhǔn)則3]赤池信息量AIC達(dá)到最小。AIC既可以用于時間序列分析中的自回歸模型的定階上，也可以用來作回歸方程自變量的選擇。AIC=，其中是與自變量個數(shù)無關(guān)的常數(shù)。第36頁，共47頁，2023年，2月20日，星期一在回歸分析的建模過程中，對每一個回歸子集計算AIC，其中最小者所對應(yīng)的模型是“最優(yōu)”回歸模型。由于在正態(tài)假定下，參數(shù)的OLSE與MLE是一致的，因此，AIC準(zhǔn)則在OLSE的情況下也是適用的。第37頁，共47頁，2023年，2月20日，星期一3從預(yù)測的角度考慮的準(zhǔn)則[準(zhǔn)則4]統(tǒng)計量達(dá)到最小。馬勒斯從預(yù)測的角度提出的。統(tǒng)計量為，其中，為考慮到所有因素的全模型中的無偏估計。選擇最小最小的自變量子集，這個子集對應(yīng)的回歸方程就是最優(yōu)回歸方程。第38頁，共47頁，2023年，2月20日，星期一理論上，從所有可能的回歸方程中選擇應(yīng)該是最好的方法。但是，窮舉法所要擬合的回歸方程數(shù)隨自變量數(shù)目的增加而成倍增加，因此當(dāng)自變量的數(shù)目較大時，計算量很大以至于難以實現(xiàn)。在這種情況下，逐步回歸是一種可行的選擇最優(yōu)回歸方程的方法。第39頁，共47頁，2023年，2月20日，星期一二逐步回歸一、“最優(yōu)”回歸方程的選擇1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進(jìn)有出”的回歸分析方法(逐步回歸分析方法)第40頁，共47頁，2023年，2月20日，星期一逐步剔除法（backward）1、用全部m個變量建立一個回歸方程2、對每個變量的回歸系數(shù)進(jìn)行F檢驗，選m個系數(shù)中F值最小者記為。如果有，則考慮把剔除。3、對剩余的m-1自變量重新建立回歸方程，再檢驗……4、直至回歸方程中的變量的F檢驗值都大于，沒有可剔除的變量為止。這時候的得到的回歸方程就是最重確定的方程。第41頁，共47頁，2023年，2月20日，星期一逐步剔出法有明顯的不足。一開始把全部自變量引入回歸方程，計算量很大。如果有些自變量不太重要，一開始就不引入，可減少一些計算量。再就是一旦某個自變量被剔出，它再也沒有機會重新進(jìn)入回歸方程。第42頁，共47頁，2023年，2月20日，星期一逐步引入法（forward）1、將所有自變量分別與因變量建立一元線性回歸方程，并分別計算這m個回歸方程的m個回歸系數(shù)的F檢驗值，選其中最大的記為，若，則首先將進(jìn)入回歸方程。為方便，設(shè)就是。2、再分別將剩余變量與因變量y、及已引入的變量建立二元線性回歸方程，再比較m-1個回歸方程中