統(tǒng)計(jì)學(xué) 第三章 多元回歸分析

2023/2/1第三

章多元線性回歸上好的模型選擇可遵循一個(gè)稱為奧克姆剃刀(Occam’sRazor)的基本原理：最好的科學(xué)模型往往最簡單，且能解釋所觀察到的事實(shí)?！猈illiamNavidi統(tǒng)計(jì)名言1第三

章多元線性回歸第一節(jié)

多元線性回歸模型第二節(jié)

擬合優(yōu)度和顯著性檢驗(yàn)第三節(jié)

多重共線性及其處理第四節(jié)利用回歸方程進(jìn)行預(yù)測第五節(jié)

虛擬自變量的回歸2023/2/12多元線性回歸模型、回歸方程與估計(jì)的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗(yàn)多重共線性問題及其處理利用回歸方程進(jìn)行預(yù)測虛擬自變量的回歸用Excel和SPSS進(jìn)行回歸分析2023/2/13學(xué)習(xí)目標(biāo)42023/2/1身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)境、體育鍛煉，還是以上各因素的共同作用2004年12月，中國人民大學(xué)國民經(jīng)濟(jì)管理系02級的兩位學(xué)生，對人大在校生進(jìn)行了問卷調(diào)查。問卷采取隨機(jī)發(fā)放、當(dāng)面提問當(dāng)場收回調(diào)查的樣本量為98人，男性55人，女性43人。調(diào)查內(nèi)容包括被調(diào)查者的身高(單位：cm)、性別、其父母身高、是否經(jīng)常參加體育鍛煉、家庭所在地是在南方還是在北方等等。部分?jǐn)?shù)據(jù)如下頁的表所示(1代表男性，0代表女性)父親身高、母親身高、性別是不是影響子女身高的主要因素呢？如果是，子女身高與這些因素之間能否建立一個(gè)線性關(guān)系方程，并根據(jù)這一方程對身高做出預(yù)測？這就是本章將要討論的多元線性回歸問題子女身高父親身高母親身高子女性別子女身高父親身高母親身高子女性別171166158115516515701741711581161182165017717916811661661560178174160117017816001801731621158173160018117016011601701650159168153116017115001691681531162167158017017016711651751600170170160116817216202023/2/15調(diào)查數(shù)據(jù)單位：cm0：女1：男第一節(jié)多元線性回歸模型

一、回歸模型與回歸方程二、參數(shù)的最小二乘估計(jì)2023/2/16一、回歸模型與回歸方程2023/2/17一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及k個(gè)自變量的多元線性回歸模型可表示為2023/2/18多元回歸模型

(multiplelinearregressionmodel)

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1，x2

，，xk

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被k個(gè)自變量的線性關(guān)系所解

釋的變異性正態(tài)性。誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且期望值為0，即ε~N(0,2)方差齊性。對于自變量x1，x2，…，xk的所有值，的方差2都相同獨(dú)立性。對于自變量x1，x2，…，xk的一組特定值，它所對應(yīng)的與任意一組其他值所對應(yīng)的不相關(guān)2023/2/19多元回歸模型的基本假定

1.描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程2.多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xk2023/2/110多元線性回歸方程(multiplelinearregressionequation)

b1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位

時(shí)，y的平均變動(dòng)值用樣本統(tǒng)計(jì)量

估計(jì)回歸方程中的參數(shù)時(shí)得到的方程由最小二乘法求得一般形式為2023/2/111估計(jì)的多元線性回歸方程

(estimatedmultiplelinearregressionequation)

是估計(jì)值是y

的估計(jì)值二、

參數(shù)的最小二乘估計(jì)2023/2/1122023/2/113參數(shù)的最小二乘估計(jì)求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即2023/2/114參數(shù)的最小二乘法(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義

用Excel進(jìn)行回歸2023/2/115數(shù)據(jù)表2023/2/116參數(shù)的最小二乘估計(jì)

(例題分析)F檢驗(yàn)t檢驗(yàn)偏回歸系數(shù)第二節(jié)

擬合優(yōu)度和顯著性檢驗(yàn)一、回歸方程的擬合二、顯著性檢驗(yàn)2023/2/117一、回歸方程的擬合優(yōu)度2023/2/1182023/2/119變差分解xy}}來自回歸（系統(tǒng)影響）來自殘差（隨機(jī)影響）2023/2/120變差平方和關(guān)系平方和關(guān)系：SST=SSR+SSE自由度關(guān)系：n-1=k+(n-k-1)總平方和(SST)自由度：n-1{回歸平方(SSR)自由度：k殘差平方和(SSE)自由度：n-k-1{{回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例2023/2/121多重判定系數(shù)(multiplecoefficientofdetermination)

用樣本量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R22023/2/122修正多重判定系數(shù)(adjustedmultiplecoefficientofdetermination)

用Excel進(jìn)行回歸2023/2/123多重相關(guān)系數(shù)

(multiplecorrelationcoefficient)

多重判定系數(shù)的平方根R反映因變量y與k個(gè)自變量之間的相關(guān)程度實(shí)際上R度量的是因變量的觀測值與由多元回歸方程得到的預(yù)測值之間的關(guān)系強(qiáng)度，即多重相關(guān)系數(shù)R等于因變量的觀測值與估計(jì)值之間的簡單相關(guān)系數(shù)即：

(一元相關(guān)系數(shù)r也是如此，

即。讀者自己去驗(yàn)證)對誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為2023/2/124估計(jì)標(biāo)準(zhǔn)誤差Se

用Excel進(jìn)行回歸二、顯著性檢驗(yàn)2023/2/125檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，運(yùn)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系2023/2/126線性關(guān)系檢驗(yàn)1.提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個(gè)不等于02023/2/127線性關(guān)系檢驗(yàn)2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F3.確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨

界值F

4.作出決策：若F>F

，拒絕H0線性關(guān)系檢驗(yàn)通過后，對各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過多的第Ⅰ類錯(cuò)誤(棄真錯(cuò)誤)對每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量2023/2/128回歸系數(shù)的檢驗(yàn)1.提出假設(shè)H0：

(自變量xi

與

因變量y沒有線性關(guān)系)H1：

(自變量xi

與

因變量y有線性關(guān)系)2.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t2023/2/129回歸系數(shù)的檢驗(yàn)(步驟)3.確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；

t<t，不拒絕H0回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

2023/2/130回歸系數(shù)的推斷(置信區(qū)間)回歸系數(shù)的抽樣標(biāo)準(zhǔn)差自由度第三節(jié)

多重共線性及其處理一、多重共線性及其識(shí)別二、變量選擇與逐步回歸2023/2/131一、多重共線性及其識(shí)別2023/2/1321.回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)2.多重共線性帶來的問題有可能會(huì)使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤荆現(xiàn)檢驗(yàn)顯著，t檢驗(yàn)不顯著可能對參數(shù)估計(jì)值的正負(fù)號(hào)產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號(hào)有可能同預(yù)期的正負(fù)號(hào)相反參數(shù)估計(jì)量的方差變大，參數(shù)檢驗(yàn)有可能失效，有些回歸系數(shù)通不過顯著性檢驗(yàn)2023/2/133多重共線性(multicollinearity)1.檢測多重共線性的最簡單的一種辦法是計(jì)算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)若有一個(gè)或多個(gè)相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性2.如果出現(xiàn)下列情況，暗示存在多重共線性（經(jīng)驗(yàn)判斷）模型中各對自變量之間顯著相關(guān)當(dāng)模型的線性關(guān)系檢驗(yàn)(F檢驗(yàn))顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著回歸系數(shù)的正負(fù)號(hào)與預(yù)期的相反2023/2/134多重共線性的識(shí)別1.將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保

留的自變量盡可能不相關(guān)2.如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計(jì)量對單個(gè)參數(shù)進(jìn)行檢驗(yàn)對因變量值的推斷(估計(jì)或預(yù)測)限定在自變量樣本值的范圍內(nèi)2023/2/135多重共線性的處理1.在建立多元線性回歸模型時(shí)，不要試圖引入

更多的自變量，除非確實(shí)有必要2.在社會(huì)科學(xué)的研究中，由于所使用的大多數(shù)

數(shù)據(jù)都是非試驗(yàn)性質(zhì)的，因此，在某些情況

下，得到的結(jié)果往往并不令人滿意，但這不

一定是選擇的模型不合適，而是數(shù)據(jù)的質(zhì)量

不好，或者是由于引入的自變量不合適2023/2/136提示1.模型選擇可遵循奧克姆剃刀的基本原理最好的科學(xué)模型往往最簡單，且能解釋所觀察到的事實(shí)2.對于線性模型來說，奧克姆剃刀可表示成簡約原

則一個(gè)模型應(yīng)包括擬合數(shù)據(jù)所必需的最少變量3.如果一個(gè)模型只包含數(shù)據(jù)擬合所必需的變量，這

個(gè)模型就稱為簡約模型(parsimoniousmodel)實(shí)際中的許多多元回歸模型都是對簡約模型的擴(kuò)展2023/2/137奧克姆剃刀(Occam’sRazor)二、變量選擇與逐步回歸2023/2/138在建立回歸模型時(shí)，對自變量進(jìn)行篩選選擇自變量的原則是對統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)將一個(gè)或一個(gè)以上的自變量引入到回歸模型中時(shí)，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個(gè)自變量使SSE的減少是顯著的，則說明有必要將這個(gè)自變量引入回歸模型，否則，就沒有必要將這個(gè)自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計(jì)量的值作為一個(gè)標(biāo)準(zhǔn)，以此來確定是在模型中增加一個(gè)自變量，還是從模型中剔除一個(gè)自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸等2023/2/139變量選擇過程從模型中沒有自變量開始對k個(gè)自變量分別擬合對因變量的一元線性回歸模型，共有k個(gè)，然后找出F統(tǒng)計(jì)量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個(gè)自變量的線性回歸模型如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計(jì)顯著性為止特點(diǎn)：引入模型中的變量肯定會(huì)被保留2023/2/140向前選擇

(forwardselection)先對因變量擬合包括所有k個(gè)自變量的回歸模型。然后考察p(p<k)個(gè)去掉一個(gè)自變量的模型(這些模型中的每一個(gè)都有k-1個(gè)自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個(gè)再去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有k-2個(gè)的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個(gè)自變量不會(huì)使SSE顯著減小為止2023/2/141向后剔除

(backwardelimination)YX1X2X3sse=40YX2X3sse=30YX1X3sse=20YX1X2sse=10向后剔除(backwardelimination)回歸變量（解釋變量）選擇X1X2X3特點(diǎn)：被剔除的變量將不再進(jìn)入模型將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個(gè)自變量后，它會(huì)對模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個(gè)自變量。如果在增加了一個(gè)自變量后，前面增加的某個(gè)自變量對模型的貢獻(xiàn)變得不顯著，這個(gè)變量就會(huì)被剔除按此方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中2023/2/143逐步回歸

(stepwiseregression)2023/2/144參數(shù)的最小二乘法(逐步回歸)【例】根據(jù)例3.1的數(shù)據(jù)，用逐步回歸方法建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并求出不良貸款的置信區(qū)間和預(yù)測區(qū)間

第1步：選擇【Analyze】下拉菜單，并選擇

【Regression-linear】選項(xiàng)進(jìn)入主對話框第2步：在主對話框中將因變量選入【Dependent】，將所有自變量選入【Independent(s)】，并在

【Method】下選擇【Stepwise】第3步：點(diǎn)擊【Options】，并在【SteppingMethodCriteria】下選中【UseProbabilityofF】，并在

【Entry】框中輸入增加變量所要求的顯著性水平

(隱含值為0.05，一般不用改變)；在

【Removal】輸入剔除變量所要求的顯著性水平

(隱含值為0.10，一般不用改變)。點(diǎn)擊

【Continue】回到主對話框2023/2/145用SPSS進(jìn)行逐步回歸

(stepwiseregression)第4步：(需要預(yù)測時(shí))點(diǎn)擊【Save】：在【PredictedValues】下選中

【Unstandardized】(輸出點(diǎn)預(yù)測值)

在【Predictioninterval】下選中【Mean】和

【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間)

在【ConfidenceInterval】中選擇所要求的置信水平(隱含值為95%，一般不用改變)(需要?dú)埐罘治鰰r(shí))在【Residuals】下選中所需的殘差，點(diǎn)擊【Continue】回到主對話框。點(diǎn)擊【OK】2023/2/146用SPSS進(jìn)行逐步回歸

(stepwiseregression)2023/2/1逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進(jìn)入和移出標(biāo)準(zhǔn)2023/2/1逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個(gè)模型的主要統(tǒng)計(jì)量2023/2/1逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個(gè)模型的方差分析表2023/2/150逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個(gè)模型的參數(shù)估計(jì)和檢驗(yàn)

第四節(jié)利用回歸方程進(jìn)行預(yù)測2023/2/1512023/2/152置信區(qū)間和預(yù)測區(qū)間(例題分析)2023/2/1置信區(qū)間和預(yù)測區(qū)間(例題分析)不良貸款的置信面和預(yù)測面二元回歸面置信面預(yù)測面回歸面第五節(jié)

虛擬自變量的回歸一、在模型中引進(jìn)虛擬變量二、含有一個(gè)虛擬自變量的回歸2023/2/154一、在模型中引進(jìn)虛擬變量2023/2/155也稱啞變量。用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個(gè)水平的虛擬自變量比如，性別(男，女)有兩個(gè)以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)虛擬變量的取值為0，12023/2/156虛擬自變量(dummyvariable)回歸模型中使用虛擬自變量時(shí)，稱為虛擬自變量的回歸當(dāng)虛擬自變量只有兩個(gè)水平時(shí)，可在回歸中引入一個(gè)虛擬變量比如，性別(男，女)一般而言，如果定性自變量有k個(gè)水平，需要在回歸中模型中引進(jìn)k-1個(gè)虛擬變量2023/2/157在回歸中引進(jìn)虛擬變量考試成績性別X75男096女168男051男078女181女172男069男088女193男062男076女145男075女165女195女12023/2/158在回歸中引進(jìn)虛擬變量(例題分析)【例】為研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機(jī)抽取男女學(xué)生各8名，得到他們的市場營銷學(xué)課程的考試成績?nèi)缬冶矶?、含有一個(gè)虛擬自變量的回歸2023/2/159考試成績性別X75男096女168男051男078女181女172男069男088女193男062男076女145男075女165女195女12023/2/160在回歸中引進(jìn)虛擬變量

(例題分析)【例】建立考試分?jǐn)?shù)與性別之間的線性回歸方程，并解釋回歸系數(shù)的含義

引進(jìn)虛擬變量時(shí)，回歸方程表示為E(y)=0+1x男(x=0)：E(