多元相關(guān)與回歸分析

多元相關(guān)與回歸分析第1頁，共58頁，2023年，2月20日，星期一學(xué)習(xí)目標(biāo)1. 回歸模型、回歸方程、估計(jì)的回歸方程2. 回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗(yàn)利用回歸方程進(jìn)行估計(jì)和預(yù)測非線性回歸用SPSS進(jìn)行回歸分析第2頁，共58頁，2023年，2月20日，星期一9.1多元線性回歸模型9.1.1多元回歸模型與回歸方程9.1.2估計(jì)的多元回歸方程9.1.3參數(shù)的最小二乘估計(jì)第3頁，共58頁，2023年，2月20日，星期一多元回歸模型與回歸方程第4頁，共58頁，2023年，2月20日，星期一多元回歸模型

(multipleregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項(xiàng)μ

的方程，稱為多元回歸模型涉及p個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)μ

是被稱為誤差項(xiàng)的隨機(jī)變量y是x1,，x2

，，xp

的線性函數(shù)加上誤差項(xiàng)μ

μ包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性第5頁，共58頁，2023年，2月20日，星期一多元回歸模型

(基本假定)誤差項(xiàng)μ是一個(gè)期望值為0的隨機(jī)變量，即E(μ)=0對于自變量x1，x2，…，xp的所有值，μ的方差2都相同誤差項(xiàng)μ是一個(gè)服從正態(tài)分布的隨機(jī)變量，即μ-N(0,2)，且相互獨(dú)立第6頁，共58頁，2023年，2月20日，星期一多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xp的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

p

xpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值第7頁，共58頁，2023年，2月20日，星期一估計(jì)的多元回歸方程第8頁，共58頁，2023年，2月20日，星期一估計(jì)的多元回歸的方程

(estimatedmultipleregressionequation)用樣本統(tǒng)計(jì)量估計(jì)回歸方程中的參數(shù)

時(shí)得到的方程由最小二乘法求得是估計(jì)值是y的估計(jì)值第9頁，共58頁，2023年，2月20日，星期一參數(shù)的最小二乘估計(jì)第10頁，共58頁，2023年，2月20日，星期一參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即第11頁，共58頁，2023年，2月20日，星期一參數(shù)的最小二乘法

(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義第12頁，共58頁，2023年，2月20日，星期一9.2回歸方程的擬合優(yōu)度9.2.1多重判定系數(shù)9.2.2估計(jì)標(biāo)準(zhǔn)誤差第13頁，共58頁，2023年，2月20日，星期一多重判定系數(shù)第14頁，共58頁，2023年，2月20日，星期一多重判定系數(shù)

(multiplecoefficientofdetermination)回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例第15頁，共58頁，2023年，2月20日，星期一在樣本容量一定的條件下，不斷向模型中增加自變量，即使新增的變量與Y不相關(guān)，模型的R2也可能上升，至少不會(huì)下降。在實(shí)際應(yīng)用中，研究人員更歡迎簡單的模型，這樣的模型更簡單和易于解釋。如果根據(jù)R2來選擇模型，顯然會(huì)傾向于復(fù)雜的模型。更常用的指標(biāo)是“修正后的Ra2”。修正的判定系數(shù)第16頁，共58頁，2023年，2月20日，星期一修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)用樣本容量n和自變量的個(gè)數(shù)p去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2第17頁，共58頁，2023年，2月20日，星期一估計(jì)標(biāo)準(zhǔn)誤差Sy對誤差項(xiàng)μ的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為第18頁，共58頁，2023年，2月20日，星期一9.3顯著性檢驗(yàn)9.3.1線性關(guān)系檢驗(yàn)9.3.2回歸系數(shù)檢驗(yàn)和推斷第19頁，共58頁，2023年，2月20日，星期一線性關(guān)系檢驗(yàn)第20頁，共58頁，2023年，2月20日，星期一線性關(guān)系檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著，也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系第21頁，共58頁，2023年，2月20日，星期一線性關(guān)系檢驗(yàn)提出假設(shè)H0：12p=0線性關(guān)系不顯著H1：1，2，，p至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F

4.作出決策：若F>F

，拒絕H0第22頁，共58頁，2023年，2月20日，星期一回歸系數(shù)檢驗(yàn)和推斷回歸方程顯著，并不意味著每個(gè)解釋變量對因變量Y的影響都重要,因此需要進(jìn)行檢驗(yàn)：回歸系數(shù)檢驗(yàn)的必要性回歸方程顯著每個(gè)回歸系數(shù)都顯著第23頁，共58頁，2023年，2月20日，星期一回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不能拒絕H0第24頁，共58頁，2023年，2月20日，星期一回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在1-

置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差第25頁，共58頁，2023年，2月20日，星期一9.4多重共線性9.4.1多重共線性及其所產(chǎn)生的問題9.4.2多重共線性的判別9.4.3多重共線性問題的處理第26頁，共58頁，2023年，2月20日，星期一多重共線性回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)多重共線性帶來的問題有t檢驗(yàn)值會(huì)減小、系數(shù)的顯著性下降。對于一組存在高度多重共線性的自變量，很難對單個(gè)系數(shù)進(jìn)行解釋。有可能導(dǎo)致各回歸系數(shù)的符號同我們的預(yù)期相反。Excel輸出結(jié)果的分析第27頁，共58頁，2023年，2月20日，星期一多重共線性的識(shí)別第28頁，共58頁，2023年，2月20日，星期一多重共線性的識(shí)別檢測多重共線性的最簡單的一種辦法是計(jì)算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)若有一個(gè)或多個(gè)相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)。當(dāng)模型的線性關(guān)系檢驗(yàn)(F檢驗(yàn))顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著回歸系數(shù)的正負(fù)號與預(yù)期的相反。Excel輸出結(jié)果的分析第29頁，共58頁，2023年，2月20日，星期一多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性貸款余額、應(yīng)收貸款、貸款項(xiàng)目、固定資產(chǎn)投資額之間的相關(guān)矩陣第30頁，共58頁，2023年，2月20日，星期一多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性相關(guān)系數(shù)的檢驗(yàn)統(tǒng)計(jì)量第31頁，共58頁，2023年，2月20日，星期一多重共線性

(例題分析)

t(25-2)=2.0687，所有統(tǒng)計(jì)量t>t(25-2)=2.0687，所以均拒絕原假設(shè)，說明這4個(gè)自變量兩兩之間都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F＝1.03539E-06<=0.05)。而回歸系數(shù)檢驗(yàn)時(shí)卻有3個(gè)沒有通過t檢驗(yàn)(P-Value=0.074935，0.862853，0.067030>=0.05)。這也暗示了模型中存在多重共線性固定資產(chǎn)投資額的回歸系數(shù)為負(fù)號(-0.029193)，與預(yù)期的不一致第32頁，共58頁，2023年，2月20日，星期一多重共線性問題的處理第33頁，共58頁，2023年，2月20日，星期一多重共線性

(問題的處理)將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計(jì)量對單個(gè)參數(shù)進(jìn)行檢驗(yàn)對因變量值的推斷(估計(jì)或預(yù)測)的限定在自變量樣本值的范圍內(nèi)Excel輸出結(jié)果的分析第34頁，共58頁，2023年，2月20日，星期一多元回歸中的變量篩選在多元回歸中，預(yù)先選定的自變量不一定都對Y有顯著的影響。有一些統(tǒng)計(jì)方法可以幫助我們從眾多可能的自變量中篩選出重要的自變量。SPSS軟件提供了多種篩選自變量的方法：“向前引入法（Forward）”“向后剔除法（Backward）”“逐步引入—剔除法（Stepwise）”第35頁，共58頁，2023年，2月20日，星期一逐步回歸的思想將變量逐一引入回歸方程，先建立與y相關(guān)最密切的一元線性回歸方程，然后再找出第二個(gè)變量，建立二元線性回歸方程，…。在每一步中都要對引入變量的顯著性作檢驗(yàn)，僅當(dāng)其顯著時(shí)才引入，而每引入一個(gè)新變量后，對前面已引進(jìn)的變量又要逐一檢驗(yàn)，一旦發(fā)現(xiàn)某變量變得不顯著了，就要將它剔除。這些步驟反復(fù)進(jìn)行，直到引入的變量都是顯著的而沒有引入的變量都是不顯著的時(shí)，就結(jié)束挑選變量的工作。可以設(shè)定引入和刪除變量的條件。第36頁，共58頁，2023年，2月20日，星期一9.5非線性回歸9.5.1雙曲線9.5.2冪函數(shù)曲線9.5.3對數(shù)曲線第37頁，共58頁，2023年，2月20日，星期一非線性回歸1. 因變量y與x之間不是線性關(guān)系2. 可通過變量代換轉(zhuǎn)換成線性關(guān)系用最小二乘法求出參數(shù)的估計(jì)值并非所有的非線性模型都可以化為線性模型第38頁，共58頁，2023年，2月20日，星期一雙曲線<0>0基本形式：線性化方法令：y'=1/y，x'=1/x,則有y'

=+x'圖像第39頁，共58頁，2023年，2月20日，星期一冪函數(shù)曲線基本形式：線性化方法兩端取對數(shù)得：lgy=lg+lgx令：y'=lgy，x'=lgx，則y'

=lg+x‘圖像0<<11=1-1<<0<-1=-1第40頁，共58頁，2023年，2月20日，星期一對數(shù)曲線基本形式：線性化方法x'=lnx,則有y'

=+x‘圖像0<0第41頁，共58頁，2023年，2月20日，星期一指數(shù)曲線基本形式：線性化方法兩端取對數(shù)得：lny

=ln+x令：y'=lny，則有y'

=ln+x圖像第42頁，共58頁，2023年，2月20日，星期一S型曲線基本形式：線性化方法令：y'=1/y，x'=e-x,則有y'

=+x圖像第43頁，共58頁，2023年，2月20日，星期一非線性回歸

(例題分析)【例】一種商品的需求量與其價(jià)格有一定的關(guān)系?，F(xiàn)對一定時(shí)期內(nèi)的商品價(jià)格x與需求量y進(jìn)行觀察，取得的樣本數(shù)據(jù)如下表。試判斷商品價(jià)格與需求量之間回歸函數(shù)的類型，并求需求量對價(jià)格的回歸方程廢品率與生產(chǎn)率的關(guān)系價(jià)格

(元)x12345678910需求量(千克)y58504438343029262524第44頁，共58頁，2023年，2月20日，星期一非線性回歸

(例題分析)價(jià)格與需求量的散點(diǎn)圖第45頁，共58頁，2023年，2月20日，星期一非線性回歸

(例題分析)用雙曲線模型：按線性回歸的方法求解和，得第46頁，共58頁，2023年，2月20日，星期一SPSS中可以進(jìn)行的曲線回歸包括：第47頁，共58頁，2023年，2月20日，星期一曲線回歸的