《管理統(tǒng)計(jì)學(xué)》第十章 回歸分析課件

第十章回歸分析一元回歸多元回歸逐步回歸《管理統(tǒng)計(jì)學(xué)》第十章回歸分析一元回歸分析二、回歸的涵義一、回歸的起源三、相關(guān)分析與回歸分析的關(guān)系四、回歸分析的任務(wù)五、回歸分析的種類2《管理統(tǒng)計(jì)學(xué)》第十章回歸分析一、回歸的起源

英國統(tǒng)計(jì)學(xué)家F·Gaiton。研究父母身高與其子女身高的遺傳問題時(shí)，觀察了1078對夫婦。計(jì)算出的回歸直線方程為：解釋了人類身高在一定時(shí)間內(nèi)相對穩(wěn)定的現(xiàn)象。3《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

回歸：揭示出不確定數(shù)量關(guān)系的內(nèi)在數(shù)量變化規(guī)律，并通過一定的表達(dá)式描述數(shù)量之間的這種內(nèi)在關(guān)系的方法。不確定性的函數(shù)關(guān)系二、回歸的涵義數(shù)據(jù)之間的關(guān)系函數(shù)確定性的函數(shù)關(guān)系回歸方程4《管理統(tǒng)計(jì)學(xué)》第十章回歸分析（1）相關(guān)分析的兩個(gè)變量必須都是隨機(jī)變量；回歸分析的因變量是隨機(jī)變量。（2）相關(guān)分析的兩個(gè)變量是平等的；回歸分析的因變量是被解釋變量。解釋變量可以是刻度級、順序級、名義級的變量，不論是什么級別的數(shù)據(jù),都必須用數(shù)字(numeric)型的來表示。（3）相關(guān)分析是揭示兩個(gè)變量的密切程度，通過相關(guān)系數(shù)；回歸分析是揭示兩個(gè)變量的內(nèi)在數(shù)量變化規(guī)律，通過回歸方程。三、相關(guān)分析與回歸分析的關(guān)系二者側(cè)重的點(diǎn)和應(yīng)用的面不同：

《管理統(tǒng)計(jì)學(xué)》第十章回歸分析四、回歸分析的任務(wù)（1）通過分析大量的樣本數(shù)據(jù)，確定變更量之間的數(shù)學(xué)表達(dá)式；（2）對確定的數(shù)學(xué)關(guān)系式的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)找出對某一特定變量影響較為顯著的變量和不顯著的變量；（3）利用確定的數(shù)學(xué)關(guān)系式，根據(jù)自變量預(yù)測或控制因變量的取值，并找出這種預(yù)測或控制的精確度。6《管理統(tǒng)計(jì)學(xué)》第十章回歸分析五、回歸分析的種類一元線性回歸分析多元線性回歸分析線性回歸分析的種類7《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸方程的顯著性檢驗(yàn)一元線性回歸分析二、一元線性回歸一、一元線性回歸模型的設(shè)定三、回歸系數(shù)的顯著性檢驗(yàn)四、回歸分析的置信區(qū)間五、標(biāo)準(zhǔn)回歸系數(shù)回歸效果的檢驗(yàn)回歸系數(shù)總體均值方程的檢驗(yàn)一元線性回歸的SPSS實(shí)現(xiàn)8《管理統(tǒng)計(jì)學(xué)》第十章回歸分析高斯假設(shè)一、一元線性回歸模型的設(shè)定1.總體回歸模型：2.樣本回歸模型：總體回歸直線：樣本回歸直線：即9《管理統(tǒng)計(jì)學(xué)》第十章回歸分析高斯假設(shè)(1)(2)(3)(4)(5)(6)。分布。正態(tài)性假設(shè)；為隨機(jī)變量；等方差性假設(shè)，即所有隨機(jī)誤差都具有相同方差隨機(jī)擾動(dòng)項(xiàng)協(xié)方差等于零，相互獨(dú)立。無序列相關(guān)假設(shè)；服從獨(dú)立性假設(shè)或零均值假設(shè)；10《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)：回歸方程不顯著：回歸方程顯著：總離差平方和：剩余平方和/殘差平方和：回歸離差平方和11《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸效果的檢驗(yàn)——判定相關(guān)系數(shù)檢驗(yàn)若全部觀測值都落在回歸直線上，則若x完全無助于解釋y的變動(dòng)，則判定相關(guān)系數(shù)越接近1，表明回歸平方和占總離差平方和的比例越大，用x的變動(dòng)解釋y值變動(dòng)的部分就越多，回歸的效果就越好?！狥檢驗(yàn)12《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸效果的檢驗(yàn)——F檢驗(yàn)式中：：樣本容量：自變量的個(gè)數(shù)：判定系數(shù)13《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸系數(shù)的顯著性檢驗(yàn)——T檢驗(yàn)～成立,即當(dāng)時(shí)顯著異于0。針對回歸系數(shù)的統(tǒng)計(jì)量的顯著性檢驗(yàn)決定了相應(yīng)的變量能否作為解釋變量進(jìn)入回歸方程。14《管理統(tǒng)計(jì)學(xué)》第十章回歸分析總體均值的置信區(qū)間～用代替可以得到統(tǒng)計(jì)量～15《管理統(tǒng)計(jì)學(xué)》第十章回歸分析回歸系數(shù)的置信區(qū)間給定一置信水平區(qū)間為水平上的置信區(qū)間。例，則即16《管理統(tǒng)計(jì)學(xué)》第十章回歸分析標(biāo)準(zhǔn)化即剔除自變量單位的影響，是指對變量標(biāo)準(zhǔn)回歸系數(shù)進(jìn)行如下處理：轉(zhuǎn)化為標(biāo)準(zhǔn)方程于是原始方程，式中：17《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

SPSS的實(shí)現(xiàn)：Analyze菜單Regression項(xiàng)中選擇Linear命令。18《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

SPSS的實(shí)現(xiàn)：Analyze菜單Regression項(xiàng)中選擇Linear命令。**

Method處下拉菜單**

WSL選項(xiàng)**

Statistics按鈕**

Plots按鈕**

Save按鈕**

Options按鈕《管理統(tǒng)計(jì)學(xué)》第十章回歸分析Enter：強(qiáng)行進(jìn)入法，即所選自變量全部進(jìn)入模型。Remove：強(qiáng)制剔除法，即建立回歸方程時(shí)，根據(jù)設(shè)定的條件從回歸方程中剔除部分自變量。Backward：向后剔除法，根據(jù)Option對話框中設(shè)定的判據(jù)，先建立全模型，然后根據(jù)設(shè)置的判據(jù)，每次剔除一個(gè)使方差分析中的F值最小的自變量，直到回歸方程中不再含有不符合判據(jù)的自變量為止。Forward：向前選擇法。Stepwise：逐步進(jìn)入法，根據(jù)Option對話框中設(shè)定的判據(jù)及方差分析結(jié)果，選擇符合判據(jù)的自變量與因變量相關(guān)程度最高的進(jìn)入回歸方程。依據(jù)Forward選入自變量，依據(jù)Backward將模型中F值最小且符合剔除判據(jù)的變量剔除，重復(fù)Method處下拉菜單，共有5個(gè)選項(xiàng)：《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

WSL選項(xiàng)是存在異方差時(shí)，利用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸模型參數(shù)。通過WSL可以選定一個(gè)變量作為加權(quán)變量。在實(shí)際問題中，如果無法自行確定權(quán)重變量，可以用SPSS的權(quán)重估計(jì)來實(shí)現(xiàn)。《管理統(tǒng)計(jì)學(xué)》第十章回歸分析Descriptives：輸出自變量和因變量的均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)矩陣及單側(cè)檢驗(yàn)概率。Estimates：輸出與回歸系數(shù)相關(guān)統(tǒng)計(jì)量。有：回歸系數(shù)、回歸系數(shù)的標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)回歸系數(shù)、T統(tǒng)計(jì)量和相應(yīng)的相伴概率、各自變量的容忍度。Confidenceintervals：輸出每一個(gè)非標(biāo)準(zhǔn)化回歸系數(shù)95%的可信區(qū)間。Covariancematix：輸出方程中各自變量間的相關(guān)系數(shù)矩陣及各變量的協(xié)方差矩陣。Modelfit：輸出判定系數(shù)、調(diào)整的判定系數(shù)、回歸方程的標(biāo)準(zhǔn)誤差，F(xiàn)檢驗(yàn)的ANOVA方差分析表。Rsquaredchange：當(dāng)回歸方程中引入或剔除一個(gè)自變量后，判定系數(shù)、F值產(chǎn)生的變化。續(xù)《管理統(tǒng)計(jì)學(xué)》第十章回歸分析Casewisediagnostics：輸出標(biāo)準(zhǔn)化殘差絕對值≥3的樣本數(shù)據(jù)點(diǎn)的相關(guān)信息，包括：標(biāo)準(zhǔn)化殘差、觀測值預(yù)測值、最小(最大)預(yù)測值、殘差、最小(最大)殘差以及它們的均值和標(biāo)準(zhǔn)差。

Outliersoutsidestandarddevistion：設(shè)置奇異值的判據(jù)，默認(rèn)≥3倍的標(biāo)準(zhǔn)差。

Allcase：輸出所有樣本數(shù)據(jù)有關(guān)殘差值。Partandpartialcorrelation：輸出方程中各自變量與因變量之間的簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)與部分相關(guān)系數(shù)。Collinearitydiagnostics：多重共線性分析，輸出各自變量的容限度、方差膨脹因子、最小容忍度、特征值、條件指標(biāo)及方差比例等。Durbin-Watson：輸出Durbin-watson檢驗(yàn)值?！豆芾斫y(tǒng)計(jì)學(xué)》第十章回歸分析24《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

Plots對話框用來檢驗(yàn)殘差序列的正態(tài)性、隨機(jī)性和是否存在異方差現(xiàn)象。Produceallpartialplots：輸出每一個(gè)自變量殘差相對于因變量殘差的散布圖。**

ZPRED選項(xiàng)：標(biāo)準(zhǔn)化預(yù)測值。**

ZRESID選項(xiàng)：標(biāo)準(zhǔn)化殘差。**

DRESID選項(xiàng)：剔除殘差。**

ADJPRED選項(xiàng)：修正后預(yù)測值。**

SRESID選項(xiàng)：學(xué)生化殘差。**

SDRESID選項(xiàng)：學(xué)生化剔除殘差?！豆芾斫y(tǒng)計(jì)學(xué)》第十章回歸分析26《管理統(tǒng)計(jì)學(xué)》第十章回歸分析Mahalanobis：保存Mahalanobis距離Cook’s：保存Cook距離Leveragevalues：保存中心點(diǎn)杠桿值Individual：保存一個(gè)觀測量上限與下限的預(yù)測區(qū)間。Studentized：學(xué)生化殘差Deleted：剔除殘差Studentizeddeleted：學(xué)生剔除殘差DfBeta(s)：因排除一個(gè)特定的觀察值所引起的回歸系數(shù)的變化。若該值＞2，則被排除的觀測值有可能是影響點(diǎn)。DfFit：因排除一個(gè)特定的觀測值所引起的觀測值的變化?！豆芾斫y(tǒng)計(jì)學(xué)》第十章回歸分析UseprobalitlityofF：以回歸系數(shù)顯著性檢驗(yàn)中各自變量的F統(tǒng)計(jì)量的相伴概率作為自變量是否引入模型或者從模型中剔除的標(biāo)準(zhǔn)。實(shí)際應(yīng)用中，應(yīng)使Entry值小于Remove值，否則，自變量一進(jìn)入方程就會(huì)被立即剔除。UseFvalue：以回歸系數(shù)顯著性檢驗(yàn)中的各自變量的F統(tǒng)計(jì)量作為自變量進(jìn)入模型或者從模型中剔除的標(biāo)準(zhǔn)。IncludeconstantinequationF：表示回歸方程中將包含常數(shù)項(xiàng)。《管理統(tǒng)計(jì)學(xué)》第十章回歸分析29《管理統(tǒng)計(jì)學(xué)》第十章回歸分析30《管理統(tǒng)計(jì)學(xué)》第十章回歸分析31《管理統(tǒng)計(jì)學(xué)》第十章回歸分析多元線性回歸分析一個(gè)被解釋變量(因變量)，的線性模型，多個(gè)解釋變量(自變量)多元回歸的高斯假設(shè)多元回歸的種類全部強(qiáng)行進(jìn)入回歸：所有自變量全部進(jìn)入回歸模型逐步回歸：所有的自變量依次進(jìn)入回歸模型32《管理統(tǒng)計(jì)學(xué)》第十章回歸分析或者多元回歸的高斯假設(shè)(1)為隨機(jī)向量(2)(3)(4)包括(5)為確定矩陣(6)秩(7)行列式遠(yuǎn)離零。33《管理統(tǒng)計(jì)學(xué)》第十章回歸分析逐步回歸第一種方法第二種方法第三種方法34《管理統(tǒng)計(jì)學(xué)》第十章回歸分析的顯著性概率應(yīng)當(dāng)滿足：統(tǒng)計(jì)量的值第一種方法最大的統(tǒng)計(jì)量在考慮對已知的一群變量回歸時(shí)，從變量中，逐步選出對已解釋變差的貢獻(xiàn)(即偏解釋變差)最大的變量，進(jìn)入回歸方程。而對已解釋變差的貢獻(xiàn)大小的判別依據(jù)，是包含了偏解釋變差的。統(tǒng)計(jì)量的值先進(jìn)入方程；最后一個(gè)進(jìn)入方程的自變量小于等于選定的顯著性水平。35《管理統(tǒng)計(jì)學(xué)》第十章回歸分析第二種方法在剔除時(shí)，其統(tǒng)計(jì)量的值大于選定的顯著性水平先把對所有的自變量回歸，然后逐步把最小的剔除出方程，所有剔除出方程的的顯著性概率。36《管理統(tǒng)計(jì)學(xué)》第十章回歸分析概率所對照的顯著性水平第三種方法的顯著性慨率所對照的顯著性水平則要取得是一邊進(jìn)、一邊出?！斑M(jìn)”變量的的顯著性通常取得大一些，以便能夠有更多的的外側(cè)概率(顯著性概率)小于從而使較多的變量進(jìn)入方程。而“出”的變量大于“進(jìn)”“出”方程，陷入死循環(huán)。更大一些，以便能夠有較少的的顯著性慨率從而有更少的變量被剔除出方程，防止變量☆注意☆37《管理統(tǒng)計(jì)學(xué)》第十章回歸分析的自變量。因?yàn)槊刻砑踊蛑鸩教砑臃ɑ蛑鸩教蕹ǎ紤?yīng)當(dāng)強(qiáng)調(diào)的顯著性概率是否小于等于選定的顯著性水平來決定是否作為剔除一個(gè)變量都會(huì)引起所有回歸系數(shù)及統(tǒng)計(jì)量的的變化。一次處理，會(huì)造成誤判。只有逐步處理，才是恰當(dāng)?shù)??！爸鸩健?，不能一次按照各個(gè)變量的統(tǒng)計(jì)量值值☆注意☆《管理統(tǒng)計(jì)學(xué)》第十章回歸分析

回歸分析是研究隨機(jī)變量之間的相關(guān)關(guān)系的一種統(tǒng)計(jì)方法。其用意是研究一個(gè)被解釋變量(因變量)與一個(gè)或多個(gè)解釋變量(自變量)之間的統(tǒng)計(jì)關(guān)系。解釋變量可以是刻度級、順序級、名義級的變量。不論是什么級別的數(shù)據(jù),都必須用數(shù)字(Numeric)型的來表示。一、一元線性回歸

一元線性回歸，只研究一個(gè)自變量與一個(gè)因變量之間的統(tǒng)計(jì)關(guān)系。第一節(jié)一元回歸分析39《管理統(tǒng)計(jì)學(xué)》第十章回歸分析人均收入與人均食品支出關(guān)系的散點(diǎn)圖《管理統(tǒng)計(jì)學(xué)》第十章回歸分析例如，某企業(yè)產(chǎn)品廣告費(fèi)和銷售收入