第五章(多元回歸分析)

2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心1第5章多元線性回歸

§5.1多元線性回歸模型§5.2多元回歸參數(shù)的估計§5.3參數(shù)估計量的性質(zhì)§5.4回歸方程的顯著性檢驗§5.5中心化和標(biāo)準(zhǔn)化§5.6相關(guān)陣與偏相關(guān)系數(shù)§5.7建?？偨Y(jié)與評注

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心2第5章多元線性回歸目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心3§5.1多元線性回歸模型一、多元線性回歸模型的一般形式

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心4§5.1多元線性回歸模型目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心5§5.1多元線性回歸模型目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心6§5.1多元線性回歸模型矩陣X是一n×(p+1)矩陣,稱X為回歸設(shè)計矩陣或資料矩陣。在實驗設(shè)計中，X的元素是預(yù)先設(shè)定并可以控制的,人的主觀因素可作用其中,因而稱X為設(shè)計矩陣。二、多元線性回歸模型的基本假定為了方便地進(jìn)行模型的參數(shù)估計,對回歸方程（5.4）式有如下一些基本假定。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心7§5.1多元線性回歸模型目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心8§5.1多元線性回歸模型目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心9§5.1多元線性回歸模型三、多元線性回歸方程的解釋

為了給多元線性回歸方程及其回歸系數(shù)一個解釋,下面以p=2的一個微觀經(jīng)濟(jì)問題為例給出回歸方程的幾何解釋和回歸系數(shù)的經(jīng)濟(jì)意義。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心10§5.1多元線性回歸模型目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心11§5.1多元線性回歸模型對于回歸方程（5.13）式的圖形,已不像一元線性回歸時那樣,是一條直線,而是一個回歸平面。而對一般情況的回歸方程（5.3）式，當(dāng)p>2時，回歸方程是一個超平面，無法用幾何圖形表示。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心12§5.2多元回歸參數(shù)的估計

一、回歸參數(shù)的普通最小二乘估計目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心13§5.2多元回歸參數(shù)的估計

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心14§5.2多元回歸參數(shù)的估計

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心15§5.2多元回歸參數(shù)的估計

二、回歸值與殘差目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心16§5.2多元回歸參數(shù)的估計

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心17§5.2多元回歸參數(shù)的估計

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心18§5.2多元回歸參數(shù)的估計

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心19§5.2多元回歸參數(shù)的估計

這是一個重要的結(jié)論,我們在多元線性回歸模型的基本假定中曾經(jīng)用過它,這里就更可清楚這個假定的重要意義。結(jié)論說明,要想用OLSE估計多元線性回歸模型的未知參數(shù),樣本容量必須不少于模型中參數(shù)的個數(shù)。在后邊關(guān)于回歸方程的假設(shè)檢驗中也少不了這一假設(shè),否則檢驗無任何意義。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心20§5.2多元回歸參數(shù)的估計三、實例分析例5.1生產(chǎn)總值是衡量一個國家或地區(qū)經(jīng)濟(jì)發(fā)展?fàn)顩r的重要指標(biāo)，影響一個國家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動力、進(jìn)出口、國家基礎(chǔ)設(shè)施建設(shè)等多方面的因素。本例研究財政支出對生產(chǎn)總值的影響。《中國統(tǒng)計年鑒》把財政支出劃分為31個組成部分。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心21§5.2多元回歸參數(shù)的估計

采用2005年我國31個省、市、自治區(qū)的數(shù)據(jù)，以地區(qū)生產(chǎn)總值（萬元）為因變量y，以如上13種支出為自變量做多元線性回歸，數(shù)據(jù)見表5.1，其中自變量單位為萬元人民幣。用SPSS軟件計算出回歸系數(shù)表見表5.2：目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心22§5.2多元回歸參數(shù)的估計

這一回歸方程并不理想,所選自變量數(shù)目過多，回歸系數(shù)的顯著性檢驗不能通過，自變量間存在共線性，回歸系數(shù)的經(jīng)濟(jì)意義不好解釋,這里只是作為多元線性回歸參數(shù)估計的一例,后邊我們將要進(jìn)一步完善這一問題模型的建立。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心23§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心24§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心25§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心26§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心27§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心28§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心29§5.3參數(shù)估計量的性質(zhì)

性質(zhì)4Gauss-Markov定理目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心30§5.3參數(shù)估計量的性質(zhì)

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心31§5.4回歸方程的顯著性檢驗當(dāng)求出線性回歸方程后,還需對回歸方程進(jìn)行顯著性檢驗。多元線性回歸方程的顯著性檢驗與一元線性回歸方程的顯著性檢驗既有相同之處，也有不同之處。下面介紹兩種統(tǒng)計檢驗方法,一是回歸方程顯著性的F檢驗,另一個是回歸系數(shù)顯著性的t檢驗。同時介紹衡量回歸擬合程度的擬合優(yōu)度檢驗。一、F檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心32§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心33§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心34§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心35§5.4回歸方程的顯著性檢驗對例5.1題的數(shù)據(jù),用SPSS軟件計算出的方差分析表如下：

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心36§5.4回歸方程的顯著性檢驗二、回歸系數(shù)的顯著性檢驗在多元線性回歸中,回歸方程顯著并不意味著每個自變量對y的影響都顯著,因此我們總想從回歸方程中剔除那些次要的、可有可無的變量,重新建立更為簡單的回歸方程。所以就需要對每個自變量進(jìn)行顯著性檢驗。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心37§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心38§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心39§5.4回歸方程的顯著性檢驗由于某些自變量不顯著，因而在多元回歸中并不是包含在回歸方程中的自變量越多越好，這個問題將在第七章逐步回歸中做詳細(xì)討論。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心40§5.4回歸方程的顯著性檢驗在此僅介紹一種簡單的剔除多余變量的方法—后退法。當(dāng)有多個自變量對因變量y無顯著性影響時,由于自變量之間的交互作用,不能一次剔除掉所有不顯著的變量。原則上每次只剔除一個變量,先剔除其中|t|值最小的（或P值最大的）一個變量,然后再對求得的新的回歸方程進(jìn)行檢驗,有不顯著變量再剔除,直到保留的變量都對y有顯著影響為止。也可根據(jù)對問題的定性分析選擇t值較小的變量先剔除。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心41§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心42§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心43§5.4回歸方程的顯著性檢驗在一元線性回歸中，回歸系數(shù)顯著性的t檢驗與回歸方程顯著性的F檢驗是等價的，而在多元線性回歸中，這兩種檢驗不同。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心44§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心45§5.4回歸方程的顯著性檢驗三、擬合優(yōu)度

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心46§5.4回歸方程的顯著性檢驗在兩個變量的簡單相關(guān)系數(shù)中,相關(guān)系數(shù)有正負(fù)之分,而復(fù)相關(guān)系數(shù)表示的是因變量y與全體自變量之間的線性關(guān)系,它的符號不能由某一個自變量的回歸系數(shù)的符號來確定,因而復(fù)相關(guān)系數(shù)都取正號。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心47§5.4回歸方程的顯著性檢驗?zāi)夸浬享撓马摲祷亟Y(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心48§5.5中心化和標(biāo)準(zhǔn)化

在多元線性回歸分析中,因為涉及到多個自變量,自變量的單位往往不同,給利用回歸方程進(jìn)行結(jié)構(gòu)分析帶來一定困難。再因為多元回歸涉及的數(shù)據(jù)量很大,就可能由于舍入誤差而使計算結(jié)果不理想。盡管計算機(jī)能使我們保留更多位的小數(shù),但舍入誤差肯定還會出現(xiàn)。因此,對原始數(shù)據(jù)進(jìn)行一些處理,盡量避免大的誤差是有實際意義的。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心49§5.5中心化和標(biāo)準(zhǔn)化

一、中心化目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心50§5.5中心化和標(biāo)準(zhǔn)化

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心51§5.5中心化和標(biāo)準(zhǔn)化

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心52§5.5中心化和標(biāo)準(zhǔn)化

二、標(biāo)準(zhǔn)化回歸系數(shù)在上述中心化的基礎(chǔ)上,可進(jìn)一步給出變量的標(biāo)準(zhǔn)化和標(biāo)準(zhǔn)化回歸系數(shù)。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心53§5.5中心化和標(biāo)準(zhǔn)化

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心54§5.5中心化和標(biāo)準(zhǔn)化

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心55§5.5中心化和標(biāo)準(zhǔn)化

當(dāng)自變量所使用的單位不同時,用普通最小二乘估計建立的回歸方程,其回歸系數(shù)不具有可比性，得不到合理的解釋。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心56§5.5中心化和標(biāo)準(zhǔn)化

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心57§5.5中心化和標(biāo)準(zhǔn)化

標(biāo)準(zhǔn)化回歸系數(shù)是比較自變量對y影響程度相對重要性的一種較為理想的方法，有了標(biāo)準(zhǔn)化回歸系數(shù)后,變量的相對重要性就容易進(jìn)行比較了。但是,我們?nèi)蕴嵝讶藗儗貧w系數(shù)的解釋須采取謹(jǐn)慎的態(tài)度,這是因為當(dāng)自變量相關(guān)時會影響標(biāo)準(zhǔn)化回歸系數(shù)的大小。參見參考文獻(xiàn)［13］。幾乎所有的統(tǒng)計軟件在建立多元線性回歸方程時都會自動給出標(biāo)準(zhǔn)化回歸系數(shù)，通常他們稱為貝它（Beta）值。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心58§5.6相關(guān)陣與偏相關(guān)系數(shù)一、樣本相關(guān)陣

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心59§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心60§5.6相關(guān)陣與偏相關(guān)系數(shù)用SPSS軟件計算出的例5.1生產(chǎn)總值數(shù)據(jù)的增廣樣本相關(guān)陣為目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心61§5.6相關(guān)陣與偏相關(guān)系數(shù)二、偏判定系數(shù)在多元線性回歸分析中,當(dāng)其他變量被固定后,給定的任兩個變量之間的相關(guān)系數(shù),叫偏相關(guān)系數(shù)。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心62§5.6相關(guān)陣與偏相關(guān)系數(shù)在講偏相關(guān)系數(shù)之前，首先引入偏判定系數(shù)。1．兩個自變量的偏判定系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心63§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心64§5.6相關(guān)陣與偏相關(guān)系數(shù)2.一般情況其余情況依此類推。由習(xí)題知，偏判定系數(shù)與回歸系數(shù)顯著性檢驗的F值是等價的。

三、偏相關(guān)系數(shù)偏判定系數(shù)的平方根稱為偏相關(guān)系數(shù)，其符號與相應(yīng)的回歸系數(shù)的符號相同。偏相關(guān)系數(shù)與回歸系數(shù)顯著性檢驗的t值是等價的。

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心65§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心66§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心67§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心68§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心69§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心70§5.6相關(guān)陣與偏相關(guān)系數(shù)目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心71§5.7建模總結(jié)與評注

一、多元線性回歸模型的建立過程本章結(jié)合兩個經(jīng)濟(jì)問題實例介紹了多元線性回歸模型的建立過程,在此,我們再結(jié)合一個實例,把多元線性回歸模型的建立過程與應(yīng)用做一個完整的介紹。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心72§5.7建?？偨Y(jié)與評注

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心73§5.7建模總結(jié)與評注

第一步，提出因變量與自變量，搜集數(shù)據(jù)，如例5.3所示。第二步,做相關(guān)分析，設(shè)定理論模型。用SPSS軟件計算增廣相關(guān)陣，自變量的偏相關(guān)陣，輸出結(jié)果如下：

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心74§5.7建?？偨Y(jié)與評注

一般認(rèn)為鐵路客運量與民航客運量之間應(yīng)呈負(fù)相關(guān),鐵路和民航共同擁有旅客,乘了火車就乘不了飛機(jī)。但就中國的實際情況分析,我國居民的收入還很低,一般人外出旅游、出差都乘火車。近年來乘飛機(jī)的人也逐漸增多,但我國民航客運量最大的一部分是來華旅游入境人數(shù)。國內(nèi)盡管有些客人乘坐飛機(jī),但對火車客運量不會有大的影響,一是鐵路運力不足,十分緊張;二是近年來外出民工增多,而民工主要乘火車,所以不會因民航客運量增加而導(dǎo)致火車客運量下降。因此鐵路客運量與民航客運量之間的關(guān)系不密切是正常的。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心75§5.7建?？偨Y(jié)與評注

第三步,用軟件計算，輸出計算結(jié)果。本例采用SPSS軟件對原始數(shù)據(jù)作回歸分析，輸出結(jié)果如下：目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心76§5.7建?？偨Y(jié)與評注

第四步，回歸診斷1.回歸方程為目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心77§5.7建?？偨Y(jié)與評注

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心78§5.7建模總結(jié)與評注

第五步，回歸應(yīng)用

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心79§5.7建?？偨Y(jié)與評注

二、評注對于多元線性回歸模型未知參數(shù)向量β的估計最主要的方法是普通最小二乘估計OLSE。在運用OLSE估計未知參數(shù)時應(yīng)首先看具體問題的樣本數(shù)據(jù)是否滿足模型的基本假定,只有滿足基本假定的模型才能應(yīng)用OLSE。目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心80§5.7建?？偨Y(jié)與評注

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中心81§5.7建?？偨Y(jié)與評注

目錄上頁下頁返回結(jié)束2023/2/2中國人民大學(xué)六西格瑪質(zhì)量管理研究中