-應(yīng)用統(tǒng)計多元線性回歸-PPT課件

1、2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心1第5章 多元線性回歸 5.1 多元線性回歸模型 5.2 多元回歸參數(shù)的估計 5.3 參數(shù)估計量的性質(zhì) 5.4 回歸方程的顯著性檢驗5.5 中心化和標(biāo)準化 5.6 相關(guān)陣與偏相關(guān)系數(shù)5.7 建?？偨Y(jié)與評注 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心2第5章 多元線性回歸 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心35.1 多元線性回歸模型一、多元線性回歸模型的一般形式 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心45.

2、1 多元線性回歸模型 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心55.1 多元線性回歸模型 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心65.1 多元線性回歸模型矩陣X是一n(p+1)矩陣,稱X為回歸設(shè)計矩陣或資料矩陣。在實驗設(shè)計中，X的元素是預(yù)先設(shè)定并可以控制的,人的主觀因素可作用其中,因而稱X為設(shè)計矩陣。二、多元線性回歸模型的基本假定為了方便地進行模型的參數(shù)估計,對回歸方程（5.4）式有如下一些基本假定。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心75.1 多元線性回

3、歸模型 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心85.1 多元線性回歸模型 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心95.1 多元線性回歸模型三、多元線性回歸方程的解釋 為了給多元線性回歸方程及其回歸系數(shù)一個解釋,下面以p=2的一個微觀經(jīng)濟問題為例給出回歸方程的幾何解釋和回歸系數(shù)的經(jīng)濟意義。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心105.1 多元線性回歸模型 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心115.1 多元線性

4、回歸模型對于回歸方程（5.13）式的圖形,已不像一元線性回歸時那樣,是一條直線,而是一個回歸平面。而對一般情況的回歸方程（5.3）式，當(dāng)p2時，回歸方程是一個超平面，無法用幾何圖形表示。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心125.2 多元回歸參數(shù)的估計 一、回歸參數(shù)的普通最小二乘估計 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心135.2 多元回歸參數(shù)的估計 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心145.2 多元回歸參數(shù)的估計 目錄 上頁 下頁 返回 結(jié)束 2

5、022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心155.2 多元回歸參數(shù)的估計 二、回歸值與殘差 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心165.2 多元回歸參數(shù)的估計 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心175.2 多元回歸參數(shù)的估計 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心185.2 多元回歸參數(shù)的估計 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心195.2 多元回歸參數(shù)的估計 這是一個重要的結(jié)論,我們在多元線性

6、回歸模型的基本假定中曾經(jīng)用過它,這里就更可清楚這個假定的重要意義。結(jié)論說明,要想用OLSE估計多元線性回歸模型的未知參數(shù),樣本容量必須不少于模型中參數(shù)的個數(shù)。在后邊關(guān)于回歸方程的假設(shè)檢驗中也少不了這一假設(shè),否則檢驗無任何意義。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心205.2 多元回歸參數(shù)的估計三、實例分析 例5.1生產(chǎn)總值是衡量一個國家或地區(qū)經(jīng)濟發(fā)展?fàn)顩r的重要指標(biāo)，影響一個國家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動力、進出口、國家基礎(chǔ)設(shè)施建設(shè)等多方面的因素。本例研究財政支出對生產(chǎn)總值的影響。中國統(tǒng)計年鑒把財政支出劃分為31個組成部分。 目

7、錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心215.2 多元回歸參數(shù)的估計 采用2019年我國31個省、市、自治區(qū)的數(shù)據(jù)，以地區(qū)生產(chǎn)總值（萬元）為因變量y，以如上13種支出為自變量做多元線性回歸，數(shù)據(jù)見表5.1，其中自變量單位為萬元人民幣。用SPSS軟件計算出回歸系數(shù)表見表5.2： 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心225.2 多元回歸參數(shù)的估計 這一回歸方程并不理想,所選自變量數(shù)目過多，回歸系數(shù)的顯著性檢驗不能通過，自變量間存在共線性，回歸系數(shù)的經(jīng)濟意義不好解釋,這里只是作為多元線性回歸參數(shù)估計的一例,后

8、邊我們將要進一步完善這一問題模型的建立。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心235.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心245.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心255.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心265.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心275.3 參數(shù)估

9、計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心285.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心295.3 參數(shù)估計量的性質(zhì) 性質(zhì)4 Gauss-Markov定理 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心305.3 參數(shù)估計量的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心315.4 回歸方程的顯著性檢驗當(dāng)求出線性回歸方程后,還需對回歸方程進行顯著性檢驗。多元線性回歸方程的顯著性檢驗與一元線性回

10、歸方程的顯著性檢驗既有相同之處，也有不同之處。下面介紹兩種統(tǒng)計檢驗方法,一是回歸方程顯著性的F檢驗,另一個是回歸系數(shù)顯著性的t檢驗。同時介紹衡量回歸擬合程度的擬合優(yōu)度檢驗。 一、F檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心325.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心335.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心345.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)

11、六西格瑪質(zhì)量管理研究中心355.4 回歸方程的顯著性檢驗對例5.1題的數(shù)據(jù),用SPSS軟件計算出的方差分析表如下： 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心365.4 回歸方程的顯著性檢驗二、回歸系數(shù)的顯著性檢驗在多元線性回歸中,回歸方程顯著并不意味著每個自變量對y的影響都顯著,因此我們總想從回歸方程中剔除那些次要的、可有可無的變量,重新建立更為簡單的回歸方程。所以就需要對每個自變量進行顯著性檢驗。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心375.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 20

12、22/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心385.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心395.4 回歸方程的顯著性檢驗由于某些自變量不顯著，因而在多元回歸中并不是包含在回歸方程中的自變量越多越好，這個問題將在第七章逐步回歸中做詳細討論。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心405.4 回歸方程的顯著性檢驗在此僅介紹一種簡單的剔除多余變量的方法后退法。當(dāng)有多個自變量對因變量y無顯著性影響時,由于自變量之間的交互作用,不能一次剔除掉所有不顯著的變量。原則上每次只剔除一個

13、變量,先剔除其中|t|值最小的（或P值最大的）一個變量,然后再對求得的新的回歸方程進行檢驗,有不顯著變量再剔除,直到保留的變量都對y有顯著影響為止。也可根據(jù)對問題的定性分析選擇t值較小的變量先剔除。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心415.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心425.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心435.4 回歸方程的顯著性檢驗在一元線性回歸中，回歸系數(shù)顯著性的t檢驗與回歸方

14、程顯著性的F檢驗是等價的，而在多元線性回歸中，這兩種檢驗不同。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心445.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心455.4 回歸方程的顯著性檢驗三、擬合優(yōu)度 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心465.4 回歸方程的顯著性檢驗在兩個變量的簡單相關(guān)系數(shù)中,相關(guān)系數(shù)有正負之分,而復(fù)相關(guān)系數(shù)表示的是因變量y與全體自變量之間的線性關(guān)系,它的符號不能由某一個自變量的回歸系數(shù)的符號來確定,因而復(fù)相關(guān)系數(shù)都取

15、正號。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心475.4 回歸方程的顯著性檢驗 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心485.5 中心化和標(biāo)準化 在多元線性回歸分析中,因為涉及到多個自變量,自變量的單位往往不同,給利用回歸方程進行結(jié)構(gòu)分析帶來一定困難。再因為多元回歸涉及的數(shù)據(jù)量很大,就可能由于舍入誤差而使計算結(jié)果不理想。盡管計算機能使我們保留更多位的小數(shù),但舍入誤差肯定還會出現(xiàn)。因此,對原始數(shù)據(jù)進行一些處理,盡量避免大的誤差是有實際意義的。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六

16、西格瑪質(zhì)量管理研究中心495.5 中心化和標(biāo)準化 一、中心化 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心505.5 中心化和標(biāo)準化 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心515.5 中心化和標(biāo)準化 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心525.5 中心化和標(biāo)準化 二、標(biāo)準化回歸系數(shù)在上述中心化的基礎(chǔ)上,可進一步給出變量的標(biāo)準化和標(biāo)準化回歸系數(shù)。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心535.5 中心化和標(biāo)準化 目錄

17、上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心545.5 中心化和標(biāo)準化 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心555.5 中心化和標(biāo)準化 當(dāng)自變量所使用的單位不同時,用普通最小二乘估計建立的回歸方程,其回歸系數(shù)不具有可比性，得不到合理的解釋。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心565.5 中心化和標(biāo)準化 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心575.5 中心化和標(biāo)準化 標(biāo)準化回歸系數(shù)是比較自變量對y影響程度相對重要性的一

18、種較為理想的方法，有了標(biāo)準化回歸系數(shù)后,變量的相對重要性就容易進行比較了。但是,我們?nèi)蕴嵝讶藗儗貧w系數(shù)的解釋須采取謹慎的態(tài)度,這是因為當(dāng)自變量相關(guān)時會影響標(biāo)準化回歸系數(shù)的大小。參見參考文獻13。幾乎所有的統(tǒng)計軟件在建立多元線性回歸方程時都會自動給出標(biāo)準化回歸系數(shù)，通常他們稱為貝它（Beta）值。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心585.6相關(guān)陣與偏相關(guān)系數(shù)一、樣本相關(guān)陣 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心595.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大

19、學(xué)六西格瑪質(zhì)量管理研究中心605.6相關(guān)陣與偏相關(guān)系數(shù)用SPSS軟件計算出的例5.1生產(chǎn)總值數(shù)據(jù)的增廣樣本相關(guān)陣為 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心615.6相關(guān)陣與偏相關(guān)系數(shù)二、偏判定系數(shù) 在多元線性回歸分析中,當(dāng)其他變量被固定后,給定的任兩個變量之間的相關(guān)系數(shù),叫偏相關(guān)系數(shù)。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心625.6相關(guān)陣與偏相關(guān)系數(shù)在講偏相關(guān)系數(shù)之前，首先引入偏判定系數(shù)。 1兩個自變量的偏判定系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心6

20、35.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心645.6相關(guān)陣與偏相關(guān)系數(shù)2.一般情況其余情況依此類推。由習(xí)題知，偏判定系數(shù)與回歸系數(shù)顯著性檢驗的F值是等價的。 三、偏相關(guān)系數(shù)偏判定系數(shù)的平方根稱為偏相關(guān)系數(shù)，其符號與相應(yīng)的回歸系數(shù)的符號相同。偏相關(guān)系數(shù)與回歸系數(shù)顯著性檢驗的t值是等價的。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心655.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心665.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下

21、頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心675.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心685.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心695.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心705.6相關(guān)陣與偏相關(guān)系數(shù) 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心715.7 建?？偨Y(jié)與評注 一、多元線性回歸模型的建立過程本章結(jié)合兩個經(jīng)濟

22、問題實例介紹了多元線性回歸模型的建立過程,在此,我們再結(jié)合一個實例,把多元線性回歸模型的建立過程與應(yīng)用做一個完整的介紹。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心725.7 建?？偨Y(jié)與評注 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心735.7 建?？偨Y(jié)與評注 第一步，提出因變量與自變量，搜集數(shù)據(jù)，如例5.3所示。第二步,做相關(guān)分析，設(shè)定理論模型。用SPSS軟件計算增廣相關(guān)陣，自變量的偏相關(guān)陣，輸出結(jié)果如下： 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心745.7 建模總

23、結(jié)與評注 一般認為鐵路客運量與民航客運量之間應(yīng)呈負相關(guān),鐵路和民航共同擁有旅客,乘了火車就乘不了飛機。但就中國的實際情況分析,我國居民的收入還很低,一般人外出旅游、出差都乘火車。近年來乘飛機的人也逐漸增多,但我國民航客運量最大的一部分是來華旅游入境人數(shù)。國內(nèi)盡管有些客人乘坐飛機,但對火車客運量不會有大的影響,一是鐵路運力不足,十分緊張;二是近年來外出民工增多,而民工主要乘火車,所以不會因民航客運量增加而導(dǎo)致火車客運量下降。因此鐵路客運量與民航客運量之間的關(guān)系不密切是正常的。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心755.7 建?？偨Y(jié)與評注 第三步,

24、用軟件計算，輸出計算結(jié)果。本例采用SPSS軟件對原始數(shù)據(jù)作回歸分析，輸出結(jié)果如下： 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心765.7 建?？偨Y(jié)與評注 第四步，回歸診斷1.回歸方程為 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心775.7 建模總結(jié)與評注 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心785.7 建?？偨Y(jié)與評注 第五步，回歸應(yīng)用 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心795.7 建?？偨Y(jié)與評注 二、評注 對于多元線性回歸模型未知參數(shù)向量的估計最主要的方法是普通最小二乘估計OLSE。在運用OLSE估計未知參數(shù)時應(yīng)首先看具體問題的樣本數(shù)據(jù)是否滿足模型的基本假定,只有滿足基本假定的模型才能應(yīng)用OLSE。 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心805.7 建?？偨Y(jié)與評注 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心815.7 建?？偨Y(jié)與評注 目錄 上頁 下頁 返回 結(jié)束 2022/7/22中國人民大學(xué)六西格瑪質(zhì)量管理研究中心8