多元線性回歸分析

1、 多元線性回歸多元線性回歸學習目標學習目標l多元線性回歸模型、回歸方程與估計的回歸方多元線性回歸模型、回歸方程與估計的回歸方程程l回歸方程的擬合優(yōu)度與顯著性檢驗回歸方程的擬合優(yōu)度與顯著性檢驗l利用回歸方程進行預測利用回歸方程進行預測l用用Excel和和SPSS進行回歸分析進行回歸分析1.1 回歸模型與回歸方程回歸模型與回歸方程多元回歸模型多元回歸模型 (multiple linear regression model)1. 一個因變量與兩個及兩個以上自變量的回歸一個因變量與兩個及兩個以上自變量的回歸2. 描述因描述因變量變量 y 如何依賴于自變量如何依賴于自變量 x1 ， x2 ， xk 和誤

2、差項和誤差項 的方程，稱為多元回歸模型的方程，稱為多元回歸模型3. 涉涉及及 k 個自變量的多元線性回歸模型可表示為個自變量的多元線性回歸模型可表示為多元回歸模型多元回歸模型(基本假定基本假定) 1. 正態(tài)性。誤正態(tài)性。誤差項差項是一個服從正態(tài)分布的隨機是一個服從正態(tài)分布的隨機變量，且期望值為變量，且期望值為0，即，即N(0, 2)2. 方差方差齊性。齊性。對于對于自變量自變量x1，x2，xk的所有的所有值，值， 的方差的方差 2都相同都相同3. 獨立獨立性。性。對于自變量對于自變量x1，x2，xk的的一組特一組特定值，它所對應(yīng)的定值，它所對應(yīng)的 與任意一組其他值所對應(yīng)與任意一組其他值所對應(yīng)的

3、不相關(guān)的不相關(guān)總結(jié)：零均值；等方差；無自相關(guān)；與解釋變量不相關(guān)；正態(tài)性假定總結(jié)：零均值；等方差；無自相關(guān)；與解釋變量不相關(guān)；正態(tài)性假定多元線性回歸方程多元線性回歸方程 (multiple linear regression equation)1. 描描述因變量述因變量 y 的平均值或期望值如何依賴于自的平均值或期望值如何依賴于自變量變量 x1， x2 ，xk的方程的方程2. 多多元線性回歸方程的形式為元線性回歸方程的形式為v E( y ) = 0+ 1 x1 + 2 x2 + k xk估計的多元線性回歸的方程估計的多元線性回歸的方程(estimated multiple linear regr

4、ession equation)1. 用樣本統(tǒng)計量用樣本統(tǒng)計量 估計回歸方程估計回歸方程中的中的 參數(shù)參數(shù) 時得到的方程時得到的方程2. 由最小二乘法求得由最小二乘法求得3. 一般形式為一般形式為1.2 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)的最小二乘法參數(shù)的最小二乘法(例題分析例題分析)2008年年8月月參數(shù)的最小二乘估計參數(shù)的最小二乘估計(例題分析例題分析)2.1 回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度多重判定系數(shù)多重判定系數(shù)(multiple coefficient of determination) 1. 回歸平方和占總平方和的比例回歸平方和占總平方

5、和的比例2. 計算公式為計算公式為3. 因變量取值的變差中，能被估計的多元回歸方程因變量取值的變差中，能被估計的多元回歸方程所解釋的比例所解釋的比例 修正多重判定系數(shù)修正多重判定系數(shù)(adjusted multiple coefficient of determination) 1. 用樣本量用樣本量n和自變量的個數(shù)和自變量的個數(shù)k去修正去修正R2得到得到 2. 計算公式為計算公式為3. 避免增加自變量而高估避免增加自變量而高估 R24. 意義與意義與 R2類似類似5. 數(shù)值小于數(shù)值小于R22008年年8月月多重相關(guān)系數(shù)多重相關(guān)系數(shù)(multiple correlation coefficie

6、nt) 1. 多重判定系數(shù)的平方根多重判定系數(shù)的平方根R2. 反映因變量反映因變量y與與k個自變量之間的相關(guān)程度個自變量之間的相關(guān)程度3. 實際上實際上R度量的是因變量的觀測值度量的是因變量的觀測值 與由多元回與由多元回歸方程得到的預測值歸方程得到的預測值 之間的關(guān)系強度，即多之間的關(guān)系強度，即多重相關(guān)系數(shù)重相關(guān)系數(shù)R等于因變量的觀測值等于因變量的觀測值 與估計值與估計值 之間的簡單相關(guān)系數(shù)之間的簡單相關(guān)系數(shù)v (一元相關(guān)系數(shù)一元相關(guān)系數(shù)r也是如此，也是如此，即即 。讀者自己去驗證。讀者自己去驗證)估計標準誤差估計標準誤差 Se1. 對誤差項對誤差項 的標準差的標準差 的的一個估計值一個估計值

7、2. 衡量多元回歸方程的擬合優(yōu)度衡量多元回歸方程的擬合優(yōu)度3. 計算公式為計算公式為2.2 顯著性檢驗顯著性檢驗線性關(guān)系檢驗線性關(guān)系檢驗1. 檢驗因變量與所有自變量之間的線性關(guān)系是檢驗因變量與所有自變量之間的線性關(guān)系是否顯著否顯著2. 也被稱為總體的顯著性檢驗也被稱為總體的顯著性檢驗3. 檢驗方法是將回歸均方檢驗方法是將回歸均方(MSR)同殘差均方同殘差均方(MSE)加以比較，應(yīng)用加以比較，應(yīng)用 F 檢驗來分析二者檢驗來分析二者之間的差別是否顯著之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系線性關(guān)系檢驗線性關(guān)系檢驗1. 提出提出假設(shè)假

8、設(shè)H0：12k=0 線性關(guān)系不顯著H1：1，2， k至少有一個不等于0回歸系數(shù)的檢驗回歸系數(shù)的檢驗1. 線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行一次或多次檢驗進行一次或多次檢驗2. 究竟要對哪幾個回歸系數(shù)進行檢驗，通常需要在究竟要對哪幾個回歸系數(shù)進行檢驗，通常需要在建立模型之前作出決定建立模型之前作出決定3. 對回歸系數(shù)檢驗的個數(shù)進行限制，以避免犯過多對回歸系數(shù)檢驗的個數(shù)進行限制，以避免犯過多的第的第類錯誤類錯誤(棄真錯誤棄真錯誤) 4. 對每一個自變量都要單獨進行檢驗對每一個自變量都要單獨進行檢驗5. 應(yīng)用應(yīng)用 t 檢驗統(tǒng)計量檢驗統(tǒng)計量回歸系數(shù)

9、的檢驗回歸系數(shù)的檢驗(步驟步驟)1. 提出假設(shè)提出假設(shè)H0： i = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1： i 0 (自變量 xi 與 因變量 y有線性關(guān)系) 2. 計算檢驗的統(tǒng)計量計算檢驗的統(tǒng)計量 t回歸系數(shù)的推斷回歸系數(shù)的推斷 (置信區(qū)間置信區(qū)間)v回歸系數(shù)在回歸系數(shù)在(1- )%置信水平下的置信區(qū)間為置信水平下的置信區(qū)間為v v v 26案例案例 回歸系數(shù)檢驗回歸系數(shù)檢驗Coefficientsa1678.623352.4344.763.00032.7486.640.5094.932.000260.32956.944.4724.572.000(Constant)年收

10、入（千美圓）家庭人員數(shù)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 信用卡消費支出（美圓）a. 21329.260748.32623.1678XXy27案例案例 F檢驗檢驗ANOVAb21750254210875126.8723.447.000a2179931047463815.0964354956349RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (C

11、onstant), 家庭人員數(shù), 年收入（千美圓）a. Dependent Variable: 信用卡消費支出（美圓）b. 方差分析表方差分析表28模型的效果模型的效果Model Summary.707a.499.478681.0397Model1RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), 家庭人員數(shù), 年收入（千美圓）a. 29預測（案例）預測（案例）如果某個家庭其家庭成員有如果某個家庭其家庭成員有4人，年人均收入為人，年人均收入為40千千元，試估計使用信用卡支付的數(shù)額可能是多少，在元，試

12、估計使用信用卡支付的數(shù)額可能是多少，在置信水平為置信水平為95%的要求，確定估計區(qū)間。的要求，確定估計區(qū)間。點預測：點預測：預測區(qū)間：預測區(qū)間：2643.308822643.308825416.427065416.427064029.867944*329.26040*748.32623.1678y30相關(guān)和回歸分析應(yīng)注意的幾個問題相關(guān)和回歸分析應(yīng)注意的幾個問題v正確理解和對待變量之間的關(guān)系正確理解和對待變量之間的關(guān)系v預測時自變量的取值范圍預測時自變量的取值范圍v注意模型的時間、空間條件注意模型的時間、空間條件v定量與定性結(jié)合定量與定性結(jié)合本章小結(jié)本章小結(jié)l多元線性回歸模型、回歸方程與估計的回歸多元線性回歸模型、回歸方程與估計的回歸方程方程l回歸方程的擬合優(yōu)度與顯著性檢驗回歸方程的擬合優(yōu)度與顯著性檢驗l利用回歸方程進行預測利用回歸方程進行預測l用用Excel和和SPSS進行回歸分析進行回歸分析作作 業(yè)業(yè)v根據(jù)我國某旅游景區(qū)根據(jù)我國某旅游景區(qū)13個旅游點的年外匯收入（個旅游點的年外匯收入（y：百萬美元）和相對應(yīng)的僑胞旅游人數(shù)（：百萬美元）和相對應(yīng)的僑胞旅游人數(shù)（x1：萬人）、外國人旅游人數(shù)（萬人）、外國人旅游人數(shù)（x2：萬人）的數(shù)據(jù)，：萬人）的數(shù)據(jù)，用用SPSS建立二元回歸模型，得到以下輸出結(jié)果建立二元回歸模型，得到以下輸出結(jié)果（億元）