多元線性回歸預測PPT課件

1、多元線性回歸預測 第六章第六章 多元線性回歸預測多元線性回歸預測 1 1、多元線性回歸的模型、多元線性回歸的模型 Y Ya+ba+b1 1X X1 1+b+b2 2X X2 2+b bm mX Xm m 2 2、多元線性回歸的參數(shù)估計、多元線性回歸的參數(shù)估計 （最小二乘法最小二乘法） 3 3、多元線性回歸的誤差分析與統(tǒng)計檢驗、多元線性回歸的誤差分析與統(tǒng)計檢驗 4 4、多元線性回歸的預測、多元線性回歸的預測 多元線性回歸預測 2 2、多元線性回歸的參數(shù)估計、多元線性回歸的參數(shù)估計 如果在對變量如果在對變量Y Y與與X Xi i(i(i1 1，2 2，m)m) 的的n n次觀察中，獲得了如下數(shù)據(jù)：

2、次觀察中，獲得了如下數(shù)據(jù)： mnmm n n xxx xxx xxx X 21 22221 11211 . n y y y Y 2 1 多元線性回歸預測 最小二乘法最小二乘法 2 1 332211 1 2 21 )( ) ( ),( jmm n j jjjj n j jj m XbXbXbXbaY YY bbbaE 為最小為最小。 多元線性回歸預測 對上式中的對上式中的a a、b bi i(i=1,2,m)(i=1,2,m)分別求偏導，分別求偏導， 并令其等于零，經(jīng)整理后得：并令其等于零，經(jīng)整理后得： (4-14) (4-15) Ymmmmmm Ymm Ymm LbLbLbL LbLbLbL

3、LbLbLbL 2 2 2 211 2222112 1121111 . i m i i XbYa 1 多元線性回歸預測 其中 n k k Y n Y 1 1 n k iki X n X 1 1 jjki n k ikij XXXXL )( 1 n k n k jk n k ikjkik mjiXX n XX 111 ), 3 , 2 , 1,()( 1 ， 多元線性回歸預測 第一節(jié)第一節(jié) 二元線性回歸預測二元線性回歸預測 以上討論了兩個變量因素之間的回歸預測問以上討論了兩個變量因素之間的回歸預測問 題。然而，客觀事物的變化往往受多種因素題。然而，客觀事物的變化往往受多種因素 的影響，即使其中一

4、個因素起著主導作用，的影響，即使其中一個因素起著主導作用， 但有時其他因素的作用也是不可忽視的。在但有時其他因素的作用也是不可忽視的。在 實際問題中，大多數(shù)影響因變量的因素不是實際問題中，大多數(shù)影響因變量的因素不是 一個，而是多個。我們把包括兩個或兩個以一個，而是多個。我們把包括兩個或兩個以 上自變量的回歸稱為多元回歸。這一節(jié)中，上自變量的回歸稱為多元回歸。這一節(jié)中， 我們首先討論兩個自變量的模型，借以說明我們首先討論兩個自變量的模型，借以說明 多元回歸的使用，然后推廣到三個或三個以多元回歸的使用，然后推廣到三個或三個以 上自變量的回歸模型。上自變量的回歸模型。 多元線性回歸預測 一、二元回歸

5、模型一、二元回歸模型 22110 xbxbbY 多元線性回歸預測 二、二元回歸方程二、二元回歸方程 稱為常數(shù)稱為常數(shù)， ， 稱為稱為Y Y對對 x x 的回的回歸系數(shù)歸系數(shù) 2211022110 )()( xbxbbxbxbbEYEY 0 b 1 b 2 b 多元線性回歸預測 三、三、 參數(shù)估計參數(shù)估計 1 1 、求估參數(shù)：用最小二乘法、求估參數(shù)：用最小二乘法 系數(shù)的計算公式為：系數(shù)的計算公式為： n i i n i ii n i n i iii n i ii n i i n i n i iii n i i n i i n i i xbxxbxbyx xxbxbxbyx xbxbbny 1 2

6、 2 1 221 1 1 1 202 1 21 1 2 2 1 1 1 1 101 1 2 1 21 1 10 多元線性回歸預測 2 2 、回歸系數(shù)、回歸系數(shù) 、 的含義的含義 的含義：的含義： 1 b 2 b 1 b 2 b 的含義：的含義： 多元線性回歸預測 3 3、 的方差和標準差估計的方差和標準差估計 標準差：同一元線性回歸的情況一標準差：同一元線性回歸的情況一 樣，標準誤差是對樣，標準誤差是對y y值與模型估計值值與模型估計值 之間的離差的一種度量，它是計算之間的離差的一種度量，它是計算 置信區(qū)間估計值和其他擬合優(yōu)度的置信區(qū)間估計值和其他擬合優(yōu)度的 基礎指標。其計算公式為：基礎指標。

7、其計算公式為： 21 , bb 222111 2 1 2 33 xxyybxxyybyyQ n Q n yy Sy iiiii n i ii 多元線性回歸預測 四、回歸方程和系數(shù)的檢驗四、回歸方程和系數(shù)的檢驗 1 1復可決系數(shù)復可決系數(shù)R R2 2 2 2221112 1 2 1 2 2 2 1 1 2)( ) yy xxyybxxyyb R S Q yy yy yy yy S U R i iiii n i i n i ii i i 總總 （ 多元線性回歸預測 2、 復相關系數(shù) 對于多元線性回歸而言，多元相關系 數(shù)R似乎是多余的，它并未提供任何新 的信息，只是可決系數(shù)的平方根。 多元線性回歸預

8、測 3 、回歸方程的顯著性檢驗 4 、回歸系數(shù)的檢驗： t檢驗（個體檢驗） 3 2 12 2 n Q U n Q U F F檢驗（全檢驗）: 多元線性回歸預測 5 、置信區(qū)間 多元回歸的近似置信區(qū)間的估計方法同簡 單回歸相類似，其置信區(qū)間的公式為： 置信區(qū)間 式中，n是觀察值的個數(shù)；p是自變量 的個數(shù)， 是自由度為n-p的t 統(tǒng)計量數(shù)值表中的數(shù)值。 ) 1(,) 1( 2/02/0 SypntySypnty )1( 2/ pnt 多元線性回歸預測 二元線性回歸的例子二元線性回歸的例子 銷售額、人口數(shù)和年人均收入數(shù)據(jù)銷售額、人口數(shù)和年人均收入數(shù)據(jù) 地區(qū)地區(qū) 編號編號 銷售額銷售額 （萬元）（萬元

9、） y 人口數(shù)人口數(shù) (萬人萬人) x1 年人均收年人均收 入入 (元元)x2 1 2 3 4 5 6 7 8 9 10 33.3 35.5 27.6 30.4 31.9 53.1 35.6 29.0 35.1 34.5 32.4 29.1 26.3 31.2 29.2 40.7 29.8 23.0 28.2 26.9 1250 1650 1450 1310 1310 1580 1490 1520 1620 1570 多元線性回歸預測 一個二元線性回歸的例子 (Excel 輸出的結果) SUMMARY OUTPUTSUMMARY OUTPUT 回歸統(tǒng)計回歸統(tǒng)計 Multiple RMultip

10、le R0.9681590250.968159025 R SquareR Square0.9373318970.937331897 Adjusted R SquareAdjusted R Square 0.9194267250.919426725 標準誤差標準誤差2.0100502792.010050279 觀測值觀測值1010 方差分析方差分析 dfdfSSSSMSMSF FSignificance FSignificance F 回歸分析回歸分析2 2 423.01789423.01789 211.50894211.50894 52.3497852.34978 6.16117E-056.1

11、6117E-05 殘差殘差7 7 28.28211528.282115 4.04030214.0403021 總計總計9 9451.3451.3 CoefficientsCoefficients標準誤差標準誤差t Statt StatP-valueP-valueLower 95%Lower 95%Upper 95%Upper 95% InterceptIntercept-38.8251694-38.8251694 8.47859118.4785911 -4.579201-4.579201 0.0025460.002546 -58.8738372-58.8738372-18.7765-18.77

12、65 X Variable 1X Variable 11.3406936181.340693618 0.14331590.1433159 9.35481479.3548147 3.31E-053.31E-05 1.0018056251.001805625 1.67958161.6795816 X Variable 2X Variable 20.0228022930.022802293 0.00475420.0047542 4.79621724.7962172 0.0019750.001975 0.0115603470.011560347 0.03404420.0340442 1 1 )1 (1

13、 22 pn n RR 調(diào)整 1 ) ( 1 2 pn yy S n i i y 多元線性回歸預測 一個二元線性回歸的例子一個二元線性回歸的例子 (計算機輸出結果解釋計算機輸出結果解釋) 銷售額與人口數(shù)和年人均收入的二元回銷售額與人口數(shù)和年人均收入的二元回 歸方程為歸方程為 21 0228. 0341. 18252.38xxy 多元線性回歸預測 顯著性檢驗 1、t檢驗 2、F檢驗 3、多重共線性 多元線性回歸預測 第三節(jié) 非線性回歸預測法 基本概念基本概念 非線性模型及其線性化方法非線性模型及其線性化方法 多元線性回歸預測 一一. 基本概念基本概念 1. 因變量因變量 y y 與與 x x 之

14、間不是線性相關關系之間不是線性相關關系 2. 2. 可通過變量代換轉換成線性相關關系可通過變量代換轉換成線性相關關系 用最小二乘法求出參數(shù)的估計值用最小二乘法求出參數(shù)的估計值 3.3. 并非所有的非線性模型都可以化為線性模型并非所有的非線性模型都可以化為線性模型 多元線性回歸預測 二. 幾種常見的非線性模型 指數(shù)函數(shù) bx aey 多元線性回歸預測 幾種常見的非線性模型 冪函數(shù) b axy 多元線性回歸預測 幾種常見的非線性模型 雙曲線函數(shù) bax x y 多元線性回歸預測 幾種常見的非線性模型 對數(shù)函數(shù) xbaylg 多元線性回歸預測 幾種常見的非線性模型 多項式函數(shù) p px axaxaa

15、y. 2 210 多元線性回歸預測 舉例 例1：某商品從進入 市場起，由于質(zhì)量和 成本的改變，變動了 七次價格，每次價格 變動的時間基本相等， 總銷售量由逐漸上升 到逐漸下降，試對下 列資料用拋物線擬合。 價格（元） 銷售量 1.2 1.8 3.1 4.9 5.7 7.1 8.6 9.8 4.5 5.9 7 7.8 7.2 6.8 4.5 2.7 多元線性回歸預測 例1的散點圖 0 1 2 3 4 5 6 7 8 9 024681012 系列1 多元線性回歸預測 x1x2y 1.21.444.5 1.83.245.9 3.19.617 4.9 24.017.8 5.7 32.497.2 7.1

16、 50.416.8 8.6 73.964.5 9.8 96.042.7 輸入形式 多元線性回歸預測 結果 SUMMARY OUTPUT 回歸統(tǒng)計 Multiple R0.991 R Square0.982 Adjusted R Square0.975 標準誤差0.275 觀測值8 方差分析 dfSSMSF 回歸分析221.0210.51139.1 殘差50.3780.076 總計721.4 Coefficients標準誤差t StatP-value Intercept2.5880.3447.5287E-04 X Variable 12.0650.15113.684E-05 X Variable 2-0.210.014-15.42E-05 多元線性回歸預測 例2的散點圖 貨運量y 0 1000 2000 3000 4000 5000 0510 貨運量y 多元線性回歸預測 結果 SUMMARY OUTPUT 回歸統(tǒng)計 Multiple R0.991 R Square0.982 Adjusted R Squar