多元線性回歸課件

1、第 3 章 多元線性回歸 3.1 多元線性回歸模型3.2 回歸參數(shù)的估計(jì)3.3 參數(shù)估計(jì)量的性質(zhì)3.4 回歸方程的顯著性檢驗(yàn)3.5 中心化和標(biāo)準(zhǔn)化3.6 相關(guān)陣與偏相關(guān)系數(shù)3.7 本章小結(jié)與評(píng)注 3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 y=0+1x1+2x2+pxp+3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 對(duì)n組觀測(cè)數(shù)據(jù) (xi1, xi2,xip; yi), i=1,2,n,線性回歸模型表示為:3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 寫成矩陣形式為: y=X+, 其中,3.1 多元線性回歸模型二、多元線性回歸模型的基本假定 1. 解釋變量x1,

2、x2,xp是確定性變量,不是隨機(jī)變量,且要求rk(X)=p+1n。表明設(shè)計(jì)矩陣X中的自變量列之間不相關(guān),X是一滿秩矩陣。2 .隨機(jī)誤差項(xiàng)具有0均值和等方差,即 這個(gè)假定稱為Gauss-Markov條件 3.1 多元線性回歸模型二、多元線性回歸模型的基本假定 3. 正態(tài)分布的假定條件為: 用矩陣形式(3.5)式表示為: N(0, s2In)yN(X, s2In)E(y)=Xvar(y)= s2In 3.1 多元線性回歸模型三、多元線性回歸方程的解釋 y表示空調(diào)機(jī)的銷售量,x1表示空調(diào)機(jī)的價(jià)格,x2表示消費(fèi)者可用于支配的收入。y=0+1x1+2x2+E(y)=0+1x1+2x2在x2保持不變時(shí),有

3、在x1保持不變時(shí),有3.1 多元線性回歸模型三、多元線性回歸方程的解釋 考慮國(guó)內(nèi)生產(chǎn)總值GDP和三次產(chǎn)業(yè)增加值的關(guān)系， GDP=x1 + x2+ x3現(xiàn)在做GDP對(duì)第二產(chǎn)業(yè)增加值x2的一元線性回歸，得回歸方程3.1 多元線性回歸模型年份GDP第一產(chǎn)業(yè)增加值x1第二產(chǎn)業(yè)增加值x2第三產(chǎn)業(yè)增加值x3199018 547.9 5 017.0 7 717.4 5 813.5 199121 617.8 5 288.6 9 102.2 7 227.0 199226 638.1 5 800.0 11 699.5 9 138.6 199334 634.4 6 882.1 16 428.5 11 323.8 1

4、99446 759.4 9 457.2 22 372.2 14 930.0 199558 478.1 11 993.0 28 537.9 17 947.2 199667 884.6 13 844.2 33 612.9 20 427.5 199774 462.6 14 211.2 37 222.7 23 028.7 199878 345.2 14 552.4 38 619.3 25 173.5 199982 067.5 14 472.0 40 557.8 27 037.7 200089 468.1 14 628.2 44 935.3 29 904.6 200197 314.8 15 411.8

5、48 750.0 33 153.0 2002105 172.3 16 117.3 52 980.2 36 074.8 2003117 390.2 16 928.1 61 274.1 39 188.0 2004136 875.9 20 768.1 72 387.2 43 720.63.1 多元線性回歸模型三、多元線性回歸方程的解釋 建立GDP對(duì)x1和x2的回歸，得二元回歸方程=2 914.6+0.607 x1+1.709 x2你能夠合理地解釋兩個(gè)回歸系數(shù)嗎 ？3.2 回歸參數(shù)的估計(jì) 一、回歸參數(shù)的普通最小二乘估計(jì) 最小二乘估計(jì)要尋找3.2 回歸參數(shù)的估計(jì) 一、回歸參數(shù)的普通最小二乘估計(jì) 3.2

6、回歸參數(shù)的估計(jì) 一、回歸參數(shù)的普通最小二乘估計(jì) 經(jīng)整理后得用矩陣形式表示的正規(guī)方程組 移項(xiàng)得存在時(shí)，即得回歸參數(shù)的最小二乘估計(jì)為：3.2 回歸參數(shù)的估計(jì) 二、回歸值與殘差為回歸值 稱為帽子矩陣，其主對(duì)角線元素記為hii ，則3.2 回歸參數(shù)的估計(jì) 二、回歸值與殘差 此式的證明只需根據(jù)跡的性質(zhì)tr(AB)=tr(BA),因而3.2 回歸參數(shù)的估計(jì) 二、回歸值與殘差 cov(e,e)=cov(（I-H）Y,（I-H）Y) =（I-H）cov(Y,Y)（I-H） =2（I-H）In（I-H）=2（I-H）得 D(ei)=(1-hii)2，i=1,2,n3.2 回歸參數(shù)的估計(jì) 二、回歸值與殘差 是2的

7、無(wú)偏估計(jì) 3.2 回歸參數(shù)的估計(jì) 三 、回歸參數(shù)的最大似然估計(jì) yN(X,2In)似然函數(shù)為 等價(jià)于使(y-X)(y-X)達(dá)到最小,這又完全與OLSE一樣3.2 回歸參數(shù)的估計(jì) 例3.1 國(guó)際旅游外匯收入是國(guó)民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個(gè)國(guó)家或地區(qū)旅游收入的因素包括自然、文化、社會(huì)、經(jīng)濟(jì)、交通等多方面的因素，本例研究第三產(chǎn)業(yè)對(duì)旅游外匯收入的影響。中國(guó)統(tǒng)計(jì)年鑒把第三產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為x1農(nóng)林牧漁服務(wù)業(yè),x2地質(zhì)勘查水利管理業(yè),x3交通運(yùn)輸倉(cāng)儲(chǔ)和郵電通信業(yè),x4批發(fā)零售貿(mào)易和餐飲業(yè),x5金融保險(xiǎn)業(yè),x6房地產(chǎn)業(yè),x7社會(huì)服務(wù)業(yè),x8衛(wèi)生體育和社會(huì)福利業(yè)，x9教育文化藝術(shù)和廣播,x

8、10科學(xué)研究和綜合藝術(shù),x11黨政機(jī)關(guān)，x12其他行業(yè)。采用1998年我國(guó)31 個(gè)省、市、自治區(qū)的數(shù)據(jù)，以國(guó)際旅游外匯收入（百萬(wàn)美元）為因變量y，以如上12 個(gè)行業(yè)為自變量做多元線性回歸，數(shù)據(jù)見表3.1，其中自變量單位為億元人民幣。3.2 回歸參數(shù)的估計(jì) 3.3 參數(shù)估計(jì)量的性質(zhì) 性質(zhì)1 是隨機(jī)向量y的一個(gè)線性變換。性質(zhì)2 是的無(wú)偏估計(jì)。 3.3 參數(shù)估計(jì)量的性質(zhì) 3.3 參數(shù)估計(jì)量的性質(zhì) 當(dāng)p=1時(shí) 3.3 參數(shù)估計(jì)量的性質(zhì) 性質(zhì)4 Gauss-Markov定理預(yù)測(cè)函數(shù) 是 的線性函數(shù) Gauss-Markov定理 在假定E(y)=X, D(y)=2In時(shí),的任一線性函數(shù) 的最小方差線性無(wú)偏

9、估計(jì)(Best Lnear Unbiased Estimator簡(jiǎn)記為BLUE)為c,其中c是任一p+1維向量, 是的最小二乘估計(jì)。3.3 參數(shù)估計(jì)量的性質(zhì) 第一，取常數(shù)向量c的第j（j=0,1,n）個(gè)分量為1，其余分量為0，這時(shí)G-M定理表明最小二乘估計(jì)是j的最小方差線性無(wú)偏估計(jì)。 第二，可能存在y1, y2 , , yn的非線性函數(shù)，作為 的無(wú)偏估計(jì)，比最小二乘估計(jì) 的方差更小。 第三，可能存在 的有偏估計(jì)量，在某種意義（例如均方誤差最?。┫卤茸钚《斯烙?jì) 更好。 第四，在正態(tài)假定下， 是 的最小方差無(wú)偏估計(jì)。也就是說，既不可能存在y1, y2 , , yn的非線性函數(shù)，也不可能存在y1,

10、 y2 , , yn的其它線性函數(shù)，作為 的無(wú)偏估計(jì)，比最小二乘估計(jì) 方差更小。3.3 參數(shù)估計(jì)量的性質(zhì) 性質(zhì)5 cov（，e）=0此性質(zhì)說明 與e不相關(guān),在正態(tài)假定下等價(jià)于與e獨(dú)立,從而與 獨(dú)立。性質(zhì)6 在正態(tài)假設(shè)(1)(2)3.4 回歸方程的顯著性檢驗(yàn) 一、F檢驗(yàn) H0:1=2=p=0SST = SSR + SSE 當(dāng)H0成立時(shí)服從3.4 回歸方程的顯著性檢驗(yàn) 一、F檢驗(yàn) 方差來(lái)源自由度平方和均方F值P值回歸殘差總和pn-p-1n-1SSRSSESSTSSR/pSSE/(n-p-1)P(FF值)=P值3.4 回歸方程的顯著性檢驗(yàn) 二、回歸系數(shù)的顯著性檢驗(yàn) H0j:j=0, j=1,2,p（

11、,（X）-1）記 (X)-1=（cij) i,j=0,1,2, ,p構(gòu)造t統(tǒng)計(jì)量 其中3.4 回歸方程的顯著性檢驗(yàn) 二、回歸系數(shù)的顯著性檢驗(yàn) （剔除x1)3.4 回歸方程的顯著性檢驗(yàn) 二、回歸系數(shù)的顯著性檢驗(yàn) 3.4 回歸方程的顯著性檢驗(yàn) 二、回歸系數(shù)的顯著性檢驗(yàn) 從另外一個(gè)角度考慮自變量xj的顯著性。y對(duì)自變量x1,x2,xp線性回歸的殘差平方和為SSE，回歸平方和為SSR，在剔除掉xj后，用y對(duì)其余的p-1個(gè)自變量做回歸，記所得的殘差平方和為SSE（j），回歸平方和為SSR（j），則 自變量xj對(duì)回歸的貢獻(xiàn)為SSR（j）=SSR-SSR（j），稱為xj的偏回歸平方和。由此構(gòu)造偏F統(tǒng)計(jì)量3.

12、4 回歸方程的顯著性檢驗(yàn) 二、回歸系數(shù)的顯著性檢驗(yàn) 當(dāng)原假設(shè)H0j ：j=0成立時(shí)，（3.42）式的偏F統(tǒng)計(jì)量Fj服從自由度為(1,n-p-1)的F分布，此F檢驗(yàn)與（3.40）式的t檢驗(yàn)是一致的，可以證明Fj=tj23.4 回歸方程的顯著性檢驗(yàn) 三、回歸系數(shù)的置信區(qū)間可得j的置信度為1-的置信區(qū)間為：3.4 回歸方程的顯著性檢驗(yàn)四、擬合優(yōu)度 決定系數(shù)為： y關(guān)于x1,x2,xp的樣本復(fù)相關(guān)系數(shù)3.5 中心化和標(biāo)準(zhǔn)化 一、中心化 經(jīng)驗(yàn)回歸方程 經(jīng)過樣本中心 將坐標(biāo)原點(diǎn)移至樣本中心，即做坐標(biāo)變換： 回歸方程轉(zhuǎn)變?yōu)椋夯貧w常數(shù)項(xiàng)為3.5 中心化和標(biāo)準(zhǔn)化 二、標(biāo)準(zhǔn)化回歸系數(shù) 當(dāng)自變量的單位不同時(shí)普通最小

13、二乘估計(jì)的回歸系數(shù)不具有可比性，例如有一回歸方程為:其中x1的單位是噸, x2的單位是公斤3.5 中心化和標(biāo)準(zhǔn)化 二、標(biāo)準(zhǔn)化回歸系數(shù) 樣本數(shù)據(jù)的標(biāo)準(zhǔn)化公式為： 得標(biāo)準(zhǔn)化的回歸方程 3.5 中心化和標(biāo)準(zhǔn)化 二、標(biāo)準(zhǔn)化回歸系數(shù) 標(biāo)準(zhǔn)化回歸系數(shù)3.6 相關(guān)陣與偏相關(guān)系數(shù) 一、樣本相關(guān)陣自變量樣本相關(guān)陣 增廣的樣本相關(guān)陣為： 3.6 相關(guān)陣與偏相關(guān)系數(shù) 一、樣本相關(guān)陣YX1X2X3X4X5X6X7X8X9X10X11X12Y1.0000.2600.3420.5800.4790.5180.5300.7410.3790.5750.6730.2570.038X10.2601.0000.6400.6910.7

14、380.5820.5190.6630.6910.7190.1500.7580.301X20.3420.6401.0000.7730.6580.5020.4640.6020.6600.6860.1180.7600.337X30.5800.6910.7731.0000.9340.7420.7100.8850.8670.8890.3140.8550.457X40.4790.7380.6580.9341.0000.7800.7430.8870.9260.8920.3480.8490.437X50.5180.5820.5020.7420.7801.0000.9890.7400.7900.8500.630

15、0.7050.515X60.5300.5190.4640.7100.7430.9891.0000.7030.7530.8210.6460.6660.493X70.7410.6630.6020.8850.8870.7400.7031.0000.7810.8340.5410.6490.190X80.3790.6910.6600.8670.9260.7900.7530.7811.0000.9310.4040.9060.548X90.5750.7190.6860.8890.8920.8500.8210.8340.9311.0000.5690.8950.533X100.6730.1500.1180.31

16、40.3480.6300.6460.5410.4040.5691.0000.2410.155X110.2570.7580.7600.8550.8490.7050.6660.6490.9060.8950.2411.0000.613X120.0380.3010.3370.4570.4370.5150.4930.1900.5480.5330.1550.6131.0003.6 相關(guān)陣與偏相關(guān)系數(shù) 二、偏判定系數(shù) 當(dāng)其他變量被固定后,給定的任兩個(gè)變量之間的相關(guān)系數(shù),叫偏相關(guān)系數(shù)。 偏相關(guān)系數(shù)可以度量p+1個(gè)變量y,x1,x2, xp之中任意兩個(gè)變量的線性相關(guān)程度,而這種相關(guān)程度是在固定其余p-1個(gè)變量的

17、影響下的線性相關(guān)。 3.6 相關(guān)陣與偏相關(guān)系數(shù) 二、偏判定系數(shù) 偏判定系數(shù)測(cè)量在回歸方程中已包含若干個(gè)自變量時(shí)，再引入某一個(gè)新的自變量后y的剩余變差的相對(duì)減少量，它衡量y的變差減少的邊際貢獻(xiàn)。3.6 相關(guān)陣與偏相關(guān)系數(shù) 二、偏判定系數(shù) 以x1表示某種商品的銷售量， x2表示消費(fèi)者人均可支配收入， x3表示商品價(jià)格。從經(jīng)驗(yàn)上看，銷售量x1與消費(fèi)者人均可支配收入x2之間應(yīng)該有正相關(guān)，簡(jiǎn)單相關(guān)系數(shù)r12應(yīng)該是正的。但是如果你計(jì)算出的r12是個(gè)負(fù)數(shù)也不要感到驚訝，這是因?yàn)檫€有其它沒有被固定的變量在發(fā)揮影響，例如商品價(jià)格x3在這期間大幅提高了。反映固定x3后x1與x2相關(guān)程度的偏相關(guān)系數(shù)r12；3會(huì)是個(gè)

18、正數(shù)。3.6 相關(guān)陣與偏相關(guān)系數(shù) 1兩個(gè)自變量的偏判定系數(shù)二元線性回歸模型為：yi=0+1xi1+2xi2+i記SSE（x2）是模型中只含有自變量x2時(shí)y的殘差平方和，SSE(x1，x2)是模型中同時(shí)含有自變量x1和x2時(shí)y的殘差平方和。因此模型中已含有x2時(shí)再加入x1使y的剩余變差的相對(duì)減小量為：此即模型中已含有x2時(shí)，y與x1的偏判定系數(shù)。3.6 相關(guān)陣與偏相關(guān)系數(shù) 1兩個(gè)自變量的偏判定系數(shù)同樣地，模型中已含有x1時(shí)，y與x2的偏判定系數(shù)為：3.6 相關(guān)陣與偏相關(guān)系數(shù) 2.一般情況在模型中已含有x2,xp時(shí)，y與x1的偏判定系數(shù)為：3.6 相關(guān)陣與偏相關(guān)系數(shù) 三、偏相關(guān)系數(shù) 偏判定系數(shù)的平

19、方根稱為偏相關(guān)系數(shù)，其符號(hào)與相應(yīng)的回歸系數(shù)的符號(hào)相同。 例3.2 研究北京市各經(jīng)濟(jì)開發(fā)區(qū)經(jīng)濟(jì)發(fā)展與招商投資的關(guān)系，因變量y為各開發(fā)區(qū)的銷售收入（百萬(wàn)元），選取兩個(gè)自變量， x1為截至1998年底各開發(fā)區(qū)累計(jì)招商數(shù)目， x2為招商企業(yè)注冊(cè)資本（百萬(wàn)元）。表中列出了至1998年底招商企業(yè)注冊(cè)資本x2在5億至50億元的15個(gè)開發(fā)區(qū)的數(shù)據(jù)。3.6 相關(guān)陣與偏相關(guān)系數(shù) 三、偏相關(guān)系數(shù) 北京開發(fā)區(qū)數(shù)據(jù)x1x2yx1x2y253547.79553.967671.13122.2420896.34208.555322863.3214006750.323.175116046410012087.052815.440

20、862.757.55251639.311052.12187672.99224.188253357.73427122901.76538.94120808.47442.82743546.182442.7928520.2770.123.6 相關(guān)陣與偏相關(guān)系數(shù) 三、偏相關(guān)系數(shù) 偏相關(guān)系數(shù)表3.6 相關(guān)陣與偏相關(guān)系數(shù) 三、偏相關(guān)系數(shù) 用y與x1做一元線性回歸時(shí)，x1能消除y的變差SST的比例為再引入x2時(shí)，x2能消除剩余變差SSE（X1）的比例為因而自變量x1和x2消除y變差的總比例為=1-(1-0.651)(1-0.546)=0.842=84.2%。這個(gè)值84.2%恰好是y對(duì)x1和x2二元線性回歸的判定系數(shù)R23.6 相關(guān)陣與偏相關(guān)系數(shù) 三、偏相關(guān)系數(shù) 對(duì)任意p個(gè)變量x1,x2,xp定義它們之間的偏相關(guān)系數(shù)其中符號(hào)ij表示相關(guān)陣第i行第j列元素的代數(shù)余子式驗(yàn)證3.7 本章小結(jié)與評(píng)注 例3.3 中國(guó)民航客運(yùn)量的回歸模型。y民航客運(yùn)量(萬(wàn)人),