多元回歸分析-ppt課件

1、一、多元線性回歸的數(shù)學(xué)模型一、多元線性回歸的數(shù)學(xué)模型二、數(shù)學(xué)模型的分析與求解二、數(shù)學(xué)模型的分析與求解三、三、MATLAB中回歸分析的實(shí)現(xiàn)中回歸分析的實(shí)現(xiàn)四、小結(jié)四、小結(jié).)1(, 21有有關(guān)關(guān)通通常常與與多多個(gè)個(gè)普普通通變變量量實(shí)實(shí)際際問(wèn)問(wèn)題題中中的的隨隨機(jī)機(jī)變變量量 pxxxYp., 2121的的函函數(shù)數(shù)則則它它是是的的數(shù)數(shù)學(xué)學(xué)期期望望存存在在若若定定的的分分布布具具有有一一的的一一組組確確定定值值對(duì)對(duì)于于自自變變量量ppxxxYYxxx),(21,21pxxxYxxxp 的回歸函數(shù)的回歸函數(shù)關(guān)于關(guān)于 xY.,),(2121的的線線性性函函數(shù)數(shù)是是ppxxxxxx )., 0( ,2110

2、NxbxbbYpp .,1210無(wú)關(guān)的未知參數(shù)無(wú)關(guān)的未知參數(shù)是與是與ppxxbbb 多元線性回歸模型多元線性回歸模型.),( ,),( 21111211是是一一個(gè)個(gè)樣樣本本設(shè)設(shè)nnpnnpyxxxyxxx用最大似然估計(jì)法估計(jì)參數(shù)用最大似然估計(jì)法估計(jì)參數(shù).,110010時(shí)時(shí)當(dāng)當(dāng)取取pppbbbbbbbbb niippiixbxbbyQ12110)(到達(dá)最小到達(dá)最小.,)(12110 niippiixbxbbyQ ., 2 , 1, 0)(2 , 0)(2111011100pjxxbxbbybQxbxbbybQniijippiijniippii化簡(jiǎn)可得化簡(jiǎn)可得 ., ,11212211110111

3、112121211110111221110niiipniippniiipniiipniipniiiniipipniiiniiniiniiniippniiniiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbnb正規(guī)方程組正規(guī)方程組引入矩陣引入矩陣,111212222111211 npnnppxxxxxxxxxX,21 nyyyY.10 pbbbB正規(guī)方程組的矩陣方式正規(guī)方程組的矩陣方式Y(jié)XXBX YXXXbbbBp)(110 最大似然估計(jì)值最大似然估計(jì)值ppxbxbxbby22110 的的估估計(jì)計(jì)是是pppxbxbbxxx 11021),( P元閱歷線性回歸方程元閱歷線性回歸方程

4、多元線性回歸多元線性回歸1.確定回歸系數(shù)的點(diǎn)估計(jì)值確定回歸系數(shù)的點(diǎn)估計(jì)值,用命令用命令:b=regress(Y,X)2.求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì),并檢驗(yàn)回并檢驗(yàn)回歸模型歸模型,用命令用命令:b,bint,r,rint,stats=regress(Y,X,alpha)3.畫出殘差及其置信區(qū)間畫出殘差及其置信區(qū)間,用命令用命令:rcoplot(r,rint)符號(hào)闡明符號(hào)闡明(1),111212222111211 npnnppxxxxxxxxxX,21 nyyyY.)(110YXXXbbbBbp . 1, p取取一元線性回歸一元線性回歸(2) alpha為顯著性程度為

5、顯著性程度, 默以為默以為 0.05;(3) bint為回歸系數(shù)的區(qū)間估計(jì)為回歸系數(shù)的區(qū)間估計(jì);(4) r與與rint分別為殘差及其置信區(qū)間分別為殘差及其置信區(qū)間;(5) stats 是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量, 有三個(gè)有三個(gè)數(shù)值數(shù)值, 第一個(gè)是相關(guān)系數(shù)第一個(gè)是相關(guān)系數(shù) r2, 其值越接近于其值越接近于 1, 闡明回闡明回歸方程越顯著歸方程越顯著; 第二個(gè)是第二個(gè)是 F 值值, FF1-alpha(p,n-p-1) 時(shí)時(shí)回絕回絕 H0, F 越大越大, 闡明回歸方程越顯著闡明回歸方程越顯著; 第三個(gè)是與第三個(gè)是與F對(duì)應(yīng)的概率對(duì)應(yīng)的概率 p, p p=polyfit(x

6、,y,2)p = 0.0001 -0.0225 2.1983Y=polyval(p,x)Y = 1.7978 1.7134 1.6352 1.5632 1.4975 1.3848 1.2972 1.2627 1.2345 1.2126 1.1969 1.1843預(yù)測(cè)及作圖預(yù)測(cè)及作圖Y=polyconf(p,x,y)plot(x,y,b+,x,Y,r)Y=polyconf(p,x,y)Y = 1.7978 1.7134 1.6352 1.5632 1.4975 1.3848 1.2972 1.2627 1.2345 1.2126 1.1969 1.1843預(yù)測(cè)及作圖預(yù)測(cè)及作圖polytool(x

7、,y,2)預(yù)測(cè)及作圖預(yù)測(cè)及作圖polytool(x,y,2)p,S=polyfit(x,y,2)；Y,DELTA=polyconf(p,x,S,0.05)Y = 1.7978 1.7134 1.6352 1.5632 1.4975 1.3848 1.2972 1.2627 1.2345 1.2126 1.1969 1.1843 DELTA = 0.0335 0.0311 0.0299 0.0296 0.0297 0.0302 0.0302 0.0299 0.0297 0.0297 0.0305 0.0354化為多元線性回歸化為多元線性回歸X=ones(12,1) x (x.2);X = 1 2

8、0 400 1 25 625 1 30 900 1 35 1225 1 40 1600 1 50 2500 1 60 3600 1 65 4225 1 70 4900 1 75 5625 1 80 6400 1 90 8100化為多元線性回歸化為多元線性回歸X=ones(12,1) x (x.2);b,bint,r,rint,stats=regress(y,X);b,stats與前面的結(jié)果一致與前面的結(jié)果一致.多元二項(xiàng)式回歸多元二項(xiàng)式回歸rstool(x,y,model,alpha)其中其中,輸入數(shù)據(jù)輸入數(shù)據(jù) x, y 分別為分別為 nm 矩陣和矩陣和 n 維列維列向量向量; alpha 為顯

9、著性程度為顯著性程度, 默以為默以為 0.05; model 為為以下四種模型中的一種以下四種模型中的一種, 輸入相應(yīng)的字符串輸入相應(yīng)的字符串, 默以默以為線性模型為線性模型.mmxxy 110:)(線線性性linearticpurequadra:)(純二次純二次 mjjjjmmxxxy12110 ninteractio:)(交叉交叉 mmkjkjjkmmxxxxy1110 quadratic:)(完完全全二二次次 mmkjkjjkmmxxxxy,1110 rstool的輸出是一個(gè)交互式畫面的輸出是一個(gè)交互式畫面,畫面中有畫面中有m個(gè)個(gè)圖形圖形,分別給出了一個(gè)獨(dú)立變量分別給出了一個(gè)獨(dú)立變量xi

10、與與y的擬合曲線的擬合曲線,以及以及y的置信區(qū)間的置信區(qū)間,此時(shí)其他此時(shí)其他m-1個(gè)變量取固定值個(gè)變量取固定值.可可以輸入不同的變量的不同值得到以輸入不同的變量的不同值得到y(tǒng)的相應(yīng)值的相應(yīng)值.圖的左下方有兩個(gè)下拉式菜單圖的左下方有兩個(gè)下拉式菜單,一個(gè)用于傳送一個(gè)用于傳送回歸系數(shù)、剩余規(guī)范差、殘差等數(shù)據(jù)回歸系數(shù)、剩余規(guī)范差、殘差等數(shù)據(jù);另一個(gè)用于另一個(gè)用于選擇四種回歸模型中的一種選擇四種回歸模型中的一種,選擇不同的回歸模型選擇不同的回歸模型,其中剩余規(guī)范差最接近于零的模型回歸效果最好其中剩余規(guī)范差最接近于零的模型回歸效果最好.例例3設(shè)某商品的需求量與消費(fèi)者的平均收入、商設(shè)某商品的需求量與消費(fèi)者的

11、平均收入、商品價(jià)錢的統(tǒng)計(jì)數(shù)據(jù)如下品價(jià)錢的統(tǒng)計(jì)數(shù)據(jù)如下, 建立回歸模型建立回歸模型, 預(yù)測(cè)平均收預(yù)測(cè)平均收入為入為 1000, 價(jià)錢為價(jià)錢為 6 時(shí)的商品需求量時(shí)的商品需求量 . 選擇純二次模型選擇純二次模型,即即2222211122110 xxxxy 數(shù)據(jù)輸入數(shù)據(jù)輸入x1=1000,600,1200,500,300,400,1300,1100,1300,300;x2=5,7,6,6,8,7,5,4,3,9;y=100,75,80,70,50,65,90,100,110,60;x=x1 x2;回歸、檢驗(yàn)與預(yù)測(cè)回歸、檢驗(yàn)與預(yù)測(cè)rstool(x,y,purequadratic)化為多元線性回歸求解化

12、為多元線性回歸求解x1=1000,600,1200,500,300,400,1300,1100,1300,300;x2=5,7,6,6,8,7,5,4,3,9;y=100,75,80,70,50,65,90,100,110,60;X=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,X)回歸系數(shù)的點(diǎn)估計(jì)以及區(qū)間估計(jì)回歸系數(shù)的點(diǎn)估計(jì)以及區(qū)間估計(jì)殘差及其置信區(qū)間殘差及其置信區(qū)間檢驗(yàn)回歸模型的統(tǒng)計(jì)量檢驗(yàn)回歸模型的統(tǒng)計(jì)量;1,9702. 02回回歸歸方方程程顯顯著著接接近近于于相相關(guān)關(guān)系系數(shù)數(shù) r;,26. 6)5 , 4(665

13、6.4095. 0回回歸歸方方程程顯顯著著 FF.,05. 00005. 0回回歸歸模模型型成成立立 P逐漸回歸分析逐漸回歸分析在實(shí)踐問(wèn)題中在實(shí)踐問(wèn)題中,影響因變量的要素很多影響因變量的要素很多,而這些而這些要素之間能夠存在多重共線性要素之間能夠存在多重共線性.為得到可靠的回歸為得到可靠的回歸模型模型,需求一種方法能有效地從眾多要素中挑選出需求一種方法能有效地從眾多要素中挑選出對(duì)因變量奉獻(xiàn)大的要素對(duì)因變量奉獻(xiàn)大的要素.假設(shè)采用多元線性回歸分析假設(shè)采用多元線性回歸分析,回歸方程穩(wěn)定性回歸方程穩(wěn)定性差差,每個(gè)自變量的區(qū)間誤差積累將影響總體誤差每個(gè)自變量的區(qū)間誤差積累將影響總體誤差,預(yù)預(yù)測(cè)的可靠性差

14、、精度低測(cè)的可靠性差、精度低;另外另外,假設(shè)采用了影響小的假設(shè)采用了影響小的變量變量,脫漏了重要變量脫漏了重要變量,能夠?qū)е鹿烙?jì)量產(chǎn)生偏倚和能夠?qū)е鹿烙?jì)量產(chǎn)生偏倚和不一致性不一致性.選擇選擇“最優(yōu)回歸方程的方法最優(yōu)回歸方程的方法1.從一切能夠的變量組合的回歸方程中選擇從一切能夠的變量組合的回歸方程中選擇最優(yōu)者最優(yōu)者;2.從包含全部變量的回歸方程中逐次剔除不從包含全部變量的回歸方程中逐次剔除不顯著因子顯著因子;3.從一個(gè)變量開場(chǎng)從一個(gè)變量開場(chǎng),把變量逐個(gè)引入方程把變量逐個(gè)引入方程;4.“有進(jìn)有出的逐漸回歸分析有進(jìn)有出的逐漸回歸分析.“最優(yōu)的回歸方程應(yīng)該包含一切有影響的最優(yōu)的回歸方程應(yīng)該包含一切有

15、影響的變量而不包括影響不顯著的變量變量而不包括影響不顯著的變量.逐漸回歸分析法在挑選變量方面比較理想逐漸回歸分析法在挑選變量方面比較理想, 是是目前較常用的方法目前較常用的方法. 它從一個(gè)自變量開場(chǎng)它從一個(gè)自變量開場(chǎng), 根據(jù)自變根據(jù)自變量作用的顯著程度量作用的顯著程度, 從大到小地依次逐個(gè)引入回歸從大到小地依次逐個(gè)引入回歸方程方程, 但當(dāng)引入的自變量由于后面變量的引入而變但當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)得不顯著時(shí), 要將其剔除掉要將其剔除掉. 引入一個(gè)自變量或從回引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量歸方程中剔除一個(gè)自變量, 為逐漸回歸的一步為逐漸回歸的一步, 對(duì)于對(duì)于每一

16、步每一步, 都進(jìn)展檢驗(yàn)都進(jìn)展檢驗(yàn), 以確保每次引入新的顯著性變以確保每次引入新的顯著性變量前回歸方程中只包含作用顯著的變量量前回歸方程中只包含作用顯著的變量.反復(fù)進(jìn)展上面的過(guò)程反復(fù)進(jìn)展上面的過(guò)程, 直到?jīng)]有不顯著的變量直到?jīng)]有不顯著的變量從回歸方程中剔除從回歸方程中剔除, 也沒(méi)有顯著變量可引入到回歸也沒(méi)有顯著變量可引入到回歸方程方程.函數(shù)函數(shù): stepwise用法用法: stepwise(x,y,inmodel,alpha)符號(hào)闡明符號(hào)闡明:x自變量數(shù)據(jù)自變量數(shù)據(jù),為為nm矩陣矩陣;y因變量數(shù)據(jù)因變量數(shù)據(jù),為為n1矩陣矩陣;inmodel由矩陣由矩陣x列的目的構(gòu)成列的目的構(gòu)成,闡明初始模闡明

17、初始模型中引入的自變量型中引入的自變量,默以為全部自變量默以為全部自變量;alpha判別模型中每一項(xiàng)顯著性的目的判別模型中每一項(xiàng)顯著性的目的, 默默認(rèn)相當(dāng)于對(duì)回歸系數(shù)給出認(rèn)相當(dāng)于對(duì)回歸系數(shù)給出95%的置信區(qū)間的置信區(qū)間.例例4水泥凝固時(shí)放出的熱量水泥凝固時(shí)放出的熱量 y 與水泥中的四種化與水泥中的四種化學(xué)成分學(xué)成分 x1, x2, x3, x4 有關(guān)有關(guān), 今測(cè)得一組數(shù)據(jù)如下今測(cè)得一組數(shù)據(jù)如下, 試試用逐漸回歸法確定一個(gè)線性模型用逐漸回歸法確定一個(gè)線性模型.x1=7,1,11,11,7,11,3,1,2,21,1,11,10;x2=26,29,56,31,52,55,71,31,54,47,4

18、0,66,68;x3=6,15,8,8,6,9,17,22,18,4,23,9,8;x4=60,52,20,47,33,22,6,44,22,26,34,12,12;y=78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1, 115.9,83.8,113.3,109.4;x=x1,x2,x3,x4;輸入數(shù)據(jù)輸入數(shù)據(jù)stepwise(x,y)逐漸回歸分析逐漸回歸分析stepwise(x,y)逐漸回歸分析逐漸回歸分析對(duì)變量對(duì)變量 y 和和 x1, x2 , x3 , x4 , 作線性回作線性回歸歸. X=ones(13,1),x1,x2,x3,x4; b,

19、bint, r,rint,stats=regress(y,X)b = 62.4054 1.5511 0.5102 0.1019 -0.1441 bint = -99.1786 223.9893 -0.1663 3.2685 -1.1589 2.1792 -1.6385 1.8423 -1.7791 1.4910 r = 0.0048 1.5112 -1.6709 -1.7271 0.2508 3.9254 -1.4487 -3.1750 1.3783 0.2815 1.9910 0.9730 -2.2943 rint = -4.0390 4.0485 -3.2331 6.2555 -5.3126 1.9707 -6.5603 3.1061 -4.5773 5.0788 -0.5623 8.4