多元回歸及復(fù)相關(guān)分析課件

1、2021-9-25多元回歸及復(fù)相關(guān)分析課件1第十一章第十一章 多元回歸及復(fù)相關(guān)分析多元回歸及復(fù)相關(guān)分析2021-9-25多元回歸及復(fù)相關(guān)分析課件2回歸分析回歸分析數(shù)學(xué)模型及定義數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)模型參數(shù)估計(jì)* *檢驗(yàn)、預(yù)測(cè)與控制檢驗(yàn)、預(yù)測(cè)與控制可線性化的一元非線可線性化的一元非線性回歸（曲線回歸性回歸（曲線回歸）數(shù)學(xué)模型及定義數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)模型參數(shù)估計(jì)*多元線性回歸中的多元線性回歸中的檢驗(yàn)與預(yù)測(cè)檢驗(yàn)與預(yù)測(cè)逐步回歸分析逐步回歸分析2021-9-25多元回歸及復(fù)相關(guān)分析課件311.111.1、多元線性回歸方程、多元線性回歸方程npxxxypkpkppp,.,2 , 1,.2

2、21102021-9-25多元回歸及復(fù)相關(guān)分析課件4一般稱 nICOVEXY2),(, 0)( 為高斯馬爾柯夫線性模型(k k 元線性回歸模型元線性回歸模型)，并簡記為),(2nIXY kkxxy.110稱為回回歸歸平平面面方方程程. 線性模型),(2nIXY考慮的主要問題是： （1）用試驗(yàn)值（樣本值）對(duì)未知參數(shù)和2作點(diǎn)估計(jì)和假設(shè)檢驗(yàn)，從而建立 y 與kxxx,.,21之間的數(shù)量關(guān)系； （2）在,.,0022011kkxxxxxx處對(duì) y 的值作預(yù)測(cè)與控制，即對(duì) y 作區(qū)間估計(jì). 一、多元線性回歸模型一、多元線性回歸模型2021-9-25多元回歸及復(fù)相關(guān)分析課件5二、模型參數(shù)估計(jì)二、模型參數(shù)估

3、計(jì)1、對(duì)、對(duì)i和和2作估計(jì)作估計(jì)用最小二乘法求k,.,0的估計(jì)量：作離差平方和 niikkiixxyQ12110.選擇k,.,0使 Q 達(dá)到最小。 YXXXTT1解得估計(jì)值YXXXXXXXXXYXXX1 -1 -1 -)()(,)(:則有存在的話如果正規(guī)方程為2021-9-25多元回歸及復(fù)相關(guān)分析課件62、 多多 項(xiàng)項(xiàng) 式式 回回 歸歸設(shè)變量 x、Y 的回歸模型為 ppxxxY.2210其中 p 是已知的，), 2 , 1(pii是未知參數(shù)，服從正態(tài)分布), 0(2N. 令iixx ，i=1，2，k 多項(xiàng)式回歸模型變?yōu)槎嘣€性回歸模型. kkxxxY.2210稱為回回歸歸多多項(xiàng)項(xiàng)式式.上面的回

4、歸模型稱為多多項(xiàng)項(xiàng)式式回回歸歸.2021-9-25多元回歸及復(fù)相關(guān)分析課件7三、多元線性回歸中的檢驗(yàn)與預(yù)測(cè)三、多元線性回歸中的檢驗(yàn)與預(yù)測(cè)1、線線性性模模型型和和回回歸歸系系數(shù)數(shù)的的檢檢驗(yàn)驗(yàn)假設(shè) 0.:100kH （）F檢驗(yàn)法檢驗(yàn)法當(dāng) H0成立時(shí)，)1,()1/(/knkFknQkUFe如果 F F1-（k，n-k-1） ，則拒絕 H0，認(rèn)為 y 與 x1, xk之間顯著地有線性關(guān)系；否則就接受 H0，認(rèn)為 y 與 x1, xk之間線性關(guān)系不顯著.其中 niiyyU12（回回歸歸平平方方和和） niiieyyQ12)(殘差平方和）殘差平方和）對(duì)角線上的元素是系數(shù)矩陣的逆矩陣其中所以可用下面的檢驗(yàn)

5、法的檢驗(yàn)對(duì)其中一個(gè)回歸系數(shù)12)( ) 1(),(:,XXckntcMSstNjjjjejjjjjjjj2021-9-25多元回歸及復(fù)相關(guān)分析課件8三、多元線性回歸中的檢驗(yàn)與預(yù)測(cè)三、多元線性回歸中的檢驗(yàn)與預(yù)測(cè)（）r檢驗(yàn)法檢驗(yàn)法.12 ., )(R, ,2,),.,(.).1)(1).(1)(1.(1221中的臨界值比較得到附表其顯著性可通過與關(guān)系或者自變量兩兩之間的與各個(gè)自變量兩兩之間反應(yīng)了的逆矩陣中的元素構(gòu)成的矩陣個(gè)變量的簡單相關(guān)系數(shù)由為相關(guān)矩陣其中記為的偏相關(guān)系數(shù)對(duì)稱為系數(shù)個(gè)變量的影響后的相關(guān)除去另外個(gè)變量之間個(gè)變量和第其中第個(gè)變量設(shè)共有YmccccrXXmjiXXXmmmijjjiiij

6、mjjiiijjim2021-9-25多元回歸及復(fù)相關(guān)分析課件92、預(yù)測(cè)、預(yù)測(cè)（1）點(diǎn)預(yù)測(cè)）點(diǎn)預(yù)測(cè)求出回歸方程kkxxy.110，對(duì)于給定自變量的值kxx ,.,*1，用*110*.kkxxy來預(yù)測(cè)*110.kkxxy.稱* y為*y的點(diǎn)預(yù)測(cè).（2）區(qū)間預(yù)測(cè)）區(qū)間預(yù)測(cè)y 的1的預(yù)測(cè)區(qū)間（置信）區(qū)間為),(21yy,其中) 1(1) 1(12/10022/1001kntxxcyykntxxcyykikjjiijekikjjiijeC=L-1=(cij), L=XX1knQee2021-9-25多元回歸及復(fù)相關(guān)分析課件10四、逐步回歸分析四、逐步回歸分析（4）“有進(jìn)有出”的逐步回歸分析。（1）從所

7、有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個(gè)變量開始，把變量逐個(gè)引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法： “最優(yōu)最優(yōu)”的回歸方程的回歸方程就是包含所有對(duì)Y有影響的變量, 而不包含對(duì)Y影響不顯著的變量回歸方程。 以第四種方法，即逐步回歸分析法逐步回歸分析法在篩選變量方面較為理想.2021-9-25多元回歸及復(fù)相關(guān)分析課件11 這個(gè)過程反復(fù)進(jìn)行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時(shí)為止。逐步回歸分析法逐步回歸分析法的思想： 從一個(gè)自變量開始，視因變量Y作用的顯著程度，從大到小地依次逐個(gè)引入回歸

8、方程。 當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。 引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。 對(duì)于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)Y作用顯著的變量。2021-9-25多元回歸及復(fù)相關(guān)分析課件121、多元線性回歸、多元線性回歸2、多項(xiàng)式回歸、多項(xiàng)式回歸3、非線性回歸、非線性回歸4、逐步回歸、逐步回歸2021-9-25多元回歸及復(fù)相關(guān)分析課件13多元線性回歸多元線性回歸 b=regress( Y, X )npnnppxxxxxxxxxX.1.1.1212222111211nYYYY.21pb.101、確定回歸系數(shù)的點(diǎn)

9、估計(jì)值：確定回歸系數(shù)的點(diǎn)估計(jì)值：ppxxy.110對(duì)一元線性回歸，取 p=1 即可2021-9-25多元回歸及復(fù)相關(guān)分析課件143、畫出殘差及其置信區(qū)間：畫出殘差及其置信區(qū)間： rcoplot（r，rint）2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值：相關(guān)系數(shù)r2、F值、與F對(duì)應(yīng)的概率p置信區(qū)間 顯著性水平（缺省時(shí)為0.05） 相關(guān)系數(shù) r2越接近 1，說明回歸方程越顯著； F F1-（k，n-k-1）時(shí)

10、拒絕 H0，F(xiàn) 越大，說明回歸方程越顯著； 與 F 對(duì)應(yīng)的概率 p時(shí)拒絕 H0，回歸模型成立.2021-9-25多元回歸及復(fù)相關(guān)分析課件15例例1 解：解：1、輸入數(shù)據(jù)：輸入數(shù)據(jù)： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回歸分析及檢驗(yàn)：回歸分析及檢驗(yàn)： b,bint,r,rint,stats=regress(Y,X) b,bint,stats得結(jié)果：b = bi

11、nt = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000即7194. 0,073.1610；0的置信區(qū)間為-33.7017，1.5612, 1的置信區(qū)間為0.6047,0.834;r2=0.9282, F=180.9531, p=0.0000p0.05, 可知回歸模型 y=-16.073+0.7194x 成立.To MATLAB(liti11)2021-9-25多元回歸及復(fù)相關(guān)分析課件163、殘差分析，作殘差圖：、殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出，除第

12、二個(gè)數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點(diǎn)均較近，且殘差的置信區(qū)間均包含零點(diǎn)，這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個(gè)數(shù)據(jù)可視為異常點(diǎn). 4、預(yù)測(cè)及作圖：、預(yù)測(cè)及作圖：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)246810121416-5-4-3-2-101234Residual Case Order PlotResidualsCase Number返回返回To MATLAB(liti12)2021-9-25多元回歸及復(fù)相關(guān)分析課件17多多 項(xiàng)項(xiàng) 式式 回回 歸歸 （一）一元多項(xiàng)式回歸（一）一元多項(xiàng)式回歸 （1）確定多項(xiàng)式系數(shù)的命令：p，S=

13、polyfit（x，y，m） 其中 x=（x1，x2，xn） ，y=（y1，y2，yn） ；p=（a1，a2，am+1）是多項(xiàng)式y(tǒng)=a1xm+a2xm-1+amx+am+1的系數(shù)；S 是一個(gè)矩陣，用來估計(jì)預(yù)測(cè)誤差.（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：、回歸：y=a1xm+a2xm-1+amx+am+12、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：（1）Y=polyval（p，x）求polyfit所得的回歸多項(xiàng)式在x處 的預(yù) 測(cè)值Y； （2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得 的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為

14、1- alpha的置信區(qū)間Y DELTA；alpha缺省時(shí)為0.5.2021-9-25多元回歸及復(fù)相關(guān)分析課件18 例例 2 觀測(cè)物體降落的距離s 與時(shí)間t 的關(guān)系，得到數(shù)據(jù)如下表，求s關(guān)于 t 的回歸方程2ctbtas.t (s)1/302/303/304/305/306/307/30s (cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48法一法一 直接作二次多項(xiàng)式回歸：直接作二次多項(xiàng)式回歸： t=1/3

15、0:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2)To MATLAB（liti21）1329. 98896.652946.4892tts得回歸模型為 ：2021-9-25多元回歸及復(fù)相關(guān)分析課件19法二法二化為多元線性回歸：化為多元線性回歸：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99

16、.08 113.77 129.54 146.48;T=ones(14,1) t (t.2);b,bint,r,rint,stats=regress(s,T);b,statsTo MATLAB(liti22)22946.4898896.651329. 9tts得回歸模型為 ：Y=polyconf(p,t,S) plot(t,s,k+,t,Y,r)預(yù)測(cè)及作圖預(yù)測(cè)及作圖To MATLAB(liti23)2021-9-25多元回歸及復(fù)相關(guān)分析課件20（二）多元二項(xiàng)式回歸（二）多元二項(xiàng)式回歸命令：rstool（x，y，model, alpha）nm矩陣顯著性水平（缺省時(shí)為0.05）n維列向量由下列 4

17、個(gè)模型中選擇 1 個(gè)（用字符串輸入，缺省時(shí)為線性模型）： linear（線性）：mmxxy 110 purequadratic（純二次）： njjjjmmxxxy12110 interaction（交叉）： mkjkjjkmmxxxxy1110 quadratic（完全二次）： mkjkjjkmmxxxxy,1110 2021-9-25多元回歸及復(fù)相關(guān)分析課件21 例例3 設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù) 據(jù)如下，建立回歸模型，預(yù)測(cè)平均收入為1000、價(jià)格為6時(shí) 的商品需求量.需求量10075807050659010011060收入100060012005003004001

18、30011001300300價(jià)格5766875439選擇純二次模型，即 2222211122110 xxxxy法一法一 直接用多元二項(xiàng)式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2; rstool(x,y,purequadratic)2021-9-25多元回歸及復(fù)相關(guān)分析課件22 在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方

19、框中輸入1000，右邊圖形下方的方框中輸入6。 則畫面左邊的“Predicted Y”下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測(cè)出平均收入為1000、價(jià)格為6時(shí)的商品需求量為88.4791.2021-9-25多元回歸及復(fù)相關(guān)分析課件23在Matlab工作區(qū)中輸入命令： beta, rmse得結(jié)果：beta = 110.5313 0.1464 -26.5709 -0.0001 1.8475 rmse = 4.5362故回歸模型為：2221218475. 10001. 05709.261464. 05313.110 xxxxy剩余標(biāo)準(zhǔn)差為 4.5362, 說明此回歸模型的顯著性較好.To MATLAB

20、(liti31)2021-9-25多元回歸及復(fù)相關(guān)分析課件24X=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,X);b,stats結(jié)果為: b = 110.5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0005法二法二To MATLAB(liti32)返回返回 2222211122110 xxxxy將 化為多元線性回歸：2021-9-25多元回歸及復(fù)相關(guān)分析課件25非線性回非線性回 歸歸 （1）確定回歸系數(shù)的命令： beta，r，J=nlin

21、fit（x，y，model, beta0）（2）非線性回歸命令：nlintool（x，y，model, beta0，alpha）1、回歸：、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計(jì)出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為 矩陣和n維列向量，對(duì)一元非線性回歸，x為n維列向量。mn2、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：Y，DELTA=nlpredci（model, x，beta，r，J）求nlinfit 或nlintool所得的回歸函數(shù)在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y DELTA.2021-9-25多元回歸及復(fù)相關(guān)分析課件26例例

22、 4 對(duì)第一節(jié)例2，求解如下：1、對(duì)將要擬合的非線性模型 y=axbe/，建立 m-文件 volum.m 如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x);2、輸入數(shù)據(jù)： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;3、求回歸系數(shù)： beta,r ,J=nlinfit(x,y,volum,beta0)； beta得結(jié)果：beta = 11.6036 -1.0641即得回歸

23、模型為：xey10641. 16036.11To MATLAB(liti41)2021-9-25多元回歸及復(fù)相關(guān)分析課件274、預(yù)測(cè)及作圖： YY,delta=nlpredci(volum,x,beta,r ,J)； plot(x,y,k+,x,YY,r)To MATLAB(liti42)2021-9-25多元回歸及復(fù)相關(guān)分析課件28例例5 財(cái)政收入預(yù)測(cè)問題：財(cái)政收入與國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝凇⒕蜆I(yè)人口、固定資產(chǎn)投資等因素有關(guān)。下表列出了1952-1981年的原始數(shù)據(jù)，試構(gòu)造預(yù)測(cè)模型。 解解 設(shè)國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資分別為x1、x2、x

24、3、x4、x5、x6，財(cái)政收入為y，設(shè)變量之間的關(guān)系為：y= ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。2021-9-25多元回歸及復(fù)相關(guān)分析課件291 對(duì)回歸模型建立對(duì)回歸模型建立M文件文件model.m如下如下: function yy=model(beta0,X) a=beta0(1); b=beta0(2); c=beta0(3); d=beta0(4); e=beta0(5); f=beta0(6); x1=X(:,1); x2=X(:,2); x3=X(:,3); x4=X(:,4); x5=X(:,5); x6=X(:,6); yy=a*x1+b*x2

25、+c*x3+d*x4+e*x5+f*x6; 2021-9-25多元回歸及復(fù)相關(guān)分析課件302. 主程序主程序liti6.m如下如下:X=598.00 349.00 461.00 57482.00 20729.00 44.00 . 2927.00 6862.00 1273.00 100072.0 43280.00 496.00;y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00 . 271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00 . 564.

26、00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00 . 890.00 826.00 810.0;beta0=0.50 -0.03 -0.60 0.01 -0.02 0.35;betafit = nlinfit(X,y,model,beta0)To MATLAB(liti6）2021-9-25多元回歸及復(fù)相關(guān)分析課件31 betafit = 0.5243 -0.0294 -0.6304 0.0112 -0.0230 0.3658即y= 0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230 x5+0.

27、3658x6結(jié)果為結(jié)果為:返返 回回2021-9-25多元回歸及復(fù)相關(guān)分析課件32逐逐 步步 回回 歸歸逐步回歸的命令是： stepwise（x，y，inmodel，alpha） 運(yùn)行stepwise命令時(shí)產(chǎn)生三個(gè)圖形窗口：Stepwise Plot，Stepwise Table，Stepwise History. 在Stepwise Plot窗口，顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間. Stepwise Table 窗口中列出了一個(gè)統(tǒng)計(jì)表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對(duì)應(yīng)的概率P.矩陣的列數(shù)的指標(biāo)，給出初始模型中包括的子集（缺省時(shí)設(shè)定為全部自變量）顯著性水平（缺省時(shí)為0.5）自變量數(shù)據(jù), 階矩陣mn因變量數(shù)據(jù)， 階矩陣1n2021-9-25多元回歸及復(fù)相關(guān)分析課件33例例6 水泥凝固時(shí)放出的熱量y與水泥中4種化學(xué)成分x1、x2、x3、 x4 有關(guān)，今測(cè)得一組數(shù)據(jù)如下，試用逐步回歸法確定一個(gè) 線性模 型. 序號(hào)12345678910111213x17111117113122111110 x226295631525571315447406668x3615886917221842398x460522047