第三講 回歸分析

1、第第3章章 回歸分析回歸分析 MATLAB數(shù)據(jù)分析方法數(shù)據(jù)分析方法 第第3章章 回歸分析回歸分析 回歸分析是最常用的數(shù)據(jù)分析方法之一。它回歸分析是最常用的數(shù)據(jù)分析方法之一。它是根據(jù)已得的試驗結果以及以往的經(jīng)驗來建立統(tǒng)是根據(jù)已得的試驗結果以及以往的經(jīng)驗來建立統(tǒng)計模型，并研究變量間的相關關系，建立起變量計模型，并研究變量間的相關關系，建立起變量之間關系的近似表達式即經(jīng)驗公式，并由此對相之間關系的近似表達式即經(jīng)驗公式，并由此對相應的變量進行預測和控制等應的變量進行預測和控制等.3.1一元回歸模型一元回歸模型 3.1.1一元線性回歸模型一元線性回歸模型1.一元線性回歸的基本概念一元線性回歸的基本概念第

2、第3章章 回歸分析回歸分析 通常，我們對總體通常，我們對總體(x,Y)進行進行n次的獨立觀測，獲得次的獨立觀測，獲得n組數(shù)據(jù)（稱為樣本觀測值）組數(shù)據(jù)（稱為樣本觀測值） (x1,y1),(x2,y2),(xn,yn)利用最小二乘法可以得到回歸模型參數(shù)利用最小二乘法可以得到回歸模型參數(shù) 0， 1的最的最小二乘估計小二乘估計 設設Y是一個可觀測的隨機變量，它受到一個非隨機變是一個可觀測的隨機變量，它受到一個非隨機變量因素量因素x和隨機誤差和隨機誤差 的影響。若的影響。若Y與與x有如下線性關系：有如下線性關系：,10 xY(3.1.1)且且E =0,D = 2,則稱則稱(3.1.1)為一元線性回歸模型

3、為一元線性回歸模型.其中其中 0， 1為回歸系數(shù)，為回歸系數(shù)，x為自變量，為自變量，Y為因變量為因變量.10,第第3章章 回歸分析回歸分析 (3.1.2) 其中其中 于是建立經(jīng)驗公式模型：于是建立經(jīng)驗公式模型：(3.1.3)一元線性回歸分析的主要任務：一是利用樣本觀測值一元線性回歸分析的主要任務：一是利用樣本觀測值對回歸系數(shù)對回歸系數(shù) 0， 1和和 作點估計；二是對方程的線性關作點估計；二是對方程的線性關系即系即 1作顯著性檢驗；三是在作顯著性檢驗；三是在x=x0處對處對Y作預測等作預測等.以下舉例說明建立經(jīng)驗公式（以下舉例說明建立經(jīng)驗公式（3.1.3）的方法。）的方法。.,110 xxxyL

4、Lxy，niixnx11，niiyny11，niixxxxL12)()( )(1yyxxLiniixy01 yx第第3章章 回歸分析回歸分析 例例3.1.1 近近10年來，某市社會商品零售總額與職工工年來，某市社會商品零售總額與職工工資總額（單位：億元）數(shù)據(jù)如下表資總額（單位：億元）數(shù)據(jù)如下表3.1。表表3.1 商品零售總額與職工工資表商品零售總額與職工工資表 （單位：億元）（單位：億元）建立社會商品零售總額與職工工資總額數(shù)據(jù)的回歸模型建立社會商品零售總額與職工工資總額數(shù)據(jù)的回歸模型工資總額工資總額23.827.631.632.433.734.943.252.863.873.4零售總額零售總額

5、41.451.861.767.968.777.595.9137.4155.0175.0解：解：% 首先輸入數(shù)據(jù)首先輸入數(shù)據(jù)x=23.80,27.60,31.60,32.40,33.70,34.90,43.20,52.80,63.80,73.40;y=41.4,51.8,61.70,67.90,68.70,77.50,95.90,137.40,155.0,175.0;第第3章章 回歸分析回歸分析 % 然后作散點圖然后作散點圖plot(x,y,*) %作散點圖作散點圖xlabel(x(職工工資總額職工工資總額) %橫坐標名橫坐標名ylabel(y(商品零售總額商品零售總額) %縱坐標名縱坐標名20

6、304050607080406080100120140160180 x(職 工 工 資 總 額 )y(商品零售總額)圖圖3.1商品零售總額與職工工資總額數(shù)據(jù)散點圖商品零售總額與職工工資總額數(shù)據(jù)散點圖第第3章章 回歸分析回歸分析 % 計算最佳參數(shù)計算最佳參數(shù)Lxx=sum(x-mean(x).2);Lxy=sum(x-mean(x).* (y-mean(y);b1=Lxy/Lxx;b0=mean(y)-b1*mean(x);運行后得到：運行后得到：b1 = 2.7991，b0 = -23.5493所以，回歸模型為所以，回歸模型為 5493.237991. 2xy問題問題1：當：當x=0，得到，得

7、到y(tǒng)=-23.5493億元如何理解？億元如何理解？問題問題2：如何檢驗：如何檢驗E =0? D = 2?第第3章章 回歸分析回歸分析 2. 一元多項式回歸模型一元多項式回歸模型1110.nnnnya xaxa xa在一元回歸模型中，如果變量在一元回歸模型中，如果變量y與與x的關系是的關系是n次多次多項式，即項式，即其中其中 是隨機誤差，服從正態(tài)分布是隨機誤差，服從正態(tài)分布N(0, 2)a0,a1,an為回歸系數(shù)為回歸系數(shù)，則稱則稱(3.1.4)為多項式回歸模型為多項式回歸模型. (3.1.4)(1)多項式曲線擬合多項式曲線擬合在在MATLAB7的統(tǒng)計工具箱中，有多項式曲線擬合的的統(tǒng)計工具箱中，

8、有多項式曲線擬合的命令命令polyfit，其調(diào)用格式有以下三種：，其調(diào)用格式有以下三種：第第3章章 回歸分析回歸分析 p=polyfit(x,y,n) p,S=polyfit(x,y,n) p,S,mu=polyfit(x,y,n)其中，輸入其中，輸入x,y分別為自變量與因變量的樣本觀測數(shù)據(jù)分別為自變量與因變量的樣本觀測數(shù)據(jù)向量；向量；n是多項式的階數(shù)，對于一元線性回歸則取是多項式的階數(shù)，對于一元線性回歸則取n=1;輸出輸出p是按照降冪排列的多項式的系數(shù)向量，是按照降冪排列的多項式的系數(shù)向量，S是一個是一個矩陣，用于估計預測誤差或供矩陣，用于估計預測誤差或供MATLAB的其它函數(shù)的的其它函數(shù)的

9、調(diào)用調(diào)用 。例例3.1.2 某種合金中的主要成分為某種合金中的主要成分為A,B兩種金屬，經(jīng)過兩種金屬，經(jīng)過試驗發(fā)現(xiàn)：這兩種金屬成分之和試驗發(fā)現(xiàn)：這兩種金屬成分之和x與合金的膨脹系數(shù)與合金的膨脹系數(shù)y有如下關系，建立描述這種關系的數(shù)學表達式有如下關系，建立描述這種關系的數(shù)學表達式.第第3章章 回歸分析回歸分析 表表3.2 合金的膨脹系數(shù)表合金的膨脹系數(shù)表解：解：%首先輸入數(shù)據(jù)首先輸入數(shù)據(jù)x=37:0.5:43; y=3.4,3,3,2.27,2.1,1.83,1.53,1.7,1.8,1.9,2.35,2.54,2.9; %其次做散點圖其次做散點圖plot(x,y,*)xlabel(x(兩種合金

10、之和兩種合金之和) %橫坐標名橫坐標名ylabel(y(合金膨脹系數(shù)合金膨脹系數(shù)) %縱坐標名縱坐標名 %然后根據(jù)散點圖猜測曲線類別然后根據(jù)散點圖猜測曲線類別（2.1.7） x3737.5 3838.5 3939.5 4040.5 4141.5 4242.5 43y3.4332.27 2.11.83 1.53 2.35 2.54 2.9第第3章章 回歸分析回歸分析 由于散點圖呈拋物線，故選擇二次函數(shù)曲線進行擬合由于散點圖呈拋物線，故選擇二次函數(shù)曲線進行擬合.p = polyfit(x,y,2) %注意取注意取n=2運行得到回歸系數(shù)：運行得到回歸系數(shù)：p=0.1660 -13.

11、3866 271.6231 即二次回歸模型為：即二次回歸模型為：20.16613.3866271.6231yxx第第3章章 回歸分析回歸分析 多項式曲線擬合預測的命令多項式曲線擬合預測的命令polyval，其調(diào)用格，其調(diào)用格式有以下兩種：式有以下兩種：Y=polyval(p,x0)Y,Delta=polyconf(p,x0,S,alpha)其中其中，輸入輸入p,S是由多項式擬合命是由多項式擬合命p,S=polyfit(x,y,n)的輸出的輸出，x0是要預測的自變量的值是要預測的自變量的值.輸出輸出Y是是polyfit所所得的回歸多項式在得的回歸多項式在x處的預測值。處的預測值。 (2) 多項式

12、回歸的預測與置信區(qū)間多項式回歸的預測與置信區(qū)間如果輸入數(shù)據(jù)的誤差相互獨立，且方差為常數(shù)，則如果輸入數(shù)據(jù)的誤差相互獨立，且方差為常數(shù)，則YDelta至少包含至少包含95%的預測值；的預測值；alpha缺省時為缺省時為0.05。(Y-Delta, Y+Delta)即即95%的置信區(qū)間的置信區(qū)間第第3章章 回歸分析回歸分析 (3) 多項式回歸的多項式回歸的GUI界面命令界面命令多項式回歸的多項式回歸的GUI界面命令界面命令polytool，其典型調(diào)用格式，其典型調(diào)用格式 polytool(x,y,n,alpha)其中，輸入其中，輸入x,y分別為自變量與因變量的樣本觀測數(shù)據(jù)分別為自變量與因變量的樣本觀

13、測數(shù)據(jù)向量；向量；n是多項式的階數(shù)；置信度為是多項式的階數(shù)；置信度為(1-alpha)%，alpha缺省時為缺省時為0.05。 該命令可以繪出總體擬合圖形以及該命令可以繪出總體擬合圖形以及(1-alpha)上、下置信區(qū)間的直線（屏幕上顯示為紅色）上、下置信區(qū)間的直線（屏幕上顯示為紅色）.此此外，用鼠標拖動圖中縱向虛線，就可以顯示出對于外，用鼠標拖動圖中縱向虛線，就可以顯示出對于不同的自變量數(shù)值所對應的預測狀況，與此同時圖不同的自變量數(shù)值所對應的預測狀況，與此同時圖形左端數(shù)值框中會隨著自變量的變化而得到的預報形左端數(shù)值框中會隨著自變量的變化而得到的預報數(shù)值以及數(shù)值以及(1-alpha) 置信區(qū)間

14、長度一半的數(shù)值。置信區(qū)間長度一半的數(shù)值。第第3章章 回歸分析回歸分析 第第3章章 回歸分析回歸分析 例例3.1.3為了分析為了分析X射線的殺菌作用，用射線的殺菌作用，用200千伏的千伏的X射線來照射細菌，每次照射射線來照射細菌，每次照射6分鐘用平板計數(shù)法估分鐘用平板計數(shù)法估計尚存活的細菌數(shù)，照射次數(shù)記為計尚存活的細菌數(shù)，照射次數(shù)記為t，照射后的細，照射后的細菌數(shù)菌數(shù)y如表如表3.3所示。所示。t123456789101112131415y3522111971601421061046056383632211915表表3.3 X射線照射次數(shù)與殘留細菌數(shù)射線照射次數(shù)與殘留細菌數(shù)試求：試求： 給出給出

15、y與與t的二次函數(shù)回歸模型；的二次函數(shù)回歸模型； 在同一坐標系內(nèi)做出原始數(shù)據(jù)與擬合結果的散點圖在同一坐標系內(nèi)做出原始數(shù)據(jù)與擬合結果的散點圖 預測預測t=16時殘留的細菌數(shù)；時殘留的細菌數(shù)； 根據(jù)問題實際意義選擇多項式函數(shù)是否合適？根據(jù)問題實際意義選擇多項式函數(shù)是否合適？數(shù)據(jù)來源：數(shù)據(jù)來源：http//hadi/RABE第第3章章 回歸分析回歸分析 解：解：% 輸入原始數(shù)據(jù)輸入原始數(shù)據(jù)t=1:15;y=352,211,197,160,142,106,104,60,56,38,36,32,21,19,15;p=polyfit(t,y,2); % 作二次多項式回

16、歸作二次多項式回歸y1= polyval(p,t); % 模型估計與作圖模型估計與作圖plot(t,y,-*,t,y1,-o); legend(原始數(shù)據(jù)原始數(shù)據(jù),二次函數(shù)二次函數(shù)) xlabel(t(照射次數(shù)照射次數(shù)) ylabel(y(殘留細菌數(shù)殘留細菌數(shù))t0=16;yc1= polyconf(p,t0) % 預測預測t0=16時殘留的細菌數(shù)時殘留的細菌數(shù)運行結果為運行結果為p =1.9897 -51.1394 347.8967，yc1 =39.0396即二次回歸模型為即二次回歸模型為21 1.9897t -51.1394t+347.8967y 第第3章章 回歸分析回歸分析 yc1 =39

17、.0396,表明照射表明照射16次后，用二次函數(shù)計算出次后，用二次函數(shù)計算出細菌殘留數(shù)為細菌殘留數(shù)為39.0396，顯然與實際不相符合。，顯然與實際不相符合。調(diào)用多項式回歸的調(diào)用多項式回歸的GUI界面命令界面命令polytool,如圖如圖3.4原始數(shù)據(jù)與擬合結果的散點圖如圖原始數(shù)據(jù)與擬合結果的散點圖如圖3.3所示，從所示，從圖形可知擬合效果較好圖形可知擬合效果較好.圖圖 3.3 原始數(shù)據(jù)與擬合結果的散點圖原始數(shù)據(jù)與擬合結果的散點圖第第3章章 回歸分析回歸分析 根據(jù)實際問題的意義可知：盡管二次多項式擬合效根據(jù)實際問題的意義可知：盡管二次多項式擬合效果較好，但是用于預測并不理想。因此如何根據(jù)原果較

18、好，但是用于預測并不理想。因此如何根據(jù)原始數(shù)據(jù)散點圖的規(guī)律，選擇適當?shù)幕貧w曲線是非常始數(shù)據(jù)散點圖的規(guī)律，選擇適當?shù)幕貧w曲線是非常重要的，因此有必要研究非線性回歸分析重要的，因此有必要研究非線性回歸分析. 圖圖 3.4 二次函數(shù)預測交互圖二次函數(shù)預測交互圖第第3章章 回歸分析回歸分析 3.1.2一元非線性回歸模型一元非線性回歸模型 為了便于正確地選擇合適的函數(shù)進行回歸分析為了便于正確地選擇合適的函數(shù)進行回歸分析建模，我們給出通常選擇的六類曲線如下所示：建模，我們給出通常選擇的六類曲線如下所示：1. 非線性曲線選擇非線性曲線選擇（1）雙曲線）雙曲線1/y=a+b/x(見圖見圖3.5)。圖圖3.5雙

19、曲線雙曲線圖圖3.5雙曲線雙曲線第第3章章 回歸分析回歸分析 (2) 冪函數(shù)曲線冪函數(shù)曲線y=axb, 其中其中x0,a0(圖圖3.6)。圖圖3.6 冪函數(shù)曲線冪函數(shù)曲線（3）指數(shù)曲線）指數(shù)曲線y=aebx，其中參數(shù)，其中參數(shù)a0(見圖見圖3.7)。圖圖3.7 指數(shù)曲線指數(shù)曲線第第3章章 回歸分析回歸分析 xbaey/（4）倒指數(shù)曲線）倒指數(shù)曲線 ,其中a0(圖3.8)。圖圖3.8 倒指數(shù)曲線倒指數(shù)曲線（5）y=a+blnx (見圖見圖3.9)。圖圖3.9 對數(shù)曲線對數(shù)曲線第第3章章 回歸分析回歸分析 xbeay1（6）S型曲線型曲線 (見圖3.10)。圖圖3.10 S型曲線型曲線 對于非線性

20、回歸建模通常有兩種方法：一是通過適對于非線性回歸建模通常有兩種方法：一是通過適當?shù)淖儞Q轉(zhuǎn)化為線性回歸模型，例如雙曲線模型當?shù)淖儞Q轉(zhuǎn)化為線性回歸模型，例如雙曲線模型(圖圖3.5)。如果無法實現(xiàn)線性化，可以利用最小二乘法直接建立。如果無法實現(xiàn)線性化，可以利用最小二乘法直接建立非線性回歸模型，求解最佳參數(shù)。非線性回歸模型，求解最佳參數(shù)。第第3章章 回歸分析回歸分析 2.非線性回歸的非線性回歸的MATLAB命令命令MATLAB統(tǒng)計工具箱中實現(xiàn)非線性回歸的命令有統(tǒng)計工具箱中實現(xiàn)非線性回歸的命令有nlinfit、nlparci、lpredci和和nlintool。下面逐一介紹。下面逐一介紹調(diào)用格式。調(diào)用格

21、式。 非線性擬合命令非線性擬合命令nlinfit，調(diào)用格式：，調(diào)用格式：beta,r,J = nlinfit(x,y,model,beta0)其中，輸人數(shù)據(jù)其中，輸人數(shù)據(jù)x，y分別為分別為nm矩陣和矩陣和n維列向量，維列向量，對一元非線性回歸，對一元非線性回歸，x為為n維列向量，維列向量，model是事先用是事先用M文件定義的非線性函數(shù)，文件定義的非線性函數(shù)，beta0是回歸系數(shù)的初值是回歸系數(shù)的初值(需要通過解方程組得到需要通過解方程組得到)，beta是估計出的最佳回歸系是估計出的最佳回歸系數(shù)，數(shù)，r是殘差，是殘差，J是是Jacobian矩陣，它們是估計預測誤矩陣，它們是估計預測誤差需要的數(shù)

22、據(jù)。差需要的數(shù)據(jù)。第第3章章 回歸分析回歸分析 非線性回歸預測命令非線性回歸預測命令nlpredci，調(diào)用格式：，調(diào)用格式： ypred = nlpredci(FUN,inputs,beta,r,J)其中，輸入?yún)?shù)其中，輸入?yún)?shù)beta,r,J是非線性回歸命令是非線性回歸命令nlinfit的輸?shù)妮敵鼋Y果出結果, FUN 是擬合函數(shù)，是擬合函數(shù)，inputs是需要預測的自變是需要預測的自變量；輸出量量；輸出量ypred是是inputs的預測值。的預測值。非線性回歸置信區(qū)間命令非線性回歸置信區(qū)間命令nlparci，調(diào)用格式：，調(diào)用格式： ci = nlparci(beta,r,J,alpha)輸入

23、參數(shù)輸入?yún)?shù)beta,r,J就是非線性回歸命令就是非線性回歸命令nlinfit輸出的輸出的結果，輸出結果，輸出ci是一個矩陣，每一行分別為每個參數(shù)的是一個矩陣，每一行分別為每個參數(shù)的(1-alpha)% 的置信區(qū)間，的置信區(qū)間，alpha缺省時默認為缺省時默認為0.05.第第3章章 回歸分析回歸分析 非線性回歸的非線性回歸的GUI界面命令界面命令nlintool，典型調(diào)用格式，典型調(diào)用格式 nlintool(x,y,fun,beta0)其中參數(shù)其中參數(shù)x,y,fun,beta0與命令與命令nlinfit中的參數(shù)含義相同中的參數(shù)含義相同. 例例3.1.4. 在在M文件中建立函數(shù)文件中建立函數(shù)y=

24、a(1-be-cx)，其中，其中a,b,c為待定的參數(shù)。為待定的參數(shù)。解：解：fun=inline(b(1)*(1-b(2)*exp(-b(3)*x),b,x);此處，將此處，將b看成參變量，看成參變量，b(1),b(2),b(3)為其分量為其分量.例例3.1.5 煉鋼廠出鋼時所用盛鋼水的鋼包，由于鋼水對煉鋼廠出鋼時所用盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕，容積不斷增大，我們希望找出使用耐火材料的侵蝕，容積不斷增大，我們希望找出使用次數(shù)與增大容積之間的函數(shù)關系次數(shù)與增大容積之間的函數(shù)關系.實驗數(shù)據(jù)如表實驗數(shù)據(jù)如表3.4。 第第3章章 回歸分析回歸分析 使用次數(shù)使用次數(shù)(x)23456789增

25、大容積增大容積(y)6.428.29.589.59.7109.939.99使用次數(shù)使用次數(shù)(x)10111213141516增大容積增大容積(y)10.4910.5910.610.810.610.910.76表表3.4 鋼包使用次數(shù)與增大容積鋼包使用次數(shù)與增大容積（1）建立非線性回歸模型）建立非線性回歸模型1/y=a+b/x；（2）預測鋼包使用）預測鋼包使用x0=17次后增大的容積次后增大的容積y0；（3）計算回歸模型參數(shù)的）計算回歸模型參數(shù)的95%的置信區(qū)間。的置信區(qū)間。MATLAB腳本程序如下腳本程序如下:x=2:16;y=6.42,8.2,9.58,9.5,9.7,10,9.93,9.9

26、9,10.49,10.59,10.6,10.8,10.6,10.9,10.76;第第3章章 回歸分析回歸分析 %建立非線性雙曲線回歸模型建立非線性雙曲線回歸模型b0=0.084,0.1436; % 初始參數(shù)值初始參數(shù)值fun=inline(x./(b(1)*x+b(2),b,x); beta,r,J=nlinfit(x,y,fun,b0);beta % 輸出最佳參數(shù)輸出最佳參數(shù)y1=x./(0.0845*x+0.1152); % 擬合曲線擬合曲線plot(x,y,*,x,y1,-or)legend(原始數(shù)據(jù)原始數(shù)據(jù),擬合曲線擬合曲線)注意：初始值要先計算后，才能得到上面程序中的注意：初始值要先

27、計算后，才能得到上面程序中的b0，由于確定兩個參數(shù)值，因此我們選擇已知數(shù)據(jù)由于確定兩個參數(shù)值，因此我們選擇已知數(shù)據(jù)中的兩點（中的兩點（2,6.42）和（）和（16,10.76）代入設定方程，）代入設定方程，得到方程組得到方程組第第3章章 回歸分析回歸分析 上述方程組有兩種解法：手工方法與上述方程組有兩種解法：手工方法與Matlab方法。方法。下面用下面用Matlab方法解方程組：方法解方程組：a,b=solve(6.42*(2*a+b)=2,10.76*(16*a+b)=16)輸出為輸出為a =.83961597702347450462657355615004e-1b =.1436032843

28、460839152740622358104926.426.42(2)221610.76(16)1610.7616abababab第第3章章 回歸分析回歸分析 圖圖3.11鋼包使用次數(shù)與增大容積的非線性擬合圖鋼包使用次數(shù)與增大容積的非線性擬合圖在例在例3.1.5中，預測鋼包使用中，預測鋼包使用17次后增大的容積，可次后增大的容積，可在執(zhí)行上面的程序中，繼續(xù)輸入命令在執(zhí)行上面的程序中，繼續(xù)輸入命令ypred=nlpredci(fun,17,beta,r,J)得到：得到：ypred =10.9599即鋼包使用即鋼包使用17次后增大的容積次后增大的容積10.9599。第第3章章 回歸分析回歸分析 求回

29、歸模型參數(shù)的求回歸模型參數(shù)的95%的置信區(qū)間，只要繼續(xù)添加程序的置信區(qū)間，只要繼續(xù)添加程序ci = nlparci(beta,r,J)運行后得到運行后得到ci =0.0814 0.0876 0.0934 0.1370即回歸模型即回歸模型 中參數(shù)中參數(shù)a,b的的95%的置信區(qū)間分別為的置信區(qū)間分別為(0.0814 ,0.0876) 與（與（0.0934，0.1370）.我們求出的最佳參數(shù)分別為我們求出的最佳參數(shù)分別為 a=0.0845,b=0.1152均屬均屬于上述置信區(qū)間。于上述置信區(qū)間。第第3章章 回歸分析回歸分析 圖圖3.12給出鋼包使用次數(shù)與增大容積的非線性擬合的給出鋼包使用次數(shù)與增大容

30、積的非線性擬合的交互圖形，圖中的的圓圈是實驗的原始數(shù)據(jù)點，兩條交互圖形，圖中的的圓圈是實驗的原始數(shù)據(jù)點，兩條虛線為虛線為95%上、下置信區(qū)間的曲線（屏幕上顯示為紅上、下置信區(qū)間的曲線（屏幕上顯示為紅色），中間的實線（屏幕上顯示為綠色）是回歸模型色），中間的實線（屏幕上顯示為綠色）是回歸模型曲線，縱向的藍色虛線顯示了在自變量為曲線，縱向的藍色虛線顯示了在自變量為8.9502，橫，橫向的虛線給出了對應的預測值為向的虛線給出了對應的預測值為10.2734.圖圖3.12 鋼包使用次數(shù)與增大容積的非線性擬合交互圖鋼包使用次數(shù)與增大容積的非線性擬合交互圖第第3章章 回歸分析回歸分析 例例3.1.6 對例題

31、對例題3.1.3進行非線性回歸，并預測照射進行非線性回歸，并預測照射16次后細菌殘留數(shù)目，給出模型參數(shù)的次后細菌殘留數(shù)目，給出模型參數(shù)的95%的置信的置信區(qū)間，繪出模型交互圖形區(qū)間，繪出模型交互圖形.解：我們選取函數(shù)解：我們選取函數(shù)y=aebt進行非線性回歸，該方程的兩進行非線性回歸，該方程的兩個參數(shù)具有簡單的物理解釋，個參數(shù)具有簡單的物理解釋，a表示實驗開始時的細菌表示實驗開始時的細菌數(shù)目，數(shù)目，b表示細菌死亡（或衰變）的速率。表示細菌死亡（或衰變）的速率。MATLAB腳本程序如下：腳本程序如下：t=1:15;y=352 211 197 160 142 106 104 60 56 38 36

32、 32 21 19 15;fun=inline(b(1)*exp(b(2)*t),b,t) % 非線性函數(shù)非線性函數(shù)beta0=148,-0.2; % 參數(shù)初始值參數(shù)初始值beta,r,J=nlinfit(t,y,fun,beta0); % 非線性擬合非線性擬合beta % 輸出最佳參數(shù)輸出最佳參數(shù)y1=nlpredci(fun,t,beta,r,J); % 模型數(shù)值計算模型數(shù)值計算第第3章章 回歸分析回歸分析 plot(t,y,*,t,y1,-or),legend(原始數(shù)據(jù)原始數(shù)據(jù),非線性回歸非線性回歸)xlabel(t(照射次數(shù)照射次數(shù)) ylabel(y(殘留細菌數(shù)殘留細菌數(shù))ypred

33、 = nlpredci(fun,16,beta,r,J) % 預測殘留細菌數(shù)預測殘留細菌數(shù)ci = nlparci(beta,r,J) % 參數(shù)參數(shù)95%區(qū)間估計區(qū)間估計nlintool(t,y,fun,beta0) % 作出交互圖形作出交互圖形運行后結果如下運行后結果如下：beta = 400.0904 -0.2240即即，最佳參數(shù)為最佳參數(shù)為：a=400.0904，b=-0.2240故非線性回歸模型為故非線性回歸模型為-0.224400.0904tye第第3章章 回歸分析回歸分析 預測為：預測為：ypred =11.1014即，照射即，照射16次后細菌殘留數(shù)目為次后細菌殘留數(shù)目為11.10

34、14，該預測符，該預測符合實際，顯然比例合實際，顯然比例3.1.3中多項式回歸的結果合理。中多項式回歸的結果合理。ci =355.2481 444.9326 -0.2561 -0.1919即參數(shù)即參數(shù)a置信度為置信度為95%的置信區(qū)間的置信區(qū)間 (ci的第一行的第一行)為：為： 355.2481 , 444.9326參數(shù)參數(shù)b的置信度為的置信度為95%的置信區(qū)間的置信區(qū)間 (ci的第二行的第二行)為為 -0.2561 -0.1919顯然，最佳參數(shù)顯然，最佳參數(shù)a=400.0904，b=-0.2240，均屬于各，均屬于各自自置信度為置信度為95%的置信區(qū)間。的置信區(qū)間。第第3章章 回歸分析回歸分

35、析 圖圖3.13原始數(shù)據(jù)與非線性回歸圖形原始數(shù)據(jù)與非線性回歸圖形圖圖3.14 原始數(shù)據(jù)與非線性回歸原始數(shù)據(jù)與非線性回歸GUI圖形圖形第第3章章 回歸分析回歸分析 從交互圖形從交互圖形3.14可以看出：圓圈為原始數(shù)據(jù)，兩條虛線可以看出：圓圈為原始數(shù)據(jù)，兩條虛線（屏幕上顯示紅色）是置信區(qū)間曲線；兩條虛線內(nèi)的實（屏幕上顯示紅色）是置信區(qū)間曲線；兩條虛線內(nèi)的實線（屏幕上顯示綠色）是回歸模型曲線；縱向虛線指示線（屏幕上顯示綠色）是回歸模型曲線；縱向虛線指示照射照射8次，此時對應的水平虛線表示模型得到的殘留細次，此時對應的水平虛線表示模型得到的殘留細菌數(shù)為：菌數(shù)為：66.6451。圖圖3.14 原始數(shù)據(jù)與

36、非線性回歸原始數(shù)據(jù)與非線性回歸GUI圖形圖形第第3章章 回歸分析回歸分析 3.1.3一元回歸建模實例一元回歸建模實例例例3.1.7在四川白鵝的生產(chǎn)性能研究中，得到如下一組在四川白鵝的生產(chǎn)性能研究中，得到如下一組關于雛鵝重（關于雛鵝重（g g）與）與7070日齡重日齡重(g)(g)的數(shù)據(jù)，試建立的數(shù)據(jù)，試建立7070日日齡重齡重( (y) )與雛鵝重與雛鵝重( (x) )的直線回歸方程，計算模型誤差的直線回歸方程，計算模型誤差平方和以及可決系數(shù)，當雛鵝重分別為：平方和以及可決系數(shù)，當雛鵝重分別為：85,9585,95 ,115,115時預測其時預測其7070日齡重，以及置信區(qū)間。日齡重，以及置信

37、區(qū)間。 表表3.5 5 四川白鵝重與四川白鵝重與7070日齡重測定結果日齡重測定結果 （單位：（單位：g g）編號編號123456789101112雛鵝重雛鵝重(x)80869890120102958311310511010070日齡重日齡重(Y)235024002720250031502680263024003080292029602860第第3章章 回歸分析回歸分析 解：（解：（1）作散點圖。以雛鵝重（）作散點圖。以雛鵝重（x）為橫坐標，）為橫坐標，70日齡重（日齡重（y）為）為縱坐標作散點圖，如圖縱坐標作散點圖，如圖2-14。在在MATLAB命令窗口中輸入命令窗口中輸入:x=80 86

38、98 90 120 102 95 83 113 105 110 100; % 雛鵝重雛鵝重y=2350 2400 2720 2500 3150 2680 2630 2400 3080 2920 2960 2860; %70日齡重日齡重plot(x,y,*) %作散點圖作散點圖xlabel(x(雛鵝重雛鵝重) %橫坐標名橫坐標名ylabel(y(70日齡重日齡重) %縱坐標名縱坐標名圖圖3.15 四川白鵝的雛鵝重與四川白鵝的雛鵝重與70日齡重散點圖和回歸直線圖日齡重散點圖和回歸直線圖第第3章章 回歸分析回歸分析 由圖形由圖形3.15可見白鵝的可見白鵝的70日齡重與雛鵝重間存在直線日齡重與雛鵝重間

39、存在直線關系，且關系，且70日齡重隨雛鵝重的增大而增大。因此，日齡重隨雛鵝重的增大而增大。因此，可認為可認為y與與x符合一元線性回歸模型。符合一元線性回歸模型。（2）建立直線回歸方程。在建立直線回歸方程。在MATLAB中調(diào)用命令中調(diào)用命令polyfit，從而求出參數(shù)，從而求出參數(shù) 0， 1的最小二乘估計的最小二乘估計. 在在MATLAB命令窗口中繼續(xù)輸入命令窗口中繼續(xù)輸入:n= size(x,1) % 計算樣本容量計算樣本容量p,s=polyfit(x,y,1); % 調(diào)用命令調(diào)用命令polyfit計算回歸參數(shù)計算回歸參數(shù)y1=polyval(p,x); % 計算回歸模型的函數(shù)值計算回歸模型的

40、函數(shù)值hold onplot(x,y1) % 作回歸方程的圖形，結果如圖作回歸方程的圖形，結果如圖3.15p % 顯示參數(shù)的最小二乘估計結果顯示參數(shù)的最小二乘估計結果p=582.1850 21.7122第第3章章 回歸分析回歸分析 即參數(shù)即參數(shù) 的最小二乘估計為的最小二乘估計為),(107122.21,1850.58210所以所以70日齡重日齡重(y)與雛鵝重與雛鵝重(x)的直線回歸經(jīng)驗方程為的直線回歸經(jīng)驗方程為xy7122.211850.582（3）誤差估計與決定系數(shù)。在）誤差估計與決定系數(shù)。在MATLAB命令窗口中繼續(xù)輸入命令窗口中繼續(xù)輸入:TSS=sum(y-mean(y).2) %計算

41、總離差平方和計算總離差平方和RSS=sum(y1-mean(y).2) %計算回歸平方和計算回歸平方和ESS=sum(y-y1).2) %計算殘差平方和計算殘差平方和R2=RSS/TSS; %計算樣本決定系數(shù)計算樣本決定系數(shù)R2.第第3章章 回歸分析回歸分析 輸出輸出:TSS =8.314917e+005RSS =7.943396e+005ESS =3.715217e+004R2= 0.9553TSS =8.314917e+005RSS =7.943396e+005ESS =3.715217e+004R2=0.9553由于樣本決定系數(shù)由于樣本決定系數(shù)R2=0.9553接近于接近于1，因此模型的

42、，因此模型的擬合的效果較好。擬合的效果較好。第第3章章 回歸分析回歸分析 （4）回歸方程關系顯著性的）回歸方程關系顯著性的F檢驗。在檢驗。在MATLAB命令窗口中繼續(xù)輸入命令窗口中繼續(xù)輸入:F=(n-2)*RSS/ESS %計算的計算的F統(tǒng)計量統(tǒng)計量F1=finv(0.95,1,n-2) %查查F統(tǒng)計量統(tǒng)計量0.05的分位數(shù)的分位數(shù)F2=finv(0.99,1,n-2) %查查F統(tǒng)計量統(tǒng)計量0.01的分位數(shù)的分位數(shù)輸出結果輸出結果:F=2.138e+002，F(xiàn)1 =4.9646，F(xiàn)2 =10.0442為了方便，將以上的計算結果列成表為了方便，將以上的計算結果列成表3.6。表表3.6 四川白鵝四

43、川白鵝70日齡重與雛鵝重回歸關系方差分析表日齡重與雛鵝重回歸關系方差分析表自由度（自由度（df） 平方和平方和(SS) 均方和（均方和（MS） F值值F0.05F0.01回歸回歸1794339.60794339.60213.81*4.9610.04殘差殘差1037152.073715.21總離差總離差 11831491.67第第3章章 回歸分析回歸分析 因為因為 表明四川白鵝表明四川白鵝70日齡日齡重與雛鵝重間存在顯著的線性關系。重與雛鵝重間存在顯著的線性關系。（5）回歸關系顯著性的）回歸關系顯著性的t檢驗。在檢驗。在MATLAB命令窗口中命令窗口中繼續(xù)輸入繼續(xù)輸入:T=p(2)/sqrt(E

44、SS/(n-2)*sqrt(sum(x-mean(x).2)%計算計算T統(tǒng)計量統(tǒng)計量T1=tinv(0.975,n-2) %t統(tǒng)計量統(tǒng)計量0.05的分位數(shù)的分位數(shù)T2=tinv(0.995,n-2) %t統(tǒng)計量統(tǒng)計量0.01的分位數(shù)的分位數(shù),04.1010, 181.21301. 02）（FFF輸出輸出:T =14.622, T1 =2.228, T2 =3.169因為因為T=14.62t0.01(10)，否定，否定H0，接受，接受H1即四川白鵝即四川白鵝70日齡重日齡重(y)與雛鵝重與雛鵝重(x)的線性回歸系數(shù)是顯著的的線性回歸系數(shù)是顯著的,可用所可用所建立的回歸方程進行預測和控制。建立的回

45、歸方程進行預測和控制。第第3章章 回歸分析回歸分析 (6)預測預測x1=85,95,115; % 輸入自變量輸入自變量yc=polyval(p,x1) % 計算預測值計算預測值Y,Delta=polyconf(p,x1,s); I1=Y-Delta,Y+Delta % 置信區(qū)間置信區(qū)間輸出輸出:yc = 2427.72 2644.84 3079.08I1 = 2279.47 2575.96 2503.01 2786.67 2927.55 3230.62所以當雛鵝重分別為所以當雛鵝重分別為85,95,115時，時，白鵝白鵝70日齡重分別為日齡重分別為2427.72, 2644.84, 3079.

46、08;且且95%的的置信區(qū)間分別為：置信區(qū)間分別為：2279.47 ,2575.96，2503.01,2786.67, 2927.55,3230.62.第第3章章 回歸分析回歸分析 在程序中加入：在程序中加入：polytool(x,y) % 交互功能交互功能bar(x,y-y1), % 殘差圖殘差圖legend(殘差殘差)h=lillietest(y-y1) % 殘差正態(tài)性檢驗殘差正態(tài)性檢驗輸出輸出h = 0得到交互圖形如圖得到交互圖形如圖3.16所示，可以看出當雛鵝重為所示，可以看出當雛鵝重為100時，模時，模型給出型給出70日齡鵝重為日齡鵝重為2753.4016.圖圖3.16 四川白鵝四川

47、白鵝70日齡重與雛鵝重線性模型交互圖日齡重與雛鵝重線性模型交互圖第第3章章 回歸分析回歸分析 3.2多元線性回歸模型多元線性回歸模型3.2.1多元線性回歸模型及其表示多元線性回歸模型及其表示第第3章章 回歸分析回歸分析 );,(21YXXXp);, 2 , 1)(;,(21pnniyxxxiipii對于總體對于總體的的n組觀測值組觀測值它應滿足式（它應滿足式（3.2.1），即），即nnppnnnppppxxxyxxxyxxxy2211022222211021112211101其中其中 i (i=1,2,n)相互獨立，且設相互獨立，且設 記記), 2 , 1)(, 0(2niNinyyyY21n

48、pnnppxxxxxxxxxX212222111211111p10n21, , , 第第3章章 回歸分析回歸分析 則模型則模型(3.2.2)可用矩陣形式表示為可用矩陣形式表示為 Y=X + (3.2.3)其中其中Y稱為觀測向量，稱為觀測向量，X稱為設計矩陣，稱為設計矩陣， 稱為待稱為待估計向量，估計向量， 是不可觀測的是不可觀測的n維隨機向量，它的分維隨機向量，它的分量相互獨立，假定量相互獨立，假定 .), 0(2nIN2. 多元線性回歸建模的基本步驟多元線性回歸建模的基本步驟(1)對問題進行直觀分析，選擇因變量與解釋變量，作對問題進行直觀分析，選擇因變量與解釋變量，作出與因變量與各解釋變量的

49、散點圖，初步設定多元線出與因變量與各解釋變量的散點圖，初步設定多元線性回歸模型的參數(shù)個數(shù)；性回歸模型的參數(shù)個數(shù)；(2)輸入因變量與自變量的觀測數(shù)據(jù)輸入因變量與自變量的觀測數(shù)據(jù)(y,X)調(diào)用命令調(diào)用命令 b,bint,r,rint,s=regress(y,X,alpha)，計算參數(shù)的估計。計算參數(shù)的估計。(3)調(diào)用命令調(diào)用命令rcoplot(r,rint)，分析數(shù)據(jù)的異常點情況。，分析數(shù)據(jù)的異常點情況。第第3章章 回歸分析回歸分析 (4)作顯著性檢驗，若檢驗通過，則用模型作預測。作顯著性檢驗，若檢驗通過，則用模型作預測。(5)對模型進一步研究：如殘差的正態(tài)性檢驗，殘差的對模型進一步研究：如殘差的

50、正態(tài)性檢驗，殘差的異方差檢驗，殘差進行自相關性的檢驗等。異方差檢驗，殘差進行自相關性的檢驗等。3.2.2 MATLAB的回歸分析命令的回歸分析命令在在MATLAB7.0的統(tǒng)計工具箱中，與多元回歸模型的統(tǒng)計工具箱中，與多元回歸模型有關的命令有多個，下面逐一介紹。有關的命令有多個，下面逐一介紹。1.多元回歸建模命令多元回歸建模命令regeress，其調(diào)用格式有以下三，其調(diào)用格式有以下三種：種：（1）b = regress(y,X)（2）b,bint,r,rint,stats = regress(Y,X)（3）b,bint,r,rint,stats = regress(Y,X,alpha) 第第3章

51、章 回歸分析回歸分析 三種方式的主要區(qū)別在輸出項參數(shù)多少上，第三種方式的主要區(qū)別在輸出項參數(shù)多少上，第3種方種方式可稱為全參數(shù)方式。以第式可稱為全參數(shù)方式。以第3種為例來說明種為例來說明regeress命令的輸入與輸出參數(shù)的含義。命令的輸入與輸出參數(shù)的含義。輸入?yún)?shù)：輸入量輸入?yún)?shù)：輸入量Y表示模型（表示模型（3.1.1）中因變量的）中因變量的觀測向量；觀測向量；X是一個的矩陣，其中第一列元全部是是一個的矩陣，其中第一列元全部是數(shù)數(shù)“1”，第，第j列是自變量列是自變量Xj的觀測向量，即的觀測向量，即,111,21222211121121npnnppnxxxxxxxxxXyyyY對一元線性回歸，

52、取對一元線性回歸，取p=1即可；即可；alpha為顯著性水平為顯著性水平輸出參數(shù)：輸出向量輸出參數(shù)：輸出向量b為回歸系數(shù)估計值，為回歸系數(shù)估計值，bint為回歸為回歸系數(shù)的系數(shù)的(1-alpha)置信區(qū)間；輸出向量置信區(qū)間；輸出向量r表示殘差列向量表示殘差列向量第第3章章 回歸分析回歸分析 輸出輸出rint為模型的殘差的為模型的殘差的 (1- )的置信區(qū)間；輸出的置信區(qū)間；輸出stats是用于檢驗回歸模型的統(tǒng)計量，有是用于檢驗回歸模型的統(tǒng)計量，有4個分量值：第一個個分量值：第一個是是R2，其中，其中R是相關系數(shù)，第二個是是相關系數(shù)，第二個是F統(tǒng)計量值，第三統(tǒng)計量值，第三個是與統(tǒng)計量個是與統(tǒng)計量

53、F對應的概率對應的概率P，當，當P 時拒絕時拒絕H0，即認，即認為線性回歸模型有意義，第四個是方差為線性回歸模型有意義，第四個是方差 2的無偏估計的無偏估計.例例3.2.1某銷售公司將庫存占用資金情況、廣告投入的費某銷售公司將庫存占用資金情況、廣告投入的費用、員工薪酬以及銷售額等方面的數(shù)據(jù)作了匯總用、員工薪酬以及銷售額等方面的數(shù)據(jù)作了匯總,該公司該公司試圖根據(jù)這些數(shù)據(jù)找到銷售額與其他變量之間的關系，試圖根據(jù)這些數(shù)據(jù)找到銷售額與其他變量之間的關系，以便進行銷售額預測并為工作決策提供參考依據(jù)。以便進行銷售額預測并為工作決策提供參考依據(jù)。(1)建建立銷售額的回歸模型；立銷售額的回歸模型；(2)如果未

54、來某月庫存資金額為如果未來某月庫存資金額為150萬元，廣告投入預算為萬元，廣告投入預算為45萬元，員工薪酬總額為萬元，員工薪酬總額為27萬萬元，試根據(jù)建立的回歸模型預測該月的銷售額。元，試根據(jù)建立的回歸模型預測該月的銷售額。 第第3章章 回歸分析回歸分析 表表3.7 占用資金、廣告投入、員工薪酬、銷售額（單位：萬元）占用資金、廣告投入、員工薪酬、銷售額（單位：萬元）月份月份庫存資金額庫存資金額(x1)廣告投入廣告投入(x2)員工薪酬總額員工薪酬總額(x3)銷售額銷售額(y)175.230.621.11090.4277.631.321.41133380.733.922.91242.147629.

55、621.41003.2579.532.521.51283.2681.827.921.71012.2798.324.821.51098.8867.723.621826.397433.922.41003.31015127.724.71554.61190.845.523.2119912102.342.624.31483.113115.64023.11407.11412545.829.11551.315137.851.724.61601.216175.667.227.52311.717155.26526.52126.718174.365.426.82256.5第第3章章 回歸分析回歸分析 解：為了確定

56、銷售額與庫存占用資金、廣告投入、員解：為了確定銷售額與庫存占用資金、廣告投入、員工薪酬之間的關系，分別作出工薪酬之間的關系，分別作出y與與x1,x2,x3的散點圖，的散點圖，若散點圖顯示它們之間近似線性關系，則可設定若散點圖顯示它們之間近似線性關系，則可設定y與與x1,x2,x3的關系為三元線性回歸模型的關系為三元線性回歸模型01 12233yxxx%輸入數(shù)據(jù)并作散點圖（圖輸入數(shù)據(jù)并作散點圖（圖3.18）A=75.2 30.6 21.1 1090.4;77.6 31.3 21.4 113380.7 33.9 22.9 1242.1;76 29.6 21.4 1003.279.5 32.5 21

57、.5 1283.2;81.8 27.9 21.7 1012.298.3 24.8 21.5 1098.8;67.7 23.6 21 826.374 33.9 22.4 1003.3;151 27.7 24.7 1554.690.8 45.5 23.2 1199;102.3 42.6 24.3 1483.1115.6 40 23.1 1407.1;125 45.8 29.1 1551.3137.8 51.7 24.6 1601.2;175.6 67.2 27.5 2311.7155.2 65 26.5 2126.7;174.3 65.4 26.8 2256.5;第第3章章 回歸分析回歸分析 m,

58、n=size(A);subplot(3,1,1),plot(A(:,1),A(:,4),+),xlabel(x1(庫存資金額庫存資金額) ylabel(y(銷售額銷售額)subplot(3,1,2),plot(A(:,2),A(:,4),*),xlabel(x2(廣告投入廣告投入) ylabel(y(銷售額銷售額)subplot(3,1,3),plot(A(:,3),A(:,4),x),xlabel(x3(員工薪酬員工薪酬) ylabel(y(銷售額銷售額)所得圖形如圖所得圖形如圖3.18所示，可見銷售額所示，可見銷售額y與庫存資與庫存資金、廣告投入、員工薪酬具有線性關系，因此可金、廣告投入、

59、員工薪酬具有線性關系，因此可以建立三元線性回歸模型以建立三元線性回歸模型.第第3章章 回歸分析回歸分析 圖圖3.18銷售額與庫存、廣告、薪酬散點圖銷售額與庫存、廣告、薪酬散點圖% 調(diào)用命令調(diào)用命令regress建立三元線性回歸模型建立三元線性回歸模型x=ones(m,1), A(:,1), A(:,2), A(:,3);y=A(:,4)b,bint,r,rint,stats=regress(y,x);b,bint,stats, % 輸出結果輸出結果 第第3章章 回歸分析回歸分析 程序運行結果程序運行結果b =162.0632 7.2739 13.9575 -4.3996bint =-580.3

60、603 904.4867 4.3734 10.1743 7.1649 20.7501 -46.7796 37.9805 stats =0.9574804050 105.0866520891 0.0000000008 10077.9867891125輸出結果說明：輸出結果說明：b就是模型中的參數(shù)就是模型中的參數(shù) 0 , 1 , 2 ，因此回歸模型為，因此回歸模型為123162.06327.273913.95794.3996yxxxb就是模型中的參數(shù)就是模型中的參數(shù) 0 , 1 , 2 ，因此回歸模型為，因此回歸模型為123162.06327.273913.95794.3996yxxxbint的各