數(shù)學建?；貧w分析

1、回歸分析回歸分析在數(shù)學建模中的應用在數(shù)學建模中的應用引引 言言 回歸分析是處理很難用一種精確方法表示出回歸分析是處理很難用一種精確方法表示出來的變量之間關系的一種數(shù)學方法，它是最常用來的變量之間關系的一種數(shù)學方法，它是最常用的數(shù)理統(tǒng)計方法，能解決預測、控制、生產工藝的數(shù)理統(tǒng)計方法，能解決預測、控制、生產工藝優(yōu)化等問題。它在工農業(yè)生產和科學研究各個領優(yōu)化等問題。它在工農業(yè)生產和科學研究各個領域中均有廣泛的應用。域中均有廣泛的應用。 回歸分析一般分為線性回歸分析和非線性回回歸分析一般分為線性回歸分析和非線性回歸分析。本節(jié)著重介紹線性回歸分析的基本結論歸分析。本節(jié)著重介紹線性回歸分析的基本結論及其在

2、及其在MatlabMatlab中的相應命令。線性回歸分析是兩中的相應命令。線性回歸分析是兩類回歸分析中較簡單的一類，也是應用較多的一類回歸分析中較簡單的一類，也是應用較多的一類。類。一一 一元線性回歸分析一元線性回歸分析 針對一組（二維）數(shù)據(jù)針對一組（二維）數(shù)據(jù) （其中（其中 互不相同），其最簡單的數(shù)據(jù)擬合形式為互不相同），其最簡單的數(shù)據(jù)擬合形式為尋求直線尋求直線 ，使，使 在最小二乘在最小二乘準則下與所有數(shù)據(jù)點最為接近。準則下與所有數(shù)據(jù)點最為接近。 但由于隨機觀測誤差的存在，滿足上述數(shù)據(jù)點但由于隨機觀測誤差的存在，滿足上述數(shù)據(jù)點的直線應該是的直線應該是 (1.1)(1.1) 其中其中x x,

3、 , y y是準確的是準確的, , 是兩個未知參數(shù)，是兩個未知參數(shù)， 是均是均值為零的隨機觀測誤差，具有不可觀測性，值為零的隨機觀測誤差，具有不可觀測性， 可以合理地假設這種觀測誤差服從正態(tài)分布可以合理地假設這種觀測誤差服從正態(tài)分布。ix 于是我們得到一元線性回歸模型為于是我們得到一元線性回歸模型為 (1.2)(1.2) 其中其中 未知，固定的未知參數(shù)未知，固定的未知參數(shù) 稱為稱為回歸回歸系數(shù)系數(shù)，自變量，自變量x x稱為稱為回歸變量回歸變量。 (1.1)(1.1)式兩邊同時取期望得：式兩邊同時取期望得： 稱為稱為y y 對對x x 的回歸直線方程。的回歸直線方程。 在該模型下，第在該模型下，

4、第i i個觀測值可個觀測值可以看作樣本（這些樣本相互獨立但不同分布以看作樣本（這些樣本相互獨立但不同分布, ,i i = 1,2,= 1,2, ,n n）的實際抽樣值，即樣本值。）的實際抽樣值，即樣本值。 一元線性回歸分析的一元線性回歸分析的主要任務主要任務是：是：a.a.用實驗值（樣本值）對用實驗值（樣本值）對 作點估計；作點估計；b.b.對回歸系數(shù)對回歸系數(shù) 作假設檢驗；作假設檢驗；c.c.在在 處對處對y y 作預測，并對作預測，并對y y作區(qū)間估計。作區(qū)間估計。1 1、 回歸參數(shù)回歸參數(shù) 估計估計 假設有假設有n n 組獨立觀測值：組獨立觀測值： 則則由由(1.2)(1.2)有有 （1

5、.31.3） 其中其中 相互獨立。記相互獨立。記 稱稱 為偏離真實直線的偏差平方和。由最為偏離真實直線的偏差平方和。由最小二乘法得到的估計小二乘法得到的估計 稱為稱為 的最小二的最小二乘估計，其中乘估計，其中 （經驗）回歸方程為（經驗）回歸方程為 （1.4） 這樣我們得到這樣我們得到 的無偏估計的無偏估計 ，其中其中 服從正態(tài)分布服從正態(tài)分布)(1(,(122200niixxxnN)(1,(12211niixxN2 模型的假設、預測、控制模型的假設、預測、控制1 1、回歸方程的顯著性檢驗回歸方程的顯著性檢驗 在實際問題中，因變量在實際問題中，因變量y y 與自變量與自變量x x之間是否之間是否

6、有線性關系有線性關系(1.1)(1.1)只是一種假設，在求出回歸方程只是一種假設，在求出回歸方程之后，還必須對這種回歸方程同實際觀測數(shù)據(jù)擬之后，還必須對這種回歸方程同實際觀測數(shù)據(jù)擬合的效果進行檢驗。合的效果進行檢驗。 由由(1.1)(1.1)可知，可知， 越大，越大，y y 隨隨x x變化的趨勢就變化的趨勢就 越明顯；反之，越明顯；反之， 越小，越小，y y 隨隨x x變化的趨勢就越不變化的趨勢就越不明顯。特別當明顯。特別當 =0=0時，則認為時，則認為y y 與與x x之間不存在線之間不存在線性關系，當性關系，當 時，則認為時，則認為y y與與x x之間有線性關系。之間有線性關系。因此，問題

7、歸結為對假設因此，問題歸結為對假設 進行檢驗。進行檢驗。11110 假設假設: : 被拒絕，則回歸顯著，認為被拒絕，則回歸顯著，認為y y 與與x x之間存在線性關系，所求的線性回歸方程有意之間存在線性關系，所求的線性回歸方程有意義；否則回歸不顯著，義；否則回歸不顯著，y y與與x x的關系不能用一元線的關系不能用一元線性回歸模型來描述，所得的回歸方程也無意義。性回歸模型來描述，所得的回歸方程也無意義。此時，可能有如下幾種情況：此時，可能有如下幾種情況：（1 1）x x對對y y沒有顯著影響沒有顯著影響，此時應丟掉變量，此時應丟掉變量x x；（2 2）x x對對y y 有顯著影響有顯著影響，但

8、這種影響不能用線性關，但這種影響不能用線性關 系來表示，應該用非線性回歸；系來表示，應該用非線性回歸；（3 3）除除x x之外，還有其他不可忽略的變量對之外，還有其他不可忽略的變量對y y 有顯有顯 著影響，著影響，從而削弱了從而削弱了x x對對y y 的影響。此時應用的影響。此時應用 多元線性回歸模型多元線性回歸模型。因此，在接受。因此，在接受H0 H0 的同的同 時，需要進一步查明原因以便分別處理。時，需要進一步查明原因以便分別處理。檢驗方法：（檢驗方法：（a a）F F檢驗法檢驗法 對樣本方差對樣本方差 進行分解，有進行分解，有 上式中的上式中的 是由實際觀測值沒有落在回歸直線上是由實際

9、觀測值沒有落在回歸直線上引起的（否則為零），引起的（否則為零），U U 是由回歸直線引起的。因是由回歸直線引起的。因此，此，U U 越大，越大， 就越小，表示就越小，表示y y 與與x x的線性關系就越的線性關系就越顯著；否則，顯著；否則，U U 越小，越小， 就越大，表示就越大，表示y y 與與x x的線性的線性關系就越不顯著。這樣我們就找到了一種判別回歸關系就越不顯著。這樣我們就找到了一種判別回歸直線擬合程度好壞的方法：直線擬合程度好壞的方法：如果如果U U /s/s接近于接近于1 1，即，即U U / / 較大時，則對擬合效果感到滿意。較大時，則對擬合效果感到滿意。 由由F F分布有分布

10、有其中其中r r稱為相關系數(shù)。對給定的顯著水平稱為相關系數(shù)。對給定的顯著水平a a ，有置信，有置信水平為水平為1-a 1-a 的臨界值的臨界值 ，從而，從而F F檢驗法檢驗法的檢驗準則為：當?shù)臋z驗準則為：當 時，拒絕時，拒絕 ；否則就接受；否則就接受（b b）t t檢驗法檢驗法當成立時，由當成立時，由T T分布的定義有分布的定義有因此，對于給定的顯著水平因此，對于給定的顯著水平a a ，用，用T T統(tǒng)計量檢驗統(tǒng)計量檢驗 ，有置信水平為有置信水平為1-a 1-a 的臨界值的臨界值, ,從而從而t t檢驗法的檢驗準則為：檢驗法的檢驗準則為：當當 時，拒絕時，拒絕 ；否則就接受；否則就接受2 2、

11、預測與控制、預測與控制當檢驗結果拒絕了當檢驗結果拒絕了: : ，接下來的問題是如，接下來的問題是如何利用回歸方程何利用回歸方程 進行預測和控制。進行預測和控制。預測預測就是對固定的就是對固定的x x值預測相應的值預測相應的y y 值，值，控制控制就是通就是通過控制過控制x x的值，以便把的值，以便把y y 的值控制在制定的范圍內。的值控制在制定的范圍內。(a)(a)預測預測 設設y y 與與x x滿足模型滿足模型(1.2)(1.2)。令。令 表示表示x x的某個固的某個固定值，且定值，且 假設假設 相互獨立，則相互獨立，則 的預測值和預的預測值和預測區(qū)間如下。測區(qū)間如下。 y y 的預測值為的

12、預測值為 的回歸值的回歸值 。它是。它是 的無偏估計，即的無偏估計，即 給定顯著水平給定顯著水平 ， 的置信水平為的置信水平為1- 1- 的預測區(qū)間的預測區(qū)間 為為 ，其中，其中 由上式可知，剩余標準差由上式可知，剩余標準差 越小，預測區(qū)間越越小，預測區(qū)間越小，預測值越精確；對于給定的樣本觀測值和置信小，預測值越精確；對于給定的樣本觀測值和置信水平而言，水平而言， 越靠近越靠近 時，預測精度就越高。時，預測精度就越高。 (b)(b)控制控制 若要若要 的值以的值以1- 1- 的概率落在的概率落在 指定區(qū)間指定區(qū)間( (c c, ,d d) )之內，變量之內，變量x x應控制在什么范圍內應控制在

13、什么范圍內 的問題就是所謂的控制問題。它是預測問題的反的問題就是所謂的控制問題。它是預測問題的反 問題。問題。 只要控制只要控制x x滿足以下兩不等式滿足以下兩不等式 這要求這要求 若方程若方程 分別有解分別有解a a, ,b b，則，則( (a a, ,b b) )就是所求的就是所求的x x的控制區(qū)間的控制區(qū)間。二二 可線性化的一元非線性回歸（曲線回歸）可線性化的一元非線性回歸（曲線回歸） 在工程技術中，自變量在工程技術中，自變量x x與因變量與因變量y y 之間有時之間有時呈現(xiàn)出非線性（或曲線）關系，這是通常出現(xiàn)兩呈現(xiàn)出非線性（或曲線）關系，這是通常出現(xiàn)兩種情況：種情況：一種是呈現(xiàn)多項式的

14、關系一種是呈現(xiàn)多項式的關系，這種情況通，這種情況通過變量替換可化為多元線性回歸問題給予解決；過變量替換可化為多元線性回歸問題給予解決；另一種是呈現(xiàn)出其它非線性關系另一種是呈現(xiàn)出其它非線性關系，通過變量替換，通過變量替換可化為一元線性回歸問題給予解決。可化為一元線性回歸問題給予解決。 若匹配曲線（經驗公式）為含參量若匹配曲線（經驗公式）為含參量a a, ,b b的非線的非線性曲線，采用的辦法是通過性曲線，采用的辦法是通過變量替換變量替換把把非線性回非線性回歸化為線性回歸歸化為線性回歸。通常匹配的含參量。通常匹配的含參量a a, ,b b的非線性的非線性曲線有以下六類，具體的替換方法如下：曲線有以

15、下六類，具體的替換方法如下： 1 1 雙曲線雙曲線 作變量替換作變量替換 得得 2 2 冪函數(shù)曲線冪函數(shù)曲線 兩邊取常用對數(shù)：兩邊取常用對數(shù)： ，再作，再作 代換代換 則冪函則冪函 數(shù)曲線方程就變成直線方程數(shù)曲線方程就變成直線方程 注：注：對于非線性回歸問題的對于非線性回歸問題的MatlabMatlab實現(xiàn)問題，一實現(xiàn)問題，一種方法是化為相應的線性模型實現(xiàn)，另種方法是種方法是化為相應的線性模型實現(xiàn)，另種方法是直接應用直接應用MatlabMatlab中相應的命令，其結果是一致的。中相應的命令，其結果是一致的。三三 多元線性回歸分析多元線性回歸分析 一般地，在實際問題中影響應變量一般地，在實際問題

16、中影響應變量y y 的自變量往的自變量往 往不止一個，不妨設有往不止一個，不妨設有k k 個為個為 。通。通 過觀測得到一組（過觀測得到一組（k k +1+1維）相互獨立的試驗觀測維）相互獨立的試驗觀測 數(shù)據(jù)數(shù)據(jù) ， 其中其中n n k k +1+1。假設變量。假設變量y y 與變量與變量 之間有線性關系：之間有線性關系： (1.5)(1.5) 其中其中 是隨機變量，一般假設是隨機變量，一般假設 則觀測數(shù)據(jù)滿足則觀測數(shù)據(jù)滿足 (1.6)(1.6) 其中其中 互不相關且均是與互不相關且均是與 同分布的隨同分布的隨機變量。令機變量。令 則則(1.6)(1.6)可簡寫為可簡寫為 其中其中X X 為已

17、知的為已知的n n* *( (k k +1)+1)矩陣，稱為回歸設計矩矩陣，稱為回歸設計矩陣或資料矩陣，陣或資料矩陣，Y Y 是是n n維觀察值列向量，維觀察值列向量， 為為k k +1+1維未知的列向量，維未知的列向量， 是滿足是滿足 的的n n維隨機列向量維隨機列向量. . 一般稱一般稱 (1.7)(1.7) 為為k k 線性回歸模型（高斯線性回歸模型（高斯馬爾科夫線性模型）馬爾科夫線性模型） 對對(1.7)(1.7)取數(shù)學期望得到取數(shù)學期望得到 稱為線性回歸方程。稱為線性回歸方程。四、逐步線性回歸分析四、逐步線性回歸分析 逐步線性回歸分析方法就是一種自動從大量可供逐步線性回歸分析方法就是

18、一種自動從大量可供選擇的變量中選擇那些對建立回歸方程比較重要的變選擇的變量中選擇那些對建立回歸方程比較重要的變量的方法，它是在多元線性回歸基礎上派生的一種算量的方法，它是在多元線性回歸基礎上派生的一種算法技巧，詳可參閱相應的文獻。法技巧，詳可參閱相應的文獻。 其基本思路為：從一個自變量開始，視自變量對其基本思路為：從一個自變量開始，視自變量對y y 作用的顯著程度，作用的顯著程度，從大到小依次逐個引入回歸方程從大到小依次逐個引入回歸方程。當引入的自變量由于后面自變量的引入而變得不顯著當引入的自變量由于后面自變量的引入而變得不顯著時，要將其時，要將其剔除掉剔除掉。引入一個自變量或從回歸方程中。引

19、入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。對于每一步，剔除一個自變量，為逐步回歸的一步。對于每一步，都要進行都要進行y y 值檢驗，以確保每次引入新的顯著性變量值檢驗，以確保每次引入新的顯著性變量前回歸方程中只包含對前回歸方程中只包含對y y 作用顯著的變量。作用顯著的變量。這個過程這個過程反復進行，直至即無不顯著的變量從回歸方程中剔除，反復進行，直至即無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程止。又無顯著變量可引入回歸方程止。五五 回歸分析的回歸分析的Matlab實現(xiàn)實現(xiàn) MatlabMatlab統(tǒng)計工具箱中提供了一些回歸分析的命令，統(tǒng)計工具箱中提供了一些回

20、歸分析的命令，現(xiàn)介紹如下?，F(xiàn)介紹如下。1 1、多元線性回歸、多元線性回歸 多元線性回歸的命令是多元線性回歸的命令是regressregress，此命令也可用于，此命令也可用于一元線性回歸。其格式為：一元線性回歸。其格式為：（1 1）確定回歸系數(shù)的點估計，用命令：）確定回歸系數(shù)的點估計，用命令： b=regress(Yb=regress(Y，X)X)。（2 2）求回歸系數(shù)的點估計和區(qū)間估計，并檢驗回歸）求回歸系數(shù)的點估計和區(qū)間估計，并檢驗回歸 模型，用命令：模型，用命令：bb，bintbint，r r，rintrint，stats=regress(Ystats=regress(Y，X X，alp

21、ha)alpha)。（3 3）畫出殘差及其置信區(qū)間，用命令：）畫出殘差及其置信區(qū)間，用命令： rcoplotrcoplot（r r，rintrint）。 在上述命令中，各符號的含義為：在上述命令中，各符號的含義為： （i i） ，Y Y，X X的定義同本部分前面所述。對的定義同本部分前面所述。對一元線性回歸，在一元線性回歸，在 ，Y Y，X X中取中取k k=1=1即可；即可； （iiii）alphaalpha為顯著性水平（缺省時為為顯著性水平（缺省時為0.050.05）；）； （iiiiii）bintbint為回歸系數(shù)的區(qū)間估計；為回歸系數(shù)的區(qū)間估計； （iviv）r r與與rintrint

22、分別為殘差及其置信區(qū)間；分別為殘差及其置信區(qū)間； （v v）statsstats是用于檢驗回歸模型的統(tǒng)計量，有三是用于檢驗回歸模型的統(tǒng)計量，有三個數(shù)值，第一個是個數(shù)值，第一個是 ，第二個是，第二個是F F值，第三個是值，第三個是與與F F對應的概率對應的概率P P。其中。其中 與與F F定義同前，值越大，定義同前，值越大，說明回歸方程越顯著，說明回歸方程越顯著，P P a(0.01a(0.01或或0.05)0.05) 時拒時拒絕絕 ，回歸模型成立。，回歸模型成立。 例例1 1 合金的強度合金的強度y y 與其中的碳含量與其中的碳含量x x有比較密切的關系，今從有比較密切的關系，今從生產中收集了

23、一批數(shù)據(jù)如下表。試先擬合一個函數(shù)生產中收集了一批數(shù)據(jù)如下表。試先擬合一個函數(shù)y y( (x x) )，再用，再用回歸分析對它進行檢驗。回歸分析對它進行檢驗。x 0.10 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18x 0.10 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18y 42.0 41.5 45.0 45.5 45.0 47.5 49.0 55.0 50.0y 42.0 41.5 45.0 45.5 45.0 47.5 49.0 55.0 50.0解解 先畫出散點圖：先畫出散點圖：x=0.10:0.01:0.18;x=0.

24、10:0.01:0.18;y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0;y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0;plot(x,y, + )plot(x,y, + )可知可知y y與與x x大致為線性關系大致為線性關系。設回歸模型為設回歸模型為 ，用，用regressregress和和rcoplotrcoplot編程如下：編程如下：clc,clearclc,clearx1=0.10:0.01:0.18 ;x1=0.10:0.01:0.18 ;y=42.0,41.5,45.0,45.5,45.0,

25、47.5,49.0,55.0,50.0 ;y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0 ;x=ones(9,1),x1x=ones(9,1),x1;b,bint,r,rint,stats=regress(yb,bint,r,rint,stats=regress(y,x);,x); b,bint,stats,rcoplot(r,rint) b,bint,stats,rcoplot(r,rint)得到得到b=27.4722 137.5000b=27.4722 137.5000 bint=18.6851 36.2594 bint=18.6851 36.

26、2594 75.7755 199.2245 75.7755 199.2245stats=0.7985 27.7469 0.0012stats=0.7985 27.7469 0.0012即即 =27.4722=27.4722， =137.5000=137.5000， 的置信區(qū)的置信區(qū)18.685118.6851，36.259436.2594， 的置信區(qū)間是的置信區(qū)間是75.775575.7755，199.2245199.2245；R R2=0.79852=0.7985，F(xiàn) F =27.7469=27.7469， p p = 0.0012= 0.0012?？芍O回歸模型?？芍O回歸模型成立。成

27、立。 觀察命令觀察命令rcoplot(r,rint)rcoplot(r,rint)所畫的殘差分布，除第所畫的殘差分布，除第8 8個數(shù)據(jù)外個數(shù)據(jù)外其余殘差的置信區(qū)間均包含零點，第其余殘差的置信區(qū)間均包含零點，第8 8個點應視為異常點，將其個點應視為異常點，將其剔除后重新計算，可得剔除后重新計算，可得b=30.7280 109.3985b=30.7280 109.3985bint=26.2805 35.2834bint=26.2805 35.2834 76.9014 141.8955 76.9014 141.8955stats=0.9188 67.8534 0.0002stats=0.9188 6

28、7.8534 0.0002應該用修改后的這個結果應該用修改后的這個結果。 2 2、多元二項式回歸、多元二項式回歸多元二項式回歸可用命令：多元二項式回歸可用命令：rstool(x,y,model,alpha)rstool(x,y,model,alpha)。其中，輸入數(shù)據(jù)。其中，輸入數(shù)據(jù)x x、y y分別為分別為n n m m矩陣和矩陣和n n維列向量；維列向量；alphaalpha為顯著性水平為顯著性水平（缺省時為（缺省時為0.050.05）；）；modelmodel由下列由下列4 4個模型中選擇個模型中選擇1 1個個（用字符串輸入，缺省時為線性模型）：（用字符串輸入，缺省時為線性模型）：lin

29、earlinear（線性）：（線性）：purequadraticpurequadratic（純二次）：（純二次）：interactioninteraction（交叉）：（交叉）：quadraticquadratic（完全二次）（完全二次）： 3 3 、非線性回歸、非線性回歸非線性回歸可用命令非線性回歸可用命令nlinfit,nlintool,nlparci,nlpredcinlinfit,nlintool,nlparci,nlpredci來實現(xiàn)。來實現(xiàn)。命令格式如下：命令格式如下：回歸：回歸可用命令回歸：回歸可用命令 beta,r,J=nlinfit(x,y,model,beta0)beta,

30、r,J=nlinfit(x,y,model,beta0)或者或者 nlintool(x,y,model,beta0,alpha)nlintool(x,y,model,beta0,alpha)來實現(xiàn)。來實現(xiàn)。其中命令其中命令beta,r,J=nlinfit(x,y,model,beta0)beta,r,J=nlinfit(x,y,model,beta0)的作的作用用為確定回歸系數(shù)；為確定回歸系數(shù)；而命令而命令nlintool(x,y,model,beta0,alpha)nlintool(x,y,model,beta0,alpha)產生一個交產生一個交互互式的畫面，畫面中有擬合曲線和式的畫面，畫面

31、中有擬合曲線和y y的置信區(qū)間。通過左下的置信區(qū)間。通過左下方的方的ExportExport下拉式菜單，可以輸出回歸系數(shù)等。下拉式菜單，可以輸出回歸系數(shù)等。 這里的輸入數(shù)據(jù)這里的輸入數(shù)據(jù)x x、y y分別為分別為n nm m矩陣和矩陣和n n維列維列向量，對一元非線性回歸，向量，對一元非線性回歸，x x為為n n維列向量；維列向量； modelmodel是事先用是事先用m-m-文件定義的非線性函數(shù)；文件定義的非線性函數(shù)；beta0beta0是是回歸系數(shù)的初值?；貧w系數(shù)的初值。BetaBeta是估計出的回歸系數(shù)，是估計出的回歸系數(shù)，r r（殘差）、（殘差）、J J（JacobianJacobian矩陣）是估計預測誤差需矩陣）是估計預測誤差需要的數(shù)據(jù)。要的數(shù)據(jù)。alphaalpha為顯著性水平，缺省時為為顯著性水平