數(shù)學建?；貧w分析

回歸分析數(shù)學建?；貧w分析引言

回歸分析是處理很難用一種精確方法表示出來的變量之間關系的一種數(shù)學方法，它是最常用的數(shù)理統(tǒng)計方法，能解決預測、控制、生產(chǎn)工藝優(yōu)化等問題。它在工農(nóng)業(yè)生產(chǎn)和科學研究各個領域中均有廣泛的應用?；貧w分析一般分為線性回歸分析和非線性回歸分析。本節(jié)著重介紹線性回歸分析的基本結論及其在Matlab中的相應命令。線性回歸分析是兩類回歸分析中較簡單的一類，也是應用較多的一類。數(shù)學建?；貧w分析一一元線性回歸分析

針對一組（二維）數(shù)據(jù)（其中互不相同），其最簡單的數(shù)據(jù)擬合形式為尋求直線，使在最小二乘準則下與所有數(shù)據(jù)點最為接近。但由于隨機觀測誤差的存在，滿足上述數(shù)據(jù)點的直線應該是

(1.1)

其中x,y是準確的,是兩個未知參數(shù)，是均值為零的隨機觀測誤差，具有不可觀測性，可以合理地假設這種觀測誤差服從正態(tài)分布。數(shù)學建?；貧w分析

于是我們得到一元線性回歸模型為

(1.2)

其中未知，固定的未知參數(shù)稱為回歸系數(shù)，自變量x稱為回歸變量。

(1.1)式兩邊同時取期望得：稱為y對x的回歸直線方程。在該模型下，第i個觀測值可以看作樣本（這些樣本相互獨立但不同分布,i=1,2,…,n）的實際抽樣值，即樣本值。數(shù)學建模回歸分析

一元線性回歸分析的主要任務是：a.用實驗值（樣本值）對作點估計；b.對回歸系數(shù)作假設檢驗；c.在處對y作預測，并對y作區(qū)間估計。1、回歸參數(shù)估計假設有n組獨立觀測值：則由(1.2)有（1.3）數(shù)學建?；貧w分析其中相互獨立。記稱為偏離真實直線的偏差平方和。由最小二乘法得到的估計稱為的最小二乘估計，其中（經(jīng)驗）回歸方程為（1.4）數(shù)學建模回歸分析這樣我們得到的無偏估計，其中服從正態(tài)分布數(shù)學建?；貧w分析2模型的假設、預測、控制1、回歸方程的顯著性檢驗在實際問題中，因變量y與自變量x之間是否有線性關系(1.1)只是一種假設，在求出回歸方程之后，還必須對這種回歸方程同實際觀測數(shù)據(jù)擬合的效果進行檢驗。由(1.1)可知，越大，y隨x變化的趨勢就越明顯；反之，越小，y隨x變化的趨勢就越不明顯。特別當=0時，則認為y與x之間不存在線性關系，當時，則認為y與x之間有線性關系。因此，問題歸結為對假設進行檢驗。數(shù)學建模回歸分析

假設:被拒絕，則回歸顯著，認為y與x之間存在線性關系，所求的線性回歸方程有意義；否則回歸不顯著，y與x的關系不能用一元線性回歸模型來描述，所得的回歸方程也無意義。此時，可能有如下幾種情況：（1）x對y沒有顯著影響，此時應丟掉變量x；（2）x對y有顯著影響，但這種影響不能用線性關系來表示，應該用非線性回歸；（3）除x之外，還有其他不可忽略的變量對y有顯著影響，從而削弱了x對y的影響。此時應用

多元線性回歸模型。因此，在接受H0的同時，需要進一步查明原因以便分別處理。數(shù)學建?；貧w分析檢驗方法：（a）F檢驗法對樣本方差進行分解，有上式中的是由實際觀測值沒有落在回歸直線上引起的（否則為零），U是由回歸直線引起的。因此，U越大，就越小，表示y與x的線性關系就越顯著；否則，U越小，就越大，表示y與x的線性關系就越不顯著。這樣我們就找到了一種判別回歸直線擬合程度好壞的方法：如果U/s接近于1，即U/

較大時，則對擬合效果感到滿意。數(shù)學建?；貧w分析由F分布有其中r稱為相關系數(shù)。對給定的顯著水平a，有置信水平為1-a的臨界值，從而F檢驗法的檢驗準則為：當時，拒絕；否則就接受數(shù)學建?；貧w分析（b）t檢驗法當成立時，由T分布的定義有因此，對于給定的顯著水平a，用T統(tǒng)計量檢驗，有置信水平為1-a的臨界值,從而t檢驗法的檢驗準則為：當時，拒絕；否則就接受數(shù)學建?；貧w分析2、預測與控制當檢驗結果拒絕了:，接下來的問題是如何利用回歸方程

進行預測和控制。預測就是對固定的x值預測相應的y值，控制就是通過控制x的值，以便把y的值控制在制定的范圍內(nèi)。(a)預測設y與x滿足模型(1.2)。令

表示x的某個固定值，且假設相互獨立，則的預測值和預測區(qū)間如下。數(shù)學建?；貧w分析y的預測值為的回歸值。它是

的無偏估計，即給定顯著水平，的置信水平為1-的預測區(qū)間為，其中由上式可知，剩余標準差越小，預測區(qū)間越小，預測值越精確；對于給定的樣本觀測值和置信水平而言，越靠近時，預測精度就越高。數(shù)學建?；貧w分析(b)控制若要的值以1-的概率落在指定區(qū)間(c,d)之內(nèi)，變量x應控制在什么范圍內(nèi)的問題就是所謂的控制問題。它是預測問題的反問題。只要控制x滿足以下兩不等式這要求若方程分別有解a,b，則(a,b)就是所求的x的控制區(qū)間。數(shù)學建模回歸分析二可線性化的一元非線性回歸（曲線回歸）

在工程技術中，自變量x與因變量y之間有時呈現(xiàn)出非線性（或曲線）關系，這是通常出現(xiàn)兩種情況：一種是呈現(xiàn)多項式的關系，這種情況通過變量替換可化為多元線性回歸問題給予解決；另一種是呈現(xiàn)出其它非線性關系，通過變量替換可化為一元線性回歸問題給予解決。若匹配曲線（經(jīng)驗公式）為含參量a,b的非線性曲線，采用的辦法是通過變量替換把非線性回歸化為線性回歸。通常匹配的含參量a,b的非線性曲線有以下六類，具體的替換方法如下：數(shù)學建?；貧w分析1雙曲線作變量替換

得

2冪函數(shù)曲線兩邊取常用對數(shù)：，再作代換則冪函數(shù)曲線方程就變成直線方程注：對于非線性回歸問題的Matlab實現(xiàn)問題，一種方法是化為相應的線性模型實現(xiàn)，另種方法是直接應用Matlab中相應的命令，其結果是一致的。數(shù)學建模回歸分析三多元線性回歸分析一般地，在實際問題中影響應變量y的自變量往往不止一個，不妨設有k個為。通過觀測得到一組（k+1維）相互獨立的試驗觀測數(shù)據(jù)，其中n>k+1。假設變量y與變量之間有線性關系：

(1.5)

其中是隨機變量，一般假設則觀測數(shù)據(jù)滿足

(1.6)數(shù)學建?；貧w分析其中互不相關且均是與同分布的隨機變量。令則(1.6)可簡寫為其中X為已知的n*(k+1)矩陣，稱為回歸設計矩陣或資料矩陣，Y是n維觀察值列向量，為k+1維未知的列向量，是滿足的n維隨機列向量.數(shù)學建?；貧w分析一般稱

(1.7)

為k線性回歸模型（高斯—馬爾科夫線性模型）對(1.7)取數(shù)學期望得到稱為線性回歸方程。數(shù)學建?；貧w分析

對線性模型所要考慮的主要問題是：（i）用實驗觀測數(shù)據(jù)對未知參數(shù)做點估計和假設檢驗，從而建立因變量y和自變量之間的線性關系；（ii）在處對y的值作預測和控制，并對y作區(qū)間估計。本部分總是假設

n>k+1。

（具體方法略）數(shù)學建?；貧w分析四、逐步線性回歸分析

逐步線性回歸分析方法就是一種自動從大量可供選擇的變量中選擇那些對建立回歸方程比較重要的變量的方法，它是在多元線性回歸基礎上派生的一種算法技巧，詳可參閱相應的文獻。其基本思路為：從一個自變量開始，視自變量對y作用的顯著程度，從大到小依次逐個引入回歸方程。當引入的自變量由于后面自變量的引入而變得不顯著時，要將其剔除掉。引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。對于每一步，都要進行y值檢驗，以確保每次引入新的顯著性變量前回歸方程中只包含對y作用顯著的變量。這個過程反復進行，直至即無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程止。數(shù)學建?；貧w分析五回歸分析的Matlab實現(xiàn)Matlab統(tǒng)計工具箱中提供了一些回歸分析的命令，現(xiàn)介紹如下。1、多元線性回歸多元線性回歸的命令是regress，此命令也可用于一元線性回歸。其格式為：（1）確定回歸系數(shù)的點估計，用命令：

b=regress(Y，X)。（2）求回歸系數(shù)的點估計和區(qū)間估計，并檢驗回歸模型，用命令：[b，bint，r，rint，stats]=regress(Y，X，alpha)。（3）畫出殘差及其置信區(qū)間，用命令：

rcoplot（r，rint）。數(shù)學建?；貧w分析在上述命令中，各符號的含義為：（i），Y，X的定義同本部分前面所述。對一元線性回歸，在，Y，X中取k=1即可；（ii）alpha為顯著性水平（缺省時為0.05）；（iii）bint為回歸系數(shù)的區(qū)間估計；（iv）r與rint分別為殘差及其置信區(qū)間；（v）stats是用于檢驗回歸模型的統(tǒng)計量，有三個數(shù)值，第一個是，第二個是F值，第三個是與F對應的概率P。其中與F定義同前，值越大，說明回歸方程越顯著，P<a(0.01或0.05)

時拒絕，回歸模型成立。數(shù)學建?；貧w分析例1合金的強度y與其中的碳含量x有比較密切的關系，今從生產(chǎn)中收集了一批數(shù)據(jù)如下表。試先擬合一個函數(shù)y(x)，再用回歸分析對它進行檢驗。x0.100.110.120.130.140.150.160.170.18y42.041.545.045.545.047.549.055.050.0解先畫出散點圖：x=0.10:0.01:0.18;y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];plot(x,y,'+')可知y與x大致為線性關系。設回歸模型為，用regress和rcoplot編程如下：clc,clearx1=[0.10:0.01:0.18];y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];x=[ones(9,1),x1’];[b,bint,r,rint,stats]=regress(y’,x);b,bint,stats,rcoplot(r,rint)數(shù)學建?；貧w分析數(shù)學建?；貧w分析得到b=27.4722137.5000bint=18.685136.259475.7755199.2245stats=0.798527.74690.0012即=27.4722，=137.5000，的置信區(qū)[18.6851，36.2594]，的置信區(qū)間是[75.7755，199.2245]；R2=0.7985，F(xiàn)=27.7469，p=0.0012?？芍O回歸模型成立。觀察命令rcoplot(r,rint)所畫的殘差分布，除第8個數(shù)據(jù)外其余殘差的置信區(qū)間均包含零點，第8個點應視為異常點，將其剔除后重新計算，可得b=30.7280109.3985bint=26.280535.283476.9014141.8955stats=0.918867.85340.0002應該用修改后的這個結果。數(shù)學建?；貧w分析數(shù)學建?；貧w分析2、多元二項式回歸多元二項式回歸可用命令：rstool(x,y,model,alpha)。其中，輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量；alpha為顯著性水平（缺省時為0.05）；model由下列4個模型中選擇1個（用字符串輸入，缺省時為線性模型）：linear（線性）：purequadratic（純二次）：interaction（交叉）：quadratic（完全二次）：數(shù)學建模回歸分析3、非線性回歸非線性回歸可用命令nlinfit,nlintool,nlparci,nlpredci來實現(xiàn)。命令格式如下：回歸：回歸可用命令

[beta,r,J]=nlinfit(x,y,model,beta0)或者nlintool(x,y,model,beta0,alpha)來實現(xiàn)。其中命令[beta,r,J]=nlinfit(x,y,model,beta0)的作用為確定回歸系數(shù)；而命令nlintool(x,y,model,beta0,alpha)產(chǎn)生一個交互式的畫面，畫面中有擬合曲線和y的置信區(qū)間。通過左下方的Export下拉式菜單，可以輸出回歸系數(shù)等。數(shù)學建?；貧w分析

這里的輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量，對一元非線性回歸，x為n維列向量；

mo