數(shù)學建?；貧w分析省名師優(yōu)質(zhì)課獲獎?wù)n件市賽課一等獎?wù)n件

回歸分析山東建筑大學賀長偉第1頁引言

回歸分析是處理極難用一個準確方法表示出來變量之間關(guān)系一個數(shù)學方法，它是最慣用數(shù)理統(tǒng)計方法，能處理預(yù)測、控制、生產(chǎn)工藝優(yōu)化等問題。它在工農(nóng)業(yè)生產(chǎn)和科學研究各個領(lǐng)域中都有廣泛應(yīng)用?；貧w分析普通分為線性回歸分析和非線性回歸分析。本節(jié)著重介紹線性回歸分析基本結(jié)論及其在Matlab中對應(yīng)命令。線性回歸分析是兩類回歸分析中較簡單一類，也是應(yīng)用較多一類。第2頁一一元線性回歸分析針對一組（二維）數(shù)據(jù)（其中互不相同），其最簡單數(shù)據(jù)擬合形式為尋求直線，使在最小二乘準則下與全部數(shù)據(jù)點最為靠近。但因為隨機觀察誤差存在，滿足上述數(shù)據(jù)點直線應(yīng)該是(1.1)其中x,y是準確,是兩個未知參數(shù)，是均值為零隨機觀察誤差，含有不可觀察性，能夠合理地假設(shè)這種觀察誤差服從正態(tài)分布。第3頁于是我們得到一元線性回歸模型為(1.2)其中未知，固定未知參數(shù)稱為回歸系數(shù)，自變量x稱為回歸變量。(1.1)式兩邊同時取期望得：稱為y對x回歸直線方程。在該模型下，第i個觀察值可以看作樣本（這些樣本相互獨立但不一樣分布,i=1,2,…,n）實際抽樣值，即樣本值。第4頁

一元線性回歸分析主要任務(wù)是：a.用試驗值（樣本值）對作點預(yù)計；b.對回歸系數(shù)作假設(shè)檢驗；c.在處對y作預(yù)測，并對y作區(qū)間預(yù)計。1、回歸參數(shù)預(yù)計假設(shè)有n組獨立觀察值：則由(1.2)有（1.3）第5頁其中相互獨立。記稱為偏離真實直線偏差平方和。由最小二乘法得到預(yù)計稱為最小二乘預(yù)計，其中（經(jīng)驗）回歸方程為（1.4）第6頁這么我們得到無偏預(yù)計，其中服從正態(tài)分布第7頁2模型假設(shè)、預(yù)測、控制1、回歸方程顯著性檢驗在實際問題中，因變量y與自變量x之間是否有線性關(guān)系(1.1)只是一個假設(shè)，在求出回歸方程之后，還必須對這種回歸方程同實際觀察數(shù)據(jù)擬合效果進行檢驗。由(1.1)可知，越大，y隨x改變趨勢就越顯著；反之，越小，y隨x改變趨勢就越不顯著。尤其當=0時，則認為y與x之間不存在線性關(guān)系，當時，則認為y與x之間有線性關(guān)系。所以，問題歸結(jié)為對假設(shè)進行檢驗。第8頁假設(shè):被拒絕，則回歸顯著，認為y與x之間存在線性關(guān)系，所求線性回歸方程有意義；不然回歸不顯著，y與x關(guān)系不能用一元線性回歸模型來描述，所得回歸方程也無意義。此時，可能有以下幾個情況：（1）x對y沒有顯著影響，此時應(yīng)丟掉變量x；（2）x對y有顯著影響，但這種影響不能用線性關(guān)系來表示，應(yīng)該用非線性回歸；（3）除x之外，還有其它不可忽略變量對y有顯著影響，從而減弱了x對y影響。此時應(yīng)用

多元線性回歸模型。所以，在接收H0同時，需要深入查明原因方便分別處理。第9頁檢驗方法：（a）F檢驗法對樣本方差進行分解，有上式中是由實際觀察值沒有落在回歸直線上引發(fā)（不然為零），U是由回歸直線引發(fā)。因此，U越大，就越小，表示y與x線性關(guān)系就越顯著；不然，U越小，就越大，表示y與x線性關(guān)系就越不顯著。這么我們就找到了一個判別回歸直線擬合程度好壞方法：假如U/s靠近于1，即U/

較大時，則對擬合效果感到滿意。第10頁由F分布有其中r稱為相關(guān)系數(shù)。對給定顯著水平a，有置信水平為1-a臨界值，從而F檢驗法檢驗準則為：當時，拒絕；不然就接收第11頁（b）t檢驗法當成立時，由T分布定義有所以，對于給定顯著水平a，用T統(tǒng)計量檢驗，有置信水平為1-a臨界值,從而t檢驗法檢驗準則為：當時，拒絕；不然就接收第12頁2、預(yù)測與控制當檢驗結(jié)果拒絕了:，接下來問題是如何利用回歸方程

進行預(yù)測和控制。預(yù)測就是對固定x值預(yù)測對應(yīng)y值，控制就是通過控制x值，方便把y值控制在制訂范圍內(nèi)。(a)預(yù)測設(shè)y與x滿足模型(1.2)。令

表示x某個固定值，且假設(shè)相互獨立，則預(yù)測值和預(yù)測區(qū)間以下。第13頁y預(yù)測值為回歸值。它是

無偏預(yù)計，即給定顯著水平，置信水平為1-預(yù)測區(qū)間為，其中由上式可知，剩下標準差越小，預(yù)測區(qū)間越小，預(yù)測值越準確；對于給定樣本觀察值和置信水平而言，越靠近時，預(yù)測精度就越高。第14頁(b)控制若要值以1-概率落在指定區(qū)間(c,d)之內(nèi)，變量x應(yīng)控制在什么范圍內(nèi)問題就是所謂控制問題。它是預(yù)測問題反問題。只要控制x滿足以下兩不等式這要求若方程分別有解a,b，則(a,b)就是所求x控制區(qū)間。第15頁二可線性化一元非線性回歸（曲線回歸）在工程技術(shù)中，自變量x與因變量y之間有時展現(xiàn)出非線性（或曲線）關(guān)系，這是通常出現(xiàn)兩種情況：一個是展現(xiàn)多項式關(guān)系，這種情況經(jīng)過變量替換可化為多元線性回歸問題給予處理；另一個是展現(xiàn)出其它非線性關(guān)系，經(jīng)過變量替換可化為一元線性回歸問題給予處理。若匹配曲線（經(jīng)驗公式）為含參量a,b非線性曲線，采取方法是經(jīng)過變量替換把非線性回歸化為線性回歸。通常匹配含參量a,b非線性曲線有以下六類，詳細替換方法以下：第16頁1雙曲線作變量替換

得2冪函數(shù)曲線兩邊取慣用對數(shù)：，再作代換則冪函數(shù)曲線方程就變成直線方程注：對于非線性回歸問題Matlab實現(xiàn)問題，一個方法是化為對應(yīng)線性模型實現(xiàn)，另種方法是直接應(yīng)用Matlab中對應(yīng)命令，其結(jié)果是一致。第17頁三多元線性回歸分析普通地，在實際問題中影響應(yīng)變量y自變量往往不止一個，不妨設(shè)有k個為。通過觀察得到一組（k+1維）相互獨立試驗觀察數(shù)據(jù)，其中n>k+1。假設(shè)變量y與變量之間有線性關(guān)系：(1.5)其中是隨機變量，普通假設(shè)則觀察數(shù)據(jù)滿足

(1.6)第18頁其中互不相關(guān)且均是與同分布隨機變量。令則(1.6)可簡寫為其中X為已知n*(k+1)矩陣，稱為回歸設(shè)計矩陣或資料矩陣，Y是n維觀察值列向量，為k+1維未知列向量，是滿足

n維隨機列向量.第19頁普通稱

(1.7)為k線性回歸模型（高斯—馬爾科夫線性模型）對(1.7)取數(shù)學期望得到稱為線性回歸方程。第20頁對線性模型所要考慮主要問題是：（i）用試驗觀察數(shù)據(jù)對未知參數(shù)做點預(yù)計和假設(shè)檢驗，從而建立因變量y和自變量之間線性關(guān)系；（ii）在處對y值作預(yù)測和控制，并對y作區(qū)間預(yù)計。本部分總是假設(shè)

n>k+1。

（詳細方法略）第21頁四、逐步線性回歸分析逐步線性回歸分析方法就是一個自動從大量可供選擇變量中選擇那些對建立回歸方程比較主要變量方法，它是在多元線性回歸基礎(chǔ)上派生一個算法技巧，詳可參閱對應(yīng)文件。其基本思緒為：從一個自變量開始，視自變量對y作用顯著程度，從大到小依次逐一引入回歸方程。當引入自變量因為后面自變量引入而變得不顯著時，要將其剔除掉。引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸一步。對于每一步，都要進行y值檢驗，以確保每次引入新顯著性變量前回歸方程中只包含對y作用顯著變量。這個過程重復(fù)進行，直至即無不顯著變量從回歸方程中剔除，又無顯著變量可引入回歸方程止。第22頁五回歸分析Matlab實現(xiàn)Matlab統(tǒng)計工具箱中提供了一些回歸分析命令，現(xiàn)介紹以下。1、多元線性回歸多元線性回歸命令是regress，此命令也可用于一元線性回歸。其格式為：（1）確定回歸系數(shù)點預(yù)計，用命令：b=regress(Y，X)。（2）求回歸系數(shù)點預(yù)計和區(qū)間預(yù)計，并檢驗回歸模型，用命令：[b，bint，r，rint，stats]=regress(Y，X，alpha)。（3）畫出殘差及其置信區(qū)間，用命令：rcoplot（r，rint）。第23頁在上述命令中，各符號含義為：（i），Y，X定義同本部分前面所述。對一元線性回歸，在，Y，X中取k=1即可；（ii）alpha為顯著性水平（缺省時為0.05）；（iii）bint為回歸系數(shù)區(qū)間預(yù)計；（iv）r與rint分別為殘差及其置信區(qū)間；（v）stats是用于檢驗回歸模型統(tǒng)計量，有三個數(shù)值，第一個是，第二個是F值，第三個是與F對應(yīng)概率P。其中與F定義同前，值越大，說明回歸方程越顯著，P<a(0.01或0.05)時拒絕，回歸模型成立。第24頁例1合金強度y與其中碳含量x有比較親密關(guān)系，今從生產(chǎn)中搜集了一批數(shù)據(jù)以下表。試先擬合一個函數(shù)y(x)，再用回歸分析對它進行檢驗。x0.100.110.120.130.140.150.160.170.18y42.041.545.045.545.047.549.055.050.0解先畫出散點圖：x=0.10:0.01:0.18;y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];plot(x,y,'+')可知y與x大致為線性關(guān)系。設(shè)回歸模型為，用regress和rcoplot編程以下：clc,clearx1=[0.10:0.01:0.18];y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];x=[ones(9,1),x1’];[b,bint,r,rint,stats]=regress(y’,x);b,bint,stats,rcoplot(r,rint)第25頁第26頁得到b=27.4722137.5000bint=18.685136.259475.7755199.2245stats=0.798527.74690.0012即=27.4722，=137.5000，置信區(qū)[18.6851，36.2594]，置信區(qū)間是[75.7755，199.2245]；R2=0.7985，F(xiàn)=27.7469，p=0.0012。可知所設(shè)回歸模型成立。觀察命令rcoplot(r,rint)所畫殘差分布，除第8個數(shù)據(jù)外其余殘差置信區(qū)間均包含零點，第8個點應(yīng)視為異常點，將其剔除后重新計算，可得b=30.7280109.3985bint=26.280535.283476.9014141.8955stats=0.918867.85340.0002應(yīng)該用修改后這個結(jié)果。第27頁第28頁2、多元二項式回歸多元二項式回歸可用命令：rstool(x,y,model,alpha)。其中，輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量；alpha為顯著性水平（缺省時為0.05）；model由以下4個模型中選擇1個（用字符串輸入，缺省時為線性模型）：linear（線性）：purequadratic（純二次）：interaction（交叉）：quadratic（完全二次）：第29頁3、非線性回歸非線性回歸可用命令nlinfit,nlintool,nlparci,nlpredci來實現(xiàn)。命令格式以下：回歸：回歸可用命令[beta,r,J]=nlinfit(x,y,model,beta0)或者nlintool(x,y,model,beta0,alpha)來實現(xiàn)。其中命令[beta,r,J]=nlinfit(x,y,model,beta0)作用為確定回歸系數(shù)；而命令nlintool(x,y,model,beta0,alpha)產(chǎn)生一個交互式畫面，畫面中有擬合曲線和y置信區(qū)間。經(jīng)過左下方Export下拉式菜單，能夠輸出回歸系數(shù)等。第30頁這里輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列