回歸分析方法總結(jié)全面

1、一、什么是回歸分析回歸分析（Regression Analysis） 是研究變量之間作用關(guān)系的一種統(tǒng)計(jì)分析方法，其基本組成是一個(gè)（或一組）自變量與一個(gè)（或一組）因變量?；貧w分析研究的目的是通過(guò)收集到的樣本數(shù)據(jù)用一定的統(tǒng)計(jì)方法探討自變量對(duì)因變量的影響關(guān)系，即原因?qū)Y(jié)果的影響程度?；貧w分析是指對(duì)具有高度相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)的形態(tài)，建立一個(gè)適當(dāng)?shù)臄?shù)學(xué)模型（ 函數(shù)式 ） ，來(lái)近似地反映變量之間關(guān)系的統(tǒng)計(jì)分析方法。利用這種方法建立的數(shù)學(xué)模型稱(chēng)為回歸方程，它實(shí)際上是相關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)量關(guān)系的一般化。二、回歸分析的種類(lèi)1. 按涉及自變量的多少，可分為一元回歸分析和多元回歸分析一元回歸分析是

2、對(duì)一個(gè)因變量和一個(gè)自變量建立回歸方程。多元回歸分析是對(duì)一個(gè)因變量和兩個(gè)或兩個(gè)以上的自變量建立回歸方程。2. 按回歸方程的表現(xiàn)形式不同，可分為線性回歸分析和非線性回歸分析若變量之間是線性相關(guān)關(guān)系，可通過(guò)建立直線方程來(lái)反映，這種分析叫線性回歸分析。若變量之間是非線性相關(guān)關(guān)系，可通過(guò)建立非線性回歸方程來(lái)反映，這種分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容1. 建立相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式。依據(jù)現(xiàn)象之間的相關(guān)形態(tài)，建立適當(dāng)?shù)臄?shù)學(xué)模型，通過(guò)數(shù)學(xué)模型來(lái)反映現(xiàn)象之間的相關(guān)關(guān)系，從數(shù)量上近似地反映變量之間變動(dòng)的一般規(guī)律。2. 依據(jù)回歸方程進(jìn)行回歸預(yù)測(cè)。由于回歸方程反映了變量之間的一般性關(guān)系，因此當(dāng)自變量發(fā)生變化

3、時(shí)，可依據(jù)回歸方程估計(jì)出因變量可能發(fā)生相應(yīng)變化的數(shù)值。因變量的回歸估計(jì)值，雖然不是一個(gè)必然的對(duì)應(yīng)值（ 他可能和系統(tǒng)真值存在比較大的差距） ， 但至少可以從一般性角度或平均意義角度反映因變量可能發(fā)生的數(shù)量變化。3. 計(jì)算估計(jì)標(biāo)準(zhǔn)誤差。通過(guò)估計(jì)標(biāo)準(zhǔn)誤差這一指標(biāo)，可以分析回歸估計(jì)值與實(shí)際值之間的差異程度以及估計(jì)值的準(zhǔn)確性和代表性，還可利用估計(jì)標(biāo)準(zhǔn)誤差對(duì)因變量估計(jì)值進(jìn)行在一定把握程度條件下的區(qū)間估計(jì)。四、一元線性回歸分析1. 一元線性回歸分析的特點(diǎn)1） 兩個(gè)變量不是對(duì)等關(guān)系，必須明確自變量和因變量。2） 如果x 和 y 兩個(gè)變量無(wú)明顯因果關(guān)系，則存在著兩個(gè)回歸方程：一個(gè)是以x 為自變量，y為因變量建立

4、的回歸方程；另一個(gè)是以y 為自變量，x 為因變量建立的回歸方程。若繪出圖形，則是兩條斜率不同的回歸直線。3） 直線回歸方程中，回歸系數(shù)b 可以是正值，也可以是負(fù)值。若0 b ，表示直線上升，說(shuō)明兩個(gè)變量同方向變動(dòng)；若0 b 0 時(shí)，表示x 與 y 為正相關(guān); 當(dāng) r0 時(shí)，表示x 與 y 為負(fù)相關(guān)。5. 殘差分析與殘差圖：殘差是指觀測(cè)值與預(yù)測(cè)值(擬合值)之間的差，即是實(shí)際觀察值與回歸估計(jì)值的差在研究?jī)蓚€(gè)變量間的關(guān)系時(shí)，a) 要根據(jù)散點(diǎn)圖來(lái)粗略判斷它們是否線性相關(guān)；b) 判斷是否可以用回歸模型來(lái)擬合數(shù)據(jù)；c) 可以通過(guò)殘差來(lái)判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù)，這方面的分析工作就稱(chēng)

5、為殘差分析。6. 殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為心的帶狀區(qū)域，帶狀區(qū)域的寬度越窄精度越高。對(duì)于遠(yuǎn)離橫軸的點(diǎn)，要特別注意。7. 幾點(diǎn)注解：第一個(gè)樣本點(diǎn)和第6 個(gè)樣本點(diǎn)的殘差比較大，需要確認(rèn)在采集過(guò)程中是否有人為的錯(cuò)誤。如果數(shù)據(jù)采集有錯(cuò)誤，就應(yīng)該予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒(méi)有錯(cuò)誤，則需要尋找其他的原因。另外， 殘差點(diǎn)比較均勻地落在水平的帶狀區(qū)域中，說(shuō)明選用的模型計(jì)較合適，這樣的帶狀區(qū)域的寬度越窄，說(shuō)明模型擬合精度越高，回歸方程的預(yù)報(bào)精度越高。還可以用判定系數(shù)r 2來(lái)刻畫(huà)回歸的效果，該指標(biāo)

6、測(cè)度了回歸直線對(duì)觀測(cè)數(shù)據(jù)的擬合程度，其計(jì)算公式是：其中： SSR -回歸平方和；SSE -殘差平方和；Sst=ssr+sse 總離差平方和。由公式知，R （相關(guān)指數(shù)）的值越大，說(shuō)明殘差平方和越小，也就是說(shuō)模型擬合效果越好。在含有一個(gè)解釋變量的線性模型中r 2恰好等于相關(guān)系數(shù)r 的平方，即R2=r 2在線性回歸模型中，R2表示解釋變量對(duì)預(yù)報(bào)變量變化的貢獻(xiàn)率。R2越接近1,表示回歸的效果越好（因?yàn)镽2越接近1,表示解釋變量和預(yù)報(bào)變量的線性相關(guān)性越強(qiáng)）。如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過(guò)比較R2 的值來(lái)做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型?？偟膩?lái)說(shuō)：相關(guān)指數(shù)R2

7、 是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻畫(huà)預(yù)報(bào)變量的能力。五、多元線性回歸分析在一元線性回歸分析中，因變量 y 只受某一個(gè)因素的影響，即只由一個(gè)自變量x 來(lái)估計(jì)。但對(duì)于復(fù)雜的自然界中的問(wèn)題，影響因素往往很多，在這種情況下，因變量y 要用多個(gè)自變量同時(shí)進(jìn)行估計(jì)。例如，某種產(chǎn)品的總成本不僅受原材料價(jià)格的影響，而且也與產(chǎn)品產(chǎn)量、管理水平等因素有關(guān)； 農(nóng)作物產(chǎn)量的高低受品種、氣候、施肥量等多個(gè)因素的影響。描述因變量與兩個(gè)或兩個(gè)以上自變量之間的數(shù)量關(guān)系的回歸分析方法稱(chēng)為多元線性回歸分析。它是一元線性回歸分析的推廣，其分析過(guò)程相對(duì)復(fù)雜一些，但基本原理與一元線性回歸分析類(lèi)似。多元線性回歸

8、方程的一般表達(dá)式為：為便于分析，當(dāng)自變量較多時(shí)可選用兩個(gè)主要的自變量X1和X2。其線性回歸方程標(biāo)準(zhǔn)式為:其中：yc為二元回歸估計(jì)值；a為常數(shù)項(xiàng)；bi和b2分別為y對(duì)xi和X2的回歸系數(shù)，bi表示當(dāng) 自變量X2為一定時(shí)，由于自變量 xi變化一個(gè)單位而使 y平均變動(dòng)的數(shù)值，b2表示當(dāng)自變量 xi為一定時(shí)，由于自變量 X2變化一個(gè)單位而使 y平均變動(dòng)的數(shù)值，因此， bi和b2稱(chēng)為偏回 歸系數(shù)。要建立二元回歸方程，關(guān)鍵問(wèn)題是求出參數(shù)a, bi和b2的值，求解方法仍用最小二乘法，即分別對(duì)a, bi和b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得如下方程組：（二 ）在回歸分析中，通常稱(chēng)自變量為回歸因子，一般

9、用表示，而稱(chēng)因變量為指標(biāo)，一般用表示。預(yù)測(cè)公式：，稱(chēng)之為回歸方程?；貧w模型，按照各種原則可以分為各種模型：1 .當(dāng)n =i時(shí)，稱(chēng)為一元（單因子）回歸；當(dāng)n R 2時(shí)，稱(chēng)為多元（多因子）回歸。2 . 當(dāng) f 為線性函數(shù)時(shí)，稱(chēng)為線性回歸；當(dāng)f 為非線性函數(shù)時(shí)，稱(chēng)為非線性（ 曲線 ） 回歸。最小二乘準(zhǔn)則：假設(shè)待定的擬合函數(shù)為，另?yè)?jù)m個(gè)數(shù)據(jù)點(diǎn)，相當(dāng)于求解以下規(guī)劃問(wèn)題：即使得總離差平方和最小。具體在線性擬合的過(guò)程中， 假設(shè)擬合函數(shù)為y=a+bX,a與b為待定系數(shù)，已知有 m個(gè)數(shù)據(jù)點(diǎn)，分別為，應(yīng)用最小二乘法，就是要使：達(dá)到最小值。把 S 看成自變量為a 和 b 的連續(xù)函數(shù)，則根據(jù)連續(xù)函數(shù)達(dá)到及致電的必要條

10、件，于是得到：S 取得最小值時(shí)，有：可得方程組為：稱(chēng)這個(gè)方程組為正規(guī)方程組，解這個(gè)二元一次方程組，得到：如果把已有數(shù)據(jù)描繪成散點(diǎn)圖，而且從散點(diǎn)圖中可以看出，各個(gè)數(shù)據(jù)點(diǎn)大致分布在一條直線附近，不妨設(shè)他們滿(mǎn)足線性方程：其中， x為自變量，y為因變量，a與b為待定系數(shù)；成為誤差項(xiàng)或者擾動(dòng)項(xiàng)。這里要對(duì)數(shù)據(jù)點(diǎn)做線性回歸分析，從而a和b就是待定的回歸系數(shù)，為隨機(jī)誤差。不妨設(shè)得到的線性擬合曲線為：這就是要分析的線性回歸方程。一般情況下，得到這個(gè)方程以后，主要是描繪出回歸曲線，并且觀測(cè)擬合效果和計(jì)算一些誤差分析指標(biāo)，例如最大點(diǎn)誤差、總方差和標(biāo)準(zhǔn)差等。這里最缺乏的就是一個(gè)統(tǒng)一的評(píng)價(jià)系統(tǒng)，以下說(shuō)明從概率角度確立的

11、關(guān)于線性回歸的一套評(píng)價(jià)系統(tǒng)。在實(shí)際的線性回歸分析中，除了估計(jì)出線性回歸系數(shù)a 和 b， 還要計(jì)算y 和 x 的相關(guān)程度，即相關(guān)性檢驗(yàn)。相關(guān)性檢驗(yàn)主要通過(guò)計(jì)算相關(guān)系數(shù)來(lái)分析，相關(guān)系數(shù)的計(jì)算公式為：其中 n 為數(shù)據(jù)點(diǎn)的個(gè)數(shù)，為原始數(shù)據(jù)點(diǎn)，r 的值能夠很好地反映出線性相關(guān)程度的高低，一般來(lái)說(shuō)，存在以下一些標(biāo)準(zhǔn)：1 .當(dāng)r - 1或者r - 1時(shí)，表示y與x高度線性相關(guān)，于是由原始數(shù)據(jù)描繪出的散點(diǎn)圖中所有數(shù)據(jù)點(diǎn)都分布在一條直線的附近，分別稱(chēng)為正相關(guān)和負(fù)相關(guān)；2 .當(dāng)r - 0時(shí)，表示y與x不相關(guān)，由原始數(shù)據(jù)描繪出的散點(diǎn)圖的數(shù)據(jù)點(diǎn)一般呈無(wú)規(guī)律 的特點(diǎn)四散分布；3 . 當(dāng) - 1r 0 或者 0r1 時(shí)，

12、 y 與 x 的相關(guān)程度介于1 與 2 之間；4 .如果r - 1 ,則y與x線性相關(guān)程度越高；反之，如果 r - 0 ,則y與x線性相關(guān)程 度越低。實(shí)際計(jì)算r 值的過(guò)程中，長(zhǎng)列表計(jì)算，即：在實(shí)際問(wèn)題中，一般要保證回歸方程有最低程度的線性相關(guān)。因?yàn)樵S多實(shí)際問(wèn)題中，兩個(gè)變量之間并非線性的相關(guān)關(guān)系，或者說(shuō)線性相關(guān)程度不高，此時(shí)硬給他建立線性回歸方程，顯然沒(méi)有太大意義，也沒(méi)有什么實(shí)用價(jià)值。一般來(lái)說(shuō)，把這個(gè)最低限度的值記為臨界值，稱(chēng)之為相關(guān)性檢驗(yàn)標(biāo)準(zhǔn)。因此，如果計(jì)算出r的值，并且滿(mǎn)足，則符合相關(guān)性要求，線性回歸方程作用顯著。反之，如果，則線性回歸方程作用不顯著，就盡量不要采用線性回歸方程。臨界值的數(shù)值

13、表如下：其中， 自由度可以由原始數(shù)據(jù)點(diǎn)的個(gè)數(shù)減去相應(yīng)的回歸方程的變量個(gè)數(shù)，例如線性回歸方程中有兩個(gè)變量，而數(shù)據(jù)點(diǎn)的個(gè)數(shù)為n 個(gè)，則自由度為n - 2. 自由度一般記為f ，但不要與一般的函數(shù)發(fā)生混淆。顯著性水平一般取為,等，利用它可以計(jì)算 y與x之間相關(guān)關(guān)系的可信程度或者稱(chēng)為置信水平，計(jì)算公式為：（這里取顯著性水平為a =）現(xiàn)在介紹置信區(qū)間的問(wèn)題，由于實(shí)際誤差的存在，由線性擬合得到的計(jì)算值跟實(shí)際值之間必然存在一定的差距，其差值就是計(jì)算誤差。假設(shè)原始數(shù)據(jù)點(diǎn)為，計(jì)算得到的數(shù)據(jù)點(diǎn)為，再給定附近的一個(gè)區(qū)間：則實(shí)際值yi 可能落在這個(gè)區(qū)間內(nèi)，也可能落在這個(gè)區(qū)間外。如果所有的這些區(qū)間（ 以為中心，長(zhǎng)度為）

14、 包含實(shí)際值的個(gè)數(shù)占總數(shù)的比例達(dá)到95%或者以上，則稱(chēng)這些區(qū)間的置信水平不少于95%根據(jù)以上的分析，可以知道置信區(qū)間的概念，如果確定了置信水平為95%，從而可以找到相應(yīng)的最小的A t值，使得95%以上的實(shí)際值落在區(qū)間內(nèi)，則稱(chēng)為預(yù)測(cè)值滿(mǎn)足置信水平95%的置信區(qū)間。一般情況下，如果不做特別說(shuō)明，置信區(qū)間的相應(yīng)置信水平默認(rèn)為95%，置信區(qū)間反映了回歸方程的適用范圍和精確度，特別的， 當(dāng)所有離散數(shù)據(jù)分布在回歸曲線的附件，大致呈現(xiàn)為正態(tài)分布時(shí)，置信區(qū)間為：其中S 為該回歸模型的標(biāo)準(zhǔn)差，計(jì)算公式為：或者為：那么，如果回歸方程為y=a+bx ，則有兩條控制直線分別為和，他們代表了置信區(qū)間的上限和下限，如下圖所示：那么，可以預(yù)料實(shí)際的數(shù)據(jù)點(diǎn)幾乎全部（至少95%）落在上圖兩條虛線所夾的區(qū)域內(nèi)。這里對(duì)回歸方程的應(yīng)用做一個(gè)總結(jié)：1. 估計(jì)、預(yù)測(cè)指標(biāo)值。對(duì)于因子x 的一個(gè)給定值x 0 ，代入回歸預(yù)測(cè)方程即可