回歸分析法概念及原理

1、精選優(yōu)質(zhì)文檔-傾情為你奉上回歸分析法概念及原理回歸分析定義：利用數(shù)據(jù)統(tǒng)計(jì)原理，對(duì)大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行數(shù)學(xué)處理，并確定因變量與某些自變量的相關(guān)關(guān)系，建立一個(gè)相關(guān)性較好的回歸方程（函數(shù)表達(dá)式），并加以外推，用于預(yù)測今后的因變量的變化的分析方法。分類：1. 根據(jù)因變量和自變量的個(gè)數(shù)來分類：一元回歸分析；多元回歸分析；2. 根據(jù)因變量和自變量的函數(shù)表達(dá)式來分類：線性回歸分析；非線性回歸分析；幾點(diǎn)說明：1. 通常情況下，線性回歸分析是回歸分析法中最基本的方法，當(dāng)遇到非線性回歸分析時(shí)，可以借助數(shù)學(xué)手段將其化為線性回歸；因此，主要研究線性回歸問題，一點(diǎn)線性回歸問題得到解決，非線性回歸也就迎刃而解了，例如，取對(duì)數(shù)

2、使得乘法變成加法等；當(dāng)然，有些非線性回歸也可以直接進(jìn)行，如多項(xiàng)式回歸等；2. 在社會(huì)經(jīng)濟(jì)現(xiàn)象中，很難確定因變量和自變量之間的關(guān)系，它們大多是隨機(jī)性的，只有通過大量統(tǒng)計(jì)觀察才能找出其中的規(guī)律。隨機(jī)分析是利用統(tǒng)計(jì)學(xué)原理來描述隨機(jī)變量相關(guān)關(guān)系的一種方法；3. 由回歸分析法的定義知道，回歸分析可以簡單的理解為信息分析與預(yù)測。信息即統(tǒng)計(jì)數(shù)據(jù)，分析即對(duì)信息進(jìn)行數(shù)學(xué)處理，預(yù)測就是加以外推，也就是適當(dāng)擴(kuò)大已有自變量取值范圍，并承認(rèn)該回歸方程在該擴(kuò)大的定義域內(nèi)成立，然后就可以在該定義域上取值進(jìn)行“未來預(yù)測”。當(dāng)然，還可以對(duì)回歸方程進(jìn)行有效控制；4. 相關(guān)關(guān)系 可以分為確定關(guān)系和不確定關(guān)系。但是不論是確定關(guān)系或者

3、不確定關(guān)系，只要有相關(guān)關(guān)系，都可以選擇一適當(dāng)?shù)臄?shù)學(xué)關(guān)系式，用以說明一個(gè)或幾個(gè)變量變動(dòng)時(shí)，另一變量或幾個(gè)變量平均變動(dòng)的情況?；貧w分析主要解決的問題：回歸分析主要解決方面的問題；1. 確定變量之間是否存在相關(guān)關(guān)系，若存在，則找出數(shù)學(xué)表達(dá)式；2. 根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測或控制另一個(gè)或幾個(gè)變量的值，且要估計(jì)這種控制或預(yù)測可以達(dá)到何種精確度?；貧w模型：回歸分析步驟：1. 根據(jù)自變量與因變量的現(xiàn)有數(shù)據(jù)以及關(guān)系，初步設(shè)定回歸方程；2. 求出合理的回歸系數(shù)；3. 進(jìn)行相關(guān)性檢驗(yàn)，確定相關(guān)系數(shù)； 4. 在符合相關(guān)性要求后，即可根據(jù)已得的回歸方程與具體條件相結(jié)合，來確定事物的未來狀況，并計(jì)算預(yù)測值的置信區(qū)間

4、；回歸分析的有效性和注意事項(xiàng)：有效性：用回歸分析法進(jìn)行預(yù)測首先要對(duì)各個(gè)自變量做出預(yù)測。若各個(gè)自變量可以由人工控制或易于預(yù)測，而且回歸方程也較為符合實(shí)際，則應(yīng)用回歸預(yù)測是有效的，否則就很難應(yīng)用；注意事項(xiàng)：為使回歸方程較能符合實(shí)際，首先應(yīng)盡可能定性判斷自變量的可能種類和個(gè)數(shù)，并在觀察事物發(fā)展規(guī)律的基礎(chǔ)上定性判斷回歸方程的可能類型；其次，力求掌握較充分的高質(zhì)量統(tǒng)計(jì)數(shù)據(jù)，再運(yùn)用統(tǒng)計(jì)方法，利用數(shù)學(xué)工具和相關(guān)軟件從定量方面計(jì)算或改進(jìn)定性判斷?；貧w分析中的幾個(gè)常用概念：實(shí)際值：實(shí)際觀測到的研究對(duì)象特征數(shù)據(jù)值；理論值：根據(jù)實(shí)際值我們可以得到一條傾向線，用數(shù)學(xué)方法擬合這條曲線，可以得到數(shù)學(xué)模型，根據(jù)這個(gè)數(shù)學(xué)模型

5、計(jì)算出來的、與實(shí)際值相對(duì)應(yīng)的值，稱為理論值；預(yù)測值：實(shí)際上也是根據(jù)數(shù)學(xué)模型計(jì)算出來的理論值，但它是與未來對(duì)應(yīng)的理論值。表示符號(hào)：實(shí)際值，用表示；理論值，用表示；預(yù)測值，用表示。+Unary Linear Regression +一元線性回歸，就是只涉及一個(gè)自變量的回歸；自變量和因變量之間的關(guān)系是線性關(guān)系的回歸；因變量與自變量之間的關(guān)系用一條線性方程來表示的回歸。方法步驟：1. 確定回歸模型：由于我們研究的是一元線性回歸，因此其回歸模型可表示為：；其中，是因變量；是自變量；是誤差項(xiàng)；和稱為模型參數(shù)（回歸系數(shù)）。2. 求出回歸系數(shù)：這里的回歸系數(shù)的求解，就要用一定的方法，使得該系數(shù)應(yīng)用于該方程是“

6、合理的”。最常用的一種方法就是最小二乘估計(jì)法。最小二乘法是測量工作和科學(xué)實(shí)驗(yàn)中最常用的一種數(shù)據(jù)處理方法，其基本原理是，根據(jù)實(shí)驗(yàn)觀測得到的自變量x和因變量y之間的一組對(duì)應(yīng)關(guān)系，找出一個(gè)給定類型的函數(shù)，使得它所取的值與觀測值 在某種尺度下最接近，即在各點(diǎn)處的偏差的平方和達(dá)到最小，即。這種方法求的的和將使得擬合直線中的和之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小。根據(jù)最小二乘法的要求，可以推導(dǎo)得到最小二乘法的計(jì)算公式： 其中，；相關(guān)性檢驗(yàn)：對(duì)于若干組具體數(shù)據(jù)都可算出回歸系數(shù)，從而得到回歸方程。至于與之間是否真有如回歸模型所描述的關(guān)系，或者說用所得的回歸模型去擬合實(shí)際數(shù)據(jù)是否有足夠好的近似，并沒有得

7、到判明。因此，必須對(duì)回歸模型描述實(shí)際數(shù)據(jù)的近似程度，也即對(duì)所得的回歸模型的可信程度進(jìn)行檢驗(yàn)，稱為相關(guān)性檢驗(yàn)。相關(guān)系數(shù)是衡量一組測量數(shù)據(jù)線性相關(guān)程度的參量，其定義為：,或者值在0|1中。 |越接近于1， 之間線性好；為正，直線斜率為正，稱為正相關(guān)；為負(fù)，直線斜率為負(fù)，稱為負(fù)相關(guān)。|接近于0，則測量數(shù)據(jù)點(diǎn)分散或之間為非線性。不論測量數(shù)據(jù)好壞都能求出，所以我們必須有一種判斷測量數(shù)據(jù)好壞的方法，用來判斷什么樣的測量數(shù)據(jù)不宜擬合，判斷的方法是|時(shí)，測量數(shù)據(jù)是非線性的稱為相關(guān)系數(shù)的起碼值，與測量次數(shù)有關(guān)，如下表:相關(guān)系數(shù)起碼值31.00090.798150.64140.990100.765160.6235

8、0.959110.735170.60660.917120.708180.59070.874130.684190.57580.834140.661200.561在進(jìn)行一元線性回歸之前應(yīng)先求出值，再與比較，若| ，則具有線性關(guān)系，可求回歸直線；否則反之。置信區(qū)間的確定：當(dāng)確定相關(guān)性后，就可以對(duì)置信區(qū)間進(jìn)行確定，就可以結(jié)合實(shí)際情況，確定事物未來的狀況了?；貧w分析的最主要的應(yīng)用就在于“預(yù)測”，而預(yù)測是不是準(zhǔn)確的，就得有一個(gè)衡量的工具。它就是置信區(qū)間?；蛘邚牧硗庖环矫鎭碚f，回歸方程是由數(shù)理統(tǒng)計(jì)得出的，它反映的是實(shí)際數(shù)據(jù)的統(tǒng)計(jì)規(guī)律，所以，根據(jù)回歸方程所得的預(yù)測值只是對(duì)應(yīng)于的單點(diǎn)預(yù)測估計(jì)值，預(yù)測值應(yīng)該有一個(gè)

9、置信區(qū)間。這樣來看，計(jì)算置信區(qū)間就是很有必要的。置信區(qū)間：，其中是的無偏估計(jì)量，稱為剩余方差，稱為剩余標(biāo)準(zhǔn)差。注：該表達(dá)式的自由度為是因?yàn)橛?個(gè)限制變量故對(duì)于給定的，值的概率為0.95的置信區(qū)間是：。點(diǎn)擊參看置信區(qū)間的確定內(nèi)容。+Example+實(shí)驗(yàn)數(shù)據(jù)如下表： 城鎮(zhèn)居民家庭人均可支配收入城市人均住宅面積城鎮(zhèn)居民家庭人均可支配收入城市人均住宅面積343.46.74838.917.0477.67.25160.317.8739.110.05425.118.71373.913.55854.019.41510.213.76280.020.31700.614.26859.620.82026.614.87

10、702.822.82577.415.28472.223.73496.215.79421.625.04283.016.310493.026.1步驟一：先畫出散點(diǎn)圖，進(jìn)行觀察：程序如下：>> clf>> x=343.4 477.6 739.1 1373.9 1510.2 1700.6 2026.6 2577.4 3496.2 4283.0 4838.9 5160.3 5425.1 5854.0 6280.0 6859.6 7702.8 8472.2 9421.6 0493.0;y=6.7 7.2 10.0 13.5 13.7 14.2 14.8 15.2 15.7 16.3

11、 17.0 17.8 18.7 19.4 20.3 20.8 22.8 23.7 25.0 26.1;plot(x,y,'x')>> xlabel('城鎮(zhèn)居民家庭人均可支配收入') ylabel('城市人均住宅面積')在MATALB中的運(yùn)行結(jié)果：可以看到，除了個(gè)別點(diǎn)除外，基本上所有的點(diǎn)都分布在一條直線的附近。而且自變量只有一個(gè)，因此可以假設(shè)其回歸模型為：；步驟二：求出回歸系數(shù)，過程根據(jù)最小而乘法的公式計(jì)算；計(jì)算公式為：其中，；編程：>> n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=

12、lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mean(y) end b=lxy/lxx a=mean(y)-b*mean(x)在MATLAB中的運(yùn)行結(jié)果：求得=0.0017 =9.4866, 故：=9.4866+0.0017為所求。整個(gè)數(shù)據(jù)擬合如下：>> clf>> x=343.4 477.6 739.1 1373.9 1510.2 1700.6 2026.6 2577.4 3496.2 4283.0 4838.9 5160.3 5425.1 5854.0 6280.0 6859.6 7702.8 8472.2 9421

13、.6 0493.0;y=6.7 7.2 10.0 13.5 13.7 14.2 14.8 15.2 15.7 16.3 17.0 17.8 18.7 19.4 20.3 20.8 22.8 23.7 25.0 26.1;plot(x,y,'x')>> xlabel('城鎮(zhèn)居民家庭人均可支配收入') ylabel('城市人均住宅面積')>> n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mea

14、n(y) end b=lxy/lxx a=mean(y)-b*mean(x)n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mean(y) end b=lxy/lxx a=mean(y)-b*mean(x) xx=linspace(0,12000,500) yy=a+b*xx; hold on plot(xx,yy,'b-') text(6000,15,'FitFunction: y=a+b*x')在MATLAB中運(yùn)行得到擬合圖：步驟三：相關(guān)性檢驗(yàn)；，同理編程計(jì)算出相關(guān)系數(shù)為：=0.2406 由