多元線性回歸模型原理

1、研究在線性關(guān)系相關(guān)性條件下，兩個(gè)或者兩個(gè)以上自變量對(duì)一個(gè)因變量，為多元線 性回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。多元線性回歸模 型是一元線性回歸模型的擴(kuò)展，其基本原理與一元線性回歸模型類似，只是在計(jì)算上為 復(fù)雜需借助計(jì)算機(jī)來(lái)完成。計(jì)算公式如下：設(shè)隨機(jī)y與一般變量X1 , xj,ll xk的線性回歸模型為:y-ixi2X2-kXk其中S''k是k T個(gè)未知參數(shù)，r稱為回歸常數(shù)，、1,11 “稱為回歸系數(shù);y稱為被解釋變量；x1, x2 HI xk是k個(gè)可以精確可控制的一般變量，稱為解釋變量。當(dāng)p =1時(shí)，上式即為一元線性回歸模型，k _ 2時(shí)，上式就叫做多

2、元形多元回歸模型。；是隨機(jī)誤差，與一元線性回歸一樣，通常假設(shè)E(；)=0 £var( 0 _ '同樣，多元線性總體回歸方程為y = ： 0 ： 2X2II : kXk系數(shù)表示在其他自變量不變的情況下，自變量 乂變動(dòng)到一個(gè)單位時(shí)引起的因變 量y的平均單位。其他回歸系數(shù)的含義相似，從集合意義上來(lái)說(shuō)，多元回歸是多維空間 上的一個(gè)平面。多元線性樣本回歸方程為：? x? x.01 12 2k k多元線性回歸方程中回歸系數(shù)的估計(jì)同樣可以采用最小二乘法。由殘差平方和：sse 二 ' (y-?) =0根據(jù)微積分中求極小值得原理，可知?dú)埐钇椒胶蚐SE存在極小值。欲使SSE達(dá)到最小，ss

3、e對(duì)0,的偏導(dǎo)數(shù)必須為零。將SSE對(duì)、，求偏導(dǎo)數(shù)，并令其等于零，加以整理后可得到 k 1各方程式:-SSE 7十2(y-y)二 0-SSE(y-?)Xj 二 0通過(guò)求解這一方程組便可分別得到孔的估計(jì)值 ?，彳，？k回歸系數(shù)的估計(jì)值，當(dāng)自變量個(gè)數(shù)較多時(shí)，計(jì)算十分復(fù)雜，必須依靠計(jì)算機(jī)獨(dú)立完成?，F(xiàn)在， 利用SPSS，只要將數(shù)據(jù)輸入，并指定因變量和相應(yīng)的自變量，立刻就能得到結(jié)果。對(duì)多元線性回歸，也需要測(cè)定方程的擬合程度、檢驗(yàn)回歸方程和回歸系數(shù)的顯著性。測(cè)定多元線性回歸的擬合度程度，與一元線性回歸中的判定系數(shù)類似，使用多重判 定系數(shù)，其中定義為：A 2SSRSSE' (y-y)1 1 2ssts

4、st' (y _ y)式中，SSR為回歸平方和,SSE為殘差平方和，SST為總離差平方和同一元線性回歸相類似，0乞R2叮，R2越接近1,回歸平面擬合程度越高，反之， R2越接近0,擬合程度越低。R2的平方根成為負(fù)相關(guān)系數(shù)(R)，也成為多重相關(guān)系數(shù)。 它表示因變量y與所有自變量全體之間線性相關(guān)程度，實(shí)際反映的是樣本數(shù)據(jù)與預(yù)測(cè)數(shù) 據(jù)間的相關(guān)程度。判定系數(shù)R2的大小受到自變量x的個(gè)數(shù)k的影響。在實(shí)際回歸分析中 可以看到，隨著自變量x個(gè)數(shù)的增加，回歸平方和(SSR)增大，是R2增大。由于增加自 變量個(gè)數(shù)引起的R2增大與你和好壞無(wú)關(guān)，因此在自變量個(gè)數(shù)k不同的回歸方程之間比較 擬合程度時(shí)，R2不是

5、一個(gè)合適的指標(biāo)，必須加以修正或調(diào)整。調(diào)整方法為：把殘差平方和與總離差平方和紙幣的分子分母分別除以各自的自由 度，變成均方差之比，以剔除自變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。調(diào)整的R2為：2 SSE/( n-k-1) SSE n-12 n-1R 111-(1-R)-SST/ (n1)SST n k1n k 12由上時(shí)可以看出，R考慮的是平均的殘差平方和，而不是殘差平方和，因此，一2般在線性回歸分析中，R越大越好。從F統(tǒng)計(jì)量看也可以反映出回歸方程的擬合程度。將F統(tǒng)計(jì)量的公式與R2的公式作一結(jié)合轉(zhuǎn)換，可得：_R2/k-(1 R2)/(n k1)可見(jiàn)，如果回歸方程的擬合度高，F(xiàn)統(tǒng)計(jì)量就越顯著；F統(tǒng)計(jì)量?jī)稍嘛@著，

6、回歸方 程的擬合優(yōu)度也越高。僅供個(gè)人用于學(xué)習(xí)、研究；不得用于商業(yè)用途For personal use only in study and research; not for commercial use.Nur f u r den pers?nlichen f u r Studien, Forschung, zu kommerziellen Zwecken verwendet werden.Pour l ' e tude et la recherche uniquementfinspdesonnelles; pasa des fins commerciales.to員bko gA.nr

7、ogeHKO TOpMenob3ymrnflCH6yHeHuac egoB u HHuefigoHMucno 員 B30BaTbCEb KOMMepqeckuxqe 員 ex.僅供個(gè)人用于學(xué)習(xí)、研究；不得用于商業(yè)用途For personal use only in study and research; not for commercial use.Nur f u r den pers?nlichen f u r Studien, Forschung, zu kommerziellen Zwecken verwendet werden.Pour l ' e tude et la recherche uniquementa des fins personnelles; pasa des fins comme