多元線性回歸模型原理

1、研究在線性關(guān)系相關(guān)性條件下，兩個或者兩個以上自變量對一個因變量，為多元線性 回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。多元線性回歸模型是 一元線性回歸模型的擴展，其基本原理與一元線性回歸模型類似，只是在計算上為復(fù)雜需 借助計算機來完成。計算公式如下：設(shè)隨機 y 與一般變量 x1,x2,L xk的線性回歸模型為：其中 0, 1,L k 是k 1個未知參數(shù)， 0稱為回歸常數(shù)， 1,L k稱為回歸系數(shù)； y稱為被解釋變量； x1, x2,L xk是 k個可以精確可控制的一般變量，稱為解釋變量。當 p 1時，上式即為一元線性回歸模型， k 2 時，上式就叫做多元形多元回歸模型。 是隨

2、機誤差，與一元線性回歸一樣，通常假設(shè)同樣，多元線性總體回歸方程為 y 01x12x2 Lk xk系數(shù) 1 表示在其他自變量不變的情況下，自變量 x1變動到一個單位時引起的因變量 y 的平均單位。其他回歸系數(shù)的含義相似，從集合意義上來說，多元回歸是多維空間上的一 個平面。多元線性樣本回歸方程為： y? ? ?x ?x L ? x0 1 1 2 2 k k多元線性回歸方程中回歸系數(shù)的估計同樣可以采用最小二乘法。由殘差平方和 :SSE (y y?) 0根據(jù)微積分中求極小值得原理， 可知殘差平方和 SSE存在極小值。欲使 SSE達到最小，SSE對 0, 1,L k 的偏導(dǎo)數(shù)必須為零。將SSE對 0,

3、1,L k求偏導(dǎo)數(shù)，并令其等于零， 加以整理后可得到 k 1各方程式： SSE2 ( y y?) 0i通過求解這一方程組便可分別得到 0, 1,L k 的估計值 ?0， ?1 ，··· ?k 回歸系數(shù) 的估計值，當自變量個數(shù)較多時，計算十分復(fù)雜，必須依靠計算機獨立完成。現(xiàn)在，利用 SPSS，只要將數(shù)據(jù)輸入，并指定因變量和相應(yīng)的自變量，立刻就能得到結(jié)果。對多元線性回歸，也需要測定方程的擬合程度、檢驗回歸方程和回歸系數(shù)的顯著性。測定多元線性回歸的擬合度程度，與一元線性回歸中的判定系數(shù)類似，使用多重判定 系數(shù)，其中定義為：式中， SSR為回歸平方和， SSE為殘差平方和

4、， SST為總離差平方和。同一元線性回歸相類似， 0 R2 1，R2 越接近 1，回歸平面擬合程度越高，反之， R2 越接近 0，擬合程度越低。 R2的平方根成為負相關(guān)系數(shù) (R) ，也成為多重相關(guān)系數(shù)。它表 示因變量 y 與所有自變量全體之間線性相關(guān)程度，實際反映的是樣本數(shù)據(jù)與預(yù)測數(shù)據(jù)間的 相關(guān)程度。判定系數(shù) R2的大小受到自變量 x的個數(shù)k的影響。在實際回歸分析中可以看到， 隨著自變量 x個數(shù)的增加，回歸平方和 (SSR) 增大，是 R2增大。由于增加自變量個數(shù)引起 的 R2 增大與你和好壞無關(guān)， 因此在自變量個數(shù) k 不同的回歸方程之間比較擬合程度時， R2 不是一個合適的指標，必須加以修正或調(diào)整。調(diào)整方法為：把殘差平方和與總離差平方和紙幣的分子分母分別除以各自的自由度， 變成均方差之比，以剔除自變量個數(shù)對擬合優(yōu)度的影響。調(diào)整的R2 為：2由上時可以看出， R 考慮的是平均的殘差平方和，而不是殘差平方和，因此，一般在2線性回歸分析中， R 越大越好。從 F 統(tǒng)計量看也可以反映出回歸方程的擬合程度。 將 F 統(tǒng)計量的公