(完整版)多元線性回歸模型原理

1、+ b x + b x +l + b x= b研究在線性關(guān)系相關(guān)性條件下，兩個(gè)或者兩個(gè)以上自變量對(duì)一個(gè)因變量，為多元線 性回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。多元線性回歸模 型是一元線性回歸模型的擴(kuò)展，其基本原理與一元線性回歸模型類似，只是在計(jì)算上為 復(fù)雜需借助計(jì)算機(jī)來(lái)完成。計(jì)算公式如下：設(shè)隨機(jī) y 與一般變量x1, x , l x 2 k的線性回歸模型為：y = b + b x + b x + b x +e 0 1 1 2 2 k k其中 b ,0b , l b 是 k +1 個(gè)未知參數(shù)，b 1 k0稱為回歸常數(shù)， b , l b 稱為回歸系數(shù)；1 ky稱為被解釋變量

2、； x , x , l x1 2k是 k 個(gè)可以精確可控制的一般變量，稱為解釋變量。當(dāng) p =1時(shí)，上式即為一元線性回歸模型， k 2 時(shí)，上式就叫做多元形多元回歸模型。 e是隨機(jī)誤差，與一元線性回歸一樣，通常假設(shè)e ( e)=0 var(e)=s2同樣，多元線性總體回歸方程為 y = b0+ b x + b x +l + b x 1 1 2 2 k k系數(shù)b1表示在其他自變量不變的情況下，自變量 x 變動(dòng)到一個(gè)單位時(shí)引起的因變1量 y 的平均單位。其他回歸系數(shù)的含義相似，從集合意義上來(lái)說(shuō)，多元回歸是多維空間 上的一個(gè)平面。多元線性樣本回歸方程為： y 0 1 1 2 2 k k多元線性回歸方

3、程中回歸系數(shù)的估計(jì)同樣可以采用最小二乘法。由殘差平方和 :sse = ( y -y) =0根據(jù)微積分中求極小值得原理，可知?dú)埐钇椒胶?sse存在極小值。欲使 sse達(dá)到最小， sse 對(duì) b ,0b , l b1k的偏導(dǎo)數(shù)必須為零。將 sse對(duì)b ,0b , l b1k求偏導(dǎo)數(shù)，并令其等于零，加以整理后可得到k +1各方程sse式： = -2 bi( y -y) = 0sseb0= -2( y -y)xi= 0 222通過(guò)求解這一方程組便可分別得到b ,0b , l b 的估計(jì)值 b ， b ， b 1 k 0 1 k回歸系數(shù)的估計(jì)值，當(dāng)自變量個(gè)數(shù)較多時(shí)，計(jì)算十分復(fù)雜，必須依靠計(jì)算機(jī)獨(dú)立完成。

4、現(xiàn)在， 利用 spss ，只要將數(shù)據(jù)輸入，并指定因變量和相應(yīng)的自變量，立刻就能得到結(jié)果。對(duì)多元線性回歸，也需要測(cè)定方程的擬合程度、檢驗(yàn)回歸方程和回歸系數(shù)的顯著性。 測(cè)定多元線性回歸的擬合度程度，與一元線性回歸中的判定系數(shù)類似，使用多重判定系數(shù)，其中定義為：r2ssr sse ( y -y ) = =1 - =1 -sst sst ( y -y )22式中， ssr 為回歸平方和， sse 為殘差平方和， sst 為總離差平方和。同一元線性回歸相類似， 0 r 2 1 ， r 2 越接近 1，回歸平面擬合程度越高，反之，r2越接近 0，擬合程度越低。 r2的平方根成為負(fù)相關(guān)系數(shù) ( r ) ，也

5、成為多重相關(guān)系數(shù)。它表示因變量 y 與所有自變量全體之間線性相關(guān)程度，實(shí)際反映的是樣本數(shù)據(jù)與預(yù)測(cè)數(shù) 據(jù)間的相關(guān)程度。判定系數(shù) r 2 的大小受到自變量 x 的個(gè)數(shù) k 的影響。在實(shí)際回歸分析中可以看到，隨著自變量 x 個(gè)數(shù)的增加，回歸平方和 ( ssr ) 增大，是 r2增大。由于增加自變量個(gè)數(shù)引起的 r 2 增大與你和好壞無(wú)關(guān)，因此在自變量個(gè)數(shù) k 不同的回歸方程之間比較 擬合程度時(shí)， r 2 不是一個(gè)合適的指標(biāo)，必須加以修正或調(diào)整。調(diào)整方法為：把殘差平方和與總離差平方和紙幣的分子分母分別除以各自的自由 度，變成均方差之比，以剔除自變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。調(diào)整的 r 2 為：r =1 -sse / ( n -k -1) sse n -1 n -1=1 - =1 -(1-r 2 )sst / ( n -1) sst n -k -1 n -k -1由上時(shí)可以看出， r 考慮的是平均的殘差平方和，而不是殘差平方和，因此，一 般在線性回歸分析中， r 越大越好。從 f 統(tǒng)計(jì)量看也可以反映出回歸方程的擬合程度。將 f 統(tǒng)計(jì)量的公式與 r 作一結(jié)合轉(zhuǎn)換