多元回歸分析法的介紹及具體應(yīng)用

1、多元回歸分析法的介紹及具體應(yīng)用在數(shù)量分析中，經(jīng)常會看到變量與變量之間存在著一定的聯(lián)系。要了解變量之間如何發(fā)生相互影響的，就需要利用相關(guān)分析和回歸分析?；貧w分析的主要類型：一元線性回歸分析、多元線性回歸分析、非線性回歸分析、曲線估計(jì)、時(shí)間序列的曲線估計(jì)、含虛擬自變量的回歸分析以及邏輯回歸分析等。這里主要講的是多元線性回歸分析法。1. 多元線性回歸的定義說到多元線性回歸分析前，首先介紹下醫(yī)院回歸線性分析，一元線性回歸分析是在排除其他影響因素或假定其他影響因素確定的條件下，分析某一個(gè)因素（自變量）是如何影響另一事物（因變量）的過程，所進(jìn)行的分析是比較理想化的。其實(shí)，在現(xiàn)實(shí)社會生活中，任何一個(gè)事物（因

2、變量）總是受到其他多種事物（多個(gè)自變量）的影響。一元線性回歸分析討論的回歸問題只涉及了一個(gè)自變量，但在實(shí)際問題中，影響因變量的因素往往有多個(gè)。例如，商品的需求除了受自身價(jià)格的影響外，還要受到消費(fèi)者收入、其他商品的價(jià)格、消費(fèi)者偏好等因素的影響；影響水果產(chǎn)量的外界因素有平均氣溫、平均日照時(shí)數(shù)、平均濕度等。因此，在許多場合，僅僅考慮單個(gè)變量是不夠的，還需要就一個(gè)因變量與多個(gè)自變量的聯(lián)系來進(jìn)行考察，才能獲得比較滿意的結(jié)果。這就產(chǎn)生了測定多因素之間相關(guān)關(guān)系的問題。研究在線性相關(guān)條件下，兩個(gè)或兩個(gè)以上自變量對一個(gè)因變量的數(shù)量變化關(guān)系，稱為多元線性回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。

3、多元線性回歸模型是一元線性回歸模型的擴(kuò)展，其基本原理與一元線性回歸模型類似，只是在計(jì)算上更為復(fù)雜，一般需借助計(jì)算機(jī)來完成。2. 多元回歸線性分析的運(yùn)用具體地說，多元線性回歸分析主要解決以下幾方面的問題。（1）、確定幾個(gè)特定的變量之間是否存在相關(guān)關(guān)系，如果存在的話，找出它們之間合適的數(shù)學(xué)表達(dá)式；（2）、根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測或控制另一個(gè)變量的取值，并且可以知道這種預(yù)測或控制能達(dá)到什么樣的精確度；（3）、進(jìn)行因素分析。例如在對于共同影響一個(gè)變量的許多變量（因素）之間，找出哪些是重要因素，哪些是次要因素，這些因素之間又有什么關(guān)系等等。3. 多元線性回歸分析3.1多元線性回歸分析的原理回歸分析是

4、一種處理變量的統(tǒng)計(jì)相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。回歸分析的基本思想是： 雖然自變量和因變量之間沒有嚴(yán)格的、確定性的函數(shù)關(guān)系，但可以設(shè)法找出最能代表它們之間關(guān)系的數(shù)學(xué)表達(dá)形式。3.2多元線性回歸模型及其矩陣表示設(shè)是一個(gè)可觀測的隨機(jī)變量，它受到個(gè)非隨機(jī)因索,和隨機(jī)因素的影響，若與,有如下線性關(guān)系： （1.1）其中,是個(gè)未知參數(shù)，是不可測的隨機(jī)誤差，且通常假定.我們稱式（1.1）為多元線性回歸模型.稱為被解釋變量（因變量），為解釋變量（自變量）.稱 （1.2）為理論回歸方程.對于一個(gè)實(shí)際問題，要建立多元回歸方程，首先要估計(jì)出未知參數(shù),，,為此我們要進(jìn)行 次獨(dú)立觀測，得到組樣本數(shù)據(jù)，他們滿足式（1.1）

5、，即有 （1.3）其中相互獨(dú)立且都服從.式（1.3）又可表示成矩陣形式： （1.4）這里，為階單位矩陣.階矩陣稱為資料矩陣或設(shè)計(jì)矩陣，并假設(shè)它是列滿秩的，即.由模型（1.3）以及多元正態(tài)分布的性質(zhì)可知，仍服從維正態(tài)分布，它的期望向量為，方差和協(xié)方差陣為，即. 3.3參數(shù)的最小二乘估計(jì)及其表示1. 參數(shù)的最小二乘估計(jì)與一元線性回歸時(shí)的一樣，多元線性回歸方程中的未知參數(shù)仍然可用最小二乘法來估計(jì)，即我們選擇使誤差平方和達(dá)到最小.由于是關(guān)于的非負(fù)二次函數(shù)，因而必定存在最小值，利用微積分的極值求法，得這里是的最小二乘估計(jì).上述對求偏導(dǎo)，求得正規(guī)方程組的過程可用矩陣代數(shù)運(yùn)算進(jìn)行，得到正規(guī)方程組的矩陣表示：

6、移項(xiàng)得（.）稱此方程組為正規(guī)方程組依據(jù)假定，所以故存在解正規(guī)方程組（.）得（.）稱為經(jīng)驗(yàn)回歸方程2誤差方差的估計(jì)將自變量的各組觀測值代入回歸方程，可得因變量的估計(jì)量（擬合值）為向量稱為殘差向量，其中為階對稱冪等矩陣，為階單位陣稱數(shù)為殘差平方和（rror Sum of Squares,簡寫為SSE）由于且，則從而為的一個(gè)無偏估計(jì)3.4 逐步回歸 當(dāng)自變量的個(gè)數(shù)不多時(shí)，利用某種準(zhǔn)則，從所有可能的回歸模型中尋找最優(yōu)回歸方程是可行的.但若自變量的數(shù)目較多時(shí)，求出所有的回歸方程式很不容易的.為此，人們提出了一些較為簡便實(shí)用的快速選擇最優(yōu)方程的方法，我們先根據(jù)“前進(jìn)法”和“后退法”的思想，再詳細(xì)介紹“逐步

7、回歸法”。1.前進(jìn)法和后退法前進(jìn)法：設(shè)所考慮的回歸問題中，對因變量有影響的自變共有個(gè)，首先將這個(gè)自變量分別與建立個(gè)一元線性回歸方程，并分別計(jì)算出這個(gè)一元回歸方程的偏檢驗(yàn)值，記為，若其中偏值最大者（為方便敘述起見，不妨設(shè)為）所對應(yīng)的一元線性回歸方程都不能通過顯著性檢驗(yàn)，則可以認(rèn)為這些自變量不能與建立線性回歸方程；若該一元方程通過了顯著性檢驗(yàn)，則首先將變量引入回歸方程；接下來由與以及其他自變量建立個(gè)二元線性回歸方程對這個(gè)二元回歸方程中的的回歸系數(shù)做偏檢驗(yàn)，檢驗(yàn)值記為，若其中最大者（不妨設(shè)為）通過了顯著性檢驗(yàn)，則又將變量引入回歸方程，依此方法繼續(xù)下去，直到所有未被引入方程的自變量的偏值都小于顯著性檢

8、驗(yàn)的臨界值，即再也沒有自變量能夠引入 回歸方程為止.得到的回歸方程就是最終確定的方程.后退法：首先用個(gè)自變量與建立一個(gè)回歸方程，然后在這個(gè)方程中剔除一個(gè)最不重要的自變量，接著又利用剩下的個(gè)自變量與建立線性回歸方程，再剔除一個(gè)最不重要的自變量，依次進(jìn)行下去，直到?jīng)]有自變量能夠剔除為止.前進(jìn)法和后退法都有其不足，人們?yōu)榱宋者@兩種方法的優(yōu)點(diǎn)，克服它們的不足，提出了逐步回歸法.2. 逐步回歸法逐步回歸法的基本思想是有進(jìn)有出，具體做法是將變量一個(gè)一個(gè)得引入，引入變量的條件是通過了偏統(tǒng)計(jì)量的檢驗(yàn).同時(shí)，每引入一個(gè)新的變量后，對已入選方程的老變量進(jìn)行檢驗(yàn)，將經(jīng)檢驗(yàn)認(rèn)為不顯著的變量剔除，此過程經(jīng)過若干步，直

9、到既不能引入新變量，又不能剔除老變量為止.設(shè)模型中已有個(gè)自變量，記這個(gè)自變量的集合為，當(dāng)不在中的一個(gè)自變量加入到這個(gè)模型中時(shí)，偏統(tǒng)計(jì)量的一般形式為 （2.1）如下逐步回歸法的具體步驟：首先，根據(jù)一定顯著水平，給出偏 統(tǒng)計(jì)量的兩個(gè)臨界值，一個(gè)用作選取自變量，記為；另一個(gè)用作剔除自變量，記為.一般地，取，然后按下列步驟進(jìn)行.第一步：對每個(gè)自變量，擬合個(gè)一元線性回歸模型 (2.2)這時(shí)，相當(dāng)于統(tǒng)計(jì)量（2.1）中集合為空集，因此，故，對每一個(gè)，計(jì)算 （2.3）設(shè)若，則選擇含自變量的回歸模型為當(dāng)前模型，否則，沒有自變量能進(jìn)入模型，選擇過程結(jié)束，即認(rèn)為所有自變量對 的影響均不顯著.第二步：在第一步的選出模

10、型的基礎(chǔ)上，再將其余的個(gè)自變量分別加入到此模型中個(gè)，得到個(gè)二元回歸方程，計(jì)算 （2.4）設(shè)若，則選取過程結(jié)束.第一步選擇的模型為最優(yōu)模型.若，則將自變量選入模型中，即得第二步的模型 （2.5）進(jìn)一步考察，當(dāng)進(jìn)入模型后，對的影響是否仍然顯著.為此計(jì)算 （2.6）若 ，則剔除.這時(shí)僅含有的回歸模型為當(dāng)前模型.第三步：在第二步所選模型的基礎(chǔ)上，在將余下的個(gè)自變量逐個(gè)加入，擬合各個(gè)模型并計(jì)算統(tǒng)計(jì)量值，與比較決定是否有新變量引入，如果有新變量進(jìn)入模型，還需要檢驗(yàn)原模型中的老變量是否因這個(gè)新變量的進(jìn)入而不再顯著，那樣就應(yīng)該被剔除.重復(fù)以上步驟，直到?jīng)]有新的自變量能進(jìn)入模型，同時(shí)在模型之中的老變量都不能剔除

11、，則結(jié)束選擇過程，最后一個(gè)模型即為所求的最優(yōu)回歸模型。4. 多元線性回歸分析實(shí)現(xiàn)過程多元線性回歸分析實(shí)現(xiàn)過程如下圖：建立模型模型總結(jié)參數(shù)估計(jì)方差分析模型預(yù)測模型檢驗(yàn)5. 多元線性回歸分析案例利用多元線性回歸分析研究此后影響中國人口自然增長的主要原因，分析全國人口增長規(guī)律，與猜測中國未來的增長趨勢。為了全面反映中國“人口自然增長率”的全貌，選擇人口自然增長率作為被解釋變量，以反映中國人口的增長；選擇“國名收入”及“人均GDP”作為經(jīng)濟(jì)整體增長的代表；選擇“居民消費(fèi)價(jià)格指數(shù)增長率”作為居民消費(fèi)水平的代表。國名總收入，居民消費(fèi)價(jià)格指數(shù)增長率，人均GDP作為解釋變量暫不考慮文化程度及人口分布的影響。通

12、過對表1的數(shù)據(jù)進(jìn)行分析，建立模型。其模型表達(dá)式為： （i=1，2，,3）其中Y表示人口自然增長率，X1 表示國名總收入，X2表示居民消費(fèi)價(jià)格指數(shù)增長率，X3表示人均GDP，根據(jù)以往經(jīng)驗(yàn)和對調(diào)查資料的初步分析可知，Y與X1，X2 ，X3呈線性關(guān)系，因此建立上述三元線性總體回歸模型。Xi則表示各解釋變量對稅收增長的貢獻(xiàn)。µi表示隨機(jī)誤差項(xiàng)。通過上式，我們可以了解到，每個(gè)解釋變量增長億元，糧食總產(chǎn)值會如何變化，從而進(jìn)行財(cái)政收入預(yù)測。（如下圖表1）年份人口自然增長率（%。)Y國民總收入（億元）X1居民消費(fèi)價(jià)格指數(shù)增長率（CPI）%X2人均GDP（元）X3198815.731503718.81

13、366198915.0417001181519199014.39187183.11644199112.98218263.41893199211.6269376.42311199311.453526014.72998199411.21481082455598111742701428.35846199710.06780612.8642019989.1483024-0.8679619998.1888479-1.4715920007.58980000.4785820016.951080680.7862220026.45119096-0.8939820036.011351741.21054220045.871595873.91233620055.891840891.81404020065.382131321.51602420075.242353671.71753520085.452776541.919264利用上表中的數(shù)據(jù)，運(yùn)用eview軟件，采用最小二乘法，對表中的數(shù)據(jù)進(jìn)行線性回歸，對所建模型進(jìn)行估計(jì)從估計(jì)結(jié)果可得模型：從Y關(guān)于X1 X2