多元線性回歸

多元線性回歸能用office07發(fā)布簡直是太好了，這下子省了很多事。1、多元線性回歸模型假定被解釋變量與多個解釋變量之間具有線性關(guān)系，是解釋變量的多元線性函數(shù)，稱為多元線性回歸模型。即(1.1)其中為被解釋變量，為個解釋變量，為個未知參數(shù)，為隨機(jī)誤差項(xiàng)。被解釋變量的期望值與解釋變量的線性方程為：(1.2)稱為多元總體線性回歸方程，簡稱總體回歸方程。對于組觀測值，其方程組形式為：(1.3)即其矩陣形式為=+即(1.4)其中為被解釋變量的觀測值向量；為解釋變量的觀測值矩陣；為總體回歸參數(shù)向量；為隨機(jī)誤差項(xiàng)向量?？傮w回歸方程表示為：(1.5)多元線性回歸模型包含多個解釋變量，多個解釋變量同時對被解釋變量發(fā)生作用，假設(shè)要考察其中一個解釋變量對的影響就必須假設(shè)其它解釋變量保持不變來進(jìn)行分析。因此多元線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)，即反映了當(dāng)模型中的其它變量不變時，其中一個解釋變量對因變量的均值的影響。由于參數(shù)都是未知的,可以利用樣本觀測值對它們進(jìn)行估計。假設(shè)計算得到的參數(shù)估計值為，用參數(shù)估計值替代總體回歸函數(shù)的未知參數(shù)，那么得多元線性樣本回歸方程：(1.6)其中為參數(shù)估計值，為的樣本回歸值或樣本擬合值、樣本估計值。其矩陣表達(dá)形式為:(1.7)其中為被解釋變量樣本觀測值向量的階擬合值列向量；為解釋變量的階樣本觀測矩陣；為未知參數(shù)向量的階估計值列向量。樣本回歸方程得到的被解釋變量估計值與實(shí)際觀測值之間的偏差稱為殘差。(1.8)2、多元線性回歸模型的假定與一元線性回歸模型相同，多元線性回歸模型利用普通最小二乘法(OLS)對參數(shù)進(jìn)行估計時，有如下假定：假定1零均值假定：，即(2.1)假定2同方差假定(的方差為同一常數(shù))：〔2.2〕假定3無自相關(guān)性：(2.3)假定4隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)(這個假定自動成立)：〔2.4〕假定5隨機(jī)誤差項(xiàng)服從均值為零，方差為的正態(tài)分布：〔2.5〕假定6解釋變量之間不存在多重共線性：即各解釋變量的樣本觀測值之間線性無關(guān)，解釋變量的樣本觀測值矩陣的秩為參數(shù)個數(shù)k+1，從而保證參數(shù)的估計值唯一。3、多元線性回歸模型的參數(shù)估計3.1回歸參數(shù)的最小二乘估計對于含有個解釋變量的多元線性回歸模型設(shè)分別作為參數(shù)的估計量，得樣本回歸方程為：觀測值與回歸值的殘差為：由最小二乘法可知應(yīng)使全部觀測值與回歸值的殘差的平方和最小，即使(3.1)取得最小值。根據(jù)多元函數(shù)的極值原理，分別對求一階偏導(dǎo)，并令其等于零，即(3.2)即化簡得以下方程組(3.3)上述個方程稱為正規(guī)方程，其矩陣形式為(3.4)因?yàn)樵O(shè)為估計值向量樣本回歸模型兩邊同乘樣本觀測值矩陣的轉(zhuǎn)置矩陣，那么有得正規(guī)方程組：(3.5)由假定(6)，，為階方陣，所以滿秩，的逆矩陣存在。因而(3.6)那么為向量的OLS估計量。以二元線性回歸模型為例，導(dǎo)出二元線性回歸模型的OLS估計量的表達(dá)式。由(1.3)式得二元線性回歸模型為為了計算的方便，先將模型中心化。設(shè)，那么二元回歸模型改寫為中心化模型。(3.7)記(3.8)將代入得(3.9)因?yàn)?3.10)那么由(3.6)式得(3.11)其中由(3.11)式可知得(3.12)(3.13)(3.14)3.2隨機(jī)誤差項(xiàng)的方差的估計量樣本回歸方程得到的被解釋變量估計值與實(shí)際觀測值之間的偏差稱為殘差那么設(shè)，可以得出是階對稱冪等矩陣，，。于是而殘差的平方和為其中""表示矩陣的跡，即矩陣主對角線元素的和。于是隨機(jī)誤差項(xiàng)的方差的無偏估計量，記作，即，，為殘差的標(biāo)準(zhǔn)差(或回歸標(biāo)準(zhǔn)差)。因此(3.15)其中(3.16)例如,對于二元線性回歸模型()(3.17)(3.18)3.3、估計參數(shù)的統(tǒng)計性質(zhì)1、線性性指最小二乘估計量是被解釋變量的觀測值的線性函數(shù)。由于設(shè)，那么矩陣為一非隨機(jī)的階常數(shù)矩陣。所以(3.19)顯然最小二乘估計量是被解釋變量的觀測值的線性函數(shù)。2、無偏性將代入(3-16)式得(3.20)那么所以是的無偏估計量。3.最小方差性設(shè)為階數(shù)值矩陣，為階隨機(jī)矩陣(隨機(jī)變量為元素的矩陣)，為階數(shù)值矩陣，那么下面推導(dǎo)的方差、協(xié)方差矩陣。定義：由(3.20)式得所以(3.21)這個矩陣主對角線上的元素表示的方差，非主對角線上的元素表示的協(xié)方差。例如是位于的第行與第列交叉處的元素(主對角線上的元素)；是位于的第行與第列交叉處的元素(非主對角線上的元素)在應(yīng)用上，我們關(guān)心的的方差，而忽略協(xié)方差，因此把(3.21)式記作(3.22)記，那么，所以是的最小方差線性無偏估計。這說明，在(1.1)式系數(shù)的無偏估計量中，OLS估計量的方差比用其它估計方法所得的無偏估計量的方差都要小，這正是OLS的優(yōu)越性所在。用代替那么得的標(biāo)準(zhǔn)估計量的估計值，乃稱為標(biāo)準(zhǔn)差。(3.23)其中對于二元回歸模型()，求估計量的方差，由(3.22)式得其中于是所以(3.24)(3.25)(3.26)(3.27)其中4.顯著性檢驗(yàn)4.1擬合優(yōu)度檢驗(yàn)總離差平方和分解設(shè)具有個解釋變量的回歸模型為其回歸方程為離差分解：總離差平方和分解式為：(4.1)即(4.2)總離差平方和分解為回歸平方和與殘差平方和兩局部。表達(dá)了觀測值總波動大小，稱為總偏差平方和，記作TSS.表達(dá)了n個估計值的波動大小，它是由于Y與自變量的變化而引起，被稱作為回歸平方和，記為ESS〔ExplainedSumofSquares〕或U；稱為殘差平方和，記為RSS〔ResidualSumofSquares〕或Q.樣本決定系數(shù)對于多元回歸方程，其樣本決定系數(shù)為復(fù)決定系數(shù)或多重決定系數(shù)。，簡記為。(4.3)根據(jù)式(4.2)(4.4)因?yàn)橛?3.16)式知所以(4.5)作為檢驗(yàn)回歸方程與樣本值擬合優(yōu)度的指標(biāo)：越大，表示回歸方程與樣本擬合的越好；反之，回歸方程與樣本值擬合較差。具體的，當(dāng)時,求樣本決定系數(shù)由(3.8)式，得，因此有(4.6)調(diào)整后的樣本決定系數(shù)在使用時，容易發(fā)現(xiàn)的大小與模型中的解釋變量的數(shù)目有關(guān)。如果模型中增加一個新解釋變量，總離差不會改變，但總離差中由解釋變量解釋的局部，即回歸平方和將會增加，這就是說與模型中解釋變量個數(shù)有關(guān)。但通過增加模型中解釋變量的數(shù)目而使增大是錯誤的，顯然這樣來檢驗(yàn)被回歸方程與樣本值擬合優(yōu)度是不適宜的，需要對進(jìn)行調(diào)整，使它不但能說明已被解釋離差與總離差的關(guān)系，而且又能說明自由度的數(shù)目。以表示調(diào)整樣本決定系數(shù)，(4.7)其中這里是殘差平方和的自由度，是總離差平方和的自由度。由(4.7)式得其中,是樣本觀測值的個數(shù),是解釋變量的個數(shù)。從式中可以看出，當(dāng)增加一個解釋變量時，由前面分析可知會增加，引起減少，而增加，因而不會增加。這樣用判定回歸方程擬合優(yōu)度，就消除了對解釋變量個數(shù)的依賴。或只能說明在給定的樣本條件下回歸方程與樣本觀測值擬合優(yōu)度，并不能做出對總體模型的推測，因此不能單憑或來選擇模型，必須對回歸方程和模型中各參數(shù)的估計量做顯著性檢驗(yàn)。4.2方程顯著性檢驗(yàn)由離差平方和分解(4.2)式可知，總離差平方和的自由度為，回歸平方和是由個解釋變量對的線性影響決定的。因此它的自由度為。所以，殘差平方和的自由度由總離差平方和的自由度減去回歸平方和的自由度，即為。檢驗(yàn)回歸方程是否顯著，第一步，作出假設(shè)備擇假設(shè)H1：b1、b2、…、bk不同時為0第二步，在成立的條件下，計算統(tǒng)計量第三步，查表臨界值對于假設(shè)，根據(jù)樣本觀測值計算統(tǒng)計量給定顯著水平，查第一個自由度為，第二個自由度為的分布表得臨界值。當(dāng)時，拒絕，那么認(rèn)為回歸方程顯著成立；當(dāng)時，接受，那么認(rèn)為回歸方程無顯著意義。4.3參數(shù)顯著性檢驗(yàn)回歸方程顯著成立，并不意味著每個解釋變量對被解釋變量的影響都是重要的。如果某個解釋變量對被解釋變量的影響不重要，即可從回歸模型中把它剔除掉，重新建立回歸方程，以利于對經(jīng)濟(jì)問題的分析和對進(jìn)行更準(zhǔn)確的預(yù)測。為此需要對每個變量進(jìn)行考查，如果某個解釋變量對被解釋變量的作用不顯著，那么它在多元線性回歸模型中，其前面的系數(shù)可取值為零。因此必須對是否為零進(jìn)行顯著性檢驗(yàn)。由(3.23)式(4.8)其中為的第i個對角元素，而，是中心化的數(shù)據(jù)陣。對回歸系數(shù)進(jìn)行顯著性檢驗(yàn)，步驟如下：(1)提出原假設(shè)；備擇假設(shè)。(2)構(gòu)造統(tǒng)計量，當(dāng)成立時,統(tǒng)計量。這里是的標(biāo)準(zhǔn)差，為解釋變量個數(shù)，計算由式(4.8)給出。(3)給定顯著性水平，查自由度為的分布表，得臨界值。(4)假設(shè)，那么拒絕，接受，即認(rèn)為顯著不為零。假設(shè)，那么接受，即認(rèn)為顯著為零。5.回歸變量的選擇與逐步回歸5.1變量選擇問題在實(shí)際問題中，影響因變量Y的因素〔自變量〕很多，人們希望從中挑選出影響顯著的自變量來建立回歸關(guān)系式，這就涉及到自變量選擇的問題。在回歸方程中假設(shè)漏掉對Y影響顯著的自變量，那么建立的回歸式用于預(yù)測時將會產(chǎn)生較大的偏差。但回歸式假設(shè)包含的變量太多，且其中有些對Y影響不大，顯然這樣的回歸式不僅使用不方便，而且反而會影響預(yù)測的精度。因而選擇適宜的變量用于建立一個"最優(yōu)"的回歸方程是十分重要的問題。選擇"最優(yōu)"子集的變量篩選法包括逐步回歸法(Stepwise),向前引入法〔Forward〕和向后剔除法(Backwad)。向前引入法是從回歸方程僅包括常數(shù)項(xiàng)開始，把自變量逐個引入回歸方程。具體地說，先在m個自變量中選擇一個與因變量線性關(guān)系最密切的變量，記為，然后在剩余的m-1個自變量中，再選一個，使得聯(lián)合起來二元回歸效果最好，第三步在剩下的m-2個自變量中選擇一個變量，使得聯(lián)合起來回歸效果最好，...如此下去，直至得到"最優(yōu)"回歸方程為止。向前引入法中的終止條件為，給定顯著性水平，當(dāng)某一個對將被引入變量的回歸系數(shù)作顯著性檢查時，假設(shè)p-value，那么引入變量的過程結(jié)束，所得方程即為"最優(yōu)"回歸方程。向前引入法有一個明顯的缺點(diǎn)，就是由于各自變量可能存在著相互關(guān)系，因此后續(xù)變量的選入可能會使前面已選入的自變量變得不重要。這樣最后得到的"最優(yōu)"回歸方程可包含一些對Y影響不大的自變量。向后剔除法與向前引入法正好相反，首先將全部m個自變量引入回歸方程，然后逐個剔除對因變量Y作用不顯著的自變量。具體地說，從回歸式m個自變量中選擇一個對Y奉獻(xiàn)最小的自變量，比方，將它從回歸方程中剔除；然后重新計算Y與剩下的m-1個自變量回歸方程，再剔除一個奉獻(xiàn)最小的自變量，比方,依次下去，直到得到"最優(yōu)"回歸方程為止。向后剔除法中終止條件與向前引入法類似。向后剔除法的缺點(diǎn)在于，前面剔除的變量有可能因以后變量的剔除，變?yōu)橄鄬χ匾淖兞?，這樣最后得到的"最優(yōu)"回歸方程中有可能漏掉相對重要的變量。逐步回歸法是上述兩個方法的綜合。向前引入中被選入的變量，將一直保存在方程中。向后剔除法中被剔除的變量，將一直排除在外。這兩種方程在某些情況下會得到不合理的結(jié)果。于是，可以考慮到，被選入的的變量，當(dāng)它的作用在新變量引入后變得微缺乏道時，可以將它刪除；被剔除的變量，當(dāng)它的作用在新變量引入情況下變得重要時，也可將它重新選入回歸方程。這樣一種以向前引入法為主，變量可進(jìn)可出的篩選變量方法，稱為逐步回歸法。5.2逐步回歸分析根本思想逐個引入自變量。每次引入對Ｙ影響最顯著的自變量，并對方程中的老變量逐個進(jìn)行檢驗(yàn)，把變?yōu)椴伙@著的變量逐個從方程中剔除掉，最終得到的方程中既不漏掉對Ｙ影響顯著的變量，又不包含對Ｙ影響不顯著的變量。篩選的步驟首先給出引入變量的顯著性水平和剔除變量的顯著性水平，然后按以下圖篩選變量。逐步篩選法的根本步驟逐步篩選變量的過程主要包括兩個根本步驟：一是從回歸方程中考慮剔除不顯著變量的步驟；二是從不在方程中的變量考慮引入新變量的步驟?！?〕考慮可否引入新變量的根本步驟。假設(shè)已入選r個變量，不在方程中的變量記為計算不在方程中的變量的偏回歸平方和：，Ｑ表示括號中這些變量的回歸模型的殘差平方和。并設(shè)，即不在方程中的變量是對Ｙ影響最大的變量。檢驗(yàn)變量對Ｙ的影響是否顯著。對變量作回歸系數(shù)的顯著性檢驗(yàn)，即檢驗(yàn)，檢驗(yàn)統(tǒng)計量為及，其中Ｆ~Ｆ(1,n-r-1〕.假設(shè)p<,那么引入,并轉(zhuǎn)入考慮可否剔除變量的步驟。假設(shè),那么逐步篩選變量的過程結(jié)束。〔2〕考慮可否剔除變量的根本步驟。假設(shè)已引入回歸方程的變量為.計算