《多重共線性》PPT課件.ppt

第6章 多重共線性,Multi-Collinearity,一、多重共線性的概念 二、多重共線性的原因 三、多重共線性的后果 四、多重共線性的檢驗(yàn) 五、多重共線性的解決辦法 六、案例,第6章 多重共線性,一、多重共線性的概念,對(duì)于多元線性回歸模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n 其基本假設(shè)之一是解釋變量是互相獨(dú)立的。,如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則稱為多重共線性(Multicollinearity)。 這里，“共線性”表示存在著線性相關(guān)關(guān)系，“多重”意味著相關(guān)關(guān)系有多個(gè)組合。,也就是說，如果存在 1X1i+2X2i+kXki=0 i=1,2,n 其中: i不全為0，則稱為解釋變量間存在完全共線性（perfect multicollinearity）即某一個(gè)解釋變量可以用其他解釋變量的線性組合表示。,如果存在 1X1i+2X2i+kXki+vi=0 i=1,2,n 其中i不全為0，vi為隨機(jī)誤差項(xiàng)，則稱為 近似共線性（approximate multicollinearity）或不完全共線性。,在矩陣表示的線性回歸模型 Y=X+ 中，完全共線性指：秩(X)k+1，即,中，至少有一列向量可由其他列向量（不包括第一列）線性表出。,如：X2= X1，則X2對(duì)Y的作用可由X1代替。,，解釋變量間毫無線性關(guān)系，變量間相互正交。這時(shí)已不需要作多元回歸，每個(gè)參數(shù)j都可以通過Y 對(duì) Xj 的一元回歸來估計(jì)。,回歸模型中解釋變量的關(guān)系,由于存在隨機(jī)變量，完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性。這時(shí)，列向量不是完全線性相關(guān)的，而是近似線性相關(guān)的。,需要指出的是，多重共線性是指解釋變量之間的線性關(guān)系，并不是指它們之間的非線性關(guān)系。例如，對(duì)于下述回歸模型：,該模型僅是非線性關(guān)系，并不違反無多重共線性假定。,注意：,二、多重共線性產(chǎn)生的原因,一般地，產(chǎn)生多重共線性的主要原因有以下四個(gè)方面： 1 經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì) 時(shí)間序列樣本：經(jīng)濟(jì)繁榮時(shí)期，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價(jià)格）都趨于增長(zhǎng)；衰退時(shí)期，又同時(shí)趨于下降。 橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動(dòng)力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。,2 經(jīng)濟(jì)變量之間的內(nèi)在聯(lián)系,在經(jīng)濟(jì)計(jì)量模型中，引入的經(jīng)濟(jì)變量之間存在內(nèi)在聯(lián)系。 例如，農(nóng)業(yè)生產(chǎn)函數(shù)中，影響農(nóng)業(yè)產(chǎn)量Y的因素有耕地面積X1和施肥量X2等因素，其模型可寫為,一般來說，土地面積與施肥量有密切關(guān)系，面積越大，施肥量越多，二者存在著一定的線性依存關(guān)系。,3 滯后變量的引入,在經(jīng)濟(jì)計(jì)量模型中，往往需要引入滯后經(jīng)濟(jì)變量來反映真實(shí)的經(jīng)濟(jì)關(guān)系。 例如，消費(fèi)=f(當(dāng)期收入, 前期收入） 顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。,再如，固定資產(chǎn)存量不僅與本期投資有關(guān)，還與以前有關(guān)。同一變量的前后期值可能高度線性相關(guān)。,4 樣本資料的限制,由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，只能被動(dòng)接受，而且只能獲得一個(gè)有限范圍觀察值，無法進(jìn)行重復(fù)試驗(yàn)，如果解釋變量個(gè)數(shù)大于觀測(cè)次數(shù)，就會(huì)出現(xiàn)過度擬合的模型。特定樣本可能存在某種程度的多重共線性。 如醫(yī)療研究中，可能只有少數(shù)病人，卻要收集大量變量的信息，這些變量之間就會(huì)出現(xiàn)相關(guān)性。 從方程組的角度看，是方程個(gè)數(shù)少于變量的個(gè)數(shù)，則方程組有無數(shù)組解，其中部分解可以用其他解線性表示，即變量之間存在相關(guān)性。,三、多重共線性的后果,1、完全共線性下參數(shù)估計(jì)量不存在,如果存在完全共線性，則(XX)-1不存在，無法得到參數(shù)的估計(jì)量。,的OLS估計(jì)量為：,如果解釋變量之間是相關(guān)的，當(dāng)一個(gè)發(fā)生變化時(shí)，與其高度相關(guān)的變量的觀測(cè)值也會(huì)以相似的方式變化，這時(shí)參數(shù)的大小就不再具有原來的意義，而且參數(shù)的意義難以解釋。,例如，在農(nóng)業(yè)生產(chǎn)函數(shù)中 如果耕地面積 和施肥量 之間存在完全的共線性，比如 (k為一非零常數(shù))，我們?cè)僖?一個(gè)任意非零常數(shù) ，則 代入 模型中則有 雖然完全等價(jià)，但回歸系數(shù)卻顯然不同 ,說明這時(shí) 參數(shù)值的估計(jì)不唯一確定 . 從經(jīng)濟(jì)意義上講，如果取 ，那么（ ） 0 這表明，隨耕地面積的增加農(nóng)產(chǎn)量將會(huì)減少，這顯然是十分荒謬的結(jié)論。,完全多重共線性的后果,對(duì)于二元線性回歸模 型 其參數(shù)1的OLS估計(jì)式為： 由 得 ,則,完全多重共線性的后果(一般),因此，,2.參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理,如果模型中兩個(gè)解釋變量具有線性相關(guān)性，例如 X2= kX1 ， 這時(shí)，X1和X2前的參數(shù)1、2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對(duì)被解釋變量的共同影響。 1、2已經(jīng)失去了應(yīng)有的偏回歸系數(shù)經(jīng)濟(jì)含義，甚至經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象：例如1本來應(yīng)該是正的，結(jié)果卻是負(fù)的。,3.不完全共線性下OLS估計(jì)量非有效,不完全共線性下，可以得到OLS參數(shù)估計(jì)量。,對(duì)于二元線性回歸模型,可見X1與X2不完全的共線時(shí)，參數(shù)是可以估計(jì)的。,設(shè)X1與X2不完全的共線性關(guān)系為 其中，,則有,代入?yún)?shù)估計(jì)式,得:,3.不完全共線性下OLS估計(jì)量非有效,不完全共線性下，雖然可以得到OLS參數(shù)估計(jì)量， 但參數(shù)估計(jì)量方差的表達(dá)式為,由于|XX|0，引起(XX) -1主對(duì)角線元素較大，使參數(shù)估計(jì)值的方差增大，OLS參數(shù)估計(jì)量非有效。,仍以二元線性模型 Y=0+1X1+2X2+ 為例:,恰為X1與X2的線性相關(guān)系數(shù)的平方r2,由于 r2 1，故 1/(1- r2 )1,其中,多重共線性使參數(shù)估計(jì)值的方差增大，1/(1-r2)為方差膨脹因子(Variance Inflation Factor, VIF)，它表明OLS的估計(jì)量的方差隨著是多重共線性的增加而“膨脹”起來。,當(dāng)完全不共線時(shí), r2 =0,當(dāng)不完全共線時(shí), 0 r2 1,當(dāng)完全共線時(shí)， r2=1，,4、參數(shù)的置信區(qū)間明顯擴(kuò)大,由于存在多重共線性，變大的方差容易使參數(shù)估計(jì)量有較大的標(biāo)準(zhǔn)差，因此參數(shù)真值的置信區(qū)間也將增大。,此置信區(qū)間將隨 的增大而增大。而置信區(qū)間愈大,對(duì)真值的估計(jì)愈不準(zhǔn)確。,5、變量的顯著性檢驗(yàn)失去意義,存在多重共線性時(shí),參數(shù)估計(jì)值的方差與標(biāo)準(zhǔn)差變大,容易使通過樣本計(jì)算的t值小于臨界值， 誤導(dǎo)作出參數(shù)為0的推斷,可能將重要的解釋變量排除在模型之外,6、參數(shù)估計(jì)量及其標(biāo)準(zhǔn)誤差對(duì)于樣本波動(dòng)非常敏感,數(shù)據(jù)即使出現(xiàn)輕微變動(dòng)，它們都將發(fā)生較大變化，使回歸模型缺乏穩(wěn)定性。這可從二元線性回歸模型中看出， 故當(dāng)樣本數(shù)據(jù)的輕微變動(dòng)引起 的輕微變動(dòng)時(shí)， 將會(huì)發(fā)生較大的變動(dòng)，即 將會(huì)發(fā)生較大的變動(dòng)。,注意：,當(dāng)模型存在多重共線性時(shí)，OLS估計(jì)仍然為最佳線性無偏估計(jì)（BLUE）。如果我們的目的僅僅是預(yù)測(cè)的未來值，且預(yù)計(jì)解釋變量之間的多重共線關(guān)系在預(yù)測(cè)期不發(fā)生變化，那么，多重共線性對(duì)Y的預(yù)測(cè)就沒有明顯影響。 問題在于，即使OLS法仍是最好的估計(jì)方法，它卻不是“完美的”，尤其是在統(tǒng)計(jì)推斷上無法給出真正有用的信息。,多重共線性表現(xiàn)為一種樣本現(xiàn)象，即使總體不存在多重共線性，所得樣本也可能出現(xiàn)多重共線性。而且由于抽樣波動(dòng)，對(duì)于同一總體，不同樣本的共線性程度也不相同。因此，對(duì)于多重共線性的檢驗(yàn)，可以直接對(duì)所得樣本進(jìn)行分析做出判斷。,多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以用于多重共線性的檢驗(yàn)方法主要是統(tǒng)計(jì)方法：如簡(jiǎn)單相關(guān)系數(shù)檢驗(yàn)法、判定系數(shù)檢驗(yàn)法、方差擴(kuò)大（膨脹）因子法等。,四、多重共線性的檢驗(yàn),1.簡(jiǎn)單相關(guān)系數(shù)檢驗(yàn)法,含義：簡(jiǎn)單相關(guān)系數(shù)檢驗(yàn)法是利用解釋變量之間的線性相關(guān)程度去判斷是否存在嚴(yán)重多重共線性的一種簡(jiǎn)便方法。 判斷規(guī)則：一般而言，如果每?jī)蓚€(gè)解釋變量的簡(jiǎn)單相關(guān)系數(shù)(零階相關(guān)系數(shù))比較高，例如大于0.8，則可認(rèn)為存在著較嚴(yán)重的多重共線性。,較高的簡(jiǎn)單相關(guān)系數(shù)只是多重共線性存在的充分條件，而不是必要條件。特別是在多于兩個(gè)解釋變量的回歸模型中，有時(shí)較低的簡(jiǎn)單相關(guān)系數(shù)也可能存在多重共線性。因此，并不能簡(jiǎn)單地依據(jù)相關(guān)系數(shù)進(jìn)行多重共線性的準(zhǔn)確判斷。 命令方式COR 各個(gè)解釋變量名 ，得兩兩簡(jiǎn)單相關(guān)系數(shù)矩陣如下,注意：,2.根據(jù)可決系數(shù)R2 、F檢驗(yàn)、t檢驗(yàn)的結(jié)果判斷,經(jīng)驗(yàn)表明，多重共線性存在的一個(gè)標(biāo)志是模型結(jié)果具有較大的標(biāo)準(zhǔn)誤差和較小的t統(tǒng)計(jì)量。如果模型的可決系數(shù) 很大， 檢驗(yàn)高度顯著，但是偏回歸系數(shù)的t檢驗(yàn)幾乎都不顯著（ t檢驗(yàn)值較?。?，則模型很可能存在多重共線性。 因?yàn)橥ㄟ^檢驗(yàn)，雖然各解釋變量對(duì)的聯(lián)合線性影響高度顯著，但每個(gè)解釋變量的單獨(dú)影響卻都不顯著，就無法辨別哪個(gè)解釋變量對(duì)被解釋變量的影響更大。這種矛盾結(jié)果可能是由于 較大引起的，這時(shí)很有可能存在嚴(yán)重的多重共線性。,3、判定系數(shù)檢驗(yàn)法,如果存在多重共線性，需進(jìn)一步確定究竟由哪些變量引起。使模型中每一個(gè)解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，并計(jì)算相應(yīng)的擬合優(yōu)度。 如果某一種回歸 Xji=1X1i+2X2i+kXki 的判定系數(shù) 較大，說明Xj與其他X間存在共線性。（其中 稱為復(fù)相關(guān)系數(shù)）,具體可進(jìn)一步對(duì)上述回歸方程作F檢驗(yàn)：,式中：Rj2為第j個(gè)解釋變量對(duì)其他解釋變量的回 歸方程的決定系數(shù)， 若存在較強(qiáng)的共線性，則Rj2較大且接近于1，這時(shí)（1- Rj2 ）較小，從而Fj的值較大。 因此，給定顯著性水平，計(jì)算F值，并與相應(yīng)的臨界值比較，來判定是否存在相關(guān)性。,構(gòu)造如下F統(tǒng)計(jì)量,在模型中排除某一個(gè)解釋變量Xj，估計(jì)模型； 如果擬合優(yōu)度與包含Xj時(shí)十分接近，則說明Xj與其它解釋變量之間存在共線性。,另一等價(jià)的檢驗(yàn)是:,4、方差擴(kuò)大（膨脹）因子法,經(jīng)驗(yàn)規(guī)則,方差膨脹因子越大，表明解釋變量之間的多重共性越嚴(yán)重。反過來，方差膨脹因子越接近于1，多重共線性越弱，因此，可以用作為衡量多重共線性的一個(gè)指標(biāo)。 經(jīng)驗(yàn)表明，方差膨脹因子VIF 10時(shí)，說明解釋變量與其余解釋變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會(huì)過度地影響最小二乘估計(jì)。,與 等價(jià)的指標(biāo)是“容許度”（Tolerance），其定義為：,另一等價(jià)的檢驗(yàn)是:,顯然，0TOLj1；當(dāng)Xj與其他解釋變量高度相關(guān)時(shí)，TOLj0。因此，一般當(dāng)TOLj0.1時(shí)，認(rèn)為模型存在較嚴(yán)重的多重共線性。,5.條件數(shù)檢驗(yàn),(1)特征值 ：,考察解釋變量的樣本數(shù)據(jù)矩陣,當(dāng)模型存在完全多重共線性時(shí),rank(X)k+1,而當(dāng)模型存在嚴(yán)重的多重共線性時(shí)，,根據(jù)矩陣代數(shù)知識(shí)，,為矩陣 的 個(gè),若,0,特征值，則有：,5.條件數(shù)檢驗(yàn)(特征值),，,，,這表明特征值中至少有一個(gè)近似地等于0。若c是對(duì)應(yīng)于特征值 的單位特征向量，則 ， ， ， 更具體地 這說明矩陣 列向量之間存在多重共線性，并且這些多重共線性關(guān)系的系數(shù)向量就等于接近于0的那個(gè)特征根對(duì)應(yīng)的特征向量。因此，可以利用的特征值來檢驗(yàn)?zāi)Ｐ偷亩嘀毓簿€性,5.條件數(shù)檢驗(yàn),（2）條件指數(shù)（Condition Index） 將 矩陣的每一列 用其模 相除以實(shí)現(xiàn)標(biāo)準(zhǔn)化，然后再求 矩陣的特征值，取其中最大的除以最小的后再求平方根，得到該矩陣的“條件數(shù)”，記為： 通常當(dāng) 大于10或20時(shí)，認(rèn)為存在較明顯的多重共線性。,附：回歸系數(shù)方差分解:,如果V是對(duì)角化 的(K+1) (K+1)對(duì)角矩陣：即 其中 是 的特征值構(gòu)成的對(duì)角矩陣。 從而 兩種理解：如果特征值之和反映對(duì)被解釋變量解釋程度，倒數(shù)之和反映引起估計(jì)量方差的比重。,首先明確建立模型的目的：經(jīng)濟(jì)預(yù)測(cè)、結(jié)構(gòu)分析或政策評(píng)價(jià)。如果建立模型的目的是進(jìn)行預(yù)測(cè)，就可以忽略多重共線性。 1、直接剔除次要或可替代的變量 剔除時(shí)需注意產(chǎn)生新的問題: 當(dāng)模型存在共線性，若將某個(gè)共線性變量去掉，模型的經(jīng)濟(jì)意義不合理； 可能使模型產(chǎn)生異方差性或自相關(guān)性； 若剔除不當(dāng),可能會(huì)產(chǎn)生模型設(shè)定誤差，造成參數(shù)估計(jì)嚴(yán)重有偏,四、多重共線性的解決方法,2、減小參數(shù)估計(jì)量的方差,多重共線性的主要后果是參數(shù)估計(jì)量具有較大的方差，所以， 采取適當(dāng)方法減小參數(shù)估計(jì)量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。 例如： 增加樣本容量，可使參數(shù)估計(jì)量的方差減小，因?yàn)椋?此外，獲取新的樣本，或許有助于消除多重共線性。因?yàn)槎嘀毓簿€性是一個(gè)樣本現(xiàn)象，在包括同樣變量的另一個(gè)樣本中，共線性程度或許會(huì)降低。關(guān)鍵是能否獲得另一個(gè)樣本。, 利用附加信息：“事前信息”也稱“先驗(yàn)信息”，是指根據(jù)經(jīng)濟(jì)理論及實(shí)際的統(tǒng)計(jì)資料所獲得的解釋變量之間的關(guān)系。 例如，消費(fèi)函數(shù)模型為 容易理解，收入 和財(cái)產(chǎn) 之間是高度相關(guān)的， 所以模型存在多重共線性。 如果根據(jù)“事前信息”已經(jīng)知道 大約是 的 1/10，即 利用這一信息，可將模型轉(zhuǎn)化為 若是令 則有 該模型已無多重共線性。,3、間接剔除重要的解釋變量, 利用附加信息 再如：生產(chǎn)函數(shù) ，L與K通常高度相關(guān)，,若已知附加信息： +=1 （規(guī)模報(bào)酬不變）,或,記 y=Y/L , k=K/L 則C-D生產(chǎn)函數(shù)可以表示成: y=Ak，此時(shí)二元模型轉(zhuǎn) 化成一元模型 ，可利用OLS法估計(jì) ，進(jìn)而得到,則,3、間接剔除重要的解釋變量,（2）變換模型的形式,變換模型的函數(shù)形式：如將線性模型轉(zhuǎn)換成雙對(duì)數(shù)模型、半對(duì)數(shù)模型、多項(xiàng)式模型等； 變換模型的變量形式 例如，某種商品的需求函數(shù)為： 如果只要求知道兩種商品的相對(duì)價(jià)格（ ）變動(dòng)對(duì)需求量的影響，并不一定要求分析商品價(jià)格的絕對(duì)變動(dòng)對(duì)需求量的影響，則可把需求函數(shù)變換為： 改變變量的統(tǒng)計(jì)指標(biāo) 例如：消費(fèi)函數(shù)： 可變換為 與 的相關(guān)程度遠(yuǎn)小于 與 的相關(guān)程度。,(3) 綜合使用時(shí)序數(shù)據(jù)與橫截面數(shù)據(jù),可以看出，最終還是通過減少模型中解釋變量個(gè)數(shù)的方式來消除多重共線性的影響，但并不是直接剔除有重要影響的解釋變量。,例如，某商品的需求函數(shù)為,若 和 很高度正相關(guān)，,先根據(jù)截面數(shù)據(jù)估計(jì)出,參數(shù) ，然后再根據(jù)估計(jì)的對(duì)原模型作變換：,再利用原來的時(shí)間序列數(shù)據(jù)估計(jì)出 ， 前提條件， 就是 在整個(gè)時(shí)期的波動(dòng)不大 。,得,4、Frisch綜合分析法,基本原理：從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個(gè)引入模型；每引入一個(gè)變量，就對(duì)模型中的所有變量進(jìn)行一次顯著性檢驗(yàn)，并從中剔除不顯著的變量；逐步引入剔除引入，直到模型之外所有變量均不顯著時(shí)為止。,基本步驟：將被解釋變量Y對(duì)每一個(gè)解釋變量Xj(j=1,2, k)分別進(jìn)行回歸，對(duì)每一個(gè)回歸方程根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)進(jìn)行綜合判斷分析，從中選出一個(gè)最優(yōu)的基本回歸方程。在此基礎(chǔ)上，再逐一引入其它解釋變量，重新作回歸，逐步擴(kuò)大模型的規(guī)模，直至從綜合情況看出現(xiàn)最好的模型估計(jì)形式。,（1）如果新解釋變量在符合經(jīng)濟(jì)意義的前提下，能使擬合優(yōu)度 有所提高，并且每個(gè)參數(shù)統(tǒng)計(jì)檢驗(yàn)顯著，則采納該變量。（說明該解釋變量是一個(gè)獨(dú)立解釋變量） （2）如果新解釋變量不能改善擬合優(yōu)度，同時(shí)對(duì)其它參數(shù)無明顯影響，則可舍棄該變量。（說明它可以用其它變量的線性組合代替） （3）如果新解釋變量能使擬合優(yōu)度有所改變， 提高，但對(duì)其它參數(shù)的符號(hào)和數(shù)值有明顯的影響，統(tǒng)計(jì)檢驗(yàn)也不顯著，可以判定新解釋變量引起了共線性。此時(shí)需按照前述的檢驗(yàn)方法，考察變量間線性相關(guān)的形式和程度，并進(jìn)行經(jīng)濟(jì)意義的判斷，在共線性程度最高的兩個(gè)變量中，舍去對(duì)被解釋變量影響較小、經(jīng)濟(jì)意義相對(duì)次要的一個(gè)，保留影響較大、經(jīng)濟(jì)意義相對(duì)重要的一個(gè)。,引進(jìn)新解釋變量進(jìn)入回歸方程時(shí)，注意：,設(shè)一個(gè)多元線性回歸模型為 普通最小二乘估計(jì)的公式為 當(dāng)解釋變量間存在嚴(yán)重的多重共線性時(shí)， 矩陣 接近于奇異, 。則 用 代替 代入最小二乘估計(jì)的公式，使得0的可能性比 0的可能性更小。從而，有效地 避免了因 0造成的方差變大。故嶺回歸估計(jì)量為： 其中 稱為“嶺回歸參數(shù)”，一般 ， 當(dāng)時(shí) ， 就是普通最小二乘估計(jì)。當(dāng) 時(shí)，所有 的系數(shù)估計(jì)值都向零趨近。,5. 嶺回歸法（Ridge Regression）,0,會(huì)增大,（1）從 式容易看出，在嶺回歸參數(shù)與Y無關(guān)的情形下， 是最小二乘估計(jì)的一個(gè)線性變換，也是理論值Y的線性函數(shù). （2）估計(jì)量的數(shù)學(xué)期望為：,5. 嶺回歸估計(jì)量的性質(zhì),嶺回歸估計(jì)量 不再是 的無偏估計(jì)，,（3）由于 的方差為,5. 嶺回歸嶺回歸估計(jì)量的性質(zhì),而 的方差為,可以證明，,比,要小,而且 越大， 越小，但是 的偏誤同時(shí)也增大，所以只能尋找一個(gè) ，使 即可 。,也就是說，運(yùn)用嶺回歸估計(jì)參數(shù)是犧牲了無偏性 來尋求參數(shù)估計(jì)的最小方差性。但該方法為我們 尋求參數(shù)估計(jì)的最小方差性提供了新的思路。,如何選擇 是一個(gè)復(fù)雜的問題，,Hoerl和Kennard于1975年提出一種估計(jì)方法。該方法是首先對(duì)原模型的解釋變量與被解釋變量進(jìn)行標(biāo)準(zhǔn)化處理： 得到下列模型： 用OLS法估計(jì)該模型，得到參數(shù)與隨機(jī)誤差項(xiàng)方差的估計(jì)值 和 。選擇 作為 的估計(jì)值。 常用的方法還有嶺跡法、逐步搜索的方法等,（1）前進(jìn)法 前進(jìn)法的思想是變量由少到多,每次增加一個(gè),直至沒有可引入的變量為止。具體做法是首先將全部m個(gè)自變量,分別對(duì)因變量y建立m個(gè)一元線性回歸方程,并分別計(jì)算這m個(gè)一元回歸方程的m個(gè)回歸系數(shù)的F檢驗(yàn)值,記為, 選其最大者記為,6.逐步回歸方法,給定顯著性水平，若 則首先將 引入回歸方程,為了方便,設(shè) 就是 再對(duì)因變量y分別與 建立m-1個(gè)二元線性回歸方程,對(duì)這m -1個(gè)回歸方程中的回歸系數(shù)進(jìn)行F檢驗(yàn),計(jì)算F值,記為 選其最大的記為,若 則接著將 引入回歸方程 依上述方法接著做下去。直至所有未被引入方程的自變量的F值均小于 時(shí)為止。這時(shí),得到的回歸方程就是最終確定的方程。,（2）后退法 后退法與前進(jìn)法相反,首先用全部m個(gè)變量建立一個(gè)回歸方程,然后在這m個(gè)變量中選擇一個(gè)最不重要的變量,將它從方程中剔除 ，即把回歸系數(shù)檢驗(yàn)的F值最小者對(duì)應(yīng)的自變量剔除。設(shè)對(duì)m個(gè)回歸系數(shù)進(jìn)行F檢驗(yàn),記求得的F值為 選其最小者記為,給定顯著性水平 ， 則首先將Xj從回歸方程中剔除,為方便,設(shè)Xj就是Xm, 接著對(duì)剩下的m-1個(gè)自變量重新建立回歸方程,進(jìn)行回歸系數(shù)的顯著性檢驗(yàn),像上面那樣計(jì)算出 ,如果又有 ,則剔除Xj,重新建立y關(guān)于m-2個(gè)自變量的回歸方程,依此下去,直至回歸方程中所剩余的p個(gè)自變量的F檢驗(yàn)值均大于臨界值 ,沒有可剔除的自變量為止。這時(shí),得到的回歸方程就是最終確定的方程。,前進(jìn)法可能存在這樣的問題,即不能反映引進(jìn)新的自變量后的變化情況。因?yàn)槟硞€(gè)自變量開始可能是顯著的,但當(dāng)引入其他自變量后它變得并不顯著了,卻又沒有機(jī)會(huì)將其剔除,即一旦引入,就是“終身制”的；這種只考慮引入,而沒有考慮剔除的做法顯然是不全面的。 而且,我們?cè)谠S多例子中會(huì)發(fā)現(xiàn)可能最先引入的某個(gè)自變量,當(dāng)其他自變量相繼引入后,它會(huì)變得對(duì)因變量y很不顯著。,前進(jìn)法和后退法述評(píng),后退法的明