殘差分析--數(shù)據(jù)分析

1、2.3 殘差分析殘差分析 前面討論的是線性回歸模型的參數(shù)估計(jì)和前面討論的是線性回歸模型的參數(shù)估計(jì)和有關(guān)的統(tǒng)計(jì)推斷，這些討論都是在對(duì)模型作了一有關(guān)的統(tǒng)計(jì)推斷，這些討論都是在對(duì)模型作了一定的假設(shè)進(jìn)行的，其中最重要的是回歸關(guān)系的線定的假設(shè)進(jìn)行的，其中最重要的是回歸關(guān)系的線性假設(shè)，誤差項(xiàng)的獨(dú)立同正態(tài)分布假設(shè)。當(dāng)給定性假設(shè)，誤差項(xiàng)的獨(dú)立同正態(tài)分布假設(shè)。當(dāng)給定了一批數(shù)據(jù)后，如何考察這些數(shù)據(jù)滿足假設(shè)是回了一批數(shù)據(jù)后，如何考察這些數(shù)據(jù)滿足假設(shè)是回歸分析的一個(gè)重要環(huán)節(jié)。歸分析的一個(gè)重要環(huán)節(jié)。 這些假設(shè)涉及到誤差項(xiàng)，而誤差是不可測(cè)這些假設(shè)涉及到誤差項(xiàng)，而誤差是不可測(cè)的，我們能夠使用的是其估計(jì)量殘差。的，我們能夠使

2、用的是其估計(jì)量殘差。2.3.1 2.3.1 誤差項(xiàng)的正態(tài)性檢驗(yàn)誤差項(xiàng)的正態(tài)性檢驗(yàn)一、學(xué)生化殘差一、學(xué)生化殘差 從誤差的估計(jì)值（殘差）出發(fā)分析關(guān)于誤差項(xiàng)從誤差的估計(jì)值（殘差）出發(fā)分析關(guān)于誤差項(xiàng)假定的合理性以及線性回歸關(guān)系的假定的可行性稱假定的合理性以及線性回歸關(guān)系的假定的可行性稱為殘差分析。為殘差分析。假設(shè)誤差向量假設(shè)誤差向量), 0(2IN則殘差向量則殘差向量)(, 0(2HINTTXXXXH1)(其中其中H H是是n n階對(duì)稱冪等矩陣階對(duì)稱冪等矩陣故故nihNiii, 2 , 1),1 (, 0(其中其中iTTiiixXXxh1)( 是是H H主對(duì)角線的第主對(duì)角線的第i i個(gè)元素，稱為個(gè)元素

3、，稱為杠桿量。杠桿量。 由于殘差的方差和杠桿量有關(guān)，故一般情況由于殘差的方差和杠桿量有關(guān)，故一般情況下，殘差的方差不相等，這不利于殘差的應(yīng)用，下，殘差的方差不相等，這不利于殘差的應(yīng)用，因此我們將殘差標(biāo)準(zhǔn)化。因此我們將殘差標(biāo)準(zhǔn)化。nihMSEriiii, 2 , 1,)1 ( 稱為學(xué)生化殘差，當(dāng)稱為學(xué)生化殘差，當(dāng)n n較大時(shí)，可認(rèn)為其服從較大時(shí)，可認(rèn)為其服從標(biāo)準(zhǔn)正態(tài)分布。這是檢驗(yàn)誤差項(xiàng)獨(dú)立同正態(tài)分布標(biāo)準(zhǔn)正態(tài)分布。這是檢驗(yàn)誤差項(xiàng)獨(dú)立同正態(tài)分布的基礎(chǔ)。的基礎(chǔ)。二、殘差正態(tài)性的頻率檢驗(yàn)二、殘差正態(tài)性的頻率檢驗(yàn) 殘差正態(tài)性的頻率檢驗(yàn)是一種很直觀的檢驗(yàn)殘差正態(tài)性的頻率檢驗(yàn)是一種很直觀的檢驗(yàn)方法，其基本思想

4、是學(xué)生化殘差落入一些范圍的方法，其基本思想是學(xué)生化殘差落入一些范圍的頻率與標(biāo)準(zhǔn)正態(tài)分布在相應(yīng)范圍內(nèi)的概率做比較，頻率與標(biāo)準(zhǔn)正態(tài)分布在相應(yīng)范圍內(nèi)的概率做比較，若二者相差較大，則認(rèn)為殘差（從而模型誤差）若二者相差較大，則認(rèn)為殘差（從而模型誤差）不服從正態(tài)分布。不服從正態(tài)分布。 在實(shí)際應(yīng)用中，一般取幾個(gè)具有代表性的區(qū)間在實(shí)際應(yīng)用中，一般取幾個(gè)具有代表性的區(qū)間進(jìn)行比較。例如（進(jìn)行比較。例如（-1-1，1 1）（）（1.51.5，1.51.5）（）（2 2，2 2） 服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量取值在（服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量取值在（-1-1，1 1）內(nèi)的概率為內(nèi)的概率為0.680.68；在；在(-1.

5、5,1.5)(-1.5,1.5)內(nèi)的概率為內(nèi)的概率為0.870.87；在（在（-2-2，2 2）內(nèi)為）內(nèi)為0.950.95，因此若模型誤差項(xiàng)獨(dú)立同，因此若模型誤差項(xiàng)獨(dú)立同正態(tài)分布，則當(dāng)正態(tài)分布，則當(dāng)n n較大時(shí)，學(xué)生化殘差中應(yīng)大約有較大時(shí)，學(xué)生化殘差中應(yīng)大約有68%68%的點(diǎn)落在在（的點(diǎn)落在在（-1-1，1 1）內(nèi)；大約有）內(nèi)；大約有87%87%在在(-(-1.5,1.5)1.5,1.5)內(nèi)，大約內(nèi)，大約95%95%在（在（-2-2，2 2）內(nèi)。）內(nèi)。 若在某個(gè)區(qū)間內(nèi)差異較大，則有理由懷疑誤差若在某個(gè)區(qū)間內(nèi)差異較大，則有理由懷疑誤差獨(dú)立同正態(tài)分布的假設(shè)的合理性。獨(dú)立同正態(tài)分布的假設(shè)的合理性。三

6、、殘差的正態(tài)三、殘差的正態(tài)qqqq圖檢驗(yàn)圖檢驗(yàn) （1 1）學(xué)生化殘差正態(tài)）學(xué)生化殘差正態(tài)qqqq圖做法圖做法 則所得的散點(diǎn)圖即為學(xué)生化殘差的正態(tài)則所得的散點(diǎn)圖即為學(xué)生化殘差的正態(tài)qqqq圖，圖，利用正態(tài)利用正態(tài)qqqq圖可以直觀檢驗(yàn)誤差正態(tài)性假設(shè)的合圖可以直觀檢驗(yàn)誤差正態(tài)性假設(shè)的合理性理性)()2()1(,1nrrr序統(tǒng)計(jì)量：）寫(xiě)出學(xué)生化殘差的次)25. 0375. 0(, 2 , 121)(niqnii計(jì)算）對(duì)每個(gè))3)()(iirq ，）在坐標(biāo)系中描出點(diǎn)（2 2）相關(guān)系數(shù)檢驗(yàn)。）相關(guān)系數(shù)檢驗(yàn)。 除了上述直觀檢驗(yàn)外，我們還可以構(gòu)造兩者除了上述直觀檢驗(yàn)外，我們還可以構(gòu)造兩者的相關(guān)系數(shù)來(lái)度量二者

7、之間線性關(guān)系的強(qiáng)弱。其的相關(guān)系數(shù)來(lái)度量二者之間線性關(guān)系的強(qiáng)弱。其相關(guān)系數(shù)估計(jì)為相關(guān)系數(shù)估計(jì)為niniiiniiiqqrrqqrr11)()(1)()()()()(一條直線上。，則散點(diǎn)圖上點(diǎn)大致在接近于若1 通過(guò)考察不同類型殘差圖可以對(duì)誤差項(xiàng)分布的通過(guò)考察不同類型殘差圖可以對(duì)誤差項(xiàng)分布的正態(tài)性，等方差性以及回歸關(guān)系的線性性等假定的正態(tài)性，等方差性以及回歸關(guān)系的線性性等假定的合理性作出直觀檢測(cè)，還可以對(duì)回歸方程是否有必合理性作出直觀檢測(cè)，還可以對(duì)回歸方程是否有必要引進(jìn)自變量的高次項(xiàng)、交叉項(xiàng)等提供參考。要引進(jìn)自變量的高次項(xiàng)、交叉項(xiàng)等提供參考。2.3.2 2.3.2 殘差圖的分析殘差圖的分析 殘差圖是

8、以殘差為縱坐標(biāo)，以其他有關(guān)量為橫殘差圖是以殘差為縱坐標(biāo)，以其他有關(guān)量為橫坐標(biāo)的散點(diǎn)圖。坐標(biāo)的散點(diǎn)圖。 （1 1）以因變量）以因變量Y Y的擬合值為橫坐標(biāo)的散點(diǎn)圖。的擬合值為橫坐標(biāo)的散點(diǎn)圖。 若線性回歸關(guān)系正確且誤差服從正態(tài)分布，則若線性回歸關(guān)系正確且誤差服從正態(tài)分布，則因變量的擬合值與殘差向量相互獨(dú)立。這時(shí)殘差圖因變量的擬合值與殘差向量相互獨(dú)立。這時(shí)殘差圖中的點(diǎn)應(yīng)大致在一個(gè)水平的帶狀區(qū)域內(nèi)，沒(méi)有任何中的點(diǎn)應(yīng)大致在一個(gè)水平的帶狀區(qū)域內(nèi)，沒(méi)有任何明顯地趨勢(shì)，如下圖：明顯地趨勢(shì)，如下圖： （2 2）以自變量觀測(cè)值為橫坐標(biāo)的散點(diǎn)圖。）以自變量觀測(cè)值為橫坐標(biāo)的散點(diǎn)圖。 （3 3）以觀測(cè)時(shí)間或觀測(cè)值序號(hào)橫

9、坐標(biāo)的散點(diǎn)）以觀測(cè)時(shí)間或觀測(cè)值序號(hào)橫坐標(biāo)的散點(diǎn)圖。圖。 還可以用以下坐標(biāo)做殘差圖，兩種殘差圖原理還可以用以下坐標(biāo)做殘差圖，兩種殘差圖原理與上一個(gè)相同與上一個(gè)相同 通過(guò)殘差分析可以發(fā)現(xiàn)所給數(shù)據(jù)的某些特點(diǎn)和模型通過(guò)殘差分析可以發(fā)現(xiàn)所給數(shù)據(jù)的某些特點(diǎn)和模型假定的一些不足之處，接下來(lái)的問(wèn)題就是要采取相應(yīng)的假定的一些不足之處，接下來(lái)的問(wèn)題就是要采取相應(yīng)的措施改進(jìn)其不足，以建立更好的回歸模型。措施改進(jìn)其不足，以建立更好的回歸模型。 一個(gè)常用的改進(jìn)措施就是一個(gè)常用的改進(jìn)措施就是Box-CoxBox-Cox變換，它通過(guò)變換，它通過(guò)對(duì)因變量對(duì)因變量Y Y做適當(dāng)變換，使原數(shù)據(jù)盡可能滿足線性回歸做適當(dāng)變換，使原數(shù)據(jù)

10、盡可能滿足線性回歸模型的條件。模型的條件。2.3.2 Box-Cox2.3.2 Box-Cox變換變換Box-CoxBox-Cox變換對(duì)因變量變換對(duì)因變量Y Y做如下變換：做如下變換：0,ln0,1)(YYY滿足：，使得我們要確定)(Y), 0(,2)(ENXY 也就是說(shuō)，我們通過(guò)因變量的變換，使得變換后也就是說(shuō)，我們通過(guò)因變量的變換，使得變換后因變量與自變量有線性相關(guān)關(guān)系，且滿足誤差項(xiàng)的因變量與自變量有線性相關(guān)關(guān)系，且滿足誤差項(xiàng)的假設(shè)。假設(shè)。法確定：的取值我們通過(guò)以下方達(dá)到最小。，使選擇)(1)()()()(),(SSEZXXXXEZZTTT0,)(ln0,/ ) 1(),(1111)()(

11、)(2)(1)(nniiinniiiiTnyyyyzzzzZ其中 回歸方程的選取包括回歸方程類型的選取和回歸回歸方程的選取包括回歸方程類型的選取和回歸方程類型確定后自變量的選取。我們主要討論自變量方程類型確定后自變量的選取。我們主要討論自變量的選取的選取 人們?cè)诮⒕€性回歸模型時(shí)，會(huì)考慮用全部可能人們?cè)诮⒕€性回歸模型時(shí)，會(huì)考慮用全部可能的自變量建立回歸方程，這樣做的問(wèn)題有的自變量建立回歸方程，這樣做的問(wèn)題有 ：2.4 回歸方程的選取回歸方程的選取 （1 1）會(huì)將一些對(duì)因變量影響很小甚至根本無(wú)影響）會(huì)將一些對(duì)因變量影響很小甚至根本無(wú)影響的自變量也包含在回歸方程中，從而使計(jì)算量增加，的自變量也包

12、含在回歸方程中，從而使計(jì)算量增加，并會(huì)導(dǎo)致回歸參數(shù)估計(jì)和因變量預(yù)測(cè)值的精度下降。并會(huì)導(dǎo)致回歸參數(shù)估計(jì)和因變量預(yù)測(cè)值的精度下降。（2 2）自變量太多不利于應(yīng)用回歸方程對(duì)實(shí)際問(wèn)題）自變量太多不利于應(yīng)用回歸方程對(duì)實(shí)際問(wèn)題做出合理的解釋，也會(huì)造成數(shù)據(jù)收集和模型應(yīng)用做出合理的解釋，也會(huì)造成數(shù)據(jù)收集和模型應(yīng)用代價(jià)的不必要的增大代價(jià)的不必要的增大。 因此在實(shí)際應(yīng)用中，從與因變量有線形關(guān)系的因此在實(shí)際應(yīng)用中，從與因變量有線形關(guān)系的自變量集合中，選取一個(gè)最優(yōu)的子集，以建立一個(gè)自變量集合中，選取一個(gè)最優(yōu)的子集，以建立一個(gè)合理而又簡(jiǎn)單的回歸方程十分重要。合理而又簡(jiǎn)單的回歸方程十分重要。 一，窮舉法一，窮舉法 窮舉法

13、就是從與因變量有線性關(guān)系的所有可能窮舉法就是從與因變量有線性關(guān)系的所有可能自變量的所有子集所擬合的回歸方程中，按照一定自變量的所有子集所擬合的回歸方程中，按照一定的準(zhǔn)則選取最優(yōu)的一個(gè)或幾個(gè)。的準(zhǔn)則選取最優(yōu)的一個(gè)或幾個(gè)。下面是下面是sassas提供選擇的幾個(gè)窮舉法的選取準(zhǔn)則提供選擇的幾個(gè)窮舉法的選取準(zhǔn)則2( )1ppSSERpSST (1) (1) 復(fù)相關(guān)系數(shù)準(zhǔn)則復(fù)相關(guān)系數(shù)準(zhǔn)則P P是回歸系數(shù)的個(gè)數(shù)是回歸系數(shù)的個(gè)數(shù)2(1)1( )1 ()1ppaSSEnMSEnRpnpSSTSST (2) (2) 修正的復(fù)相關(guān)系數(shù)準(zhǔn)則修正的復(fù)相關(guān)系數(shù)準(zhǔn)則(2 )ppSSECnpMSE(3) Cp(3) Cp準(zhǔn)則

14、準(zhǔn)則二，逐步回歸法二，逐步回歸法 窮舉法從理論上講是選擇回歸方程最好的方法，窮舉法從理論上講是選擇回歸方程最好的方法，但是，窮舉法所擬合的方程個(gè)數(shù)隨自變量數(shù)目的增加但是，窮舉法所擬合的方程個(gè)數(shù)隨自變量數(shù)目的增加而成倍增加。其計(jì)算量非常大。而成倍增加。其計(jì)算量非常大。 逐步回歸法的基本思想是依次擬合一系列回歸方程，逐步回歸法的基本思想是依次擬合一系列回歸方程，后一個(gè)回歸方程是在前一個(gè)的基礎(chǔ)上增加或刪除一個(gè)后一個(gè)回歸方程是在前一個(gè)的基礎(chǔ)上增加或刪除一個(gè)自變量，其增加和刪除的原則是用殘差平方和的相對(duì)自變量，其增加和刪除的原則是用殘差平方和的相對(duì)減少或增加量來(lái)衡量。減少或增加量來(lái)衡量。 ( )( ,)

15、(|)( ,)( ,)(1)kkkkkSSE ASSE A XSSR XAFSSE A XMSE A Xnl 偏偏F F統(tǒng)計(jì)量：統(tǒng)計(jì)量： 若某個(gè)自變量對(duì)因變量影響顯著若某個(gè)自變量對(duì)因變量影響顯著, ,則其偏則其偏F F統(tǒng)計(jì)量統(tǒng)計(jì)量不應(yīng)太小不應(yīng)太小. .SasSas常用的檢驗(yàn)準(zhǔn)則常用的檢驗(yàn)準(zhǔn)則: :(1)(1)前向選擇法前向選擇法 從僅含常數(shù)項(xiàng)的回歸模型開(kāi)始從僅含常數(shù)項(xiàng)的回歸模型開(kāi)始, ,逐個(gè)加入自變量逐個(gè)加入自變量其準(zhǔn)則是將反應(yīng)各自變量加入時(shí)其準(zhǔn)則是將反應(yīng)各自變量加入時(shí), ,描述殘差平方和描述殘差平方和減少量的偏減少量的偏F F統(tǒng)計(jì)量的統(tǒng)計(jì)量的p p值與給定的控制水平相比較值與給定的控制水平相比較. . 若所有不在模型中的自變量所對(duì)應(yīng)的統(tǒng)計(jì)量若所有不在模型中的自變量所對(duì)應(yīng)的統(tǒng)計(jì)量p p值值均大于給定控制水平均大于給定控制水平( (影響均不顯著影響均不顯著).).則選擇結(jié)束則選擇結(jié)束. .否則將具有最大偏否則將具有最大偏F F值的自變量引入模型值的自變量引入模型. .然后重復(fù)然后重復(fù)上述過(guò)程上述過(guò)程(2)(2)后向選擇法后向選擇法 首先擬合一個(gè)包含所有自變量的線性回歸模型首先擬合一個(gè)包含所有自變量的線性回歸模型, ,然后根據(jù)偏然后根據(jù)偏F F統(tǒng)計(jì)量的統(tǒng)計(jì)