殘差分析-數(shù)據(jù)分析[文字可編輯]

1、2.3,殘差分析,前面討論的是線性回歸模型的參數(shù)估計和有關(guān),的統(tǒng)計推斷，這些討論都是在對模型作了一定的,假設(shè)進(jìn)行的，其中最重要的是回歸關(guān)系的線性假,設(shè)，誤差項的獨立同正態(tài)分布假設(shè)。當(dāng)給定了一,批數(shù)據(jù)后，如何考察這些數(shù)據(jù)滿足假設(shè)是回歸分,析的一個重要環(huán)節(jié),這些假設(shè)涉及到誤差項，而誤差是不可測的,我們能夠使用的是其估計量殘差,2.3.1,誤差項的正態(tài)性檢驗,一、學(xué)生化殘差,從誤差的估計值（殘差）出發(fā)分析關(guān)于誤差項假,定的合理性以及線性回歸關(guān)系的假定的可行性稱為,殘差分析,假設(shè)誤差向量,0,2,I,N,則殘差向量,0,2,H,I,N,T,T,X,X,X,X,H,1,其中,H,是,n,階對稱冪等矩陣,

2、故,n,i,h,N,ii,i,2,1,1,0,其中,i,T,T,i,ii,x,X,X,x,h,1,是,H,主對角線的第,i,個元素，稱為杠桿,量,由于殘差的方差和杠桿量有關(guān)，故一般情況下,殘差的方差不相等，這不利于殘差的應(yīng)用，因此,我們將殘差標(biāo)準(zhǔn)化,n,i,h,MSE,r,ii,i,i,2,1,1,稱為學(xué)生化殘差，當(dāng),n,較大時，可認(rèn)為其服從標(biāo),準(zhǔn)正態(tài)分布。這是檢驗誤差項獨立同正態(tài)分布的基,礎(chǔ),二、殘差正態(tài)性的頻率檢驗,殘差正態(tài)性的頻率檢驗是一種很直觀的檢驗方法,其基本思想是學(xué)生化殘差落入一些范圍的頻率與標(biāo),準(zhǔn)正態(tài)分布在相應(yīng)范圍內(nèi)的概率做比較，若二者相,差較大，則認(rèn)為殘差（從而模型誤差）不服從

3、正態(tài),分布,在實際應(yīng)用中，一般取幾個具有代表性的區(qū)間進(jìn),行比較。例如,1,1,1.5,1.5,2,2,服從標(biāo)準(zhǔn)正態(tài)分布的隨機變量取值在,1,1,內(nèi),的概率為,0.68,在,1.5,1.5,內(nèi)的概率為,0.87,在,2,2,內(nèi)為,0.95,因此若模型誤差項獨立同正,態(tài)分布，則當(dāng),n,較大時，學(xué)生化殘差中應(yīng)大約有,68,的點落在在,1,1,內(nèi)；大約有,87,在,1.5,1.5,內(nèi)，大約,95,在,2,2,內(nèi),若在某個區(qū)間內(nèi)差異較大，則有理由懷疑誤差獨,立同正態(tài)分布的假設(shè)的合理性,三、殘差的正態(tài),qq,圖檢驗,1,學(xué)生化殘差正態(tài),qq,圖做法,則所得的散點圖即為學(xué)生化殘差的正態(tài),qq,圖，利,用正態(tài)

4、,qq,圖可以直觀檢驗誤差正態(tài)性假設(shè)的合理,性,2,1,1,n,r,r,r,序統(tǒng)計量,寫出學(xué)生化殘差的次,25,0,375,0,2,1,2,1,n,i,q,n,i,i,計算,對每個,3,i,i,r,q,在坐標(biāo)系中描出點,2,相關(guān)系數(shù)檢驗,除了上述直觀檢驗外，我們還可以構(gòu)造兩者的相,關(guān)系數(shù)來度量二者之間線性關(guān)系的強弱。其相關(guān)系,數(shù)估計為,n,i,n,i,i,i,n,i,i,i,q,q,r,r,q,q,r,r,1,1,1,一條直線上,則散點圖上點大致在,接近于,若,1,通過考察不同類型殘差圖可以對誤差項分布的正,態(tài)性，等方差性以及回歸關(guān)系的線性性等假定的合,理性作出直觀檢測，還可以對回歸方程是否有

5、必要,引進(jìn)自變量的高次項、交叉項等提供參考,2.3.2,殘差圖的分析,殘差圖是以殘差為縱坐標(biāo)，以其他有關(guān)量為橫坐,標(biāo)的散點圖,1,以因變量,Y,的擬合值為橫坐標(biāo)的散點圖,若線性回歸關(guān)系正確且誤差服從正態(tài)分布，則因,變量的擬合值與殘差向量相互獨立。這時殘差圖中,的點應(yīng)大致在一個水平的帶狀區(qū)域內(nèi)，沒有任何明,顯地趨勢，如下圖,2,以自變量觀測值為橫坐標(biāo)的散點圖,3,以觀測時間或觀測值序號橫坐標(biāo)的散點圖,還可以用以下坐標(biāo)做殘差圖，兩種殘差圖原理與,上一個相同,通過殘差分析可以發(fā)現(xiàn)所給數(shù)據(jù)的某些特點和模型,假定的一些不足之處，接下來的問題就是要采取相應(yīng)的,措施改進(jìn)其不足，以建立更好的回歸模型,一個常用

6、的改進(jìn)措施就是,Box-Cox,變換，它通過,對因變量,Y,做適當(dāng)變換，使原數(shù)據(jù)盡可能滿足線性回歸,模型的條件,2.3.2 Box-Cox,變換,Box-Cox,變換對因變量,Y,做如下變換,0,ln,0,1,Y,Y,Y,滿足,使得,我們要確定,Y,0,2,E,N,X,Y,也就是說，我們通過因變量的變換，使得變換后,因變量與自變量有線性相關(guān)關(guān)系，且滿足誤差項的,假設(shè),法確定,的取值我們通過以下方,達(dá)到最小,使,選擇,1,SSE,Z,X,X,X,X,E,Z,Z,T,T,T,0,ln,0,1,1,1,1,1,2,1,n,n,i,i,i,n,n,i,i,i,i,T,n,y,y,y,y,z,z,z,z

7、,Z,其中,回歸方程的選取包括回歸方程類型的選取和回歸,方程類型確定后自變量的選取。我們主要討論自變量,的選取,人們在建立線性回歸模型時，會考慮用全部可能,的自變量建立回歸方程，這樣做的問題有,2.4,回歸方程的選取,1,會將一些對因變量影響很小甚至根本無影響,的自變量也包含在回歸方程中，從而使計算量增加,并會導(dǎo)致回歸參數(shù)估計和因變量預(yù)測值的精度下降,2,自變量太多不利于應(yīng)用回歸方程對實際問題,做出合理的解釋，也會造成數(shù)據(jù)收集和模型應(yīng)用,代價的不必要的增大,因此在實際應(yīng)用中，從與因變量有線形關(guān)系的,自變量集合中，選取一個最優(yōu)的子集，以建立一個,合理而又簡單的回歸方程十分重要,一，窮舉法,窮舉法

8、就是從與因變量有線性關(guān)系的所有可能,自變量的所有子集所擬合的回歸方程中，按照一定,的準(zhǔn)則選取最優(yōu)的一個或幾個,下面是,sas,提供選擇的幾個窮舉法的選取準(zhǔn)則,2,1,p,p,SSE,R,p,SST,1,復(fù)相關(guān)系數(shù)準(zhǔn)則,P,是回歸系數(shù)的個數(shù),2,1,1,1,1,p,p,a,SSE,n,MSE,n,R,p,n,p,SST,SST,2,修正的復(fù)相關(guān)系數(shù)準(zhǔn)則,2,p,p,SSE,C,n,p,MSE,3) Cp,準(zhǔn)則,二，逐步回歸法,窮舉法從理論上講是選擇回歸方程最好的方法,但是，窮舉法所擬合的方程個數(shù)隨自變量數(shù)目的增加,而成倍增加。其計算量非常大,逐步回歸法的基本思想是依次擬合一系列回歸方程,后一個回

9、歸方程是在前一個的基礎(chǔ)上增加或刪除一個,自變量，其增加和刪除的原則是用殘差平方和的相對,減少或增加量來衡量,1,k,k,k,k,k,SSE,A,SSE,A,X,SSR,X,A,F,SSE,A,X,MSE,A,X,n,l,偏,F,統(tǒng)計量,若某個自變量對因變量影響顯著,則其偏,F,統(tǒng)計量,不應(yīng)太小,Sas,常用的檢驗準(zhǔn)則,1,前向選擇法,從僅含常數(shù)項的回歸模型開始,逐個加入自變量,其準(zhǔn)則是將反應(yīng)各自變量加入時,描述殘差平方和,減少量的偏,F,統(tǒng)計量的,p,值與給定的控制水平相比較,若所有不在模型中的自變量所對應(yīng)的統(tǒng)計量,p,值,均大于給定控制水平,影響均不顯著,則選擇結(jié)束,否則將具有最大偏,F,值的自變量引入模型,然后重復(fù),上述過程,2,后向選擇法,首先擬合一個包含所有自變