建立回歸方程的最優(yōu)模型

建立回歸方程的最優(yōu)模型

1建立線性回歸回歸方程在某些實(shí)際問(wèn)題中，回歸方程通常需要選擇幾個(gè)因素來(lái)引導(dǎo)自變量。當(dāng)然，選擇對(duì)預(yù)測(cè)量y有顯著影響的自變量，并建立線性回歸方程，使建立的回歸方程中不包含效應(yīng)較低的自變量。這種回歸方程是“最好的”。2為了實(shí)現(xiàn)上述“1”中定義的回歸方程“最佳”，提出“最佳”回歸方程的選擇和指導(dǎo)意見(jiàn)2.1+1xi1+1xpxip+ip+i1+1x1x1xi1+1x1xi1+1xi1+1x1xi1+1x1x1x1xi1+稱為全模型.稱x的子集(x1′,x2′,…,xp′)T所構(gòu)成的模型yi=β′0+β′1x′i1+…+β′pX′ip+εi(i=1,2,…,n;p=1,2,…,n)為選模型.殘差平方和S殘=n∑i=1(yi-?yi)2用RSS表示.該選模型的殘差平方和用RSSp表示,相應(yīng)的復(fù)相關(guān)系數(shù)記為Rp.2.1.1統(tǒng)計(jì)分析因變量不確定的自變量,則影響統(tǒng)計(jì)分析如果按照“RSSp”愈小愈好的思想,回歸方程應(yīng)含有盡可能多的自變量,這樣的方程擬合程度好,但混入一些對(duì)y影響不顯著的自變量,反而影響統(tǒng)計(jì)分析;效果未必好,況且自變量多了計(jì)算復(fù)雜.因此,必須對(duì)RSSp予以修正.為此,可有下列三種選擇準(zhǔn)則:①平均殘差平方和RSSp(n-p)愈小愈好.其中p是自變量子集合含自變量個(gè)數(shù)加1,即把常數(shù)項(xiàng)也當(dāng)作自變量.②預(yù)測(cè)偏差的方差(n+p)?σ2=(n+p)RSSpn-p-1愈小愈好.③平均預(yù)測(cè)均方誤差RSSp(n-p-1)(n-p)愈小愈好.2.1.2選取變量的原則基于Cp統(tǒng)計(jì)量的自變量選擇準(zhǔn)則要求自變量子集Xp使Cp愈小愈好.如果用p為橫軸,Cp為縱軸畫(huà)出Cp圖.選變量的原則就是:選P,使點(diǎn)(P,Cp)與過(guò)原點(diǎn)且與P軸成45°角的直線最近而且|P|最小.2.2一些具體的選擇方法2.2.1最優(yōu)回歸方程的選擇用k個(gè)自變量x1,x2,…,xk中的1個(gè),2個(gè),…,k個(gè)元素構(gòu)成的子集Ap(p=1,2,…,k)與y組成回歸方程共2k-1,從中挑選全部自變量都顯著且平均殘差平方和較小的一個(gè),即為最優(yōu)回歸方程.2.2.2清除不顯著因子前進(jìn)法是指在k個(gè)自變量中挑選一個(gè)“最好”的先引入回歸方程,再在其余因子中挑選第二“最好”因子引入方程,以此類推,直到無(wú)顯著因子引入為此.前進(jìn)法雖然計(jì)算量不是太大,但引入新變量就要對(duì)原來(lái)的變量產(chǎn)生影響,有時(shí)甚至?xí)癸@著因子變得不顯著.因此,不能保證回歸方程是“最優(yōu)”的.后退法與前進(jìn)法相反,它是從包含全部變量的回歸方程中,逐個(gè)剔除不顯著因子.值得注意的是:因子數(shù)不多時(shí)可以采用此法.當(dāng)因子數(shù)比較多,特別是不顯著因子比較多時(shí),由于每剔除一個(gè)因子,就要重新計(jì)算回歸系數(shù),計(jì)算量是不小的.2.2.3消去變換tk從一個(gè)自變量開(kāi)始,按自變量對(duì)y的作用的顯著程度,從大到小逐個(gè)引入回歸方程.并且每引進(jìn)一個(gè)自變量就要對(duì)先引進(jìn)的因子進(jìn)行顯著性檢驗(yàn),將不顯著的因子隨時(shí)剔除掉.亦即該法的每一步都要進(jìn)行檢驗(yàn),以保證引入的方程的回歸因子是顯著的,如果一切顯著的因子都被引入方程,且方程不包含不顯著的因子,則此過(guò)程停止.最后得到“最優(yōu)”回歸方程.(1)數(shù)學(xué)模型及基本公式對(duì)回歸模型(1):Y=Xβ+ε用最小二乘法得到正規(guī)方程⑵,即{L?β=β?β0=ˉy-k∑j=1?βjˉXj從它可確定出回歸系數(shù)βj的估計(jì)值?βj(j=1,2,?,k),于是可得出線性回歸方程⑶:?y=?β0Ι+?β′X.一般來(lái)說(shuō)xj的單位不同,取值范圍也不同.在計(jì)算中為避免量綱的影響,在逐步回歸的計(jì)算中往往先將數(shù)據(jù)“中心化”、“標(biāo)準(zhǔn)化”,即作變換ztj=1sj(xij-ˉXj)?zyj=1s(yj-ˉy)(1)(t=1,2,…,n;j=1,2,…,k)其中ˉXj=1nn∑i=1Xij?ˉy=1nn∑i=1yi?sj=√eij/(n-1)?s=√eyy/(n-1).于是系數(shù)矩陣L可化為相關(guān)矩陣:R=(r11r12?r1kr21r22?r2k????rk1rk2?rkk)將R增加一行(r1y,r2y,?,ryy)△=(r1,k+1r2,k+1,?,rk+1,k+1)及一列(r1,k+1,r1,k+1,…,rk+1,k+1)T,它成為k+1階方陣,記為R(0):R(0)=(r11r12?r1kr1k+1r21r22?r2kr2k+1?????rk1rk2?rkkrkk+1r1k+1r2k+1?rkk+1rk+1k+1)⑵消去變換法設(shè)A=(aij)為n階方陣,且akk≠0,1≤k≤n,令aij*={aij-aikakj/akk?i≠k,j≠k,-aik/akk,i≠k,j=k,akj/akk,i=k,j≠k,1/akk,i=j=k(2)[BF]則稱對(duì)A施行了(k,k)元消去變換Tk,記作A*.A*=TkA=(a*ij)i,j=1,2,…,n.消去變換有下列性質(zhì):(i)TkTkA=A,即對(duì)A施以兩次(k,k)元消去變換,結(jié)果不變.(ii)當(dāng)TiTjA=TjTiA,即消去變換的可變換性.(iii)當(dāng)A為對(duì)稱矩陣時(shí),A(l)具有下列對(duì)稱性:aij(l)={ajil當(dāng)對(duì)A施以Τi,Τj或均未旅行?-aji(l)當(dāng)對(duì)A施以Τi,Τj中之一時(shí)。(iv)設(shè)方程組AX=B(A為k階可逆方陣,x,B為k行一列矩陣),對(duì)增廣矩陣(AB)施以T1T2…Tk變換,則可得到A的逆矩陣及方程組的解.若只作一次變換Ti,就可得出一個(gè)子方程組的解及該方程組系數(shù)矩陣的逆矩陣.⑶逐步回歸法的步驟(i)從k個(gè)因子Z1,Z2,…,Zk中挑選一個(gè)偏回歸平方和最大的,建立一元線性回歸方程.即找Zt1滿足Vt1(1)=maxjVj(1),t1∈{1,2,?,k}?j=1,2,?,k,其中Vj(1)=rjy2/rjj,rjj,rjy均為R(0)中元素,VJ(1)的上標(biāo)⑴表示確定第一因子用R(0)中元素.計(jì)算統(tǒng)計(jì)量F1=Vt1(1)(n-2)/(1-Vt1(1)),檢驗(yàn)因子Zt1是否顯著.規(guī)定引入因子時(shí)用F1,剔除因子時(shí)用F2.當(dāng)F1>F2(1,n-2)時(shí),引入因子Zt1,同時(shí)對(duì)R(0)作變換Tt1,得R(1),R(1)=Tt1R(0)=(rij(1)).(ii)從余下的k-1個(gè)因子中,挑選一個(gè)偏回歸平方和最大的Zt2,當(dāng)作第二因子引入回歸方程.即計(jì)算Vt2(2)=maxj≠t1Vj(2),其中Vj(2)=(rjy(1))2/rjj(1).作顯著性檢驗(yàn)F1=Vt2(2)(n-3)/(ryy(1)-Vt2(2)),當(dāng)F1>F2(1,n-3)時(shí),引入因子Zt2,并對(duì)R(1)作變換Tt2,得到R(2)R(2)=Tt2R(1)=(rij(2)).(iii)當(dāng)引入Zt2以后,要對(duì)先引入的因子Zt1作顯著性檢驗(yàn),以決定對(duì)Zt1是保留還是剔除.此時(shí)用統(tǒng)計(jì)量F2=Vt1(2)(n-3)/ryy(2)=(rt1y(2))2(n-3)/(rt1t1(2)·ryy(2)).當(dāng)F2>F2(1,n-3)時(shí),保留Zt1,然后引入第三個(gè)因子;當(dāng)F2≤F2(1,n-3)時(shí),剔出Zt1,并對(duì)R(2)作變換Tt1得到R(3)=Tt1R(2).(iv)重復(fù)(ii),(iii)兩步,在獲得l個(gè)因子Zt1,Zt2…Zt1的回歸方程Ζy^=β^t′1Ζt1+β^t′2Ζt2+??β^t′1Ζt1之后,假定R(0)經(jīng)過(guò)l個(gè)變換Tt1,Tt2,…,Ttl而成為R(l),由于新因子Ztl的引入應(yīng)對(duì)前l(fā)-1個(gè)因子Ztl,…,ztl-1進(jìn)行顯著性檢驗(yàn),不顯著的因子剔除,直到?jīng)]有不顯著因子為止,再考慮新因子.繼續(xù)這樣的過(guò)程,直到無(wú)因子引入為止.假如共引進(jìn)了p個(gè)因子Zt1,Zt2,…,Ztp,就可以建立p元線性回歸方程:Ζy^=β^′t′1Ζt1′+β^