逐步回歸分析

1、逐步回歸分析1、逐步回歸分析的主要思路在實(shí)際問題中，人們總是希望從對(duì)因變量J有影響的諸多變量中選擇一些變量作為自變量，應(yīng)用多元回歸分析的方法建立“最優(yōu)”回歸方程以便對(duì)因變量進(jìn)行預(yù)報(bào)或控制。所謂“最優(yōu)”回歸方程，主要是指希望在回歸方程中包含所有對(duì)因變量J影響顯著的自變量而不包含對(duì)J影響不顯著的自變量的回歸方程。逐步回歸分析正是根據(jù)這種原則提出來的一種回歸分析方法。它的主要思路是在考慮的全部自變量中按其對(duì)丁的作用大小，顯著程度大小或者說貢獻(xiàn)大小，由大到小地逐個(gè)引入回歸方程，而對(duì)那些對(duì)作用不顯著的變量可能始終不被引人回歸方程。另外，已被引人回歸方程的變量在引入新變量后也可能失去重要性，而需要從回歸方

2、程中剔除出去。引人一個(gè)變量或者從回歸方程中剔除一個(gè)變量都稱為逐步回歸的一步，每一步都要進(jìn)行F檢驗(yàn)，以保證在引人新變量前回歸方程中只含有對(duì)了影響顯著的變量，而不顯著的變量已被剔除。逐步回歸分析的實(shí)施過程是每一步都要對(duì)已引入回歸方程的變量計(jì)算其偏回歸平方和（即貢獻(xiàn)）,然后選一個(gè)偏回歸平方和最小的變量，在預(yù)先給定的F水平下進(jìn)行顯著性檢驗(yàn)，如果顯著則該變量不必從回歸方程中剔除，這時(shí)方程中其它的幾個(gè)變量也都不需要剔除（因?yàn)槠渌膸讉€(gè)變量的偏回歸平方和都大于最小的一個(gè)更不需要剔除）。相反，如果不顯著，則該變量要剔除，然后按偏回歸平方和由小到大地依次對(duì)方程中其它變量進(jìn)行F檢驗(yàn)。將對(duì)J影響不顯著的變量全部剔除

3、，保留的都是顯著的。接著再對(duì)未引人回歸方程中的變量分別計(jì)算其偏回歸平方和，并選其中偏回歸平方和最大的一個(gè)變量，同樣在給定?水平下作顯著性檢驗(yàn)，如果顯著則將該變量引入回歸方程，這一過程一直繼續(xù)下去，直到在回歸方程中的變量都不能剔除而又無新變量可以引入時(shí)為止，這時(shí)逐步回歸過程結(jié)束。2、逐步回歸分析的主要計(jì)算步驟確定F檢驗(yàn)值在進(jìn)行逐步回歸計(jì)算前要確定檢驗(yàn)每個(gè)變量是否顯若的F檢驗(yàn)水平，以作為引人或剔除變量的標(biāo)準(zhǔn)。F檢驗(yàn)水平要根據(jù)具體問題的實(shí)際情況來定。一般地，為使最終的回歸方程中包含較多的變量，F(xiàn)水平不宜取得過高，即顯著水平“不宜太小。F水平還與自由度有關(guān)，因?yàn)樵谥鸩交貧w過程中，回歸方程中所含的變量的

4、個(gè)數(shù)不斷在變化，因此方差分析中的剩余自由度也總在變化，為方便起見常按外一t-1計(jì)算自由度。1為原始數(shù)據(jù)觀測(cè)組數(shù)，E為估計(jì)可能選人回歸方程的變量個(gè)數(shù)。例如；1=15，估計(jì)可能有23個(gè)變量選入回歸方程，因此取自由度為15-3-1=11,查F分布表，當(dāng)a=0.1,自由度Qif=11時(shí)，臨界值及=323,并且在弓入變量時(shí)，自由度取力=1,人二”上-2,F檢驗(yàn)的臨界值記&,在剔除變量時(shí)自由度取:.一.F檢驗(yàn)的臨界值記A,并要求R之當(dāng),實(shí)際應(yīng)用中常取8二網(wǎng)。（2）逐步計(jì)算如果已計(jì)算j步（包含f=0）,且回歸方程中已引入!個(gè)變量，則第f+1步的計(jì)算為：（口）計(jì)算全部自變量的貢獻(xiàn)（偏回歸平方和）。（3

5、）在已引入的自變量中，檢查是否有需要剔除的不顯著變量。這就要在已引入的變量中選取具有最小r值的一個(gè)并計(jì)算其F值，如果FS5,表示該變量不顯著，應(yīng)將其從回歸方程中剔除，計(jì)算轉(zhuǎn)至（C）。如'則不需要剔除變量，這時(shí)則考慮從未引入的變量中選出具有最大值的一個(gè)并計(jì)算F值，如果F片，則表示該變量顯著，應(yīng)將其引人回歸方程，計(jì)算轉(zhuǎn)至（C）。如果,表示已無變量可選入方程，則逐步計(jì)算階段結(jié)束，計(jì)算轉(zhuǎn)人（3）o（C）剔除或引人一個(gè)變量后，相關(guān)系數(shù)矩陣進(jìn)行消去變換，第f+1步計(jì)算結(jié)束。其后重復(fù)（&）（C）再進(jìn)行下步計(jì)算。由上所述，逐步計(jì)算的每一步總是先考慮剔除變量，僅當(dāng)無剔除時(shí)才考慮引入變量。實(shí)際計(jì)算

6、時(shí)，開頭幾步可能都是引人變量，其后的某幾步也可能相繼地剔除幾個(gè)變量。當(dāng)方程中已無變量可剔除，且又無變量可引入方程時(shí)，第二階段逐步計(jì)算即告結(jié)束，這時(shí)轉(zhuǎn)入第三階段。（3）其他計(jì)算，主要是計(jì)算回歸方程入選變量的系數(shù)、復(fù)相關(guān)系數(shù)及殘差等統(tǒng)計(jì)量。逐步回歸選取變量是逐漸增加的。選取第1個(gè)變量時(shí)僅要求與前面已選的J-1個(gè)變量配合起來有最小的殘差平方和，因此最終選出的1個(gè)重要變量有時(shí)可能不是使殘差平方和最小的1個(gè)，但大量實(shí)際問題計(jì)算結(jié)果表明，這I個(gè)變量常常就是所有1個(gè)變量的組合中具有最小殘差平方和的那一個(gè)組合，特別當(dāng)不太大時(shí)更是如此，這表明逐步回歸是比較有效的方法。引人回歸方程的變量的個(gè)數(shù)與各變量貢獻(xiàn)的顯著性

7、檢驗(yàn)中所規(guī)定的F檢驗(yàn)的臨界值片與網(wǎng)的取值大小有關(guān)。如果希望多選一些變量進(jìn)人回歸方程，則應(yīng)適當(dāng)增大檢驗(yàn)水平a值，即減小凡:月的值，特別地，當(dāng)月=鳥二口時(shí)，則全部變量都將被選入，這時(shí)逐步回歸就變?yōu)橐话愕亩嘣€性回歸。相反，如果a取得比較小，即片與F?取得比較大時(shí)，則入選的變量個(gè)數(shù)就要減少。止匕外，還要注意，在實(shí)際問題中，當(dāng)觀測(cè)數(shù)據(jù)樣本容量力較小時(shí)，入選變量個(gè)數(shù)I不宜選得過大，否則被確定的系數(shù)號(hào)的精度將較差©IZmanage-comFuelModel240RecessionLineY-0975+0.928XRS=0d4Sk>pe=1Mercep*-0/Typicalregressio

8、nanalysis30PredictedRate*of-Spread(fUmin)相關(guān)分析研究的是現(xiàn)象之間是否相關(guān)、相關(guān)的方向和密切程度，一般不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關(guān)的具體形式，確定其因果關(guān)系，并用數(shù)學(xué)模型來表現(xiàn)其具體關(guān)系。比如說,從相關(guān)分析中我們可以得知質(zhì)量”和用戶滿意度”變量密切相關(guān)，但是這兩個(gè)變量之間到底是哪個(gè)變量受哪個(gè)變量的影響，影響程度如何，則需要通過回歸分析方法來確定。一般來說，回歸分析是通過規(guī)定因變量和自變量來確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實(shí)測(cè)數(shù)據(jù)來求解模型的各個(gè)參數(shù)，然后評(píng)價(jià)回歸模型是否能夠很好的擬合實(shí)測(cè)數(shù)據(jù)；如果能夠很好的擬合，則可以

9、根據(jù)自變量作進(jìn)一步預(yù)測(cè)?；乇P帚分析法是定量H測(cè)方法之一。它依擄i事物內(nèi)部因素建化的因果系來H測(cè)事物未來的彝展超勢(shì)。由于它依擄i的是事物內(nèi)部的樊展規(guī)律，因此造槿方法比較精確I。汨膝艮工作中常用的是一元性回盤帚和多元性回盤帚模型。一元性回盤帚是指事物樊展的自燮量典因燮量之是罩因素的曾軍性系，它的模型可以表示卷：y=a+bx其中y是因燮量，x是自燮量，a是常數(shù)，b是回值帚系數(shù)。多元性回盤帚是指一彳固因燮量典多偃I自燮量之的性系。模型的一般型式卷：y=a+b1x1+b2x2+,+bnxn其中，y是因燮量，x1、x2、，xn是自燮量，a是常數(shù)，bl、b2、，bn是回H帚系數(shù)。什么是回歸分析？釋義回歸分析一個(gè)統(tǒng)計(jì)預(yù)測(cè)模型，用以描述和評(píng)估應(yīng)變量與一個(gè)或多個(gè)自變量之間的關(guān)系?；貧w分析的應(yīng)用。優(yōu)點(diǎn)基于一個(gè)給定的商業(yè)指標(biāo)（應(yīng)變量）與其相關(guān)商業(yè)驅(qū)動(dòng)因素（說明變量）交互作用關(guān)系，回歸分析能夠?qū)υ撝笜?biāo)結(jié)果進(jìn)行預(yù)測(cè)。例如，回歸分析能夠預(yù)測(cè)根據(jù)你的廣告花費(fèi)以及你雇用的銷售人數(shù)預(yù)測(cè)出你的銷售量。當(dāng)然，真實(shí)地回歸分析模型要比這個(gè)例子復(fù)雜得多，需要更多的變量。沒有人能夠真正看到未來是什么模樣，但是，得益于現(xiàn)代統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)計(jì)量學(xué)理論模型以及BusinessIntelligence商業(yè)智能軟件的幫助，我們確實(shí)可以對(duì)未來發(fā)生的事情進(jìn)行預(yù)測(cè)和評(píng)估。Regressio