第四章回歸分析逐步回歸分析

第四章回歸分析逐步回歸分析1第1頁，共48頁，2023年，2月20日，星期三最優(yōu)回歸方程的問題尋求最優(yōu)回歸方程的問題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立2p-1個(gè)回歸方程。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求回歸效果最佳自變量的個(gè)數(shù)最少選擇一個(gè)最佳的變量組合一方面對因變量起顯著作用的自變量都選進(jìn)回歸方程，另一方面對因變量作用不顯著的自變量都剔除回歸方程，2第2頁，共48頁，2023年，2月20日，星期三選擇最優(yōu)回歸方程的方法方法一：窮盡法從所有可能的變量組合中，選擇其中最優(yōu)的回歸方程這種方法一定能選出一個(gè)最優(yōu)組合，但工作量特別大方法二：逐步剔除法基本步驟：從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對因變量作用不顯著的自變量；對剔除后剩下的q個(gè)自變量建立對因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入3第3頁，共48頁，2023年，2月20日，星期三方法三：逐步引入法（1）基本步驟：①先逐個(gè)比較xl,…,xp對y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無妨設(shè)x就是x1②再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對y的回歸方程，看有沒有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無妨設(shè)第二次“引入”的自變量是x2③再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程4第4頁，共48頁，2023年，2月20日，星期三方法四：逐步回歸分析方法按照自變量對因變量所起作用的顯著程度，從大到小逐個(gè)地引入回歸方程當(dāng)每一變量引入以后，若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時(shí)，就及時(shí)從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個(gè)最佳的變量組合為止（2）“逐步引入“法的缺點(diǎn)：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求5第5頁，共48頁，2023年，2月20日，星期三逐步回歸分析的幾個(gè)問題一、建立標(biāo)準(zhǔn)正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系6第6頁，共48頁，2023年，2月20日，星期三一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對因變量Y所起影響(或作用)的大小，一個(gè)自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個(gè)自變量保持不變的條件下，Xj改變一個(gè)單位所引起Y

平均變化的大小。因而回歸系數(shù)絕對值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級(jí))有關(guān)，而各個(gè)自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進(jìn)行比較7第7頁，共48頁，2023年，2月20日，星期三建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對自變量和因變量都要加以標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化的方法經(jīng)過標(biāo)準(zhǔn)化的變量，其均值為0，標(biāo)準(zhǔn)離差Lxjxj為1事實(shí)上，8第8頁，共48頁，2023年，2月20日，星期三標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標(biāo)準(zhǔn)化正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組為：9第9頁，共48頁，2023年，2月20日，星期三標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)，其常數(shù)項(xiàng)為0由于因變量也進(jìn)行了標(biāo)準(zhǔn)化，其總離差平方和Lyy=1求解標(biāo)準(zhǔn)化正規(guī)方程組還需要解決以下兩個(gè)問題①引入變量和剔除變量的標(biāo)準(zhǔn)；②引入變量與剔除變量的方法。10第10頁，共48頁，2023年，2月20日，星期三二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個(gè)自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號(hào)U(x1,…,xl)和Q(x1,…,xl)表示11第11頁，共48頁，2023年，2月20日，星期三當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來的分解公式是注意到上兩式左端Lyy是一樣的，當(dāng)xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)12第12頁，共48頁，2023年，2月20日，星期三因此，有記

ui就是回歸方程中引入xi后對回歸平方和的貢獻(xiàn)，即偏回歸平方和，且有13第13頁，共48頁，2023年，2月20日，星期三經(jīng)F

檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果xi原來已經(jīng)在回歸方程中，若檢驗(yàn)后其作用不顯著，可及時(shí)從回歸方程中剔除出去。利用統(tǒng)計(jì)量因此，取剔除和引入變量xi的標(biāo)準(zhǔn)相同，即14第14頁，共48頁，2023年，2月20日，星期三在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都涉及變換，變換公式相同，采用求解求逆緊湊格式在第s次對第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系15第15頁，共48頁，2023年，2月20日，星期三由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui(s)為：由可推倒出來ui(s)為下一步引進(jìn)變量的指標(biāo)，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進(jìn)行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）16第16頁，共48頁，2023年，2月20日，星期三式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進(jìn)的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗(yàn)。在未引入的變量中檢驗(yàn)有無回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗(yàn)。反復(fù)進(jìn)行，直到?jīng)]有變量可以引進(jìn)，也沒有變量可以從方程中剔除為止。構(gòu)造檢驗(yàn)統(tǒng)計(jì)量17第17頁，共48頁，2023年，2月20日，星期三用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)系當(dāng)消去正規(guī)方程組系數(shù)矩陣的第一列時(shí)，常數(shù)項(xiàng)列的第一個(gè)數(shù)就是只有x1這一個(gè)自變量情況下所建立的回歸方程的回歸系數(shù)這是因?yàn)椋寒?dāng)回歸方程只有一個(gè)自變量時(shí)，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項(xiàng)部分就是該變量的解，即回歸系數(shù)。18第18頁，共48頁，2023年，2月20日，星期三二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時(shí)，常數(shù)項(xiàng)列中的第一、二兩個(gè)數(shù)即為只有x1，x2兩個(gè)自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個(gè)自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價(jià)于回歸方程中引入一個(gè)新的變量，而且與變量排列的順序無關(guān)。19第19頁，共48頁，2023年，2月20日，星期三由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把它化為一般回歸系數(shù)兩者關(guān)系為：其中Lii和LYY為變量Xi和Y的方差。二、變量的引入、剔除與消去法的關(guān)系推導(dǎo)20第20頁，共48頁，2023年，2月20日，星期三三、例題分析【例】某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過試驗(yàn)，取得數(shù)據(jù)資料如右所示：編號(hào)X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.421第21頁，共48頁，2023年，2月20日，星期三說明：按第一種方法選最優(yōu)，全部可能的回歸方程有C41+C42+C43+C44=15個(gè)計(jì)算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣R(0)準(zhǔn)備工作：22第22頁，共48頁，2023年，2月20日，星期三根據(jù)本例資料，算出從矩陣R(0)中可以看出：x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)23第23頁，共48頁，2023年，2月20日，星期三逐步回歸步驟：計(jì)算公式：t－變換步數(shù)第一步(t=1)

①選擇第一個(gè)變量進(jìn)入回歸方程對所有4個(gè)變量，按下面公式計(jì)算偏回歸平方和←當(dāng)變量引入回歸方程后24第24頁，共48頁，2023年，2月20日，星期三計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值最大，即x4對y的回歸貢獻(xiàn)最大，于是優(yōu)先考慮選入x425第25頁，共48頁，2023年，2月20日，星期三②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的變量個(gè)數(shù)求解回歸方程時(shí)，若對資料進(jìn)行標(biāo)準(zhǔn)化處理，可以證明：統(tǒng)計(jì)量26第26頁，共48頁，2023年，2月20日，星期三當(dāng)引入第一個(gè)因子時(shí)，l＝1故則統(tǒng)計(jì)量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對回歸方程的貢獻(xiàn)是顯著的，應(yīng)將x4引入方程。27第27頁，共48頁，2023年，2月20日，星期三③矩陣R(0)的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元進(jìn)行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元變換過程要求按a→d順序進(jìn)行。28第28頁，共48頁，2023年，2月20日，星期三記變換后的矩陣為R(1),(t=1)解29第29頁，共48頁，2023年，2月20日，星期三④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和回歸方程的標(biāo)準(zhǔn)形式為：其中l(wèi)＝1，表明方程只引入一個(gè)變量30第30頁，共48頁，2023年，2月20日，星期三回歸方程的一般形式為：一般回歸系數(shù)為：常數(shù)項(xiàng)為31第31頁，共48頁，2023年，2月20日，星期三第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對不在回歸方程中的每個(gè)變量做計(jì)算）其中以u1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗(yàn)）?！?A32第32頁，共48頁，2023年，2月20日，星期三②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個(gè)變量時(shí)的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個(gè)因子，即l=233第33頁，共48頁，2023年，2月20日，星期三③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引入因子x1后，對原有因子x4重新檢驗(yàn)（偏回歸檢驗(yàn)）←剔除檢驗(yàn)因?yàn)镕4(2)>F0.05(1,10)，因此x4不應(yīng)從方程中剔除。

*(2)解*(2)

解即以x1的回歸方程引入x4后的偏回歸顯著性檢驗(yàn)，其中，x1的回歸貢獻(xiàn)為0.5339，而x4的偏回歸貢獻(xiàn)為0.4385的，合計(jì)為0.972434第34頁，共48頁，2023年，2月20日，星期三⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：剩余平方和：35第35頁，共48頁，2023年，2月20日，星期三第三步(t=3)①選擇第三個(gè)變量引入回歸方程計(jì)算偏回歸平方和ui(3)(i=2,3)（利用R(2)對不在回歸方程中的每個(gè)變量做計(jì)算）其中u2(3)>u3(3)，變量x2的偏回歸平方和最大，選擇x2②引入檢驗(yàn)偏回歸系數(shù)檢驗(yàn)36第36頁，共48頁，2023年，2月20日，星期三③矩陣R(2)的高斯－亞當(dāng)變換引入x2,以r22(2)為主元進(jìn)行，記變換后的矩陣為R(3)④引入x2后，對原有因子x1、x4重新檢驗(yàn)(l=3)←剔除檢驗(yàn)

*(3)解

*(3)解

*(3)解上式表示，以x2為自變量的方程，再引入x1、x4后，產(chǎn)生的偏回歸貢獻(xiàn)37第37頁，共48頁，2023年，2月20日，星期三其中u4(3)較小，計(jì)算由于，因此，應(yīng)把x4從回歸方程中剔除。說明：由于因子x2的引入，造成變量x4的顯著性大大降低，回歸方程中變量x4的存在是多余的，予以剔除。38第38頁，共48頁，2023年，2月20日，星期三⑤矩陣R(3)以r44(3)為主元做高斯－亞當(dāng)變換，記變換后的矩陣為R(4)

*(4)解

*(4)解39第39頁，共48頁，2023年，2月20日，星期三⑥剔除x4后，再檢驗(yàn)x1、x2因由于均大于F=4.10，所以x1、x2均不剔除。40第40頁，共48頁，2023年，2月20日，