第四講-回歸分析3逐步回歸分析課件

逐步回歸分析第四講回歸分析3逐步回歸分析1逐步回歸分析第四講回歸分析3逐步回歸分析1最優(yōu)回歸方程的問(wèn)題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求：回歸效果最佳自變量的個(gè)數(shù)最少一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸方程，另一方面對(duì)因變量作用不顯著的自變量都剔除回歸方程，選擇一個(gè)最佳的變量組合第四講回歸分析3逐步回歸分析2最優(yōu)回歸方程的問(wèn)題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個(gè)最優(yōu)的回歸方程。這種方法一定能選出一個(gè)最優(yōu)組合，但工作量特別大

2.逐步剔除法基本步驟：從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對(duì)因變量作用不顯著的自變量；對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入第四講回歸分析3逐步回歸分析3選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個(gè)3.逐步引入法①基本步驟：先逐個(gè)比較xl,…,xp對(duì)y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無(wú)妨設(shè)x就是x1再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對(duì)y的回歸方程，看有沒(méi)有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無(wú)妨設(shè)第二次“引入”的自變量是x2再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒(méi)有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程第四講回歸分析3逐步回歸分析43.逐步引入法①基本步驟：先逐個(gè)比較xl,…,xp對(duì)y4．逐步回歸分析方法按照自變量對(duì)因變量所起作用的顯著程度，從大到小逐個(gè)地引入回歸方程當(dāng)每一變量引入以后，若先前已經(jīng)引入的變量由于后來(lái)變量的引入而使其作用變得不顯著時(shí)，就及時(shí)從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個(gè)最佳的變量組合為止②“逐步引入“法的缺點(diǎn)：不能反映后來(lái)變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求第四講回歸分析3逐步回歸分析54．逐步回歸分析方法②“逐步引入“法的缺點(diǎn)：第四講回歸分逐步回歸分析的幾個(gè)問(wèn)題一、建立標(biāo)準(zhǔn)正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析6逐步回歸分析的幾個(gè)問(wèn)題一、建立標(biāo)準(zhǔn)正規(guī)方程組第四講回歸分析一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對(duì)因變量Y所起影響(或作用)的大小，一個(gè)自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對(duì)值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個(gè)自變量保持不變的條件下，Xj改變一個(gè)單位所引起Y

平均變化的大小。因而回歸系數(shù)絕對(duì)值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級(jí))有關(guān)，而各個(gè)自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進(jìn)行比較第四講回歸分析3逐步回歸分析7一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對(duì)因變量Y所起建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化的方法經(jīng)過(guò)標(biāo)準(zhǔn)化的變量，其均值為0，標(biāo)準(zhǔn)離差Lxjxj為1第四講回歸分析3逐步回歸分析8建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標(biāo)準(zhǔn)化正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組為：第四講回歸分析3逐步回歸分析9標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)，其常數(shù)項(xiàng)為0。由于因變量也進(jìn)行了標(biāo)準(zhǔn)化，其總離差平方和Lyy=1求解標(biāo)準(zhǔn)化正規(guī)方程組還需要解決以下兩個(gè)問(wèn)題①引入變量和剔除變量的標(biāo)準(zhǔn)；②引入變量與剔除變量的方法。第四講回歸分析3逐步回歸分析10標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)二、變量的引入、剔除與消去法的關(guān)系

假定已有l(wèi)個(gè)自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號(hào)U(x1,…,xl)和Q(x1,…,xl)表示第四講回歸分析3逐步回歸分析11二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個(gè)自變量引當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來(lái)的是注意到上兩式左端Lyy是一樣的，當(dāng)xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四講回歸分析3逐步回歸分析12當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)因此，有記

ui就是回歸方程中引入xi后對(duì)回歸平方和的貢獻(xiàn)，即偏回歸平方和，且有第四講回歸分析3逐步回歸分析13因此，有記ui就是回歸方程中引入xi后對(duì)回歸經(jīng)F

檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果xi原來(lái)已經(jīng)在回歸方程中，若檢驗(yàn)后其作用不顯著，可及時(shí)從回歸方程中剔除出去。利用統(tǒng)計(jì)量因此，取剔除和引入變量xi的標(biāo)準(zhǔn)相同，即第四講回歸分析3逐步回歸分析14經(jīng)F檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果x在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換，變換公式相同，采用求解求逆緊湊格式在第s次對(duì)第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析15在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換，變換公式相由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui(s)為：由可推倒出來(lái)ui(s)為下一步引進(jìn)變量的指標(biāo)，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進(jìn)行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）第四講回歸分析3逐步回歸分析16由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進(jìn)的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗(yàn)。在未引入的變量中檢驗(yàn)有無(wú)回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗(yàn)。反復(fù)進(jìn)行，直到?jīng)]有變量可以引進(jìn)，也沒(méi)有變量可以從方程中剔除為止。構(gòu)造檢驗(yàn)統(tǒng)計(jì)量第四講回歸分析3逐步回歸分析17式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F用消去法求解正規(guī)方程組的過(guò)程二、變量的引入、剔除與消去法的關(guān)系當(dāng)消去正規(guī)方程組系數(shù)矩陣的第一列時(shí)，常數(shù)項(xiàng)列的第一個(gè)數(shù)就是只有x1這一個(gè)自變量情況下所建立的回歸方程的回歸系數(shù)

這是因?yàn)椋寒?dāng)回歸方程只有一個(gè)自變量時(shí)，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項(xiàng)部分就是該變量的解，即回歸系數(shù)。第四講回歸分析3逐步回歸分析18用消去法求解正規(guī)方程組的過(guò)程二、變量的引入、剔除與消去法的關(guān)二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時(shí)，常數(shù)項(xiàng)列中的第一、二兩個(gè)數(shù)即為只有x1，x2兩個(gè)自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個(gè)自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價(jià)于回歸方程中引入一個(gè)新的變量，而且與變量排列的順序無(wú)關(guān)。第四講回歸分析3逐步回歸分析19二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把它化為一般回歸系數(shù)，其關(guān)系為：其中Lii

和Lyy為方差協(xié)方差矩陣中對(duì)應(yīng)元素，即變量Xi和因變量Y的方差。二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析20由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把三、實(shí)例【例】

某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過(guò)試驗(yàn)，取得數(shù)據(jù)資料如右所示：編號(hào)X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四講回歸分析3逐步回歸分析21三、實(shí)例【例】某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水說(shuō)明：按第一種方法選最優(yōu)，全部可能的回歸方程有個(gè)準(zhǔn)備工作：計(jì)算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣第四講回歸分析3逐步回歸分析22說(shuō)明：按第一種方法選最優(yōu)，全部可能的回歸方程有根據(jù)本例資料，算出從矩陣R(0)中可以看出：

x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)第四講回歸分析3逐步回歸分析23根據(jù)本例資料，算出從矩陣R(0)中可以看出：第四講回歸分析逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)

①選擇第一個(gè)變量進(jìn)入回歸方程對(duì)所有4個(gè)變量，按下面公式計(jì)算偏回歸平方和←當(dāng)變量引入回歸方程后第四講回歸分析3逐步回歸分析24逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)第四講

計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值最大，即x4對(duì)y的回歸貢獻(xiàn)最大，于是優(yōu)先考慮選入x4第四講回歸分析3逐步回歸分析25計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的變量個(gè)數(shù)求解回歸方程時(shí)，若對(duì)資料進(jìn)行標(biāo)準(zhǔn)化處理，可以證明：統(tǒng)計(jì)量第四講回歸分析3逐步回歸分析26②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的當(dāng)引入第一個(gè)因子時(shí)（l＝1），故則統(tǒng)計(jì)量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對(duì)回歸方程的貢獻(xiàn)是顯著的，應(yīng)將x4引入方程。第四講回歸分析3逐步回歸分析27當(dāng)引入第一個(gè)因子時(shí)（l＝1），故則統(tǒng)計(jì)量于是由于F4(1)③矩陣R(0)

的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元進(jìn)行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

變換過(guò)程要求按a→d

順序進(jìn)行。第四講回歸分析3逐步回歸分析28③矩陣R(0)的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元記變換后的矩陣為R(1),(t=1)

解第四講回歸分析3逐步回歸分析29記變換后的矩陣為R(1),(t=1)解第四講回歸分④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和標(biāo)準(zhǔn)回歸方程為：其中l(wèi)＝1，表明方程只引入一個(gè)變量第四講回歸分析3逐步回歸分析30④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的一般回歸方程為：一般回歸系數(shù)為：常數(shù)項(xiàng)為第四講回歸分析3逐步回歸分析31一般回歸方程為：一般回歸系數(shù)為：常數(shù)項(xiàng)為第四講回歸分析3逐第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對(duì)不在回歸方程中的每個(gè)變量做計(jì)算）其中以u(píng)1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗(yàn)）?！?A第四講回歸分析3逐步回歸分析32第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個(gè)變量時(shí)的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個(gè)因子，即l=2第四講回歸分析3逐步回歸分析33②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引入因子x1后，對(duì)原有因子x4重新檢驗(yàn)（偏回歸檢驗(yàn)）←剔除檢驗(yàn)因?yàn)椋虼藊4不應(yīng)從方程中剔除。

*(2)解*(2)

解第四講回歸分析3逐步回歸分析34③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：剩余平方和：第四講回歸分析3逐步回歸分析35⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：第三步(t=3)①選擇第三個(gè)變量引入回歸方程計(jì)算偏回歸平方和ui(3)(i=2,3)（利用R(2)對(duì)不在回歸方程中的每個(gè)變量做計(jì)算）其中u2(3)>u3(3)，變量x2的偏回歸平方和最小，選擇x2②引入檢驗(yàn)偏回歸系數(shù)檢驗(yàn)第四講回歸分析3逐步回歸分析36第三步(t=3)①選擇第三個(gè)變量引入回歸方程計(jì)算偏回歸平③矩陣R(2)的高斯－亞當(dāng)變換引入x2,以r22(2)為主元進(jìn)行，記變換后的矩陣為R(3)④引入x2后，對(duì)原有因子x1、x4重新檢驗(yàn)(l=3)←剔除檢驗(yàn)

*(3)解

*(3)解

*(3)解第四講回歸分析3逐步回歸分析37③矩陣R(2)的高斯－亞當(dāng)變換引入x2,以r22(2)為其中u4(3)較小，計(jì)算由于，因此，應(yīng)把x4從回歸方程中剔除。說(shuō)明：由于因子x2的引入，造成變量x4的顯著性大大降低，回歸方程中變量x4的存在是多余的，予以剔除。第四講回歸分析3逐步回歸分析38其中u4(3)較小，計(jì)算由于，因⑤矩陣R(3)以r44(3)為主元做高斯－亞當(dāng)變換，記變換后的矩陣為R(4)

*(4)解

*(4)解第四講回歸分析3逐步回歸分析39⑤矩陣R(3)以r44(3)為主元做高斯－亞當(dāng)變換，⑥剔除x4后，再檢驗(yàn)x1、x2因由于均大于F=4.10，所以x1、x2均不剔除。第四講回歸分析3逐步回歸分析40⑥剔除x4后，再檢驗(yàn)x1、x2因由于第四步①引入新變量計(jì)算偏回歸平方和因?yàn)?，且x4是剛剛在上一步中被剔除的變量，故不需要再作F檢驗(yàn)就知道它不顯著→再?zèng)]有變量可引入回歸方程，逐步回歸選因子結(jié)束第四講回歸分析3逐步回歸分析41第四步①引入新變量計(jì)算偏回歸平方和因?yàn)榈谖宀街鸩交貧w方程的建立引入變量x1、x2后，由R(4)得到標(biāo)準(zhǔn)回歸系數(shù)：原方程的回歸系數(shù)其中因而第四講回歸分析3逐步回歸分析42第五步逐步回歸方程的建立引入變量x1、x2后，由R(4)得回歸方程為：剩余平方和：估計(jì)標(biāo)準(zhǔn)誤差：復(fù)相關(guān)系數(shù)：方程F檢驗(yàn)：第四講回歸分析3逐步回歸分析43回歸方程為：剩余平方和：估計(jì)標(biāo)準(zhǔn)誤差：復(fù)相關(guān)系數(shù)：方程F檢驗(yàn)END第四講回歸分析3逐步回歸分析44END第四講回歸分析3逐步回歸分析44

證明如下：在第0步，還沒(méi)有因子引入回歸方程，剩余方差Q(0)達(dá)到最大，即在第一步，引入因子，k1是1,2,…,m中的任一個(gè)數(shù),剩余方差為第四講回歸分析3逐步回歸分析45證明如下：在第0步，還沒(méi)有因子引入回歸方程，剩余方差Q(0第二步，繼續(xù)引入因子，，k2也是1,2,…,m中一個(gè)數(shù)。這時(shí)，如此下去，我們討論第l步第l步，繼續(xù)引入因子，kl也是1,2,…,m中一個(gè)數(shù)。這時(shí)，證畢第四講回歸分析3逐步回歸分析46第二步，繼續(xù)引入因子，，k2也求解求逆緊湊變換法設(shè)方程組為第四講回歸分析3逐步回歸分析47求解求逆緊湊變換法設(shè)方程組為第四講回歸分析3逐步回歸分析4此課件下載可自行編輯修改，供參考！感謝您的支持，我們努力做得更好！第四講回歸分析3逐步回歸分析此課件下載可自行編輯修改，供參考！第四講回歸分析3逐步回歸48逐步回歸分析第四講回歸分析3逐步回歸分析49逐步回歸分析第四講回歸分析3逐步回歸分析1最優(yōu)回歸方程的問(wèn)題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求：回歸效果最佳自變量的個(gè)數(shù)最少一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸方程，另一方面對(duì)因變量作用不顯著的自變量都剔除回歸方程，選擇一個(gè)最佳的變量組合第四講回歸分析3逐步回歸分析50最優(yōu)回歸方程的問(wèn)題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個(gè)最優(yōu)的回歸方程。這種方法一定能選出一個(gè)最優(yōu)組合，但工作量特別大

2.逐步剔除法基本步驟：從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對(duì)因變量作用不顯著的自變量；對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入第四講回歸分析3逐步回歸分析51選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個(gè)3.逐步引入法①基本步驟：先逐個(gè)比較xl,…,xp對(duì)y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無(wú)妨設(shè)x就是x1再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對(duì)y的回歸方程，看有沒(méi)有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無(wú)妨設(shè)第二次“引入”的自變量是x2再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒(méi)有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程第四講回歸分析3逐步回歸分析523.逐步引入法①基本步驟：先逐個(gè)比較xl,…,xp對(duì)y4．逐步回歸分析方法按照自變量對(duì)因變量所起作用的顯著程度，從大到小逐個(gè)地引入回歸方程當(dāng)每一變量引入以后，若先前已經(jīng)引入的變量由于后來(lái)變量的引入而使其作用變得不顯著時(shí)，就及時(shí)從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個(gè)最佳的變量組合為止②“逐步引入“法的缺點(diǎn)：不能反映后來(lái)變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求第四講回歸分析3逐步回歸分析534．逐步回歸分析方法②“逐步引入“法的缺點(diǎn)：第四講回歸分逐步回歸分析的幾個(gè)問(wèn)題一、建立標(biāo)準(zhǔn)正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析54逐步回歸分析的幾個(gè)問(wèn)題一、建立標(biāo)準(zhǔn)正規(guī)方程組第四講回歸分析一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對(duì)因變量Y所起影響(或作用)的大小，一個(gè)自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對(duì)值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個(gè)自變量保持不變的條件下，Xj改變一個(gè)單位所引起Y

平均變化的大小。因而回歸系數(shù)絕對(duì)值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級(jí))有關(guān)，而各個(gè)自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進(jìn)行比較第四講回歸分析3逐步回歸分析55一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對(duì)因變量Y所起建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化的方法經(jīng)過(guò)標(biāo)準(zhǔn)化的變量，其均值為0，標(biāo)準(zhǔn)離差Lxjxj為1第四講回歸分析3逐步回歸分析56建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標(biāo)準(zhǔn)化正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組為：第四講回歸分析3逐步回歸分析57標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)，其常數(shù)項(xiàng)為0。由于因變量也進(jìn)行了標(biāo)準(zhǔn)化，其總離差平方和Lyy=1求解標(biāo)準(zhǔn)化正規(guī)方程組還需要解決以下兩個(gè)問(wèn)題①引入變量和剔除變量的標(biāo)準(zhǔn)；②引入變量與剔除變量的方法。第四講回歸分析3逐步回歸分析58標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)二、變量的引入、剔除與消去法的關(guān)系

假定已有l(wèi)個(gè)自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號(hào)U(x1,…,xl)和Q(x1,…,xl)表示第四講回歸分析3逐步回歸分析59二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個(gè)自變量引當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來(lái)的是注意到上兩式左端Lyy是一樣的，當(dāng)xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四講回歸分析3逐步回歸分析60當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)因此，有記

ui就是回歸方程中引入xi后對(duì)回歸平方和的貢獻(xiàn)，即偏回歸平方和，且有第四講回歸分析3逐步回歸分析61因此，有記ui就是回歸方程中引入xi后對(duì)回歸經(jīng)F

檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果xi原來(lái)已經(jīng)在回歸方程中，若檢驗(yàn)后其作用不顯著，可及時(shí)從回歸方程中剔除出去。利用統(tǒng)計(jì)量因此，取剔除和引入變量xi的標(biāo)準(zhǔn)相同，即第四講回歸分析3逐步回歸分析62經(jīng)F檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果x在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換，變換公式相同，采用求解求逆緊湊格式在第s次對(duì)第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析63在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換，變換公式相由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui(s)為：由可推倒出來(lái)ui(s)為下一步引進(jìn)變量的指標(biāo)，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進(jìn)行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）第四講回歸分析3逐步回歸分析64由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進(jìn)的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗(yàn)。在未引入的變量中檢驗(yàn)有無(wú)回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗(yàn)。反復(fù)進(jìn)行，直到?jīng)]有變量可以引進(jìn)，也沒(méi)有變量可以從方程中剔除為止。構(gòu)造檢驗(yàn)統(tǒng)計(jì)量第四講回歸分析3逐步回歸分析65式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F用消去法求解正規(guī)方程組的過(guò)程二、變量的引入、剔除與消去法的關(guān)系當(dāng)消去正規(guī)方程組系數(shù)矩陣的第一列時(shí)，常數(shù)項(xiàng)列的第一個(gè)數(shù)就是只有x1這一個(gè)自變量情況下所建立的回歸方程的回歸系數(shù)

這是因?yàn)椋寒?dāng)回歸方程只有一個(gè)自變量時(shí)，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項(xiàng)部分就是該變量的解，即回歸系數(shù)。第四講回歸分析3逐步回歸分析66用消去法求解正規(guī)方程組的過(guò)程二、變量的引入、剔除與消去法的關(guān)二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時(shí)，常數(shù)項(xiàng)列中的第一、二兩個(gè)數(shù)即為只有x1，x2兩個(gè)自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個(gè)自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價(jià)于回歸方程中引入一個(gè)新的變量，而且與變量排列的順序無(wú)關(guān)。第四講回歸分析3逐步回歸分析67二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把它化為一般回歸系數(shù)，其關(guān)系為：其中Lii

和Lyy為方差協(xié)方差矩陣中對(duì)應(yīng)元素，即變量Xi和因變量Y的方差。二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析68由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把三、實(shí)例【例】

某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過(guò)試驗(yàn)，取得數(shù)據(jù)資料如右所示：編號(hào)X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四講回歸分析3逐步回歸分析69三、實(shí)例【例】某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水說(shuō)明：按第一種方法選最優(yōu)，全部可能的回歸方程有個(gè)準(zhǔn)備工作：計(jì)算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣第四講回歸分析3逐步回歸分析70說(shuō)明：按第一種方法選最優(yōu)，全部可能的回歸方程有根據(jù)本例資料，算出從矩陣R(0)中可以看出：

x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)第四講回歸分析3逐步回歸分析71根據(jù)本例資料，算出從矩陣R(0)中可以看出：第四講回歸分析逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)

①選擇第一個(gè)變量進(jìn)入回歸方程對(duì)所有4個(gè)變量，按下面公式計(jì)算偏回歸平方和←當(dāng)變量引入回歸方程后第四講回歸分析3逐步回歸分析72逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)第四講

計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值最大，即x4對(duì)y的回歸貢獻(xiàn)最大，于是優(yōu)先考慮選入x4第四講回歸分析3逐步回歸分析73計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的變量個(gè)數(shù)求解回歸方程時(shí)，若對(duì)資料進(jìn)行標(biāo)準(zhǔn)化處理，可以證明：統(tǒng)計(jì)量第四講回歸分析3逐步回歸分析74②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的當(dāng)引入第一個(gè)因子時(shí)（l＝1），故則統(tǒng)計(jì)量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對(duì)回歸方程的貢獻(xiàn)是顯著的，應(yīng)將x4引入方程。第四講回歸分析3逐步回歸分析75當(dāng)引入第一個(gè)因子時(shí)（l＝1），故則統(tǒng)計(jì)量于是由于F4(1)③矩陣R(0)

的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元進(jìn)行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

變換過(guò)程要求按a→d

順序進(jìn)行。第四講回歸分析3逐步回歸分析76③矩陣R(0)的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元記變換后的矩陣為R(1),(t=1)

解第四講回歸分析3逐步回歸分析77記變換后的矩陣為R(1),(t=1)解第四講回歸分④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和標(biāo)準(zhǔn)回歸方程為：其中l(wèi)＝1，表明方程只引入一個(gè)變量第四講回歸分析3逐步回歸分析78④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的一般回歸方程為：一般回歸系數(shù)為：常數(shù)項(xiàng)為第四講回歸分析3逐步回歸分析79一般回歸方程為：一般回歸系數(shù)為：常數(shù)項(xiàng)為第四講回歸分析3逐第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對(duì)不在回歸方程中的每個(gè)變量做計(jì)算）其中以u(píng)1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗(yàn)）。☆7A第四講回歸分析3逐步回歸分析80第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個(gè)變量時(shí)的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個(gè)因子，即l=2第四講回歸分析3逐步回歸分析81②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引入因子x1后，對(duì)原有因子x4重新檢驗(yàn)（偏回歸檢驗(yàn)）←剔除檢驗(yàn)因?yàn)?，因此x4不應(yīng)從方程中剔除。

*(2)解*(2)

解第四講回歸分析3逐步回歸分析82③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：剩余平方和：第四講回歸分析3逐步回歸分析83⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：第三步(t=3)①選擇第三個(gè)變量引入回歸方程計(jì)算偏回歸平方和ui(3)(