第四講-回歸分析3逐步回歸分析課件

逐步回歸分析第四講回歸分析3逐步回歸分析1逐步回歸分析第四講回歸分析3逐步回歸分析1最優(yōu)回歸方程的問題在有p個自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求：回歸效果最佳自變量的個數(shù)最少一方面對因變量起顯著作用的自變量都選進回歸方程，另一方面對因變量作用不顯著的自變量都剔除回歸方程，選擇一個最佳的變量組合第四講回歸分析3逐步回歸分析2最優(yōu)回歸方程的問題在有p個自變量的情況下，根據(jù)自變量的不同組選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個最優(yōu)的回歸方程。這種方法一定能選出一個最優(yōu)組合，但工作量特別大

2.逐步剔除法基本步驟：從包含全部p個自變量組合的回歸方程中逐個檢驗回歸系數(shù)，剔除對因變量作用不顯著的自變量；對剔除后剩下的q個自變量建立對因變量的多元回歸方程，再逐個檢驗回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點：一開始把全部自變量都要引入回歸方程，計算量很大，實際上有些不重要的就不必引入第四講回歸分析3逐步回歸分析3選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個3.逐步引入法①基本步驟：先逐個比較xl,…,xp對y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無妨設(shè)x就是x1再逐個比較(x1,x2)、(x1,x3)、…、(x1,xp)對y的回歸方程，看有沒有F值顯著的，此時的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無妨設(shè)第二次“引入”的自變量是x2再考察以x1、x2為基礎(chǔ)，逐個添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時就獲得了最后的回歸方程第四講回歸分析3逐步回歸分析43.逐步引入法①基本步驟：先逐個比較xl,…,xp對y4．逐步回歸分析方法按照自變量對因變量所起作用的顯著程度，從大到小逐個地引入回歸方程當每一變量引入以后，若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時，就及時從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個最佳的變量組合為止②“逐步引入“法的缺點：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達到這個要求第四講回歸分析3逐步回歸分析54．逐步回歸分析方法②“逐步引入“法的缺點：第四講回歸分逐步回歸分析的幾個問題一、建立標準正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析6逐步回歸分析的幾個問題一、建立標準正規(guī)方程組第四講回歸分析一、建立標準正規(guī)方程組為了分辨p個自變量對因變量Y所起影響(或作用)的大小，一個自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個自變量保持不變的條件下，Xj改變一個單位所引起Y

平均變化的大小。因而回歸系數(shù)絕對值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級)有關(guān)，而各個自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進行比較第四講回歸分析3逐步回歸分析7一、建立標準正規(guī)方程組為了分辨p個自變量對因變量Y所起建立標準正規(guī)方程組為了消除這個影響，對自變量和因變量都要加以標準化標準化的方法經(jīng)過標準化的變量，其均值為0，標準離差Lxjxj為1第四講回歸分析3逐步回歸分析8建立標準正規(guī)方程組為了消除這個影響，對自變量和因變量都要加以標準正規(guī)方程組由標準化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標準化正規(guī)方程組標準化正規(guī)方程組為：第四講回歸分析3逐步回歸分析9標準正規(guī)方程組由標準化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量標準正規(guī)方程組標準化正規(guī)方程組的解稱為標準回歸系數(shù)，其常數(shù)項為0。由于因變量也進行了標準化，其總離差平方和Lyy=1求解標準化正規(guī)方程組還需要解決以下兩個問題①引入變量和剔除變量的標準；②引入變量與剔除變量的方法。第四講回歸分析3逐步回歸分析10標準正規(guī)方程組標準化正規(guī)方程組的解稱為標準回歸系數(shù)二、變量的引入、剔除與消去法的關(guān)系

假定已有l(wèi)個自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號U(x1,…,xl)和Q(x1,…,xl)表示第四講回歸分析3逐步回歸分析11二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個自變量引當增加一個自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來的是注意到上兩式左端Lyy是一樣的，當xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四講回歸分析3逐步回歸分析12當增加一個自變量xi(i=l+1,…,p)因此，有記

ui就是回歸方程中引入xi后對回歸平方和的貢獻，即偏回歸平方和，且有第四講回歸分析3逐步回歸分析13因此，有記ui就是回歸方程中引入xi后對回歸經(jīng)F

檢驗，當xi作用顯著時，可將其引入。同理，如果xi原來已經(jīng)在回歸方程中，若檢驗后其作用不顯著，可及時從回歸方程中剔除出去。利用統(tǒng)計量因此，取剔除和引入變量xi的標準相同，即第四講回歸分析3逐步回歸分析14經(jīng)F檢驗，當xi作用顯著時，可將其引入。同理，如果x在逐步回歸中引入一個變量與剔除一個變量都要作變換，變換公式相同，采用求解求逆緊湊格式在第s次對第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析15在逐步回歸中引入一個變量與剔除一個變量都要作變換，變換公式相由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個變量的偏回歸平方和ui(s)為：由可推倒出來ui(s)為下一步引進變量的指標，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）第四講回歸分析3逐步回歸分析16由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個變量的偏回歸平方和ui式中，l為先前已經(jīng)引入到回歸方程中的變量個數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗。在未引入的變量中檢驗有無回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗。反復(fù)進行，直到?jīng)]有變量可以引進，也沒有變量可以從方程中剔除為止。構(gòu)造檢驗統(tǒng)計量第四講回歸分析3逐步回歸分析17式中，l為先前已經(jīng)引入到回歸方程中的變量個數(shù)，F(xiàn)i服從F用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)系當消去正規(guī)方程組系數(shù)矩陣的第一列時，常數(shù)項列的第一個數(shù)就是只有x1這一個自變量情況下所建立的回歸方程的回歸系數(shù)

這是因為：當回歸方程只有一個自變量時，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項部分就是該變量的解，即回歸系數(shù)。第四講回歸分析3逐步回歸分析18用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時，常數(shù)項列中的第一、二兩個數(shù)即為只有x1，x2兩個自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價于回歸方程中引入一個新的變量，而且與變量排列的順序無關(guān)。第四講回歸分析3逐步回歸分析19二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標準回歸系數(shù)，如果要把它化為一般回歸系數(shù)，其關(guān)系為：其中Lii

和Lyy為方差協(xié)方差矩陣中對應(yīng)元素，即變量Xi和因變量Y的方差。二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析20由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標準回歸系數(shù)，如果要把三、實例【例】

某種水泥在凝固時，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過試驗，取得數(shù)據(jù)資料如右所示：編號X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四講回歸分析3逐步回歸分析21三、實例【例】某種水泥在凝固時，放出的熱量Y（卡／克）與水說明：按第一種方法選最優(yōu)，全部可能的回歸方程有個準備工作：計算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣第四講回歸分析3逐步回歸分析22說明：按第一種方法選最優(yōu)，全部可能的回歸方程有根據(jù)本例資料，算出從矩陣R(0)中可以看出：

x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)第四講回歸分析3逐步回歸分析23根據(jù)本例資料，算出從矩陣R(0)中可以看出：第四講回歸分析逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)

①選擇第一個變量進入回歸方程對所有4個變量，按下面公式計算偏回歸平方和←當變量引入回歸方程后第四講回歸分析3逐步回歸分析24逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)第四講

計算結(jié)果為：比較4個ui(1)，可知第4個因子的偏回歸值最大，即x4對y的回歸貢獻最大，于是優(yōu)先考慮選入x4第四講回歸分析3逐步回歸分析25計算結(jié)果為：比較4個ui(1)，可知第4個因子的偏回歸值②引入因素的顯著性檢驗其中，分子的自由度是1，l為方程中的變量個數(shù)求解回歸方程時，若對資料進行標準化處理，可以證明：統(tǒng)計量第四講回歸分析3逐步回歸分析26②引入因素的顯著性檢驗其中，分子的自由度是1，l為方程中的當引入第一個因子時（l＝1），故則統(tǒng)計量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對回歸方程的貢獻是顯著的，應(yīng)將x4引入方程。第四講回歸分析3逐步回歸分析27當引入第一個因子時（l＝1），故則統(tǒng)計量于是由于F4(1)③矩陣R(0)

的高斯－亞當變換（緊湊變換方式）以x4為主元進行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

變換過程要求按a→d

順序進行。第四講回歸分析3逐步回歸分析28③矩陣R(0)的高斯－亞當變換（緊湊變換方式）以x4為主元記變換后的矩陣為R(1),(t=1)

解第四講回歸分析3逐步回歸分析29記變換后的矩陣為R(1),(t=1)解第四講回歸分④x4引入回歸方程后的結(jié)果標準回歸系數(shù)（利用標準化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和標準回歸方程為：其中l(wèi)＝1，表明方程只引入一個變量第四講回歸分析3逐步回歸分析30④x4引入回歸方程后的結(jié)果標準回歸系數(shù)（利用標準化數(shù)據(jù)求得的一般回歸方程為：一般回歸系數(shù)為：常數(shù)項為第四講回歸分析3逐步回歸分析31一般回歸方程為：一般回歸系數(shù)為：常數(shù)項為第四講回歸分析3逐第二步(t=2)①選擇第二個變量進入回歸方程計算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對不在回歸方程中的每個變量做計算）其中以u1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗）?！?A第四講回歸分析3逐步回歸分析32第二步(t=2)①選擇第二個變量進入回歸方程計算偏回歸平②引入變量的檢驗（引入檢驗）偏回歸系數(shù)檢驗式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個變量時的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個因子，即l=2第四講回歸分析3逐步回歸分析33②引入變量的檢驗（引入檢驗）偏回歸系數(shù)檢驗式中，分母表示x1③矩陣R(1)的高斯－亞當變換記變換后的矩陣為R(2)④引入因子x1后，對原有因子x4重新檢驗（偏回歸檢驗）←剔除檢驗因為，因此x4不應(yīng)從方程中剔除。

*(2)解*(2)

解第四講回歸分析3逐步回歸分析34③矩陣R(1)的高斯－亞當變換記變換后的矩陣為R(2)④引⑤將x1引入回歸方程的結(jié)果標準回歸系數(shù)：回歸方程的一般形式：剩余平方和：第四講回歸分析3逐步回歸分析35⑤將x1引入回歸方程的結(jié)果標準回歸系數(shù)：回歸方程的一般形式：第三步(t=3)①選擇第三個變量引入回歸方程計算偏回歸平方和ui(3)(i=2,3)（利用R(2)對不在回歸方程中的每個變量做計算）其中u2(3)>u3(3)，變量x2的偏回歸平方和最小，選擇x2②引入檢驗偏回歸系數(shù)檢驗第四講回歸分析3逐步回歸分析36第三步(t=3)①選擇第三個變量引入回歸方程計算偏回歸平③矩陣R(2)的高斯－亞當變換引入x2,以r22(2)為主元進行，記變換后的矩陣為R(3)④引入x2后，對原有因子x1、x4重新檢驗(l=3)←剔除檢驗

*(3)解

*(3)解

*(3)解第四講回歸分析3逐步回歸分析37③矩陣R(2)的高斯－亞當變換引入x2,以r22(2)為其中u4(3)較小，計算由于，因此，應(yīng)把x4從回歸方程中剔除。說明：由于因子x2的引入，造成變量x4的顯著性大大降低，回歸方程中變量x4的存在是多余的，予以剔除。第四講回歸分析3逐步回歸分析38其中u4(3)較小，計算由于，因⑤矩陣R(3)以r44(3)為主元做高斯－亞當變換，記變換后的矩陣為R(4)

*(4)解

*(4)解第四講回歸分析3逐步回歸分析39⑤矩陣R(3)以r44(3)為主元做高斯－亞當變換，⑥剔除x4后，再檢驗x1、x2因由于均大于F=4.10，所以x1、x2均不剔除。第四講回歸分析3逐步回歸分析40⑥剔除x4后，再檢驗x1、x2因由于第四步①引入新變量計算偏回歸平方和因為，且x4是剛剛在上一步中被剔除的變量，故不需要再作F檢驗就知道它不顯著→再沒有變量可引入回歸方程，逐步回歸選因子結(jié)束第四講回歸分析3逐步回歸分析41第四步①引入新變量計算偏回歸平方和因為第五步逐步回歸方程的建立引入變量x1、x2后，由R(4)得到標準回歸系數(shù)：原方程的回歸系數(shù)其中因而第四講回歸分析3逐步回歸分析42第五步逐步回歸方程的建立引入變量x1、x2后，由R(4)得回歸方程為：剩余平方和：估計標準誤差：復(fù)相關(guān)系數(shù)：方程F檢驗：第四講回歸分析3逐步回歸分析43回歸方程為：剩余平方和：估計標準誤差：復(fù)相關(guān)系數(shù)：方程F檢驗END第四講回歸分析3逐步回歸分析44END第四講回歸分析3逐步回歸分析44

證明如下：在第0步，還沒有因子引入回歸方程，剩余方差Q(0)達到最大，即在第一步，引入因子，k1是1,2,…,m中的任一個數(shù),剩余方差為第四講回歸分析3逐步回歸分析45證明如下：在第0步，還沒有因子引入回歸方程，剩余方差Q(0第二步，繼續(xù)引入因子，，k2也是1,2,…,m中一個數(shù)。這時，如此下去，我們討論第l步第l步，繼續(xù)引入因子，kl也是1,2,…,m中一個數(shù)。這時，證畢第四講回歸分析3逐步回歸分析46第二步，繼續(xù)引入因子，，k2也求解求逆緊湊變換法設(shè)方程組為第四講回歸分析3逐步回歸分析47求解求逆緊湊變換法設(shè)方程組為第四講回歸分析3逐步回歸分析4此課件下載可自行編輯修改，供參考！感謝您的支持，我們努力做得更好！第四講回歸分析3逐步回歸分析此課件下載可自行編輯修改，供參考！第四講回歸分析3逐步回歸48逐步回歸分析第四講回歸分析3逐步回歸分析49逐步回歸分析第四講回歸分析3逐步回歸分析1最優(yōu)回歸方程的問題在有p個自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求：回歸效果最佳自變量的個數(shù)最少一方面對因變量起顯著作用的自變量都選進回歸方程，另一方面對因變量作用不顯著的自變量都剔除回歸方程，選擇一個最佳的變量組合第四講回歸分析3逐步回歸分析50最優(yōu)回歸方程的問題在有p個自變量的情況下，根據(jù)自變量的不同組選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個最優(yōu)的回歸方程。這種方法一定能選出一個最優(yōu)組合，但工作量特別大

2.逐步剔除法基本步驟：從包含全部p個自變量組合的回歸方程中逐個檢驗回歸系數(shù)，剔除對因變量作用不顯著的自變量；對剔除后剩下的q個自變量建立對因變量的多元回歸方程，再逐個檢驗回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點：一開始把全部自變量都要引入回歸方程，計算量很大，實際上有些不重要的就不必引入第四講回歸分析3逐步回歸分析51選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個3.逐步引入法①基本步驟：先逐個比較xl,…,xp對y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無妨設(shè)x就是x1再逐個比較(x1,x2)、(x1,x3)、…、(x1,xp)對y的回歸方程，看有沒有F值顯著的，此時的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無妨設(shè)第二次“引入”的自變量是x2再考察以x1、x2為基礎(chǔ)，逐個添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時就獲得了最后的回歸方程第四講回歸分析3逐步回歸分析523.逐步引入法①基本步驟：先逐個比較xl,…,xp對y4．逐步回歸分析方法按照自變量對因變量所起作用的顯著程度，從大到小逐個地引入回歸方程當每一變量引入以后，若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時，就及時從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個最佳的變量組合為止②“逐步引入“法的缺點：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達到這個要求第四講回歸分析3逐步回歸分析534．逐步回歸分析方法②“逐步引入“法的缺點：第四講回歸分逐步回歸分析的幾個問題一、建立標準正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析54逐步回歸分析的幾個問題一、建立標準正規(guī)方程組第四講回歸分析一、建立標準正規(guī)方程組為了分辨p個自變量對因變量Y所起影響(或作用)的大小，一個自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個自變量保持不變的條件下，Xj改變一個單位所引起Y

平均變化的大小。因而回歸系數(shù)絕對值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級)有關(guān)，而各個自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進行比較第四講回歸分析3逐步回歸分析55一、建立標準正規(guī)方程組為了分辨p個自變量對因變量Y所起建立標準正規(guī)方程組為了消除這個影響，對自變量和因變量都要加以標準化標準化的方法經(jīng)過標準化的變量，其均值為0，標準離差Lxjxj為1第四講回歸分析3逐步回歸分析56建立標準正規(guī)方程組為了消除這個影響，對自變量和因變量都要加以標準正規(guī)方程組由標準化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標準化正規(guī)方程組標準化正規(guī)方程組為：第四講回歸分析3逐步回歸分析57標準正規(guī)方程組由標準化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量標準正規(guī)方程組標準化正規(guī)方程組的解稱為標準回歸系數(shù)，其常數(shù)項為0。由于因變量也進行了標準化，其總離差平方和Lyy=1求解標準化正規(guī)方程組還需要解決以下兩個問題①引入變量和剔除變量的標準；②引入變量與剔除變量的方法。第四講回歸分析3逐步回歸分析58標準正規(guī)方程組標準化正規(guī)方程組的解稱為標準回歸系數(shù)二、變量的引入、剔除與消去法的關(guān)系

假定已有l(wèi)個自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號U(x1,…,xl)和Q(x1,…,xl)表示第四講回歸分析3逐步回歸分析59二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個自變量引當增加一個自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來的是注意到上兩式左端Lyy是一樣的，當xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四講回歸分析3逐步回歸分析60當增加一個自變量xi(i=l+1,…,p)因此，有記

ui就是回歸方程中引入xi后對回歸平方和的貢獻，即偏回歸平方和，且有第四講回歸分析3逐步回歸分析61因此，有記ui就是回歸方程中引入xi后對回歸經(jīng)F

檢驗，當xi作用顯著時，可將其引入。同理，如果xi原來已經(jīng)在回歸方程中，若檢驗后其作用不顯著，可及時從回歸方程中剔除出去。利用統(tǒng)計量因此，取剔除和引入變量xi的標準相同，即第四講回歸分析3逐步回歸分析62經(jīng)F檢驗，當xi作用顯著時，可將其引入。同理，如果x在逐步回歸中引入一個變量與剔除一個變量都要作變換，變換公式相同，采用求解求逆緊湊格式在第s次對第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析63在逐步回歸中引入一個變量與剔除一個變量都要作變換，變換公式相由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個變量的偏回歸平方和ui(s)為：由可推倒出來ui(s)為下一步引進變量的指標，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）第四講回歸分析3逐步回歸分析64由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個變量的偏回歸平方和ui式中，l為先前已經(jīng)引入到回歸方程中的變量個數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗。在未引入的變量中檢驗有無回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗。反復(fù)進行，直到?jīng)]有變量可以引進，也沒有變量可以從方程中剔除為止。構(gòu)造檢驗統(tǒng)計量第四講回歸分析3逐步回歸分析65式中，l為先前已經(jīng)引入到回歸方程中的變量個數(shù)，F(xiàn)i服從F用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)系當消去正規(guī)方程組系數(shù)矩陣的第一列時，常數(shù)項列的第一個數(shù)就是只有x1這一個自變量情況下所建立的回歸方程的回歸系數(shù)

這是因為：當回歸方程只有一個自變量時，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項部分就是該變量的解，即回歸系數(shù)。第四講回歸分析3逐步回歸分析66用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時，常數(shù)項列中的第一、二兩個數(shù)即為只有x1，x2兩個自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價于回歸方程中引入一個新的變量，而且與變量排列的順序無關(guān)。第四講回歸分析3逐步回歸分析67二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標準回歸系數(shù)，如果要把它化為一般回歸系數(shù)，其關(guān)系為：其中Lii

和Lyy為方差協(xié)方差矩陣中對應(yīng)元素，即變量Xi和因變量Y的方差。二、變量的引入、剔除與消去法的關(guān)系第四講回歸分析3逐步回歸分析68由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標準回歸系數(shù)，如果要把三、實例【例】

某種水泥在凝固時，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過試驗，取得數(shù)據(jù)資料如右所示：編號X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四講回歸分析3逐步回歸分析69三、實例【例】某種水泥在凝固時，放出的熱量Y（卡／克）與水說明：按第一種方法選最優(yōu)，全部可能的回歸方程有個準備工作：計算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣第四講回歸分析3逐步回歸分析70說明：按第一種方法選最優(yōu)，全部可能的回歸方程有根據(jù)本例資料，算出從矩陣R(0)中可以看出：

x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)第四講回歸分析3逐步回歸分析71根據(jù)本例資料，算出從矩陣R(0)中可以看出：第四講回歸分析逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)

①選擇第一個變量進入回歸方程對所有4個變量，按下面公式計算偏回歸平方和←當變量引入回歸方程后第四講回歸分析3逐步回歸分析72逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)第四講

計算結(jié)果為：比較4個ui(1)，可知第4個因子的偏回歸值最大，即x4對y的回歸貢獻最大，于是優(yōu)先考慮選入x4第四講回歸分析3逐步回歸分析73計算結(jié)果為：比較4個ui(1)，可知第4個因子的偏回歸值②引入因素的顯著性檢驗其中，分子的自由度是1，l為方程中的變量個數(shù)求解回歸方程時，若對資料進行標準化處理，可以證明：統(tǒng)計量第四講回歸分析3逐步回歸分析74②引入因素的顯著性檢驗其中，分子的自由度是1，l為方程中的當引入第一個因子時（l＝1），故則統(tǒng)計量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對回歸方程的貢獻是顯著的，應(yīng)將x4引入方程。第四講回歸分析3逐步回歸分析75當引入第一個因子時（l＝1），故則統(tǒng)計量于是由于F4(1)③矩陣R(0)

的高斯－亞當變換（緊湊變換方式）以x4為主元進行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

變換過程要求按a→d

順序進行。第四講回歸分析3逐步回歸分析76③矩陣R(0)的高斯－亞當變換（緊湊變換方式）以x4為主元記變換后的矩陣為R(1),(t=1)

解第四講回歸分析3逐步回歸分析77記變換后的矩陣為R(1),(t=1)解第四講回歸分④x4引入回歸方程后的結(jié)果標準回歸系數(shù)（利用標準化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和標準回歸方程為：其中l(wèi)＝1，表明方程只引入一個變量第四講回歸分析3逐步回歸分析78④x4引入回歸方程后的結(jié)果標準回歸系數(shù)（利用標準化數(shù)據(jù)求得的一般回歸方程為：一般回歸系數(shù)為：常數(shù)項為第四講回歸分析3逐步回歸分析79一般回歸方程為：一般回歸系數(shù)為：常數(shù)項為第四講回歸分析3逐第二步(t=2)①選擇第二個變量進入回歸方程計算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對不在回歸方程中的每個變量做計算）其中以u1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗）。☆7A第四講回歸分析3逐步回歸分析80第二步(t=2)①選擇第二個變量進入回歸方程計算偏回歸平②引入變量的檢驗（引入檢驗）偏回歸系數(shù)檢驗式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個變量時的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個因子，即l=2第四講回歸分析3逐步回歸分析81②引入變量的檢驗（引入檢驗）偏回歸系數(shù)檢驗式中，分母表示x1③矩陣R(1)的高斯－亞當變換記變換后的矩陣為R(2)④引入因子x1后，對原有因子x4重新檢驗（偏回歸檢驗）←剔除檢驗因為，因此x4不應(yīng)從方程中剔除。

*(2)解*(2)

解第四講回歸分析3逐步回歸分析82③矩陣R(1)的高斯－亞當變換記變換后的矩陣為R(2)④引⑤將x1引入回歸方程的結(jié)果標準回歸系數(shù)：回歸方程的一般形式：剩余平方和：第四講回歸分析3逐步回歸分析83⑤將x1引入回歸方程的結(jié)果標準回歸系數(shù)：回歸方程的一般形式：第三步(t=3)①選擇第三個變量引入回歸方程計算偏回歸平方和ui(3)(